Ekonometria Bayesowska

Transkrypt

1 Ekonometria Bayesowska Wykªad 6: Bayesowskie ª czenie wiedzy (6) Ekonometria Bayesowska 1 / 21

2 Plan wykªadu 1 Wprowadzenie 2 Oczekiwana wielko± modelu 3 Losowanie próby modeli 4 wiczenia w R (6) Ekonometria Bayesowska 2 / 21

3 Plan prezentacji 1 Wprowadzenie 2 Oczekiwana wielko± modelu 3 Losowanie próby modeli 4 wiczenia w R (6) Ekonometria Bayesowska 3 / 21

4 Podstawy teoretyczne Bayesowskie ª czenie wiedzy Bayesowskie ª czenie wiedzy (ang. Bayesian Model Averaging BMA) sªu»y do rozwi zywania problemu niepewno±ci odpowiedniego doboru specykacji modelu (doboru zmiennych). BMA czasami okre±lane jest tak»e mianem bayesowskiego u±redniania modeli. Zaªó»my,»e mamy K potencjalnych zmiennych obja±niaj cych. Oznacza to»e mamy a» 2 K potencjalnych zbiorów zmiennych obja±niaj cych. Dobór specykacji mo»e mie znacz cy wpªyw na oszacowane warto±ci parametrów dla poszczególnych zmiennych. BMA polega na tym,»e oszacowane (za pomoc metod klasycznych) zostaje 2 K modeli, które s nast pnie agregowane za pomoc metod bayesowskich. Dzi ki temu mo»liwe jest uzyskanie spójnego wyniku oraz okre±lenie prawdopodobie«stwa a posteriori wyboru danej specykacji lub wª czenia danej zmiennej do modelu. (6) Ekonometria Bayesowska 4 / 21

5 Podstawy teoretyczne Bayesowskie ª czenie wiedzy Bayesowskie ª czenie wiedzy (ang. Bayesian Model Averaging BMA) sªu»y do rozwi zywania problemu niepewno±ci odpowiedniego doboru specykacji modelu (doboru zmiennych). BMA czasami okre±lane jest tak»e mianem bayesowskiego u±redniania modeli. Zaªó»my,»e mamy K potencjalnych zmiennych obja±niaj cych. Oznacza to»e mamy a» 2 K potencjalnych zbiorów zmiennych obja±niaj cych. Dobór specykacji mo»e mie znacz cy wpªyw na oszacowane warto±ci parametrów dla poszczególnych zmiennych. BMA polega na tym,»e oszacowane (za pomoc metod klasycznych) zostaje 2 K modeli, które s nast pnie agregowane za pomoc metod bayesowskich. Dzi ki temu mo»liwe jest uzyskanie spójnego wyniku oraz okre±lenie prawdopodobie«stwa a posteriori wyboru danej specykacji lub wª czenia danej zmiennej do modelu. (6) Ekonometria Bayesowska 4 / 21

6 Podstawy teoretyczne Bayesowskie ª czenie wiedzy Bayesowskie ª czenie wiedzy (ang. Bayesian Model Averaging BMA) sªu»y do rozwi zywania problemu niepewno±ci odpowiedniego doboru specykacji modelu (doboru zmiennych). BMA czasami okre±lane jest tak»e mianem bayesowskiego u±redniania modeli. Zaªó»my,»e mamy K potencjalnych zmiennych obja±niaj cych. Oznacza to»e mamy a» 2 K potencjalnych zbiorów zmiennych obja±niaj cych. Dobór specykacji mo»e mie znacz cy wpªyw na oszacowane warto±ci parametrów dla poszczególnych zmiennych. BMA polega na tym,»e oszacowane (za pomoc metod klasycznych) zostaje 2 K modeli, które s nast pnie agregowane za pomoc metod bayesowskich. Dzi ki temu mo»liwe jest uzyskanie spójnego wyniku oraz okre±lenie prawdopodobie«stwa a posteriori wyboru danej specykacji lub wª czenia danej zmiennej do modelu. (6) Ekonometria Bayesowska 4 / 21

7 Podstawy teoretyczne Prawdopodobie«stwo a posteriori modelu BMA opiera si na obliczeniu prawdopodobie«stwa a posteriori dla modelu j P(M j y), czyli prawdopodobie«stwa warunkowego zale» cego od (por. poprzedni wykªad): zaªo»e«a priori dotycz cych prawdopodobie«stwa modelu j P(M j ) oraz brzegowej wiarygodno±ci modelu j, P(y M j ) (prawdopodobie«stwa doboru danych y warunkowo dla danego modelu) na podstawie wzoru: P(M j y) = P(y M j)p(m j) 2K i=1 P(y M i )P(M i ) (6) Ekonometria Bayesowska 5 / 21

8 Zaªo»enia dla kalkulacji prawdopodobie«stwa a posteriori modelu g-prior Zellnera Standardem w literaturze jest zastosowanie specycznej struktury zaªo»e«okre±lanej mianem Zellner's g-prior. Zaªó»my,»e dla ka»dego modelu M j skladnik losowy ma rozkªad N(0,σ 2 I ). Kluczowe znaczenie ma przyj cie zaªo»e«dotycz cych wektora wspóªczynników regresji liniowej, β j. Przed wykorzystaniem danych, konieczne jest przyj cie zaªo»e«a priori dotycz cych wspóªczynników regresji. Zakªadamy rozkªad normalny o okre±lonej ±redniej i wariancji. Cz sto przyjmuje si zaªo»enia konserwatywne (wskazuj ce na maª wiedz a priori) ze ±redni równ 0 oraz macierz wariancji-kowariancji zbli»on do struktury wynikaj cej z macierzy zmiennych obja±niaj cych X j : ] β j g N [0,σ 2 ( g 1 X j T X j ) 1 Niska warto± g oznacza,»e badacz jest mocno przekonany,»e wspóªczynniki regresji s równe 0. Natomiast wysoka warto± g wskazuje,»e badacz jest niepewny zakªadanej warto±ci wspóªczynników. (6) Ekonometria Bayesowska 6 / 21

9 Zaªo»enia dla kalkulacji prawdopodobie«stwa a posteriori modelu Warto± oczekiwana a posteriori Rozkªad a posteriori wspóªczynników regresji odzwierciedla niepewno± a priori: dla danej warto±ci g (przy wcze±niejszych zaªo»eniach) β j ma wielowymiarowy rozkªad a posteriori t o warto±ci oczekiwanej: E(β j g,x j,m j ) = g ˆβ 1+g j ˆβ j to oszacowanie KMNK parametrów modelu j. Im ni»sza warto± g, tym wi ksze znaczenie dla warto±ci oczekiwanej a posteriori ma przyj ta warto± a priori i w tym wi kszym stopniu warto± parametru zbli»a si do 0. S ró»ne warianty doboru warto±ci g, np. jednostkowy g-prior g = N (gdzie N to liczba obserwacji) lub na±laduj ce kryteria informacyjne. (6) Ekonometria Bayesowska 7 / 21

10 Plan prezentacji 1 Wprowadzenie 2 Oczekiwana wielko± modelu 3 Losowanie próby modeli 4 wiczenia w R (6) Ekonometria Bayesowska 8 / 21

11 Podej±cie oczekiwanej wielko±ci modelu Oczekiwana wielko± modelu Jak oceni prawdopodobie«stwo a priori danego modelu, P(M j )? Zaªó»my,»e ka»da zmienne mo»e by niezale»nie wª czona do modelu z prawdopodobie«stwem θ i pomini ta z prawdopodobie«stwem 1 θ. Wówczas prawdopodobie«stwo a priori modelu M j zale»y od liczby regresorów wª czonych do modelu (K j ). Prawdopodobie«stwo a priori modelu M j ma wówczas rozkªad dwumianowy: P(M j ) = θ K j (1 θ) K K j Parametr mprior = fixed w poleceniu bms. (6) Ekonometria Bayesowska 9 / 21

12 Podej±cie oczekiwanej wielko±ci modelu Oczekiwana wielko± modelu Warto zauwa»y,»e dla danego θ oczekiwana wielko± modelu (liczba regresorów) jest równa θk. Je»eli chcemy aby oczekiwana wielko± modelu wynosiªa K to wówczas musimy ustali prawdopodobie«stwo wª czenia zmiennej na poziomie: θ = K K Zaªó»my,»e θ = 1, przy tych zaªo»eniach prawdopodobie«stwo 2 a priori modeli b dzie skupione wokóª modeli zawieraj cych K/2 zmiennych. (6) Ekonometria Bayesowska 10 / 21

13 Podej±cie oczekiwanej wielko±ci modelu Oczekiwana wielko± modelu (6) Ekonometria Bayesowska 11 / 21

14 Podej±cie agnostyczne Podej±cie agnostyczne Istnieje jednak inne podej±cie. Mo»emy zaªo»y,»e parametr θjest losowy i pochodzi z rozkªadu beta: θ Beta(a,b) Ta zmiana znacz co zmniejsza wag zaªo»e«zwi zanych z oczekiwan wielko±ci modeli, poniewa» spªaszcza rozkªad g sto±ci a priori modeli. W szczególnym przypadku, gdy a = 1 oraz b = 1, rozkªad ten staje si rozkªadem jednostajnym. Je»eli a = 1 to b = (K K )/K, gdzie K oznacza oczekiwan wielko± modelu. Dlatego niektóre programy umo»liwiaj sterowanie poprzez parametr K zamiast deniowania parametrów a, b. Parametr mprior = random w poleceniu bms. (6) Ekonometria Bayesowska 12 / 21

15 Podej±cie agnostyczne Podej±cie agnostyczne (6) Ekonometria Bayesowska 13 / 21

16 Plan prezentacji 1 Wprowadzenie 2 Oczekiwana wielko± modelu 3 Losowanie próby modeli 4 wiczenia w R (6) Ekonometria Bayesowska 14 / 21

17 Losowanie próby modeli Du»a liczba modeli do oszacowania PrzyK potencjalnych zmiennych obja±niaj cych, mamy a» 2 K potencjalnych specykacji modelu. Oznacza to,»e ich oszacowanie mo»e by bardzo wymagaj ce obliczeniowo. Wówczas mo»emy posªu»y si algorytmami sªu» cymi do wylosowania próby modeli - próbnikami. W tym celu wykorzystuje si algorytmy MCMCMC (ang. Markov Chain Monte Carlo Model Composition). (6) Ekonometria Bayesowska 15 / 21

18 Losowanie próby modeli Du»a liczba modeli do oszacowania Przykªad algorytmu birth-death: Zaczynamy od pocz tkowego modelu, gdzie wylosowali±my np. 3 zmienne. Losujemy kolejn zmienn ze zbioru wszystkich rozwa»anych zmiennych. Je»eli wylosowana zmienna nie jest w naszym modelu, to j dodajemy, w przeciwnym razie -- usuwamy z modelu. Operacj powtarzamy wielokrotnie. Dla ka»dego algorytmu nale»y ustawi liczb losowa«(wielko± próby) oraz liczb pocz tkowych losowa«do odrzucenia (burn-in). (6) Ekonometria Bayesowska 16 / 21

19 Plan prezentacji 1 Wprowadzenie 2 Oczekiwana wielko± modelu 3 Losowanie próby modeli 4 wiczenia w R (6) Ekonometria Bayesowska 17 / 21

20 Pakiet BMS Pakiet BMS BMA mo»e by wykonywane w oparciu o pakiet do R o nazwie BMS. Szczegóªowe informacje o pakiecie wraz z przykªadami jego zastosowania mo»na znale¹ na stronie: W pakiecie dost pna jest funkcja bms, która przeprowadza bayesowskie ª czenie wiedzy w oparciu o zdeniowane zaªo»enia a priori. (6) Ekonometria Bayesowska 18 / 21

21 Pakiet BMS Przykªad - baza danych Baza danych zawiera 13 zmiennych dla 119 krajów na przestrzeni 13 lat. Panel ten jest zbilansowany - porównywanie i u±rednianie modeli oszacowanych na ró»nych próbach jest bardzo skomplikowane! Pierwsza zmienna po zmiennych identykuj cych kraj (unit_id ) oraz czas (time) jest domy±lnie traktowana przez funkcj bms jako zmienna obja±niaj ca. (6) Ekonometria Bayesowska 19 / 21

22 Pakiet BMS wiczenia Zmie«ustawienia zaªo»e«dotycz cych prawdopodobie«stwa poszczególnych zmiennych w modelu (g-prior) z jednostkowego na na±laduj cy kryterium informacyjne Hannana-Quinna. Zanotuj ró»nic w oszacowaniach trzech wybranych parametrów. 2 Zmie«ustawienia parametru θ z losowego na staªy. Porównaj zmiany wybranych wcze±niej parametrów (pami taj o zachowaniu spójno±ci g-prior). Które ustawienia maj wi kszy wpªyw na wyniki? 3 Dodatkowe: Zbadaj zmienn sav. Na jakie zmienne wskazuje BMA jako kluczowe determinanty oszcz dno±ci? (6) Ekonometria Bayesowska 20 / 21

23 Pakiet BMS wiczenie 4: indywidualne efekty ustalone w danych panelowych Zaprezentowane wcze±niej wyniki zostaªy oszacowane na danych panelowych, gdzie jednak nie uwzgl dniono heterogeniczno±ci pw próbie. Byªa to prosta regresja bez uwzgl dniania efektów specycznych dla poszczególnych krajów (pooled). Dlatego w dalszym kroku oszacujemy model uwzgl dniaj cy efekty ustalone (xed eects). Porównaj wcze±niejsze wyniki (pooled) z wynikami po wprowadzeniu efektów ustalonych (xed eects). Wniosek? (6) Ekonometria Bayesowska 21 / 21