Ekonometria Bayesowska

Ekonometria Bayesowska Wykªad 5: Narz dzia wnioskowania w ekonometrii bayesowskiej (5) Ekonometria Bayesowska 1 / 8

Plan wykªadu 1 Przedziaªy ufno±ci HPDI Werykacja hipotez podej±cie bayesowskie 3 Werykacja hipotez w modelu regresji liniowej 4 Przykªad: model popytu na paliwa (5) Ekonometria Bayesowska / 8

Plan prezentacji 1 Przedziaªy ufno±ci HPDI Werykacja hipotez podej±cie bayesowskie 3 Werykacja hipotez w modelu regresji liniowej 4 Przykªad: model popytu na paliwa (5) Ekonometria Bayesowska 3 / 8

HPDI Denicja obszaru ufno±ci (credible set) Rozwa»amy model regresji liniowej z wektorem wspóªczynników β R k. Niech g (β) Ω R m, m < k (na przykªad pojedynczy wspóªczynnik kierunkowy: g (β) = β 1). Obszar ufno±ci Zbiór C jest 100 (1 α)-procentowym obszarem ufno±ci ze wzgl du na (g (β) y), je»eli: ˆ P (g (β) C y) = P (g (β) y) dg (β) = 1 α C Na przykªad dla 95-procentowego obszaru ufno±ci dla β 1: ˆb P (a β 1 b y) = P (g (β) y) dg (β) = 0.95 a (5) Ekonometria Bayesowska 4 / 8

HPDI Denicja obszaru ufno±ci jest niejednoznaczna Istnieje niesko«czenie wiele przedziaªów czyli jednowymiarowych obszarów ufno±ci (a, b) speªniaj cych powy»sz denicj. Potrzebujemy dodatkowego kryterium. (5) Ekonometria Bayesowska 5 / 8

HPDI Przedziaª o najwy»szej g sto±ci a posteriori Ang. Highest Posterior Density Interval (HPDI). Wybieramy granice a i b w taki sposób, aby zawieraªy si mi dzy nimi najwy»sze warto±ci funkcji g sto±ci. Dzi ki temu przedziaª HPDI jest krótszy ni» jakikolwiek inny przedziaª ufno±ci. Przykªad Okre±lmy i zilustrujmy przedziaªy ufno±ci HPDI dla parametrów modelu popytu na benzyn. Co mo»na na ich podstawie wywnioskowa na temat wpªywu poszczególnych zmiennych obja±niaj cych na zmienn obja±nian? (5) Ekonometria Bayesowska 6 / 8

HPDI Inne mo»liwo±ci konstrukcji przedziaªu ufno±ci Je»eli rozkªad a posteriori jest wielomodalny, przedziaª HPDI mógªby si skªada z kilku odcinków (maªo intuicyjne). Wtedy mo»emy np. przyj zasad : P (β 1 < a y) = 1 0.95 P (β 1 > b y) = 1 0.95 (5) Ekonometria Bayesowska 7 / 8

HPDI HPDI w modelu popytu na benzyn (1) (5) Ekonometria Bayesowska 8 / 8

HPDI HPDI w modelu popytu na benzyn () (5) Ekonometria Bayesowska 9 / 8

HPDI HPDI w modelu popytu na benzyn (3) (5) Ekonometria Bayesowska 10 / 8

HPDI wiczenia 1 Przeróbmy kod w taki sposób, aby suwak byª poziomem ufno±ci (a nie graniczn warto±ci funkcji g sto±ci). Zaimplementujmy w kodzie zasad odci cia górnego i dolnego ogona. (5) Ekonometria Bayesowska 11 / 8

Plan prezentacji 1 Przedziaªy ufno±ci HPDI Werykacja hipotez podej±cie bayesowskie 3 Werykacja hipotez w modelu regresji liniowej 4 Przykªad: model popytu na paliwa (5) Ekonometria Bayesowska 1 / 8

Czynnik Bayesa Porównanie modeli Porównujemy dwa modele: M (1) oraz M (), obja±niaj ce t sam zmienn y. Ogólnie: mo»emy porównywa modele zagnie»d»one i niezagnie»d»one. W szczególnym przypadku modeli zagnie»d»onych skupimy si na: modelu ze zmienn x i i bez niej (w ten sposób mo»emy zwerykowa znaczenie zmiennej x i, analogicznie do badania jej istotno±ci w ekonometrii klasycznej). Prawdopodobie«stwo modelu a priori: P ( M (j)) a posteriori: P ( M (j) ) P(y M y = (j) )P(M (j) ) P(y) (ze wzoru Bayesa) (5) Ekonometria Bayesowska 13 / 8

Czynnik Bayesa Funkcja wiarygodno±ci brzegowej dla modelu (1) Prawdopodobie«stwo a posteriori obu modeli wykorzystujemy do porównania ich jako±ci. Kluczowym elementem w jego obliczeniu jest g sto± brzegowa, czyli P ( y M (j)). Zapiszmy najpierw g sto± a posteriori dla parametrów j-tego modelu: ( P β (j), h (j) y, M (j)) = P ( y β (j), h (j), M (j)) P ( β (j), h (j) M (j)) P ( y M (j)) Caªkujemy obie strony równania wzgl dem β (j) oraz dh (j) : P ( β (j), h (j) y, M (j)) dβ (j) dh (j) = R + R k ( P y β (j),h (j),m (j)) ( P β (j),h (j) M (j)) dβ (j) dh (j) R = + R k P(y M (j) ) (5) Ekonometria Bayesowska 14 / 8

Czynnik Bayesa Funkcja wiarygodno±ci brzegowej dla modelu () Zauwa»my,»e lewa strona równania (jako funkcja g sto±ci scaªkowana w caªej dziedzinie zmiennej) musi wynie± 1. W tej sytuacji, mno» c obie strony przez mianownik, otrzymujemy: ( P y M (j)) ˆ = R + R k ( P y β (j), h (j), M (j)) ( P β (j), h (j) M (j)) dβ (j) dh (j) Rozwi zanie powy»szego problemu caªkowania jest ju» zale»ne od konkretnego typu modelu i mo»e mie charakter analityczny lub gdy to niemo»liwe lub trudne numeryczny. (5) Ekonometria Bayesowska 15 / 8

Czynnik Bayesa Iloraz szans a posteriori Znaj c P ( y M (j)) dla ka»dego modelu j, mo»emy dla dowolnej pary modeli wyznaczy iloraz szans a posteriori (ang. posterior odds ratio): Iloraz szans a posteriori PO (i,j) = P(M(i) y) P(M (j) y) = P(y M(i) )P(y) P ( M (i)) P(y M (j) )P(y) P ( M (j)) }{{} iloraz szans a priori Przy nieinformacyjnych prawdopodobie«stwach a priori (tzn. bez preferencji a priori dla któregokolwiek modelu) mamy P (M (i)) P(M (j) ) ilorazu wiarygodno±ci brzegowych obu modeli. = 1 i wzór upraszcza si do Gdy rozwa»amy jedynie dwa modele, wówczas P ( M (1) y) + P ( M () y) = 1 i przy znanym PO (1,) mo»emy z tej denicji wyznaczy prawdopodobie«stwa a posteriori obu modeli. (5) Ekonometria Bayesowska 16 / 8

Czynnik Bayesa Czynnik Bayesa W porównaniu z ilorazem szans a posteriori, czynnik Bayesa (ang. Bayes factor) dodatkowo uwzgl dnia szanse a priori. Ilustruje zatem zmian naszych preferencji wzgl dem obu modeli, która nast piªa po konfrontacji z danymi. Je»eli parze modeli przypisujemy identyczne prawdopodobie«stwa a priori, wówczas czynnik Bayesa jest równy ilorazowi szans a posteriori. W ogólnym przypadku: Czynnik Bayesa BF (i,j) = P(y M(i) ) P(y M (j) ) = PO(i,j) P(M(j) ) P(M (i) ) = PO(i,j) P(M (i) ) P(M (j) ) Np. je»eli iloraz szans a priori =, a iloraz szans a posteriori =.3, wówczas czynnik Bayesa wynosi.3/ = 1.15. Oznacza to,»e: preferowali±my a priori model 1 (); po analizie danych preferujemy go jeszcze bardziej (.3); a zatem dane wzmacniaj nasze preferencje dla modelu 1 (1.15 > 1). (5) Ekonometria Bayesowska 17 / 8

Czynnik Bayesa Interpretacja czynnika Bayesa Skala Jereysa (1961, The theory of probability) BF interpretacja < 10 0 negative (supports M ) 10 0 10 0.5 barely worth mentioning 10 0.5 10 1 substantial 10 1 10 1.5 strong 10 1.5 10 very strong > 10 decisive Kass i Raftery (1995, Bayes factors, Journal of the American Statistical Association) BF interpretacja 1 3 not worth more than a bare mention 3 0 positive 0 150 strong > 150 very strong Zauwa»my,»e skale nie traktuj M 1 i M symetrycznie. Je»eli naszym celem jest wykazanie istotno±ci zmiennej w modelu regresji, wówczas modelem bez tej zmiennej b dzie M (jako model o ni»szej wiarygodno±ci brzegowej, bo z naªo»on restrykcj wykluczaj c ). (5) Ekonometria Bayesowska 18 / 8

Plan prezentacji 1 Przedziaªy ufno±ci HPDI Werykacja hipotez podej±cie bayesowskie 3 Werykacja hipotez w modelu regresji liniowej 4 Przykªad: model popytu na paliwa (5) Ekonometria Bayesowska 19 / 8

BF w regresji liniowej Wyznaczenie wiarygodno±ci brzegowej modelu (1) ) P (y M (j) = R + R k ) ) P (y β (j), h (j), M (j) P (β (j), h (j) M (j) dβ (j) dh (j) Na poprzednim wykªadzie wykazali±my,»e w modelu regresji liniowej z rozkªadem a priori normalnym-gamma: ) P (y β (j), h (j) P(β (j), h (j) N+k ) = (π) { exp h(j) (j) 1 [ U (j) ] (s (j) ) v (j) v ( ) Γ v (j) 1 [ β (j) β (j)] T (U (j)) 1 [ β (j) β (j)]} ) v (j) +N+k (j) { (h (j) 1 ( ) } exp h(j) v (j) s (j) W tym przypadku mo»emy wyznaczy caªk analitycznie. W wielu innych modelach b dziemy musieli si gn po caªkowanie numeryczne. (5) Ekonometria Bayesowska 0 / 8

BF w regresji liniowej Wyznaczenie wiarygodno±ci brzegowej modelu () ) P (y M (j) ) P (y M (j) = = R + R k N+k (π) { exp N+k (j) (π) { exp R + R k (j) h(j) 1 [ U (j) ] (s (j) ) v (j) v ( ) Γ v (j) 1 [ β (j) β (j)] T (U (j)) 1 [ β (j) β (j)]} ) v (j) +N+k (j) { (h (j) 1 ( ) } exp h(j) v (j) s (j) dβ (j) dh (j) 1 [ U (j) h(j) ] (s (j) ) v (j) v ( ) Γ v (j) 1 [ β (j) β (j)] T (U (j)) 1 [ β (j) β (j)]} ) v (j) +N+k (j) { (h (j) 1 ( ) } exp h(j) v (j) s (j) dβ (j) dh (j) Skupiamy si na cz ±ci caªkowanej powy»szego wyra»enia. (5) Ekonometria Bayesowska 1 / 8

BF w regresji liniowej Wyznaczenie wiarygodno±ci brzegowej modelu (3) ( h (j)) v(j) +N+k (j) R + { exp 1 R k 1 exp { ( h(j) v (j) s (j)) } [ ( h (j)) 1 (j) U [ β (j) β (j)] T ] 1 [ β (j) β (j)]} dβ (j) dh (j) = = ( h (j)) v(j) +N+k (j) 1 exp { h(j) v (j) s (j)) } (π) k(j) ( h (j)) 1 1 (j) U R + { 1 R k (π) k(j) ( 1 exp 1 [ β (j) β (j)] [ T ( h (j)) ] 1 1 [ (j) U β (j) β (j)]} dβ (j) h (j)) 1 (j) U } {{ } =1 (f. gęstości wielowym. r. normalnego) dh (j) =... (5) Ekonometria Bayesowska / 8

BF w regresji liniowej Wyznaczenie wiarygodno±ci brzegowej modelu (4) = (π) k(j) = (π) k(j) ˆ R + U (j) 1 ( Γ R + (j) 1 ( U Γ v (j) v {}} (j) { ) v (h (j) + N +k (j) k (j) (j) 1 exp 1 v (j) ) [ v (j) (s (j) ) ) [ v (j) (s (j) ) ] v (j) ] v (j) (h (j)) v (j) { h (j) v (j) (s (j) ) } dh (j) = ) 1 v (j) (s (j) exp h(j) dh(j) } {{ } =1 (f. gęstości r. gamma) (5) Ekonometria Bayesowska 3 / 8

BF w regresji liniowej Wyznaczenie wiarygodno±ci brzegowej modelu (4) Wracaj c do gªównego wzoru: ( P y M (j)) = ( = (π) N+k(j) U (j) 1 s (j)) v (j) v (j) ( v Γ (j) 1 ) (π) k(j) U (j) 1 ( Γ v (j) ) v(j)( s (j)) v(j) = = k (j) (π) U (j) 1 ( Γ v (j) ) v (j)( s (j)) v(j) (π) N+k (j) ( U (j) 1 Γ v (j) ) v (j)( s (j)) v(j) = U (j) 1 ( Γ v (j) )[v (j)( s (j)) ] v(j) ( ) v (j) +N 1 (π) N U (j) ( 1 v (j) ) [ Γ v (j)( s (j)) ] v(j) ( ) v (j) 1 = U (j) 1 ( Γ v (j) )[v (j)( s (j)) ] v(j) N N π N U (j) ( 1 v (j) ) [ Γ v (j)( s (j)) ] v(j) = U (j) 1 ( Γ v (j) )[v (j)( s (j)) ] v(j) π N U (j) ( 1 v (j) ) [ Γ v (j)( s (j)) ] v(j) (5) Ekonometria Bayesowska 4 / 8

BF w regresji liniowej Iloraz szans a posteriori i czynnik Bayesa w modelu regresji liniowej P ( y M (j)) = (j) 1 ( ) [ U Γ v (j) v (j) (s (j) ) ] v(j) π N U (j) 1 ( ) [ v Γ (j) v (j) (s (j) ) ] v(j) BF (1,) = P(y M(1) ) P(y M () ) = (1) 1 ( U Γ v (1) ) [ v (1) (s (j) ) ] v(1) U (1) 1 ( ) [ v Γ (1) v (1) (s (1) ) ] v(1) PO (1,) = BF (1,) P(M(1) ) P(M () ) =... U () 1 ( Γ () 1 ( U Γ v () ) [ v () v () (s () ) ] v() )[v () (s () ) ] v() (5) Ekonometria Bayesowska 5 / 8

Plan prezentacji 1 Przedziaªy ufno±ci HPDI Werykacja hipotez podej±cie bayesowskie 3 Werykacja hipotez w modelu regresji liniowej 4 Przykªad: model popytu na paliwa (5) Ekonometria Bayesowska 6 / 8

Przykªad Ocena znaczenia dochodu (log_income) Na poprzednich zaj ciach oszacowali±my model z t zmienn (M (1) ). Ze wzoru na poprzednim slajdzie wiemy,»e: P ( y M (1)) = 1, 1 10 7 Model bez tej zmiennej (ceteris paribus), M () : P ( y M ()) = 4, 51 10 9 Czynnik Bayesa zwi zany z t par modeli: BF (1,) = 1,1 10 7 4,51 10 9 = 4, 8 Znaczenie zmiennej: strong (5) Ekonometria Bayesowska 7 / 8

Przykªad wiczenia Przeprowad¹my powy»sze rozumowanie dla: 1 ceny benzyny (log_p_gasoline) cen dóbr komplementarnych ª cznie (log_p_new_car oraz log_p_used_car) 3 ponownie dochodu, je»eli oceniamy a priori,»e w 90% równa«popytu powinna si znale¹ zmienna dochód (5) Ekonometria Bayesowska 8 / 8