Ekonometria Bayesowska

Ekonometria Bayesowska Wykªad 1: Twierdzenie Bayesa, rozkªad a priori i a posteriori Andrzej Torój 1 / 35

Plan wykªadu 1 Przykªad UEFA Euro 2016 2 3 4 2 / 35

Plan prezentacji Polska na Euro 2016 Ocena formy Polaków: przed faz grupow Ocena formy Polaków: po fazie grupowej 1 Przykªad UEFA Euro 2016 2 3 4 3 / 35

Euro 2016: ocena szans Polaków Polska na Euro 2016 Ocena formy Polaków: przed faz grupow Ocena formy Polaków: po fazie grupowej Reprezentacja Polski rozpoczynaªa turniej jako jedna ze sªabszych dru»yn. Jej szanse oceniano raczej skromnie. Jednak trzy kolejne sukcesy w meczach grupowych sprawiaªy,»e ocena szans Polaków stopniowo rosªa. Po wyj±ciu z grupy, do ka»dego meczu przyst powano w Polsce z ogromnymi oczekiwaniami. Prze±led¹my, jak zmieniªa si ocena szans Polaków po fazie grupowej. Taka zmiana postrzegania to kwintensencja bayesowskiego podej±cia do ekonometrii! 4 / 35

Polska na Euro 2016 Ocena formy Polaków: przed faz grupow Ocena formy Polaków: po fazie grupowej Forma Polaków oceniana z góry a priori (1) 5 / 35

Dla niezorientowanych w piªce no»nej... W Mistrzostwach Europy w 2016 r. graªy 24 zespoªy. Ranking FIFA to najcz ±ciej cytowany w mediach ranking sportowej siªy zespoªów (obejmuje wyniki za ostatnie 4 lata). Pierwsz faz byªy rozgrywki grupowe: 6 grup, 4 zespoªy w ka»dej grupie, wewn trz grup ka»dy gra z ka»dym, zdobywaj c punkty za zwyci stwa (3) i remisy (1). Dlatego faza grupowa skªada si z trzech meczów (n = 3). Do drugiej fazy przechodzi 16 zespoªów: z pierwszych, drugich oraz wi kszo±ci trzecich miejsc w grupach. W tym systemie zwyci stwo i remis s w zasadzie równoznaczne dlatego skupiamy si na prawdopodobie«stwie,»e nie przegra si meczu (a nie prawdopodobie«stwie,»e si go wygra). W drugiej fazie nieprzegranie meczu nie oznacza awansu. W przypadku remisu, o awansie rozstrzyga dogrywka lub rzuty karne.

Polska na Euro 2016 Ocena formy Polaków: przed faz grupow Ocena formy Polaków: po fazie grupowej Forma Polaków oceniana z góry a priori (2) Oceniamy polsk dru»yn parametrem p prawdopodobie«stwem przegrania pojedynczego meczu z losowo dobranym przeciwnikiem z grona 23 pozostaªych nalistów. Przed rozpocz ciem ME mamy pewne wyobra»enie na temat p: skoro w rankingu FIFA 16 z 23 potencjalnych rywali jest wy»ej, to prawdopodobie«stwo pora»ki oceniamy jako 16 = 0, 696. 23 Mo»emy oczywi±cie traa na ró»nych przeciwników sªabszych lub mocniejszych, co b dzie zmienia nasz percepcj p w zale»no±ci od meczu. Nie mamy te» przekonania,»e ranking FIFA w adekwatny sposób odzwierciedla sportow siª dru»yn w dniu meczu. Dlatego parametr p potraktujemy jako zmienn losow. Jej warto± oczekiwan ustalimy oczywi±cie na poziomie E (p) = 0, 696, ale dopu±cimy pewn wariancj dookoªa tego poziomu. Opiszemy to rozkªadem beta o warto±ci oczekiwanej p i odchyleniu standardowym, które dobrze opisze skal naszych w tpliwo±ci (powiedzmy 0, 15). 7 / 35

Polska na Euro 2016 Ocena formy Polaków: przed faz grupow Ocena formy Polaków: po fazie grupowej Forma Polaków oceniana z góry a priori (3) 8 / 35

Rozkªad beta Polska na Euro 2016 Ocena formy Polaków: przed faz grupow Ocena formy Polaków: po fazie grupowej Dotyczy zmiennych losowych z przedziaªu [0; 1] (np. frakcje, prawdopodobie«stwa...). Opisuj go dwa parametry: α i β. Funkcja g sto±ci: f (x) = ι [0;1](x) B(α,β) x α 1 (1 x) β 1 ι [0;1] (x) = 1 je»eli x [0; 1] i zero w przeciwnym przypadku (funkcja indykatorowa) B (α, β) funkcja beta (szczegóªy pó¹niej) Warto± oczekiwana: α α+β 9 / 35

Polska na Euro 2016 Ocena formy Polaków: przed faz grupow Ocena formy Polaków: po fazie grupowej Dane Bior c pod uwag nasz uprzedni ocen p, jakie jest prawdopodobie«stwo,»e przegramy k z 3 meczów grupowych? Šatwo policzy,»e stosunkowo wysokie... P (X = k) = ( 3 k ) p k (1 p) 3 k A jednak nie przegrali±my»adnego meczu grupowego! Po fakcie wiemy wi c,»e k = 0. Prawdopodobie«stwa takiego zdarzenia nie oceniali±my wysoko, bior c pod uwag,»e ponad 2/3 przeciwników traktowali±my jako lepszych. Dla ka»dego p (0, 1) mo»emy policzy warto± funkcji wiarygodno±ci dla naszych danych (k = 0). Najwy»sza b dzie dla p = 0 (w ko«cu Polska ani razu nie przegraªa!). 10 / 35

Polska na Euro 2016 Ocena formy Polaków: przed faz grupow Ocena formy Polaków: po fazie grupowej Ocena Polaków po fazie grupowej a posteriori (1) Przed drug faz musieli±my zaktualizowa nasze wyobra»enie o p. Mogli±my to zrobi na dwa sposoby: Wnioskowa na podstawie tego, co zaobserwowali±my: trzy mecze bez pora»ki, a wi c p = 1. Tak post piliby±my w ±wiecie ekonometrii klasycznej. Ale przecie» trzy mecze to bardzo maªo! Równocze±nie miejsce w rankingu FIFA (4 lata!) mo»e nie± ze sob wiele cennych informacji, które w fazie grupowej (2 tygodnie!) mogªy si nie ujawni. Najlepiej byªoby wi c wzi pod uwag oba ¹ródªa informacji. Ranking FIFA (a priori): powinien znaczy tym wi cej, im bardziej byli±my pewni jego adekwatno±ci (tj. im ni»sz wariancj p ustalili±my przed faz grupow ). Dotychczasowe mecze (dane): powinny wa»y tym wi cej, im wi cej meczów si ju» odbyªo. 11 / 35

Polska na Euro 2016 Ocena formy Polaków: przed faz grupow Ocena formy Polaków: po fazie grupowej Ocena Polaków po fazie grupowej a posteriori (2) Udana faza grupowa przesun ªa nasze postrzeganie prawdpodobie«stwa pora»ki Polaków ku ni»szym warto±ciom. Jak to zadziaªaªo? 12 / 35

Plan prezentacji Prawdopodobie«stwo ª czne i warunkowe Twierdzenie Bayesa Rozkªad a priori i a posteriori 1 Przykªad UEFA Euro 2016 2 3 4 13 / 35

Prawdopodobie«stwo ª czne i warunkowe Prawdopodobie«stwo ª czne i warunkowe Twierdzenie Bayesa Rozkªad a priori i a posteriori Prawdopodobie«stwo zdarzenia A: P (A) Prawdopodobie«stwo ª czne zdarze«a i B (tj.»e zdarzy si jedno i drugie): P (A B) Prawdopodobie«stwo warunkowe zdarzenia A pod warunkiem B (tj.»e zdarzy si A, gdy wiemy,»e B si ju» zdarzyªo): P (A B) = P (A B) P (B) 14 / 35

Twierdzenie Bayesa Prawdopodobie«stwo ª czne i warunkowe Twierdzenie Bayesa Rozkªad a priori i a posteriori Twierdzenie Bayesa P (A B) = P (B A) P (A) P (B) Dowód: P (A B) = P(A B) P(B) P (B A) = P(A B) P(A) P (A B) P (B) = P (B A) P (A) P (A B) = P(B A) P(A) P(B) = P (A B) = P (A B) P (B) = P (A B) = P (B A) P (A) 15 / 35

Prawdopodobie«stwo ª czne i warunkowe Twierdzenie Bayesa Rozkªad a priori i a posteriori Twierdzenie Bayesa wersja zmodykowana A jest zdarzeniem pewnym, ale mo»e wyst pi w n rozª cznych wariantach, czyli A = A 1 A 2... A n, przy czym A i A j = dla dowolnego i j. Chcemy wyznaczy prawdopodobie«stwo i-tego wariantu warunkowe wzgl dem zdarzenia B: Twierdzenie Bayesa wersja zmodykowana P (A i B) = P (B A i ) P (A i ) P (B A 1 ) P (A 1 ) + P (B A 2 ) P (A 2 ) +... + P (B A n ) P (A n ) Je»eli wariantów jest nieprzeliczalnie wiele (i I ), wówczas zast pujemy poj cie prawdopodobie«stwa g sto±ci (ozn. f ), a powy»szy wzór: f (A i B) = f (B A i) f (A i ) f (B A i ) f (A i ) di I 16 / 35

Prawdopodobie«stwo ª czne i warunkowe Twierdzenie Bayesa Rozkªad a priori i a posteriori Twierdzenie Bayesa zastosowanie w ekonometrii f (A i B) = f (B A i) f (A i ) f (B A i ) f (A i ) di I f (θ X ) = f (X θ) f (θ) f (X θ) f (θ) dθ I Jako zdarzenia A i rozpatrzymy ka»d mo»liw warto± parametru θ (zdarzenia θ 1,θ 2,...). Prawdopodobie«stwa tych zdarze«sumuj si do 1, gdy» budujemy funkcj g sto±ci / prawdopodobie«stwa. Zdarzenie B polega na tym,»e zaobserwowali±my okre±lony zestaw danych X. P (θ X ) wyznaczany rozkªad a posteriori, tj. warunkowy wzgl dem zaobserwowanych danych P (θ) rozkªad a priori P (X θ) funkcja wiarygodno±ci danych X przy zaªo»eniu parametru o warto±ci θ mianownik nie zale»y od θ i peªni rol staªej skaluj cej 17 / 35

Plan prezentacji Przykªad: sformuªowanie rozkªadu a priori Przykªad: wyznaczenie rozkªadu a posteriori Analiza wra»liwo±ci na rozkªad a priori 1 Przykªad UEFA Euro 2016 2 3 4 18 / 35

Rozkªad a priori: rozkªad beta Przykªad: sformuªowanie rozkªadu a priori Przykªad: wyznaczenie rozkªadu a posteriori Analiza wra»liwo±ci na rozkªad a priori Wspominali±my ju»,»e dla nieznanego parametru p (prawdopodobie«stwa,»e Polska nie przegra meczu) wyznaczyli±my rozkªad a priori typu beta: przy czym: ι [0;1] (x) = Funkcja beta: B (α, β) = f (p) = ι [0;1] (p) B (α, β) pα 1 (1 p) β 1 { 1 x [0; 1] 0 x / [0; 1]. 1 0 t α 1 (1 t) β 1 dt. 19 / 35

Przykªad: sformuªowanie rozkªadu a priori Przykªad: wyznaczenie rozkªadu a posteriori Analiza wra»liwo±ci na rozkªad a priori Warto± oczekiwana i wariancja w rozkªadzie a priori Mo»na pokaza,»e w rozkªadzie beta: D 2 (p) = 1 0 E (p) = 1 0 p f (p) dp = [p E (p)] 2 f (p) dp = α α+β αβ (α+β) 2 (α+β+1) Przyj li±my,»e E (p) = 0, 696 oraz»e D 2 (p) = (0, 15) 2. Rozwi zuj c nast puj cy ukªad równa«: α α+β = 0, 696 αβ = (0, (α+β) 2 15)2 (α+β+1) mo»emy okre±li nasz rozkªad a priori w kategoriach parametrów α i β. (Doln lini b dziemy od tej pory oznacza parametry i funkcje a priori, górn a posteriori). 20 / 35

Przykªad: sformuªowanie rozkªadu a priori Przykªad: wyznaczenie rozkªadu a posteriori Analiza wra»liwo±ci na rozkªad a priori Rozkªad a priori (przed faz grupow ) przypomnijmy... 21 / 35

Rozkªad a posteriori (1) Przykªad: sformuªowanie rozkªadu a priori Przykªad: wyznaczenie rozkªadu a posteriori Analiza wra»liwo±ci na rozkªad a priori W naszym przypadku nieznanym parametrem jest p (prawdopodobie«stwo pora»ki Polski w pojedynczym meczu), a informacj z próby k (liczba pora»ek w fazie grupowej). f (p k) = f (k p) f (p) 1 0 f (k p)f (p)dp f (p) = ι [0;1] (p) ( )p α 1 (1 p) β 1 α, β B f (k p) = ( 3 k ) p k (1 p) 3 k 22 / 35

Rozkªad a posteriori (2) Przykªad: sformuªowanie rozkªadu a priori Przykªad: wyznaczenie rozkªadu a posteriori Analiza wra»liwo±ci na rozkªad a priori f (p k) = 3 k 1 0 3 k p k ι[0;1] (p) (1 p) 3 k B(α,β) pα 1 (1 p) β 1 p k ι[0;1] (p) (1 p) 3 k B(α,β) pα 1 (1 p) β 1 dp = pk (1 p) 3 k ι [0;1] (p)p α 1 (1 p) β 1 1 0 p k (1 p) 3 k p α 1 (1 p) β 1 dp = pk+α 1 (1 p) 3 k+β 1 ι [0;1] (p) 1 0 p k+α 1 (1 p) 3 k+β 1 dp = ι [0;1](p) B(α,β) pα 1 (1 p) β 1 = = = pk+α 1 (1 p) 3 k+β 1 ι [0;1] (p) B(α+k,β k+3) = 23 / 35

Przykªad: sformuªowanie rozkªadu a priori Przykªad: wyznaczenie rozkªadu a posteriori Analiza wra»liwo±ci na rozkªad a priori Rozkªad a posteriori (3) f (p k) = ι [0;1] (p) ( )p α 1 (1 p) β 1 α, β B Rozkªad a posteriori równie» jest rozkªadem beta o parametrach: α = α + k β = β k + 3 24 / 35

Przykªad: sformuªowanie rozkªadu a priori Przykªad: wyznaczenie rozkªadu a posteriori Analiza wra»liwo±ci na rozkªad a priori Warto± oczekiwana w rozkªadzie a posteriori E (p) = α = = α+k = α+β α+k+β k+3 α + β α + β + 3 }{{} waga 1 α α + β }{{} E(p) + 3 α + β + 3 }{{} waga 2 k 3 }{{} frakcja z danych W naszym przypadku warto± oczekiwana a posteriori jest ±redni wa»on : warto±ci oczekiwanej a priori (wa»y tym wi cej, im mniejsza wariancja a priori) frakcji zdarze«z danych (wa»y tym wi cej, im dªu»sza próba) Polacy nie przegrali w grupie przy k = 0 z pewno±ci E (p) < E (p). 25 / 35

Rozkªad a posteriori (4) Przykªad: sformuªowanie rozkªadu a priori Przykªad: wyznaczenie rozkªadu a posteriori Analiza wra»liwo±ci na rozkªad a priori Znany ju» rozkªad a posteriori przy E(p) = 0, 696 i D 2 (p) = (0, 15) 2 dla przypomnienia: 26 / 35

Wra»liwo± na rozkªad a priori (1) Przykªad: sformuªowanie rozkªadu a priori Przykªad: wyznaczenie rozkªadu a posteriori Analiza wra»liwo±ci na rozkªad a priori Gdyby±my byli mniej pewni naszych przekona«a priori, wówczas dane bardziej poci gn rozkªad w prawo: D 2 (p) = (0, 2) 2... 27 / 35

Wra»liwo± na rozkªad a priori (2) Przykªad: sformuªowanie rozkªadu a priori Przykªad: wyznaczenie rozkªadu a posteriori Analiza wra»liwo±ci na rozkªad a priori...w przeciwnym razie: D 2 (p) = (0, 1) 2 rozkªad a priori mocniej trzyma wyniki z prawej strony. 28 / 35

Wra»liwo± na rozkªad a priori (3) Przykªad: sformuªowanie rozkªadu a priori Przykªad: wyznaczenie rozkªadu a posteriori Analiza wra»liwo±ci na rozkªad a priori Przy E (p) = 0, 8 rozkªad a posteriori przesuwa si umiarkowanie w prawo, ale nie zmienia ksztaªtu. 29 / 35

Wra»liwo± na rozkªad a priori (4) Przykªad: sformuªowanie rozkªadu a priori Przykªad: wyznaczenie rozkªadu a posteriori Analiza wra»liwo±ci na rozkªad a priori Przy E (p) = 0, 6 warto± oczekiwana a posteriori przesuwa si lewo, cho mniej, ni» E (p). 30 / 35

Plan prezentacji 1 Przykªad UEFA Euro 2016 2 3 4 31 / 35

1. Parametry traktujemy jako zmienne losowe Zaªo»yli±my,»e parametr p jest zmienn losow. To fundamentalna ró»nica w porównaniu do klasycznej ekonometrii, gdzie zakªadali±my istnienie prawdziwej, nieznanej warto±ci parametru w procesie generuj cym dane / populacji. Pewne elementy my±lenia w kategoriach rozkªadów (np. przedziaª ufno±ci) wi zaªy si wyª cznie z faktem,»e estymatory z próby s zmiennymi losowymi ze wzgl du na losowy dobór próby. Nigdy jednak nie dotyczyªo to prawdziwych parametrów. Takie zaªo»enie odzwierciedla fundamentaln ró»nic mi dzy bayesistami a klasykami w rozumieniu poj cia prawdopodobie«stwa. Klasycy posªuguj si cz sto±ciow interpretacj prawdopodobie«stwa uwa»aj,»e nale»y si tym poj ciem posªugiwa wyª cznie w celu opisania, jak cz sto zachodzi okre±lone zdarzenie (dlatego bayesi±ci okre±laj ich jako frequentists). Bayesi±ci posªuguj si dodatkowo subiektywistyczn interpretacj prawdopodobie«stwa, która pozwala im okre±li rozkªach ich przekona«co do nieznanej warto±ci parametru p (np.»e na 90% jest wy»szy od 0, 4). 32 / 35

2. Do procesu estymacji wprowadzamy wiedz spoza próby Sformuªowali±my rozkªad a priori parametru p. Zobaczyli±my,»e mo»e on znacz co rzutowa na uzyskane wyniki. Miar sukcesu w ekonometrii bayesowskiej jest doprowadzenie do zaw»enia (ang. shrinkage) rozkªadu a priori czyli precyzyjniejszej wiedzy o parametrze po konfrontacji z danymi ni» przed. Nie musi to oznacza przesuni cia warto±ci oczekiwanej, chodzi o zmniejszenie wariancji. Je»eli rozkªad a posteriori niemal pokrywa si z rozkªadem a priori, to oznacza pora»k w analizie empirycznej dane niczego nie wniosªy do naszej wiedzy o parametrze. wiczenie Jakie byªoby postrzeganie a posteriori prawdopodobie«stwa pora»ki Polaków, gdyby w grupie przegrali 2 mecze i nie przegrali trzeciego (k = 2)? 33 / 35

3. Modele mog mie ró»ny poziom komplikacji Rozwa»yli±my prosty model statystyczny, wnioskuj c o jednym parametrze p przy pewnych zaªo»eniach o rozkªadzie danych (ci g niezale»nych pora»ek i nie-pora»ek). Przechodz c do ekonometrycznych analiz regresji, b dziemy raczej przyjmowali zaªo»enia na temat rozkªadu skªadnika losowego (zwykle: rozkªad normalny). Narz dzia ekonometrii bayesowskiej pozwalaj zmierzy si z modelami, w których skªadnik losowy ma inne rozkªady. Przy wi kszej liczbie parametrów otrzymamy ª czny rozkªad a posteriori, z którego nie wywnioskujemy nic wprost, a przy 3 lub wi cej wymiarach nawet go nie zwizualizujemy. B d nam potrzebne rozkªady brzegowe ze wzgl du na poszczególne parametry (czyli rozkªad ª czny scaªkowany po wszystkich parametrach z wyj tkiem tego analizowanego). Nie znaj c parametrów rozkªadów a priori, cz sto opisujemy je... kolejnymi rozkªadami! Takie konstrukcje nazywami modelami hierarchicznymi. 34 / 35

4. Caªkowanie nie zawsze jest tak proste Korzystaj c ze wzoru Bayesa, przeprowadzili±my obliczenia, z których wynikaªo,»e rozkªad a posteriori dla p te» jest rozkªadem beta (podobnie jak a priori). W takiej sytuacji mówimy,»e rozkªad a priori jest sprz»ony (ang. conjugate prior) z rozkªadem danych (w tym przypadku dwumianowym). W ten sposób, wprost ze wzoru, odczytali±my parametry a posteriori ᾱ i β. To pozwoliªo natychmiast wyznaczy E (p). Wszystko udaªo si zrobi analitycznie. Zwykle nie idzie tak ªatwo... Cz sto nie jeste±my w stanie dostrzec konkretnej postaci funkcyjnej ani ªatwo jej caªkowa w celu wyznaczenia warto±ci oczekiwanej. Wówczas: przybli»amy g sto± (brzegow ) a posteriori za pomoc numerycznego próbnika (Gibbsa, MCMC poznamy oba), otrzymuj c histogram; numerycznie caªkujemy (poznamy odpowiednie metody), by otrzyma miar warto±ci oczekiwanej a posteriori. 35 / 35