Ekonometria Bayesowska

Ekonometria Bayesowska Wykªad 1: Twierdzenie Bayesa, rozkªad a priori i a posteriori (1) Ekonometria Bayesowska 1 / 35

Plan wykªadu 1 Przykªad UEFA Euro 2016 2 Podstawowe poj cia ekonometrii bayesowskiej 3 Rozkªady a priori i a posteriori 4 O ekonometrii bayesowskiej ogólnie (1) Ekonometria Bayesowska 2 / 35

Plan prezentacji 1 Przykªad UEFA Euro 2016 2 Podstawowe poj cia ekonometrii bayesowskiej 3 Rozkªady a priori i a posteriori 4 O ekonometrii bayesowskiej ogólnie (1) Ekonometria Bayesowska 3 / 35

Polska na Euro 2016 Euro 2016: ocena szans Polaków Reprezentacja Polski rozpoczynaªa turniej jako jedna ze sªabszych dru»yn. Jej szanse oceniano raczej skromnie. Jednak trzy kolejne sukcesy w meczach grupowych sprawiaªy,»e ocena szans Polaków stopniowo rosªa. Po wyj±ciu z grupy, do ka»dego meczu przyst powano w Polsce z ogromnymi oczekiwaniami. Prze±led¹my, jak zmieniªa si ocena szans Polaków po fazie grupowej. Taka zmiana postrzegania to kwintensencja bayesowskiego podej±cia do ekonometrii! (1) Ekonometria Bayesowska 4 / 35

Polska na Euro 2016 Forma Polaków oceniana z góry a priori (1) (1) Ekonometria Bayesowska 5 / 35

Dla niezorientowanych w piªce no»nej... W Mistrzostwach Europy w 2016 r. graªy 24 zespoªy. Ranking FIFA to najcz ±ciej cytowany w mediach ranking sportowej siªy zespoªów (obejmuje wyniki za ostatnie 4 lata). Pierwsz faz byªy rozgrywki grupowe: 6 grup, 4 zespoªy w ka»dej grupie, wewn trz grup ka»dy gra z ka»dym, zdobywaj c punkty za zwyci stwa (3) i remisy (1). Dlatego faza grupowa skªada si z trzech meczów (n = 3). Do drugiej fazy przechodzi 16 zespoªów: z pierwszych, drugich oraz wi kszo±ci trzecich miejsc w grupach. W tym systemie zwyci stwo i remis s w zasadzie równoznaczne dlatego skupiamy si na prawdopodobie«stwie,»e nie przegra si meczu (a nie prawdopodobie«stwie,»e si go wygra). W drugiej fazie nieprzegranie meczu nie oznacza awansu. W przypadku remisu, o awansie rozstrzyga dogrywka lub rzuty karne.

Ocena formy Polaków: przed faz grupow Forma Polaków oceniana z góry a priori (2) Oceniamy polsk dru»yn parametrem p prawdopodobie«stwem przegrania pojedynczego meczu z losowo dobranym przeciwnikiem z grona 23 pozostaªych nalistów. Przed rozpocz ciem ME mamy pewne wyobra»enie na temat p: skoro w rankingu FIFA 16 z 23 potencjalnych rywali jest wy»ej, to prawdopodobie«stwo pora»ki oceniamy jako 16 = 0, 696. 23 Mo»emy oczywi±cie traa na ró»nych przeciwników sªabszych lub mocniejszych, co b dzie zmienia nasz percepcj p w zale»no±ci od meczu. Nie mamy te» przekonania,»e ranking FIFA w adekwatny sposób odzwierciedla sportow siª dru»yn w dniu meczu. Dlatego parametr p potraktujemy jako zmienn losow. Jej warto± oczekiwan ustalimy oczywi±cie na poziomie E (p) = 0, 696, ale dopu±cimy pewn wariancj dookoªa tego poziomu. Opiszemy to rozkªadem beta o warto±ci oczekiwanej p i odchyleniu standardowym, które dobrze opisze skal naszych w tpliwo±ci (powiedzmy 0, 15). (1) Ekonometria Bayesowska 7 / 35

Ocena formy Polaków: przed faz grupow Forma Polaków oceniana z góry a priori (3) (1) Ekonometria Bayesowska 8 / 35

Ocena formy Polaków: przed faz grupow Rozkªad beta Dotyczy zmiennych losowych z przedziaªu [0; 1] (np. frakcje, prawdopodobie«stwa...). Opisuj go dwa parametry: α i β. Funkcja g sto±ci: f (x) = ι [0;1](x) B(α,β) x α 1 (1 x) β 1 ι [0;1] (x) = 1 je»eli x [0; 1] i zero w przeciwnym przypadku (funkcja indykatorowa) B (α, β) funkcja beta (szczegóªy pó¹niej) Warto± oczekiwana: α α+β (1) Ekonometria Bayesowska 9 / 35

Ocena formy Polaków: po fazie grupowej Dane Bior c pod uwag nasz uprzedni ocen p, jakie jest prawdopodobie«stwo,»e przegramy k z 3 meczów grupowych? Šatwo policzy,»e stosunkowo wysokie... P (X = k) = ( 3 k ) p k (1 p) 3 k A jednak nie przegrali±my»adnego meczu grupowego! Po fakcie wiemy wi c,»e k = 0. Prawdopodobie«stwa takiego zdarzenia nie oceniali±my wysoko, bior c pod uwag,»e ponad 2/3 przeciwników traktowali±my jako lepszych. Dla ka»dego p (0, 1) mo»emy policzy warto± funkcji wiarygodno±ci dla naszych danych (k = 0). Najwy»sza b dzie dla p = 0 (w ko«cu Polska ani razu nie przegraªa!). (1) Ekonometria Bayesowska 10 / 35

Ocena formy Polaków: po fazie grupowej Ocena Polaków po fazie grupowej a posteriori (1) Przed drug faz musieli±my zaktualizowa nasze wyobra»enie o p. Mogli±my to zrobi na dwa sposoby: Wnioskowa na podstawie tego, co zaobserwowali±my: trzy mecze bez pora»ki, a wi c p = 1. Tak post piliby±my w ±wiecie ekonometrii klasycznej. Ale przecie» trzy mecze to bardzo maªo! Równocze±nie miejsce w rankingu FIFA (4 lata!) mo»e nie± ze sob wiele cennych informacji, które w fazie grupowej (2 tygodnie!) mogªy si nie ujawni. Najlepiej byªoby wi c wzi pod uwag oba ¹ródªa informacji. Ranking FIFA (a priori): powinien znaczy tym wi cej, im bardziej byli±my pewni jego adekwatno±ci (tj. im ni»sz wariancj p ustalili±my przed faz grupow ). Dotychczasowe mecze (dane): powinny wa»y tym wi cej, im wi cej meczów si ju» odbyªo. (1) Ekonometria Bayesowska 11 / 35

Ocena formy Polaków: po fazie grupowej Ocena Polaków po fazie grupowej a posteriori (2) Udana faza grupowa przesun ªa nasze postrzeganie prawdpodobie«stwa pora»ki Polaków ku ni»szym warto±ciom. Jak to zadziaªaªo? (1) Ekonometria Bayesowska 12 / 35

Prawdopodobie«stwo ª czne i warunkowe Prawdopodobie«stwo ª czne i warunkowe Prawdopodobie«stwo zdarzenia A: P (A) Prawdopodobie«stwo ª czne zdarze«a i B (tj.»e zdarzy si jedno i drugie): P (A B) Prawdopodobie«stwo warunkowe zdarzenia A pod warunkiem B (tj.»e zdarzy si A, gdy wiemy,»e B si ju» zdarzyªo): P (A B) = P (A B) P (B) (1) Ekonometria Bayesowska 14 / 35

Twierdzenie Bayesa Twierdzenie Bayesa Twierdzenie Bayesa P (A B) = P (B A) P (A) P (B) Dowód: P (A B) = P(A B) P(B) P (B A) = P(A B) P(A) P (A B) P (B) = P (B A) P (A) P (A B) = P(B A) P(A) P(B) = P (A B) = P (A B) P (B) = P (A B) = P (B A) P (A) (1) Ekonometria Bayesowska 15 / 35

Twierdzenie Bayesa Twierdzenie Bayesa wersja zmodykowana A jest zdarzeniem pewnym, ale mo»e wyst pi w n rozª cznych wariantach, czyli A = A 1 A 2... A n, przy czym A i A j = dla dowolnego i j. Chcemy wyznaczy prawdopodobie«stwo i-tego wariantu warunkowe wzgl dem zdarzenia B: Twierdzenie Bayesa wersja zmodykowana P (A i B) = P (B A i ) P (A i ) P (B A 1) P (A 1) + P (B A 2) P (A 2) +... + P (B A n) P (A n) Je»eli wariantów zdarzenia A jest nieprzeliczalnie wiele (i I ) -- np. polega ono na wyst pieniu pewnej warto±ci z rozkªadu ci gªego wówczas zast pujemy poj cie prawdopodobie«stwa g sto±ci (ozn. f ), a powy»szy wzór: f (A i B) = f (B A i) f (A i ) f (B A i ) f (A i ) di I (1) Ekonometria Bayesowska 16 / 35

Rozkªad a priori i a posteriori Twierdzenie Bayesa zastosowanie w ekonometrii f (A i B) = f (B A i) f (A i ) f (B A i ) f (A i ) di I f (X θ) f (θ) f (θ X ) = f (X θ) f (θ) dθ Jako zdarzenia A i rozpatrzymy przyj cie przez parametr θ ró»nych mo»liwych warto±ci (θ 1,θ 2,...). Parametr θ musi przyjmowa jak ± warto±, wi c prawdopodobie«stwa tych zdarze«sumuj si do 1 (w rozkªadzie dyskretnym) albo g sto± prawdopodobie«stwa tych zdarze«caªkuje si do 1 (przy uwzgl dnieniu wszystkich mo»liwych warto±ci θ). Zdarzenie B polega na tym,»e zaobserwowali±my okre±lony zestaw danych X. P (θ X ) wyznaczany rozkªad a posteriori, tj. warunkowy wzgl dem zaobserwowanych danych P (θ) rozkªad a priori P (X θ) rozkªa próbkowych danych X, przy zaªo»eniu parametru o warto±ci θ (to»samy z funkcj wiarygodno±ci) mianownik nie zale»y od θ i peªni rol staªej skaluj cej (1) Ekonometria Bayesowska 17 / 35 I

Przykªad: sformuªowanie rozkªadu a priori Rozkªad a priori: rozkªad beta Wspominali±my ju»,»e dla nieznanego parametru p (prawdopodobie«stwa,»e Polska nie przegra meczu) wyznaczyli±my rozkªad a priori typu beta: przy czym: ι [0;1] (x) = Funkcja beta: B (α, β) = f (p) = ι [0;1] (p) B (α, β) pα 1 (1 p) β 1 { 1 x [0; 1] 0 x / [0; 1]. 1 0 t α 1 (1 t) β 1 dt. (1) Ekonometria Bayesowska 19 / 35

Przykªad: sformuªowanie rozkªadu a priori Warto± oczekiwana i wariancja w rozkªadzie a priori Mo»na pokaza,»e w rozkªadzie beta: D 2 (p) = 1 0 E (p) = 1 0 p f (p) dp = [p E (p)] 2 f (p) dp = α α+β αβ (α+β) 2 (α+β+1) Przyj li±my,»e E (p) = 0, 696 oraz»e D 2 (p) = (0, 15) 2. Rozwi zuj c nast puj cy ukªad równa«: α α+β = 0, 696 αβ = (0, (α+β) 2 15)2 (α+β+1) mo»emy okre±li nasz rozkªad a priori w kategoriach parametrów α i β. (Doln lini b dziemy od tej pory oznacza parametry i funkcje a priori, górn a posteriori). (1) Ekonometria Bayesowska 20 / 35

Przykªad: sformuªowanie rozkªadu a priori Rozkªad a priori (przed faz grupow ) przypomnijmy... (1) Ekonometria Bayesowska 21 / 35

Przykªad: wyznaczenie rozkªadu a posteriori Rozkªad a posteriori (1) W naszym przypadku nieznanym parametrem jest p (prawdopodobie«stwo pora»ki Polski w pojedynczym meczu), a informacj z próby k (liczba pora»ek w fazie grupowej). f (p k) = f (k p) f (p) 1 0 f (k p)f (p)dp f (p) = ι [0;1] (p) B ( α, β )pα 1 (1 p) β 1 f (k p) = ( 3 k ) p k (1 p) 3 k (1) Ekonometria Bayesowska 22 / 35

Przykªad: wyznaczenie rozkªadu a posteriori Rozkªad a posteriori (2) f (p k) = 3 k 1 0 3 k p k ι[0;1] (p) (1 p) 3 k B(α,β) pα 1 (1 p) β 1 p k ι[0;1] (p) (1 p) 3 k B(α,β) pα 1 (1 p) β 1 dp = pk (1 p) 3 k ι [0;1] (p)p α 1 (1 p) β 1 1 0 p k (1 p) 3 k p α 1 (1 p) β 1 dp = pk+α 1 (1 p) 3 k+β 1 ι [0;1] (p) 1 0 p k+α 1 (1 p) 3 k+β 1 dp = ι [0;1](p) B(α,β) pα 1 (1 p) β 1 = = = pk+α 1 (1 p) 3 k+β 1 ι [0;1] (p) B(α+k,β k+3) = (1) Ekonometria Bayesowska 23 / 35

Przykªad: wyznaczenie rozkªadu a posteriori Rozkªad a posteriori (3) f (p k) = ι [0;1] (p) B ( α, β )pα 1 (1 p) β 1 Rozkªad a posteriori równie» jest rozkªadem beta o parametrach: α = α + k β = β k + 3 (1) Ekonometria Bayesowska 24 / 35

Przykªad: wyznaczenie rozkªadu a posteriori Warto± oczekiwana w rozkªadzie a posteriori E (p) = α = = α+k = α+β α+k+β k+3 α + β α + β + 3 }{{} waga 1 α α + β }{{} E(p) + 3 α + β + 3 }{{} waga 2 k 3 }{{} frakcja z danych W naszym przypadku warto± oczekiwana a posteriori jest ±redni wa»on : warto±ci oczekiwanej a priori (wa»y tym wi cej, im mniejsza wariancja a priori) frakcji zdarze«z danych (wa»y tym wi cej, im dªu»sza próba) Polacy nie przegrali w grupie przy k = 0 z pewno±ci E (p) < E (p). (1) Ekonometria Bayesowska 25 / 35

Przykªad: wyznaczenie rozkªadu a posteriori Rozkªad a posteriori (4) Znany ju» rozkªad a posteriori przy E(p) = 0, 696 i D 2 (p) = (0, 15) 2 dla przypomnienia: (1) Ekonometria Bayesowska 26 / 35

Analiza wra»liwo±ci na rozkªad a priori Wra»liwo± na rozkªad a priori (1) Gdyby±my byli mniej pewni naszych przekona«a priori, wówczas dane bardziej poci gn rozkªad w prawo: D 2 (p) = (0, 2) 2... (1) Ekonometria Bayesowska 27 / 35

Analiza wra»liwo±ci na rozkªad a priori Wra»liwo± na rozkªad a priori (2)...w przeciwnym razie: D 2 (p) = (0, 1) 2 rozkªad a priori mocniej trzyma wyniki z prawej strony. (1) Ekonometria Bayesowska 28 / 35

Analiza wra»liwo±ci na rozkªad a priori Wra»liwo± na rozkªad a priori (3) Przy E (p) = 0, 8 rozkªad a posteriori przesuwa si umiarkowanie w prawo, ale nie zmienia ksztaªtu. (1) Ekonometria Bayesowska 29 / 35

Analiza wra»liwo±ci na rozkªad a priori Wra»liwo± na rozkªad a priori (4) Przy E (p) = 0, 6 warto± oczekiwana a posteriori przesuwa si lewo, cho mniej, ni» E (p). (1) Ekonometria Bayesowska 30 / 35

O ekonometrii bayesowskiej 1. Parametry traktujemy jako zmienne losowe Zaªo»yli±my,»e parametr p jest zmienn losow. To fundamentalna ró»nica w porównaniu do klasycznej ekonometrii, gdzie zakªadali±my istnienie prawdziwej, nieznanej warto±ci parametru w procesie generuj cym dane / populacji. Pewne elementy my±lenia w kategoriach rozkªadów (np. przedziaª ufno±ci) wi zaªy si wyª cznie z faktem,»e estymatory z próby s zmiennymi losowymi ze wzgl du na losowy dobór próby. Nigdy jednak nie dotyczyªo to prawdziwych parametrów. Takie zaªo»enie odzwierciedla fundamentaln ró»nic mi dzy bayesistami a klasykami w rozumieniu poj cia prawdopodobie«stwa. Klasycy posªuguj si cz sto±ciow interpretacj prawdopodobie«stwa uwa»aj,»e nale»y si tym poj ciem posªugiwa wyª cznie w celu opisania, jak cz sto zachodzi okre±lone zdarzenie (dlatego bayesi±ci okre±laj ich jako frequentists). Bayesi±ci posªuguj si dodatkowo subiektywistyczn interpretacj prawdopodobie«stwa, która pozwala im okre±li rozkªach ich przekona«co do nieznanej warto±ci parametru p (np.»e na 90% jest wy»szy od 0, 4). (1) Ekonometria Bayesowska 32 / 35

O ekonometrii bayesowskiej 2. Do procesu estymacji wprowadzamy wiedz spoza próby Sformuªowali±my rozkªad a priori parametru p. Zobaczyli±my,»e mo»e on znacz co rzutowa na uzyskane wyniki. Miar sukcesu w ekonometrii bayesowskiej jest doprowadzenie do zaw»enia (ang. shrinkage) rozkªadu a priori czyli precyzyjniejszej wiedzy o parametrze po konfrontacji z danymi ni» przed. Nie musi to oznacza przesuni cia warto±ci oczekiwanej, chodzi o zmniejszenie wariancji. Je»eli rozkªad a posteriori niemal pokrywa si z rozkªadem a priori, to oznacza pora»k w analizie empirycznej dane niczego nie wniosªy do naszej wiedzy o parametrze. wiczenie Jakie byªoby postrzeganie a posteriori prawdopodobie«stwa pora»ki Polaków, gdyby w grupie przegrali 2 mecze i nie przegrali trzeciego (k = 2)? (1) Ekonometria Bayesowska 33 / 35

O ekonometrii bayesowskiej 3. Modele mog mie ró»ny poziom komplikacji Rozwa»yli±my prosty model statystyczny, wnioskuj c o jednym parametrze p przy pewnych zaªo»eniach o rozkªadzie danych (ci g niezale»nych pora»ek i nie-pora»ek). W ekonometrycznych analizach regresji b dziemy przyjmowali zaªo»enia na temat rozkªadu skªadnika losowego. Zwykle b dzie to rozkªad normalny, ale narz dzia ekonometrii bayesowskiej pozwalaj analizowa inne rozkªady. Przy wi kszej liczbie parametrów otrzymamy ª czny rozkªad a posteriori, z którego niewiele wywnioskujemy wprost (przy 3 lub wi cej parametrach trudno nawet o wizualizacj ). B d potrzebne rozkªady brzegowe poszczególnych parametrów (czyli rozkªad ª czny scaªkowany po pozostaªych parametrach). Nie znaj c parametrów rozkªadów a priori, cz sto opisujemy je... kolejnymi rozkªadami! Takie konstrukcje nazywami modelami hierarchicznymi. (1) Ekonometria Bayesowska 34 / 35

O ekonometrii bayesowskiej 4. Caªkowanie nie zawsze jest tak proste Korzystaj c ze wzoru Bayesa, przeprowadzili±my obliczenia, z których wynikaªo,»e rozkªad a posteriori dla p te» jest rozkªadem beta (podobnie jak a priori). W takiej sytuacji mówimy,»e rozkªad a priori jest sprz»ony (ang. conjugate prior) z rozkªadem danych (w tym przypadku dwumianowym). W ten sposób, wprost ze wzoru, odczytali±my parametry a posteriori ᾱ i β. To pozwoliªo natychmiast wyznaczy E (p). Wszystko udaªo si zrobi analitycznie. Zwykle nie idzie tak ªatwo... Cz sto nie jeste±my w stanie dostrzec konkretnej postaci funkcyjnej ani ªatwo jej caªkowa w celu wyznaczenia warto±ci oczekiwanej. Wówczas: przybli»amy g sto± (brzegow ) a posteriori za pomoc metod symulacyjnych numerycznych próbników, otrzymuj c histogram; numerycznie caªkujemy (poznamy odpowiednie metody), by otrzyma miar warto±ci oczekiwanej a posteriori. (1) Ekonometria Bayesowska 35 / 35