Ekonometria Bayesowska

Transkrypt

1 Ekonometria Bayesowska Wykªad 8: Restrykcje na parametry w postaci nierówno±ci: analiza bayesowska (8) Ekonometria Bayesowska 1 / 21

2 Plan wykªadu 1 Restrykcje nierówno±ciowe: podej±cie klasyczne a bayesowskie 2 Porównanie modeli: restrykcje w postaci nierówno±ci 3 Estymacja z uwzgl dnieniem restrykcji w postaci nierówno±ci (8) Ekonometria Bayesowska 2 / 21

3 Plan prezentacji 1 Restrykcje nierówno±ciowe: podej±cie klasyczne a bayesowskie 2 Porównanie modeli: restrykcje w postaci nierówno±ci 3 Estymacja z uwzgl dnieniem restrykcji w postaci nierówno±ci (8) Ekonometria Bayesowska 3 / 21

4 Restrykcje nierówno±ciowe Podej±cie klasyczne a bayesowskie Rozwa»my model regresji liniowej: y t = β 0 + β 1 x 1,t + β 2 x 2,t + ε t Gdy INTERESUJE NAS, CZY β 1 > b 1 (lub np. β 1 > b 1 β 2 > b 2 ): w podej±ciu klasycznym: sprawdzamy, czy nierówno± speªniona punktowo oraz czy punkt b 1 (lub (b 1, b 2 )) znajduje si poza przedziaªem (elips ) ufno±ci; w podej±ciu bayesowskim: mo»emy wyznaczy prawdopodobie«stwo a posteriori speªnienia nierówno±ci i odpowiedni iloraz szans a posteriori. Gdy WIEMY,»e β 1 > b 1 : w podej±ciu klasycznym: pozostaj nam nieliniowe transformacje parametrów, które wymuszaj speªnienie nierówno±ci, ale równocze±nie nastr czaj trudno±ci numerycznych i utrudniaj wnioskowanie statystyczne; w podej±ciu bayesowskim: mo»emy uwzgl dni nierówno± jako informacj a priori. (8) Ekonometria Bayesowska 4 / 21

5 Restrykcje nierówno±ciowe Podej±cie klasyczne a bayesowskie Rozwa»my model regresji liniowej: y t = β 0 + β 1 x 1,t + β 2 x 2,t + ε t Gdy INTERESUJE NAS, CZY β 1 > b 1 (lub np. β 1 > b 1 β 2 > b 2 ): w podej±ciu klasycznym: sprawdzamy, czy nierówno± speªniona punktowo oraz czy punkt b 1 (lub (b 1, b 2 )) znajduje si poza przedziaªem (elips ) ufno±ci; w podej±ciu bayesowskim: mo»emy wyznaczy prawdopodobie«stwo a posteriori speªnienia nierówno±ci i odpowiedni iloraz szans a posteriori. Gdy WIEMY,»e β 1 > b 1 : w podej±ciu klasycznym: pozostaj nam nieliniowe transformacje parametrów, które wymuszaj speªnienie nierówno±ci, ale równocze±nie nastr czaj trudno±ci numerycznych i utrudniaj wnioskowanie statystyczne; w podej±ciu bayesowskim: mo»emy uwzgl dni nierówno± jako informacj a priori. (8) Ekonometria Bayesowska 4 / 21

6 Restrykcje nierówno±ciowe Podej±cie klasyczne a bayesowskie Rozwa»my model regresji liniowej: y t = β 0 + β 1 x 1,t + β 2 x 2,t + ε t Gdy INTERESUJE NAS, CZY β 1 > b 1 (lub np. β 1 > b 1 β 2 > b 2 ): w podej±ciu klasycznym: sprawdzamy, czy nierówno± speªniona punktowo oraz czy punkt b 1 (lub (b 1, b 2 )) znajduje si poza przedziaªem (elips ) ufno±ci; w podej±ciu bayesowskim: mo»emy wyznaczy prawdopodobie«stwo a posteriori speªnienia nierówno±ci i odpowiedni iloraz szans a posteriori. Gdy WIEMY,»e β 1 > b 1 : w podej±ciu klasycznym: pozostaj nam nieliniowe transformacje parametrów, które wymuszaj speªnienie nierówno±ci, ale równocze±nie nastr czaj trudno±ci numerycznych i utrudniaj wnioskowanie statystyczne; w podej±ciu bayesowskim: mo»emy uwzgl dni nierówno± jako informacj a priori. (8) Ekonometria Bayesowska 4 / 21

7 Plan prezentacji 1 Restrykcje nierówno±ciowe: podej±cie klasyczne a bayesowskie 2 Porównanie modeli: restrykcje w postaci nierówno±ci 3 Estymacja z uwzgl dnieniem restrykcji w postaci nierówno±ci (8) Ekonometria Bayesowska 5 / 21

8 Porównanie modeli Iloraz szans a posteriori Rozwa»my model regresji liniowej: y t = x t β + ε t Rozwa»amy zestaw J restrykcji liniowych w postaci nierówno±ci: Rβ r gdzie: β k 1, R J k, r J 1, r (R) = J. Rozwa»my dwa konkurencyjne modele: M 1 : model pierwszy ze speªnionym zestawem restrykcji Rβ r M 2 : model drugi, w którym przynajmniej jedna restrykcja nie jest speªniona Iloraz szans a posteriori: PO 12 = P(M 1 y) P(M 2 y) = p(rβ r y) 1 p(rβ r y) (8) Ekonometria Bayesowska 6 / 21

9 Porównanie modeli Iloraz szans a posteriori Rozwa»my model regresji liniowej: y t = x t β + ε t Rozwa»amy zestaw J restrykcji liniowych w postaci nierówno±ci: Rβ r gdzie: β k 1, R J k, r J 1, r (R) = J. Rozwa»my dwa konkurencyjne modele: M 1 : model pierwszy ze speªnionym zestawem restrykcji Rβ r M 2 : model drugi, w którym przynajmniej jedna restrykcja nie jest speªniona Iloraz szans a posteriori: PO 12 = P(M 1 y) P(M 2 y) = p(rβ r y) 1 p(rβ r y) (8) Ekonometria Bayesowska 6 / 21

10 Porównanie modeli Iloraz szans a posteriori Rozwa»my model regresji liniowej: y t = x t β + ε t Rozwa»amy zestaw J restrykcji liniowych w postaci nierówno±ci: Rβ r gdzie: β k 1, R J k, r J 1, r (R) = J. Rozwa»my dwa konkurencyjne modele: M 1 : model pierwszy ze speªnionym zestawem restrykcji Rβ r M 2 : model drugi, w którym przynajmniej jedna restrykcja nie jest speªniona Iloraz szans a posteriori: PO 12 = P(M 1 y) P(M 2 y) = p(rβ r y) 1 p(rβ r y) (8) Ekonometria Bayesowska 6 / 21

11 Porównanie modeli Iloraz szans a posteriori Rozwa»my model regresji liniowej: y t = x t β + ε t Rozwa»amy zestaw J restrykcji liniowych w postaci nierówno±ci: Rβ r gdzie: β k 1, R J k, r J 1, r (R) = J. Rozwa»my dwa konkurencyjne modele: M 1 : model pierwszy ze speªnionym zestawem restrykcji Rβ r M 2 : model drugi, w którym przynajmniej jedna restrykcja nie jest speªniona Iloraz szans a posteriori: PO 12 = P(M 1 y) P(M 2 y) = p(rβ r y) 1 p(rβ r y) (8) Ekonometria Bayesowska 6 / 21

12 Porównanie modeli Prawdopodobie«stwo restrykcji w modelu N-G Wiemy,»e w modelu N-G wektor β ma wielowymiarowy rozkªad t ( β, s 2 U, v ). Za pomoc odpowiedniego twierdzenia ªatwo ustali rozkªad wektora Rβ. Twierdzenie Je»eli β k 1 t ( β, s 2 U, v ), a macierz R J k jest nielosowa, to (Rβ) J 1 t ( Rβ, s 2 RUR T, v ). Wówczas p (Rβ r y) mo»na ªatwo wyznaczy korzystaj c z powy»szego rozkªadu t. (8) Ekonometria Bayesowska 7 / 21

13 Porównanie modeli Zadanie Wró my do modelu popytu na benzyn (zaj cia 4). Wyznaczmy ilorazy szans a posteriori dla modelu bez restrykcji i modelu, w którym: 1 elastyczno± cenowa popytu jest ujemna; 2 elastyczno± cenowa popytu dla obu dóbr komplementarnych (nowe i u»ywane samochody) jest ujemna; 3 wszystkie elastyczno±ci cenowe s ujemne, a elastyczno± dochodowa dodatnia. (8) Ekonometria Bayesowska 8 / 21

14 Porównanie modeli Zadanie - wskazówka Dystrybuanta rozkªadu t: pmvt β 1 < 0, β 2 < 0, β 3 < 0, β 4 > 0 : 1 β 1 1 β 2 1 β 3 < 1 β (8) Ekonometria Bayesowska 9 / 21

15 Plan prezentacji 1 Restrykcje nierówno±ciowe: podej±cie klasyczne a bayesowskie 2 Porównanie modeli: restrykcje w postaci nierówno±ci 3 Estymacja z uwzgl dnieniem restrykcji w postaci nierówno±ci (8) Ekonometria Bayesowska 10 / 21

16 Przykªad: ceny BMW Autorzy Niniejszy materiaª opracowano na podstawie przykªadu autorstwa mgra Bartosza Olesi«skiego......oraz bazy danych autorstwa Macieja Iwi«skiego. (8) Ekonometria Bayesowska 11 / 21

17 Przykªad: ceny BMW Przykªad Rozwa»amy model hedoniczny wyceny samochodów marki BMW. Logarytm ceny zostanie uzale»niony od nast puj cych zmiennych: rok produkcji (produkcja); moc silnika (moc, jako ln); przebieg (przebieg, jako ln); fakt,»e samochód jest bezwypadkowy (bezwypadkowy, zmienna binarna); fakt,»e samochód sprzedawany przez pierwszego wªa±ciciela (wlasciciel, zmienna binarna); rodzaj paliwa (paliwo: 1 je»eli diesel, zmienna binarna); automatyczna skrzynia biegów (skrzynia: 1 je»eli wyst puje, zmienna binarna). (8) Ekonometria Bayesowska 12 / 21

18 Przykªad: ceny BMW Analiza metodami klasycznymi Importujemy zbiór danych. W jaki sposób poszczególne zmienne powinny si co do kierunku przekªada na cen pojazdu? Szacujemy parametry równania regresji liniowej za pomoc KMNK. Czy wyniki estymacji koresponduj ze sformuªowanymi wcze±niej hipotezami? (8) Ekonometria Bayesowska 13 / 21

19 Przykªad: ceny BMW Analiza bayesowska rozkªady a priori (1) Zmienna Parametr Wiedza a priori G sto± a priori produkcja β 1 > 0 I R + moc β 2 > 0 I R + przebieg β 3 < 0 I R bezwypadkowy β 4 > 0 I R + wlasciciel β 5 > 0 I R + paliwo β 6 > 0 I R + skrzynia β 7 > 0 I R + staªa β 0 I R precyzja h > 0 gamma (8) Ekonometria Bayesowska 14 / 21

20 Przykªad: ceny BMW Analiza bayesowska rozkªady a priori (2) Wiedza o znakach parametrów chcemy traktowa jako jedyn informacj a priori. Ma ona zast pi, a nie uzupeªni wiedz a priori, któr mieli±my pracuj c z rozkªadem N-G, tj. wielowymiarowy rozkªad normalny a priori. Warto zaznaczy,»e w modelu N-G skrajnie nieinformacyjny rozkªad a priori przyjmuje posta : p (β, h) 1 h, Sk d to wiemy? h R+, β R k Rozwa»my rozkªad a priori z zerow liczebno±ci hipotetycznej pierwszej próby (v + k = 0), tym samym zerow sum kwadratów reszt (vs 2 = 0) oraz U (niesko«czenie wysoka wariancja a priori i U 1 0). Ze wzorów z wykªadu 4 wiemy,»e w takim ukªadzie β = ˆβ, U = ( X T X ) 1, v = N oraz vs 2 = ˆvŝ 2. Wówczas β pozostaje bez znaczenia, a powy»sze wyniki mo»na uzyska, mno» c g sto± próbkow wªa±nie przez g sto± a priori proporcjonaln do 1 h : p (β, h) exp [ h 2 ( T β β) ( ) ] U 1 β β h v+k 2 1 exp ( 2 h vs2) (8) Ekonometria Bayesowska 15 / 21

21 Przykªad: ceny BMW Analiza bayesowska rozkªady a priori (2) Wiedza o znakach parametrów chcemy traktowa jako jedyn informacj a priori. Ma ona zast pi, a nie uzupeªni wiedz a priori, któr mieli±my pracuj c z rozkªadem N-G, tj. wielowymiarowy rozkªad normalny a priori. Warto zaznaczy,»e w modelu N-G skrajnie nieinformacyjny rozkªad a priori przyjmuje posta : p (β, h) 1 h, Sk d to wiemy? h R+, β R k Rozwa»my rozkªad a priori z zerow liczebno±ci hipotetycznej pierwszej próby (v + k = 0), tym samym zerow sum kwadratów reszt (vs 2 = 0) oraz U (niesko«czenie wysoka wariancja a priori i U 1 0). Ze wzorów z wykªadu 4 wiemy,»e w takim ukªadzie β = ˆβ, U = ( X T X ) 1, v = N oraz vs 2 = ˆvŝ 2. Wówczas β pozostaje bez znaczenia, a powy»sze wyniki mo»na uzyska, mno» c g sto± próbkow wªa±nie przez g sto± a priori proporcjonaln do 1 h : p (β, h) exp [ h 2 ( T β β) ( ) ] U 1 β β h v+k 2 1 exp ( 2 h vs2) (8) Ekonometria Bayesowska 15 / 21

22 Przykªad: ceny BMW Analiza bayesowska rozkªady a priori (2) Wiedza o znakach parametrów chcemy traktowa jako jedyn informacj a priori. Ma ona zast pi, a nie uzupeªni wiedz a priori, któr mieli±my pracuj c z rozkªadem N-G, tj. wielowymiarowy rozkªad normalny a priori. Warto zaznaczy,»e w modelu N-G skrajnie nieinformacyjny rozkªad a priori przyjmuje posta : p (β, h) 1 h, Sk d to wiemy? h R+, β R k Rozwa»my rozkªad a priori z zerow liczebno±ci hipotetycznej pierwszej próby (v + k = 0), tym samym zerow sum kwadratów reszt (vs 2 = 0) oraz U (niesko«czenie wysoka wariancja a priori i U 1 0). Ze wzorów z wykªadu 4 wiemy,»e w takim ukªadzie β = ˆβ, U = ( X T X ) 1, v = N oraz vs 2 = ˆvŝ 2. Wówczas β pozostaje bez znaczenia, a powy»sze wyniki mo»na uzyska, mno» c g sto± próbkow wªa±nie przez g sto± a priori proporcjonaln do 1 h : p (β, h) exp [ h 2 ( T β β) ( ) ] U 1 β β h v+k 2 1 exp ( 2 h vs2) (8) Ekonometria Bayesowska 15 / 21

23 Przykªad: ceny BMW Analiza bayesowska rozkªady a priori (3) W modelu N-G ze skranie nieinformacyjnym rozkªadem a priori: p (β, h) 1 h, h R+, β R k Nasza dodatkowa wiedza o ograniczeniach dla parametrów skutkuje nast puj c postaci rozkªadu a priori: Niech B = {β R : β 1, β 2, β 4, β 5, β 6, β 7 > 0 β 3 < 0} p (β, h) 1 h I B (β), h R +, β R k Nast piªo zaw»enie dziedziny o zbiory, którym w modelu N-G przypisywali±my niezerow g sto± a priori. Powtórzenie dotychczasowych rozumowa«w prosty sposób prowadzi do uzyskania wyra»enia proporcjonalnego do g sto±ci brzegowej a posteriori dla β (to nie jest ju» rozkªad t!) p (β y) f t ( β β, s 2 U, v ) IB (β) (8) Ekonometria Bayesowska 16 / 21

24 Przykªad: ceny BMW Analiza bayesowska rozkªady a priori (3) W modelu N-G ze skranie nieinformacyjnym rozkªadem a priori: p (β, h) 1 h, h R+, β R k Nasza dodatkowa wiedza o ograniczeniach dla parametrów skutkuje nast puj c postaci rozkªadu a priori: Niech B = {β R : β 1, β 2, β 4, β 5, β 6, β 7 > 0 β 3 < 0} p (β, h) 1 h I B (β), h R +, β R k Nast piªo zaw»enie dziedziny o zbiory, którym w modelu N-G przypisywali±my niezerow g sto± a priori. Powtórzenie dotychczasowych rozumowa«w prosty sposób prowadzi do uzyskania wyra»enia proporcjonalnego do g sto±ci brzegowej a posteriori dla β (to nie jest ju» rozkªad t!) p (β y) f t ( β β, s 2 U, v ) IB (β) (8) Ekonometria Bayesowska 16 / 21

25 Przykªad: ceny BMW Analiza bayesowska rozkªady a priori (3) W modelu N-G ze skranie nieinformacyjnym rozkªadem a priori: p (β, h) 1 h, h R+, β R k Nasza dodatkowa wiedza o ograniczeniach dla parametrów skutkuje nast puj c postaci rozkªadu a priori: Niech B = {β R : β 1, β 2, β 4, β 5, β 6, β 7 > 0 β 3 < 0} p (β, h) 1 h I B (β), h R +, β R k Nast piªo zaw»enie dziedziny o zbiory, którym w modelu N-G przypisywali±my niezerow g sto± a priori. Powtórzenie dotychczasowych rozumowa«w prosty sposób prowadzi do uzyskania wyra»enia proporcjonalnego do g sto±ci brzegowej a posteriori dla β (to nie jest ju» rozkªad t!) p (β y) f t ( β β, s 2 U, v ) IB (β) (8) Ekonometria Bayesowska 16 / 21

26 Losowanie z funkcji wa»no±ci Metody numeryczne Jak dot d posªugiwali±my si wyprowadzeniami analitycznymi, aby znale¹ np. warto± oczekiwan lub wariancj parametru a posteriori. Jak ju» wiemy, to mo»liwe w nielicznych przypadkach. W ogólnym przypadku si gamy do metod numerycznych, które odwzorowuj S-krotne losowanie wektora parametrów z rozkªadu a posteriori (θ (1), θ (2),..., θ (S) ). Dysponuj c takimi wynikami losowania, mo»emy: Naszkicowa histogram. Oszacowa warto± oczekiwan dowolnej funkcji parametrów S ( g(θ) jako 1 S g θ (s)). s=1 Dzi± poznamy pierwsz z nich: losowanie z funkcji wa»no±ci (importance sampling). Jest stosunkowo prosta i nadaje si dobrze do rozwa»anego problemu. (8) Ekonometria Bayesowska 17 / 21

27 Losowanie z funkcji wa»no±ci Metody numeryczne Jak dot d posªugiwali±my si wyprowadzeniami analitycznymi, aby znale¹ np. warto± oczekiwan lub wariancj parametru a posteriori. Jak ju» wiemy, to mo»liwe w nielicznych przypadkach. W ogólnym przypadku si gamy do metod numerycznych, które odwzorowuj S-krotne losowanie wektora parametrów z rozkªadu a posteriori (θ (1), θ (2),..., θ (S) ). Dysponuj c takimi wynikami losowania, mo»emy: Naszkicowa histogram. Oszacowa warto± oczekiwan dowolnej funkcji parametrów S ( g(θ) jako 1 S g θ (s)). s=1 Dzi± poznamy pierwsz z nich: losowanie z funkcji wa»no±ci (importance sampling). Jest stosunkowo prosta i nadaje si dobrze do rozwa»anego problemu. (8) Ekonometria Bayesowska 17 / 21

28 Losowanie z funkcji wa»no±ci Metody numeryczne Jak dot d posªugiwali±my si wyprowadzeniami analitycznymi, aby znale¹ np. warto± oczekiwan lub wariancj parametru a posteriori. Jak ju» wiemy, to mo»liwe w nielicznych przypadkach. W ogólnym przypadku si gamy do metod numerycznych, które odwzorowuj S-krotne losowanie wektora parametrów z rozkªadu a posteriori (θ (1), θ (2),..., θ (S) ). Dysponuj c takimi wynikami losowania, mo»emy: Naszkicowa histogram. Oszacowa warto± oczekiwan dowolnej funkcji parametrów S ( g(θ) jako 1 S g θ (s)). s=1 Dzi± poznamy pierwsz z nich: losowanie z funkcji wa»no±ci (importance sampling). Jest stosunkowo prosta i nadaje si dobrze do rozwa»anego problemu. (8) Ekonometria Bayesowska 17 / 21

29 Losowanie z funkcji wa»no±ci Losowanie z funkcji wa»no±ci Twierdzenie: losowanie z funkcji wa»no±ci Niech q (θ) oznacza znan funkcj g sto±ci, z której mo»emy losowa S-krotnie wektor θ (θ (1), θ (2),..., θ (S) ), i której dziedzina zawiera dziedzin nieznanej funkcji g sto±ci a posteriori p (θ y). Wówczas istnieje funkcja S w(θ (s) )g(θ (s) ) ( s=1 ĝ S = gdzie w θ (s)) = p(θ=θ(s) y) S q(θ=θ (s) ) w(θ (s) ) s=1 zbiegaj ca do warto±ci oczekiwanej a posteriori g (θ) wraz ze wzrostem S. W teorii: metoda bardzo uniwersalna. W praktyce: trudna do stosowania, gdy» daje sensowne wyniki jedynie w przypadku, gdy q (θ) stanowi pewne przybli»enie p (θ y). (8) Ekonometria Bayesowska 18 / 21

30 Losowanie z funkcji wa»no±ci Zastosowanie importance sampling (1) ) Niech q(β (s) ) = f t (β (s) β, s 2 U, v, czyli funkcja q b dzie g sto±ci brzegow a posteriori wektora β w modelu N-G ze skrajnie nieinformacyjnym rozkªadem a posteriori. Dla ka»dego wyniku losowania (s) mo»liwe s wówczas dwa przypadki: ) w (β (s) = p(β(s) y) q(β (s) ) ft(β (s) β,s 2 U,v) I B = f t(β (s) β,s 2 U,v) = I B ( β (s) ) = { 1 dla β (s) B 0 dla β (s) / B Oznacza to,»e licz c warto± oczekiwan i wariancj a posteriori powinni±my u±redni wszystkie wyniki losowania, które speªniaj narzucone restrykcje (tzn. nale» do ) zbioru B), a ) pozostaªe przypadki odrzuci. (Proporcjonalno± w (β (s) I B (β (s) zamiast równo±ci nie ma znaczenia, bo wspóªczynniki proporcjonalno±ci w liczniku i mianowniku wzoru na ĝ S ulegaj skróceniu). (8) Ekonometria Bayesowska 19 / 21

31 Losowanie z funkcji wa»no±ci Zastosowanie importance sampling (2) Oznacza to równie»,»e funkcja g sto±ci a posteriori jest modykacj jej odpowiednika w modelu N-G, z nast puj cymi ró»nicami: jej dziedzin jest zbiór B, g sto± jest przeskalowana w taki sposób, by caªkowa si do 1 (staª skaluj c mo»emy wyznaczy jako 1 p(rβ r y) lub oszacowa jako odwrotno± odsetka wylosowanych obserwacji nale» cych do B). (8) Ekonometria Bayesowska 20 / 21

32 Losowanie z funkcji wa»no±ci Zadania domowe 1 Zaproponuj post powanie sprawdzaj ce, który z modeli regresji liniowej: klasyczny z parametrami oszacowanymi KMNK czy bayesowski z restrykcjami a priori naªo»onymi na znaki lepiej prognozuje ceny BMW. 2 Przeprowad¹ analiz bayesowsk modelu popytu na paliwa z uzasadnionymi ekonomicznie restrykcjami nierówno±ciowymi naªo»onymi a priori. (8) Ekonometria Bayesowska 21 / 21