Ekonometria Bayesowska

Transkrypt

1 Ekonometria Bayesowska Wykªad 2: Bayesowska estymacja równania ze staª. Elementy j zyka R (2) Ekonometria Bayesowska / 24

2 Plan wykªadu Model ze staª 2 Podstawy j zyka R 3 Bayesowska analiza modelu ze staª (2) Ekonometria Bayesowska 2 / 24

3 Plan prezentacji Model ze staª 2 Podstawy j zyka R 3 Bayesowska analiza modelu ze staª (2) Ekonometria Bayesowska 3 / 24

4 Specykacja modelu Model ze staª Rozwa»my absurdalnie prosty model ekonometryczny: y i c + ε i, ε N ( 0, σ 2) i.i.d. c jedyny nieznany parametr (dlatego model jest prosty, z sam staª chodzi o ustalenie poziomu zjawiska). Ustalamy dla niego rozkªad a priori: c N ( ) µ c, σc 2 Model jest absurdalnie prosty, bo dodatkowo zakªadamy znajomo± wariancji skªadnika losowego (σ 2 ), co jest rzadkie w praktyce. Pozwala to jednak upro±ci model na tyle, by±my przejrzy±cie prze±ledzili schemat rozumowania bayesowskiego. (Wkrótce poznamy bardziej praktyczn wersj.) (2) Ekonometria Bayesowska 4 / 24

5 Specykacja modelu Rozkªad normalny Dotyczy zmiennych losowych o warto±ciach rzeczywistych. Opisuj go dwa parametry: µ i σ 2 (odpowiednio warto± oczekiwana i wariancja). Funkcja g sto±ci: f (x) σ 2π (x µ) 2 e 2σ 2. Zatem w naszym przykªadzie g sto± a priori dla parametru c: f (c) e (c µc ) 2 2σc 2 σ c 2π (2) Ekonometria Bayesowska 5 / 24

6 Specykacja modelu G sto± próbkowa Przy niezale»nych obserwacjach (jak w poprzednim przykªadzie o Euro 206) jest to iloczyn warto±ci funkcji g sto±ci dla ka»dego elementu w próbie: n f (ε c) f (ε i c) i 2 (σ 2π) n e (σ 2π) n e f (y c) 2 n i n i (ε i 0) 2 σ 2 (y i c) 2 σ 2 (2) Ekonometria Bayesowska 6 / 24

7 G sto± a posteriori G sto± a posteriori () Zgodnie z twierdzeniem Bayesa: f (c y) R A f (y c) f (c) f (y c) f (c) dc }{{} A n 2 (σ 2π) e n i (y i c) 2 2 A (σ 2π) n σ c 2π e i σ 2 σ c 2π e (c µc ) 2 2σ c 2 n (y i c) 2 σ 2 + (c µc )2 σ 2 c (2) Ekonometria Bayesowska 7 / 24

8 G sto± a posteriori G sto± a posteriori (2) n (y i c) 2 (c µc )2 σ 2 + σc 2 i... n n y n i 2 2cȳ+c 2 i σ 2 n i y 2 i 2c n i σ 2 + c2 2cµ c +µ 2 c σ 2 c y i +nc 2 (nσc 2 +σ2 )c 2 2c(σc 2 nȳ+σ2 µ c)+ σc 2 yi 2 +σ 2 µ 2 c i σ 2 σc 2 n + c2 2cµ c +µ 2 c σ 2 c n nσc 2 y n i 2 2cȳ+c 2 +σ 2 (c 2 2cµ c +µ 2 c ) i σ 2 σc 2 n σ c 2 y ( c 2 σ 2 2c c nȳ+σ 2 ) i 2 +σ 2 µ 2 c µc nσ c 2+σ2 + i nσ c 2 +σ2 σ 2 σc 2 nσc 2+σ2 (2) Ekonometria Bayesowska 8 / 24

9 G sto± a posteriori G sto± a posteriori (3) ( c 2 σ 2 2c c nȳ+σ 2 ) µc nσ c 2+σ2 + ( σ 2 c nȳ+σ 2 µc nσ c 2+σ2 ) 2 ( σ 2 c nȳ + σ 2 µ c nσ 2 c + σ 2 ) 2 + σc 2 i n yi 2 + σ 2 µ 2 c nσc 2 + σ 2... ( c σ2 c nȳ+σ2 ) 2 µc nσc 2+σ2 +B σ 2 c + n σ 2 } {{ } B σ 2 c + n σ 2 (2) Ekonometria Bayesowska 9 / 24

10 G sto± a posteriori G sto± a posteriori (4) f (c y) A (σ 2π) n ( c σ2 c nȳ+σ2 ) 2 µc nσc 2 2 +σ2 +B σ σ c 2π e c 2 + n σ 2 B(nσ 2 c +σ2 ) ( ) A n e σ 2π σ c 2π 2σ 2 σc 2 e } {{ } sta la niezależna od c c Rozkªad a posteriori to równie» rozkªad normalny. w.o. rozk ladu N {}}{ σc 2 nȳ + σ 2 µ c nσc 2 + σ 2 2 σc 2 + n σ 2 }{{} wariancja rozk ladu N 2 (2) Ekonometria Bayesowska 0 / 24

11 G sto± a posteriori G sto± a posteriori (5) µ c σ2 c nȳ+σ2 µ c nσ 2 c +σ 2 nσ2 c nσ 2 c +σ 2 ȳ + σ2 nσ 2 c +σ 2 µ c Warto± oczekiwana a posteriori to ±rednia wa»ona warto±ci oczekiwanej a priori i ±redniej z próby. σ 2 c σ 2 c Waga ±redniej z próby ro±nie wraz z wielko±ci próby i z wariancj a priori. Waga ±redniej a priori ro±nie wraz z wariancj danych. + n σ 2 Wariancja a posteriori: ro±nie wraz z wariancj a priori i wariancj danych; maleje wraz z wielko±ci próby. (2) Ekonometria Bayesowska / 24

12 Plan prezentacji Model ze staª 2 Podstawy j zyka R 3 Bayesowska analiza modelu ze staª (2) Ekonometria Bayesowska 2 / 24

13 Potrzebne pakiety R Do analiz bayesowskich b dziemy wykorzystywa program R. Potrzebna nam b dzie równie» aplikacja interfejsu R Studio. Na razie, oprócz bazowych pakietów R, b dzie korzysta z manipulate ten pakiet pozwala tworzy interaktywne wykresy (pozwalaj ce efektywnie ±ledzi zmiany rozkªadów a posteriori przy zmianach parametrów a priori). W przyszªo±ci przydadz nam si równie» m.in.: R.utils pomocniczo rjags, R2jags, MCMCpack, R2WinBUGS pakiety zawieraj ce próbniki numeryczne (gdy nie b dziemy potrali analitycznie caªkowa rozkªadów) JAGS wymaga osobnego instalatora (do pobrania tutaj) (2) Ekonometria Bayesowska 3 / 24

14 Potrzebne pakiety Instalacja i ªadowanie pakietów Aby zainstalowa pakiet manipulate: install.packages("manipulate") Aby wprowadzi go do pami ci i bie» cego u»ytku: library(manipulate) Wygodnie jest te» ustali folder sieciowy w domu dowolnie, na zaj ciach najlepiej na przeno±nym dysku lub wªasnej przestrzeni na dysku sieciowym, na przykªad: setwd("c:/ekonometria_bayesowska/wyklad02") (2) Ekonometria Bayesowska 4 / 24

15 Zadanie Co chcemy zrobi? Przekonajmy si, jak b dzie wygl da rozkªad a posteriori c w omawianym przykªadzie. Wiemy,»e σ 2. Powiedzmy te»,»e nasz wiedz a priori o c opiszemy rozkªadem normalnym: µ c 0 σ 2 c 0, 3 W praktyce mieliby±my do dyspozycji wektor danych y [ y y 2... y n ] T. W naszym przypadku wyznaczymy go symulacyjnie, ustalaj c c, n i losuj c ε,..., ε n i.i.d. N(0, σ 2 ). Przyjmijmy wi c prawdziwe c 0, 5 (zauwa»my,»e to inna warto± ni» ±rednia a priori - a wi c nasza wiedza a priori jest znieksztaªcona) oraz n 20. (2) Ekonometria Bayesowska 5 / 24

16 Potrzebne polecenia Generujemy skalar lub wektor Generujemy skalar o zadanej warto±ci: c_true <- 0.5 Generujemy wektor: o znanych warto±ciach, 2, 3: uc(, 2, 3) o jednej warto±ci, np. siedem zer: vrep(0, 7) ci g arytmetyczny o za c <- seq(from -.5, to.5, by 0.0) Sprawdzamy w pomocy, jak dziaªa polecenie:?seq (2) Ekonometria Bayesowska 6 / 24

17 Potrzebne polecenia Funkcje g sto±ci rozkªadów Wektor n liczb losowych z rozkªadu normalnego o ±redniej A i odchyleniu standardowym B: y <- rnorm(n, mean A, sd B) Warto± g sto±ci dla liczby x z rozkªadu normalnego o ±redniej A i odchyleniu standardowym B: v <- dnorm(x, mean A, sd B) Na podobnej zasadzie posªugiwali±my si poprzednio poleceniami rbeta i dbeta. (2) Ekonometria Bayesowska 7 / 24

18 Potrzebne polecenia Wykresy plot tworzy wykres liniowy lub punktowy lines dodaje do ostatnio utworzonego wykresu dodatkow lini polygon dodaje wykres powierzchniowy abline dodaje prost lini text dodaje pole tekstowe legend dodaje legend Szczegóªy w kodzie. (2) Ekonometria Bayesowska 8 / 24

19 Potrzebne polecenia Wykresy interaktywne manipulate ( {plot(x,y,...)...} #Polecenia tworz ce wykres y <- f(x,a) #Polecenia przetwarzaj ce parametry a <- slider(od, do, step..., initial...) #Parametry ) (2) Ekonometria Bayesowska 9 / 24

20 Potrzebne polecenia Zapisywanie wykresów do pliku png(file "tytul.png", width..., height..., res...) manipulate (......) dev.off() (2) Ekonometria Bayesowska 20 / 24

21 Plan prezentacji Model ze staª 2 Podstawy j zyka R 3 Bayesowska analiza modelu ze staª (2) Ekonometria Bayesowska 2 / 24

22 Model ze staª Rozkªad a priori (2) Ekonometria Bayesowska 22 / 24

23 Model ze staª Rozkªad a posteriori (2) Ekonometria Bayesowska 23 / 24

24 Model ze staª Pytania Co si dzieje przy zmianie ±redniej a priori dla c? 2 Co si dzieje przy wzro±cie wariancji a priori dla c? 3 Co si dzieje przy wzro±cie σ 2? 4 Co si dzieje przy wzro±cie n? (2) Ekonometria Bayesowska 24 / 24