Ekonometria Bayesowska Wykªad 10: Symulacje a posteriori w R (10) Ekonometria Bayesowska 1 / 23
Plan wykªadu 1 Przykªad: model ze skªadnikiem losowym o grubych ogonach 2 Wykorzystanie pakietu rjags 3 Diagnostyka ªa«cucha MCMC 4 Numeryczne porównanie modeli (10) Ekonometria Bayesowska 2 / 23
Plan prezentacji 1 Przykªad: model ze skªadnikiem losowym o grubych ogonach 2 Wykorzystanie pakietu rjags 3 Diagnostyka ªa«cucha MCMC 4 Numeryczne porównanie modeli (10) Ekonometria Bayesowska 3 / 23
Przykªad: model ze skªadnikiem losowym o grubych ogonach Gdy skªadnik losowy nie ma rozkªadu normalnego... Rozwa»amy model ze skªadnikiem losowym o rozkªadzie t z 4 stopniami swobody (grube ogony). ε N i N ε t4 i t(4) JB = 0.7766, p-value = 0.6782 JB = 28773.93, p-value < 2.2e-16 (10) Ekonometria Bayesowska 4 / 23
Przykªad: model ze skªadnikiem losowym o grubych ogonach Generujemy sztuczne dane ε t4 i t(4) x 1,i N(µ = 10; σ = 3) x 2,i Poiss (λ = 3) y i = 3 + 2x 1,i + 0, 5x 2,i + ε t4 i Klasyczna analiza z wykorzystaniem OLS: Cho oszacowania parametrów wydaj si nieodlegªe od (wyj tkowo znanych nam) prawdziwych warto±ci, to konstrukcja przedziaªów ufno±ci (i wnioskowanie statystyczne) bazuje na niespeªnionym zaªo»eniu o normalnym rozkªadzie skªadnika losowego. (10) Ekonometria Bayesowska 5 / 23
Plan prezentacji 1 Przykªad: model ze skªadnikiem losowym o grubych ogonach 2 Wykorzystanie pakietu rjags 3 Diagnostyka ªa«cucha MCMC 4 Numeryczne porównanie modeli (10) Ekonometria Bayesowska 6 / 23
Pakiet rjags Denicja modelu (10) Ekonometria Bayesowska 7 / 23
Pakiet rjags Symulacja a posteriori (10) Ekonometria Bayesowska 8 / 23
Pakiet rjags Dost pne pakiety i metody Skorzystali±my z funkcji jags.parallel jako jednego z wielu dost pnych symulatorów a posteriori w R. Na JAGS bazuj jednak ró»ne funkcje (polecam samodzielne testy): jags.model oraz jags.samples z pakietu rjags jags / jags2 / jags.parallel z pakietu R2jags jags.t i jags.part z pakietu dclone Poza pakietami bazuj cymi na JAGS, warte uwagi mog okaza si pakiety bazuj ce na innych rozwi zaniach: rstan LaplaceDemon nimble... (10) Ekonometria Bayesowska 9 / 23
Plan prezentacji 1 Przykªad: model ze skªadnikiem losowym o grubych ogonach 2 Wykorzystanie pakietu rjags 3 Diagnostyka ªa«cucha MCMC 4 Numeryczne porównanie modeli (10) Ekonometria Bayesowska 10 / 23
Precyzja Numeryczny bª d standardowy O ile przeci tnie mylimy si, szacuj c dan funkcj g (θ) za pomoc ±redniej z uzyskanych ªa«cuchów? Nie nale»y go myli z odchyleniem standardowym a posteriori! Bazuje na oszacowaniu g sto±ci spektralnej ªa«cucha S (0) i centralnym twierdzeniu granicznym (szczegóªy: Koop, s. 65). S(0) ˆσ g = S 1 S0 <- spectrum0(combined.chains) S_1 <- dim(jagsfit$bugsoutput$sims.array)[1] numerical.se <- (S0$spec/S_1)^0.5 (10) Ekonometria Bayesowska 11 / 23
Precyzja Numeryczny bª d standardowy summary(combined.chains, quantiles = c(0.025, 0.25, 0.5, 0.75, 0.975)) SD: odchylenie standardowe a posteriori Time-series SE: numeryczny bª d standardowy Naive SE: numeryczny bª d standardowy liczony wprost z CTG (bez uwzgl dnienia autokorelacji) (10) Ekonometria Bayesowska 12 / 23
Precyzja Jak dªugi powinien by ªa«cuch? To zale»y: jakiego rz du kwantyl chcemy szacowa (q); jak precyzj szacunku rozwa»amy (q r; q + r); jaki poziom ufno±ci chcemy przypisa temu przedziaªowi (s). Raftery i Lewis (1992, 1995) opracowali wzór na S 1 bazuj cy na trzech powy»szych argumentach, przywoªywany poleceniem raftery.diag. (10) Ekonometria Bayesowska 13 / 23
Zbie»no± Czy ªa«cuchy osi gn ªy zbie»no±? Analiza graczna plot(combined.chains) (10) Ekonometria Bayesowska 14 / 23
Zbie»no± Kryterium Gelmana-Rubina (1) Bazuje na intuicyjnej koncepcji,»e wariancja wewn trz ªa«cucha powinna by równa wariancji mi dzy ªa«cuchami. 1 Dla ka»dego ªa«cucha (i parametru) standardowo wyznaczamy wariancj wewn rz ªa«cucha. 2 U±redniamy j mi dzy ªa«cuchami do poziomu W. 3 Wariancja mi dzy ªa«cuchami to B. 4 Mo»na pokaza,»e caªkowita wariancja T = S1 1 S 1 W + 1 S 1 B (szczegóªy: Koop, s. 66). 5 Je»eli ªa«cuchy nie zbiegªy, wówczas W niedoszacowuje wariancji wszystkich ªa«cuchów. 6 Powinno to prowadzi to warto±ci potential scale reduction T factor= W > 1. W praktyce jako warto± graniczn przyjmujemy 1.2 (powy»ej brak zbie»no±ci). (10) Ekonometria Bayesowska 15 / 23
Zbie»no± Kryterium Gelmana-Rubina (2) gelman.diag(combined.chains) gelman.plot(combined.chains) (10) Ekonometria Bayesowska 16 / 23
Zbie»no± Statystyka Geweke (1) geweke.diag(combined.chains, frac1=0.1, frac2=0.5) 1 Dzielimy ªa«cuch (po odrzuceniu burn-in) na 3 fragmenty, zadane frakcjami jego dªugo±ci. Zwykle przyjmuje si 10%, 50% i 40%. 2 Szacujemy warto± statystyki ĝ(θ) oraz numeryczny bª d standardowy ˆσ g dla pierwszej i trzeciej cz ±ci ªa«cucha. 3 ĝ Statystyka 1 (θ) ĝ 3 (θ) ˆσ S g1 N (0; + ˆσ 1), o ile prawdziwa jest hipoteza,»e ªa«cuch g1 1;1 S 1;3 zbiegª (wi cej: Koop, s. 68). (10) Ekonometria Bayesowska 17 / 23
Zbie»no± Statystyka Geweke (2) Mo»emy równie» iteracyjnie poszukiwa momentu, od którego ªa«cuch uwa»amy za zbie»ny. geweke.plot(combined.chains, frac1 = 0.1, frac2 = 0.5, nbins=40, pvalue=0.05) (10) Ekonometria Bayesowska 18 / 23
Zbie»no± Kryterium Heidelberga-Welcha heidel.diag(combined.chains) 1 Bazuje na denicji stacjonarno±ci: losowania z tego samego rozkªadu (po osi gni ciu zbie»no±ci) powinny generowa szeregi stacjonarne. 2 Wykonywany jest test stacjonarno±ci Cramera-von-Misesa (H 0 : stacjonarno± ) dla: 1 caªego ªa«cucha 2 w przypadku odrzucenia H 0 : dla ªa«cucha bez pierwszych 10% losowa«3 w przypadku odrzucenia H 0 : dla ªa«cucha bez pierwszych 20% losowa«4... 5 w przypadku sekwencji odrzuce«: dla ªa«cucha bez pierwszych 50% losowa«3 Szacowana jest równie» ±rednia ze stacjonarnej cz ±ci ªa«cucha. (10) Ekonometria Bayesowska 19 / 23
Zbie»no± Autokorelacja i krzy»owa korelacja w ªa«cuchu Jest zjawiskiem niepo» danym, cho w ªa«cuchach generowanych np. przez RW-MH nieuniknionym. Metod jej eliminacji jest rozrzedzanie ªa«cucha (thinning). Wysokie korelacje mi dzy parametrami oznaczaj z kolei powoln zbie»no±. (10) Ekonometria Bayesowska 20 / 23
Plan prezentacji 1 Przykªad: model ze skªadnikiem losowym o grubych ogonach 2 Wykorzystanie pakietu rjags 3 Diagnostyka ªa«cucha MCMC 4 Numeryczne porównanie modeli (10) Ekonometria Bayesowska 21 / 23
Porównanie modeli Problem wyznaczenia brzegowej wiarygodno±ci Wyznaczenie brzegowej wiarygodno±ci niezb dne do obliczenia czynników Bayesa. Wielu badaczy korzysta z metod numerycznych opartych na ±redniej harmonicznej. Przykªad takiej metody: Gelfand-Dey (1994; zob. Koop, s. 104-106). Metoda oprogramowana w pakiecie BACC (opis tutaj), który jest ju» niedost pny... Inni badacze krytykuj wszelkie podej±cia bazuj ce na ±redniej harmonicznej. Mo»na znale¹ kody bazuj ce na ró»nych publikacjach, brakuje jednak ugruntowanego konsensusu. (10) Ekonometria Bayesowska 22 / 23
Porównanie modeli DIC Deviance Information Criterion jedno z podej± do porównania modeli oszacowanych metodami bayesowskimi. Dewiancja: D (θ) = 2p (y θ), Warto± oczekiwana a posteriori dewiancji (miara dopasowania modelu): D = D (θ) p (θ y) dθ Warto± oczekiwana a posteriori parametrów: θ DIC = 2 D D ( θ ) Uzasadnienie: DIC = D + p D, gdzie p D = D D ( θ ) to miara efektywnej liczby parametrów. (10) Ekonometria Bayesowska 23 / 23