5 Błąd średniokwadratowy i obciążenie Przeprowadziliśmy 200 powtórzeń przebiegu próbnika dla tego samego zestawu parametrów modelowych co w Rozdziale 1, to znaczy µ = 0, s = 10, v = 10, n i = 10 (i = 1,..., l = 20). Podobnie jak poprzednio, zastosowaliśmy niewłaściwy, nieinformacyjny rozkład a priori z następującymi parametrami. p = 0, λ = 0, q = 0, κ = 0, m = 0, τ 2 = 0. W każdym z 200 powtórzeń, badaliśmy przebieg 10500 kroków próbnika Gibbsa, przy czym odrzucaliśmy początkowy odcinek długości b = 500 kroków w celu redukcji obciążenia. Za punkt startowy wybieraliśmy za każdym razem modelowe wartości s, v, µ. Skupiliśmy uwagę na badaniu estymatorów µ i (θ i ) typu Rao-Blackwella. Rysunek 28 przedstawia histogram estymatorów parametru µ dla dwóch długości trajektorii 1000 i 10000 kroków. Widzimy wyraźnie, że dla długiej trajektorii rozkład średniej z trajektorii jest znacznie bardziej skoncentrowany wokół prawdziwej wartości średniej a posteriori. Ten efekt będzie jeszcze lepiej zobrazowany w dalszej części rozdziału za pomocą sekwencji wykresów pudełkowych. 45
Rozklad estymatorow mu typu R B srednie z trajektorii dlugosci 1000 Gestosc 0 5 10 2.00 2.05 2.10 2.15 Wartosc estymatora Rozklad estymatorow mu typu R B srednie z trajektorii dlugosci 10000 Gestosc 0 20 40 2.00 2.05 2.10 2.15 Wartosc estymatora Rys. 28. Rozkłady estymatorów parametru µ dla dwóch długości trajektorii. Następnie przedstawimy zależność błędów średniokwadratowych estymatorów od długości trajektorii. Należy podkreślić, że przedmiotem naszych badań jest tu (i w całym tym opracowaniu) dokładność obliczeń charakterystyk a posteriori metodą MCMC przy pomocy próbnika Gibbsa. Innymi słowy interesuje nas jakość aproksymacji wartości średniej a posteriori µ post := E(µ y) przez obliczone w kolejnych krokach próbnika wartości µ R B b,n (a nie jakość aproksymacji modelowej wielkości µ przez estymator bayesowski µ post ). Wobec tego interesującą nas wielkością jest błąd średniokwadratowy zdefiniowany następująco. R B BSK := E ( µ b,n µ post) 2. 46
Oczywiście, wartość oczekiwana w powyższym wzorze była obliczana metodą Monte Carlo na podstawie 200 niezależnych powtórzeń doświadczenia. Pierwiastek z BSK dla srednich mu wzdluz trajektorii pierwiastek z BSK 0.02 0.06 0 2000 4000 6000 8000 10000 liczba iteracji Odwrotnosc pierwiastka z BSK dla srednich mu wzdluz trajekto wraz z dopasowana funkcja liniowa 1/pierwiastek z BSK 20 60 100 20 40 60 80 100 pierwiastek z liczby iteracji Rys. 29. BŚK estymatorów parametru µ w zależności od długości trajektorii. Jak widzimy z pierwszego z rys. 29, błąd średniokwadratowy zmierza dość szybko do zera wraz z liczbą iteracji próbnika (każde kólko na rysunku odpowiada błędowi średniokwadratowemu obliczonemu na podstawie 200 estymatorów średniej a postriori µ. Wyniki symulacji wykazują zaskakująco dużą zgodność z asymptotycznymi twierdzeniami teorii łańcuchów Markowa. Centralne Twierdzenie Graniczne mówi, że n ( µ R B b,n µ post) N (0, b 2 ), 47
gdzie b 2 jest tzw. wariancją asymptotyczną i zależy w skomplikowany sposób nie tylko od rozkładu docelowego (a posteriori) ale i od prawdopodobieństwa przejścia łańcucha Markowa, czyli od konstrukcji algorytmu MCMC. Tak więc CTG sugeruje liniową zależność 1/ BSK od n. Taka zależność jest wyraźnie widoczna na dolnym rysunku. Nachylenie linii prostej dopasowanej do danych na tym rysunku jest w istocie estymatorem odwrotności wariancji asymptotycznej. W naszym przykładzie b 2 = 0.833. Pokazane poniżej wykresy pudełkowe dla kolejnych średnich µ wzdłuż trajektorii (co 1000 kroków próbnika) pokazują jak rozkład tych średnich zbliża się do rozkładu skupionego wokół prawdziwej wartości a posteriori. Próbnik działa dobrze. Wykresy pudelkowe estymatorow mu typu R B mu 2.00 2.05 2.10 48
Rys. 30. Wykresy pudełkowe dla średniej parametru µ. Podobnie jest dla predyktorów wartości θ i dla kolejnych małych obszarów. Na rysunku poniżej przedstawiono ten efekt dla czterech pierwszych małych obszarów. Obszar nr. 1 Obszar nr. 2 0.3 0.5 0.7 0.9 5.3 5.1 4.9 4.7 Obszar nr. 3 Obszar nr. 4 18.8 19.2 2.5 2.7 2.9 3.1 Rys. 31. Wykresy pudełkowe dla średnich parametru θ i, i = 1, 2, 3, 4. 49
Na poniższym rysunku obserwujemy, że również obciążenie średniej wzdłuż trajektorii dla średniej a posteriori parametru µ jest niewielki i szybko staje się wręcz znikome. Obciazenie dla srednich mu wzdluz trajektorii obciazenie 0.000 0.002 0.004 0.006 0 2000 4000 6000 8000 10000 liczba iteracji Rys. 32. Obciążenie dla średnich wzdłuż trajektorii parametru µ. Wyniki liczbowe dla estymatora parametru µ wyglądają nastepująco: µ = 1 200 200 i=1 ˆµ(i) 500,10000 = 2.07 - średnia z 200 symulacji ze średnich wzdłuż trajektorii. 200 i=1 (ˆµ(i) 500,10000 µ) 2 = 0.00832886 - odchylenie standardowe śred- 1 199 nich z 200 symulacji. 50
Analogiczne wartości dla parametrów małych obszarów (θ i ) podane są w poniższej tabelce. mały obszar mod. θ m śr. est. θ m odch. stand. θ m 1 1.359 0.561 0.036 2-9.831-5.017 0.031 3 15.986 19.011 0.035 4-0.641 2.752 0.033 5 2.147 4.682 0.034 6 17.207 17.160 0.036 7 25.659 21.766 0.037 8-12.387-7.721 0.033 9 15.993 16.100 0.035 10-14.976-14.088 0.034 11 0.197-2.504 0.033 12-3.783-2.868 0.030 13-17.318-17.661 0.034 14-8.105-9.740 0.034 15-4.933-0.711 0.035 16 9.083 10.012 0.034 17 4.342 6.686 0.033 18-4.211-3.821 0.034 19 3.212 4.959 0.034 20 2.130 1.842 0.032 Tabela 4: Wartości modelowe, średnie i odchylenia standardowe rozkładów a posteriori zmiennych (θ m ). 51