Twierdzenie graniczne o estymacji bayesowskiej

ROCZNIKI POLSKIEGO TOW ARZYSTW A MATEMATYCZNEGO Seria I: PRACE MATEMATYCZNE III (1959) K. U r b a n i k (Wrocław) Twierdzenie graniczne o estymacji bayesowskiej Przypuśćmy, że rozkład interesującej nas cechy w populacji zależy od parametru, którego wartość nie jest nam znana. Klasyczna (bayesowska) metoda wyznaczenia rozkładu prawdopodobieństwa parametru (zwanego rozkładem, a posteriori), gdy znane są wartości badanej cechy w próbce wylosowanej z populacji, posługuje się rozkładem a priori tego parametru. Przyjmowanie arbitralne jakiegoś rozkładu za rozkład a priori (na przykład rozkładu jednostajnego reguła Bayesa) spotyka się z namiętną krytyką wielu uczonych. W niniejszej pracy dowodzimy, że rozkład a posteriori oparty na dużej próbie jest nieczuły na wybór rozkładu a priori, to znaczy przy rosnącej liczności próby rozkład a posteriori dąży, niezależnie od wyboru rozkładu a priori, do rozkładu skupionego w punkcie a0, gdzie a0 jest wartością parametru charakteryzującego rozkład cechy w populacji, z której pochodzą próby. W przypadku gdy badana cecha ma rozkład normalny a parametr jest wartością oczekiwaną lub dyspersją, rezultat ten wynika ze znanych twierdzeń dających asymptotykę rozkładów a posteriori (por. [2], 63). Asymptotyczne oszacowanie rozkładów a posteriori za pomocą entropii jest podane w notce [3]. I. I. ech f(x, a) ( o o ^ x 1< x < x 2^ co) będzie gęstością zmiennej losowej X(co) zależną od parametru a ( co < аг < a < «2 < co). Przyjmijmy, że zachodzi nierówność (I) f{x, a) > 0 (xl< x < x2; at < a < aj. Wówczas dystrybuanta a posteriori parametru a oparta na próbie <Хг(ш), X2(oj),..., Xn(co)} jest określona wzorem f a)do(a) (1) Fn(u, co) = ------------------------, / f] f(xk(co),a)dg(a) aj k 1 U П

192 К. U rbanik gdzie G(a) jest dystrybuantą a priori parametru a oraz G(a2 0) O^cti + O) = 1 (x). Oczywiście, dystrybuanta a posteriori jest zmienną losową. Niech a0 będzie prawdziwą wartością parametru zmiennej losowej X(a>). Powstaje pytanie: przy jakich warunkach ciąg dystrybuant a posteriori dąży do dystrybuanty stałej a0, to znaczy 0 dla u < a0, (2) lim Fn(u, co) = П >OQ [ 1 dla u > a0. Następujący przykład pokazuje,, że jeżeli próby (X x(co), X 2(co),......,X n(co)) nie dają żadnej informacji o parametrze a, to relacja (2) nie zachodzi. Istotnie, przyjmijmy f(x, a) / (a?). Wówczas Przyjmujemy więc założenie (II) Fn(u, co) G(u) (n = 1,2,...). przy każdym n istnieje nieobciążony, regularny i efektywny estymator «п = Щь[Хх{оо), X 2(co),..., Xn(co)) o skończonej dyspersji parametru a oparty na próbie (_X1(ao), X 2(co),..., Xn{co)} (definicje nieobciążoności, regularności i efektywności estymatora znajdują się na przykład w monografii Cramóra [1], rozdz. 32 )t Łatwo również sprawdzić, że jeżeli dystrybuanta a priori G(a) speł-,, nia przy pewnym p > 0 równość {r(a0+ p) G{a,0 p) = 0, to relacja (2) nie zachodzi. Przyjmujemy więc założenie (III) dla każdego p > 0 zachodzi nierówność Udowodnimy teraz następujące G(a0+p) G(a0 p) > 0. T w i e r d z e n i e. Przy założeniach (I) i (II) dla każdego rozkładu a priori spełniającego warunek (III) ciąg dystrybuant a posteriori jest stochastycznie zbieżny do dystrybuanty a0. Ponadto ciąg dystrybuant a posteriori wtedy i tylko wtedy jest przy dowolnym rozkładzie a priori zbieżny prawie wszędzie do dystrybuanty a0, gdy ciąg estymatorów a* jest zbieżny prawie wszędzie do a0. II. Dowód twierdzenia poprzedzimy dowodem dwóch Będziemy używali następujących oznaczeń: (3) z in inf ctn (?/i,..., yn)j ^1 2/1,. <C z2n sup an(yi,..., yn),y n < x 2 lematów. (1) Próbą nazywamy tu dowolny układ zmiennych losowych niezależnych, mających ten sam rozkład co zmienna losowa X(w ).

Twierdzenie graniczne o estymacji bayesowslciej 193 L e m a t 1. Przy założeniach (I) i (II) zachodzą nierówności П^ 1 ) ^2П ^2 == 1 >2 J.. D o w ód. Udowodnimy pierwszą nierówność. Dowód drugiej nierówności jest analogiczny. Dowodząc niewprost przyjmiemy, że zachodzi nierówność (4) zln > ox. Estymator aj jest nieobciążony, to znaczy (5) E(«* /?) (3 dla ax < fi < a2. (Е(Ф /?) oznacza wartość oczekiwaną zmiennej losowej Ф, gdy parametr a ma wartość /3). Mech liczba (3 spełnia nierówność ax < (3 < < min(a2, zln). Wówczas zachodzi nierówność E(ciljS) > E («ln 0) = zln > p, która jest sprzeczna z równością (5). Lemat jest więc udowodniony. Mech gn{z, a) oznacza gęstość estymatora a*. Z regularności i efektywności estymatora a* otrzymujemy równość П (6) / (#?&? a) = Q n ( a n ( 1? **? u) (*^l? **) Яя) r fc= l gdzie funkcja hn nie zależy od parametru a (por. Cramór [1], 32.3). Stąd w oparciu o wzory (I) i (3) otrzymujemy (7) gn(z, a) > 0 dla zln < z < z2n, gn(z, a) = 0 dla г < zln lub z > z 2n. L e m a t 2. Przy założeniach (I) i (II) zachodzi równość d (8) loggn(z, a) = ntc{a){z-a) da gdzie {zxn z <C z2n j a,i <C a <C cc2j n = 1,2,...), (9) &(a) > 0. D ow ód. Z efektywności estymatora oj i wzoru (7) wynika istnienie funkcji Tcn(a) spełniającej równość (10) loggja*(xx,...,xn), a) = Jcn(a)[a*(xx,...,xn) a) da ' {xx < xx,..., xn < #2; aj < a < a2) Roczniki PTM - Prace Matematyczne III i3

194 К. U rbanik (por. Cramór [1], 32.3). Z równości (6) i (10) otrzymujemy П d (11) Д ^n( [ n (*^l? * j $n) 1 ( ^1 j? <C*^29 ^ ^2)* Estymator a* jest nieobciążony. A zatem wzór (11) dla każdego P («1 < P < «2) implikuje równość П (12) E ( ^ ~ log/(x fc(a>), a) /?) = Jcn(a)(fi a). d, Zmienne losowe lo g /\Xk(co), a są niezależne i mają jednakowy da ' rozkład. A zatem wzór (12) implikuje równość (13) net logf(x1(co), а)i/30) = Ten{a)(P0 a). Przyjmijmy k(a) = k ^ a). Ze wzoru (13) wynika dla а Ф /? (14) kn (a) = nk(a). Wobec dowolności /?0 ostatnia równość zachodzi dla wszystkich a ( «! < a < a2). Wzory (10) i (14) implikują równość (8). Pokażemy najpierw, że zachodzi nierówność (15) k(a) ф 0 dla ax < a < a2. Dowodząc niewprost przyjmijmy, że dla pewnego a (ax < a < a2) jest spełniona równość k(a) = 0. Na podstawie wzoru (11) (przy n 1) otrzymujemy stąd A zatem (16) X1 Estymator a* x2 d da l0g/(, a) a=a = 0 (X-L < X < x 2). d \2 log/(a?, a) f{x, a)dx = 0 da / dla a = a. jest efektywny, a więc jego wariancja jest dana wzorem *2 (17) E((«J a)2 a) = - i Г j «)) /(» 0ЙЖ1

Twierdzenie graniczne o estymacji bayesowsjciej 195 (рог. Cramór [1], 32.3). Skończoność wariancji, wzór (16) oraz wzór (17) przy a = a prowadzą do sprzeczności. Nierówność (15) jest więc udowodniona. Udowodnimy teraz, że funkcja Tc(a) nie zmienia znaku w przedziale ax < a < a2. Dowodząc niewprost przyjmijmy, że istnieją dwa punkty a, a" (ax < a, a" < a2) takie, że (18) k(a) < 0, k(a") > 0. Z lematu 1 wynika istnienie liczby x0 (%1< x0< ж2) spełniającej nierówności (19) at(a?0) < «*(жо) < a". Z równości (11) (przy n 1) wynika d (20) log/(a?0, a) = &(а)(а?(ж0) a). A zatem, na podstawie nierówności (18) i (19), д d ~-logf(x0, а) а=а' > 0, ^-log/(a?0, а) а=в < 0. да да Stąd na podstawie własności Darboux pochodnej istnieje punkt a leżący między punktami a, a", dla którego d logf(x0, a) e=a = 0. da Stąd i ze wzorów (19) i (20) otrzymujemy równość к (a) = 0, która jest sprzeczna ze wzorem (15). Udowodniliśmy więc, że funkcja k(a) nie zmienia znaku w przedziale ах < a < a2. Przypuśćmy, że zachodzi nierówność (21) Jc(a) < 0 dla ax < a < a2. Z równości (8) otrzymujemy а (22) gn{z, a) = gn(z, а0)ехр(ю J k{t)(z t)dtj. ао Niech ах < /?! < а0 < /S2 < а2. Wówczas, wobec (21), fix fii J k(t)(z t)dt > j k(t)(a0 t)dt = Ax > 0 dla z > a0, «0 0 fit fit j k(t)(z t)dt > J k(t)(a0 t)dt = Л2> 0 dla z < а0. «о ао

196 К. Urbanik A zatem, na podstawie (22), Stąd wynika nierówność z2n z2n 1 > j 9n(z, Pi)dz > enal f gn{z, a0)dz, 0 0 0 «0 1 > J 9n{z, P^dz > ena2 f gn(z, aq)dz. z\n zln z2 n l = f gn(z, «o)dz < г1и Ponieważ przy n-> oo prawa strona tej nierówności dąży do zera, to otrzymana sprzeczność dowodzi, że nierówność (21) nie zachodzi. Zachodzi zatem nierówność (9). Lemat jest więc udowodniony. III. Podamy teraz D ow ód tw ierdzen ia. Aby udowodnić pierwszą część twierdzenia, wystarczy pokazać, że dla każdego h > 0 ciąg zmiennych losowych hn(co) = F n(a0~ h, 'e o ) + l F n(q0-\- h, co) dąży do zera według prawdopodobieństwa. Ze wzorów (1), (6) i (22) otrzymujemy równość U f exp [n f k(t)(a* t)dtjdo(a) (23) Fn(u,co)=a^ ------- - aoa---------------------------. j exp \n j 1c(t)(a* t)dt)dg(a) <ч ao Stąd wynika nierówność a f exp (n f 1c(t) (a* t)dt)do(a) (24) M «) <,a-~ ly h --------------------------- f exp {n f k(t)(a* t)dt)do(a) ai o Łatwo sprawdzić w oparciu o wzór (9) następujące nierówności: тах(ао+л,а^) a / *(*)( < --t)dt dla а ^ a0-j- h (25) /& (<)(«-- t)dt< 0 0 min ( o h, an) f &(*)(< -- t)dt dla a ^ a0 h. 0

Twierdzenie graniczne o estymacji bayesowsjciej 197 Będziemy używali następujących oznaczeń та х(а0+л,а*) m in(ao-a, n,) (26) Bn((o)=miii[ j k(t)(t a )dtf f k(t)(t a*)dt ), «0 0 ад + Л ад 7г. (27) В = min j k(t)(t a0)dt, J k(t)(t~ aq)di^. «0 0 Ze wzoru (9) wynika nierówność (28) 2? > 0. Mech г} będzie taką liczbą dodatnią, że dla jot a0 < rj zachodzą nierówności а а I j k(t)dt I< 1, j J k(t)(a0 t)dt < \B. «о o Wówczas dla а а0 < tj zachodzi także nierówność a j k(t)(al t)dt > а* a0 \B. ao Stąd otrzymujemy, że mianownik prawej strony wzoru (24) jest większy lub równy od [(z(a0-f^) ćr(a0?y)]exp( n\az a0 ^B). Ze wzorów (25) i (26) wynika, że licznik prawej strony wzoru (24) jest nie większy od (7(w)exp( nbn(a>)). A zatem, uwzględniając warunek (III), otrzymujemy nierówność (29) 0 < hn((o) <*Oexp( n{bn(a>) \a* a0 }). Ze wzoru (17) wynika zbieżność według prawdopodobieństwa ciągu estymatorów ctn do liczby a0. A zatem, wobec wzorów (26) i (27), ciąg zmiennych losowych Bn(a)) l-b а* a0 jest zbieżny według prawdopodobieństwa do liczby \B. Stąd na podstawie nierówności (28) i (29) ciąg hn(w) dąży do zera według prawdopodobieństwa. Pierwsza część twierdzenia jest więc udowodniona. Jeżeli an~>a0 prawie wszędzie, to Bn(co) \B \<ць а0 %B prawie wszędzie. A zatem na podstawie nierówności (28) i (29) ciąg Ьп{ы) dąży do zera prawie wszędzie. Przypuśćmy teraz, że relacja (2) zachodzi prawie wszędzie przy wszelkich dystrybuantach a priori spełniających warunek (III). Pokażemy, że ап -> a0 prawie wszędzie. Mech e będzie dowolną liczbą dodatnią spełniającą nierówność a0+ e < < a2. Określamy dystrybuantę a priori, spełniającą warunek (III), wzorem (30) G(«) = 0 dla аг < a < a0, \ dla а0 ^ a < a0 -f- e» 1 dla а0+ е ^ а < а2.

198 К. U rbanik Łatwo sprawdzić, że wówczas ciąg zmiennych losowych 1 F n (aq+ % e, co) F n {a0 + l e, co) «0 + exp [n jf Tc(t)(a^ t)dtj o jest prawie wszędzie zbieżny do zera. Stąd wynika, że prawie wszędzie zachodzi nierówność <*0 + (31) limsnp f Jc(t)(a* t)dt < 0. Z równości n o a0+ 0+ a0+«j k(t)(a.n t)dt = (an a0)j 1c(t)dt j a0 0 0 k(t)(t a0)dt oraz wzorów (9) i (31) wynika, że prawie wszędzie zachodzi nierówność «0+ J k (t)(t a0)dt limsnp (o j a0) < aq+~-------------- < e. f 0 k (t)d t Wobec dowolności liczby e wynika stąd, że prawie wszędzie zachodzi nierówność limsup(a* a0) < 0. n >oo Podobnie dowodzimy, że prawie wszędzie jest spełniona nierówność dąży do a0 prawie wszędzie. Twierdze A zatem ciąg estymatorów nie jest więc udowodnione. liminf (a* a0) > 0. n >oo Na koniec zauważmy, że twierdzenie jest również prawdziwe dla dyskretnych zmiennych losowych X(co). Prace cytowane [1] H. Cram er, Mathematical methods of statistics, Princeton 1946. [2] Б. В. Г н еден к о, Курс теории вероятностей, Москва 1954. [3] К. U rb a n ik, A limit theorem for a posteriori distributions, Bull. Ac. Pol. Sci., Cl. I ll, vol. V, nr 3, (1957), str. 237-241.

Twierdzenie graniczne o estymacji bayesowsmej 199 К. У р б а н и к (Вроцлав) ПРЕДЕЛЬНАЯ ТЕОРЕМ А ДЛЯ БАЙЕСОВСКИХ ОЦЕНОК РЕЗЮМЕ Рассмотрим случайную величину АТ (со) с функцией плотности f(x, а) (х1 < х < х2) зависящей от параметра а (аг < а < а2). Предложим, что (I) f ( x, a ) > 0 для х г < х < х 2, ах < а < а2. Тогда апостериорное распределение параметра а порожденное выборкой <ACj(co), Х 2(ш),..., Х п (о))у дано формулой F n (u, со) U П / П f ( X k(co),a)dg(a) c q fc = l 2 / П f{x k(co),a)dg(a) aj 1 где G(a) априорное распределение. Предположим, что a0 значение параметра a и (II) для всякого п существует несмещенная, регулярная и эффективная оценка ап а^(х1{со), Х 2(со),, Х п (со)) параметра a порожденная выборкой < Х 1(а>),Х2(со),..., Х п (со)у. (III) для любого г) > 0, G{a0 + rj) G(a0 fj) > 0. Доказана следующая ТЕОРЕМ А. И з условий (I), (II) и (III) следует, сходимость по вероятности (*) lim F n {u, со) и > с» 0 для и < a. 1 для и > a. Кроме того, сходимость (*) имеет место почти всюду тогда и только тогда, если последовательность оценок ап стремится к ас почти всюду. К. U r b a n i k (Wrocław) A LIM IT TH EO REM FOR A B AYE S ESTIMATION SUMMARY W e consider a random variable X(co) with density function f(x, а) (хг < x < x2) depending on a parameter а (ах < а < а2). Suppose (I) f(x, a) > 0 for xx < x < x2, ax < a < a2. Then the a posteriori distribution function of parameter a founded on observations СХДсо), ХДсо),..., Z n (eo)> is given by formula и n f П f(xjc{co), a)dg(a) n / \ c q f c = l F n (u, co) ^ -, / П fixkico), a)dg(a) aj k = l

200 К. Urbanik where G(a) is a priori distribution function. Let а0(аг < а0 < а3) be the true value of the parameter a. Suppose (II) for each n there is an unbiased, regular and efficient estimate = а ^ (Х 1(ш), X 2(co),..., X n (<o)) of the parameter a founded on the observation < X 1(co), ^2 (^) 9 * 9 (III) for each r }> 0, G(a0 + rj)~ G(a0 y) > 0. The paper contains the proof of the following theorem. T h e o r e m. From the conditions (I), (II) and (III) it follows that the convergence и < a0, и > a0, holds in probability. Moreover, the relation (*) holds with probability 1 if and only if the sequence a% converges to a0 with probability 1.