Wykład 11: Martyngały: Twierdzenie o zbieżności i Hoeffdinga

Transkrypt

1 RAP Wykład 11: Martyngały: Twierdzenie o zbieżności i Hoeffdinga Wykładowca: Andrzej Ruciński Pisarz: Łukasz Waszak 1 Wstęp Na ostatnim wykładzie przedstawiliśmy twierdzenie o zbieżności martyngałów oraz nierówność Dooba-Kołmogorowa. Nierówność ta jest wykorzystywana w dowodzie twierdzania o zbieżności. Na początku przedstawimy zatem jej dowód, a następnie przejdziemy do dowodu twierdzenia o zbieżności martyngałów. Na końcy przedstawimy klasyczną nierówność Hoeffdinga. Tym sposobem zakończymy wykład z Rachunku Prawdopodobieństwa 2 w semestrze zimowym 2008/2009 na Wydziale Matematyki i Informatyki UAM w Poznaniu. 2 Twierdzenia o zbiezności martyngałów Twierdzenie 1. (Twierdzenie o zbieżności martyngałów) Niech (S n ) będzie będzie martyngałem oraz posiada skończony moment zwykły drugiego rzędu, tzn. E(S 2 n) <. Istniej wówczas zmienna losowa S taka, że oraz S n a.s. S S n 2 S. Aby udowodnić to twierdzenie najpierw musimy pokazać że zachodzi poniższa nierówność Twierdzenie 2. (Nierówność Dooba-Kołmogorowa) Jeżeli (S n ) jest martyngałem względem (X n ), to P ( max,...,n { S i ε}) E(S2 n) ε 2 Dowód. Weźmy ciąg zdarzeń (A n ) taki, że A 0 = Ω oraz A k = Zdefiniujmy zdarzenia (dla każdego k) max { S i ε},...,n B k = A k 1 { S k < ε} Ponadto k k k 0 : A k B i = Ω I Ak + I Bi =

2 Zbiory te są skończonym pokryciem przestzeni Ω. Oszacujmy z dołu wartość oczekiwaną stojącą po prawej stronie nierówności E(S 2 n) E(SnI 2 Bi ) + E(SnI 2 An ) E(SnI 2 Bi ) E(S 2 ni Bi ) = E((S n S i ) 2 I Bi ) + 2E((S n S i )S i I Bi ) + E(S 2 i I Bi ) Z jednego z zadań domowych wiadomo że druga część sumy jest równa zero, a pierwsza jest nieujemna. Natomiast ostatni wyraz możemy oszcować z dołu E(Si 2 I Bi ) = E(Si 2 I Bi B i )P (B i ) + E(Si 2 I B B i)p (B i) = E(Si 2 I Bi B i )P (B i ) ε 2 P (B i ) i Zatem ostatecznie otrzymujemy Co należało dowieść. E(S 2 n) ε 2 P (B i ) = ε 2 P ( max,...,n { S i ε}) Teraz możemy przejść już do dowodu właściwego twierdzenia o zbieżności martyngałów. Dowód. (twierdzenia o zbieżności martyngałów) Wystarczy pokazać zbieżność (istnienie takiego ciągu zostało przedstawione jako rozwiązanie jednego z zadań domowych). Pokażemy, że ciąg (S n (ω)) jest a.s. (prawie na pewno) ciągiem Cauchy ego, tzn. dla pewnego zdarzenia C zachodzi P (C) = 1 Zbiór C możemy zapisać równoważnie C = {ω : S m (ω) S n (ω) 0, m, n 0} C = {ω : ε > 0 m : S m+i S m+j < ε, i, j 1} = {ω : ε > 0 m : S m+i S m < ε, i 1} co jest równoważne Zatem gdzie C = jest wstępującym ciągiem zdarzeń. k : S m+i S }{{ m < } Y i C = k A m (k) m 1 k A m (k) = i : S 1 m+i S }{{ m } k P (C ) = lim P ( A m (k)) lim lim P (A m(k) ) k k m m }{{} D m(k) 11-2 Y i

3 Naszym celem jest pokazać, że dla każdego k zachodzi D m (k) = 0. Z założenia (S n ) jest martyngałem. Ustalmy teraz m i rozpatrzmy ciąg (Y n ) Y n = S m+n S m (Y n ) jest martyngalem względam samego siebie, ponieważ E(Y n+1 Y 1,..., Y n ) = E[E(Y n+1 S 1,..., S m+n ) Y 1,..., Y n ] = E[E(S m+n+1 S m S 1,..., S m+n ) Y 1,..., Y n ] = E(S m+n+1 S m Y 1,..., Y n ) = E(Y n Y 1,..., Y n ) = Y n Teraz możemy zastosować Twierdzenie 2. (Nierówność Dooba-Kołmogorowa) { P ( max Y i 1 } ) k 2 E(Yn 2 ),...,n k Możemy teraz dokonać następującego oszacowania (+) z góry P (A m (k)) = lim n P ( max,...,n Y i 1 k ) k2 lim n E(S n+m S m ) 2 Dla każdego m i n zmienne losowe S m i S m+n S m są nieskorelowane, tzn. oraz mamy (++) E(S m (S n+m S m )) = 0 E(S n+m ) 2 = E(S m ) 2 + E(S n+m S m ) 2 Powyższy wzór (++) mówi o tym, że ciąg E(S 2 m) jest niemalejący i ograniczony, a zatem jest on zbieżny. Jest zatem również ciągiem Cauchy ego i jego podowójna granica dąży do zera. Wstawiając ten wzór to wzoru (+) otrzymujemy a więc Co należało dowieść. Przykład 1. P (A m (k)) k 2 lim n [E(S2 n+m) E(S 2 m)] lim P (A m(k)) k 2 0 = 0 n Przykład ten jest kontynuacją przykładu 5(a) z poprzedniego wykładu, dotyczącego procesów gałązkowych W n = Z n µ n E(W 2 n) = 1 + σ2 (1 µ n µ(µ 1) W n jest martyngałem wzglęgem Z n, a jego drugi moment zwykły jest skończony. Na podstawie Twierdzenia 1. o zbieżności istniej zmienna losowa W taka, że A ponadto dla każdego w > 0 W n a.s W P (Z n wµ n ) a.s P (W w) 11-3

4 3 Nierówność Hoeffdinga Przykład 2. Niech (Ω, F, P) będzie przestrzenią probabilistyczną. Wówczas ciąg G 1 G 2... G n... F nazywamy filtracją. Niech ponadto Y będzie zmienną losową Y : Ω R o skończonym drugim momencie zwykłym. Dla tak określonej zmiennej losowej zdefinujmy martyngał (zwany martyngałem Dooba) Y n = E(Y G n ) Pokażemy że Y n jest martyngałem względem samego siebie. Dla każdego G G n zachodzi 0 = E[(Y Y n )I G ] = E[(Y Y n+1 + Y n+1 Y n )I G ] Zatem = E[(Y Y n+1 )I G ] +E[(Y }{{} n+1 Y n )I G ] = E[(Y n+1 Y n )I G ] =0(def.) Y n = E(Y n+1 G n ) Definicja 1. (Uogólnienie przykładu) Niech F n będzie filtracją, natomiast Y n będzie F n mierzalne. Wówczas parę (Y n, F n ) nazywamy martyngałem, gdy dla każdego n zachodzą następujące warunki: (a)e(y n ) < Przedstawmy jeszcze krótki fakt (b)e(y n+1 F n ) = Y n Fakt 1. Jeżeli (Y n ) jest martyngałem względem (X n ), to (Y n ) jest martyngałem względem (F n ) = σ(x 1,..., X n ) Definicja 2. (Różnica martyngałów) Różnicą martyngałów nazywamy funkcję D n zmiennych losowych taką, że D n = Y n Y n 1 D n jest F n mierzalne i ponadto (a)e( D n ) < (b)e(d n+1 F n ) =

5 Wówczas Y n = Y 0 + Teraz możemy przejść do właściwego twierdzenia, któremu jest poświęcony ten rozdział. Twierdzenie 3. (Twierdzenie Hoeffdinga) Niech (Y n, F n ) będzie martyngałem. Załóżmy ponadto, że istnieje ciąg liczbowy K 1, K 2,... niekoniecznie o skończonych wartościach, taki że dla dowolnego n zachodzi Wówczas D i P ( D n K n ) = 1. { P ( Y n Y 0 x) 2 exp x 2 2 n K2 i Dowód. W dowodzie należy wykorzystać nierówność Markowa, biorąc wykładnicze zmienne losowe i dokonując odpowiedniej optymalizacji. Z powodu braku czas dowód zostawiamy jako zadanie domowe dla chętnych. Przykład 3. (Zastosowanie twierdzenia Hoeffdinga) Niech (X n ) będzie ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie Bernoulliego z parametrem p (i.i.d.) X 1 = d b(p). Wówczas zmienna losowa S n będąca sumą tych zmiennych losowych ma rozkład dwumianowy z parametrami n i p S n = X i = d Bin(n, p) Wówczas Y n = S n E(S n ) = S n np jest martyngałem, gdzie S 0 = Y 0 = 0. Ponadto D n = Y n Y n 1 = X n p a więc D n { p, 1, p} D n 1 = K n Na podstawie twierdzenia Hoeffdinga mamy P ( S n np x) 2 exp } { x2 2n Przyjmując x := log(n) otrzymamy oszacowanie prawdopodobieństwa z lewej strony z góry przez liczbę 2. Jednak takie oszacowanie jest całkowicie nieużyteczne. Natomiast podstawienie x := a n n daje dużo lepsze oszacowanie, o ile ciąg (an ) ma niezerową granicę. } 11-5