RAP 412 14.01.2009 Wykład 11: Martyngały: definicja, twierdzenia o zbieżności Wykładowca: Andrzej Ruciński Pisarz:Mirosława Jańczak 1 Wstęp Do tej pory zajmowaliśmy się ciągami zmiennych losowych (X n ) o pewnej strukturze zależności. Ciąg zmiennych losowych niezależnych stanowi tu szczególny przypadek. Badaliśmy pewne własności łańcuchów Markowa, tj. takich ciągów zmiennych losowych, dla których kolejny wyraz zależał wyłącznie od poprzedniego (tzw. własność zaniku pamięci). Kolejny wykład ma na celu przestawienie nowej struktury zależności dla ciągów zmiennych losowych, jaką określają martyngały. Pierwsza część wykładu poświęcona jest przypomnieniu wiadomości na temat warunkowej wartości oczekiwanej. Zawiera ona definicję oraz kilka podstawowych twierdzeń. W kolejnej części wprowadzone zostaje pojęcie martyngału. Przedstawiono tu również kilka przykładów. Ostatnia, trzecia część wykładu dotyczy twierdzeń o zbieżności martyngałów. 2 Warunkowa wartość oczekiwana 2.1 Przypadek jednowymiarowy Rozważania dotyczące warunkowej wartości oczekiwanej ograniczone zostaną do zmiennych losowych dyskretnych. Definicja 1. Warunkową wartością oczekiwaną zmiennej losowej Y pod warunkiem X = x nazywamy liczbę ψ(x) określoną następująco: ψ(x) = E(Y X = x) = y yp (Y = y X = x) Zauważmy, że ψ(x) jest pewną funkcją zmiennej losowej X. Zatem ψ(x) jest również zmienną losową. Oznaczamy ją ψ(x) = E(Y X). Wartość oczekiwana tak określonej zmiennej losowej jest równa E(Y ). Twierdzenie 1. E(ψ(X)) = E(Y ) Dowód. E(ψ(X)) = ψ(x)p X (x) = x x = yp X,Y (x, y) = y x y y x yp Y X (y x)p X (x) = y p X,Y (x, y) = yp Y (y) = E(Y ). y Powyższe twierdzenie można uogólnić: Twierdzenie 2. E(ψ(X)g(X)) = E(Y g(x)) Dowód tego faktu przebiega analogicznie. 11-1
2.2 Przypadek wielowymiarowy Zajmiemy się teraz przypadkiem, gdy zmienna losowa X jest postaci X = (X 1, X 2,..., X n ). Lemat 1. Zachodzą następujące własności: a) E(Y 1 + Y 2 X) = E(Y 1 X) + E(Y 2 X), b) E(Y g(x)) = g(x)e(y X), c) Jeśli h jest funkcją różnowartościową, to E(Y h(x)) = E(Y X). Lemat 2. (Własność wieżowa.) E[E(Y X 1, X 2 ) X 1 ] = E(Y X 1 ). A. Zdefiniujemy teraz warunkową wartość oczekiwaną zmiennej losowej Y względem zdarzenia Definicja 2. Niech (Ω, F, P) będzie przestrzenią probabilistyczną, na której określone są zmienne losowe X oraz Y. Warunkową wartością oczekiwaną zmiennej losowej Y względem zdarzenia A F nazywamy liczbę E(Y A) = y yp(y = y A), gdzie P(Y = y A) = P(Y = y {X(ω) : ω A}). Mamy { E(Y A) gdy ω A E(Y I A ) = E(Y A c ) gdy ω / A. Zatem E(Y I A ) jest zmienną losową dwupunktową. Ponadto zachodzi zależność: E(I B A) = P(B A). Lemat 3. Niech A będzie zdarzeniem oraz niech A = n B i, gdzie B i F są zdarzeniami parami rozłącznymi. Wówczas E(Y A)P(A) = E(Y B i )P(B i ). W szczególności, gdy A = Ω dostajemy uogólnienie wzoru na prawdopodobieństwo całkowite: E(Y ) = E(Y B i )P(B i ). Podstawiając w powyższym wzorze Y = I C otrzymujemy znany wzór: P(C) = E(I C ) = E(I C B i )P(B i ) = P(C B i )P(B i ). 11-2
Dowód. Z części b) lematu (1) dostajemy: Mamy zatem E(Y I A ) = E(Y A)P(A). E(Y I A ) = E(Y i I Bi ) = i E(Y I Bi ) = i E(Y B i )P(B i ). Definicja 3. Niech (Ω, F, P) będzie przestrzenią probabilistyczną, G F pod σ-ciałem σ- ciała F. Niech ponadto Y : Ω R będzie zmienną losową taką, że EY 2 <. G mierzalną zmienną losową Z nazywamy warunkową wartością oczekiwaną względem G, jeżeli E((Y Z)I G ) = 0 dla każdego G G. Oznaczamy ją Z = E(Y G). 3 Martyngały, definicja i przykłady W tej części wykładu wprowadzona zostanie definicja martyngału oraz podanych będzie kilka przykładów. Definicja 4. Ciąg (S n ) zmiennych losowych (skończony lub nie) jest martyngałem względem ciągu (X n ), jeżeli a) E S n <, b) E(S n+1 X 1, X 2,..., X n ) = S n. Martyngał określa zatem tzw. grę sprawiedliwą w takim sensie, że średnia wygrana w chwili n + 1, gdy znany jest przebieg gry do chwili n, jest równa S n, czyli łącznej wygranej w chwili n. Często definiuje się S n = X n lub określa się S n jako pewną funkcją X n, tj. S n = φ(x n ) (z definicji natomiast mamy S n = φ(x 1, X 2,..., X n ). Przykład 1. Niech X 1, X 2,... będą zmiennymi losowymi niezależnymi takimi, że E(X i ) = 0 oraz E X i <. Zdefiniujmy Zachodzi zależność S n = X 1 + X 2 + + X n. E(S n+1 X 1, X 2,..., X n ) = E(S n X 1, X 2,..., X n )+E(X n+1 X 1, X 2,..., X n ) = S n +E(X n+1 ) = S n. (S n ) jest zatem martyngałem względem ciągu (X n ). Przykład 2. Do warunków z poprzedniego przykładu dodajmy V ar(x i ) <. Niech T n = S 2 n. Mamy E(T n+1 X 1, X 2,..., X n ) = T n + 2E(X n+1 )E(S n X 1, X 2,..., X n ) + E(X 2 n+1) T n. T n nie jest zatem martyngałem względem ciągu (X n ). Gdy spełniony jest taki rodzaj zależności, mówimy, że T n jest supermartyngałem względem ciągu (X n ). 11-3
Przykład 3. Rozważmy prosty spacer losowy, dla którego P(X n = 1) = p, P(X n = 1) = q. Niech S 0 = 0 oraz S n = X i. Sprawdźmy, czy S n jest martyngałem względem X n. Mamy S n n. Stąd E S n <. Ponadto E(S n+1 X 1, X 2,..., X n ) = S n + p q. Zatem S n nie jest martyngałem. Zdefiniujmy ciąg (Y n ) następująco: Wtedy E Y n < oraz Y n = S n E(S n ) = S n n(p q). E(Y n+1 X 1, X 2,..., X n ) = S n + p q (n + 1)(p q) = S n n(p q) = Y n, czyli (Y n ) jest martyngałem względem ciągu (X n ). Przykład 4. Rozważmy pewną grę. Niech S 0 oznacza kapitał początkowy, S n kapitał po n grach. Gra jest sprawiedliwa w potocznym sensie, gdy E(S n+1 S 0, S 1,..., S n ) = S n, czyli ciąg (S n ) jest martyngałem względem samego siebie. Załóżmy, że gracz stosuje strategię podwajania stawki po każdej przegranej. Gra natomiast do czasu uzyskania pierwszego sukcesu. Z prawdopodobieństwem równym 1 strategia ta przynosi sukces, tzn. gracz zyskuje dokładnie 1. Zastanowimy się teraz jaki powinien być kapitał początkowy gracza, aby odniósł on sukces z prawdopodobieństwem 1. Niech L będzie zmienną losową określającą łączną przegraną do momentu pierwszej wygranej, N natomiast niech oznacza liczbę odbytych gier. N jest zmienną losową o rozkładzie geometrycznym z parametrem 1/2 (Wtedy E(n) = 2.) Mamy: ( ) 1 n 1 E(L) = E(E(L N)) = 1 2 2 (1 + 2 + + 2n 2 ) =. n=2 Zatem, aby wygrać z prawdopodobieństwem równym jeden należy przyjść z nieskończenie wielkim kapitałem początkowym. Strategia podwajania stawki określa historycznie pierwszy martyngał. Przykład 5. Określimy teraz dwa martyngały na bazie procesu gałązkowego, gdzie Z 0 = 1 oznacza pierwszego przodka oraz Z n dla n 1 są liczebnościami kolejnych pokoleń. a) Mamy E(Z n+1 Z n = z n ) = z n µ, gdzie µ = E(Z 0 ). Stąd E(Z n+1 Z 1, Z 2,..., Z n ) = E(Z n+1 Z n ) = µz n. Ponadto E(Z n ) = µ n. Zdefiniujmy W n = Z n µ n. 11-4
Wówczas E(W n+1 Z 1, Z 2,..., Z n ) = µz n µ n = W n i (W n ) jest martyngałem względem (Z n ). b) Niech η będzie prawdopodobieństwem wyginięcia procesu gałązkowego. Wtedy ciąg (V n ) określony następująco: V n = η Zn jest martyngałem względem (Z n ). 4 Twierdzenia o zbieżności martyngałów Na początku tej części wykładu przypomnimy definicje kilku typów zbieżności zmiennych losowych. Definicja 5. Mówimy, że X n dąży do X z prawdopodobieństwem jeden, jeżeli Zapisujemy X n X. P({ω : lim n X n(ω) = X(ω)}) = 1. Definicja 6. X n zbiega do X według r-tego momentu, gdy E(X n ) r < oraz Stosujemy oznaczenie X n r X. lim E( X n X r ) = 0. n Fakt 1. Jeżeli r s, to X n r X Xn X. Twierdzenie 3. (O zbieżności martyngałów.) Niech (S n ) będzie martyngałem oraz E(Sn) 2 <. Istnieje wówczas zmienna losowa S taka, że S oraz S n S n 2 S. Wniosek 1. (Mocne prawo wielkich liczb) Niech X 1, X 2,..., X n będą zmiennymi losowymi niezależnymi o takich samych rozkładach. Niech S n = X 1 + X 2 + + X n. Wtedy Wówczas µ = E(X 1 ). µ R : S n n µ E X 1 <. 11-5
Dowód. Załóżmy bez straty ogólności, że µ = 0. Zdefiniujmy zmienną losową S n = X i i. Wtedy S n+1 = S n + X n+1 n + 1. (S n) jest martyngałem względem (X n ). Z twierdzenia (3) wiemy, że istnieje zmienna losowa S taka, że S n S. Stąd dostajemy, że X i i < z prawdopodobieństwem jeden. Z lematu Kroneckera otrzymujemy zatem X i i = S n n 0. Lemat 4. Kroneckera. Jeżeli (b n ) jest ciągiem monotonicznie rosnącym do nieskończoności oraz a i b i n lim a i = 0. n b n W twierdzeniu powyżej stosujemy lemat podstawiając: b n := n, a i := X i. Twierdzenie 4. (Nierówność Dooba-Kołmogorowa) Jeżeli (S n ) jest martyngałem względem (X n ), to P( max 1 i n S i ε) E(S2 n) ε 2. <, to 11-6