Wykład z Rachunku Prawdopodobieństwa II

Matematyka stosowaa Wykład z Rachuku Prawdopodobieństwa II Adam Osękowski ados@mimuw.edu.pl http://www.mimuw.edu.pl/~ados Uiwersytet Warszawski, 2011

Streszczeie. Celem iiejszego skryptu jest wprowadzeie i omówieie podstawowych obiektów i pojęć pojawiających się w drugiej części kursowego wykładu z Rachuku Prawdopodobieństwa. Wersja iteretowa wykładu: http://mst.mimuw.edu.pl/lecture.php?lecture=rp2 (może zawierać dodatkowe materiały) Niiejsze materiały są dostępe a licecji Creative Commos 3.0 Polska: Uzaie autorstwa Użycie iekomercyje Bez utworów zależych. Copyright c Osękowski, Uiwersytet Warszawski, Wydział Matematyki, Iformatyki i Mechaiki, 2011. Niiejszy plik PDF został utworzoy 13 kwietia 2011. Projekt współfiasoway przez Uię Europejską w ramach Europejskiego Fuduszu Społeczego. Skład w systemie L A TEX, z wykorzystaiem m.i. pakietów beamer oraz listigs. Szabloy podręczika i prezetacji: Piotr Krzyżaowski; kocept: Robert Dąbrowski.

Spis treści 1. Zbieżość według rozkładu zbieżość miar probabilistyczych w przestrzeiach metryczych............................................. 4 1.1. Zadaia.............................................. 11 2. Fukcje charakterystycze rozkładów prawdopodobieństwa w R d............ 14 2.1. Zmiee losowe o wartościach zespoloych........................... 14 2.2. Fukcje charakterystycze.................................... 14 2.3. Przykłady............................................. 16 2.4. Zadaia.............................................. 21 3. Cetrale Twierdzeie Graicze................................ 24 3.1. Zadaia.............................................. 29 4. Warukowa wartość oczekiwaa................................. 31 4.1. Zadaia.............................................. 36 5. Martygały z czasem dyskretym................................ 38 5.1. Zadaia.............................................. 47 6. Łańcuchy Markowa......................................... 49 6.1. Podstawowe defiicje...................................... 49 6.2. Klasyfikacja staów....................................... 52 6.3. Rozkłady stacjoare i twierdzeie ergodycze........................ 55 6.4. Zadaia.............................................. 58 Literatura................................................. 61 Wykład z Rachuku Prawdopodobieństwa II c Osękowski, Uiwersytet Warszawski, 2011.

1. Zbieżość według rozkładu zbieżość miar probabilistyczych w przestrzeiach metryczych Celem tego rozdziału jest wprowadzeie pewego owego typu zbieżości zmieych losowych, tzw. zbieżości według rozkładu. Zaczijmy od pewych ituicji związaych z tym pojęciem. Jak sama azwa wskazuje, zbieżość ta odosi się do rozkładów zmieych losowych. Zatem, aby ją zdefiiować (a początek, dla rzeczywistych zmieych losowych), potrzebujemy metody pozwalającej stwierdzić czy dwa rozkłady prawdopodobieństwa a R są bliskie. Jeśli tak a to spojrzeć, to automatyczie arzuca się użycie tzw. całkowitej wariacji miary. Ściślej, defiiujemy odległość dwóch miar probabilistyczych µ, ν a R jako całkowitą wariację ich różicy: µ ν = sup µ(a ) ν(a ), =1 gdzie supremum jest wzięte po wszystkich rozbiciach prostej rzeczywistej a przeliczalą liczbę zbiorów borelowskich (A ) =1. I teraz mówimy, że X zbiega do X jeśli P X P X 0 gdy. To podejście jest jedak zbyt restrykcyje i zbieżość według rozkładu wprowadzimy w iy sposób. W całym iiejszym rozdziale, (E, ρ) jest przestrzeią metryczą, B(E) ozacza klasę podzbiorów borelowskich E oraz C(E) = {f : E R ciągłe i ograiczoe}. Defiicja 1.1. Niech (P ) będzie ciągiem miar probabilistyczych a B(E) (rozkładów prawdopodobieństwa a E). Mówimy, że ciąg (P ) jest zbieży według rozkładu do P (lub słabo zbieży do P ), jeżeli dla każdej fukcji f C(E) mamy E fdp E fdp. Ozaczeie: P P. Dowód poprawości defiicji: Musimy udowodić, że jeśli P P oraz P P, to P = P. Iymi słowy, musimy wykazać astępujący fakt. Stwierdzeie 1.1. Załóżmy, że P, P są takimi rozkładami w E, że dla każdej fukcji f C(E), E fdp = E fdp. Wówczas P = P. Przytoczmy pomociczy fakt z Topologii I. Lemat 1.1. Niech F będzie domkiętym podzbiorem E. Wówczas dla każdego ε > 0 istieje f C(E) jedostajie ciągła spełiająca 0 f 1 oraz { 1 jeśli x F, f(x) = 0 jeśli ρ(x, F ) ε. Dowód Stwierdzeia 1.1:. Wystarczy udowodić, że dla każdego domkiętego F E zachodzi P (F ) = P (F ) (teza wyika wówczas prosto z lematu o π λ układach). Dla każdego i ε = 1/, Lemat 1.1 daje fukcję f o odpowiedich własościach. Widzimy, iż dla każdego x E, f (x) 1 F (x), zatem P (F ) = 1 F dp f dp = f dp P (F ). E E E Wykład z Rachuku Prawdopodobieństwa II c Osękowski, Uiwersytet Warszawski, 2011.

Przykłady: 1. Załóżmy, że (a ) jest ciągiem puktów z R d oraz a R d. Wówczas a a wtedy i tylko wtedy, gdy δ a δ a. Istotie, a a wtedy i tylko wtedy, gdy dla każdej fukcji f C(E) mamy f(a ) f(a), czyli R d fdδ a R d fdδ a. 2. Załóżmy, że (P ) jest ciągiem miar probabilistyczych a R, zadaym przez P ({k/}) = 1/, k = 1, 2,...,. Wówczas P P, gdzie P jest rozkładem jedostajym a [0, 1]. Istotie, dla dowolej fukcji f C(R), fdp = f(k/) 1 1 R f(x)dx = fdp. k=1 0 R Waża uwaga: Z tego, że P P ie wyika, że dla dowolego B B(E) mamy P (B) P (B). Np. weźmy a R oraz ciąg (a ) liczb rzeczywistych taki, że a > a oraz a a. Jak już wiemy, δ a δ a, ale δ a ((, a]) = 0 1 = δ a ((, a]). 5 Twierdzeie 1.1. Niech P, P ( = 1, 2,...) będą miarami probabilistyczymi a B(E). Następujące waruki są rówoważe. a) P P. b) Dla każdej fukcji f C(E) jedostajie ciągłej, E fdp E fdp. c) Dla każdego domkiętego F E, lim sup P (F ) P (F ). d) Dla każdego otwartego G E, lim if P (G) P (G). e) Dla każdego A B(E) takiego, że P ( A) = 0, mamy lim P (A) = P (A). Dowód:. a) b) oczywiste. b) c) Ustalmy ε > 0 i iech F ε = {x E : ρ(x, F ) ε}. Na mocy Lematu 1.1 istieje f ε C(E) jedostajie ciągła, przyjmująca wartości w [0, 1], rówa 1 a F oraz 0 a Fε c. Mamy P (F ) = f ε dp f ε dp f ε dp = f ε dp P (F ε ). F ε F E Zatem lim sup P (F ) P (F ε ), i z dowolości ε wyika, co trzeba. c) a) Wystarczy udowodić, że dla każdej fukcji f C(E), lim sup fdp fdp, (1.1) E gdyż po zastąpieiu f przez f dostaiemy lim if E fdp E fdp, a więc w rzeczywistości mamy rówość, gdyż lim if lim sup. Zauważmy, że jeśli f C(E), to istieją a > 0 oraz b R takie, że af + b przyjmuje wartości w przedziale (0, 1). Co więcej, jeśli wykażemy (1.1) dla af + b, to ierówość będzie także zachodzić dla f. Iymi słowy, możemy bez straty ogólości założyć, że 0 < f(x) < 1 dla każdego x E. Ustalmy taką fukcję f i weźmy dodatią liczbę całkowitą k. Rozważmy zbiory { A i = x E : i 1 f(x) < i }, i = 1, 2,..., k. k k E E

6 1. Zbieżość według rozkładu zbieżość miar probabilistyczych w przestrzeiach metryczych Oczywiście k i=1 A i = E oraz zbiory A 1, A 2,..., A k są parami rozłącze. Poadto, Zauważmy, że L := k i=1 A i = i 1 k P (A i) fdp = E k i=1 A i fdp k i=1 i k P (A i) =: R. { x : i 1 } f(x) \ {x : i } k k f(x) =: F i 1 \ F i, i = F k F k 1... F 1 F 0 = E jest zstępującym ciągiem zbiorów domkiętych. Zatem P (A i ) = P (F i 1 ) P (F i ), i = 1, 2,..., k, i podstawiając dostajemy oraz k k 1 i 1 L = k (P (F i i 1) P (F i )) = k P (F i) i=1 i=0 = k 1 k P (F k) + 1 k 1 P (F i ) = 1 k 1 P (F i ) k k R = k i=1 i=1 k 1 i k (P (F i 1) P (F i )) = i=0 = P (F k ) + 1 k k 1 i=0 P (F i ) = 1 k + 1 k i=1 k i=1 i + 1 k P (F i) k 1 i=1 P (F i ). i 1 k P (F i) k i=1 i k P (F i) Przeprowadzamy aalogicze oszacowaia dla E fdp : w szczególości mamy skąd wyika, a mocy c), E fdp 1 k + 1 k k 1 i=1 P (F i ), lim sup fdp 1 E k + 1 k 1 lim sup P (F i ) 1 k k + 1 k 1 P (F i ) 1 k k + i=1 Wystarczy tylko zbiec z k do ieskończoości. c) d): oczywiste po przejściu do dopełień zbiorów. c) e) Załóżmy, że A B(E) spełia waruek P ( A) = 0. Poieważ A = A \ ita oraz ita A, mamy P (A) = P (ita) = P (A). Z drugiej stroy, korzystając z c) oraz d), mamy P (A) lim sup lim if P (A) lim sup P (A) P (A) lim if i=1 P (ita) P (ita), a zatem wszędzie mamy rówości: to ozacza tezę podpuktu e). e) c) Weźmy dowoly domkięty zbiór F E. Dla każdego ε > 0 zbiór F ε = {x : ρ(x, F ) ε} jest domkięty. Poadto, zbiór {ε > 0 : P ({x : ρ(x, F ) = ε}) > 0} jest co ajwyżej przeliczaly; zatem istieje ciąg (ε ) liczb dodatich malejący do 0 taki, że P ({x : ρ(x, F ) = ε }) = 0 dla każdego. Poieważ F ε {x : ρ(x, F ) = ε}, mamy więc P ( F ε ) = 0 dla każdego, a zatem, korzystając z e), przy ustaloym k, lim sup P (F ) lim sup P (F εk ) = P (F εk ). E fdp. Zbiegając z k, mamy ε k 0 oraz P (F εk ) P (F ), a mocy tego, iż F jest domkięty.

Stwierdzeie 1.2. Załóżmy, że P, P są rozkładami prawdopodobieństwa w R d ( = 1, 2,...), o dystrybuatach F, F, odpowiedio. Wówczas P P wtedy i tylko wtedy, gdy F (x) F (x) dla każdego puktu x, w którym F jest ciągła. Dowód:. Weźmy pukt x = (x 1, x 2,..., x d ) ciągłości dystrybuaty F i iech A = {y R d : y i x i, i = 1, 2,..., d}. Zauważmy, iż P ( A) = 0; w przeciwym razie F miałaby ieciągłość w pukcie x (istotie, mielibyśmy lim k F (x 1 1 k, x 2 1 k,..., x d 1 k ) = lim k P ({y Rd : y i x i 1 k }) < P (A) = F (x) ). Zatem a mocy podpuktu e) Twierdzeia 1.1, F (x) = P (A) P (A) = F (x). Najpierw udowodimy Lemat 1.2. Załóżmy, że E jest przestrzeią metryczą, K B(E) jest π-układem takim, że każdy zbiór otwarty jest sumą skończoą lub przeliczalą zbiorów z K. Jeśli P, P ( = 1, 2,...) są miarami probabilistyczymi a B(E) takimi, że dla każdego A K mamy P (A) P (A), to P P. Dowód. Udowodimy, że dla każdego zbioru otwartego G E, lim if P (G) P (G). Ustalmy więc zbiór otwarty G oraz ε > 0. Z założeń lematu istieje skończoy ciąg A 1, A 2,..., A k elemetów K taki, że A 1 A 2... A k G, oraz P (G \ (A 1 A 2... A k )) < ε. Mamy P (G\(A 1 A 2... A k )) = P (G) P (A 1 A 2... A k ), skąd, a mocy wzoru włączeń i wyłączeń, k k P (G) < ε + P ( A i ) = ε + P (A i ) P (A i A j ) +... i=1 i=1 1 i<j k k = ε + lim P (A i ) lim P (A i A j ) +... i=1 1 i<j k k = ε + lim P ( A i ) ε + lim if P (G). i=1 Wystarczy skorzystać z tego, że ε > 0 było dowole. Wracamy do dowodu stwierdzeia. Dla każdego i = 1, 2,... istieje co ajwyżej przeliczalie wiele hiperpłaszczyz H R d prostopadłych do osi OX i, o dodatiej mierze P ; iech S ozacza dopełieie sumy wszystkich takich hiperpłaszczyz (sumujemy także po i). Jak łatwo zauważyć, S jest gęstym podzbiorem R d oraz każdy pukt z S jest puktem ciągłości F. Zbiór K = {(a, b] = (a 1, b 1 ] (a 2, b 2 ]... (a d, b d ] : a, b S, a i < b i dla każdego i} jest π-układem i każdy zbiór otwarty jest sumą skończoą lub przeliczalą zbiorów z K. Mamy P ((a, b]) = ε i {0,1} ε i {0,1} = P ((a, b]). ( 1) d (ε 1+ε 2 +...+ε d ) F (b 1 + ε 1 (b 1 a 1 ),..., b d + ε d (b d a d )) ( 1) d (ε 1+ε 2 +...+ε d ) F (b 1 + ε 1 (b 1 a 1 ),..., b d + ε d (b d a d )) Wystarczy skorzystać z poprzediego lematu. 7

8 1. Zbieżość według rozkładu zbieżość miar probabilistyczych w przestrzeiach metryczych Defiicja 1.2. Załóżmy, że X, X ( = 1, 2,...) są zmieymi losowymi o wartościach w E oraz µ jest miarą probabilistyczą a B(E). (i) Mówimy, że ciąg (X ) jest zbieży według rozkładu do X, jeśli P X P X. Ozaczeie: X X lub X D X. (ii) Mówimy, że ciąg (X ) jest zbieży według rozkładu do µ, jeśli P X X µ lub X D µ. Uwagi: µ. Ozaczeie 1. W defiicji zbieżości według rozkładu, zmiee X mogą być określoe a różych przestrzeiach probabilistyczych. 2. Rówoważie, (X ) zbiega do X według rozkładu wtedy i tylko wtedy, gdy dla każdej fukcji f C(E), lim Ef(X ) = Ef(X). (1.2) Poadto, a mocy podpuktu b) Twierdzeia 1.1, moża się ograiczyć w (1.2) do fukcji jedostajie ciągłych. 3. Słaba zbieżość odosi się wyłączie do rozkładów zmieych losowych. Na przykład, rozważmy ciąg (X ), zaday a przestrzei probabilistyczej ([0, 1], B([0, 1]), ) wzorem X 2 1 = 1 [0,1/2], X 2 = 1 [1/2,1], = 1, 2,.... Jak łatwo zauważyć, (X ) ie jest ai zbieży prawie a pewo, ai według prawdopodobieństwa. Natomiast z puktu widzeia słabej zbieżości, jest to ciąg stały: P X = 1 2 δ 0+ 1 2 δ 1. Ciąg te zbiega słabo do X 1 oraz do X 2. Stwierdzeie 1.3. Załóżmy, że E jest przestrzeią ośrodkową oraz X, X, Y ( = 1, 2,...) są zmieymi losowymi o wartościach w E, przy czym dla każdego, zmiee X oraz Y są określoe a tej samej przestrzei probabilistyczej. Jeśli X X oraz ρ(x, Y ) P 0, to Y X. Biorąc X = X, dostajemy stąd atychmiast astępujący fakt. Wiosek 1.1. Jeśli (X ) zbiega do X według prawdopodobieństwa, to zbiega także według rozkładu. Dowód Stwierdzeia 1.3. Niech F będzie dowolym domkiętym podzbiorem przestrzei E i ustalmy ε > 0. Zbiór F ε = {x : ρ(x, F ) ε} jest domkięty i mamy P Y (F ) = P(Y F, ρ(x, Y ) ε) + P(Y F, ρ(x, Y ) > ε) P(X F ε ) + P(ρ(X, Y ) > ε). Zatem lim sup P Y (F ) lim sup P X (F ε ) + 0 P X (F ε ) i przechodząc z ε do 0 dostajemy lim sup P Y (F ) P X (F ). Z dowolości F oraz podpuktu c) Twierdzeia 1.1 wyika teza. Defiicja 1.3. Niech P będzie pewym zbiorem miar probabilistyczych a B(E). Mówimy, że te zbiór jest ciasy (jędry) jeśli dla każdego ε > 0 istieje zwarty podzbiór K przestrzei E taki, że P (K) 1 ε dla każdego P P.

Przykład: Załóżmy, że (X i ) i I jest rodzią zmieych losowych o wartościach rzeczywistych, takich, że dla pewego α > 0, a := sup i I E X i α <. Wówczas rodzia rozkładów (P Xi ) i I jest ciasa. Istotie, ustalmy ε > 0 i L > 0. Na mocy ierówości Czebyszewa, dla każdego i I, 9 P Xi ([ L, L]) = P( X i L) = 1 P( X i > L) 1 E X i α L α 1 a L α = 1 ε, o ile a/l α = ε; wystarczy więc wziąć K = [ (a/ε) 1/α, (a/ε) 1/α ]. Twierdzeie 1.2 (Prochorow). (i) (Twierdzeie odwrote) Jeśli P jest zbiorem ciasym, to z każdego ciągu elemetów P moża wybrać podciąg zbieży. (ii) (Twierdzeie proste) Jeśli E jest przestrzeią polską (tz. ośrodkową i zupełą) i P ma tę własość, że z każdego ciągu moża wybrać podciąg zbieży, to P jest zbiorem ciasym. Potrzebe am będą astępujące trzy fakty: z Topologii, Aalizy Fukcjoalej oraz Teorii Miary. Stwierdzeie 1.4. Załóżmy, że K jest przestrzeią metryczą zwartą. Wówczas C(K) jest ośrodkowa. Twierdzeie 1.3 (Riesz). Załóżmy, że ϕ : C(K) R jest dodatim fukcjoałem liiowym ciągłym, tz. (i) ϕ(af + bg) = aϕ(f) + bϕ(g) dla dowolych a, b R, f, g C(K). (ii) Istieje stała L taka, że ϕ(f) L sup x K f(x) dla wszystkich f C(K). (iii) Dla dowolej ieujemej fukcji f C(K) mamy ϕ(f) 0. Wówczas istieje dokładie jeda miara skończoa λ a B(K) taka, że ϕ(f) = K f(x)λ(dx) dla dowolej fukcji f C(K). Stwierdzeie 1.5 (Regularość). Załóżmy, że µ jest miarą skończoą a B(E). Wówczas dla każdego A B(E) istieje ciąg (F ) zbiorów domkiętych zawartych w A oraz ciąg (G ) zbiorów otwartych zawierających A, takie, że µ(f ) µ(a) oraz µ(g ) µ(a). Dowód twierdzeia odwrotego. Załóżmy, że P jest ciasy. Wobec tego, dla każdego m = 1, 2,... istieje zwarty podzbiór K m przestrzei E taki, że P (K m ) 1 1 m dla wszystkich P P. Bez straty ogólości możemy założyć, że ciąg (K m ) jest wstępujący (zastępując te ciąg, w razie potrzeby, przez ciąg K 1, K 1 K 2, K 1 K 2 K 3,...). Niech (P m ) będzie ciągiem miar z P. Dla większej przejrzystości dowodu, podzielimy go a kilka części. 1. Na mocy Stwierdzeia 1.4, dla każdego m = 1, 2,..., C(K m ) jest przestrzeią ośrodkową. Niech {f mr } r=1, 2,... będzie jej przeliczalym gęstym podzbiorem. Dla każdego m, r, ciąg ( K m f mr dp ) jest ograiczoym ciągiem liczbowym; moża z iego wybrać podciąg zbieży. Stosując metodę przekątiową widzimy, iż istieje podciąg ( 1, 2,...) taki, że dla wszystkich m, r, ciąg ( K m f mr dp i ) i jest zbieży.

10 1. Zbieżość według rozkładu zbieżość miar probabilistyczych w przestrzeiach metryczych 2. Pokażemy, że dla każdego m = 1, 2,... i każdej fukcji f C(K m ), ciąg ( K m fdp i ) i jest zbieży. Ustalmy ε > 0 oraz r takie, że sup x Km f(x) f mr (x) ε/3. Mamy fdp i fdp j fdp i f mr dp i K m K m K m K m + f mr dp i f mr dp j K m K m + f mr dp j fdp j. K m K m Dwa skraje składiki po prawej stroie szacują się przez ε/3; a przykład, mamy fdp i f mr dp i f f mr dp i K m K m K m sup f f mr P i (K m ) ε/3. K środkowy składik ie przekracza ε/3 o ile i, j są dostateczie duże; wyika to z defiicji podciągu ( i ). 3. Ozaczmy ϕ m (f) = lim i K m fdp i, dla f C(K m ). Jest oczywiste, że ϕ spełia założeia Twierdzeia Riesza. Zatem istieje miara λ m a B(K m ) taka, że ϕ m (f) = K m fdλ m dla wszystkich f C(K m ), m = 1, 2,.... Rozszerzmy tę miarę a B(E), kładąc λ m (A) = λ m (A K m ). 4. Udowodimy, że dla każdego A B(E) ciąg (λ m (A)) spełia waruek Cauchy ego. ściślej, wykażemy, że 0 λ m1 (A) λ m2 (A) 1 m 2 dla m 1 > m 2 1. (1.3) Najpierw załóżmy, że F jest zbiorem domkiętym i iech ε > 0. Niech f ε będzie ieujemą fukcją jedostajie ciągłą pochodzącą z Lematu 1.1. Mamy 0 f ε dp i = K m1 \K m2 f ε dp i K m1 f ε dp i K m2 sup f ε (P i (K m1 ) P i (K m2 )) 1 P i (K m2 ) 1. E m 2 Zbiegając teraz z i do ieskończoości dostajemy 0 f ε dλ m1 f ε dλ m2 = K m1 K m2 E f ε dλ m1 f ε dλ m2 1. E m 2 Weźmy teraz ε 0; poieważ f ε 1 A, otrzymujemy (1.3) dla zbiorów domkiętych, a mocy twierdzeia Lebesgue a. Aby otrzymać tę ierówość w przypadku ogólym, posłużymy się regularością. Dla dowolego A B(E) istieją ciągi (F k ) oraz (F k ) zbiorów domkiętych zawartych w A, takie, że λ m1 (F k ) λ m 1 (A) oraz λ m2 (F k ) λ m 2 (A). Korzystając z (1.3) dla zbioru domkiętego F k = F k F k i zbiegając z k otrzymujemy żądaą ierówość. 5. Wiemy, a mocy poprzediej części, że ciąg (λ m (A)) m jest zbieży dla każdego A B(E). Ozaczmy jego graicę przez λ(a). Wykażemy, że λ jest miarą probabilistyczą oraz P i λ. Pierwsza własość wyikie z astępujących trzech faktów. a) λ(e) = 1. b) λ(a 1 A 2 ) = λ(a 1 ) + λ(a 2 ) dla A 1, A 2 B(E) takich, że A 1 A 2 =. c) Jeśli A 1 A 2... oraz k=1 A k =, to λ(a k ) 0. Dowód a) Mamy 1 P i (K m ) = K m 1dP i 1 1 m. Zbiegając z i do ieskończoości dostajemy 1 λ m (E) 1 1 m, i teraz dążąc z m do ieskończoości otrzymujemy λ(e) = 1.

1.1. Zadaia 11 Dowód b) Jase a mocy defiicji λ i tego, że λ m jest miarą dla każdego m. Dowód c) Na mocy (1.3), mamy 0 λ(a) λ m (A) 1 m dla wszystkich A B(E) oraz m = 1, 2,.... Zatem, dla dowolego k, λ(a k ) = λ(a k ) λ m (A k ) + λ m (A k ) 1 m + λ m(a k ). Zbiegając z k widzimy, że lim sup k λ(a k ) 1/m, co a mocy dowolości m daje lim sup k λ(a k ) = 0, czyli lim k λ(a k ) = 0. Pozostało już tylko sprawdzić, że P i λ. Dla usaloej f C(E), mamy E fdp i E fdλ fdp i + fdp i fdλ m Km c K m K m + fdλ m fdλ = I + II + III. E E Na mocy ciasości, I sup E f 1 m. Poadto, z defiicji λ m, II 0 gdy m. Wreszcie, III = fd(λ λ m ) sup f (λ(e) λ m (E)) sup f 1 E E E m. Zatem I + II + III 0 gdy m. Dowód jest zakończoy. Dowód prostego twierdzeia Prochorowa jest zaczie łatwiejszy i pozostawiamy go jako ćwiczeie (patrz zadaie 13). Na zakończeie, zaprezetujemy astępujące dwa fakty (bez dowodu). Twierdzeie 1.4 (Skorochod). Załóżmy, że E jest przestrzeią ośrodkową oraz P, P ( = 1, 2,...) są miarami probabilistyczymi a B(E). Jeśli P P, to istieją zmiee losowe X, X ( = 1, 2,...), określoe a tej samej przestrzei probabilistyczej (Ω, F, P) takie, że P X = P, P X = P ( = 1, 2...) oraz X X prawie a pewo. Twierdzeie 1.5. Załóżmy, że E jest przestrzeią ośrodkową i iech M ozacza klasę wszystkich miar probabilistyczych a E. Dla P, Q M defiiujemy π(p, Q) = if{ε > 0 : A B(E) Q(A) P (A ε ) + ε, P (A) Q(A ε ) + ε}. Wówczas π jest metryką w M (jest to tzw. metryka Levy-Prochorowa) oraz zbieżość w sesie tej metryki pokrywa się ze zwykłą zbieżością miar probabilistyczych. 1.1. Zadaia 1. Udowodić, że ciąg (Exp(/( + 1))) jest zbieży według rozkładu do Exp(1). 2. Day jest ciąg (X ) zmieych losowych zbieży według rozkładu do zmieej losowej X. Udowodić, że ciąg (si X ) jest zbieży według rozkładu do zmieej si X.

12 1. Zbieżość według rozkładu zbieżość miar probabilistyczych w przestrzeiach metryczych 3. Czy zmiee losowe posiadające gęstość mogą zbiegać według rozkładu do zmieej o rozkładzie dyskretym? Czy zmiee losowe o rozkładach dyskretych mogą zbiegać do zmieej o rozkładzie ciągłym? 4. Niech X 1, X 2,... będą zmieymi losowymi, przy czym dla 1 rozkład zmieej X określoy jest astępująco: ( P X = j ) 2j =, j = 1, 2,...,. ( + 1) Udowodić, że ciąg (X ) jest zbieży według rozkładu. Wyzaczyć rozkład graiczy. 5. Niech B(, p) ozacza rozkład Beroulliego o próbach z prawdopodobieństwem sukcesu p, a Pois(λ) - rozkład Poissoa z parametrem λ. Wykazać, że jeśli p λ, to B(, p ) P ois(λ). 6. Zmiee losowe X 1, X 2,... zbiegają według rozkładu do zmieej X stałej p.. Wykazać, że ciąg (X ) zbiega do X według prawdopodobieństwa. 7. Niech g, g ozaczają odpowiedio gęstości rozkładów prawdopodobieństwa µ, µ a R N. Udowodić, że jeśli g g p.w., to µ µ. 8. Niech S będzie przeliczalym podzbiorem R N, zaś µ, µ - miarami probabilistyczymi skupioymi a S. Wykazać, że jeśli dla każdego x S mamy µ ({x}) µ({x}), to µ µ. 9. Ciąg dystrybuat (F ) zbiega puktowo do dystrybuaty ciągłej F. Wykazać, że zbieżość jest jedostaja. 10. Dae są ciągi (X ), (Y ) zmieych losowych, określoych a tej samej przestrzei probabilistyczej, przy czym (X ) zbiega według rozkładu do X, a (Y ) zbiega według rozkładu do zmieej Y stałej p... Udowodić, że (X + Y ) zbiega według rozkładu do X + Y. Czy teza pozostaje prawdziwa bez założeia o jedopuktowym rozkładzie Y? 11. Day jest ciąg (X ) zmieych losowych przyjmujących wartości w przedziale [0, 1]. Udowodić, że jeśli dla każdego k = 0, 1, 2,... mamy EX k 1 k+1, to (X ) jest zbieży według rozkładu. 12. Załóżmy, że (X ) jest ciągiem iezależych zmieych losowych o rozkładzie Cauchy ego z parametrem a > 0, tz. z gęstością g(x) = a π(a 2 + x 2 ). Udowodić, że 1 max k X k 1 T, gdzie T ma rozkład wykładiczy. Wyzaczyć parametr tego rozkładu. 13. Załóżmy, że E jest przestrzeią polską oraz P jest rodzią miar probabilistyczych a B(E), taką, że z każdego ciągu jej elemetów moża wybrać podciąg zbieży. (i) Udowodić, że ε>0 δ>0 x1, x 2,..., x E P P P ( B(x k, δ)) 1 ε, k=1

1.1. Zadaia 13 gdzie B(x, δ) = {y E : ρ(x, y) < δ}. (ii) Wywioskować z (i) proste twierdzeie Prochorowa (wskazówka: w przestrzei metryczej zupełej zbiór domkięty i całkowicie ograiczoy - tz. dla każdego ε > 0 posiadający skończoą ε-sieć - jest zwarty). 14. Załóżmy, że ciąg (X ) zbiega według rozkładu do X. Niech h : R R będzie taką fukcją borelowską, że P(X {pukty ieciągłości h}) = 0. (i) Udowodić, że h(x ) h(x). (ii) Udowodić, że jeśli h jest dodatkowo ograiczoa, to Eh(X ) Eh(X). 15. Załóżmy, że ciąg (X ) zbiega według rozkładu do X. Udowodić, że (i) E X lim if E X. (ii) jeśli X 1, X 2, są dodatkowo jedostajie całkowale, to EX EX. (iii) jeśli X, X 1, X 2,... są calkowale, ieujeme i EX EX, to X 1, X 2,... są jedostajie całkowale. 16. Dae są dwa ciągi (X ) oraz (Y ) zmieych losowych, zbieżych według rozkładu do X oraz Y, odpowiedio. (i) Czy (X, Y ) zbiega według rozkładu do (X, Y )? (ii) Jaka jest odpowiedź w (i) jesli dodatkowo przy każdym zmiee X oraz Y są iezależe?

2. Fukcje charakterystycze rozkładów prawdopodobieństwa w R d Do tej pory zajmowaliśmy się zmieymi losowymi o wartościach w R d bądź, ogóliej, w przestrzeiach metryczych (bez żadej dodatkowej struktury). W tym rozdziale ważą rolę będą pełiły zmiee losowe o wartościach w C. 2.1. Zmiee losowe o wartościach zespoloych. Załóżmy, że (Ω, F, P) jest przestrzeią probabilistyczą. Fukcja X : Ω C jest zmieą losową, jeśli jest zmieą losową przy utożsamieiu C = R 2 - iymi słowy, jeśli (X 1, X 2 ) = (ReX, ImX) jest zmieą losową w R 2. Jeśli X 1 oraz X 2 są całkowale (co jest rówoważe temu, że E X = E X1 2 + X2 2 < ), to defiiujemy EX = EX 1 + iex 2. Bez trudu dowodzimy, iż mają miejsce astępujące fakty. (i) Mamy EX E X. (ii) Zachodzi twierdzeie Lebesgue a o zmajoryzowaym przejściu do graicy pod zakiem wartości oczekiwaej. (iii) Dla dowolych z 1, z 2 C i dowolych zespoloych zmieych losowych X, Y takich, że EX, EY istieją, mamy E(z 1 X + z 2 Y ) = z 1 EX + z 2 EY. 2.2. Fukcje charakterystycze Przechodzimy do defiicji głowego pojęcia tego rozdziału. Defiicja 2.1. (i) Załóżmy, że P jest rozkładem prawdopodobieństwa w R d. Fukcję ϕ P (t) = e i(t,x) P (dx), R d t R d, azywamy fukcją charakterystyczą P. (ii) Załóżmy, że X jest zmieą losową o wartościach w R d, określoą a (Ω, F, P). Wówczas ϕ X := ϕ PX azywamy fukcją charakterystyczą (rozkładu) zmieej losowej X. Uwaga: Z twierdzeia o zamiaie zmieych wyika, iż ϕ X (t) = Ee i(t,x). Bezpośredio z defiicji widzimy, że fukcja charakterystycza zmieej losowej zależy tylko od rozkładu tej zmieej. Własości fukcji charakterystyczych. 1) Załóżmy, że X jest d-wymiarową zmieą losową. Wówczas ϕ X jest dobrze określoa a całym R d, poadto ϕ X (0) = 1 oraz ϕ X (t) E e i(t,x) = 1 dla wszystkich t R d. Wykład z Rachuku Prawdopodobieństwa II c Osękowski, Uiwersytet Warszawski, 2011.

2.2. Fukcje charakterystycze 15 2) Załóżmy, że X jest d-wymiarową zmieą losową. Wówczas ϕ X jest jedostajie ciągła a R d ; istotie, dla h R d, sup ϕ X (t + h) ϕ X (t) = sup Ee i(t+h,x) Ee i(t,x) t R d t R d sup t R d E e i(t+h,x) e i(t,x) E e i(h,x) 1 0, gdy h 0. 3) Załóżmy, że X jest d-wymiarową zmieą losową. Wówczas ϕ X jest dodatio określoa, tz. dla wszystkich a 1, a 2,..., a C oraz t 1, t 2,..., t R d, ϕ X (t j t k )a j a k 0. j,k Istotie, mamy 2 0 a j e i(t j,x) P X (dx) = a j e i(tj,x) a k e i(tk,x) P X (dx) R d j=1 R d j,k = a j a k e i(tj,x) e i(tk,x) P X (dx) = ϕ X (t j t k )a j a k. j,k R d j,k Powstaje aturale pytaie: kiedy fukcja ϕ : R d C jest fukcją charakterystyczą pewego rozkładu? Odpowiedź jest zawarta w astępującym twierdzeiu. Twierdzeie 2.1 (Bocher). Fukcja ϕ : R d C jest fukcją charakterystyczą pewego rozkładu prawdopodobieństwa w R d wtedy i tylko wtedy, gdy jest ciągła, dodatio określoa oraz ϕ(0) = 1. 4) Załóżmy, że X jest d-wymiarową zmieą losową, A jest macierzą d oraz b R. Wówczas ϕ AX+b (t) = Ee i(t,ax+b) = e i(t,b) Ee i(t,ax) = e i(t,b) Ee i(at t,x) = e i(t,b) ϕ X (A T t). W szczególości, ϕ X (t) = ϕ X ( t) = ϕ X (t). Ozacza to, iż jeśli P X = P X (rozkład zmieej jest symetryczy), to ϕ X jest rzeczywista. 5) Załóżmy, że X jest rzeczywistą zmieą losową taką, że E X k < dla pewej liczby całkowitej dodatiej k. Wówczas ϕ X ma k-tą pochodą ciągłą i W szczególości, ϕ (k) X (0) = ik EX k. Weźmy ajpierw k = 1. Mamy ϕ X (t + h) ϕ X (t) h ϕ (k) X (t) = ik E(e itx X k ). = E ei(t+h)x e itx h ( e = Ee itx ihx ) 1. h Zauważmy, że lim h 0 h 1 (e ihx 1) = ix oraz eitx eihx 1 cos(hx) 1 + si(hx) h h h ( = X si(hx/2) si(hx/2) hx/2 + si(hx) ) 2 X L 1, hx

16 2. Fukcje charakterystycze rozkładów prawdopodobieństwa w R d zatem z twierdzeia Lebesgue a wyika teza. Dla k > 1 dowód jest aalogiczy, opierający się a idukcji. Zachodzi astępujący ogóliejszy fakt: jeśli X = (X 1, X 2,..., X d ) jest d-wymiarową zmieą losową taką, że E X k <, to ϕ X ma ciągłe pochode cząstkowe k-tego rzędu i k t j 1 1 t j 2 2... t j d d ϕ X (t 1, t 2,..., t d ) = i k E(e i(t,x) X j1 6) Jeśli zmiee X 1, X 2,..., X są iezależe, to 1 Xj 2 ϕ X1 +X 2 +...+X (t) = ϕ X1 (t)ϕ X2 (t)... ϕ X (t). Istotie, mamy, iż e i(t,x 1), e i(t,x 2),..., e i(t,x d) są iezależe, skąd 2... Xj d d ). ϕ X1 +X 2 +...+X (t) = E e i(t,xj) = Ee i(t,xj) = ϕ Xj (t). j=1 j=1 j=1 2.3. Przykłady. (I) Załóżmy ajpierw, że X jest d-wymiarową zmieą losową o rozkładzie skokowym i iech S X ozacza zbiór atomów. Bezpośredio z defiicji mamy, iż ϕ X (t) = x S X e i(t,x) P X ({x}). W szczególości: 1) Jeśli P X = δ a, a R d, to ϕ X (t) = e i(t,a). Co więcej, jeśli a = 0, to ϕ X 1. 2) Załóżmy, że P X =Pois(λ), λ > 0. Mamy ϕ X (t) = k=0 itk λk e k! e λ = e λ (e it λ) k k=0 k! = e λ e λeit = e λ(eit 1). 3) P X =B(, p). Niech X 1, X 2,..., X będą iezależymi zmieymi losowymi o tym samym rozkładzie P(X i = 1) = p = 1 P(X i = 0). Poieważ X 1 + X 2 +... + X ma te sam rozkład co X, to ϕ X (t) = ϕ X1 +X 2 +...+X (t) = ϕ X1 (t)ϕ X2 (t)... ϕ X (t) = (ϕ X1 (t)) = (1 + p(e it 1)). (II) Załóżmy teraz, że X jest d-wymiarową zmieą losową o rozkładzie ciągłym z gęstością g. Z defiicji mamy, iż ϕ X (t) = e i(t,x) g(x)dx. R d W szczególości: 4) Jeśli P X jest rozkładem jedostajym a przedziale [a, b], to ϕ X (t) = 1 b e itx dx = b a a 1 it(b a) (eitb e ita ). Jeśli b = a, to ϕ X jest fukcją rzeczywistą i ϕ X (t) = si(tb) tb.

2.3. Przykłady. 17 oraz 5) Jeśli P X = N (m, σ 2 ), m R, σ > 0, to g(x) = 1 ( ) (x m)2 exp 2πσ 2σ 2 ( ) ϕ X (t) = e itm e σ2 t 2 /2 (w szczególości, dla stadardowego rozkładu ormalego, dostajemy ϕ(t) = e t2 /2 ). Istotie, weźmy X jak wyżej. Zmiea (X m)/σ ma stadardowy rozkład ormaly i ϕ X (t) = ϕ σ X m σ +m(t) = ϕ (X m)/σ(σt)e itm. Zatem wystarczy udowodić wzór (*) dla rozkładu N (0, 1). Załóżmy więc, że X ma te rozkład i zauważmy ajpierw, że ϕ X jest fukcją rzeczywistą, gdyż rozkład X jest symetryczy. Zatem 1 ϕ X (t) = cos(tx) e x2 /2 dx 2π oraz ϕ X(t) = R R 1 si(tx) ( x)e x2 /2 dx 2π = 1 si(tx)e x2 /2 1 2π 2π R t cos(tx)e x2 /2 dx = tϕ X (t). Dodatkowo, jak wiemy, ϕ X (0) = 1: stąd ϕ X (t) = e t2 /2. Ogóliej, jeśli X ma d-wymiarowy rozkład ormaly z gęstością deta g(x) = exp ( 1 ) (2π) d/2 2 (A(x m), x m) (gdzie A to pewa macierz d d symetrycza i dodatio określoa, a m jest pewym wektorem z R d ), to ϕ X (t) = e i(m,t) e (A 1 t,t)/2. Dowód tego faktu przeprowadzimy ieco późiej. Przejdziemy teraz do twierdzeia o jedozaczości: okazuje się, że fukcja charakterystycza wyzacza rozkład jedozaczie. Twierdzeie 2.2 (O jedozaczości). Jeśli P, P są rozkładami prawdopodobieństwa w R d takimi, że ϕ P (t) = ϕ P (t) dla wszystkich t R d, to P = P. Zaim podamy dowód, ajpierw sformułujmy wiosek. Stwierdzeie 2.1. Zmiee losowe X 1, X 2,..., X są iezależe wtedy i tylko wtedy, gdy ( ) ϕ (X1, X 2,..., X )(t 1, t 2,..., t ) = ϕ X1 (t 1 )ϕ X2 (t 2 )... ϕ X (t ) dla wszystkich (t 1, t 2,..., t ) R.

18 2. Fukcje charakterystycze rozkładów prawdopodobieństwa w R d Dowód:. Mamy ϕ (X1, X 2,..., X )(t 1, t 2,..., t ) = ϕ P(X1, X 2,..., X) (t 1, t 2,..., t ) = ϕ PX1 P X2... P X (t 1, t 2,..., t ) = exp i t j x j P X1 (dx 1 )... P X (dx ) R j=1 = e it jx j P Xj (dx j ) = ϕ Xj (t j ), j=1 R j=1 gdzie w przedostatim przejściu korzystaliśmy z twierdzeia Fubiiego. Korzystając z przed chwilą udowodioej implikacji, możemy zapisać (*) w postaci ϕ P(X1, X 2,..., X) (t 1, t 2,..., t ) = ϕ PX1 P X2... P X (t 1, t 2,..., t ), a więc twierdzeie o jedozaczości daje czyli iezależość zmieych X 1, X 2,..., X. P (X1, X 2,..., X ) = P X1 P X2... P X, W dowodzie twierdzeia o jedozaczości będziemy potrzebować astępującego pomociczego faktu. Twierdzeie 2.3 (Weierstrass). Załóżmy, że f : R R jest ciągłą fukcją okresową. Wówczas istieje ciąg (w ) wielomiaów trygoometryczych o tym samym okresie co f, zbieży jedostajie do f. (wielomia trygoometryczy o okresie T to fukcja w : R R postaci w(x) = k=0 [α k si(kx 2π/T ) + β k cos(kx 2π/T )].) Dowód twierdzeia o jedozaczości (tylko dla d = 1):. Wystarczy udowodić, że dla dowolej fukcji f C(R) mamy ( ) fdp = fdp. R Z założeia, (*) zachodzi dla fukcji x e itx, x R, przy każdym ustaloym t R. Zatem, z liiowości, powyższa rówość ma miejsce dla dowolego wielomiau trygoometryczego; mamy bowiem si(tx) = (e itx e itx )/(2i), cos(tx) = (e itx + e itx )/2. Na mocy twierdzeia Weierstrassa, (*) jest prawdziwa dla dowolej fukcji ciągłej okresowej. Niech teraz f będzie dowolą fukcją ciągłą i ograiczoą. Istieje ciąg (f ) fukcji ciągłych i okresowych o astępującej własości: f(x) = f (x) dla x [, ] oraz sup x R R f (x) sup f(x). x R Mamy, a mocy ierówości trójkąta, fdp fdp f f dp + f dp f dp + f f dp R R R R R R = f f dp + 0 + f f dp [,] c [,] c 2 sup f(x) [ P ([, ] c ) + P ([, ] c ) ] 0 x R gdy. Stąd otrzymujemy tezę. W przypadku ogólym (tz. dla d > 1) dowód jest bardzo podoby; rolę twierdzeia Weierstrassa pełi ogóliejsze twierdzeie Stoe a-weierstrassa.

2.3. Przykłady. 19 Rozkłady Gaussa (rozkłady ormale) w R d. Załóżmy, że X ma rozkład ormaly w R d, o wartości ozekiwaej m i macierzy kowariacji Λ. Udowodimy, że ϕ X (t) = e i(t,m) (Λt,t)/2. Istotie, iech Y 1, Y 2,..., Y d będą iezależymi zmieymi losowymi o stadarowym rozkładzie ormalym a R i iech Z = BY + m, gdzie B jest macierzą d d i m R d. Mamy ϕ Y (t) = e t 2 /2, ϕ Z (t) = e i(t,m) ϕ Y (B T t) = e i(t,m) (BT t,b T t)/2 = e i(t,m) (BBT t,t)/2. Zauważmy, że BB T jest macierzą symetryczą, ieujemie określoą. Co więcej, każda macierz symetrycza d d ieujemie określoa da się ta zapisać; stąd, dla dowolej ieujemie określoej symetryczej macierzy Λ o wymiarach d d i dowolego wektora m R d, fukcja ϕ(t) = e i(t,m) (Λt,t)/2 jest fukcją charakterystyczą dokładie jedego rozkładu prawdopodobieństwa w R d. Rozkłady tej postaci azywamy rozkładami Gaussa w R d. Zauważmy, że iektóre rozkłady Gaussa ie mają gęstości. Bezpośredio z defiicji dostajemy astępujące wioski. Stwierdzeie 2.2. Załóżmy, że X ma rozkład Gaussa w R d, a A jest macierzą d i m R. Wówczas AX + m ma rozkład Gaussa w R. Stwierdzeie 2.3. Jeśli X, Y są iezależymi zmieymi losowymi o rozkładach Gaussa w R d o wartościach oczekiwaych m X, m Y oraz macierzach kowariacji Λ 1, Λ 2, odpowiedio, to X + Y ma rozkład Gaussa w R d o wartości średiej m X + m Y oraz macierzy Λ 1 + Λ 2. Przechodzimy do kolejego bardzo ważego faktu, łączącego zbieżość według rozkładu ze zbieżością fukcji charakterystyczych. Twierdzeie 2.4 (Lévy - Cramera). Załóżmy, że P ( = 1, 2,...) są rozkładami prawdopodobieństwa w R d. (i) Jeśli P P, to dla każdego t R d, ϕ P (t) ϕ P (t). (ii) Jeśli dla każdego t R d mamy ϕ P (t) ϕ(t), gdzie ϕ-pewa fukcja ciągła w 0, to ϕ = ϕ P dla pewego rozkładu P i P P. Dowód:. (i) Z defiicji zbieżości według rozkładu mamy, dla dowolego t R d, ϕ P (t) = cos(x, t)p (dx) + i si(t, x)p (dx) R d R d cos(x, t)p (dx) + i si(t, x)p (dx) = e i(t,x) (dx) = ϕ P (t). R d R d R d (ii) Zaczijmy od pomociczego faktu. Lemat 2.1. Jeśli ϕ P (t) ϕ(t) dla t ależących do pewego otoczeia 0 i ϕ jest ciągła w 0, to rodzia {P } jest ciasa.

20 2. Fukcje charakterystycze rozkładów prawdopodobieństwa w R d Dowód lematu:. Wprowadźmy ozaczeie Q a = [ a, a] [ a, a]... [ a, a] R d. Przypuśćmy, wbrew tezie, że rodzia {P } ie jest ciasa. Wówczas istieje ε > 0 o tej własości, iż przy każdym k N mamy P k (Q k ) < 1 ε dla pewego k. Zauważmy, iż k ; istotie, w przeciwym razie pewa liczba m zalazłaby się w ciągu ( k ) k ieskończeie wiele razy, co prowadziłoby do ierówości P m (R d ) 1 ε; sprzeczość. Poieważ ϕ jest ciągła w 0, to Reϕ także ma tę własość; poadto, a mocy zbieżości puktowej, Reϕ(0) = ϕ(0) = 1. Wobec tego istieje takie a > 0, że dla każdego t Q a mamy ϕ P (t) ϕ(t) oraz Reϕ(t) > 1 ε/2. Dalej, gdzie ϕ Pk (t)dt = Q a T = Q c k ϕ(t)dt Reϕ(t)dt (1 ε/2)(2a) Q a Q d, a Q a Q k e i(t,x) P k (dx)dt = e R R i(t,x) dtp k (dx) d d Q a e i(t,x) dt P k (dx) + e i(t,x) dt P k (dx) Q a Q a (2a) d P k (Q k ) + T, e i(t,x) dt P k (dx) = Q a Q c k Q c k d a e it jx j dt j P k (dx). j=1 a Ustalmy teraz x Q c k. Istieje współrzęda x l puktu x większa co do modułu iż k, zatem Stąd d a j=1 a e it jx j dt j (2a) d 1 e ia lx l e ia lx l ix l 2(2a)a 1 /k. (2a) d P k (Q k ) + T (2a) d P k (Q k ) + 2(2a) d 1 P k (Q c k)/k (2a) d (1 ε) + 2(2a) d 1 /k k (2a) d (1 ε). Ale a mocy twierdzeia Lebesgue a, Q a ϕ Pk (t)dt Q a ϕ(t)dt; stąd sprzeczość: (2a) d (1 ε/2) < (2a) a (1 ε). Przechodzimy do dowodu części (ii) twierdzeia Levy-Cramera. Powyższy lemat oraz twierdzeie Prochorowa dają istieie miary probabilistyczej P a R d oraz podciągu (P k ) k zbieżego słabo do P. Na mocy części (i) twierdzeia Levy-Cramera, mamy ϕ Pk (t) k ϕ P (t), skąd ϕ(t) = ϕ P (t). Pozostaje jeszcze tylko udowodić, że P P. Przypuśćmy przeciwie, iż dla pewej fukcji f C(R d ) mamy R d fdp R d fdp ; stąd, dla pewego podciągu (m k ), ( ) fdp mk α fdp. R d R d Ale a mocy lematu, rodzia (P mk ) także jest ciasa, stąd z twierdzeia Prochorowa istieje podciąg (m kj ) oraz miara probabilistycza P taka, że P mkj P. Zatem, korzystając z (i), ϕ Pmkj (t) ϕ P (t), czyli ϕ P = ϕ P. Sprzeczość z (*) kończy dowód. Na zakończeie zaprezetujemy twierdzeie o odwróceiu, pozwalające odczytać gęstość rozkładu za pomocą jego fukcji charakterystyczej. Aalogiczy fakt dla zmieych dyskretych jest treścią zadaia 10 poiżej.

2.4. Zadaia 21 Twierdzeie 2.5. Załóżmy, że P jest rozkładem prawdopodobieństwa w R d o fukcji charakterystyczej ϕ P. Wówczas jeśli R d ϕ P (t) dt <, to P ma ciągłą ograiczoą gęstość g daą wzorem g(x) = 1 (2π) d e i(t,x) ϕ P (t)dt. R d Dowód:. Rozważmy fukcję g ε (x) = 1 (2π) d = 1 (2π) d e i(t,x) ϕ P (t)e t 2ε2 /2 dt R d e i(t,y) P (dy)e t 2ε2 /2 dt R d 1 Rd ε d = (2π) d/2 ε d (2π) d/2 e i(t,y x) e t 2ε2 /2 dtp (dy) R d 1 = (2π) d/2 ε d e y x 2 /(2ε2) P (dy), R d R d e i(t,x) gdzie w trzecim przejściu skorzystaliśmy z twierdzeia Fubiiego (dzięki czyikowi e t 2 ε 2 /2 wyrażeie podcałkowe jest całkowale), a w czwartym użyliśmy faktu, iż wewętrza całka to fukcja charakterystycza rozkładu N(0, ε 2 ) w pukcie y x. Jak widać, ostatie wyrażeie to splot rozkładu P z rozkładem N(0, ε 2 ), w pukcie x; iymi słowy, jeśli X, Y są iezależymi zmieymi o rozkładach P i N(0, 1), odpowiedio, to X + εy ma rozkład z gęstością g ε. Na mocy całkowalości fukcji charakterystyczej i twierdzeia Lebesgue a, mamy g ε (x) g(x) dla każdego x R. Wykażemy teraz, że R d g = 1. Oczywiście, a mocy lematu Fatou, R d g 1. By udowodić ierówość przeciwą, weźmy δ > 0 oraz taką liczbę M > 0, by P (( M, M)) > 1 δ. Poieważ X + εy X P, to 1 δ lim if ε 0+ P(X + εy ( M, M)) = lim if ε 0+ M M g ε (x)dx = M M g(x)dx, i z dowolości δ dostajemy, iż g jest gęstością. Wystarczy teraz skorzystać z zadaia 7 z pierwszego rozdziału: puktowa zbieżość g ε g pociąga za sobą, iż (X +εy ) ε zbiega, przy ε 0+, do rozkładu o gęstości g; stąd teza. 2.4. Zadaia 1. Rozstrzygąć, czy podae iżej fukcje są fukcjami charakterystyczymi i jeśli tak, podać odpowiedi rozkład. a) cos t, b) cos 2 t, c) 1 4 (1 + eit ) 2, d) 1 + cos t, e) (2 e it ) 1. 2 2. Niech φ 1, φ 2,..., φ będą fukcjami charakterystyczymi pewych rozkładów. Udowodić, iż dowola kombiacja wypukła tych fukcji jest fukcją charakterystyczą pewego rozkładu. 3. Day jest ciąg (X ) iezależych zmieych losowych o tym samym rozkładzie. Zmiea losowa N jest od ich iezależa i ma rozkład Poissoa z parametrem λ. Wyzaczyć fukcję

22 2. Fukcje charakterystycze rozkładów prawdopodobieństwa w R d charakterystyczą zmieej X 1 + X 2 +... + X N. 4. Niech φ będzie fukcją charakterystyczą pewego rozkładu. Rostrzygąć, czy są fukcjami charakterystyczymi. a) φ 2, b) Reφ, c) φ 2, d) φ 5. Zmiee X, Y są iezależe, przy czym X oraz X + Y mają rozkłady ormale. Udowodić, że Y ma rozkład ormaly lub jest stała p... 6. Zmiee losowe X, Y są iezależe, przy czym X ma rozkład jedostajy U(0, 1), a Y ma rozkład zaday przez Wyzaczyć rozkład zmieej X + Y. P(Y = k) = 1, k = 0, 1, 2,..., 1. 7. Zmiee losowe X 1, X 2,..., X są iezależe i mają te sam rozkład, przy czym zmiea X 1 + X 2 +... + X ma rozkład ormaly N (0, 1). Wyzaczyć rozkład zmieych X i. 8. Zmiea losowa X ma rozkład jedostajy U( 1, 1). Czy istieje iezależa od iej zmiea Y taka, że rozkłady zmieych X + Y oraz 1 2Y są takie same? 9. Fukcja charakterystycza zmieej losowej X ma drugą pochodą w zerze. Udowodić, że EX 2 <. 10. Zmiea losowa X przyjmuje wartości całkowite. Udowodić, że P(X = k) = 1 π e ikt φ X (t)dt, k Z. 2π π 11. Udowodić, że dla p > 2 fukcja φ(t) = e t p ie jest fukcją charakterystyczą żadego rozkładu. 12. Udowodić, że φ(t) = e t jest fukcją charakterystyczą rozkładu Cauchy ego w R, tz. rozkładu o gęstości g(x) = 1 1 π 1 + x 2. 13. Niech X 1, X 2,... będą iezależymi zmieymi losowymi o rozkładzie jedostajym a przedziale [ 1, 1]. Zdefiiujmy Y = sg X, = 1, 2,..., X 1/α gdzie α (0, 2) jest ustaloe. Udowodić, że ciąg Y 1 + Y 2 +... + Y 1/α jest zbieży według rozkładu i wyzaczyć fukcję charakterystyczą rozkładu graiczego.

2.4. Zadaia 23 14. Udowodić, że jeśli P ( = 1, 2,...) są rozkładami Gaussa w R d i P P, to P jest rozkładem Gaussa. 15. Rzucamy moetą, dla której prawdopodobieństwo wypadięcia orła wyosi p, aż do mometu, gdy uzyskamy orłów (łączie, iekoieczie pod rząd). Niech X p ozacza liczbę rzutów. Udowodić, że (2pX p ) jest zbieży według rozkładu gdy p 0. 16. Niech X będzie zmieą losową o fukcji charakterystyczej ϕ X. Udowodić, że astępujące waruki są rówoważe. (i) Istieje a 0 takie, że ϕ X (a) = 1. (ii) Istieją b, c R takie, że zmiea X jest skocetrowaa a zbiorze {ck + b : k Z}. 17. Day jest ciąg (X ) iezależych zmieych losowych o tym samym rozkładzie, zadaym przez P(X = 0) = P(X = 1) = 1/2. Wykazać, że szereg =1 2 X jest zbieży p.. i wyzaczyć rozkład sumy tego szeregu. 18. Dla a R, iech ϕ a (t) = { 1 + a x jeśli x 1, 1 + a jeśli x > 1. Dla jakich wartości parametru a fukcja ϕ a jest fukcją charakterystyczą rozkładu pewej zmieej losowej? 19. Załóżmy, że µ jest rozkładem prawdopodobieństwa o fukcji charakterystyczej ϕ. Udowodić, że dla dowolego r > 0 zachodzi ierówość oraz µ([ r, r]) 1 r 2 2/r 2/r (1 ϕ(s))ds π/2r µ([0, r]) r ϕ(s) ds. π/2r

3. Cetrale Twierdzeie Graicze Cetrale twierdzeie graicze dotyczy zachowaia się rozkładu sum iezależych zmieych losowych, przy odpowiediej ormalizacji i pewych dodatkowych założeiach. Ituicyjie, suma dużej liczby małych, iezależych zmieych losowych ma rozkład ormaly. Główy wyik iiejszego rozdziału jest astępujący. Twierdzeie 3.1 (Lideberg). Załóżmy, że dla każdego, zmiee X 1, X 2,..., X r są iezależymi zmieymi losowymi o średiej 0, takimi, że r EXk 2 k=1 1. Dodatkowo, załóżmy, że jest spełioy waruek Lideberga (L) r EXk1 2 { Xk >ε} k=1 0 dla każdego ε > 0. Wówczas X 1 + X 2 +... + X r N (0, 1). Powstaje tu aturale pytaie, co tak aprawdę mówi waruek Lideberga. Ituicyjie rzecz biorąc, ozacza o, iż przy zbiegającym do ieskończoości, zmiee X 1, X 2,..., X r są rówie małe. Iymi słowy, w -tym wierszu ie ma zmieych losowych, które byłyby domiujące w stosuku do pozostałych. Ściślej, mamy astępujące dwie własości. Wioski z waruku Lideberga 1. Mamy max k r X k P 0. Istotie, dla każdego ε > 0, ( r ) r P(max X k > ε) = P { X k > ε} P( X k > ε) k r k=1 k=1 r ε 2 EX 2 k1 { Xk >ε} 0. k=1 2. Mamy max k r EXk 2 0. Rzeczywiście, dla dowolego ε > 0, EX 2 k = EX 2 k1 { Xk >ε} + EX 2 k1 { Xk ε} o ile jest dostateczie duże. Sformułujmy teraz ieco ią wersję CTG. r l=1 EX 2 l1 { Xl >ε} + ε 2 2ε 2, Wykład z Rachuku Prawdopodobieństwa II c Osękowski, Uiwersytet Warszawski, 2011.

25 Twierdzeie 3.2. Załóżmy, że X 1, X 2,..., są iezależymi zmieymi losowymi całkowalymi z kwadratem, m := EX, σ 2 =VarX, b 2 = k=1 σ 2. Jeśli jest spełioy waruek Lideberga (L) to b 2 E X k m k 2 1 { Xk m k >εb } 0, k=1 X 1 + X 2 +... + X m 1 m 2... m b N (0, 1). Dowód. Wyika to bezpośredio z twierdzeia Lideberga, przy r =, X k = (X k m k )/b. Powstaje aturale pytaie: kiedy waruek Lideberga jest spełioy? Podamy tu kilka własości wymuszających te waruek. Stwierdzeie 3.1. Załóżmy, że X 1, X 2,... są iezależe i mają te sam rozkład o dodatiej wariacji. Ozaczmy m = EX 1, σ 2 =VarX 1. Wówczas waruek Lideberga jest spełioy i X 1 + X 2 +... + X m σ N (0, 1). Dowód:. Wystarczy sprawdzić waruek Lideberga. Mamy 1 σ 2 E X m 2 1 { X m >εσ } = 1 σ 2 E X 1 m 2 1 { X1 m >εσ } 0, k=1 a mocy twierdzeia Lebesgue a. Sprawdzeie dwóch poiższych waruków pozostawiamy jako ćwiczeie. Stwierdzeie 3.2. Załóżmy, że X 1, X 2,... są wspólie ograiczoymi iezależymi zmieymi losowymi spełiającymi waruek k=1 VarX k. Wówczas spełioy jest waruek Lideberga. Stwierdzeie 3.3 (Lapuow). Załóżmy, że dla każdego, X 1, X 2,..., X r są iezależymi, scetrowaymi zmieymi losowymi spełiającymi waruki oraz r k=1 E X k 2+δ r EXk 2 k=1 Wówczas jest spełioy waruek Lideberga. 1 Przechodzimy do dowodu twierdzeia Lideberga. 0 dla pewego δ > 0. Lemat 3.1. Załóżmy, że a 1, a 2,..., a, b 1, b 2,..., b są liczbami zespoloymi, z których każda ma moduł iewiększy iż 1. Wówczas a 1 a 2... a b 1 b 2... b a k b k. k=1

26 3. Cetrale Twierdzeie Graicze Dowód:. Stosujemy idukcję. Dla = 1 ierówość jest oczywista. Dalej, załóżmy, że jest oa prawdziwa dla pewego spróbujmy ją udowodić dla + 1. Ozaczając a = a 1 a 2... a, b = b 1 b 2... b, mamy co kończy dowód. a 1 a 2... a +1 b 1 b 2... b +1 = aa +1 bb +1 aa +1 ab +1 + ab +1 bb +1 = a a +1 b +1 + b +1 a b +1 k=1 a k b k, Lemat 3.2. Dla dowolego y R oraz k = 0, 1, 2,... mamy ( ) eiy 1 + iy + (iy)2 +... + (iy)k 2! k! y k+1 (k + 1)!. Dowód:. Stosujemy idukcję. Dla k = 0 mamy e iy y 1 = i e ix dx y. Dalej, załóżmy, że ierówość zachodzi dla pewego k. Wówczas ( ) eiy 1 + iy + (iy)2 +... + (iy)k+1 2! (k + 1)! ( y = i e ix 1 + ix + (ix)2 +... + (ix)k 0 2! k! ( y eix 1 + ix + (ix)2 +... + (ix)k 2! k! Dowód jest zakończoy. 0 y 0 x k+1 y k+2 dx = (k + 1)! (k + 2)!. 0 ) dx ) dx Dowód twierdzeia Lideberga:. Ozaczmy σ k = (EXk 2 )1/2, k = 1, 2,..., r, = 1, 2,.... Na mocy twierdzeia Levy-Cramera wystarczy udowodić, że dla każdego t R, ϕ X1 +X 2 +...+X r (t) e t2 /2. Ustalmy więc t R. Mamy A := ϕ X1 +X 2 +...+X r (t) e t2 /2 r r = ϕ Xk (t) e σ2 k t2 /2 k=1 k=1 + e t2 r k=1 σ2 k /2 e t2 /2 }{{} D. Stosujemy teraz pierwszy z powyższych lematów oraz fakt, iż e x = 1 x + r(x), gdzie r(x)/x x 0 0. W kosekwecji, r A ϕ X k 1 + σ2 k t2 r + r(t 2 σ 2 k/2) 2 +D. k=1 k=1 }{{}}{{} B C

Wystarczy wykazać, że (B ), (C ), (D ) dążą do 0. Zbieżość ciągu (D ) do 0 jest oczywista a mocy waruku r k=1 σk 2 1. Zajmijmy się teraz ciągiem (C ). Ustalmy ε > 0. Istieje δ > 0 taka,że jeśli x < δ, to r(x)/x < ε. Jak już wiemy, waruek Lideberga pociąga za sobą, iż dla dostateczie dużych, max k r t 2 σk 2 /2 < δ, a co za tym idzie, C = r k=1 r(t 2 σ 2 k /2) t 2 σ 2 k /2 t2 σk/2 2 < t2 ε r 2 k=1 σ 2 k t2 ε 2, a więc ciąg (C ) zbiega do 0. Wreszcie, dla ustaloego ε > 0, korzystając z drugiego z powyższych lematów (z k = 2 oraz z k = 3), ϕ X k 1 + σ2 k t2 E(e 2 = itx k 1 itx k + t 2 Xk/2) 2 E e itx k 1 itx k + t 2 Xk/2 2 1 { Xk ε} + E e itx k 1 itx k + t 2 Xk/2 2 1 { Xk >ε} E X kt 3 1 6 { Xk ε} + E e itx k 1 itx k 1{ Xk >ε} + E t2 Xk 2 1 2 { Xk >ε} t 3 ε 6 σ2 k + 2E t2 Xk 2 1 2 { Xk >ε}. 27 Zatem B t 3 r r 6 ε σk 2 + t 2 k=1 k=1 EX 2 k1 { Xk >ε} 2 t 3 6 ε + ε dla dostateczie dużych. Stąd teza. Jako wiosek, otrzymujemy Twierdzeie 3.3 (de Moivre a-laplace a). Załóżmy, że ξ ma rozkład Beroulliego z parametrami, p. Wówczas ξ p p(1 p) N (0, 1). Dowód:. Niech X 1, X 2,... będą iezależymi zmieymi losowymi o tym samym rozkładzie dwupuktowym P(X = 0) = 1 p, P(X = 1) = p. Mamy ξ p p(1 p) X 1 + X 2 +... + X p p(1 p) i wystarczy skorzystać z odpowiediej wersji CTG. Sformułujmy teraz uogólieie twierdzeia Lideberga. Dowodzi się je w sposób aalogiczy.

28 3. Cetrale Twierdzeie Graicze Twierdzeie 3.4. Załóżmy, że dla każdego zmiee X 1, X 2,..., X r są iezależe i całkowale z kwadratem. Ozaczmy m k := EX k i przypuśćmy, że oraz r EX k k=1 m, r k=1 VarX k σ 2 (L) r k=1 E(X k m k ) 2 1 { Xk m k >ε} 0. Wówczas X 1 + X 2 +... + X r N (m, σ 2 ). Cetrale twierdzeie graicze pozwala badać zachowaie dystrybuat sum iezależych zmieych losowych. Istotie, zbieżość X 1 + X 2 +... + X (m 1 + m 2 +... + m ) b N (0, 1) jest rówoważa zbieżości puktowej dystrybuat: ( ) X1 + X 2 +... + X (m 1 + m 2 +... + m ) P x Φ(x) b = 1 x e y2 /2 dy. 2π Co więcej, zbieżość jest jedostaja względem x R (por. zadaie 9 z rozdziału o słabej zbieżości). Zatem dla każdego ε > 0 istieje umer 0 taki, że dla 0, sup P(X 1 + X 2 +... + X xb + (m 1 + m 2 +... + m )) Φ(x) < ε, x R czyli ( ) sup y P(X m1 m 2... m 1 + X 2 +... + X y) Φ < ε. y R b Powstaje aturale pytaie w jaki sposób wyzaczać 0 w zależości od ε; iymi słowy, w jaki sposób szacować błąd związay z przybliżeiem dysrtybuaty sumy przez dystrybuatę stadardowego rozkładu ormalego.

3.1. Zadaia 29 Twierdzeie 3.5 (Nierówość Berry-Essea). Załóżmy, że X 1, X 2,..., są iezależymi scetrowaymi zmieymi losowymi o tym samym rozkładzie i iech σ 2 =VarX > 0, ρ := E X 3 <. Wówczas ( sup P X1 + X 2 +... + X σ x R ) x Φ(x) cρ σ 3, gdzie jako c moża wziąć 0, 7655 (optymala - czyli ajmiejsza możliwa - wartość c ie jest zaa). W szczególości, przy założeiach twierdzeia de Moivre a-laplace a, ( ) sup P ξ p x Φ(x) p(1 p) + (1 p) 2 cp2. p(1 p) x R Jest to iezwykle użyteczy rezultat z puktu widzeia kokretych zastosowań: w sposób jawy określa o tempo zbieżości. 3.1. Zadaia 1. Sumujemy 10 000 liczb, każdą zaokrągloą z dokładością do 10 m. Przypuśćmy, że błędy spowodowae przez zaokrągleia są iezależymi zmieymi losowymi o rozkładzie jedostajym a przedziale ( 10 m /2, 10 m /2). Zaleźć przedział (możliwie krótki), do którego z prawdopodobieństwem 0, 95 będzie ależał błąd całkowity (tz. po zsumowaiu). 2. Obliczyć lim e k=0 k k!. 3. Udowodić Stwierdzeie 10 oraz Stwierdzeie 11. 4. Day jest ciąg (X ) iezależych zmieych losowych, przy czym dla 1, P(X = 1) = P(X = 1) = 1 (1 1 ) 2 2, P(X = ) = P(X = ) = 1 2 2. Udowodić, że X 1 + X 2 +... + X N (0, 1), mimo iż lim VarX = 2. 5. Zmiee losowe X 1, X 2,... są iezależe, przy czym dla 1, P(X = ) = P(X = ) = 1/2. Niech s 2 = k=1 VarX k. Czy ciąg zmieych losowych X 1 + X 2 +... + X s jest zbieży wedlug rozkładu, a jeśli tak, to do jakiej graicy? 6. Załóżmy, że X jest zmieą losową spełiającą waruki

30 3. Cetrale Twierdzeie Graicze (i) EX 2 <, (ii) Jeśli Y, Z są iezależe i mają te sam rozkład co X, to X (Y + Z)/ 2. Wykazać, że X ma rozkład Gaussa o średiej 0. 7. Rzucoo 900 razy kostką. Sumujemy oddzielie parzyste liczby oczek i ieparzyste liczby oczek. Jakie jest przybliżoe prawdopodobieństwo tego, że suma parzystych liczb oczek będzie o co ajmiej 500 większa od sumy ieparzystych liczb oczek? 8. Liczba studetów przyjętych a pierwszy rok jest zmieą losową o rozkładzie Poissoa z parametrem 100. Jeśli ta liczba przekroczy 120, tworzy się 2 grupy wykładowe. Obliczyć przybliżoe prawdopodobieństwo (korzystając z CTG), że ie trzeba będzie tworzyć dwóch grup. 9. Dae są dwa ciągi (X ), (Y ) iezależych zmieych losowych, przy czym zmiee (X ) mają te sam rozkład wykładiczy z parametrem 1, a (Y ) mają rozkład Poissoa z parametrem 1. Zbadać zbieżość według rozkładu ciągu (X 1 + X 2 +... + X ) 2 (Y 1 + Y 2 +... + Y ) 2.

4. Warukowa wartość oczekiwaa Warukowa wartość oczekiwaa jest jedym z kluczowych pojęć w teorii prawdopodobieństwa. Zaczijmy od sytuacji gdy warukujemy względem zdarzeia. Defiicja 4.1. Załóżmy, że (Ω, F, P) jest przestrzeią probabilistyczą oraz B jest zdarzeiem o dodatim prawdopodobieństwie. Niech X będzie całkowalą zmieą losową. Warukową wartością oczekiwaą X pod warukiem B azywamy liczbę E(X B) = X(ω)P(dω B). Stwierdzeie 4.1. Przy założeiach jak wyżej, ( ) E(X B) = 1 P(B) Ω B XdP. Dowód:. Stosujemy stadardową metodę komplikacji zmieej X. 1. Załóżmy ajpierw, że X = 1 A, gdzie A F. Wówczas P(A B) E(X B) = P(A B) = = 1 1 A dp. P(B) P(B) 2. Z liiowości, dowodzoa rówość zachodzi także dla zmieych prostych (kombiacji liiowych idykatorów zdarzeń). 3. Teraz jeśli X jest ieujemą zmieą losową, to bierzemy iemalejący ciąg (X ) zmieych prostych zbieży prawie a pewo do X. Pisząc (*) dla X i zbiegając z dostajemy (*) dla X, a mocy twierdzeia Lebesgue a o mootoiczym przejściu do graicy pod zakiem całki. 4. Jeśli X jest dowolą zmieą losową, to rozważamy rozbicie X = X + X i stosujemy (*) dla X + oraz X ; po odjęciu stroami dostajemy (*) dla X. Przechodzimy do defiicji warukowej wartości oczekiwaej względem σ-ciała. Defiicja 4.2. Załóżmy, że (Ω, F, P) jest przestrzeią probabilistyczą, M jest pod-σ-ciałem F, a X jest całkowalą zmieą losową. Warukową wartością oczekiwaą X pod warukiem M azywamy taką zmieą losową η, że są spełioe astępujące dwa waruki. 1) η jest mierzala względem M. 2) Dla każdego B M, ηdp = XdP. B Ozaczeie: E(X M). W szczególości gdy X = 1 A, A F, to defiiujemy prawdopodobieństwo warukowe zdarzeia A pod warukiem M poprzez P(A M) = E(1 A M). B B Twierdzeie 4.1. Załóżmy, że X jest całkowalą zmieą losową, a M jest pod-σ-ciałem F. Wówczas warukowa wartość oczekiwaa istieje i jest wyzaczoa jedozaczie z dokładością do rówości p.. Wykład z Rachuku Prawdopodobieństwa II c Osękowski, Uiwersytet Warszawski, 2011.