, centralne twierdzenia graniczne Katedra matematyki i ekonomii matematycznej 17 maja 2012, centralne twierdzenia graniczne
Rodzaje zbieżności ciągów zmiennych losowych, centralne twierdzenia graniczne
Niech X, X n (n = 1, 2,...) będą zmiennymi losowymi określonymi na przestrzeni probabilistycznej (Ω, M, P). Omówimy rodzaje zbieżności ciągu (X n ) do zmiennej losowej X., centralne twierdzenia graniczne
Niech X, X n (n = 1, 2,...) będą zmiennymi losowymi określonymi na przestrzeni probabilistycznej (Ω, M, P). Omówimy rodzaje zbieżności ciągu (X n ) do zmiennej losowej X. Definicja Mówimy, że ciąg zmiennych losowych (X n ) jest zbieżny według prawdopodobieństwa (lub stochastycznie) do zmiennej losowej X wtedy i tylko wtedy, gdy lim P ({ω Ω : X n(ω) X (ω) ε}) = 0 n dla każdego ε > 0. Zbieżność stochastyczną oznaczamy przez X n p X., centralne twierdzenia graniczne
Definicja Mówimy, że ciąg zmiennych losowych (X n ) jest zbieżny z prawdopodobieństwem 1 (lub prawie na pewno) do zmiennej losowej X wtedy i tylko wtedy, gdy ({ }) P ω Ω : lim X n(ω) = X (ω) = 1. n Piszemy wówczas X n X., centralne twierdzenia graniczne
Definicja Mówimy, że ciąg zmiennych losowych (X n ) jest zbieżny z prawdopodobieństwem 1 (lub prawie na pewno) do zmiennej losowej X wtedy i tylko wtedy, gdy ({ }) P ω Ω : lim X n(ω) = X (ω) = 1. n Piszemy wówczas X n X. Twierdzenie Jeśli ciąg (X n ) jest zbieżny z prawdopodobieństwem 1 do zmiennej losowej X, to ciąg (X n ) jest zbieżny według prawdopodobieństwa do zmiennej losowej X., centralne twierdzenia graniczne
Twierdzenie odwrotne do powyższego twierdzenia jest fałszywe, świadczy o tym następujący przykład. Przykład Niech (Ω, M, P) będzie przestrzenią probabilistyczną, gdzie Ω = (0, 1, M jest rodziną zbiorów borelowskich na przedziale (0, 1, P jest prawdopodobieństwem określonym wzorem P(A) = A. Określamy ciąg (A n ) podzbiorów zbioru Ω taki, że ( ( ( ( A 1 = 0, 1 2, A 2 = 1 2, 1, A 3 = 0, 1 4, A 4 = 1 4 4, 2, ( ( A 5 = 2 4 4, 3, A 6 = 3 4, 1, ( ( A 7 = 0, 1 8, A 8 = 1 8 8, 2,... itd., centralne twierdzenia graniczne
Przykład (cd) Dla dowolnej liczby naturalnej n przyjmujemy X n (ω) = { 1 dla ω An, 0 dla ω / A n. Łatwo można sprawdzić, że dla dowolnej liczby ε > 0 spełniony jest warunek lim P ({ω (0, 1 : X n(ω) ε}) = 0. n, centralne twierdzenia graniczne
Przykład (cd) Istotnie, jeśli ε > 1, to dla każdego n N. Dla 0 < ε 1 mamy natomiast P ({ω (0, 1 : X n (ω) ε}) = 0 P ({ω (0, 1 : X n (ω) ε}) = A n 0, gdy n. Oznacza to, że ciąg (X n ) jest zbieżny według prawdopodobieństwa do zmiennej losowej X 0 (tzn. do zmiennej losowej X o rozkładzie jednopunktowym skoncentrowanym w punkcie 0). Z drugiej strony, dla dowolnego ustalonego ω 0 (0, 1 ciąg liczbowy (X n (ω 0 )) zawiera dwa podciągi, jeden o wyrazach równych 0, drugi o wyrazach równych 1. Wynika stąd, że ciąg funkcyjny (X n ) nie jest zbieżny punktowo do żadnej granicy., centralne twierdzenia graniczne
Załóżmy, że zmienne X n (n = 1, 2,...), X mają skończone momenty drugiego rzędu., centralne twierdzenia graniczne
Załóżmy, że zmienne X n (n = 1, 2,...), X mają skończone momenty drugiego rzędu. Definicja Mówimy, że ciąg zmiennych losowych (X n ) jest zbieżny przeciętnie z kwadratem (lub średnio kwadratowo) do zmiennej losowej X wtedy i tylko wtedy, gdy lim n E(X n X ) 2 = 0. Piszemy wówczas l.i.m. n X n = X., centralne twierdzenia graniczne
Załóżmy, że zmienne X n (n = 1, 2,...), X mają skończone momenty drugiego rzędu. Definicja Mówimy, że ciąg zmiennych losowych (X n ) jest zbieżny przeciętnie z kwadratem (lub średnio kwadratowo) do zmiennej losowej X wtedy i tylko wtedy, gdy lim n E(X n X ) 2 = 0. Piszemy wówczas l.i.m. n X n = X. Twierdzenie Jeśli ciąg (X n ) jest zbieżny przeciętnie z kwadratem do zmiennej losowej X, to ciąg (X n ) jest zbieżny według prawdopodobieństwa do zmiennej losowej X., centralne twierdzenia graniczne
Obok zbieżności ciągów zmiennych losowych możemy również rozpatrywać zbieżność rozkładów prawdopodobieństwa tych zmiennych. Ponieważ rozkład prawdopodobieństwa jest jednoznacznie wyznaczony przez dystrybuantę, więc pojęcie zbieżności rozkładów sformułujemy przy pomocy pojęcia zbieżności ciągów dystrybuant., centralne twierdzenia graniczne
Obok zbieżności ciągów zmiennych losowych możemy również rozpatrywać zbieżność rozkładów prawdopodobieństwa tych zmiennych. Ponieważ rozkład prawdopodobieństwa jest jednoznacznie wyznaczony przez dystrybuantę, więc pojęcie zbieżności rozkładów sformułujemy przy pomocy pojęcia zbieżności ciągów dystrybuant. Definicja Mówimy, że ciąg dystrybuant (F n ) jest zbieżny podstawowo do dystrybuanty F wtedy i tylko wtedy, gdy w każdym punkcie x R ciągłości dystrybuanty F spełniony jest warunek lim n F n(x) = F (x). O ciągu (P n ) rozkładów o dystrybuantach F n mówimy wtedy, że jest słabo zbieżny do rozkładu P o dystrybuancie F., centralne twierdzenia graniczne
Twierdzenie Jeśli ciąg (X n ) zmiennych losowych jest zbieżny według prawdopodobieństwa do zmiennej losowej X, to ciąg (F n ) dystrybuant tych zmiennych jest zbieżny podstawowo do dystrybuanty zmiennej losowej X., centralne twierdzenia graniczne
Twierdzenie Jeśli ciąg (X n ) zmiennych losowych jest zbieżny według prawdopodobieństwa do zmiennej losowej X, to ciąg (F n ) dystrybuant tych zmiennych jest zbieżny podstawowo do dystrybuanty zmiennej losowej X. Twierdzenie odwrotne do powyższego twierdzenia jest prawdziwe tylko w szczególnym przypadku, gdy zmienna X ma rozkład jednopunktowy., centralne twierdzenia graniczne
, centralne twierdzenia graniczne
Niech (X n ) będzie ciągiem zmiennych losowych określonych na przestrzeni probabilistycznej (Ω, M, P) o skończonych wartościach oczekiwanych. Przyjmijmy następujące oznaczenia: m k = EX k dla k = 1, 2,..., S n = X 1 + X 2 +... + X n, M n = m 1 + m 2 +... + m n dla n = 1, 2,..., centralne twierdzenia graniczne
Niech (X n ) będzie ciągiem zmiennych losowych określonych na przestrzeni probabilistycznej (Ω, M, P) o skończonych wartościach oczekiwanych. Przyjmijmy następujące oznaczenia: m k = EX k dla k = 1, 2,..., S n = X 1 + X 2 +... + X n, M n = m 1 + m 2 +... + m n dla n = 1, 2,... Definicja Mówimy, że ciąg (X n ) spełnia słabe prawo wielkich liczb wtedy i tylko wtedy, gdy 1 n (S n M n ) p 0., centralne twierdzenia graniczne
Niech (X n ) będzie ciągiem zmiennych losowych określonych na przestrzeni probabilistycznej (Ω, M, P) o skończonych wartościach oczekiwanych. Przyjmijmy następujące oznaczenia: m k = EX k dla k = 1, 2,..., S n = X 1 + X 2 +... + X n, M n = m 1 + m 2 +... + m n dla n = 1, 2,... Definicja Mówimy, że ciąg (X n ) spełnia słabe prawo wielkich liczb wtedy i tylko wtedy, gdy 1 n (S n M n ) p 0. Definicja Mówimy, że ciąg (X n ) spełnia mocne prawo wielkich liczb wtedy i tylko wtedy, gdy 1 n (S n M n ) 0., centralne twierdzenia graniczne
Podamy warunki dostateczne na to, aby ciąg (X n ) spełniał prawo wielkich liczb., centralne twierdzenia graniczne
Podamy warunki dostateczne na to, aby ciąg (X n ) spełniał prawo wielkich liczb. Definicja Ciąg (X n ) nazywamy ciągiem niezależnych zmiennych losowych wtedy i tylko, gdy dla każdego k N zmienne X 1, X 2,..., X k są niezależne., centralne twierdzenia graniczne
Podamy warunki dostateczne na to, aby ciąg (X n ) spełniał prawo wielkich liczb. Definicja Ciąg (X n ) nazywamy ciągiem niezależnych zmiennych losowych wtedy i tylko, gdy dla każdego k N zmienne X 1, X 2,..., X k są niezależne. Definicja Mówimy, że ciąg (X n ) spełnia warunek Markowa wtedy i tylko wtedy, gdy σ1 lim 2+σ2 2 +...+σ2 n = 0, n n 2 gdzie σ 2 n = D 2 X n dla n N., centralne twierdzenia graniczne
Twierdzenie (prawo wielkich liczb Markowa) Niech (X n ) będzie ciągiem niezależnych zmiennych losowych mających skończone wariancje σ 2 n = D 2 X n. Jeśli ciąg (X n ) spełnia warunek Markowa, to ciąg (X n ) spełnia słabe prawo wielkich liczb., centralne twierdzenia graniczne
Twierdzenie (prawo wielkich liczb Markowa) Niech (X n ) będzie ciągiem niezależnych zmiennych losowych mających skończone wariancje σ 2 n = D 2 X n. Jeśli ciąg (X n ) spełnia warunek Markowa, to ciąg (X n ) spełnia słabe prawo wielkich liczb. Przykład Wykażemy, że ciąg (X n ) niezależnych zmiennych losowych o rozkładach N(0, 3 n) spełnia słabe prawo wielkich liczb., centralne twierdzenia graniczne
Przykład (cd) Zadanie sprowadza się do wykazania, że ciąg (X n ) zmiennych losowych spełnia warunek Markowa. Ponieważ zmienna X k ma rozkład normalny N(0, 3 k), więc σ 2 k = 3 k 2. Stąd otrzymujemy oszacowanie lim n 0 < σ2 1 +σ2 2 +...+σ2 n n 2 = 3 1 2 + 3 2 2 +...+ 3 n 2 n 2 n 3 n 2 n 2 = 1 3 n. Z twierdzenia o trzech ciągach wynika zatem, że σ1 2+σ2 2 +...+σ2 n = 0. n 2, centralne twierdzenia graniczne
Definicja Mówimy, że ciąg (X n ) spełnia warunek Kołmogorowa wtedy i tylko wtedy, gdy szereg jest zbieżny. n=1 σ 2 n n 2, centralne twierdzenia graniczne
Definicja Mówimy, że ciąg (X n ) spełnia warunek Kołmogorowa wtedy i tylko wtedy, gdy szereg jest zbieżny. n=1 σ 2 n n 2 Twierdzenie (pierwsze prawo wielkich liczb Kołmogorowa) Niech (X n ) będzie ciągiem niezależnych zmiennych losowych mających skończone wariancje σ 2 n = D 2 X n. Jeśli ciąg (X n ) spełnia warunek Kołmogorowa, to ciąg (X n ) spełnia mocne prawo wielkich liczb., centralne twierdzenia graniczne
Przykład Wykażemy, że ciąg zmiennych losowych (X n ) z przykładu 16 spełnia mocne prawo wielkich liczb. Rozwiązanie. Ponieważ σ2 n = 1 n 2 3, więc szereg σn 2 jest zbieżny, n 4 n 2 n=1 a zatem ciąg (X n ) spełnia warunek Kołmogorowa. Oznacza to, że ciąg (X n ) spełnia mocne prawo wielkich liczb., centralne twierdzenia graniczne
Przykład Wykażemy, że ciąg zmiennych losowych (X n ) z przykładu 16 spełnia mocne prawo wielkich liczb. Rozwiązanie. Ponieważ σ2 n = 1 n 2 3, więc szereg σn 2 jest zbieżny, n 4 n 2 n=1 a zatem ciąg (X n ) spełnia warunek Kołmogorowa. Oznacza to, że ciąg (X n ) spełnia mocne prawo wielkich liczb. Wynika stąd oczywiście, że ciąg (X n ) spełnia również słabe prawo wielkich liczb. Tak więc, aby wykazać, że ciąg niezależnych zmiennych losowych spełnia słabe prawo wielkich liczb można korzystać albo z twierdzenia Markowa, albo z twierdzenia Kołmogorowa., centralne twierdzenia graniczne
Załóżmy teraz, że niezależne zmienne losowe X 1,X 2,... mają identyczny rozkład z wartością oczekiwaną m = m k dla k = 1, 2,... Zbieżność ciągu ( 1 n (S n M n )) do zmiennej losowej X 0 jest równoważna warunkowi, że ciąg średnich 1 n S n dąży do zmiennej losowej przyjmującej wartość m z prawdopodobieństwem 1. W tym przypadku zachodzi następujące twierdzenie., centralne twierdzenia graniczne
Załóżmy teraz, że niezależne zmienne losowe X 1,X 2,... mają identyczny rozkład z wartością oczekiwaną m = m k dla k = 1, 2,... Zbieżność ciągu ( 1 n (S n M n )) do zmiennej losowej X 0 jest równoważna warunkowi, że ciąg średnich 1 n S n dąży do zmiennej losowej przyjmującej wartość m z prawdopodobieństwem 1. W tym przypadku zachodzi następujące twierdzenie. Twierdzenie (drugie prawo wielkich liczb Kołmogorowa) Niech (X n ) będzie ciągiem niezależnych zmiennych losowych o identycznych rozkładach. Ciąg (X n ) spełnia mocne prawo wielkich liczb wtedy i tylko wtedy, gdy istnieje wartość oczekiwana m = EX n, gdzie n = 1, 2,...., centralne twierdzenia graniczne
, centralne twierdzenia graniczne
Niech (X n ) będzie ciągiem niezależnych zmiennych losowych określonych na przestrzeni probabilistycznej (Ω, M, P) mających skończoną wartość oczekiwaną i skończoną dodatnią wariancję. Przyjmijmy, tak jak w poprzednim paragrafie: m k = EX k dla k = 1, 2,..., S n = X 1 + X 2 +... + X n, M n = m 1 + m 2 +... + m n, oraz σ k 2 = D2 X k dla k = 1, 2,..., Bn 2 = σ1 2 + σ2 2 +... + σ2 n, B n = Bn. 2 Niech Y n będzie zmienną otrzymaną przez standaryzację zmiennej S n, tzn. Y n = S n M n. B n, centralne twierdzenia graniczne
Definicja Mówimy, że dla ciągu (X n ) spełnione jest centralne twierdzenie graniczne wtedy i tylko wtedy, gdy ciąg dystrybuant zmiennych losowych Y n jest zbieżny podstawowo do dystrybuanty rozkładu normalnego N(0, 1). O ciągu (Y n ) mówimy wtedy, że jest asymptotycznie normalny., centralne twierdzenia graniczne
Przykładem centralnego twierdzenia granicznego jest twierdzenie integralne de Moivre a-laplace a, które sformułowaliśmy nie korzystając z pojęcia zmiennej losowej. Podany w tym twierdzeniu wzór ( ) lim P a < k np n npq < b = F (b) F (a), gdzie F jest dystrybuantą rozkładu normalnego N(0, 1), możemy obecnie zinterpretować następująco. Liczba sukcesów k w schemacie n prób Bernoulliego jest wartością zmiennej losowej S n o rozkładzie Bernoulliego z parametrami n, p. Zmienna S n jest sumą n niezależnych zmiennych losowych X k, gdzie k = 1, 2,..., n, o identycznym rozkładzie zero-jedynkowym z parametrem p., centralne twierdzenia graniczne
Standaryzując zmienne S n, otrzymujemy Y n = S n M n B n = S n np npq. Tak więc twierdzenie integralne de Moivre a-laplace a orzeka, że dla ciągu niezależnych zmiennych losowych o identycznych rozkładach zero-jedynkowych spełnione jest centralne twierdzenie graniczne., centralne twierdzenia graniczne
Twierdzenie integralne de Moivre a-laplace a jest szczególnym przypadkiem następującego twierdzenia. Twierdzenie (Lindeberga-Levy ego) Jeśli (X n ) jest ciągiem niezależnych zmiennych losowych o identycznych rozkładach z wartością oczekiwaną m i skończoną dodatnią wariancją σ 2, to ciąg (X n ) spełnia centralne twierdzenie graniczne., centralne twierdzenia graniczne
Twierdzenie integralne de Moivre a-laplace a jest szczególnym przypadkiem następującego twierdzenia. Twierdzenie (Lindeberga-Levy ego) Jeśli (X n ) jest ciągiem niezależnych zmiennych losowych o identycznych rozkładach z wartością oczekiwaną m i skończoną dodatnią wariancją σ 2, to ciąg (X n ) spełnia centralne twierdzenie graniczne. Przykład Dany jest ciąg niezależnych zmiennych losowych (X n ) o jednakowych rozkładach takich, że EX n = 3, D 2 X n = 2. Wyznaczymy ( przybliżoną wartość prawdopodobieństwa P 580 < 200 ) X n < 660. n=1, centralne twierdzenia graniczne
Przykład (cd) Zauważmy, że ciąg (X n ) spełnia założenia twierdzenia Lindeberga-Levy ego. Niech S 200 = 200 X n, wówczas n=1 M 200 = ES 200 = 200 3 = 600, a z niezależności zmiennych X n wynika, że B200 2 = D 2 S 200 = 200 2 = 400, czyli B 200 = 400 = 20., centralne twierdzenia graniczne
Przykład (cd) Stąd otrzymujemy ( P 580 < 200 = P n=1 ) X n < 660 ( ) 1 < S 200 600 20 < 3 ( ) = P 580 600 20 < S 200 600 20 < 660 600 20 = F (3) F ( 1) = F (3) + F (1) 1, gdzie F jest dystrybuantą rozkładu normalnego N (0, 1)., centralne twierdzenia graniczne
Podamy teraz twierdzenie graniczne dla ciągu zmiennych losowych o niejednakowych rozkładach. Definicja Mówimy, że ciąg (X n ) zmiennych losowych o skończonych wartościach oczekiwanych m n = EX n spełnia warunek Lapunowa wtedy i tylko wtedy, gdy istnieje taka liczba δ > 0, że a) ck 2+δ = E X k m k 2+δ < + dla k = 1, 2,...; C b) lim n n B n = 0, gdzie C n = ( n k=1 c 2+δ k ) 1/(2+δ)., centralne twierdzenia graniczne
Podamy teraz twierdzenie graniczne dla ciągu zmiennych losowych o niejednakowych rozkładach. Definicja Mówimy, że ciąg (X n ) zmiennych losowych o skończonych wartościach oczekiwanych m n = EX n spełnia warunek Lapunowa wtedy i tylko wtedy, gdy istnieje taka liczba δ > 0, że a) ck 2+δ = E X k m k 2+δ < + dla k = 1, 2,...; C b) lim n n B n = 0, gdzie C n = Twierdzenie (Lapunowa) ( n k=1 c 2+δ k ) 1/(2+δ). Jeśli ciąg (X n ) niezależnych zmiennych losowych spełnia warunek Lapunowa, to ciąg (X n ) spełnia centralne twierdzenie graniczne., centralne twierdzenia graniczne
Twierdzenie Lapunowa stosowane jest najczęściej dla δ = 1. Przykład Niech (X n ) będzie ciągiem niezależnych zmiennych losowych o rozkładach dwupunktowych określonych następująco P(X n = n) = P(X n = n) = 1 2. Wykażemy, że ciąg (X n ) spełnia centralne twierdzenie graniczne., centralne twierdzenia graniczne
Przykład (cd) Zauważmy, że σ 2 k = k2, c 3 k = k3, więc Stąd otrzymujemy C lim n n B n = lim n B 2 n = C 3 n = n k=1 n k=1 k 2 = 1 6n(n + 1)(2n + 1), ( ) 2 k 3 = 1 2 n(n + 1). 3 ( 1 2 n(n+1))2 1 6 n(n+1)(2n+1) = lim n n 3 4 3 ( 1 2 (1+ 1 n ))2 n 3 2 1 6 (1+ 1 n )(2+ 1 n ) = 0. Ciąg (X n ) niezależnych zmiennych losowych spełnia zatem warunek Lapunowa, a więc spełnia także centralne twierdzenie graniczne., centralne twierdzenia graniczne