Prawa wielkich liczb, centralne twierdzenia graniczne

Transkrypt

1 , centralne twierdzenia graniczne Katedra matematyki i ekonomii matematycznej 17 maja 2012, centralne twierdzenia graniczne

2 Rodzaje zbieżności ciągów zmiennych losowych, centralne twierdzenia graniczne

3 Niech X, X n (n = 1, 2,...) będą zmiennymi losowymi określonymi na przestrzeni probabilistycznej (Ω, M, P). Omówimy rodzaje zbieżności ciągu (X n ) do zmiennej losowej X., centralne twierdzenia graniczne

4 Niech X, X n (n = 1, 2,...) będą zmiennymi losowymi określonymi na przestrzeni probabilistycznej (Ω, M, P). Omówimy rodzaje zbieżności ciągu (X n ) do zmiennej losowej X. Definicja Mówimy, że ciąg zmiennych losowych (X n ) jest zbieżny według prawdopodobieństwa (lub stochastycznie) do zmiennej losowej X wtedy i tylko wtedy, gdy lim P ({ω Ω : X n(ω) X (ω) ε}) = 0 n dla każdego ε > 0. Zbieżność stochastyczną oznaczamy przez X n p X., centralne twierdzenia graniczne

5 Definicja Mówimy, że ciąg zmiennych losowych (X n ) jest zbieżny z prawdopodobieństwem 1 (lub prawie na pewno) do zmiennej losowej X wtedy i tylko wtedy, gdy ({ }) P ω Ω : lim X n(ω) = X (ω) = 1. n Piszemy wówczas X n X., centralne twierdzenia graniczne

6 Definicja Mówimy, że ciąg zmiennych losowych (X n ) jest zbieżny z prawdopodobieństwem 1 (lub prawie na pewno) do zmiennej losowej X wtedy i tylko wtedy, gdy ({ }) P ω Ω : lim X n(ω) = X (ω) = 1. n Piszemy wówczas X n X. Twierdzenie Jeśli ciąg (X n ) jest zbieżny z prawdopodobieństwem 1 do zmiennej losowej X, to ciąg (X n ) jest zbieżny według prawdopodobieństwa do zmiennej losowej X., centralne twierdzenia graniczne

7 Twierdzenie odwrotne do powyższego twierdzenia jest fałszywe, świadczy o tym następujący przykład. Przykład Niech (Ω, M, P) będzie przestrzenią probabilistyczną, gdzie Ω = (0, 1, M jest rodziną zbiorów borelowskich na przedziale (0, 1, P jest prawdopodobieństwem określonym wzorem P(A) = A. Określamy ciąg (A n ) podzbiorów zbioru Ω taki, że ( ( ( ( A 1 = 0, 1 2, A 2 = 1 2, 1, A 3 = 0, 1 4, A 4 = 1 4 4, 2, ( ( A 5 = 2 4 4, 3, A 6 = 3 4, 1, ( ( A 7 = 0, 1 8, A 8 = 1 8 8, 2,... itd., centralne twierdzenia graniczne

8 Przykład (cd) Dla dowolnej liczby naturalnej n przyjmujemy X n (ω) = { 1 dla ω An, 0 dla ω / A n. Łatwo można sprawdzić, że dla dowolnej liczby ε > 0 spełniony jest warunek lim P ({ω (0, 1 : X n(ω) ε}) = 0. n, centralne twierdzenia graniczne

9 Przykład (cd) Istotnie, jeśli ε > 1, to dla każdego n N. Dla 0 < ε 1 mamy natomiast P ({ω (0, 1 : X n (ω) ε}) = 0 P ({ω (0, 1 : X n (ω) ε}) = A n 0, gdy n. Oznacza to, że ciąg (X n ) jest zbieżny według prawdopodobieństwa do zmiennej losowej X 0 (tzn. do zmiennej losowej X o rozkładzie jednopunktowym skoncentrowanym w punkcie 0). Z drugiej strony, dla dowolnego ustalonego ω 0 (0, 1 ciąg liczbowy (X n (ω 0 )) zawiera dwa podciągi, jeden o wyrazach równych 0, drugi o wyrazach równych 1. Wynika stąd, że ciąg funkcyjny (X n ) nie jest zbieżny punktowo do żadnej granicy., centralne twierdzenia graniczne

10 Załóżmy, że zmienne X n (n = 1, 2,...), X mają skończone momenty drugiego rzędu., centralne twierdzenia graniczne

11 Załóżmy, że zmienne X n (n = 1, 2,...), X mają skończone momenty drugiego rzędu. Definicja Mówimy, że ciąg zmiennych losowych (X n ) jest zbieżny przeciętnie z kwadratem (lub średnio kwadratowo) do zmiennej losowej X wtedy i tylko wtedy, gdy lim n E(X n X ) 2 = 0. Piszemy wówczas l.i.m. n X n = X., centralne twierdzenia graniczne

12 Załóżmy, że zmienne X n (n = 1, 2,...), X mają skończone momenty drugiego rzędu. Definicja Mówimy, że ciąg zmiennych losowych (X n ) jest zbieżny przeciętnie z kwadratem (lub średnio kwadratowo) do zmiennej losowej X wtedy i tylko wtedy, gdy lim n E(X n X ) 2 = 0. Piszemy wówczas l.i.m. n X n = X. Twierdzenie Jeśli ciąg (X n ) jest zbieżny przeciętnie z kwadratem do zmiennej losowej X, to ciąg (X n ) jest zbieżny według prawdopodobieństwa do zmiennej losowej X., centralne twierdzenia graniczne

13 Obok zbieżności ciągów zmiennych losowych możemy również rozpatrywać zbieżność rozkładów prawdopodobieństwa tych zmiennych. Ponieważ rozkład prawdopodobieństwa jest jednoznacznie wyznaczony przez dystrybuantę, więc pojęcie zbieżności rozkładów sformułujemy przy pomocy pojęcia zbieżności ciągów dystrybuant., centralne twierdzenia graniczne

14 Obok zbieżności ciągów zmiennych losowych możemy również rozpatrywać zbieżność rozkładów prawdopodobieństwa tych zmiennych. Ponieważ rozkład prawdopodobieństwa jest jednoznacznie wyznaczony przez dystrybuantę, więc pojęcie zbieżności rozkładów sformułujemy przy pomocy pojęcia zbieżności ciągów dystrybuant. Definicja Mówimy, że ciąg dystrybuant (F n ) jest zbieżny podstawowo do dystrybuanty F wtedy i tylko wtedy, gdy w każdym punkcie x R ciągłości dystrybuanty F spełniony jest warunek lim n F n(x) = F (x). O ciągu (P n ) rozkładów o dystrybuantach F n mówimy wtedy, że jest słabo zbieżny do rozkładu P o dystrybuancie F., centralne twierdzenia graniczne

15 Twierdzenie Jeśli ciąg (X n ) zmiennych losowych jest zbieżny według prawdopodobieństwa do zmiennej losowej X, to ciąg (F n ) dystrybuant tych zmiennych jest zbieżny podstawowo do dystrybuanty zmiennej losowej X., centralne twierdzenia graniczne

16 Twierdzenie Jeśli ciąg (X n ) zmiennych losowych jest zbieżny według prawdopodobieństwa do zmiennej losowej X, to ciąg (F n ) dystrybuant tych zmiennych jest zbieżny podstawowo do dystrybuanty zmiennej losowej X. Twierdzenie odwrotne do powyższego twierdzenia jest prawdziwe tylko w szczególnym przypadku, gdy zmienna X ma rozkład jednopunktowy., centralne twierdzenia graniczne

17 , centralne twierdzenia graniczne

18 Niech (X n ) będzie ciągiem zmiennych losowych określonych na przestrzeni probabilistycznej (Ω, M, P) o skończonych wartościach oczekiwanych. Przyjmijmy następujące oznaczenia: m k = EX k dla k = 1, 2,..., S n = X 1 + X X n, M n = m 1 + m m n dla n = 1, 2,..., centralne twierdzenia graniczne

19 Niech (X n ) będzie ciągiem zmiennych losowych określonych na przestrzeni probabilistycznej (Ω, M, P) o skończonych wartościach oczekiwanych. Przyjmijmy następujące oznaczenia: m k = EX k dla k = 1, 2,..., S n = X 1 + X X n, M n = m 1 + m m n dla n = 1, 2,... Definicja Mówimy, że ciąg (X n ) spełnia słabe prawo wielkich liczb wtedy i tylko wtedy, gdy 1 n (S n M n ) p 0., centralne twierdzenia graniczne

20 Niech (X n ) będzie ciągiem zmiennych losowych określonych na przestrzeni probabilistycznej (Ω, M, P) o skończonych wartościach oczekiwanych. Przyjmijmy następujące oznaczenia: m k = EX k dla k = 1, 2,..., S n = X 1 + X X n, M n = m 1 + m m n dla n = 1, 2,... Definicja Mówimy, że ciąg (X n ) spełnia słabe prawo wielkich liczb wtedy i tylko wtedy, gdy 1 n (S n M n ) p 0. Definicja Mówimy, że ciąg (X n ) spełnia mocne prawo wielkich liczb wtedy i tylko wtedy, gdy 1 n (S n M n ) 0., centralne twierdzenia graniczne

21 Podamy warunki dostateczne na to, aby ciąg (X n ) spełniał prawo wielkich liczb., centralne twierdzenia graniczne

22 Podamy warunki dostateczne na to, aby ciąg (X n ) spełniał prawo wielkich liczb. Definicja Ciąg (X n ) nazywamy ciągiem niezależnych zmiennych losowych wtedy i tylko, gdy dla każdego k N zmienne X 1, X 2,..., X k są niezależne., centralne twierdzenia graniczne

23 Podamy warunki dostateczne na to, aby ciąg (X n ) spełniał prawo wielkich liczb. Definicja Ciąg (X n ) nazywamy ciągiem niezależnych zmiennych losowych wtedy i tylko, gdy dla każdego k N zmienne X 1, X 2,..., X k są niezależne. Definicja Mówimy, że ciąg (X n ) spełnia warunek Markowa wtedy i tylko wtedy, gdy σ1 lim 2+σ σ2 n = 0, n n 2 gdzie σ 2 n = D 2 X n dla n N., centralne twierdzenia graniczne

24 Twierdzenie (prawo wielkich liczb Markowa) Niech (X n ) będzie ciągiem niezależnych zmiennych losowych mających skończone wariancje σ 2 n = D 2 X n. Jeśli ciąg (X n ) spełnia warunek Markowa, to ciąg (X n ) spełnia słabe prawo wielkich liczb., centralne twierdzenia graniczne

25 Twierdzenie (prawo wielkich liczb Markowa) Niech (X n ) będzie ciągiem niezależnych zmiennych losowych mających skończone wariancje σ 2 n = D 2 X n. Jeśli ciąg (X n ) spełnia warunek Markowa, to ciąg (X n ) spełnia słabe prawo wielkich liczb. Przykład Wykażemy, że ciąg (X n ) niezależnych zmiennych losowych o rozkładach N(0, 3 n) spełnia słabe prawo wielkich liczb., centralne twierdzenia graniczne

26 Przykład (cd) Zadanie sprowadza się do wykazania, że ciąg (X n ) zmiennych losowych spełnia warunek Markowa. Ponieważ zmienna X k ma rozkład normalny N(0, 3 k), więc σ 2 k = 3 k 2. Stąd otrzymujemy oszacowanie lim n 0 < σ2 1 +σ σ2 n n 2 = n 2 n 2 n 3 n 2 n 2 = 1 3 n. Z twierdzenia o trzech ciągach wynika zatem, że σ1 2+σ σ2 n = 0. n 2, centralne twierdzenia graniczne

27 Definicja Mówimy, że ciąg (X n ) spełnia warunek Kołmogorowa wtedy i tylko wtedy, gdy szereg jest zbieżny. n=1 σ 2 n n 2, centralne twierdzenia graniczne

28 Definicja Mówimy, że ciąg (X n ) spełnia warunek Kołmogorowa wtedy i tylko wtedy, gdy szereg jest zbieżny. n=1 σ 2 n n 2 Twierdzenie (pierwsze prawo wielkich liczb Kołmogorowa) Niech (X n ) będzie ciągiem niezależnych zmiennych losowych mających skończone wariancje σ 2 n = D 2 X n. Jeśli ciąg (X n ) spełnia warunek Kołmogorowa, to ciąg (X n ) spełnia mocne prawo wielkich liczb., centralne twierdzenia graniczne

29 Przykład Wykażemy, że ciąg zmiennych losowych (X n ) z przykładu 16 spełnia mocne prawo wielkich liczb. Rozwiązanie. Ponieważ σ2 n = 1 n 2 3, więc szereg σn 2 jest zbieżny, n 4 n 2 n=1 a zatem ciąg (X n ) spełnia warunek Kołmogorowa. Oznacza to, że ciąg (X n ) spełnia mocne prawo wielkich liczb., centralne twierdzenia graniczne

30 Przykład Wykażemy, że ciąg zmiennych losowych (X n ) z przykładu 16 spełnia mocne prawo wielkich liczb. Rozwiązanie. Ponieważ σ2 n = 1 n 2 3, więc szereg σn 2 jest zbieżny, n 4 n 2 n=1 a zatem ciąg (X n ) spełnia warunek Kołmogorowa. Oznacza to, że ciąg (X n ) spełnia mocne prawo wielkich liczb. Wynika stąd oczywiście, że ciąg (X n ) spełnia również słabe prawo wielkich liczb. Tak więc, aby wykazać, że ciąg niezależnych zmiennych losowych spełnia słabe prawo wielkich liczb można korzystać albo z twierdzenia Markowa, albo z twierdzenia Kołmogorowa., centralne twierdzenia graniczne

31 Załóżmy teraz, że niezależne zmienne losowe X 1,X 2,... mają identyczny rozkład z wartością oczekiwaną m = m k dla k = 1, 2,... Zbieżność ciągu ( 1 n (S n M n )) do zmiennej losowej X 0 jest równoważna warunkowi, że ciąg średnich 1 n S n dąży do zmiennej losowej przyjmującej wartość m z prawdopodobieństwem 1. W tym przypadku zachodzi następujące twierdzenie., centralne twierdzenia graniczne

32 Załóżmy teraz, że niezależne zmienne losowe X 1,X 2,... mają identyczny rozkład z wartością oczekiwaną m = m k dla k = 1, 2,... Zbieżność ciągu ( 1 n (S n M n )) do zmiennej losowej X 0 jest równoważna warunkowi, że ciąg średnich 1 n S n dąży do zmiennej losowej przyjmującej wartość m z prawdopodobieństwem 1. W tym przypadku zachodzi następujące twierdzenie. Twierdzenie (drugie prawo wielkich liczb Kołmogorowa) Niech (X n ) będzie ciągiem niezależnych zmiennych losowych o identycznych rozkładach. Ciąg (X n ) spełnia mocne prawo wielkich liczb wtedy i tylko wtedy, gdy istnieje wartość oczekiwana m = EX n, gdzie n = 1, 2,...., centralne twierdzenia graniczne

33 , centralne twierdzenia graniczne

34 Niech (X n ) będzie ciągiem niezależnych zmiennych losowych określonych na przestrzeni probabilistycznej (Ω, M, P) mających skończoną wartość oczekiwaną i skończoną dodatnią wariancję. Przyjmijmy, tak jak w poprzednim paragrafie: m k = EX k dla k = 1, 2,..., S n = X 1 + X X n, M n = m 1 + m m n, oraz σ k 2 = D2 X k dla k = 1, 2,..., Bn 2 = σ1 2 + σ σ2 n, B n = Bn. 2 Niech Y n będzie zmienną otrzymaną przez standaryzację zmiennej S n, tzn. Y n = S n M n. B n, centralne twierdzenia graniczne

35 Definicja Mówimy, że dla ciągu (X n ) spełnione jest centralne twierdzenie graniczne wtedy i tylko wtedy, gdy ciąg dystrybuant zmiennych losowych Y n jest zbieżny podstawowo do dystrybuanty rozkładu normalnego N(0, 1). O ciągu (Y n ) mówimy wtedy, że jest asymptotycznie normalny., centralne twierdzenia graniczne

36 Przykładem centralnego twierdzenia granicznego jest twierdzenie integralne de Moivre a-laplace a, które sformułowaliśmy nie korzystając z pojęcia zmiennej losowej. Podany w tym twierdzeniu wzór ( ) lim P a < k np n npq < b = F (b) F (a), gdzie F jest dystrybuantą rozkładu normalnego N(0, 1), możemy obecnie zinterpretować następująco. Liczba sukcesów k w schemacie n prób Bernoulliego jest wartością zmiennej losowej S n o rozkładzie Bernoulliego z parametrami n, p. Zmienna S n jest sumą n niezależnych zmiennych losowych X k, gdzie k = 1, 2,..., n, o identycznym rozkładzie zero-jedynkowym z parametrem p., centralne twierdzenia graniczne

37 Standaryzując zmienne S n, otrzymujemy Y n = S n M n B n = S n np npq. Tak więc twierdzenie integralne de Moivre a-laplace a orzeka, że dla ciągu niezależnych zmiennych losowych o identycznych rozkładach zero-jedynkowych spełnione jest centralne twierdzenie graniczne., centralne twierdzenia graniczne

38 Twierdzenie integralne de Moivre a-laplace a jest szczególnym przypadkiem następującego twierdzenia. Twierdzenie (Lindeberga-Levy ego) Jeśli (X n ) jest ciągiem niezależnych zmiennych losowych o identycznych rozkładach z wartością oczekiwaną m i skończoną dodatnią wariancją σ 2, to ciąg (X n ) spełnia centralne twierdzenie graniczne., centralne twierdzenia graniczne

39 Twierdzenie integralne de Moivre a-laplace a jest szczególnym przypadkiem następującego twierdzenia. Twierdzenie (Lindeberga-Levy ego) Jeśli (X n ) jest ciągiem niezależnych zmiennych losowych o identycznych rozkładach z wartością oczekiwaną m i skończoną dodatnią wariancją σ 2, to ciąg (X n ) spełnia centralne twierdzenie graniczne. Przykład Dany jest ciąg niezależnych zmiennych losowych (X n ) o jednakowych rozkładach takich, że EX n = 3, D 2 X n = 2. Wyznaczymy ( przybliżoną wartość prawdopodobieństwa P 580 < 200 ) X n < 660. n=1, centralne twierdzenia graniczne

40 Przykład (cd) Zauważmy, że ciąg (X n ) spełnia założenia twierdzenia Lindeberga-Levy ego. Niech S 200 = 200 X n, wówczas n=1 M 200 = ES 200 = = 600, a z niezależności zmiennych X n wynika, że B200 2 = D 2 S 200 = = 400, czyli B 200 = 400 = 20., centralne twierdzenia graniczne

41 Przykład (cd) Stąd otrzymujemy ( P 580 < 200 = P n=1 ) X n < 660 ( ) 1 < S < 3 ( ) = P < S < = F (3) F ( 1) = F (3) + F (1) 1, gdzie F jest dystrybuantą rozkładu normalnego N (0, 1)., centralne twierdzenia graniczne

42 Podamy teraz twierdzenie graniczne dla ciągu zmiennych losowych o niejednakowych rozkładach. Definicja Mówimy, że ciąg (X n ) zmiennych losowych o skończonych wartościach oczekiwanych m n = EX n spełnia warunek Lapunowa wtedy i tylko wtedy, gdy istnieje taka liczba δ > 0, że a) ck 2+δ = E X k m k 2+δ < + dla k = 1, 2,...; C b) lim n n B n = 0, gdzie C n = ( n k=1 c 2+δ k ) 1/(2+δ)., centralne twierdzenia graniczne

43 Podamy teraz twierdzenie graniczne dla ciągu zmiennych losowych o niejednakowych rozkładach. Definicja Mówimy, że ciąg (X n ) zmiennych losowych o skończonych wartościach oczekiwanych m n = EX n spełnia warunek Lapunowa wtedy i tylko wtedy, gdy istnieje taka liczba δ > 0, że a) ck 2+δ = E X k m k 2+δ < + dla k = 1, 2,...; C b) lim n n B n = 0, gdzie C n = Twierdzenie (Lapunowa) ( n k=1 c 2+δ k ) 1/(2+δ). Jeśli ciąg (X n ) niezależnych zmiennych losowych spełnia warunek Lapunowa, to ciąg (X n ) spełnia centralne twierdzenie graniczne., centralne twierdzenia graniczne

44 Twierdzenie Lapunowa stosowane jest najczęściej dla δ = 1. Przykład Niech (X n ) będzie ciągiem niezależnych zmiennych losowych o rozkładach dwupunktowych określonych następująco P(X n = n) = P(X n = n) = 1 2. Wykażemy, że ciąg (X n ) spełnia centralne twierdzenie graniczne., centralne twierdzenia graniczne

45 Przykład (cd) Zauważmy, że σ 2 k = k2, c 3 k = k3, więc Stąd otrzymujemy C lim n n B n = lim n B 2 n = C 3 n = n k=1 n k=1 k 2 = 1 6n(n + 1)(2n + 1), ( ) 2 k 3 = 1 2 n(n + 1). 3 ( 1 2 n(n+1))2 1 6 n(n+1)(2n+1) = lim n n ( 1 2 (1+ 1 n ))2 n (1+ 1 n )(2+ 1 n ) = 0. Ciąg (X n ) niezależnych zmiennych losowych spełnia zatem warunek Lapunowa, a więc spełnia także centralne twierdzenie graniczne., centralne twierdzenia graniczne