Rachunek prawdopodobieństwa II

Transkrypt

1 Leszek Słomiński achunek prawdopodobieństwa II Materiały dydaktyczne dla studentów matematyki przygotowane w ramach projektu IKS - Inwestycja w Kierunki Strategiczne na Wydziale Matematyki i Informatyki UMK" Wydział Matematyki i Informatyki Uniwersytet Mikołaja Kopernika Toruń 2011 Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

2

3 Spis treści Wstęp 5 1. Zmienne losowe i wektory losowe Podstawowe definicje i fakty ozkłady zmiennych losowych i ich parametry Wektory losowe i ich rozkłady Niezależność zmiennych losowych Zadania Warunkowa wartość oczekiwana i rozkłady warunkowe Warunkowa wartość oczekiwana względem zdarzenia Warunkowa wartość oczekiwana względem σ-algebry ozkłady warunkowe Zadania Ciągi niezależnych zmiennych losowych Przestrzenie produktowe i twierdzenie Kołmogorowa o rozkładach zgodnych Zbieżność szeregów niezależnych zmiennych losowych Prawa wielkich liczb Zadania Zbieżność według rozkładu zmiennych losowych Definicja słabej zbieżności i jej podstawowe charakteryzacje Funkcje charakterystyczne Twierdzenia graniczne o zbieżności do rozkładu Poissona Centralne twierdzenia graniczne Wielowymiarowy rozkład normalny i wielowymiarowe centralne twierdzenie graniczne Zadania Dodatek Własności generatorów Całka względem miary probabilistycznej Zbieżność zmiennych losowych Przestrzenie produktowe. Twierdzenie Fubiniego Bibliografia 71 3

4 4 Spis treści Indeks 71

5 5 Wstęp Skrypt achunek prawdopodobieństwa II powstał na potrzeby studentów matematyki II stopnia. Zakłada się w nim znajomość przez studentów materiału z podstawowego (najczęściej 30 godzinnego) kursu z rachunku prawdopodobieństwa ze studiów licencjackich. Wykład achunek prawdopodobieństwa II prowadziłem na WMiI UMK w Toruniu w roku akademickim w semestrze zimowym. Miał na celu zapoznanie studentów z bardziej zaawansowanymi zagadnieniami rachunku prawdopodobieństwa. Oparty był głównie na książce J. Jakubowskiego i. Sztencla Wstęp do teorii prawdopodobieństwa. Pomocne okazały się również inne podręczniki wyszczególnione w Bibliografii. W skrypcie znalazły się także elementy wcześniejszych wykładów z rachunku prawdopodobieństwa prowadzonych przez jego autora. Skrypt składa się z czterech rozdziałów i dodatku. W pierwszym z nich zebrane zostały podstawowe fakty dotyczące zmiennych losowych i wektorów losowych. W szczególności wprowadzone zostały podstawowe definicje i oznaczenia przydatne w dalszej części skryptu. Kolejne rozdziały obejmują zagadnienia dotyczące zarówno warunkowej wartości oczekiwanej i rozkładów warunkowych, jak i różnorodne zagadnienia asymptotyczne w tym słabe i mocne prawa wielkich liczb oraz twierdzenia graniczne o zbieżności do rozkładu Poissona i rozkładu normalnego. W skrypcie opuszczone zostały niektóre dłuższe i bardziej techniczne dowody twierdzeń. Kompletne dowody można znaleźć w podręczniku J, Jakubowskiego i. Sztencla. Do skryptu dołączone są materiały dotyczące zadań związanych z tematyką skryptu zatytułowane achunek prawdopodobieństwa II. Zadania. Zawierają one kompletne rozwiązania zadań ze skryptu oraz szereg dodatkowych zadań przeznaczonych do samodzielnego rozwiązania. W skrypcie stosujemy następujące standardowe oznaczenia: N oznacza zbiór liczb naturalnych, zbiór liczb rzeczywistych, d d-krotny produkt liczb rzeczywistych, a A T oznacza macierz transponowaną do macierzy A.

6

7 7 ozdział 1. Zmienne losowe i wektory losowe 1.1. Podstawowe definicje i fakty Niech (Ω, F, P ) będzie przestrzenią probabilistyczną. Definicja 1.1. Mówimy, że odwzorowanie X : Ω jest zmienną losową na (Ω, F, P ) jeżeli dla każdego zbioru borelowskiego B B zbiór X 1 (B) = {ω : X(ω) B} F. Ponieważ σ-algebra podzbiorów borelowskich jest generowana przez półproste postaci (, a], a tzn. B = σ((, a] : a ), więc korzystając z twierdzenia 5.1 z Dodatku X jest zmienną losową dokładnie wtedy, gdy X 1 ((, a]) F, a. Jeżeli symbolem σ(x) oznaczymy σ-algebrę zbiorów generowanych przez X tzn. σ(x) = σ(x 1 (B) : B B) = σ(x 1 ((, a]) : a ), to odwzorowanie X : Ω jest zmienną losową na (Ω, F, P ) jeżeli σ(x) F. Definicja 1.2. (i) ozkładem prawdopodobieństwa na (, B) nazywamy każdą miarę probabilistyczną µ na (, B). (ii) ozkładem zmiennej losowej X nazywamy rozkład prawdopodobieństwa P X (, B) określony wzorem na P X (B) = P (X 1 (B)), B B. Przykład 1.1. Jeżeli µ jest rozkładem prawdopodobieństwa na (, B), to istnieje przestrzeń probabilistyczna (Ω, F, P ) i określona na niej zmienna losowa X taka, że P X = µ. W tym celu należy przyjąć Ω =, F = B, P = µ oraz X(ω) = ω dla wszystkich ω. Definicja 1.3. (i) Dystrybuantą rozkładu prawdopodobieństwa µ na (, B) nazywamy funkcję F µ : [0, 1] określoną wzorem F µ (a) = µ((, a]), a. i oz- (ii) Dystrybuantą zmiennej losowej X nazywamy dystrybuantę jej rozkładu P X naczamy ją symbolem F X tzn. F X (a) = F PX (a) = P (ω : X(ω) a), a.

8 8 ozdział 1. Zmienne losowe i wektory losowe Twierdzenie 1.1. Przypuśćmy, że F µ jest dystrybuantą rozkładu µ. Wtedy (i) F µ jest funkcją niemalejącą, (ii) F µ jest prawostronnie ciągła, (iii) lim F µ(x) = 0 oraz lim F µ (a) = 1. a a Dowód. (i) wynika z monotoniczności µ. (ii), (iii) wynikają z kolei z ciągłości P µ. Istotnie, jeżeli a n a, to (, a n ] (, a n+1 ] dla n N oraz n=1 (, a n] = (, a]. Dlatego lim F µ(a n ) = lim µ((, a n ]) n n = lim n µ( (, a n ]) = µ((, x]) = F µ (a), n=1 gdyż µ jest ciągła z góry. Dowodzi to (ii). Przypuśćmy teraz, że a n. Wtedy, korzystając raz jeszcze z ciągłości z góry µ, dostajemy lim F µ(a n ) = lim µ((, a n ]) = lim µ( n n n (, a n ]) = µ( ) = 0. Podobnie, jeżeli a n, to wykorzystując ciągłość z dołu µ otrzymujemy lim F µ(a n ) = lim µ((, a n ]) = lim µ( n n n co kończy dowód twierdzenia. n=1 (, a n ]) = µ() = 1, Twierdzenie 1.2. Jeżeli µ, ν są rozkładami na (, B) oraz F µ (a) = F ν (a) dla każdego a, to µ(b) = ν(b) dla każdego B B. Dowód. W dowodzie wykorzystuje się fakt, że bezpośrednio z założenia n=1 µ((, a]) = ν((, a]), a. Stąd rozkłady są równe na klasie zbiorów zamkniętej ze względu na skończone przekroje i generującej B i teza wynika z twierdzenia 5.2 z Dodatku. Wiadomo, że każda funkcja F : spełniająca warunki (i) (iii) z twierdzenia 1.1 jest dystrybuantą pewnego rozkładu µ wyznaczonego dzięki twierdzeniu 1.2 w sposób jednoznaczny. Przypomnijmy, że wartością oczekiwaną zmiennej losowej X na (Ω, F, P ) nazywamy całkę z X względem prawdopodobieństwa P (patrz Dodatek) tzn. EX = X dp. Wartość oczekiwana istnieje jeżeli E X = X dp < +. Ω Ω

9 ozdział 1. Zmienne losowe i wektory losowe 9 Twierdzenie 1.3. (O zmianie miary) Niech X będzie zmienną losową na (Ω, F, P ), a f : niech będzie zadaną funkcją borelowską. Całka Ef(X) istnieje wtedy i tylko wtedy, gdy istnieje całka f(x) P X(dx). Jeżeli całki te istnieją, to są równe tzn. Ef(X) = f(x) P X (dx). Dowód. W dowodzie wykorzystuje się indukcję mierzalną. Niech najpierw f = 1 B dla pewnego zbioru B F. Wtedy Ef(X) = E1 B = E1 (X B) = P (X B) = 1 B (x) P X (dx) = f(x) P X (dx). Jeżeli f jest funkcją prostą tzn. f = n i=1 b i1 Bi, gdzie b 1,...b n, B 1,..., B n F, to wykorzystując liniowość całek i udowodnioną przed chwilą równość dla f = 1 B mamy Ef(X) = E n b i 1 Bi = i=1 n b i E1 (X Bi ) = i=1 n b i i=1 1 Bi (x) P X (dx) = f(x) P X (dx). Jeżeli f jest funkcją nieujemną, to wiadomo (patrz np. wniosek 5.2 z Dodatku), że istnieje ciąg niemalejący funkcji nieujemnych {f n } taki, że 0 f n f. Wtedy wykorzystując twierdzenie Lebesgue a o zbieżności monotonicznej Ef(X) = lim Ef n (X) = lim f n (x) P X (dx = f(x) P X (dx). n n W przypadku, gdy f jest dowolną funkcją borelowską, to przedstawiamy ją w postaci f = f + f, gdzie f + = max(f, 0), f = max( f, 0) są już fukcjami nieujemnymi. Ponieważ f = f + + f otrzymujemy stąd najpierw, że zmienna losowa f(x) jest całkowalna dokładnie wtedy, gdy jest całkowalne względem rozkładu P X funkcja f. W końcu z liniowości obu całek Ef(X) = Ef + (X) Ef (X) = f + (x) P X (dx) f (x) P X (dx) = f(x) P X (dx), co kończy dowód twierdzenia. Zauważmy, że wykorzystując twierdzenie o zmianie miary w przypadku, gdy wartość oczekiwana zmiennej losowej X istnieje tzn. gdy x P X(dx) < + zachodzi równość EX = x P X (dx). Podobnie zakładając istnienie wariancji, co jest równoważne faktowi, że x2 P X (dx) < + możemy zauważyć, że D 2 (X) = E(X EX) 2 = EX 2 (EX) 2 = x 2 P X (dx) ( xp X (dx)) 2.

10 10 ozdział 1. Zmienne losowe i wektory losowe 1.2. ozkłady zmiennych losowych i ich parametry ozważać będziemy głównie rozkłady dyskretne i absolutnie ciągłe i ich najprostsze parametry jakimi są wartość oczekiwana i wariancja. Niech X będzie zmienną losową na (Ω, F, P ). Przypomnijmy, że zmienna losowa X ma rozkład dyskretny lub że P X jest rozkładem dyskretnym, jeżeli istnieją liczby x 1, x 2,... oraz p 1, p 2,... + takie, że p k = 1 oraz P (X = x k ) = p k, k = 1, 2,... (1.1) Mówimy wtedy, że rozkład zmiennej losowej X jest skupiony na zbiorze {x 1, x 2,...}, który może być skończony lub nieskończony. Zauważmy, że dla takiego rozkładu dla dowolnej funkcji borelowskiej f :, dla której wartość oczekiwana z f(x) istnieje, co jest równoważne z warunkiem f(x k) p k <, mamy Ef(X) = f(x k )p k. (1.2) Jeżeli X ma rozkład absolutnie ciągły o gęstości p(x) tzn. taki, że dla każdego zbioru borelowskiego B B P (X B) = p(x) dx, (1.3) to jej wartością oczekiwaną jest liczba Ef(X) = B f(x)p(x) dx (1.4) przy założeniu, że f(x) p(x) dx <. Kolejnym typem rozkładu jest rozkład osobliwy. Przypomnijmy, że X ma rozkład osobliwy jeżeli dla wszystkich x P (X = x) = 0 oraz istnieje zbiór borelowski B o mierze Lebesgue a równej zero taki, że P (X B) = 1. ozkłady osobliwe nie pojawiają się w praktycznych zastosowaniach rachunku prawdopodobieństwa i dlatego nie będziemy się nimi zajmowali. Twierdzenie 1.4. (Lebesgue a o rozkładzie) Jeżeli µ jest rozkładem na (, B) to istnieją liczby nieujemne a, b, c, a + b + c = 1 oraz rozkłady µ 1, µ 2, µ 3 odpowiednio dyskretny, absolutnie ciągły i osobliwy takie, że µ = aµ 1 + bµ 2 + cµ 3. Twierdzenie 1.5. Jeżeli X ma rozkład absolutnie ciągły o gęstości p(x) oraz wartości zmiennej losowej X należą do przedziału (a, b) (gdzie a, b mogą przyjmować wartości nieskończone) oraz f : (a, b) jest funkcją klasy C 1 oraz f (x) 0, x (a, b), to zmienna losowa Y = f(x) ma rozkład absolutnie ciągły o gęstości g(y) = p(h(y)) h (y) 1 f((a,b)) (y), gdzie h(y) = f 1 (y),a f((a, b)) jest obrazem odwzorowania f.

11 ozdział 1. Zmienne losowe i wektory losowe 11 Dowód. Funkcja f jest albo ściśle rosnąca albo malejąca. Załóżmy, że jest rosnąca. Wtedy korzystając z twierdzenia o całkowaniu przez podstawienie dla dowolnych y 1, y 2 takich, że f(a) y 1 < y 2 f(b) mamy F Y (y 2 ) F Y (y 1 ) = P (y 1 < Y y 2 ) = P (f 1 (y 1 ) < X f 1 (y 2 )) = = y2 y 1 p(f 1 (y))(f 1 (y)) dy = y2 y 1 p(h(y))h (y)dy. f 1 (y 2 ) f 1 (y 1 ) p(x) dx Ponieważ przedziały (y 1, y 2 ) są generatorami σ-algebry zbiorów borelowskich powyższą równość można rozszerzyć do dowolnego zbioru borelowskiego B B. Uwaga 1.1. Jeżeli zmienna losowa X ma rozkład absolutnie ciągły oraz f : jest funkcją borelowską, to złożenie f(x) nie musi mieć w ogólnym przypadku rozkładu absolutnie ciągłego. Jeżeli np. f(x) = a, x, to zawsze f(x) = a ma rozkład zdegenerowany w a. Przykładowe rozkłady dyskretne Niech X będzie zmienną losową na (Ω, F, P ) o rozkładzie (1.1). Wtedy zgodnie z (1.2) jej wartość oczekiwana i wariancja są odpowiednio postaci EX = x k p k, (1.5) o ile x k p k < + oraz D 2 (X) = EX 2 (EX) 2 = x 2 kp k ( x k p k ) 2, (1.6) o ile x2 k p k < +. Wśród rozkładów dyskretnych wyróżniamy rozkłady: Zdegenerowany lub jednopunktowy Parametry: a. Momenty: EX = a, D 2 (X) = 0. P (X = a) = 1. Dwupunktowy Parametry: a, b, p (0, 1) P (X = a) = p, P (X = b) = 1 p. Momenty: EX = pa + (1 p)b, D 2 (X) = (a b) 2 p(1 p).

12 12 ozdział 1. Zmienne losowe i wektory losowe Bernoullego Parametry: n N, p (0, 1). ( ) n P (X = k) = p k q n k, k = 0, 1,..., n, gdzie q = 1 p. k Momenty: EX = np, D 2 (X) = npq. Ujemny dwumianowy Parametry: r > 0, p (0, 1). ( ) r + k 1 P (X = k) = p r q k, k N {0}, gdzie q = 1 p. k Przypomnijmy, że jeżeli r nie jest liczbą naturalną, to symbol Newtona jest rozumiany jako ( ) r + k 1 Γ(r + k) =, k Γ(r)k! gdzie Γ(α) = 0 x α 1 e x dx 1. Momenty: EX = rq p, D2 (X) = rq p 2. Geometryczny Parametry: p (0, 1). Momenty: EX = 1 p, D2 (X) = q p 2. Przesunięty geometryczny Parametry: p (0, 1). P (X = k) = pq k 1, k N, gdzie q = 1 p. P (X = k) = pq k, k N {0}, gdzie q = 1 p. Momenty: EX = q p, D2 (X) = q p 2. Jeżeli X ma rozkład geometryczny, to X 1 ma rozkład przesunięty geometryczny. Poissona Parametry: λ > 0. λ λk P (X = k) = e k!, k N {0}. Momenty: EX = λ, D 2 (X) = λ. ozkład Poissona z parametrem λ > 0 będziemy oznaczali symbolem P(λ). 1 funkcja Γ uważana jest za rozszerzenie funkcji silnia, gdyż Γ(n) = (n 1)!, n N

13 ozdział 1. Zmienne losowe i wektory losowe 13 Przykład 1.2. (ozkład Bernoullego) Niech X ma rozkład Bernoullego z parametrami n N i p (0, 1). Wtedy EX = n ( ) n n k p k (1 p) n k n! = k k k!(n k)! pk (1 p) n k k=0 = n (n 1)! np (k 1)!(n 1 (k 1))! pk 1 (1 p) n 1 (k 1) n 1 = np l=0 (n 1)! l!(n 1 l)! pl (1 p) n 1 l = np, ponieważ suma po prawej stronie przedostatniej równości jest równa (p + 1 p) n 1 = 1. Podobnie n ( ) n n EX 2 = k 2 p k (1 p) n k n! = k k (k 1)!(n k)! pk (1 p) n k k=0 n = n(n 1)p 2 (n 2)! (k 2)!(n 2 (k 2))! pk 2 (1 p) n 2 (k 2) k=2 n (n 1)! +np (k 1)!(n 1 (k 1))! pk 1 (1 p) n 1 (k 1) n 2 ( ) n 2 n 1 ( ) n 1 = n(n 1)p 2 p l (1 p) n 2 l + np p l (1 p) n 1 l l l l=0 = n(n 1)p 2 + np. Dlatego EX 2 = n(n 1)p 2 + np. Uwzględniając, że EX = np otrzymujemy D 2 (X) = EX 2 (EX) 2 = n(n 1)p 2 + np (np) 2 = np(1 p). Przykład 1.3. (ozkład Poissona) Niech X ma rozkład Poissona z parametrem λ > 0. Najpierw zauważmy, że EX = k=0 gdyż l=0 λl /! = e λ. Ponieważ EX 2 = k λk k! e λ = λe λ k=0 = λ 2 e λ k 2 λk k! e λ = k=2 = (λ 2 + λ)e λ l=0 λ k 1 (k 1)! = λe λ l=0 λ l l! = λ, λ k (k 1 + 1) (k 1)! e λ λ k 2 (k 2)! + λe λ l=0 więc D 2 (X) = EX 2 (EX) 2 = λ 2 + λ λ 2 = λ. λ l l! = λ2 + λ, λ k 1 (k 1)!

14 14 ozdział 1. Zmienne losowe i wektory losowe Przykładowe rozkłady absolutnie ciągłe Załóżmy teraz, że X ma rozkład absolutnie ciągły z gęstością p(x). Wtedy zgodnie z (1.4) EX = xp(x) dx, (1.7) o ile x p(x) dx < + oraz D 2 (X) = EX 2 (EX) 2 = jeżeli x2 p(x) dx < +. x 2 p(x) dx ( xp(x) dx) 2 (1.8) Wśród rozkładów absolutnie ciągłych wyróżniamy rozkłady: Jednostajny Parametry: a, b a < b. Gęstość: Momenty: EX = b + a 2, D2 (X) = Normalny Parametry: m, σ > 0. Gęstość: p(x) = 1 b a 1 (a,b)(x). (b a)2. 12 p(x) = 1 σ m)2 exp { (x }. 2π 2σ 2 Momenty: EX = m, D 2 (X) = σ 2. ozkład normalny z parametrami m, σ > 0 oznaczać będziemy dalej symbolem N (m, σ 2 ). Wykładniczy Parametry: λ > 0. Gęstość: p(x) = λe λx 1 (0,+ ) (x). Momenty: EX = 1 λ, D2 (X) = 1 λ 2. Gamma Parametry: β > 0, α > 0. Gęstość: p(x) = gdzie Γ(α) = 0 x α 1 e x dx. Momenty: EX = α β, D2 (X) = α β 2. βα Γ(α) xα 1 e βx 1 (0,+ ) (x),

15 ozdział 1. Zmienne losowe i wektory losowe 15 Pareto Parametry: α > 0, x 0 > 0. Gęstość: p(x) = αxα 0 x α+1 1 (x 0,+ )(x). Momenty: EX = αx 0 α 1, dla α > 1, D2 (X) = Lognormalny Parametry: m, σ > 0. Gęstość: p(x) = 1 xσ 2π αx 2 0, dla α > 2. (α 2)(α 1) x m)2 exp { (ln }1 2σ 2 (0,+ ) (x). Momenty: EX = e m+σ2 /2, D 2 (X) = (e σ2 1)e 2m+σ2. Przykład 1.4. (ozkład jednostajny) Niech X ma rozkład jednostajny na (a, b). Wtedy oraz co pociąga, iż EX = x 1 b a 1 (a,b)(x) dx = 1 b a = b2 a 2 2(b a) = a + b. 2 EX 2 = x 2 1 b a 1 (a,b)(x) dx = 1 b a = b3 a 3 3(b a) = a2 + ab + b 2, 3 D 2 (X) = EX 2 (EX) 2 = a2 + ab + b 2 3 b a b a x dx = 1 b a x 2 dx = 1 b a (a + b)2 4 = x 2 2 x 3 3 b a (a b)2. 12 Uwaga 1.2. Niech c, d, c 0. Jeżeli X ma rozkład normalny N (m, σ 2 ), to Y = cx+d ma rozkład normalny N (cm + d, c 2 σ 2 ). Wystarczy zastosować twierdzenie 1.5 dla funkcji f(x) = cx + d. zeczywiście w tym przypadku f 1 (y) = (y d)/c i stąd gęstość rozkładu Y jest postaci g(y) = p(f 1 (y)) (f 1 ) (y) = p( y d ) 1 c c = 1 c σ d cm)2 exp { (y }, y. 2π 2c 2 σ 2 Przykład 1.5. (ozkład normalny) Niech X ma rozkład normalny z parametrami m i σ > 0. ozważmy najpierw zmienną losową Z = (X m)/σ. Ponieważ Z ma rozkład normalny N (0, 1), więc EZ = x 1 exp( x2 ) dx = 0, 2π 2 b a

16 16 ozdział 1. Zmienne losowe i wektory losowe gdyż funkcja podcałkowa jest antysymetryczna. Ponadto D 2 (Z) = EZ 2 = x 2 1 exp( x2 2π 2 ) dx i korzystając z wzoru na całkowanie przez części dostajemy D 2 (Z) = x 1 exp( x2 2π 2 ) exp( x2 ) dx = 1. 2π 2 Stąd EX = E(σZ + m) = σez + m = m oraz D 2 (X) = D 2 (σz + m) = σ 2 D 2 (Z) = σ Wektory losowe i ich rozkłady Niech B d oznacza σ-algebrę podzbiorów borelowskich d, d N. Definicja 1.4. d-wymiarowym wektorem losowym na (Ω, F, P ) nazywamy odwzorowanie X = (X 1,..., X d ) T : Ω d takie, że dla każdego B B d X 1 (B) F. Ponieważ B d jest generowana przez zbiory postaci d i=1(, a i ], a i, więc z twierdzenia 5.1 z Dodatku wynika, że X : Ω d jest wektorem losowym wtedy i tylko wtedy, gdy Ponieważ X 1 ( d i=1(, a i ]) F, a i, i = 1,..., d. X 1 ( d i=1(, a i ]) = d i=1 X 1 i ((, a i ]) oznacza to, że X jest wektorem losowym na (Ω, F, P ) dokładnie wtedy, gdy jego współrzędne tzn. odwzorowania X i : Ω są zmiennymi losowymi na (Ω, F, P ). Definicja 1.5. (i) ozkładem prawdopodobieństwa na ( d, B d ) nazywamy każdą miarę probabilistyczną µ na ( d, B d ). (ii) ozkładem wektora losowego X nazywamy rozkład prawdopodobieństwa P X na ( d, B d ) określony wzorem P X(B) = P ( X 1 (B)), B B d. Definicja 1.6. (i) Dystrybuantą rozkładu prawdopodobieństwa µ na ( d, B d ) nazywamy funkcję F µ : d [0, 1] określoną wzorem F µ (ā) = F µ (a 1,..., a d ) = µ( d i=1(, a i ]), ā = (a 1,..., a d ) T d. (ii) Dystrybuantą wektora losowego X nazywamy dystrybuantę jej rozkładu P X i oznaczamy ją symbolem F X lub F (X1,...,X d ) tzn. F X(ā) = F X(a 1,..., a d ) = P ( X d i=1(, a i ]) = P (X 1 a 1,..., X d a d ).

17 ozdział 1. Zmienne losowe i wektory losowe 17 Uwaga 1.3. (a) Dystrybuanta rozkładu na ( d, B d ) ma podobne własności i znaczenie jak dystrybuanta rozkładu jednowymiarowego. W szczególności jeżeli µ, ν są rozkładami ( d, B d ) oraz F µ = F ν, to µ = ν. (b) W przypadku wielowymiarowym bardzo podobnie jak w jednowymiarowym definiujemy rozkłady dyskretne, absolutnie ciągłe i osobliwe. W tym przypadku prawdziwa jest też wersja twierdzenia Lebesgue a o rozkładzie. Definicja 1.7. (i) Wartością oczekiwaną wektora losowego X = (X 1,..., X d ) T nazywamy wektor E X = (EX 1,..., EX d ) T, o ile wszystkie współrzędne mają wartość oczekiwaną. (ii) Macierzą kowariancji wektora losowego X nazywamy macierz Cov( X) = [cov(x i, X j )] i,j=1,...,d tzn. Cov( X) ij = cov(x i, X j ) = E(X i EX i )(X j EX j ) dla i, j = 1,..., d, o ile wszystkie kowariancje cov(x i, X j ) są dobrze określone. Wariancją wektora X nazywamy ślad macierzy Cov( X) tzn, D 2 ( X) = E d (X i EX i ) 2 = E X E X 2, i=1 gdzie ā = d i=1 a2 i, ā = (a 1,..., a d ) T d. Nietrudno zauważyć, że wartość oczekiwana wektorów losowych posiada własność liniowości czyli dla dowolnych stałych a, b i dowolnych całkowalnych wektorów X, Ȳ (tzn. takich, że E X, E Y < + ) zachodzi równość E(a X + bȳ ) = ae X + beȳ. Macierz kowariancji jest symetryczna i nieujemnie określona. zeczywiście Cov( X) ij = E(X i EX i )(X j EX j ) = E(X j EX j )(X i EX i ) = Cov( X) ji oraz dla każdego ā = (a 1,..., a d ) T d < ā, Cov( X)ā > = d i=1 = E a i d i=1 d cov(x i, X j )a j j=1 d (X i EX i )a i (X j EX j )a j = E j=1 d (X i EX i ) 2 0, gdzie < ā, b >= d i=1 a ib i jest iloczynem skalarnym w d. Dla wektorów losowych prawdziwe jest również twierdzenie o zmianie miary. Jeżeli f : d jest odwzorowaniem borelowskim, to Ef( X) istnieje dokładnie wtedy, gdy istnieje f( x) P X(d x). Jeżeli istnieją, to są równe tzn. d Ef( X) = f( x) P X(d x). d i=1

18 18 ozdział 1. Zmienne losowe i wektory losowe Twierdzenie 1.6. Jeżeli X jest d-wymiarowym wektorem losowym z wartością oczekiwaną E X i macierzą kowariancji Cov( X), C jest macierzą d m wymiarową, a ā m, to Ȳ = C X + ā jest wektorem losowym m-wymiarowym, dla którego (i) EȲ = CE X + ā, (ii) Cov(Ȳ ) = C Cov( X) C T. Dowód. Zauważmy najpierw, że dla dowolnych x, ȳ d zachodzą równości < ȳ, E X >= E < ȳ, X >, (1.9) < x, Cov( X)ȳ >= cov(< x, X >, < ȳ, X >). (1.10) Pierwsza z nich wynika w prosty sposób z definicji iloczynu skalarnego i liniowości wartości oczekiwanej. W celu uzasadnienia drugiej zauważmy, że < x, Cov( X)ȳ d d > = E x i (X i EX i )y j (X j EX j ) i=1 j=1 = E < x, X E X >< ȳ, X E X > = E(< x, X > < x, E X >)(< ȳ, X > < ȳ, E X >) = cov(< x, X >, < ȳ, X >). Wykorzystując wielokrotnie (1.9) i (1.10) dla dowolnych x, ȳ n mamy oraz < x, EC X > = E < x, C X >= E < C T x, X > = < C T x, E X >=< x, CE X > < x, Cov(C X)ȳ > = cov(< x, C X >, < ȳ, C X >) = cov(< C T x, X >, < C T ȳ, X >) = < C T x, Cov( X)C T ȳ > = < x, C Cov( X) C T ȳ >. Z dowolności x, ȳ wnioskujemy tezę twierdzenia dla ā = 0. Aby uzyskać przypadek ogólny wystarczy zauważyć, że dla dowolnego wektora losowego Z zachodzą równości E( Z +ā) = E Z + ā i Cov( Z + ā) = Cov( Z). Twierdzenie 1.7. Jeżeli wektor losowy X ma rozkład absolutnie ciągły o gęstości p( x) i zbór wartości X zawiera się w pewnym zbiorze otwartym U d. Jeżeli T : U V = T (U) jest dyfeomorfizmem zbiorów otwartych (tzn. T jest klasy C 1, różnowartościowe, det DT (x) 0 dla x U), to wektor losowy Ȳ = T ( X) ma rozkład absolutnie ciągły o gęstości g(ȳ) = p(h(ȳ)) det DH(ȳ)1 T (U)) (ȳ), gdzie H(ȳ) = T 1 (ȳ). Przypomnijmy, że DH jest macierzą Jacobiego tzn. macierzą postaci DH(ȳ) = [ H i y j (ȳ)] i,j=1,...,d.

19 ozdział 1. Zmienne losowe i wektory losowe Niezależność zmiennych losowych Niech (Ω, F, P ) będzie przestrzenią probabilistyczną, d N. Definicja 1.8. (i) Zmienne losowe X 1,..., X d określone na (Ω, F, P ) nazywamy niezależnymi, jeżeli dla dowolnych zbiorów borelowskich B 1,..., B d P (X 1 B 1,..., X d B d ) = P (X 1 B 1 )... P (X d B d ). (1.11) (ii) Zmienne losowe {X i } i I tworzą rodzinę zmiennych losowych niezależnych jeżeli ich każdy skończony podzbiór składa się ze zmiennych losowych niezależnych. Uwaga 1.4. Jeżeli {X i } i I tworzy rodzinę zmiennych losowych niezależnych oraz I 0 I, to {X i } i I0 też tworzy rodzinę niezależnych zmiennych losowych. Definicja 1.9. (i) ozkładem łącznym zmiennych losowych X 1,..., X d nazywamy rozkład wektora losowego X = (X 1,..., X d ) T. Oznaczamy go symbolem P (X1,...,X d ). (ii) ozkładami brzegowymi P (X1,...,X d ) nazywamy rozkłady jego poszczególnych współrzędnych P X1,..., P Xd. Uwaga 1.5. Jeżeli X 1,..., X d są niezależnymi zmiennymi losowymi, to ich rozkład łączny jest wyznaczony przez rozkłady brzegowe. W istocie można pokazać ogólniejszy fakt. Twierdzenie 1.8. Dla zmiennych losowych X 1,..., X d na (Ω, F, P ) następujące warunki są równoważne: (i) zmienne losowe są niezależne, (ii) P (X1,...,X d ) = P X1... P Xd, (iii) dla wszystkich a 1,..., a d F (X1,...,X d )(a 1,..., a d ) = F X1 (a 1 )... F Xd (a d ). Dowód. (i) (ii) Wykorzystując (1.11) dla dowolnych zbiorów borelowskich B 1,..., B d P (X1,...,X d )(B 1... B d ) = P (X 1 B 1,..., X d B d ) = P (X 1 B 1 )... P (X d B d ) = P X1 (B 1 )... P Xd (B d ) = P X1... P Xd (B 1... B d ). Ponieważ klasa prostokątów mierzalnych generuje B d i jest zamknięta ze względu na skończone przekroje więc wykorzystując twierdzenie 5.2 z Dodatku P (X1,...,X d ) = P X1... P Xd. (ii) (i) Wykorzystując (ii) dla dowolnych zbiorów borelowskich B 1,..., B d P (X 1 B 1,..., X d B d ) = P (X1,...,X d )(B 1... B d ) = P X1 (B 1 )... P Xd (B d ) = P (X 1 B 1 )... P (X d B d ),

20 20 ozdział 1. Zmienne losowe i wektory losowe co oznacza niezależność X 1,..., X d. (i) (iii) W (1.11) podstawiamy B i = (, a i ], i = 1,..., d. (iii) (ii) Powtarzamy rozumowanie z uzasadnienia pierwszej implikacji. Dla dowolnych a 1,..., a d P (X1,...,X d )( d i=1(, a i ]) = F (X1,...,X d )(a 1,..., a d ) = F X1 (a 1 )... F Xd (a d ) = P (X 1 a 1,..., X d a d ) = P X1... P Xd ( d i=1(, a i ]). Ponieważ klasa zbiorów postaci d i=1(, a i ], a 1,..., a d także generuje B d i jest zamknięta ze względu na skończone przekroje więc ponownie wykorzystując twierdzenie 5.2 dowód jest zakończony. Wniosek 1.1. Jeżeli zmienne losowe X 1,..., X d mają rozkłady dyskretne, to są one niezależne wtedy i tylko wtedy, gdy dla dowolnych x 1,..., x d takich, że P (X i = x i ) > 0, i = 1, 2..., d P (X 1 = x 1,..., X d = x d ) = P (X 1 = x 1 )... P (X d = x d ). (1.12) Dowód. Aby pokazać, że z niezależności wynika (1.12) wystarczy w (1.11) podstawić B i = {x i }, i = 1, 2,..., d. W celu dowodu odwrotnej tezy oznaczmy J i (a) = {x : P (X i = x) > 0, x a}, i = 1, 2,..., d, a i zauważmy, że korzystając z (1.12) dla dowolnych a 1,..., a d F (X1,...,X d )(a 1,..., a d ) = = = x i J i (a i ), i=1,...,d x i J i (a i ), i=1,...,d x 1 J 1 (a 1 ) P (X 1 = x 1,..., X d = x d ) P (X 1 = x 1 )... P (X d = x d ) P (X 1 = x 1 )... = F X1 (a 1 )... F Xd (a d ), a więc spełniony jest warunek (iii) z twierdzenia 1.8. x d J d (a d ) P (X d = x d ) Wniosek 1.2. Jeżeli zmienne losowe X 1,..., X d mają rozkłady absolutnie ciągłe z gęstościami odpowiednio p 1 (x 1 ),...,p d (x d ), to są one niezależne wtedy i tylko wtedy, gdy P (X1,...,X d ) jest rozkładem absolutnie ciągłym z gęstością p(x 1,..., x d ) = p 1 (x 1 )... p d (x d ), (1.13) gdzie powyższa równość zachodzi prawie wszędzie względem d-wymiarowej miary Lebesgue a

21 ozdział 1. Zmienne losowe i wektory losowe 21 Dowód. Kluczowym elementem dowodu jest spostrzeżenie, że dzięki (1.13) i twierdzeniu Fubiniego dla dowolnych a 1,..., a d F (X1,...,X d )(a 1,..., a d ) =... p(x 1,..., x d )dx 1...dx d (,a i ] (,a d ] =... p 1 (x 1 ).. p d (x d )dx 1...dx d (,a i ] (,a d ] = p 1 (x 1 )dx 1.. p d (x d )dx d (,a i ] = F X1 (a 1 )... F Xd (a d ). (,a d ] Przypomnijmy, że zdarzenia A 1,..., A d na (Ω, F, P ) nazywamy niezależnymi jeżeli dla dowolnych podzbiorów {i 1,..., i n } {1,..., d}, n d spełniony jest warunek P (A i1... A in ) = P (A i1 )... P (A in ). Wniosek 1.3. Zdarzenia A 1,..., A d są niezależne wtedy i tylko wtedy, gdy niezależne są zmienne losowe 1 A1,..., 1 Ad. Dowód. Wynika z definicji niezależności zdarzeń i kryterium niezależności dla dyskretnych zmiennych losowych. Definicja (i) σ-algebry F 1,..., F d na (Ω, F, P ) nazywamy niezależnymi, jeżeli dla dowolnych zdarzeń A 1 F 1,..., A d F d P (A 1... A d ) = P (A 1 )... P (A d ). (1.14) (ii) σ-algebry {F i } i I tworzą rodzinę niezależnych σ-algebr jeżeli ich każdy skończony podzbiór składa się z σ-algebr niezależnych. Z wykorzystaniem pojęcia niezależności σ-algebr można udowodnić następującą charakteryzację niezależności zmiennych losowych. Twierdzenie 1.9. Dla zmiennych losowych X 1,..., X d na (Ω, F, P ) następujące warunki są równoważne: (i) zmienne losowe są niezależne, (ii) σ-algebry σ(x 1 ),...,σ(x d ) są niezależne, (iii) dla wszystkich funkcji borelowskich f 1,..., f d : zmienne losowe f 1 (X 1 ),...,f d (X d ) są niezależne. Twierdzenie Jeżeli X, Y są niezależnymi, całkowalnymi zmiennymi losowymi, to (i) ich iloczyn XY jest całkowalną zmienną losową,

22 22 ozdział 1. Zmienne losowe i wektory losowe (ii) EXY = EX EY. Dowód. Ad. (i) W dowodzie wykorzystamy twierdzenie o zmianie miary i twierdzenie Fubiniego dla zmiennych losowych nieujemnych. Zauważmy, że dzięki charakteryzacji niezależności z części (ii) twierdzenia 1.3 oraz dzięki wymienionym dwóm twierdzeniom E XY = xy P (X,Y ) (dx, dy) = 2 x y P X P Y (dx, dy) 2 = x P X (dx) y P Y (dy) = E X E Y < +. Ad. (ii) Wystarczy powtórzyć argumenty z (i) stosując twierdzenie Fubiniego dla zmiennych losowych całkowalnych. Wtedy EXY = xy P (X,Y ) (dx, dy) = 2 x y P X P Y (dx, dy) 2 = x P X (dx) y P Y (dy) = EX EY, co kończy dowód. Bezpośrednio z powyższego twierdzenia i twierdzenia 1.9 wynika następujący fakt. Wniosek 1.4. Jeżeli X 1,..., X d są niezależnymi zmiennymi losowymi, a f 1,..., f d : są funkcjami borelowskimi, dla których zmienne losowe f i (X i ) są całkowalne, i = 1,..., d, to Ef 1 (X 1 )... f d (X d ) = Ef 1 (X 1 )... Ef d (X d ). Definicja (i) Mówimy, że zdarzenia {A i } i I są niezależne parami jeżeli dla wszystkich i, j I, i j zdarzenia A i i A j są niezależne. (ii) Mówimy, że zmienne losowe {X i } i I są niezależne parami jeżeli dla wszystkich i, j I, i j zmienne losowe X i i X j są niezależne. Przykład 1.6. (Przykład Bernsteina) Niezależność parami nie implikuje niezależności łącznej. Weźmy Ω = {ω 1, ω 2, ω 3, ω 4 } z prawdopodobieństwem klasycznym P ({ω i }) = 1/4. Niech A = {ω 1, ω 2 }, B = {ω 1, ω 3 }, a C = {ω 1, ω 4 }. Ponieważ P (A) = P (B) = P (C) = 1/2 oraz P (A B) = P (A C) = P (B C) = 1/4, więc zdarzenia A, B, C są niezależne parami. Z drugiej strony P (A B C) = co pociąga iż A, B, C nie są niezależne. = P (A)P (B)P (C), Definicja Mówimy, że zmienne losowe {X i } i I są nieskorelowane, jeżeli dla wszystkich i, j I, i j, cov(x i, X j ) = 0. Zauważmy, że z twierdzenia 1.10 wynika, iż zmienne losowe niezależne posiadające kowariancję są nieskorelowane. zeczywiście w tym przypadku cov(x i, X j ) = E(X i EX i )(X j EX j ) = EX i X j EX i EX j = 0.

23 ozdział 1. Zmienne losowe i wektory losowe 23 Twierdzenie Jeżeli X 1,..., X d są nieskorelowanymi zmiennymi losowymi o skończonej wariancji, to d d D 2 ( X i ) = D 2 (X i ). Dowód. Nietrudno zauważyć, że i=1 i=1 i=1 d d d d D 2 ( X i ) = E( X i E( X i )) 2 = E( (X i EX i )) 2 = E{ = i=1 i=1 d (X i EX i ) i=1 d D 2 (X i ) + 2 i=1 1 i<j d 1 i<j d i=1 cov(x i, X j ) = (X i EX i )(X j EX j )} d D 2 (X i ). Definicja Współczynnikiem korelacji zmiennych losowych X, Y o skończonej wariancji nazywamy liczbę { cov(x,y ) jeżeli D 2 (X)D 2 (Y ) 0 ρ X,Y = D 2 (X) D 2 (Y ) 0 w przeciwnym razie. Współczynnik korelacji ρ X,Y jest miarą zależności pomiędzy X i Y. Jeżeli X, Y są niezależne, to cov(x, Y ) = 0 i ρ X,Y = 0. Z drugiej strony ρ X,X = 1, a ρ X, X = 1. Ogólnie prawdziwy jest następujący fakt. Twierdzenie (i) ρ X,Y 1, (ii) ρ X,Y = 1 wtedy i tylko wtedy, gdy istnieją stałe a, b, a 0 takie, że X = ay +b lub Y = ax + b. i= Zadania Zad Niech X będzie zmienną losową o rozkładzie absolutnie ciągłym z gęstością p(x). Jaki rozkład ma zmienna losowa Y = cx + d dla c, d, c 0. Zad Pokazać, że jeżeli X jest zmienną losową o rozkładzie normalnym N (0, 1), to Y = X 2 ma rozkład o gęstości g(y) = 1 2πy exp( y 2 )1 (0, )(y), y +. Zad Podaj przykład zmiennych losowych nieskorelowamych, ale zależnych.

24 24 ozdział 1. Zmienne losowe i wektory losowe Zad Niech X 1,..., X n będą niezależnymi zmiennymi losowymi o tym samym rozkładzie dwupunktowym takim, że dla ustalonego p (0, 1) P (X i = 1) = p, P (X i = 0) = 1 p, i = 1,..., n. Pokazać, że zmienna losowa S n = n i=1 X i ma rozkład Bernoullego z parametrami n oraz p tzn. ( ) n P (S n = k) = p k (1 p) n k, k = 0, 1,..., n. k Zad ozkład łączny zmiennych losowych X, Y dany jest wzorem P ((X, Y ) = (m, n)) = c, m, n N {0} 3 m+1 2n dla pewnego c > 0. (a) Wyznacz c. Znajdź rozkłady brzegowe X i Y. Czy są to zmienne losowe niezależne? Czy są one nieskorelowane? (b)wyznacz P (X = Y ), wartość oczekiwaną i macierz kowariancji wektora (X, Y ) T. (c) Wyznacz rozkład zmiennej Z = X + Y. Zad Przedmiot można zaliczyć do pierwszego gatunku z prawdopodobieństwem p 1, do drugiego gatunku z prawdopodobieństwem p 2 lub uznać za wadliwy z prawdopodobieństwem p 3 = 1 p 1 p 2. Przetestowano n przedmiotów. Wyznaczyć rozkład prawdopodobieństwa różnych liczb przedmiotów pierwszego i drugiego gatunku, ich wartości oczekiwane i kowariancję. Zad Dana jest funkcja p(x, y) = { cxy 1 x 2, 2 y 4 0 w przeciwnym razie. Wyznacz stała c tak, aby funkcja ta była gęstością rozkładu. Wyznacz w tym przypadku gęstości rozkładów brzegowych. Zad Wektor (X, Y ) T ma rozkład o gęstości p(x, y) = (0,2x](y)1 (0, ) (x)e x 2y. Znajdź gęstości brzegowe zmiennych X i Y oraz sprawdź, czy zmienne te są niezależne. Zad Zmienne losowe X 1 i X 2 są niezależne i mają rozkłady absolutnie ciągłe o gestościach odpowiednio równych p 1 (x 1 ), p 2 (x 2 ). Wyznacz gęstość zmiennej losowej Z = ax 1 + bx 2. Zad Niech X 1 i X 2 będą niezależnymi zmiennymi losowymi o jednakowym rozkładzie jednostajnym na odcinku (0, 1). Znajdź gęstość zmiennej losowej Z = X 1 X 2.

25 25 ozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe 2.1. Warunkowa wartość oczekiwana względem zdarzenia Niech (Ω, F, P ) będzie przestrzenią probabilistyczną i niech A F będzie zdarzeniem takim, ze P (A) > 0. Wiadomo, że odwzorowanie P A : F [0, 1] zadane wzorem P A (B) = P (B A) = P (A B), B F P (A) jest prawdopodobieństwem na (Ω, F) i nazywamy je prawdopodobieństwem warunkowym. Niech X będzie całkowalną zmienną losową na (Ω, F, P ). Definicja 2.1. Warunkową wartością oczekiwaną zmiennej losowej X względem zdarzenia A nazywamy liczbę E(X A) = X dp A. Nietrudno zauważyć, że E(X A) = 1 X dp. P (A) A Aby to formalnie uzasadnić należy wykorzystać indukcję mierzalną. Dla X = 1 B, B F oczywistym jest, że Ω 1 B dp A = P (B A) = Ω P (A B) P (B) = 1 1 B dp. P (A) A Kolejne kroki indukcji mierzalnej w których X jest zmienną losową prostą, nieujemną i całkowalną łatwo wynikają z liniowości całki i twierdzenia Lebesgue a o zbieżności całki. Twierdzenie 2.1. (Odpowiednik wzoru na prawdopodobieństwo całkowite) Jeżeli {A 1, A 2,...} stanowi rozbicie przestrzeni Ω tzn. i=1 A i = Ω, gdzie A i F, P (A i ) > 0, A i A j =, j i, i, j N, to EX = E(X A i )P (A i ). i=1

26 26 ozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe Dowód. Wynika z ciągu równości EX = Ω X dp = = 1 X dp = P (A i ) X dp i=1 A i P (A i=1 i ) A i P (A i )E(X A i ). i=1 Definicja 2.2. Jeżeli {A 1, A 2,...} stanowi rozbicie przestrzeni Ω oraz G = σ(a i : i N), to warunkową wartością oczekiwaną zmiennej losowej X względem G nazywamy zmiennę losową E(X G) równą E(X G) = E(X A i )1 Ai. i=1 Zauważmy, że tak określona zmienna losowa jest G-mierzalna oraz dla każdego zbioru B G zachodzi równość X dp = E(X G) dp. B B Istotnie, jeżeli B G, to jest postaci B = k K A i k, gdzie K jest skończony lub przeliczalny. Stąd X dp = = E(X A ik )P (A ik ) B k K A ik k K = E(X A ik )dp = E(X A ik )1 Aik dp k K A ik B k K = E(X G) dp. B 2.2. Warunkowa wartość oczekiwana względem σ-algebry Definicja 2.3. Niech G F będzie σ-algebrą zbiorów, a X całkowalną zmienną losową na (Ω, F, P ). Warunkową wartością oczekiwaną X względem G nazywamy zmiennę losową E(X G) spełniającą warunki (i) E(X G) jest G-mierzalna, (ii) dla każdego zbioru B G X dp = E(X G) dp. B B Twierdzenie 2.2. Dla dowolnej σ-algebry G F i całkowalnej zmiennej losowej X istnieje wyznaczona jednoznacznie (P -p.w.) warunkowa wartość oczekiwana.

27 ozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe 27 Zauważmy, że jeżeli G = {, Ω}, to warunkowa wartość oczekiwana pokrywa się z klasyczną wartością oczekiwaną tzn. E(X G) = EX. Z kolei w przypadku, gdy X jest zmienną losową G-mierzalną to E(X G) = X. Bezpośrednio z definicji wynikają też następujące własności warunkowej wartości oczekiwanej. Twierdzenie 2.3. (Podstawowe własności warunkowej wartości oczekiwanej) Niech X, Y będą całkowalnymi zmiennymi losowymi, a G F niech będzie zadaną σ-algebrą zbiorów. (i) Dla dowolnych a, b (ii) Jeżeli X Y, to E(X G) E(Y G). (iii) E(X G) E( X G). E(aX + by G) = ae(x G) + be(y G). Nietrudno zauważyć, że jeżeli zmienna losowa X jest niezależna od σ-algebry G, to E(X G) = EX. Istotnie, ponieważ EX jako stała jest mierzalna względem każdej σ- algebry, wystarczy w tym celu pokazać, że dla każdego A G X dp = EX dp. A Niech A G. Ponieważ X jest niezależna od G więc zmienne losowe 1 A, X są niezależne. Stąd i z twierdzenia 1.10 X dp = 1 A X dp = 1 A dp X dp A Ω Ω Ω = P (A)EX = EX dp. A A Jeżeli {X n } jest ciągiem zmiennych losowych na (Ω, F, P ) takim, że X n istnieje całkowalna zmienna losowa Y, dla której X n Y, n N, to P X oraz E(X n G) P E(X G). (2.1) Wynika to w istocie z mocniejszej zbieżności E X n X 0 gdyż bezpośrednio z twierdzenia 2.3(iii) i wniosku 5.1 E E(X n G) E(X G) = E E(X n X G) EE( X n X G) = E X n X 0. Z drugiej strony dla każdego ɛ > 0 P ( E(X n G) E(X G) ɛ) ɛ 1 E E(X n G) E(X G), co pociąga (2.1). Aby uzyskać zbieżność warunkowych wartości oczekiwanych P -p.w. musimy zakładać zbieżność w tym samym sensie wyjściowego ciągu zmiennych losowych. Dowód w tym przypadku jest dużo trudniejszy dlatego go opuszczamy.

28 28 ozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe Twierdzenie 2.4. Jeżeli {X n } jest ciągiem zmiennych losowych na (Ω, F, P ) takim, że X n X P -p.w. oraz istnieje całkowalna zmienna losowa Y dla, której X n Y, n N, to E(X n G) E(X G) P -p.w. Twierdzenie 2.5. Jeżeli zmienna losowa X jest G-mierzalna oraz zmienne losowe Y i XY są całkowalne, to E(XY G) = X E(X G). Twierdzenie 2.6. Jeżeli zmienna losowa X jest całkowalna i są dane dwie σ-algebry G 1, G 2 takie, że G 1 G 2 F, to E(E(X G 2 ) G 1 ) = E(X G 1 ). Na zakończenie tego podrozdziału podamy przykłady praktycznego wyliczenia warunkowych wartości oczekiwanych. Przyjmiemy wygodną konwencję, że w przypadku gdy σ- algebra G jest generowana przez zmienną losową Y tzn. G = σ(y ), to warunkową wartość oczekiwaną E(X G) = E(X σ(y )) będziemy oznaczali symbolem E(X Y ). Przykład 2.1. Niech {X n } będzie ciągiem niezależnych zmiennych losowych o tym samym rozkładzie, a N niech będzie zmienną losową o wartościach w N {0} niezależną od {X n }. Będziemy rozważali losowe sumy S N = X 1 + X X N. (2.2) Sumy takiej postaci mają praktyczne zastosowania w modelach teorii ryzyka. Jeżeli E X 1 < + oraz EN < +, to E(S N N) = NE(X 1 ). (2.3) Aby to uzyskać zauważmy, że bezpośrednio z definicji warunkowej wartości oczekiwanej w przypadku σ-algebry generowanej przez rozbicie E(S N N) = = E(S N N = i)1 {N=i} = i=0 E(S i )1 {N=i} = i=0 = E(X 1 )N. Całkując (2.3) otrzymujemy równość nazywaną często tożsamością Walda. E(S i N = i)1 {N=i} i=0 ie(x 1 )1 {N=i} i=0 E(S N ) = E(X 1 )E(N))

29 ozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe ozkłady warunkowe Niech X, Y będą zmiennymi losowymi na (Ω, F, P ). Załóżmy dodatkowo, że X jest całkowalna. Twierdzenie 2.7. Istnieje funkcja borelowska h : taka, że E(X Y ) = h(y ). Dowód. W dowodzie wykorzystuje się fakt, że jeżeli dowolna zmienna losowa Z jest σ(y ) mierzalna, to istnieje funkcja borelowska h : taka, że Z = h(y ). Uzasadnimy dokładnie powyższy fakt w przypadku, gdy Z jest prostą zmienną losową. Niech Z będzie postaci Z + n i=1 a i1 Ai, gdzie A i F, A i A j = dla j i, i, j = 1, 2,..., n, n i=1 A i = Ω. Z założenia A i σ(y ). Stąd istnieją zbiory borelowskie B 1,..., B n takie, że A i = Y 1 (B i ). Ponieważ zbiory B 1,..., B n nie muszą być rozłączne definiujemy C i = B i \ i 1 j=1 B j, i = 1, 2,..., n. Zauważmy, że Y 1 (C i ) = Y 1 (B i ) = A i i 1 j=1 i 1 j=1 A c j = A i. Y 1 (B c j) Pozwala to na zdefiniowanie funkcji h wzorem { ai jeżeli y C h(y) = i, i = 1,..., n 0 w przeciwnym razie. Ponieważ dla ω A i zachodzi Y (ω) C i, więc oznacza to, iż h(y (ω)) = a i dla i = 1, 2,..., n i stąd Z = h(y ). Definicja 2.4. Niech y. Warunkową wartością oczekiwaną zmiennej losowej X pod warunkiem {Y = y} nazywamy liczbę h(y), gdzie h jest funkcją otrzymaną w poprzednim twierdzeniu. Oznaczamy ją symbolem E(X Y = y). Jeżeli zmienna losowa Y ma rozkład dyskretny i P (Y = y) > 0, to z definicji warunkowej wartości oczekiwanej względem zdarzenia {Y = y} 1 E(X Y = y) = X dp. P (Y = y) {Y =y} Wartość ta jest równa wartości h(y) gdyż z definicji warunkowej wartości oczekiwanej względem σ-algebry generowanej przez rozbicia dla ω {Y = y} również 1 E(X Y )(ω) = X dp. P (Y = y) {Y =y} Uwaga 2.1. Wykorzystując definicję 2.4 dla y przyjmujemy, że:

30 30 ozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe (a) dla wszystkich A F P (A Y = y) = E(1 A Y = y), (b) dla wszystkich B B P (X B Y = y) = E(1 {X B} Y = y). Definicja 2.5. Niech y. ozkładem warunkowym zmiennej losowej X pod warunkiem {Y = y} nazywamy rozkład prawdopodobieństwa P X Y =y na (, B) taki, że dla każdego zbioru borelowskiego B B P X Y =y (B) = P (X B Y = y). Znając rozkład zmiennej losowej Y i rozkłady warunkowe P X Y =y, y możemy w prosty sposób wyznaczyć rozkład łączny (X, Y ) i w konsekwencji rozkład X. Ich postać wynika z następujących twierdzeń. Twierdzenie 2.8. Niech P Y oznacza rozkład zmiennej losowej Y, a P X Y =y, y rodzinę odpowiednich rozkładów warunkowych. ozkład łączny P (X,Y ) jest postaci P (X,Y ) (B C) = P X Y =y (B) dp Y (y) B, C B. C Twierdzenie 2.9. Jeżeli P Y jest rozkładem absolutnie ciągłym o gęstości p Y (y) i dla każdego y P X Y =y jest absolutnie ciągły z gęstością p X Y (x y), to rozkład łączny P (X,Y ) jest również absolutnie ciągły. Jego gęstość jest postaci p(x, y) = p X Y (x y) p Y (y). Można też postępować odwrotnie. Posiadając informacje na temat rozkładu łącznego możemy wyznaczać rozkłady brzegowe. Podane poniżej dwa twierdzenia opisują dokładnie przypadek dyskretny i absolutnie ciągły. Twierdzenie Niech X, Y będą zmiennymi losowymi dyskretnymi o rozkładzie łącznym P (X = x i, Y = y j ) = p ij i, j N. ozkłady warunkowe P X Y =yj, j N są rozkładami dyskretnymi takimi, że dla każdego zbioru borelowskiego B B P X Y =yj (B) = p i j, gdzie p i j = P (X = x i Y = y j ) = {i:x i B} p ij, i, j N. i=1 p ij Dowód. Wynika z ciągu oczywistych równości P X Y =yj (B) = P (X B Y = y j ) = P (X = x i Y = y j ) = {i:x i B} {i:x i B} p i j.

31 ozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe 31 Twierdzenie Niech X, Y będą zmiennymi losowymi dyskretnymi o rozkładzie łącznym absolutnie ciągłym z gęstością p(x, y). ozkłady warunkowe P X Y =y, y są również rozkładami absolutnie ciągłymi o gęstościach p X Y (x y) = p(x, y) p(x, y) = p(x, y)dx p Y (y), gdzie przyjmujemy, że prawa strona jest równa 0 w przypadku, gdy równy jest 0 jej mianownik Zadania Zad Niech X = 1 A będzie zmienną losową na (Ω, F, P ), niech też B F. Oznaczmy G = σ(b). Wyznacz E(X G). Zad Niech rozkład wektora (X, Y ) będzie dany tabelką: Jaka jest E(X Y )?. X\Y /4 1/ /4 1/4 Zad Niech {X n } będzie ciągiem niezależnych zmiennych losowych o tym samym rozkładzie, a N niech będzie zmienną losową o wartościach w N {0} niezależną od {X n }. Niech też S N = X 1 + X X N. Pokazać, że jeżeli EX 2 1 < + oraz EN 2 < +, to D 2 (S N N) = ND 2 (X 1 ). Zad Niech zmienna losowa Y ma rozkład Poissona z parametrem λ > 0, a P X Y =n, n N {0} mają rozkłady Bernoullego dla n prób ze stałym prawdopodobieństwem sukcesu p (0, 1). Wyliczyć rozkład zmiennej losowej X oraz E(X Y ). Zad Niech X 1,..., X n będą niezależnymi zmiennymi losowymi o tym samym rozkładzie dwupunktowym takim, że dla ustalonego p (0, 1) P (X i = 1) = p, P (X i = 0) = 1 p, i = 1,..., n. Niech też S n = n i=1 X i. Pokazać, że E(X 1 S n = k) = k, k = 0, 1,..., n. n

32 32 ozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe Zad Wektor (X, Y ) T ma rozkład absolutnie ciągły z gęstością p(x, y) = (x 2 + 2y 2 )1 (0,1) (x)1 (0,1) (y). Wyznacz gęstość warunkową f X Y (x y) oraz E(X Y ). Zad Niech gęstości rozkładu zmiennej losowej X i rozkładu warunkowego będą postaci p X (x) = 1 (0,1) (x), p Y X (y x) = 1 x 1 (0,x)(y) dla x (0, 1). Wyliczyć: (a) E(Y X), (b) E(X Y ). Zad Niech X, Y będą niezależnymi całkowalnymi zmiennymi losowymi o tym samym rozkładzie. Uzasadnić, że E(X X + Y ) = E(Y X + Y ) = X + Y 2.

33 33 ozdział 3. Ciągi niezależnych zmiennych losowych 3.1. Przestrzenie produktowe i twierdzenie Kołmogorowa o rozkładach zgodnych Niech (Ω i, F i, P i ), i = 1,..., n będą przestrzeniami probabilistycznymi. Wykorzystując twierdzenie 5.8 możemy skonstruować przestrzeń produktową (Ω, F, P ) = n i=1(ω i, F i, P i ). Przestrzenie produktowe stanowią wygodne narzędzie pozwalające na konstrukcję niezależnych zdarzeń i zmiennych losowych. Jeżeli weźmiemy zdarzenia C i F i, i = 1,..., n i rozszerzymy je na (Ω, F, P ) kładąc A i = Ω 1...Ω i 1 C i Ω i+1... Ω n, i = 1,..., n. to można zauważyć, że A 1,..., A n są niezależnymi zmiennymi losowymi. Podobnie jeżeli weźmiemy zmienne losowe Y i, określone na wyjściowych przestrzeniach (Ω i, F i, P i ), i = 1,..., n i rozszerzymy je na Ω przyjmując, że to X i (ω) = Y i (ω i ) i = 1,..., n, ω = (ω 1,..., ω n ) Ω, (a) X 1,..., X n są niezależnymi zmiennymi losowymi na przestrzeni produktowej, (b) dla każdego i = 1,..., n rozkłady zmiennych losowych X i i Y i są takie same. Przykład 3.1. (Schemat Bernoullego) Niech (Ω, F, P ) będzie przestrzenią probabilistyczną taką, że Ω = {0, 1}, F = 2 Ω = {, Ω, {0}, {1}} i P ({1}) = p, P ({0}) = 1 p, gdzie p jest pewną liczbą rzeczywistą z przedziału (0, 1). Przestrzeń produktowa (Ω, F, P ) = n i=1(ω, F, P ) będąca n-krotnym produktem przestrzeni (Ω, F, P ) modeluje schemat n prób Bernoullego z prawdopodobieństwem sukcesu p w pojedynczej próbie. W szczególności zmienne losowe X 1,..., X n na (Ω, F, P ) zdefiniowane dla każdego ω = (ω 1,..., ω n ) Ω wzorem X i (ω) = ω i, i = 1,..., n

34 34 ozdział 3. Ciągi niezależnych zmiennych losowych są niezależnymi zmiennymi losowymi o tym samym rozkładzie dwupunktowym P (X i = 1) = p P (X i = 0) = 1 p i = 1,..., n. Niech ν 1,..., ν n będzie zadanym ciągiem rozkładów na (, B). Postępując w podobny sposób nietrudno skonstruować przestrzeń probabilistyczną (Ω, F, P ) i określone na niej niezależne zmienne losowe X 1,..., X n takie, że P Xi = ν i, i = 1,...n. W tym celu wystarczy przyjąć Ω = n, F = B n, P = n i=1ν i oraz X i (x) = x i x = (x 1,..., x n ) n. Wtedy dla dowolnego zbioru borelowskiego B B oraz i = 1,..., n P Xi (B) = P (X i B) = P (X 1,..., X i 1, X i B, X i+1,..., X n ) = n i=1ν i (x n : x 1,..., x i 1, x i B, x i+1,..., x n ) = n i=1ν i (... B... ) = ν 1 ()... ν i 1 ()ν i (B)ν i+1 ()... ν n () = ν i (B). Aby pokazać niezależność zmiennych losowych X 1,..., X n dowolnych zbiorów borelowskich B 1,..., B n B wystarczy zauważyć, że dla P (X 1 B 1,..., X n B n ) = n i=1ν i (x n : x 1 B 1,..., x n B n ) = n i=1ν i (B 1... B n ) = ν 1 (B 1 )... ν n (B n ) = P (X 1 B 1 )... P (X n B n ). W celu skonstruowania ciągu niezależnych zmiennych losowych o zadanych rozkładach potrzebować będziemy nieskończonej przestrzeni probabilistycznej. Niech =..., tzn. x wtedy i tylko wtedy, gdy x = (x 1, x 2,...), gdzie x i, i N. Niech π 1,...,n : n oznacza rzut na pierwszych n współrzędnych tzn. π 1,...,n (x) = (x 1,..., x n ) n, x, n N. Definicja 3.1. (i) Zbiorami cylindrycznymi nazywamy zbiory postaci π 1 1,...,n(B), gdzie B B n, n N. Klasę zbiorów cylindrycznych oznaczamy symbolem A. (ii) σ-algebrą produktową na nazywamy σ-algebrę generowaną przez A. Oznaczamy ją symbolem B tzn. B = σ(a). Uwaga 3.1. (a) Dla B B n, n N π 1 1,...,n(B) = B...

35 ozdział 3. Ciągi niezależnych zmiennych losowych 35 (b) A jest algebrą zbiorów. (c) Jeżeli dla x, y przyjmiemy, że ρ(x, y) = n=1 x n y n 2 n (1 + x n y n ), to (, ρ) jest przestrzenią metryczną i można pokazać, że B = σ(u : U otwarte w (, ρ)). Niech µ będzie miarą probabilistyczną na (, B ). Jeżeli zdefiniujemy µ n (B) = µ(π 1 1,...,n(B)), B B n, n N, to dla każdego n N jest miarą probabilistyczną na ( n, B n ). Ponadto ciąg miar probabilistycznych µ 1, µ 2,... określonych odpowiednio na (, B), ( 2, B 2 ),... spełnia następujący warunek zgodności µ n+1 (B ) = µ n (B), B B n, n N. (3.1) Okazuje się, że prawdziwy jest również fakt odwrotny. Twierdzenie 3.1. (Kołmogorowa o rozkładach zgodnych) Niech µ 1, µ 2,... będzie ciągiem miar probabilistycznych określonych odpowiednio na przestrzeniach (, B), ( 2, B 2 ),... spełniających warunek zgodności (3.1). Istnieje dokładnie jedna miara probabilistyczna µ na (, B ) taka, że µ(π 1 1,...,n(B)) = µ n (B), B B n, n N. Wniosek 3.1. Niech ν 1, ν 2,... będzie zadanym ciągiem rozkładów na (, B). Istnieje przestrzeń probabilistyczna (Ω, F, P ) i określony na niej ciąg zmiennych losowych X 1, X 2,... o własnościach (i) P Xn = ν n, n N, (ii) X 1, X 2,... jest ciągiem niezależnych zmiennych losowych. Dowód. Definiujemy µ n = n i=1ν i, n N. Ciąg µ 1, µ 2,... spełnia warunek zgodności, gdyż µ n+1 (B ) = n+1 i=1 ν i(b ) = n i=1ν i (B) ν n+1 () = n i=1ν i (B). Na mocy twierdzenia Kołmogorowa o rozkładach zgodnych istnieje jednoznacznie wyznaczona miara probabilistyczna µ na (, B ). Przyjmujemy, że (Ω, F, P ) = (, B, µ). Ponadto definiujemy ciąg zmiennych losowych X 1, X 2,... kładąc X n (x) = x n, x, n N.

36 36 ozdział 3. Ciągi niezależnych zmiennych losowych Wtedy dla każdego zbioru borelowskiego B B i n N P Xn (B) = P (X n B) = P (X 1,..., X n 1, X n B) = µ(x : x 1,..., x n 1, x n B) = µ(π 1 1,...,n(... B)) = µ n (... B) = n i=1ν i (... B) = ν 1 ()... ν n 1 ()ν n (B) = ν n (B), co dowodzi (i). W celu pokazania (ii) wystarczy zauważyć, że dla dowolnych zbiorów borelowskich B 1,..., B n B P (X 1 B 1,..., X n B n ) = µ(x n : x 1 B 1,..., x n B n ) = µ(π 1 1,...,n(B 1... B n )) = µ n (B 1... B n ) = n i=1ν i (B 1... B n ) = ν 1 (B 1 )... ν n (B n ) = P (X 1 B 1 )... P (X n B n ). Twierdzenie 3.2. (0 1 Kołmogorowa) Niech X 1, X 2,... będzie ciągiem niezależnych zmiennych losowych na (Ω, F, P ), a F = σ(x k, X k+1,...). Jeżeli A F, to P (A) = 0 lub P (A) = Zbieżność szeregów niezależnych zmiennych losowych Niech X 1, X 2,... będzie ciągiem niezależnych zmiennych losowych określonych na tej samej przestrzeni probabilistycznej (Ω, F, P ). ozważać będziemy problem zbieżności szeregu w sensie zbieżności prawie wszędzie. n=1 Twierdzenie 3.3. (Nierówność Kołmogorowa) Niech X 1,..., X n będą niezależnymi zmiennymi losowymi o skończonych wariancjach. Dla każdego ɛ > 0 X n k P ( max (X i EX i ) ɛ) 1 k n i=1 n D2 (X k ) ɛ 2. Dowód. Bez ograniczenia ogólności możemy założyć, że EX k = 0, k = 1,..., n. Oznaczmy S k = k i=1 X i oraz A k = { S i < ɛ dla i = 1,..., k, S k ɛ}, A = { max 1 k n S k ɛ}.