Rachunek prawdopodobieństwa II

Leszek Słomiński achunek prawdopodobieństwa II Materiały dydaktyczne dla studentów matematyki przygotowane w ramach projektu IKS - Inwestycja w Kierunki Strategiczne na Wydziale Matematyki i Informatyki UMK" Wydział Matematyki i Informatyki Uniwersytet Mikołaja Kopernika Toruń 2011 Projekt współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

Spis treści Wstęp 5 1. Zmienne losowe i wektory losowe 7 1.1. Podstawowe definicje i fakty.......................... 7 1.2. ozkłady zmiennych losowych i ich parametry................ 10 1.3. Wektory losowe i ich rozkłady......................... 16 1.4. Niezależność zmiennych losowych....................... 19 1.5. Zadania..................................... 23 2. Warunkowa wartość oczekiwana i rozkłady warunkowe 25 2.1. Warunkowa wartość oczekiwana względem zdarzenia............. 25 2.2. Warunkowa wartość oczekiwana względem σ-algebry............ 26 2.3. ozkłady warunkowe.............................. 29 2.4. Zadania..................................... 31 3. Ciągi niezależnych zmiennych losowych 33 3.1. Przestrzenie produktowe i twierdzenie Kołmogorowa o rozkładach zgodnych 33 3.2. Zbieżność szeregów niezależnych zmiennych losowych............ 36 3.3. Prawa wielkich liczb.............................. 39 3.4. Zadania..................................... 43 4. Zbieżność według rozkładu zmiennych losowych 45 4.1. Definicja słabej zbieżności i jej podstawowe charakteryzacje......... 45 4.2. Funkcje charakterystyczne........................... 49 4.3. Twierdzenia graniczne o zbieżności do rozkładu Poissona.......... 54 4.4. Centralne twierdzenia graniczne........................ 56 4.5. Wielowymiarowy rozkład normalny i wielowymiarowe centralne twierdzenie graniczne.................................... 60 4.6. Zadania..................................... 63 5. Dodatek 65 5.1. Własności generatorów............................. 65 5.2. Całka względem miary probabilistycznej................... 65 5.3. Zbieżność zmiennych losowych......................... 67 5.4. Przestrzenie produktowe. Twierdzenie Fubiniego............... 69 Bibliografia 71 3

4 Spis treści Indeks 71

5 Wstęp Skrypt achunek prawdopodobieństwa II powstał na potrzeby studentów matematyki II stopnia. Zakłada się w nim znajomość przez studentów materiału z podstawowego (najczęściej 30 godzinnego) kursu z rachunku prawdopodobieństwa ze studiów licencjackich. Wykład achunek prawdopodobieństwa II prowadziłem na WMiI UMK w Toruniu w roku akademickim 2011-2012 w semestrze zimowym. Miał na celu zapoznanie studentów z bardziej zaawansowanymi zagadnieniami rachunku prawdopodobieństwa. Oparty był głównie na książce J. Jakubowskiego i. Sztencla Wstęp do teorii prawdopodobieństwa. Pomocne okazały się również inne podręczniki wyszczególnione w Bibliografii. W skrypcie znalazły się także elementy wcześniejszych wykładów z rachunku prawdopodobieństwa prowadzonych przez jego autora. Skrypt składa się z czterech rozdziałów i dodatku. W pierwszym z nich zebrane zostały podstawowe fakty dotyczące zmiennych losowych i wektorów losowych. W szczególności wprowadzone zostały podstawowe definicje i oznaczenia przydatne w dalszej części skryptu. Kolejne rozdziały obejmują zagadnienia dotyczące zarówno warunkowej wartości oczekiwanej i rozkładów warunkowych, jak i różnorodne zagadnienia asymptotyczne w tym słabe i mocne prawa wielkich liczb oraz twierdzenia graniczne o zbieżności do rozkładu Poissona i rozkładu normalnego. W skrypcie opuszczone zostały niektóre dłuższe i bardziej techniczne dowody twierdzeń. Kompletne dowody można znaleźć w podręczniku J, Jakubowskiego i. Sztencla. Do skryptu dołączone są materiały dotyczące zadań związanych z tematyką skryptu zatytułowane achunek prawdopodobieństwa II. Zadania. Zawierają one kompletne rozwiązania zadań ze skryptu oraz szereg dodatkowych zadań przeznaczonych do samodzielnego rozwiązania. W skrypcie stosujemy następujące standardowe oznaczenia: N oznacza zbiór liczb naturalnych, zbiór liczb rzeczywistych, d d-krotny produkt liczb rzeczywistych, a A T oznacza macierz transponowaną do macierzy A.

7 ozdział 1. Zmienne losowe i wektory losowe 1.1. Podstawowe definicje i fakty Niech (Ω, F, P ) będzie przestrzenią probabilistyczną. Definicja 1.1. Mówimy, że odwzorowanie X : Ω jest zmienną losową na (Ω, F, P ) jeżeli dla każdego zbioru borelowskiego B B zbiór X 1 (B) = {ω : X(ω) B} F. Ponieważ σ-algebra podzbiorów borelowskich jest generowana przez półproste postaci (, a], a tzn. B = σ((, a] : a ), więc korzystając z twierdzenia 5.1 z Dodatku X jest zmienną losową dokładnie wtedy, gdy X 1 ((, a]) F, a. Jeżeli symbolem σ(x) oznaczymy σ-algebrę zbiorów generowanych przez X tzn. σ(x) = σ(x 1 (B) : B B) = σ(x 1 ((, a]) : a ), to odwzorowanie X : Ω jest zmienną losową na (Ω, F, P ) jeżeli σ(x) F. Definicja 1.2. (i) ozkładem prawdopodobieństwa na (, B) nazywamy każdą miarę probabilistyczną µ na (, B). (ii) ozkładem zmiennej losowej X nazywamy rozkład prawdopodobieństwa P X (, B) określony wzorem na P X (B) = P (X 1 (B)), B B. Przykład 1.1. Jeżeli µ jest rozkładem prawdopodobieństwa na (, B), to istnieje przestrzeń probabilistyczna (Ω, F, P ) i określona na niej zmienna losowa X taka, że P X = µ. W tym celu należy przyjąć Ω =, F = B, P = µ oraz X(ω) = ω dla wszystkich ω. Definicja 1.3. (i) Dystrybuantą rozkładu prawdopodobieństwa µ na (, B) nazywamy funkcję F µ : [0, 1] określoną wzorem F µ (a) = µ((, a]), a. i oz- (ii) Dystrybuantą zmiennej losowej X nazywamy dystrybuantę jej rozkładu P X naczamy ją symbolem F X tzn. F X (a) = F PX (a) = P (ω : X(ω) a), a.

8 ozdział 1. Zmienne losowe i wektory losowe Twierdzenie 1.1. Przypuśćmy, że F µ jest dystrybuantą rozkładu µ. Wtedy (i) F µ jest funkcją niemalejącą, (ii) F µ jest prawostronnie ciągła, (iii) lim F µ(x) = 0 oraz lim F µ (a) = 1. a a Dowód. (i) wynika z monotoniczności µ. (ii), (iii) wynikają z kolei z ciągłości P µ. Istotnie, jeżeli a n a, to (, a n ] (, a n+1 ] dla n N oraz n=1 (, a n] = (, a]. Dlatego lim F µ(a n ) = lim µ((, a n ]) n n = lim n µ( (, a n ]) = µ((, x]) = F µ (a), n=1 gdyż µ jest ciągła z góry. Dowodzi to (ii). Przypuśćmy teraz, że a n. Wtedy, korzystając raz jeszcze z ciągłości z góry µ, dostajemy lim F µ(a n ) = lim µ((, a n ]) = lim µ( n n n (, a n ]) = µ( ) = 0. Podobnie, jeżeli a n, to wykorzystując ciągłość z dołu µ otrzymujemy lim F µ(a n ) = lim µ((, a n ]) = lim µ( n n n co kończy dowód twierdzenia. n=1 (, a n ]) = µ() = 1, Twierdzenie 1.2. Jeżeli µ, ν są rozkładami na (, B) oraz F µ (a) = F ν (a) dla każdego a, to µ(b) = ν(b) dla każdego B B. Dowód. W dowodzie wykorzystuje się fakt, że bezpośrednio z założenia n=1 µ((, a]) = ν((, a]), a. Stąd rozkłady są równe na klasie zbiorów zamkniętej ze względu na skończone przekroje i generującej B i teza wynika z twierdzenia 5.2 z Dodatku. Wiadomo, że każda funkcja F : spełniająca warunki (i) (iii) z twierdzenia 1.1 jest dystrybuantą pewnego rozkładu µ wyznaczonego dzięki twierdzeniu 1.2 w sposób jednoznaczny. Przypomnijmy, że wartością oczekiwaną zmiennej losowej X na (Ω, F, P ) nazywamy całkę z X względem prawdopodobieństwa P (patrz Dodatek) tzn. EX = X dp. Wartość oczekiwana istnieje jeżeli E X = X dp < +. Ω Ω

ozdział 1. Zmienne losowe i wektory losowe 9 Twierdzenie 1.3. (O zmianie miary) Niech X będzie zmienną losową na (Ω, F, P ), a f : niech będzie zadaną funkcją borelowską. Całka Ef(X) istnieje wtedy i tylko wtedy, gdy istnieje całka f(x) P X(dx). Jeżeli całki te istnieją, to są równe tzn. Ef(X) = f(x) P X (dx). Dowód. W dowodzie wykorzystuje się indukcję mierzalną. Niech najpierw f = 1 B dla pewnego zbioru B F. Wtedy Ef(X) = E1 B = E1 (X B) = P (X B) = 1 B (x) P X (dx) = f(x) P X (dx). Jeżeli f jest funkcją prostą tzn. f = n i=1 b i1 Bi, gdzie b 1,...b n, B 1,..., B n F, to wykorzystując liniowość całek i udowodnioną przed chwilą równość dla f = 1 B mamy Ef(X) = E n b i 1 Bi = i=1 n b i E1 (X Bi ) = i=1 n b i i=1 1 Bi (x) P X (dx) = f(x) P X (dx). Jeżeli f jest funkcją nieujemną, to wiadomo (patrz np. wniosek 5.2 z Dodatku), że istnieje ciąg niemalejący funkcji nieujemnych {f n } taki, że 0 f n f. Wtedy wykorzystując twierdzenie Lebesgue a o zbieżności monotonicznej Ef(X) = lim Ef n (X) = lim f n (x) P X (dx = f(x) P X (dx). n n W przypadku, gdy f jest dowolną funkcją borelowską, to przedstawiamy ją w postaci f = f + f, gdzie f + = max(f, 0), f = max( f, 0) są już fukcjami nieujemnymi. Ponieważ f = f + + f otrzymujemy stąd najpierw, że zmienna losowa f(x) jest całkowalna dokładnie wtedy, gdy jest całkowalne względem rozkładu P X funkcja f. W końcu z liniowości obu całek Ef(X) = Ef + (X) Ef (X) = f + (x) P X (dx) f (x) P X (dx) = f(x) P X (dx), co kończy dowód twierdzenia. Zauważmy, że wykorzystując twierdzenie o zmianie miary w przypadku, gdy wartość oczekiwana zmiennej losowej X istnieje tzn. gdy x P X(dx) < + zachodzi równość EX = x P X (dx). Podobnie zakładając istnienie wariancji, co jest równoważne faktowi, że x2 P X (dx) < + możemy zauważyć, że D 2 (X) = E(X EX) 2 = EX 2 (EX) 2 = x 2 P X (dx) ( xp X (dx)) 2.

10 ozdział 1. Zmienne losowe i wektory losowe 1.2. ozkłady zmiennych losowych i ich parametry ozważać będziemy głównie rozkłady dyskretne i absolutnie ciągłe i ich najprostsze parametry jakimi są wartość oczekiwana i wariancja. Niech X będzie zmienną losową na (Ω, F, P ). Przypomnijmy, że zmienna losowa X ma rozkład dyskretny lub że P X jest rozkładem dyskretnym, jeżeli istnieją liczby x 1, x 2,... oraz p 1, p 2,... + takie, że p k = 1 oraz P (X = x k ) = p k, k = 1, 2,... (1.1) Mówimy wtedy, że rozkład zmiennej losowej X jest skupiony na zbiorze {x 1, x 2,...}, który może być skończony lub nieskończony. Zauważmy, że dla takiego rozkładu dla dowolnej funkcji borelowskiej f :, dla której wartość oczekiwana z f(x) istnieje, co jest równoważne z warunkiem f(x k) p k <, mamy Ef(X) = f(x k )p k. (1.2) Jeżeli X ma rozkład absolutnie ciągły o gęstości p(x) tzn. taki, że dla każdego zbioru borelowskiego B B P (X B) = p(x) dx, (1.3) to jej wartością oczekiwaną jest liczba Ef(X) = B f(x)p(x) dx (1.4) przy założeniu, że f(x) p(x) dx <. Kolejnym typem rozkładu jest rozkład osobliwy. Przypomnijmy, że X ma rozkład osobliwy jeżeli dla wszystkich x P (X = x) = 0 oraz istnieje zbiór borelowski B o mierze Lebesgue a równej zero taki, że P (X B) = 1. ozkłady osobliwe nie pojawiają się w praktycznych zastosowaniach rachunku prawdopodobieństwa i dlatego nie będziemy się nimi zajmowali. Twierdzenie 1.4. (Lebesgue a o rozkładzie) Jeżeli µ jest rozkładem na (, B) to istnieją liczby nieujemne a, b, c, a + b + c = 1 oraz rozkłady µ 1, µ 2, µ 3 odpowiednio dyskretny, absolutnie ciągły i osobliwy takie, że µ = aµ 1 + bµ 2 + cµ 3. Twierdzenie 1.5. Jeżeli X ma rozkład absolutnie ciągły o gęstości p(x) oraz wartości zmiennej losowej X należą do przedziału (a, b) (gdzie a, b mogą przyjmować wartości nieskończone) oraz f : (a, b) jest funkcją klasy C 1 oraz f (x) 0, x (a, b), to zmienna losowa Y = f(x) ma rozkład absolutnie ciągły o gęstości g(y) = p(h(y)) h (y) 1 f((a,b)) (y), gdzie h(y) = f 1 (y),a f((a, b)) jest obrazem odwzorowania f.

ozdział 1. Zmienne losowe i wektory losowe 11 Dowód. Funkcja f jest albo ściśle rosnąca albo malejąca. Załóżmy, że jest rosnąca. Wtedy korzystając z twierdzenia o całkowaniu przez podstawienie dla dowolnych y 1, y 2 takich, że f(a) y 1 < y 2 f(b) mamy F Y (y 2 ) F Y (y 1 ) = P (y 1 < Y y 2 ) = P (f 1 (y 1 ) < X f 1 (y 2 )) = = y2 y 1 p(f 1 (y))(f 1 (y)) dy = y2 y 1 p(h(y))h (y)dy. f 1 (y 2 ) f 1 (y 1 ) p(x) dx Ponieważ przedziały (y 1, y 2 ) są generatorami σ-algebry zbiorów borelowskich powyższą równość można rozszerzyć do dowolnego zbioru borelowskiego B B. Uwaga 1.1. Jeżeli zmienna losowa X ma rozkład absolutnie ciągły oraz f : jest funkcją borelowską, to złożenie f(x) nie musi mieć w ogólnym przypadku rozkładu absolutnie ciągłego. Jeżeli np. f(x) = a, x, to zawsze f(x) = a ma rozkład zdegenerowany w a. Przykładowe rozkłady dyskretne Niech X będzie zmienną losową na (Ω, F, P ) o rozkładzie (1.1). Wtedy zgodnie z (1.2) jej wartość oczekiwana i wariancja są odpowiednio postaci EX = x k p k, (1.5) o ile x k p k < + oraz D 2 (X) = EX 2 (EX) 2 = x 2 kp k ( x k p k ) 2, (1.6) o ile x2 k p k < +. Wśród rozkładów dyskretnych wyróżniamy rozkłady: Zdegenerowany lub jednopunktowy Parametry: a. Momenty: EX = a, D 2 (X) = 0. P (X = a) = 1. Dwupunktowy Parametry: a, b, p (0, 1) P (X = a) = p, P (X = b) = 1 p. Momenty: EX = pa + (1 p)b, D 2 (X) = (a b) 2 p(1 p).

12 ozdział 1. Zmienne losowe i wektory losowe Bernoullego Parametry: n N, p (0, 1). ( ) n P (X = k) = p k q n k, k = 0, 1,..., n, gdzie q = 1 p. k Momenty: EX = np, D 2 (X) = npq. Ujemny dwumianowy Parametry: r > 0, p (0, 1). ( ) r + k 1 P (X = k) = p r q k, k N {0}, gdzie q = 1 p. k Przypomnijmy, że jeżeli r nie jest liczbą naturalną, to symbol Newtona jest rozumiany jako ( ) r + k 1 Γ(r + k) =, k Γ(r)k! gdzie Γ(α) = 0 x α 1 e x dx 1. Momenty: EX = rq p, D2 (X) = rq p 2. Geometryczny Parametry: p (0, 1). Momenty: EX = 1 p, D2 (X) = q p 2. Przesunięty geometryczny Parametry: p (0, 1). P (X = k) = pq k 1, k N, gdzie q = 1 p. P (X = k) = pq k, k N {0}, gdzie q = 1 p. Momenty: EX = q p, D2 (X) = q p 2. Jeżeli X ma rozkład geometryczny, to X 1 ma rozkład przesunięty geometryczny. Poissona Parametry: λ > 0. λ λk P (X = k) = e k!, k N {0}. Momenty: EX = λ, D 2 (X) = λ. ozkład Poissona z parametrem λ > 0 będziemy oznaczali symbolem P(λ). 1 funkcja Γ uważana jest za rozszerzenie funkcji silnia, gdyż Γ(n) = (n 1)!, n N

ozdział 1. Zmienne losowe i wektory losowe 13 Przykład 1.2. (ozkład Bernoullego) Niech X ma rozkład Bernoullego z parametrami n N i p (0, 1). Wtedy EX = n ( ) n n k p k (1 p) n k n! = k k k!(n k)! pk (1 p) n k k=0 = n (n 1)! np (k 1)!(n 1 (k 1))! pk 1 (1 p) n 1 (k 1) n 1 = np l=0 (n 1)! l!(n 1 l)! pl (1 p) n 1 l = np, ponieważ suma po prawej stronie przedostatniej równości jest równa (p + 1 p) n 1 = 1. Podobnie n ( ) n n EX 2 = k 2 p k (1 p) n k n! = k k (k 1)!(n k)! pk (1 p) n k k=0 n = n(n 1)p 2 (n 2)! (k 2)!(n 2 (k 2))! pk 2 (1 p) n 2 (k 2) k=2 n (n 1)! +np (k 1)!(n 1 (k 1))! pk 1 (1 p) n 1 (k 1) n 2 ( ) n 2 n 1 ( ) n 1 = n(n 1)p 2 p l (1 p) n 2 l + np p l (1 p) n 1 l l l l=0 = n(n 1)p 2 + np. Dlatego EX 2 = n(n 1)p 2 + np. Uwzględniając, że EX = np otrzymujemy D 2 (X) = EX 2 (EX) 2 = n(n 1)p 2 + np (np) 2 = np(1 p). Przykład 1.3. (ozkład Poissona) Niech X ma rozkład Poissona z parametrem λ > 0. Najpierw zauważmy, że EX = k=0 gdyż l=0 λl /! = e λ. Ponieważ EX 2 = k λk k! e λ = λe λ k=0 = λ 2 e λ k 2 λk k! e λ = k=2 = (λ 2 + λ)e λ l=0 λ k 1 (k 1)! = λe λ l=0 λ l l! = λ, λ k (k 1 + 1) (k 1)! e λ λ k 2 (k 2)! + λe λ l=0 więc D 2 (X) = EX 2 (EX) 2 = λ 2 + λ λ 2 = λ. λ l l! = λ2 + λ, λ k 1 (k 1)!

14 ozdział 1. Zmienne losowe i wektory losowe Przykładowe rozkłady absolutnie ciągłe Załóżmy teraz, że X ma rozkład absolutnie ciągły z gęstością p(x). Wtedy zgodnie z (1.4) EX = xp(x) dx, (1.7) o ile x p(x) dx < + oraz D 2 (X) = EX 2 (EX) 2 = jeżeli x2 p(x) dx < +. x 2 p(x) dx ( xp(x) dx) 2 (1.8) Wśród rozkładów absolutnie ciągłych wyróżniamy rozkłady: Jednostajny Parametry: a, b a < b. Gęstość: Momenty: EX = b + a 2, D2 (X) = Normalny Parametry: m, σ > 0. Gęstość: p(x) = 1 b a 1 (a,b)(x). (b a)2. 12 p(x) = 1 σ m)2 exp { (x }. 2π 2σ 2 Momenty: EX = m, D 2 (X) = σ 2. ozkład normalny z parametrami m, σ > 0 oznaczać będziemy dalej symbolem N (m, σ 2 ). Wykładniczy Parametry: λ > 0. Gęstość: p(x) = λe λx 1 (0,+ ) (x). Momenty: EX = 1 λ, D2 (X) = 1 λ 2. Gamma Parametry: β > 0, α > 0. Gęstość: p(x) = gdzie Γ(α) = 0 x α 1 e x dx. Momenty: EX = α β, D2 (X) = α β 2. βα Γ(α) xα 1 e βx 1 (0,+ ) (x),

ozdział 1. Zmienne losowe i wektory losowe 15 Pareto Parametry: α > 0, x 0 > 0. Gęstość: p(x) = αxα 0 x α+1 1 (x 0,+ )(x). Momenty: EX = αx 0 α 1, dla α > 1, D2 (X) = Lognormalny Parametry: m, σ > 0. Gęstość: p(x) = 1 xσ 2π αx 2 0, dla α > 2. (α 2)(α 1) x m)2 exp { (ln }1 2σ 2 (0,+ ) (x). Momenty: EX = e m+σ2 /2, D 2 (X) = (e σ2 1)e 2m+σ2. Przykład 1.4. (ozkład jednostajny) Niech X ma rozkład jednostajny na (a, b). Wtedy oraz co pociąga, iż EX = x 1 b a 1 (a,b)(x) dx = 1 b a = b2 a 2 2(b a) = a + b. 2 EX 2 = x 2 1 b a 1 (a,b)(x) dx = 1 b a = b3 a 3 3(b a) = a2 + ab + b 2, 3 D 2 (X) = EX 2 (EX) 2 = a2 + ab + b 2 3 b a b a x dx = 1 b a x 2 dx = 1 b a (a + b)2 4 = x 2 2 x 3 3 b a (a b)2. 12 Uwaga 1.2. Niech c, d, c 0. Jeżeli X ma rozkład normalny N (m, σ 2 ), to Y = cx+d ma rozkład normalny N (cm + d, c 2 σ 2 ). Wystarczy zastosować twierdzenie 1.5 dla funkcji f(x) = cx + d. zeczywiście w tym przypadku f 1 (y) = (y d)/c i stąd gęstość rozkładu Y jest postaci g(y) = p(f 1 (y)) (f 1 ) (y) = p( y d ) 1 c c = 1 c σ d cm)2 exp { (y }, y. 2π 2c 2 σ 2 Przykład 1.5. (ozkład normalny) Niech X ma rozkład normalny z parametrami m i σ > 0. ozważmy najpierw zmienną losową Z = (X m)/σ. Ponieważ Z ma rozkład normalny N (0, 1), więc EZ = x 1 exp( x2 ) dx = 0, 2π 2 b a

16 ozdział 1. Zmienne losowe i wektory losowe gdyż funkcja podcałkowa jest antysymetryczna. Ponadto D 2 (Z) = EZ 2 = x 2 1 exp( x2 2π 2 ) dx i korzystając z wzoru na całkowanie przez części dostajemy D 2 (Z) = x 1 exp( x2 2π 2 ) + + 1 exp( x2 ) dx = 1. 2π 2 Stąd EX = E(σZ + m) = σez + m = m oraz D 2 (X) = D 2 (σz + m) = σ 2 D 2 (Z) = σ 2. 1.3. Wektory losowe i ich rozkłady Niech B d oznacza σ-algebrę podzbiorów borelowskich d, d N. Definicja 1.4. d-wymiarowym wektorem losowym na (Ω, F, P ) nazywamy odwzorowanie X = (X 1,..., X d ) T : Ω d takie, że dla każdego B B d X 1 (B) F. Ponieważ B d jest generowana przez zbiory postaci d i=1(, a i ], a i, więc z twierdzenia 5.1 z Dodatku wynika, że X : Ω d jest wektorem losowym wtedy i tylko wtedy, gdy Ponieważ X 1 ( d i=1(, a i ]) F, a i, i = 1,..., d. X 1 ( d i=1(, a i ]) = d i=1 X 1 i ((, a i ]) oznacza to, że X jest wektorem losowym na (Ω, F, P ) dokładnie wtedy, gdy jego współrzędne tzn. odwzorowania X i : Ω są zmiennymi losowymi na (Ω, F, P ). Definicja 1.5. (i) ozkładem prawdopodobieństwa na ( d, B d ) nazywamy każdą miarę probabilistyczną µ na ( d, B d ). (ii) ozkładem wektora losowego X nazywamy rozkład prawdopodobieństwa P X na ( d, B d ) określony wzorem P X(B) = P ( X 1 (B)), B B d. Definicja 1.6. (i) Dystrybuantą rozkładu prawdopodobieństwa µ na ( d, B d ) nazywamy funkcję F µ : d [0, 1] określoną wzorem F µ (ā) = F µ (a 1,..., a d ) = µ( d i=1(, a i ]), ā = (a 1,..., a d ) T d. (ii) Dystrybuantą wektora losowego X nazywamy dystrybuantę jej rozkładu P X i oznaczamy ją symbolem F X lub F (X1,...,X d ) tzn. F X(ā) = F X(a 1,..., a d ) = P ( X d i=1(, a i ]) = P (X 1 a 1,..., X d a d ).

ozdział 1. Zmienne losowe i wektory losowe 17 Uwaga 1.3. (a) Dystrybuanta rozkładu na ( d, B d ) ma podobne własności i znaczenie jak dystrybuanta rozkładu jednowymiarowego. W szczególności jeżeli µ, ν są rozkładami ( d, B d ) oraz F µ = F ν, to µ = ν. (b) W przypadku wielowymiarowym bardzo podobnie jak w jednowymiarowym definiujemy rozkłady dyskretne, absolutnie ciągłe i osobliwe. W tym przypadku prawdziwa jest też wersja twierdzenia Lebesgue a o rozkładzie. Definicja 1.7. (i) Wartością oczekiwaną wektora losowego X = (X 1,..., X d ) T nazywamy wektor E X = (EX 1,..., EX d ) T, o ile wszystkie współrzędne mają wartość oczekiwaną. (ii) Macierzą kowariancji wektora losowego X nazywamy macierz Cov( X) = [cov(x i, X j )] i,j=1,...,d tzn. Cov( X) ij = cov(x i, X j ) = E(X i EX i )(X j EX j ) dla i, j = 1,..., d, o ile wszystkie kowariancje cov(x i, X j ) są dobrze określone. Wariancją wektora X nazywamy ślad macierzy Cov( X) tzn, D 2 ( X) = E d (X i EX i ) 2 = E X E X 2, i=1 gdzie ā = d i=1 a2 i, ā = (a 1,..., a d ) T d. Nietrudno zauważyć, że wartość oczekiwana wektorów losowych posiada własność liniowości czyli dla dowolnych stałych a, b i dowolnych całkowalnych wektorów X, Ȳ (tzn. takich, że E X, E Y < + ) zachodzi równość E(a X + bȳ ) = ae X + beȳ. Macierz kowariancji jest symetryczna i nieujemnie określona. zeczywiście Cov( X) ij = E(X i EX i )(X j EX j ) = E(X j EX j )(X i EX i ) = Cov( X) ji oraz dla każdego ā = (a 1,..., a d ) T d < ā, Cov( X)ā > = d i=1 = E a i d i=1 d cov(x i, X j )a j j=1 d (X i EX i )a i (X j EX j )a j = E j=1 d (X i EX i ) 2 0, gdzie < ā, b >= d i=1 a ib i jest iloczynem skalarnym w d. Dla wektorów losowych prawdziwe jest również twierdzenie o zmianie miary. Jeżeli f : d jest odwzorowaniem borelowskim, to Ef( X) istnieje dokładnie wtedy, gdy istnieje f( x) P X(d x). Jeżeli istnieją, to są równe tzn. d Ef( X) = f( x) P X(d x). d i=1

18 ozdział 1. Zmienne losowe i wektory losowe Twierdzenie 1.6. Jeżeli X jest d-wymiarowym wektorem losowym z wartością oczekiwaną E X i macierzą kowariancji Cov( X), C jest macierzą d m wymiarową, a ā m, to Ȳ = C X + ā jest wektorem losowym m-wymiarowym, dla którego (i) EȲ = CE X + ā, (ii) Cov(Ȳ ) = C Cov( X) C T. Dowód. Zauważmy najpierw, że dla dowolnych x, ȳ d zachodzą równości < ȳ, E X >= E < ȳ, X >, (1.9) < x, Cov( X)ȳ >= cov(< x, X >, < ȳ, X >). (1.10) Pierwsza z nich wynika w prosty sposób z definicji iloczynu skalarnego i liniowości wartości oczekiwanej. W celu uzasadnienia drugiej zauważmy, że < x, Cov( X)ȳ d d > = E x i (X i EX i )y j (X j EX j ) i=1 j=1 = E < x, X E X >< ȳ, X E X > = E(< x, X > < x, E X >)(< ȳ, X > < ȳ, E X >) = cov(< x, X >, < ȳ, X >). Wykorzystując wielokrotnie (1.9) i (1.10) dla dowolnych x, ȳ n mamy oraz < x, EC X > = E < x, C X >= E < C T x, X > = < C T x, E X >=< x, CE X > < x, Cov(C X)ȳ > = cov(< x, C X >, < ȳ, C X >) = cov(< C T x, X >, < C T ȳ, X >) = < C T x, Cov( X)C T ȳ > = < x, C Cov( X) C T ȳ >. Z dowolności x, ȳ wnioskujemy tezę twierdzenia dla ā = 0. Aby uzyskać przypadek ogólny wystarczy zauważyć, że dla dowolnego wektora losowego Z zachodzą równości E( Z +ā) = E Z + ā i Cov( Z + ā) = Cov( Z). Twierdzenie 1.7. Jeżeli wektor losowy X ma rozkład absolutnie ciągły o gęstości p( x) i zbór wartości X zawiera się w pewnym zbiorze otwartym U d. Jeżeli T : U V = T (U) jest dyfeomorfizmem zbiorów otwartych (tzn. T jest klasy C 1, różnowartościowe, det DT (x) 0 dla x U), to wektor losowy Ȳ = T ( X) ma rozkład absolutnie ciągły o gęstości g(ȳ) = p(h(ȳ)) det DH(ȳ)1 T (U)) (ȳ), gdzie H(ȳ) = T 1 (ȳ). Przypomnijmy, że DH jest macierzą Jacobiego tzn. macierzą postaci DH(ȳ) = [ H i y j (ȳ)] i,j=1,...,d.

ozdział 1. Zmienne losowe i wektory losowe 19 1.4. Niezależność zmiennych losowych Niech (Ω, F, P ) będzie przestrzenią probabilistyczną, d N. Definicja 1.8. (i) Zmienne losowe X 1,..., X d określone na (Ω, F, P ) nazywamy niezależnymi, jeżeli dla dowolnych zbiorów borelowskich B 1,..., B d P (X 1 B 1,..., X d B d ) = P (X 1 B 1 )... P (X d B d ). (1.11) (ii) Zmienne losowe {X i } i I tworzą rodzinę zmiennych losowych niezależnych jeżeli ich każdy skończony podzbiór składa się ze zmiennych losowych niezależnych. Uwaga 1.4. Jeżeli {X i } i I tworzy rodzinę zmiennych losowych niezależnych oraz I 0 I, to {X i } i I0 też tworzy rodzinę niezależnych zmiennych losowych. Definicja 1.9. (i) ozkładem łącznym zmiennych losowych X 1,..., X d nazywamy rozkład wektora losowego X = (X 1,..., X d ) T. Oznaczamy go symbolem P (X1,...,X d ). (ii) ozkładami brzegowymi P (X1,...,X d ) nazywamy rozkłady jego poszczególnych współrzędnych P X1,..., P Xd. Uwaga 1.5. Jeżeli X 1,..., X d są niezależnymi zmiennymi losowymi, to ich rozkład łączny jest wyznaczony przez rozkłady brzegowe. W istocie można pokazać ogólniejszy fakt. Twierdzenie 1.8. Dla zmiennych losowych X 1,..., X d na (Ω, F, P ) następujące warunki są równoważne: (i) zmienne losowe są niezależne, (ii) P (X1,...,X d ) = P X1... P Xd, (iii) dla wszystkich a 1,..., a d F (X1,...,X d )(a 1,..., a d ) = F X1 (a 1 )... F Xd (a d ). Dowód. (i) (ii) Wykorzystując (1.11) dla dowolnych zbiorów borelowskich B 1,..., B d P (X1,...,X d )(B 1... B d ) = P (X 1 B 1,..., X d B d ) = P (X 1 B 1 )... P (X d B d ) = P X1 (B 1 )... P Xd (B d ) = P X1... P Xd (B 1... B d ). Ponieważ klasa prostokątów mierzalnych generuje B d i jest zamknięta ze względu na skończone przekroje więc wykorzystując twierdzenie 5.2 z Dodatku P (X1,...,X d ) = P X1... P Xd. (ii) (i) Wykorzystując (ii) dla dowolnych zbiorów borelowskich B 1,..., B d P (X 1 B 1,..., X d B d ) = P (X1,...,X d )(B 1... B d ) = P X1 (B 1 )... P Xd (B d ) = P (X 1 B 1 )... P (X d B d ),

20 ozdział 1. Zmienne losowe i wektory losowe co oznacza niezależność X 1,..., X d. (i) (iii) W (1.11) podstawiamy B i = (, a i ], i = 1,..., d. (iii) (ii) Powtarzamy rozumowanie z uzasadnienia pierwszej implikacji. Dla dowolnych a 1,..., a d P (X1,...,X d )( d i=1(, a i ]) = F (X1,...,X d )(a 1,..., a d ) = F X1 (a 1 )... F Xd (a d ) = P (X 1 a 1,..., X d a d ) = P X1... P Xd ( d i=1(, a i ]). Ponieważ klasa zbiorów postaci d i=1(, a i ], a 1,..., a d także generuje B d i jest zamknięta ze względu na skończone przekroje więc ponownie wykorzystując twierdzenie 5.2 dowód jest zakończony. Wniosek 1.1. Jeżeli zmienne losowe X 1,..., X d mają rozkłady dyskretne, to są one niezależne wtedy i tylko wtedy, gdy dla dowolnych x 1,..., x d takich, że P (X i = x i ) > 0, i = 1, 2..., d P (X 1 = x 1,..., X d = x d ) = P (X 1 = x 1 )... P (X d = x d ). (1.12) Dowód. Aby pokazać, że z niezależności wynika (1.12) wystarczy w (1.11) podstawić B i = {x i }, i = 1, 2,..., d. W celu dowodu odwrotnej tezy oznaczmy J i (a) = {x : P (X i = x) > 0, x a}, i = 1, 2,..., d, a i zauważmy, że korzystając z (1.12) dla dowolnych a 1,..., a d F (X1,...,X d )(a 1,..., a d ) = = = x i J i (a i ), i=1,...,d x i J i (a i ), i=1,...,d x 1 J 1 (a 1 ) P (X 1 = x 1,..., X d = x d ) P (X 1 = x 1 )... P (X d = x d ) P (X 1 = x 1 )... = F X1 (a 1 )... F Xd (a d ), a więc spełniony jest warunek (iii) z twierdzenia 1.8. x d J d (a d ) P (X d = x d ) Wniosek 1.2. Jeżeli zmienne losowe X 1,..., X d mają rozkłady absolutnie ciągłe z gęstościami odpowiednio p 1 (x 1 ),...,p d (x d ), to są one niezależne wtedy i tylko wtedy, gdy P (X1,...,X d ) jest rozkładem absolutnie ciągłym z gęstością p(x 1,..., x d ) = p 1 (x 1 )... p d (x d ), (1.13) gdzie powyższa równość zachodzi prawie wszędzie względem d-wymiarowej miary Lebesgue a

ozdział 1. Zmienne losowe i wektory losowe 21 Dowód. Kluczowym elementem dowodu jest spostrzeżenie, że dzięki (1.13) i twierdzeniu Fubiniego dla dowolnych a 1,..., a d F (X1,...,X d )(a 1,..., a d ) =... p(x 1,..., x d )dx 1...dx d (,a i ] (,a d ] =... p 1 (x 1 ).. p d (x d )dx 1...dx d (,a i ] (,a d ] = p 1 (x 1 )dx 1.. p d (x d )dx d (,a i ] = F X1 (a 1 )... F Xd (a d ). (,a d ] Przypomnijmy, że zdarzenia A 1,..., A d na (Ω, F, P ) nazywamy niezależnymi jeżeli dla dowolnych podzbiorów {i 1,..., i n } {1,..., d}, n d spełniony jest warunek P (A i1... A in ) = P (A i1 )... P (A in ). Wniosek 1.3. Zdarzenia A 1,..., A d są niezależne wtedy i tylko wtedy, gdy niezależne są zmienne losowe 1 A1,..., 1 Ad. Dowód. Wynika z definicji niezależności zdarzeń i kryterium niezależności dla dyskretnych zmiennych losowych. Definicja 1.10. (i) σ-algebry F 1,..., F d na (Ω, F, P ) nazywamy niezależnymi, jeżeli dla dowolnych zdarzeń A 1 F 1,..., A d F d P (A 1... A d ) = P (A 1 )... P (A d ). (1.14) (ii) σ-algebry {F i } i I tworzą rodzinę niezależnych σ-algebr jeżeli ich każdy skończony podzbiór składa się z σ-algebr niezależnych. Z wykorzystaniem pojęcia niezależności σ-algebr można udowodnić następującą charakteryzację niezależności zmiennych losowych. Twierdzenie 1.9. Dla zmiennych losowych X 1,..., X d na (Ω, F, P ) następujące warunki są równoważne: (i) zmienne losowe są niezależne, (ii) σ-algebry σ(x 1 ),...,σ(x d ) są niezależne, (iii) dla wszystkich funkcji borelowskich f 1,..., f d : zmienne losowe f 1 (X 1 ),...,f d (X d ) są niezależne. Twierdzenie 1.10. Jeżeli X, Y są niezależnymi, całkowalnymi zmiennymi losowymi, to (i) ich iloczyn XY jest całkowalną zmienną losową,

22 ozdział 1. Zmienne losowe i wektory losowe (ii) EXY = EX EY. Dowód. Ad. (i) W dowodzie wykorzystamy twierdzenie o zmianie miary i twierdzenie Fubiniego dla zmiennych losowych nieujemnych. Zauważmy, że dzięki charakteryzacji niezależności z części (ii) twierdzenia 1.3 oraz dzięki wymienionym dwóm twierdzeniom E XY = xy P (X,Y ) (dx, dy) = 2 x y P X P Y (dx, dy) 2 = x P X (dx) y P Y (dy) = E X E Y < +. Ad. (ii) Wystarczy powtórzyć argumenty z (i) stosując twierdzenie Fubiniego dla zmiennych losowych całkowalnych. Wtedy EXY = xy P (X,Y ) (dx, dy) = 2 x y P X P Y (dx, dy) 2 = x P X (dx) y P Y (dy) = EX EY, co kończy dowód. Bezpośrednio z powyższego twierdzenia i twierdzenia 1.9 wynika następujący fakt. Wniosek 1.4. Jeżeli X 1,..., X d są niezależnymi zmiennymi losowymi, a f 1,..., f d : są funkcjami borelowskimi, dla których zmienne losowe f i (X i ) są całkowalne, i = 1,..., d, to Ef 1 (X 1 )... f d (X d ) = Ef 1 (X 1 )... Ef d (X d ). Definicja 1.11. (i) Mówimy, że zdarzenia {A i } i I są niezależne parami jeżeli dla wszystkich i, j I, i j zdarzenia A i i A j są niezależne. (ii) Mówimy, że zmienne losowe {X i } i I są niezależne parami jeżeli dla wszystkich i, j I, i j zmienne losowe X i i X j są niezależne. Przykład 1.6. (Przykład Bernsteina) Niezależność parami nie implikuje niezależności łącznej. Weźmy Ω = {ω 1, ω 2, ω 3, ω 4 } z prawdopodobieństwem klasycznym P ({ω i }) = 1/4. Niech A = {ω 1, ω 2 }, B = {ω 1, ω 3 }, a C = {ω 1, ω 4 }. Ponieważ P (A) = P (B) = P (C) = 1/2 oraz P (A B) = P (A C) = P (B C) = 1/4, więc zdarzenia A, B, C są niezależne parami. Z drugiej strony P (A B C) = 1 4 1 8 co pociąga iż A, B, C nie są niezależne. = P (A)P (B)P (C), Definicja 1.12. Mówimy, że zmienne losowe {X i } i I są nieskorelowane, jeżeli dla wszystkich i, j I, i j, cov(x i, X j ) = 0. Zauważmy, że z twierdzenia 1.10 wynika, iż zmienne losowe niezależne posiadające kowariancję są nieskorelowane. zeczywiście w tym przypadku cov(x i, X j ) = E(X i EX i )(X j EX j ) = EX i X j EX i EX j = 0.

ozdział 1. Zmienne losowe i wektory losowe 23 Twierdzenie 1.11. Jeżeli X 1,..., X d są nieskorelowanymi zmiennymi losowymi o skończonej wariancji, to d d D 2 ( X i ) = D 2 (X i ). Dowód. Nietrudno zauważyć, że i=1 i=1 i=1 d d d d D 2 ( X i ) = E( X i E( X i )) 2 = E( (X i EX i )) 2 = E{ = i=1 i=1 d (X i EX i ) 2 + 2 i=1 d D 2 (X i ) + 2 i=1 1 i<j d 1 i<j d i=1 cov(x i, X j ) = (X i EX i )(X j EX j )} d D 2 (X i ). Definicja 1.13. Współczynnikiem korelacji zmiennych losowych X, Y o skończonej wariancji nazywamy liczbę { cov(x,y ) jeżeli D 2 (X)D 2 (Y ) 0 ρ X,Y = D 2 (X) D 2 (Y ) 0 w przeciwnym razie. Współczynnik korelacji ρ X,Y jest miarą zależności pomiędzy X i Y. Jeżeli X, Y są niezależne, to cov(x, Y ) = 0 i ρ X,Y = 0. Z drugiej strony ρ X,X = 1, a ρ X, X = 1. Ogólnie prawdziwy jest następujący fakt. Twierdzenie 1.12. (i) ρ X,Y 1, (ii) ρ X,Y = 1 wtedy i tylko wtedy, gdy istnieją stałe a, b, a 0 takie, że X = ay +b lub Y = ax + b. i=1 1.5. Zadania Zad. 1.1. Niech X będzie zmienną losową o rozkładzie absolutnie ciągłym z gęstością p(x). Jaki rozkład ma zmienna losowa Y = cx + d dla c, d, c 0. Zad. 1.2. Pokazać, że jeżeli X jest zmienną losową o rozkładzie normalnym N (0, 1), to Y = X 2 ma rozkład o gęstości g(y) = 1 2πy exp( y 2 )1 (0, )(y), y +. Zad. 1.3. Podaj przykład zmiennych losowych nieskorelowamych, ale zależnych.

24 ozdział 1. Zmienne losowe i wektory losowe Zad. 1.4. Niech X 1,..., X n będą niezależnymi zmiennymi losowymi o tym samym rozkładzie dwupunktowym takim, że dla ustalonego p (0, 1) P (X i = 1) = p, P (X i = 0) = 1 p, i = 1,..., n. Pokazać, że zmienna losowa S n = n i=1 X i ma rozkład Bernoullego z parametrami n oraz p tzn. ( ) n P (S n = k) = p k (1 p) n k, k = 0, 1,..., n. k Zad. 1.5. ozkład łączny zmiennych losowych X, Y dany jest wzorem P ((X, Y ) = (m, n)) = c, m, n N {0} 3 m+1 2n dla pewnego c > 0. (a) Wyznacz c. Znajdź rozkłady brzegowe X i Y. Czy są to zmienne losowe niezależne? Czy są one nieskorelowane? (b)wyznacz P (X = Y ), wartość oczekiwaną i macierz kowariancji wektora (X, Y ) T. (c) Wyznacz rozkład zmiennej Z = X + Y. Zad. 1.6. Przedmiot można zaliczyć do pierwszego gatunku z prawdopodobieństwem p 1, do drugiego gatunku z prawdopodobieństwem p 2 lub uznać za wadliwy z prawdopodobieństwem p 3 = 1 p 1 p 2. Przetestowano n przedmiotów. Wyznaczyć rozkład prawdopodobieństwa różnych liczb przedmiotów pierwszego i drugiego gatunku, ich wartości oczekiwane i kowariancję. Zad. 1.7. Dana jest funkcja p(x, y) = { cxy 1 x 2, 2 y 4 0 w przeciwnym razie. Wyznacz stała c tak, aby funkcja ta była gęstością rozkładu. Wyznacz w tym przypadku gęstości rozkładów brzegowych. Zad. 1.8. Wektor (X, Y ) T ma rozkład o gęstości p(x, y) = 5 2 1 (0,2x](y)1 (0, ) (x)e x 2y. Znajdź gęstości brzegowe zmiennych X i Y oraz sprawdź, czy zmienne te są niezależne. Zad. 1.9. Zmienne losowe X 1 i X 2 są niezależne i mają rozkłady absolutnie ciągłe o gestościach odpowiednio równych p 1 (x 1 ), p 2 (x 2 ). Wyznacz gęstość zmiennej losowej Z = ax 1 + bx 2. Zad. 1.10. Niech X 1 i X 2 będą niezależnymi zmiennymi losowymi o jednakowym rozkładzie jednostajnym na odcinku (0, 1). Znajdź gęstość zmiennej losowej Z = X 1 X 2.

25 ozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe 2.1. Warunkowa wartość oczekiwana względem zdarzenia Niech (Ω, F, P ) będzie przestrzenią probabilistyczną i niech A F będzie zdarzeniem takim, ze P (A) > 0. Wiadomo, że odwzorowanie P A : F [0, 1] zadane wzorem P A (B) = P (B A) = P (A B), B F P (A) jest prawdopodobieństwem na (Ω, F) i nazywamy je prawdopodobieństwem warunkowym. Niech X będzie całkowalną zmienną losową na (Ω, F, P ). Definicja 2.1. Warunkową wartością oczekiwaną zmiennej losowej X względem zdarzenia A nazywamy liczbę E(X A) = X dp A. Nietrudno zauważyć, że E(X A) = 1 X dp. P (A) A Aby to formalnie uzasadnić należy wykorzystać indukcję mierzalną. Dla X = 1 B, B F oczywistym jest, że Ω 1 B dp A = P (B A) = Ω P (A B) P (B) = 1 1 B dp. P (A) A Kolejne kroki indukcji mierzalnej w których X jest zmienną losową prostą, nieujemną i całkowalną łatwo wynikają z liniowości całki i twierdzenia Lebesgue a o zbieżności całki. Twierdzenie 2.1. (Odpowiednik wzoru na prawdopodobieństwo całkowite) Jeżeli {A 1, A 2,...} stanowi rozbicie przestrzeni Ω tzn. i=1 A i = Ω, gdzie A i F, P (A i ) > 0, A i A j =, j i, i, j N, to EX = E(X A i )P (A i ). i=1

26 ozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe Dowód. Wynika z ciągu równości EX = Ω X dp = = 1 X dp = P (A i ) X dp i=1 A i P (A i=1 i ) A i P (A i )E(X A i ). i=1 Definicja 2.2. Jeżeli {A 1, A 2,...} stanowi rozbicie przestrzeni Ω oraz G = σ(a i : i N), to warunkową wartością oczekiwaną zmiennej losowej X względem G nazywamy zmiennę losową E(X G) równą E(X G) = E(X A i )1 Ai. i=1 Zauważmy, że tak określona zmienna losowa jest G-mierzalna oraz dla każdego zbioru B G zachodzi równość X dp = E(X G) dp. B B Istotnie, jeżeli B G, to jest postaci B = k K A i k, gdzie K jest skończony lub przeliczalny. Stąd X dp = = E(X A ik )P (A ik ) B k K A ik k K = E(X A ik )dp = E(X A ik )1 Aik dp k K A ik B k K = E(X G) dp. B 2.2. Warunkowa wartość oczekiwana względem σ-algebry Definicja 2.3. Niech G F będzie σ-algebrą zbiorów, a X całkowalną zmienną losową na (Ω, F, P ). Warunkową wartością oczekiwaną X względem G nazywamy zmiennę losową E(X G) spełniającą warunki (i) E(X G) jest G-mierzalna, (ii) dla każdego zbioru B G X dp = E(X G) dp. B B Twierdzenie 2.2. Dla dowolnej σ-algebry G F i całkowalnej zmiennej losowej X istnieje wyznaczona jednoznacznie (P -p.w.) warunkowa wartość oczekiwana.

ozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe 27 Zauważmy, że jeżeli G = {, Ω}, to warunkowa wartość oczekiwana pokrywa się z klasyczną wartością oczekiwaną tzn. E(X G) = EX. Z kolei w przypadku, gdy X jest zmienną losową G-mierzalną to E(X G) = X. Bezpośrednio z definicji wynikają też następujące własności warunkowej wartości oczekiwanej. Twierdzenie 2.3. (Podstawowe własności warunkowej wartości oczekiwanej) Niech X, Y będą całkowalnymi zmiennymi losowymi, a G F niech będzie zadaną σ-algebrą zbiorów. (i) Dla dowolnych a, b (ii) Jeżeli X Y, to E(X G) E(Y G). (iii) E(X G) E( X G). E(aX + by G) = ae(x G) + be(y G). Nietrudno zauważyć, że jeżeli zmienna losowa X jest niezależna od σ-algebry G, to E(X G) = EX. Istotnie, ponieważ EX jako stała jest mierzalna względem każdej σ- algebry, wystarczy w tym celu pokazać, że dla każdego A G X dp = EX dp. A Niech A G. Ponieważ X jest niezależna od G więc zmienne losowe 1 A, X są niezależne. Stąd i z twierdzenia 1.10 X dp = 1 A X dp = 1 A dp X dp A Ω Ω Ω = P (A)EX = EX dp. A A Jeżeli {X n } jest ciągiem zmiennych losowych na (Ω, F, P ) takim, że X n istnieje całkowalna zmienna losowa Y, dla której X n Y, n N, to P X oraz E(X n G) P E(X G). (2.1) Wynika to w istocie z mocniejszej zbieżności E X n X 0 gdyż bezpośrednio z twierdzenia 2.3(iii) i wniosku 5.1 E E(X n G) E(X G) = E E(X n X G) EE( X n X G) = E X n X 0. Z drugiej strony dla każdego ɛ > 0 P ( E(X n G) E(X G) ɛ) ɛ 1 E E(X n G) E(X G), co pociąga (2.1). Aby uzyskać zbieżność warunkowych wartości oczekiwanych P -p.w. musimy zakładać zbieżność w tym samym sensie wyjściowego ciągu zmiennych losowych. Dowód w tym przypadku jest dużo trudniejszy dlatego go opuszczamy.

28 ozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe Twierdzenie 2.4. Jeżeli {X n } jest ciągiem zmiennych losowych na (Ω, F, P ) takim, że X n X P -p.w. oraz istnieje całkowalna zmienna losowa Y dla, której X n Y, n N, to E(X n G) E(X G) P -p.w. Twierdzenie 2.5. Jeżeli zmienna losowa X jest G-mierzalna oraz zmienne losowe Y i XY są całkowalne, to E(XY G) = X E(X G). Twierdzenie 2.6. Jeżeli zmienna losowa X jest całkowalna i są dane dwie σ-algebry G 1, G 2 takie, że G 1 G 2 F, to E(E(X G 2 ) G 1 ) = E(X G 1 ). Na zakończenie tego podrozdziału podamy przykłady praktycznego wyliczenia warunkowych wartości oczekiwanych. Przyjmiemy wygodną konwencję, że w przypadku gdy σ- algebra G jest generowana przez zmienną losową Y tzn. G = σ(y ), to warunkową wartość oczekiwaną E(X G) = E(X σ(y )) będziemy oznaczali symbolem E(X Y ). Przykład 2.1. Niech {X n } będzie ciągiem niezależnych zmiennych losowych o tym samym rozkładzie, a N niech będzie zmienną losową o wartościach w N {0} niezależną od {X n }. Będziemy rozważali losowe sumy S N = X 1 + X 2 +... + X N. (2.2) Sumy takiej postaci mają praktyczne zastosowania w modelach teorii ryzyka. Jeżeli E X 1 < + oraz EN < +, to E(S N N) = NE(X 1 ). (2.3) Aby to uzyskać zauważmy, że bezpośrednio z definicji warunkowej wartości oczekiwanej w przypadku σ-algebry generowanej przez rozbicie E(S N N) = = E(S N N = i)1 {N=i} = i=0 E(S i )1 {N=i} = i=0 = E(X 1 )N. Całkując (2.3) otrzymujemy równość nazywaną często tożsamością Walda. E(S i N = i)1 {N=i} i=0 ie(x 1 )1 {N=i} i=0 E(S N ) = E(X 1 )E(N))

ozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe 29 2.3. ozkłady warunkowe Niech X, Y będą zmiennymi losowymi na (Ω, F, P ). Załóżmy dodatkowo, że X jest całkowalna. Twierdzenie 2.7. Istnieje funkcja borelowska h : taka, że E(X Y ) = h(y ). Dowód. W dowodzie wykorzystuje się fakt, że jeżeli dowolna zmienna losowa Z jest σ(y ) mierzalna, to istnieje funkcja borelowska h : taka, że Z = h(y ). Uzasadnimy dokładnie powyższy fakt w przypadku, gdy Z jest prostą zmienną losową. Niech Z będzie postaci Z + n i=1 a i1 Ai, gdzie A i F, A i A j = dla j i, i, j = 1, 2,..., n, n i=1 A i = Ω. Z założenia A i σ(y ). Stąd istnieją zbiory borelowskie B 1,..., B n takie, że A i = Y 1 (B i ). Ponieważ zbiory B 1,..., B n nie muszą być rozłączne definiujemy C i = B i \ i 1 j=1 B j, i = 1, 2,..., n. Zauważmy, że Y 1 (C i ) = Y 1 (B i ) = A i i 1 j=1 i 1 j=1 A c j = A i. Y 1 (B c j) Pozwala to na zdefiniowanie funkcji h wzorem { ai jeżeli y C h(y) = i, i = 1,..., n 0 w przeciwnym razie. Ponieważ dla ω A i zachodzi Y (ω) C i, więc oznacza to, iż h(y (ω)) = a i dla i = 1, 2,..., n i stąd Z = h(y ). Definicja 2.4. Niech y. Warunkową wartością oczekiwaną zmiennej losowej X pod warunkiem {Y = y} nazywamy liczbę h(y), gdzie h jest funkcją otrzymaną w poprzednim twierdzeniu. Oznaczamy ją symbolem E(X Y = y). Jeżeli zmienna losowa Y ma rozkład dyskretny i P (Y = y) > 0, to z definicji warunkowej wartości oczekiwanej względem zdarzenia {Y = y} 1 E(X Y = y) = X dp. P (Y = y) {Y =y} Wartość ta jest równa wartości h(y) gdyż z definicji warunkowej wartości oczekiwanej względem σ-algebry generowanej przez rozbicia dla ω {Y = y} również 1 E(X Y )(ω) = X dp. P (Y = y) {Y =y} Uwaga 2.1. Wykorzystując definicję 2.4 dla y przyjmujemy, że:

30 ozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe (a) dla wszystkich A F P (A Y = y) = E(1 A Y = y), (b) dla wszystkich B B P (X B Y = y) = E(1 {X B} Y = y). Definicja 2.5. Niech y. ozkładem warunkowym zmiennej losowej X pod warunkiem {Y = y} nazywamy rozkład prawdopodobieństwa P X Y =y na (, B) taki, że dla każdego zbioru borelowskiego B B P X Y =y (B) = P (X B Y = y). Znając rozkład zmiennej losowej Y i rozkłady warunkowe P X Y =y, y możemy w prosty sposób wyznaczyć rozkład łączny (X, Y ) i w konsekwencji rozkład X. Ich postać wynika z następujących twierdzeń. Twierdzenie 2.8. Niech P Y oznacza rozkład zmiennej losowej Y, a P X Y =y, y rodzinę odpowiednich rozkładów warunkowych. ozkład łączny P (X,Y ) jest postaci P (X,Y ) (B C) = P X Y =y (B) dp Y (y) B, C B. C Twierdzenie 2.9. Jeżeli P Y jest rozkładem absolutnie ciągłym o gęstości p Y (y) i dla każdego y P X Y =y jest absolutnie ciągły z gęstością p X Y (x y), to rozkład łączny P (X,Y ) jest również absolutnie ciągły. Jego gęstość jest postaci p(x, y) = p X Y (x y) p Y (y). Można też postępować odwrotnie. Posiadając informacje na temat rozkładu łącznego możemy wyznaczać rozkłady brzegowe. Podane poniżej dwa twierdzenia opisują dokładnie przypadek dyskretny i absolutnie ciągły. Twierdzenie 2.10. Niech X, Y będą zmiennymi losowymi dyskretnymi o rozkładzie łącznym P (X = x i, Y = y j ) = p ij i, j N. ozkłady warunkowe P X Y =yj, j N są rozkładami dyskretnymi takimi, że dla każdego zbioru borelowskiego B B P X Y =yj (B) = p i j, gdzie p i j = P (X = x i Y = y j ) = {i:x i B} p ij, i, j N. i=1 p ij Dowód. Wynika z ciągu oczywistych równości P X Y =yj (B) = P (X B Y = y j ) = P (X = x i Y = y j ) = {i:x i B} {i:x i B} p i j.

ozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe 31 Twierdzenie 2.11. Niech X, Y będą zmiennymi losowymi dyskretnymi o rozkładzie łącznym absolutnie ciągłym z gęstością p(x, y). ozkłady warunkowe P X Y =y, y są również rozkładami absolutnie ciągłymi o gęstościach p X Y (x y) = p(x, y) p(x, y) = p(x, y)dx p Y (y), gdzie przyjmujemy, że prawa strona jest równa 0 w przypadku, gdy równy jest 0 jej mianownik. 2.4. Zadania Zad. 2.1. Niech X = 1 A będzie zmienną losową na (Ω, F, P ), niech też B F. Oznaczmy G = σ(b). Wyznacz E(X G). Zad. 2.2. Niech rozkład wektora (X, Y ) będzie dany tabelką: Jaka jest E(X Y )?. X\Y 0 1 2-1 1/4 1/4 0 1 0 1/4 1/4 Zad. 2.3. Niech {X n } będzie ciągiem niezależnych zmiennych losowych o tym samym rozkładzie, a N niech będzie zmienną losową o wartościach w N {0} niezależną od {X n }. Niech też S N = X 1 + X 2 +... + X N. Pokazać, że jeżeli EX 2 1 < + oraz EN 2 < +, to D 2 (S N N) = ND 2 (X 1 ). Zad. 2.4. Niech zmienna losowa Y ma rozkład Poissona z parametrem λ > 0, a P X Y =n, n N {0} mają rozkłady Bernoullego dla n prób ze stałym prawdopodobieństwem sukcesu p (0, 1). Wyliczyć rozkład zmiennej losowej X oraz E(X Y ). Zad. 2.5. Niech X 1,..., X n będą niezależnymi zmiennymi losowymi o tym samym rozkładzie dwupunktowym takim, że dla ustalonego p (0, 1) P (X i = 1) = p, P (X i = 0) = 1 p, i = 1,..., n. Niech też S n = n i=1 X i. Pokazać, że E(X 1 S n = k) = k, k = 0, 1,..., n. n

32 ozdział 2. Warunkowa wartość oczekiwana i rozkłady warunkowe Zad. 2.6. Wektor (X, Y ) T ma rozkład absolutnie ciągły z gęstością p(x, y) = (x 2 + 2y 2 )1 (0,1) (x)1 (0,1) (y). Wyznacz gęstość warunkową f X Y (x y) oraz E(X Y ). Zad. 2.7. Niech gęstości rozkładu zmiennej losowej X i rozkładu warunkowego będą postaci p X (x) = 1 (0,1) (x), p Y X (y x) = 1 x 1 (0,x)(y) dla x (0, 1). Wyliczyć: (a) E(Y X), (b) E(X Y ). Zad. 2.8. Niech X, Y będą niezależnymi całkowalnymi zmiennymi losowymi o tym samym rozkładzie. Uzasadnić, że E(X X + Y ) = E(Y X + Y ) = X + Y 2.

33 ozdział 3. Ciągi niezależnych zmiennych losowych 3.1. Przestrzenie produktowe i twierdzenie Kołmogorowa o rozkładach zgodnych Niech (Ω i, F i, P i ), i = 1,..., n będą przestrzeniami probabilistycznymi. Wykorzystując twierdzenie 5.8 możemy skonstruować przestrzeń produktową (Ω, F, P ) = n i=1(ω i, F i, P i ). Przestrzenie produktowe stanowią wygodne narzędzie pozwalające na konstrukcję niezależnych zdarzeń i zmiennych losowych. Jeżeli weźmiemy zdarzenia C i F i, i = 1,..., n i rozszerzymy je na (Ω, F, P ) kładąc A i = Ω 1...Ω i 1 C i Ω i+1... Ω n, i = 1,..., n. to można zauważyć, że A 1,..., A n są niezależnymi zmiennymi losowymi. Podobnie jeżeli weźmiemy zmienne losowe Y i, określone na wyjściowych przestrzeniach (Ω i, F i, P i ), i = 1,..., n i rozszerzymy je na Ω przyjmując, że to X i (ω) = Y i (ω i ) i = 1,..., n, ω = (ω 1,..., ω n ) Ω, (a) X 1,..., X n są niezależnymi zmiennymi losowymi na przestrzeni produktowej, (b) dla każdego i = 1,..., n rozkłady zmiennych losowych X i i Y i są takie same. Przykład 3.1. (Schemat Bernoullego) Niech (Ω, F, P ) będzie przestrzenią probabilistyczną taką, że Ω = {0, 1}, F = 2 Ω = {, Ω, {0}, {1}} i P ({1}) = p, P ({0}) = 1 p, gdzie p jest pewną liczbą rzeczywistą z przedziału (0, 1). Przestrzeń produktowa (Ω, F, P ) = n i=1(ω, F, P ) będąca n-krotnym produktem przestrzeni (Ω, F, P ) modeluje schemat n prób Bernoullego z prawdopodobieństwem sukcesu p w pojedynczej próbie. W szczególności zmienne losowe X 1,..., X n na (Ω, F, P ) zdefiniowane dla każdego ω = (ω 1,..., ω n ) Ω wzorem X i (ω) = ω i, i = 1,..., n

34 ozdział 3. Ciągi niezależnych zmiennych losowych są niezależnymi zmiennymi losowymi o tym samym rozkładzie dwupunktowym P (X i = 1) = p P (X i = 0) = 1 p i = 1,..., n. Niech ν 1,..., ν n będzie zadanym ciągiem rozkładów na (, B). Postępując w podobny sposób nietrudno skonstruować przestrzeń probabilistyczną (Ω, F, P ) i określone na niej niezależne zmienne losowe X 1,..., X n takie, że P Xi = ν i, i = 1,...n. W tym celu wystarczy przyjąć Ω = n, F = B n, P = n i=1ν i oraz X i (x) = x i x = (x 1,..., x n ) n. Wtedy dla dowolnego zbioru borelowskiego B B oraz i = 1,..., n P Xi (B) = P (X i B) = P (X 1,..., X i 1, X i B, X i+1,..., X n ) = n i=1ν i (x n : x 1,..., x i 1, x i B, x i+1,..., x n ) = n i=1ν i (... B... ) = ν 1 ()... ν i 1 ()ν i (B)ν i+1 ()... ν n () = ν i (B). Aby pokazać niezależność zmiennych losowych X 1,..., X n dowolnych zbiorów borelowskich B 1,..., B n B wystarczy zauważyć, że dla P (X 1 B 1,..., X n B n ) = n i=1ν i (x n : x 1 B 1,..., x n B n ) = n i=1ν i (B 1... B n ) = ν 1 (B 1 )... ν n (B n ) = P (X 1 B 1 )... P (X n B n ). W celu skonstruowania ciągu niezależnych zmiennych losowych o zadanych rozkładach potrzebować będziemy nieskończonej przestrzeni probabilistycznej. Niech =..., tzn. x wtedy i tylko wtedy, gdy x = (x 1, x 2,...), gdzie x i, i N. Niech π 1,...,n : n oznacza rzut na pierwszych n współrzędnych tzn. π 1,...,n (x) = (x 1,..., x n ) n, x, n N. Definicja 3.1. (i) Zbiorami cylindrycznymi nazywamy zbiory postaci π 1 1,...,n(B), gdzie B B n, n N. Klasę zbiorów cylindrycznych oznaczamy symbolem A. (ii) σ-algebrą produktową na nazywamy σ-algebrę generowaną przez A. Oznaczamy ją symbolem B tzn. B = σ(a). Uwaga 3.1. (a) Dla B B n, n N π 1 1,...,n(B) = B...

ozdział 3. Ciągi niezależnych zmiennych losowych 35 (b) A jest algebrą zbiorów. (c) Jeżeli dla x, y przyjmiemy, że ρ(x, y) = n=1 x n y n 2 n (1 + x n y n ), to (, ρ) jest przestrzenią metryczną i można pokazać, że B = σ(u : U otwarte w (, ρ)). Niech µ będzie miarą probabilistyczną na (, B ). Jeżeli zdefiniujemy µ n (B) = µ(π 1 1,...,n(B)), B B n, n N, to dla każdego n N jest miarą probabilistyczną na ( n, B n ). Ponadto ciąg miar probabilistycznych µ 1, µ 2,... określonych odpowiednio na (, B), ( 2, B 2 ),... spełnia następujący warunek zgodności µ n+1 (B ) = µ n (B), B B n, n N. (3.1) Okazuje się, że prawdziwy jest również fakt odwrotny. Twierdzenie 3.1. (Kołmogorowa o rozkładach zgodnych) Niech µ 1, µ 2,... będzie ciągiem miar probabilistycznych określonych odpowiednio na przestrzeniach (, B), ( 2, B 2 ),... spełniających warunek zgodności (3.1). Istnieje dokładnie jedna miara probabilistyczna µ na (, B ) taka, że µ(π 1 1,...,n(B)) = µ n (B), B B n, n N. Wniosek 3.1. Niech ν 1, ν 2,... będzie zadanym ciągiem rozkładów na (, B). Istnieje przestrzeń probabilistyczna (Ω, F, P ) i określony na niej ciąg zmiennych losowych X 1, X 2,... o własnościach (i) P Xn = ν n, n N, (ii) X 1, X 2,... jest ciągiem niezależnych zmiennych losowych. Dowód. Definiujemy µ n = n i=1ν i, n N. Ciąg µ 1, µ 2,... spełnia warunek zgodności, gdyż µ n+1 (B ) = n+1 i=1 ν i(b ) = n i=1ν i (B) ν n+1 () = n i=1ν i (B). Na mocy twierdzenia Kołmogorowa o rozkładach zgodnych istnieje jednoznacznie wyznaczona miara probabilistyczna µ na (, B ). Przyjmujemy, że (Ω, F, P ) = (, B, µ). Ponadto definiujemy ciąg zmiennych losowych X 1, X 2,... kładąc X n (x) = x n, x, n N.

36 ozdział 3. Ciągi niezależnych zmiennych losowych Wtedy dla każdego zbioru borelowskiego B B i n N P Xn (B) = P (X n B) = P (X 1,..., X n 1, X n B) = µ(x : x 1,..., x n 1, x n B) = µ(π 1 1,...,n(... B)) = µ n (... B) = n i=1ν i (... B) = ν 1 ()... ν n 1 ()ν n (B) = ν n (B), co dowodzi (i). W celu pokazania (ii) wystarczy zauważyć, że dla dowolnych zbiorów borelowskich B 1,..., B n B P (X 1 B 1,..., X n B n ) = µ(x n : x 1 B 1,..., x n B n ) = µ(π 1 1,...,n(B 1... B n )) = µ n (B 1... B n ) = n i=1ν i (B 1... B n ) = ν 1 (B 1 )... ν n (B n ) = P (X 1 B 1 )... P (X n B n ). Twierdzenie 3.2. (0 1 Kołmogorowa) Niech X 1, X 2,... będzie ciągiem niezależnych zmiennych losowych na (Ω, F, P ), a F = σ(x k, X k+1,...). Jeżeli A F, to P (A) = 0 lub P (A) = 1. 3.2. Zbieżność szeregów niezależnych zmiennych losowych Niech X 1, X 2,... będzie ciągiem niezależnych zmiennych losowych określonych na tej samej przestrzeni probabilistycznej (Ω, F, P ). ozważać będziemy problem zbieżności szeregu w sensie zbieżności prawie wszędzie. n=1 Twierdzenie 3.3. (Nierówność Kołmogorowa) Niech X 1,..., X n będą niezależnymi zmiennymi losowymi o skończonych wariancjach. Dla każdego ɛ > 0 X n k P ( max (X i EX i ) ɛ) 1 k n i=1 n D2 (X k ) ɛ 2. Dowód. Bez ograniczenia ogólności możemy założyć, że EX k = 0, k = 1,..., n. Oznaczmy S k = k i=1 X i oraz A k = { S i < ɛ dla i = 1,..., k, S k ɛ}, A = { max 1 k n S k ɛ}.