RACHUNEK PRAWDOPODOBIEŃSTWA A.

Transkrypt

1 RACHUNEK PRAWDOPODOBIEŃSTWA A. Semestr letni Poniedziałki 12:15-15:00, sala HS. Wykładowca: Ryszard Szekli, pok. 514, konsultacje: poniedziałki 10-12, terminy egzaminów: I termin , (ŚRODA) 10-13, sala HS+WS, II termin do ustalenia (wrzesień). Warunki ukończenia kursu: zaliczenie ćwiczeń: 3 sprawdziany w semestrze (3x20= 60 punktów), aktywność max 30 pkt, e-learning max 20 pkt. ocena 3.0 od 30 pkt. punkty powyżej 60 przechodzą na konto egzaminu w całości. Na listach zadań są zadania obowiązkowe (łatwe), które każdy student jest zobowiazany rozwiązać samodzielnie. Nieznajomość rozwiązania generuje punkty ujemne. Zadania oznaczone (+) na listach mogą być punktowane przez prowadzących, po zrobieniu ich przy tablicy. zdanie egzaminu pisemnego: egzamin testowy max 80 pkt.; 10 zadań testowych: możliwe odpowiedzi a,b,c,d każda prawdziwa lub nie; z ćwiczeń i wykładu. ocena 3.0 od 30 pkt. PLAN WYKŁADU: 1. WPROWADZENIE 1.1 Uwagi historyczne 1.2 Powtórka podstaw rachunku prawdopodobieństwa 2. NIEZALEŻNOŚĆ I CIAGI ZMIENNYCH LOSOWYCH 2.1 Schemat Bernoulliego 2.2 Ciagi nieskończone zmiennych niezależnych 2.3 Błądzenia losowe, prawo arcusa sinusa 2.4 Rekurencje, łańcuchy Markowa 3. ROZKŁADY 3.1 Zmienne losowe, wektory losowe 3.2 Przybliżenia rozkładów 3.3 Gȩstości i dystrybuanty 3.4 Funkcje od zmiennych losowych 3.5 Rozkłady ł aczne i brzegowe 3.6 Sumy niezależnych zmiennych losowych 4. WARTOŚĆ OCZEKIWANA, MOMENTY 4.1 Momenty i funkcje tworz ace 4.2 Wariancja i kowariancja 5. TWIERDZENIA GRANICZNE 5.1 Prawa wielkich liczb 5.2 Centralne twierdzenie graniczne 1

2 Literatura: P. Billingsley, Prawdopodobieństwo i miara, PWN, 1987 W. Feller, Wstep do rachunku prawdopodobieństwa, tom I, PWN, 1977 J. Jakubowski, R. Sztencel, Wstep do teorii prawdopodobieństwa, SCRIPT, M. Majsnerowska: Elementarny wykład z rachunku prawdopodobieństwa z zadaniami, strona www IM D. Stirzaker, Elementary Probability, Second. ed. Cambridge R. Durrett, Elementary Probability for Applications, Cambridge

3 0.1 Wprowadzenie Zdarzenia i eksperymenty Przestrzeń zdarzeń elementarnych Ω jest zbiorem możliwych wyników pewnego eksperymentu. Jeśli Ω jest zbiorem przeliczalnym, to zdarzeniem jest każdy podzbiór Ω. Zbiór zdarzeń oznaczamy F. Ogólnie, zakładamy, że F jest zamkni ety na przeliczalne sumy, przekroje i dopełnienia oraz zawiera Ω Permutacje i kombinacje W wielu przypadkach P (A) jest postaci A / Ω, gdzie A oznacza liczbȩ elementów zbioru A. Zasada mnożenia możliwości. Załóżmy, że wykonano m N eksperymentów, w których k-ty (1 k m) eksperyment ma n k N możliwych wyników, niezależnie od wyników pozostałych eksperymentów. Wtedy ł aczna ilość możliwych wyników wynosi n 1 n m. Permutacje. Z n N elementów można wybrać k (1 k n) elementów ustawionych kolejno na P n,k = n (n 1) (n k + 1) = sposobów. n! (n k)! Kombinacje. Z n N elementów można wybrać k (1 k n) elementów, bez rozróżniania ich kolejności na C n,k = sposobów. n! (n k)!k! = ( ) n k Przykład Zastosowanie C n,k we wzorze dwumianowym dla (a + b) 4. Twierdzenie dwumianowe. Przyjmuj ac 0! = 1, dla każdego a, b R i n N zachodzi: ( ) n n (a + b) n = a k b n k. k k=0 Przykład Prakyczny sposób wyliczania współczynników ( n k),trójk at Pascala:. ( ) ( ) ( ) n n 1 n 1 = + k k 1 k

4 Współczynniki wielomianowe. Z n N elementów można wybrać m podzbiorów o liczebnościach n 1, n 2,..., n m (n n m = n) na n! n 1! n m! sposobów. Zachodzi wzór: (x x m ) n = {n 1 + +n m =n} n! n 1! n m! xn 1 1 xnm m Prawdopodobieństwo Prawdopodobieństwo P jest funkcj a przyporz adkowuj ac a zdarzeniom liczby takie, że (i) Dla A Ω, 0 P (A) 1. (ii) P (Ω) = 1. Dla każdego ci agu {A i } (skończonego lub nieskończonego) zdarzeń rozł acznych P ( i A i ) = i P (A i ). Uwaga Nie dla wszystkich zbiorów Ω można znaleźć nietrywialn a funkcjȩ P o powyższych własnościach, określon a na wszystkich podzbiorach Ω na przykład Ω := [0, 1] oraz P ((a, b]) = b a, 0 a b 1 jest naturaln a funkcj a prawdopodobieństwa na tym zbiorze, jednakże nie można t a funkcj a zmierzyć wszystkich podzbiorów Ω (istniej a zbiory niemierzalne ). Rozważania ogranicza siȩ wtedy do podklasy mierzalnych zbiorów (zdarzeń), które tworz a σ ciało zdarzeń. W przypadku, gdy Ω jest zbiorem przeliczalnym takie trudności nie wystȩpuj a i wtedy wszystkie podzbiory Ω s a mierzalne. Własności wynikaj ace z określenia prawdopodobieństwa: 1. P (A c ) = 1 P (A) 2. P ( ) = 0 3. Jeśli A B, to P (A) P (B) 4. P (A B) = P (A) + P (B) P (A B) 5. P ( i A i) i P (A i) 6. Jeśli A 1 A 2 i A = i A i, to P (A i ) i P (A). 7. Jeśli A 1 A 2 i A = i A i, to P (A i ) i P (A). 4

5 0.1.4 Prawdopodobieństwo sumy Zachodzi wzór n n P ( A i ) = P (A i ) P (A i A j ) + i=1 i=1 i<j Nierówności Bonferroniego. n P ( A i ) i=1 n P (A i ) i=1 i<j<k n n P ( A i ) P (A i ) P (A i A j ) i=1 i=1 i<j n n P ( A i ) P (A i ) P (A i A j ) + i=1 i=1 i<j i<j<k P (A i A j A k ) + + ( 1) n+1 P (A 1 A n ) P (A i A j A k ) Wybieranie z urny kolorowych kul jest matematyczn a idealizacj a wielu eksperymentów, w których losowo wybiera siȩ skończon a ilość obiektów różnych typów. Model urnowy. W urnie znajduje siȩ M kul czerwonych i N kul czarnych. Wyci agamy z urny n kul bez zwracania ich. Wtedy prawdopodobieństwo, że wyci agniemy r kul czerwonych wynosi )( N ) ( M r n r ( M+N ) n gdzie dla j < 0 lub j > m przyjmujemy ( m j ) = 0. Przykład (Lotto). Wybieramy 6 liczb ze zbioru {1,..., 54}. 1 nagroda to 6 trafionych, 2 nagroda to 5 trafionych, 3 nagroda 4 trafione. Jakie s a prawdopodobieństwa zdobycia tych nagród? Przykład (Kontrola jakości). Wyprodukowano M żarówek, w tym N wadliwych. Testujemy n żarówek. Jakie jest prawdopodobieństwo, że wszystkie testowane żarówki s a dobre? Przykład (Wnioskowanie o wielkości populacji). Student biologii złowił w stawie 60 wodnych chrz aszczy, oznaczył farb a i wypuścił. Po pewnym czasie wrócił i złowił 50 chrz aszczy, w tym znajduj ac 12 oznaczonych farb a. Jak można oszacować wielkość populacji chrz aszczy w tym stawie? Powtarzanie eksperymentów Z urny zawieraj acej K kul ponumerowanych od 1 do K wyci agamy kolejno kule, notuj ac ich numery i zwracaj ac je do urny. Wyciagaj ac k kul, prawdopodobieństwo, że wszystkie kule maj a różne numery wynosi P K,k K k = K k + 1 K K k + 2 K K K Rzuty symetryczn a monet a. Przyjmujemy, że K = 2 (np. K = 1 oznacza orła, K = 2, oznacza reszkȩ). Prawdopodobieństwo uzyskania dokładnie j orłów w k rzutach wynosi ( ) k 1 j 2 k. 5

6 0.2 Prawdopodobieństwo warunkowe Istniej a dwa sposoby rozumienia zdarzeń niezależnych: potoczne i statystyczne (matematyczne). Matematyczne pojȩcie niezależności jest prost a reguł a mnożenia. Definicja Zdarzenia A i B s a niezależne gdy P (A B) = P (A)P (B). Wniosek Zdarzenia A i B o dodatnich prawdopodobieństwach, rozł aczne nie s a niezależne. 2. Ω jest zdarzeniem niezależnym od każdego innego zdarzenia. 3. Zdarzenie jest niezależne od każdego innego zdarzenia. Ci ag zdarzeń A 1,..., A n jest niezależny parami, jeśli P (A i A j ) = P (A i )P (A j ) dla wszystkich i j. Ci ag zdarzeń A 1,..., A n jest niezależny, jeśli P (A i1 A ik ) = P (A i1 ) P (A ik ), dla wszystkich i 1 < i 2 < < i k. Przykład (Rozkład wielomianowy). Przypuśćmy, że kostka do gry ma 1 na trzech ścianach, 2 na dwóch ścianach i 3 na jednej ścianie. Rzucamy tak a kostk a 10 razy. Wyliczamy prawdopodobieństwo uzyskania 5 razy 1, 3 razy 2 i 2 razy 3: 10! 5!3!2! (1/2)5 (1/3) 3 (1/6) 2 Ogólnie, wykonuj ac n niezależnych prób o możliwych k wynikach, przy czym prawdopodobieństwo wyniku typu i (i = 1,..., k) wynosi odpowiednio p i, prawdopodobieństwo uzyskania n 1 wyników typu 1, n 2 wyników typu 2,..., n k wyników typu k (n n k = n) dane jest wzorem n! n 1!...n k! pn pn k k Wzór na prawdopodobieństwo warunkowe Definicja Dla dowolnego zdarzenia A Ω, takiego, że P (A) > 0 prawdopodobieństwem warunkowym przy warunku A nazywamy funkcjȩ prawdopodobieństwa P ( A) określon a na Ω nastepuj acym wzorem P (B A) = P (A B) P (A) dla zdarzeń B Ω. Łatwo sprwadzić, że P ( A) ma wymagane własności funkcji prawdopodobieństwa: 0 P (B A) 1, dla każdego zdarzenia B Ω, 6

7 P (B 1 B 2 A) = P (B 1 A) + P (B 2 A), dla dowolnych rozł acznych zdarzeń B 1, B 2. P (Ω A) = 1 Zauważmy, że wtedy również P (A A) = 1, to znaczy masa prawdopodobieństwa warunkowego skupiona jest na zdarzeniu wzglȩdem którego warunkujemy. Przykład Wartość P ( A) dla każdego B niezależnego od A pokrywa siȩ z wartościa wyjściowego prawdopodobieństwa P tzn. P (B A) = P (B). Rozwiazanie w powyższym przykładzie można uogólnić. Jeśli B 1,..., B k stanowi a rozbicie rozł aczne Ω, tzn. Ω = B 1... B k oraz B 1... B k =, to zachodzi wzór na prawdopodobieństwo całkowite k P (A) = P (A B i )P (B i ) i=1 dla każdego zdarzenia A Ω Reguła Bayesa Rozwi azanie w powyższym przykładzie sugeruje ogólny wzór: Wzór Bayesa Jeśli B 1,..., B k stanowi a rozbicie rozł aczne Ω, tzn. Ω = B 1... B k oraz B 1... B k =, oraz P (A) > 0, P (B i ) > 0 to P (B i A) = P (B i )P (A B i ) kj=1 P (A B j )P (B j ) dla dowolnego i = 1,..., k. 0.3 NIEZALEŻNOŚĆ: Ciagi Schemat Bernoulliego Przykład (Rozkład dwumianowy). Powtarzamy pewien eksperyment o możliwych wynikach: sukces (S) lub porażka (P), n razy. Jak zdefiniować prawdopodobieństwo P na Ω = {ω = (W 1,..., W n ) : W i {S, P }, i = 1,..., n} gdzie W i oznacza wynik i-tej próby, tak aby zdarzenia : w i -tej próbie sukces, oraz : w i + j- tej próbie porażka (dla wszystkich 1 i < i + j n) były niezależne? Prawdopodobieństwo uzyskania k sukcesów w n próbach równa siȩ wtedy ( ) n p k (1 p) n k k gdzie p (0, 1) jest prawdopodobieństwem sukcesu w jednej próbie. Przykład (Rozkład geometryczny). Rzucamy kostk a do chwili uzyskania 6. Niech N oznacza ilość potrzebnych rzutów. Wtedy P (N = k) = (5/6) k (1/6). (k = 1, 2,...). Ogólnie liczba prób N potrzebna do uzyskania pierwszego sukcesu jest wielkości a losow a, dla której P (N = k) = (1 p) k 1 p, gdzie p (0, 1) jest prawdopodobieństwem sukcesu w jednej próbie oraz k = 1, 2,... 7

8 Przykład (Ujemny rozkład dwumianowy). Powtarzamy próby o możliwych wynikach sukces (S), porażka (P), do czasu uzyskania dokładnie k sukcesów. Wtedy dla T k, liczby potrzebnych prob zachodzi ( ) m + k 1 P (T k = m + k) = (1 p) m p k m dla dowolnego k = 1, 2,... oraz m = 0, 1, 2, Istnienie nieskończonego ci agu zmiennych losowych niezależnych Niech Ω = [0, 1], P = (miara Lebesgue a, miara długości). Zdarzeniami bȩd a wszystkie zbiory borelowskie w [0, 1]. Dla dowolnego ω [0, 1] niech ω = Z Z Z bedzie rozwiniȩciem dwójkowym (dla 3 jednoznaczności przyjmujemy rozwiniecia o skończonej ilości jedynek, jeśli takie s a dopuszczalne). Wtedy ci ag (Z 1, Z 2,...) jest ci agiem niezależnych zmiennych losowych o wartościach 0 i 1. Uzasadnienie: Wystarczy pokazać, że P (Z 1 = d 1,..., Z n = d n ) = P (Z 1 = d 1 )...P (Z n = d n ) dla dowolnego układu zer i jedynek d = (d 1,..., d n ), (d i {0, 1}). Niech A d = {Z 1 = d 1,..., Z n = d n } wtedy Ω = d A d jest rozł aczn a sum a 2 n zbiorów, gdzie sumowanie jest po wszystkich układach zer i jedynek na n miejscach. Rozpatrzmy dwa dowolne takie układy d, d. Niech n d T d,d (ω) i = ω + d i 2 i i=1 dla ω [0, 1]. Wtedy oczywiście T d,d (A d ) = A d, a ponieważ T d,d jest przesuniȩciem i w zwi azku z tym nie zmienia miary P zbioru A d, tzn. P (A d ) = P (T d,d (A d )) = P (A d ), wynika st ad, że wszystkie zbiory A d maj a to samo prawdopodobieństwo niezależnie od indeksu d. Ponieważ jest ich 2 n i w sumie daj a one Ω, wnioskujemy, że P (A d ) = 1 2 dla każdego d. Mamy wiȩc P (Z n 1 = d 1,..., Z n = d n ) = P (A d ) = 1 2. n Zauważmy teraz, że P (Z 1 = d 1 ) = 1/2, bo wystarczy podstawić n = 1 w poprzedniej równości. Ponadto P (Z 2 = d 2 ) = P (Z 1 = 0, Z 2 = 2)+P (Z 1 = 1, Z 2 = d 2 ) = 1/4+1/4 = 1/2, wykorzystuj ac tȩ sam a równość dla n = 2. Rozumujac przy pomocy indukcji matematycznej otrzymujemy ogólnie P (Z n = d n ) = 1/2, a st ad warunek niezależności bezpośrednio wynika. Aby skonstruować ci ag niezależnych zmiennych losowych o rozkładach dowolnych przy użyciu ci agu (Z 1, Z 2,...) ustawiamy go w tablicȩ (Z ik ) i=1,2,...k=1,2,.... Niech teraz U i = Z ik /2 k k=1 Wtedy (U 1, U 2,...) tworz a ci ag niezależnych zmiennych losowych o rozkładach jednostajnych na [0, 1]. Rzeczywiście dla x [0, 1] [x2 ] N gdzie P (U i x) = lim N P (U N i U N i = N Z ik /2 k k=1 x) = lim N 2 N = x Bior ac teraz X i = F 1 (U i ), dla dowolnej ci agłej dystrybuanty F otrzymujemy ciag (X 1, X 2,...) niezależnych zmiennych losowych o jednakowym rozkładzie o dystrybuancie F. 8

9 0.3.3 Łańcuchy Markowa, rekurencje Przykład (Łańcuch Markowa o 2 stanach). Załóżmy, że na rynku s a dwa typy pasty do zȩbów: a, b. Klienci kupuj a przy każdym nastȩpnym zakupie pasty ten sam typ z prawdopodobieństwem 3/4 oraz inny typ z prawdopodobieństwem 1/4. Załóżmy, że f k procent klientów przy k-tym zakupie kupuje typ pasty a. Wyliczamy kolejne wartości f k dla k > 1, zakładaj ac, że f 1 = 1/3. Zachodzi f k = (3/4)f k 1 + (1/4)(1 f k 1 ) oraz f k 1/2, gdy k Rekurencje Przykład (Ruina gracza). Rozważmy grȩ, w której wygrywamy 1 z prawdopodobieństwem p (0, 1), przegrywamy 1 z prawdopodobieństwem q = 1 p. Zaczynamy maj ac 50 i kończymy maj ac 100 lub gdy stracimy wszystko. Wyliczamy prawdopodobieństwo zakończenia gry maj ac 100. Zachodzi rekurencja a i = pa i+1 + qa i 1 dla a i prawdopodobieństwa, że kończymy maj ac 100, przy kapitale pocz atkowym 1 i 99, przy czym a 0 = 0, a 100 = 1. Otrzymujemy a i = 1 ( q p )100 1 ((q p )i 1) Wprzypadku ruletki p = 18/38 = , wtedy a 50 = (ok. 5 razy na tysi ac gier wygramy). Przykład Grześ i Andrzej kolejno rzucaj a monet a. Jeśli wypada orzeł wygrywa Andrzej i dostaje od Grzesia 1, jesli wypada reszka wygrywa Grześ i dostaje od Andrzeja 1. Poczatkowo Grześ ma 50, Andrzej 25. Jakie jest prawdopodobieństwo, że Andrzej straci wszystko? Niech a i oznacza prawdopodobieństwo, że Andrzej straci wszystko, w sytuacji gdy Grześ ma i, a Andrzej 75 i, dla 1 i 74. Przyjmujemy a 0 = 0, a 75 = 1. Zachodzi rekurencja a i = (1/2)a i+1 + (1/2)a i 1 Znajdujemy a i = i/75. St ad Andrzej przegra z prawdopodobieństwem 50/75=2/ Rozkłady Zmienne losowe Definicja Niech Ω bȩdzie zbiorem przeliczalnym. Funkcjȩ X : Ω R nazywamy rzeczywist a zmienn a losow a. Definicja Dla zmiennej losowej X przyjmujacej wartości całkowite, ciag p X (i) = P (X = i) nazywamy funkcj a prawdopodobieństwa zmiennej losowej X (i Z). Każdy ci ag liczbowy {p(i)} i Z o własnościach 1. 0 p(i) 1, i Z 2. i Z p(i) = 1 9

10 jest funkcj a prawdopodobieństwa pewnej zmiennej losowej. Uwaga Ci ag {p X (i)} wyznacza funkcjȩ prawdopodobieństwa P X na Z poprzez równość: P X (A) = i A p X (i) określon a dla każdego A Z. Parȩ (Z, P X ) nazywamy kanoniczn a przestrzeni a probabilistyczn a zmiennej X. Przykład (Rozkład hipergeometryczny). W urnie jest M czerwonych i N czarnych kul. Wyci agamy n kul. Niech R oznacza ilość czerwonych kul spośród n wyci agnietych kul. Wtedy p R (r) = P (R = r) = ( M )( N ) r n r ( M+N ) n dla r = 0,..., n. Pozostałe wartości p R (r) przyjmujemy, że s a równe Przybliżenie rozkładu dwumianowego Przykład (Rozkład Poissona). Niech dla λ > 0 λ λi p λ (i) = e i! dla i = 0, 1,..., poza tym 0. Ci ag ten ma własności funkcji prawdopodobieństwa. Nazywamy go rozkładem Poissona z parametrem λ. Rozkład Poissona odgrywa ważn a rolȩ jako przybliżenie innych rozkładów. Przykład Niech S n oznacza liczbȩ sukcesów w n próbach Bernoulliego, przy czym załóżmy, że prawdopodobieństwo sukcesu w n próbach równa siȩ p n (może zmieniać siȩ wraz z ilości a prób). Wtedy wiadomo, że P (S n = k) = ( n k) p k n (1 p n ) n k. Jeśli np n λ > 0, to P (S n = k) p λ (k) przy n, dla każdego k N. Rozkład Poissona stanowi dobre przybliżenie rozkładu dwumianowego, o małym prawdopodobieństwie sukcesu, ale o dużej ilości prób, przy czym pn = λ Gȩstości i dystrybuanty Definicja Zmienna losowa X ma rozkład (absolutnie) ci agły o gȩstości f X : R R gdy P (a X b) = b dla każdego a b R. a f X (y)dy Oczywiście f X(x)dx = 1, zawsze pole pod wykresem gȩstości równa siȩ 1. Uwaga Dla każdej funkcji f nieujemnej, rzeczywistej, takiej, że losowa taka, że f jest jej gȩstości a prawdopodobieństwa. 10 f(x)dx = 1,istnieje zmienna

11 Przykład (Gȩstość Pareto) f(x) = { (α 1)x α gdy x 1 0 poza tym gdzie α > 1 jest parametrem rozkładu. Przykład (Rozkład wykładniczy). f(x) = { λe λx dla x 0 0 poza tym gdzie λ > 0 jest parametrem rozkładu. Przykład (Rozkład standardowy normalny) f(x) = (1/ 2 2π)e x2 /2 gdzie x R. (Dowód, że jest to gȩstość na wykładzie) Bardziej uniwersalnym niż gȩstość probabilistycznym opisem zmiennych losowych jest dystrybuanta. Definicja Dystrybuant a zmiennej losowej X, nazywamy funkcjȩ F X (x) = P (X x) dla x R. Dystrybuanta ma nastȩpuj ace własności: 1. F X jest niemalej aca 2. F X (x) 1, gdy x 3. F X (x) 0, gdy x 4. F X jest prawostronnie ci agła Uwaga Gdy zmienna losowa X ma gȩstość f X,to F X (x) = x f X(y)dy. Przykład (Dystrybuanta Pareto). Gȩstość Pareto f(x) = (α 1)x α I [1, ) (x). Wyliczamy : F (x) = (1 x (α 1) )I [1, ) (x) Uwaga Szansa, że wartości zmiennej losowej X zawarte bȩd a w przedziale [a, b], gdzie a b, można wyrazić przy pomocy dystrybuanty nastȩpuj aco P (a X b) = F (b) F (a) Przykład (Dystrybuanta wykładnicza). Ponieważ gȩstość f(x) = λe λx I [0, ) (x), otrzymujemy F (x) = (1 e λx )I [0, ) (x). 11

12 Uwaga Funkcjȩ F (x) = 1 F (x), x R, nazywamy ogonem dystrybuanty F. W teorii niezawodności F nazywana jest funkcj a niezawodności, gdyż F (x) = P (X > x), można interpretować jako prawdopodobieństwo bezawaryjnej pracy maszyny, gdzie X oznacza wtedy losowy czas pracy maszyny. Przykład (Własność braku pamiȩci rozkładu wykładniczego). Jeśli X to ma rozkład wykładniczy, P (X > t + s X > t) = P (X > s) dla dowolnych t, s 0. Interpretacja: szansa, że dalszy czas pracy maszyny przekroczy s, jeśli maszyna jest sprawna do czasu t, jest taka sama jak szansa, że nowa maszyna przepracuje conajmniej s. Wzór ten można równoważnie zapisać jako F (t + s) = F (t)f (s). Przykład (Dystrybuanta dyskretna). Niech X bȩdzie zmienn a losow a przyjmuj ac a wartości 0, 1, 2, 3, z prawdopodobieństwami odpowiednio 1/8, 3/8, 3/8, 1/8. Odpowiedni a funkcjȩ prawdopodobieństwa można opisać tabelk a (poza tym zero) i p(i) 1/8 3/8 3/8 1/8 Dystrybuanta odpowiadaj aca tej funkcji prawdopodobieństwa może być zapisana na wiele sposobów: F (x) = i x p(i) lub F (x) = p(i) i (,x] lub F (x) = 1 8 I [0,1)(x) I [1,2)(x) I [2,3)(x) + I [3, ) (x) lub F (x) = 1 8 I [0, )(x) I [1, )(x) I [2, )(x) I [3, )(x) Funkcje od zmiennych losowych Niech Y = ψ(x), dla pewnej zmiennej losowej X, o gȩstości f i funkcji (mierzalnej) ψ : R R.. Obliczymy gȩstość zmiennej Y. Przykład Niech X bȩdzie zmienn a o rozkładzie wykładniczym oraz ψ(x) = x 2. Wtedy F Y (y) = (1 e λ 2 y )I [0, ) (y) oraz f Y (y) = (λ/2 2 y)e λ 2 y I (0, ) (y) Ogolnie, jeśli ψ jest róózniczkowalna i ściśle rosn aca na zbiorze wartości zmiennej X, to Y = ψ(x) ma gȩstość f Y (y) = f X (ψ 1 (y))(ψ 1 ) (y) 12

13 Przykład (Niestandardowy rozklad normalny). Niech X ma rozkład standardowy normalny oraz ψ(x) = σx + µ,dla σ > 0, µ R. Wtedy Y = σx + µ ma rozkład o gȩstości f Y (y) = (1/ 2 2πσ 2 )e (x µ)2 /2σ 2 Rozkład ten (lub zmienne o tym rozkładzie) oznaczamy N(µ, σ). Wniosek Jeśli Y ma rozkład normalny N(µ, σ), to X = (Y µ)/σ ma rozkład N(0, 1). Przykład (Rozkład jednostajny). Niech X ma rozkład standardowy wykładniczy oraz ψ(x) = (1 e x )I [0, ) (x). Wtedy Y = ψ(x) ma rozkład jednostajny na [0, 1], tzn. f Y (y) = I [0,1) (y). Ogólnie, jeśli X ma dystrybuantȩ F o gȩstości f, to Y = F (X) ma rozkład jednostajny na [0, 1]. Ci agł a funkcjȩ F można zawsze odwrócić w nastȩpuj acy sposób: F 1 (y) = min{x : F (x) y} Wtedy analogicznie otrzymujemy Wniosek Jeśli Y ma rozkład jednostajny na [0, 1], to X = F 1 (Y ) ma rozkład o dystrybuancie F, przy założeniu, że F jest ci agła Rozkłady ł aczne i brzegowe Rozkłady ł aczne służ a do opisu wektora zmiennych losowych (X 1,..., X n ). Rozważamy najpierw przypadek n = 2 i zamiast (X 1, X 2 ) piszemy (X, Y ). Gdy X, Y przyjmuj a wartości całkowite, określamy (ł aczn a) funkcjȩ prawdopodobieństwa. Definicja Niech X, Y Z, wtedy (ł aczn a) funkcj a prawdopodobieństwa nazywamy p (X,Y ) (i, j) = P (X = i, Y = j) określon a dla i, j Z. Przykład W pewnej populacji mȩżczyzn sklasyfikowano ich wzrost i ciȩżar. Dane ujȩto w kategoriach, dla wzrostu: kategoria wzrost 170 ± 5 180± 190 ± 5 dla ciȩżaru ciała kategoria ciȩżar 60 ± 5 70 ± 5 80 ± 5 90 ± 5 Procentowo ujȩte wyniki ł aczne przedstawiono w tabeli: wzrost\ ciȩżar % 8% 6% 0 2 8% 16% 16% 8% 3 0 8% 10% 12% 13

14 Wybieraj ac losowo osobnika z tej populacji, oznaczmy przez X jego wzrost, przez Y jego ciȩżar. Wtedy ł aczna funkcja prawdopodobieństwa p (X,Y ) (i, j), dla i = 1, 2, 3 oraz j = 0, 1, 2, 3 (poza tym zero) zawarta jest w tabelce p (X,Y ) (i, j) Oczywiście i,j p (X,Y )(i, j) = 1. W przypadku zmiennych losowych typu ci agłego definiujemy (ł aczn a) gȩstość: Definicja Para (wektor) zmiennych losowych (X, Y ) ma gȩstość f(x, y) jeśli P ((X, Y ) A) = f(x, y)dxdy A dla f : R 2 R 2, takiej, że f 0 oraz R 2 f(x, y)dxdy = 1, gdzie A jest obszarem regularnym. W szczególności, gdy A = [x, x + x] [y + y], dla małych dodatnich wartości x, y,wtedy P (x X x + x, y Y y + y) = x+ x y+ y x y f(u, v)dudv f(x, y) x y Przykład Niech f(x, y) = e y I {(x,y):0<x<y} (x, y). Wtedy f(x, y)dxdy = 1. Przykład (Rozkład jednostajny na kole). Wybieramy losowo punkt na kole jednostkowym K = {(x, y) : x 2 + y 2 1}. Niech (X, Y ) oznacza wektor jego współrzȩdnych. Wtedy gȩstość tego wektora f(x, y) = (1/π)I K (x, y) dla wszystkich x, y R. Dystrybuanta dwuwymiarowa Definicja Niech (X, Y ) bȩdzie wektorem zmiennych losowych. Dystrybuant a (X, Y ) nazywamy funkcjȩ F : R 2 [0, 1], określon a wzorem F (x, y) = P (X x, Y y) Uwaga Jeśli (X, Y ) ma gȩstość f(x, y), to F (x, y) = x y f(u, v)dydx Dla dowolnych a 1 < b 1 oraz a 2 < b 2, zwi azek P (X,Y ) ((a 1, b 1 ] (a 2, b 2 ]) = P (a 1 < X b 1, a 2 < Y b 2 ) określa prawdopodobieństwo P (X,Y ) na płaszczyźnie R 2 (i σ ciele zbiorów borelowskich). Przestrzeń probabilistyczn a Ω (X,Y ) = (R 2, P (X,Y ) ) nazywamy kanoniczn a przestrzeni a probabilistyczn a wektora (X, Y ). Szansȩ uzyskania wartości w prostok acie można wyrazić przy pomocy dystrybuanty: P (a 1 < X b 1, a 2 < Y b 2 ) = F (b 1, b 2 ) + F (a 1, a 2 ) F (a 1, b 2 ) F (b 1, a 2 ) 14

15 Rozkłady brzegowe Niech (X, Y ) bȩdzie wektorem losowym takim, że X, Y Z. Z ł acznej funkcji prawdopodobieństwa p (X,Y ) można wyliczyć funkcje prawdopodobieństwa zmiennych X oraz Y jako zmiennych jednowymiarowych (tzw. rozkłady brzegowe). p X (i) = j P (X = i, Y = j) = j p (X,Y ) (i, j) p Y (j) = i P (X = i, Y = j) = i p (X,Y ) (i, j) Przykład Niech (X, Y ) ma funkcjȩ prawdopodobieństwa zadan a tabel a: p (X,Y ) (i, j) Wtedy p X (1) = 0.22, p X (2) = 0.48, p X (3) = 0.30 oraz p Y (0) = 0.16, p Y (1) = 0.32, p Y (2) = 0.32, p Y (3) = W przypadku zmiennych typu ci agłego, jeśłi (X, Y ) ma gȩstość f(x, y), to gȩstości brzegowe zadane s a przez: f X (x) = f Y (y) = R R f(x, y)dy f(x, y)dx Niezależnośc zmiennych losowych Definicja Niech X, Y Z. Zmienne X, Y s a niezależne jeśli p (X,Y ) (i, j) = p X (i)p Y (j) dla wszystkich i, j Z. Definicja Niech X, Y bȩd a typu ci agłego o gȩstości f (X,Y ). Zmienne X, Y s a niezależne jeśli f (X,Y ) (x, y) = f X (x)f Y (y) dla wszystkich x, y R. W powyższych przypadkach niezależność zmiennych jest równoważna niezależności zdarzeń A = {ω : X(ω) I 1 } i B = {ω : Y (ω) I 2 }, dla dowolnych przedziałów I 1, I 2, tzn. warunkowi P (X I 1, Y I 2 ) = P (X I 1 )P (Y I 2 ) 15

16 Przykład Niech (X, Y ) maj a funkcjȩ prawdopodobieństwa p(i, j) 1 2 p X p Y Zmienne nie sa niezależne, bo 0 = p(1, 2) p X (1)p Y (2) = Przykład Niexh (X, Y ) maj a funkcjȩ prawdopodobieństwa p(i, j) 1 2 p X p Y Zmienne X, Y s a niezależne. Przykład Niech (X, Y ) maj a gȩstość f(x, y) = ((x + y + 1)/2)I (0,1) (0,1) (x, y). Wtedy X, Y nie s a niezależne. Dla wektora n N zmiennych losowych (X 1,..., X n ) niezależność definiujemy analogicznie do przypadku n = 2. Definicja Jeśli (X 1,..., X n ) ma rozkład typu ci agłego o gȩstości f(x 1,..., x n ) wtedy X 1,..., X n s a niezależne gdy f(x 1,..., x n ) = f X1 (x 1 )...f Xn (x n ) dla wszystkich x 1,..., x n R. Definicja Jeśli (X 1,..., X n ) ma rozkład typu dystkretnego o funkcji prawdopodobieństwa p(i 1,..., i n ) wtedy X 1,..., X n s a niezależne, gdy p(i 1,..., i n ) = p X1 (i 1 )...p Xn (i n ) dla wszystkich i 1,..., i n Z. Niezależność (X 1,..., X n ) w obu przypadkach jest równoważna warunkowi P (X 1 A 1,..., X n A n ) = P (X 1 A 1 )...P (X n A n ) dla dowolnych zbiorów A 1,..., A n Sumy niezależnych zmiennych losowych Dla dyskretnych zmiennych losowych P (X + Y = k) = i P (X = i, Y = k i). Przy założeniu niezależności X, Y otrzymujemy P (X + Y = k) = i P (X = i)p (Y = k i) 16

17 Przykład Niech X bȩdzie liczb a sukcesów w n 1 próbach Bernoulliego o prawdopodobieństwie sukcesu p (0, 1). Niech Y bȩdzie niezależn a od X zmienn a losow a bȩd ac a liczb a sukcesów w n 2 próbach Bernoulliego o tym samym prawdopodobieństwie sukcesu. Wtedy X + Y ma rozkład dwumianowy b(k, n 1 + n 2, p). Przykład Jeśli X, Y s a niezależne i X P oisson(λ) oraz Y P oisson(µ), to X + Y P oisson(λ + µ). Dla zmiennych losowych typu ci agłego X f X oraz Y f Y, jeśli X, Y s a niezależne to X +Y ma gȩstość f X+Y (z) = f X (x)f Y (z x)dx = f Y (x)f X (z x)dx Przykład Niech X U[0, 1] oraz Y U[0, 1] maj a ten sam rozkład jednostajny na [0, 1]. Jeśli X i Y s a niezależne, to z gdy 0 z 1 f X+Y (z) = 2 z gdy 1 z 2 0 poza tym Wykres tej gȩstości: Przykład (Rozkład Erlanga rzȩdu n). Jeśli X 1,..., X n s a niezależne o rozkładzie wykładniczym z parametrem λ > 0, to f X X n (z) = ((n 1)!/λ n 1 ) 1 z n 1 λe λz I (0, ) (z) Przykład (Proces Poissona) Niech (X 1, X 2,...) bȩdzie nieskończonym ci agiem niezależnych zmiennych losowych o rozkładach wykładniczych z parametrem λ > 0. Wtedy N(t) = max{n : X X n t}, dla dowolnego t 0 liczy ile punktów umieszczonych w odstȩpach kolejno X i, i = 1, 2,... od pocz atku układu współrzȩdnych zmieści siȩ przed t. Zbiór zmiennych losowych (N(t), t 0) nazywamy procesem Poissona. Wtedy P (N(t) = i) = (λt)i e λt i! dla i = 0, 1, 2,..., tzn. zmienne N(t) maj a rozkłady Poissona, których parametr zmienia siȩ wraz z t i równa siȩ λt. 17

18 0.5 WARTOŚĆ OCZEKIWANA Jeśli (X 1, X 2,...) jest ci agiem niezależnych zmiennych losowych o jednakowych rozkładach, przyjmuj acych wartości ograniczone, to intuicyjnie ich średnia arytmetyczna X X n n dla dostatecznie dużych wartości n powinna być zbieżna do pewnej wartości stałej (pomyśl o rzutach monet a lub kostk a). Uściślenie tej intuicji wymagać bȩdzie określenia co to znaczy tutaj zbieżna (pojȩcie dla zmiennych losowych a nie liczb) oraz motywuje wprowadzenie wartości oczekiwanej, ktora okaże siȩ być t a graniczn a wartości a stał a zależn a jedynie od rozkładu, który jest tutaj wspólny dla wszystkich sumowanych zmiennych losowych. Precyzyjne wysłowienie tego faktu bȩdzie treści a twierdzenia zwanego Prawem Wielkich Liczb. Definicja Jeśli X jestzmienn a losow a przyjmuj ac a wartości całkowite, o funkcji prawdopodobieństwa (p(i), i Z), to wartości a oczekiwan a zmiennej X (lub wartości a oczekiwan a rozkładu p(i)) nazywamy liczbȩ oznaczan a EX, zadan a wzorem EX = ip(i) i Z o ile ta wartość istnieje. Istnienie wartości oczekiwanej skomentujemy później. Przykład Rzut monet a. Niech X = 1, gdy wypadnie orzeł, 0, gdy wypadnie reszka. EX = = 1 2. Zauważmy, że wartość 1/2 nie jest przyjmowana przez X. Przykład Rzut kostk a. EX = 3.5. Przykład Rozkład Poissona z parametrem λ. EX = λ. Definicja Jeśli zmienna X ma gȩstość f, wtedy EX = xf(x)dx o ile ta wartość istnieje. Przykład Rozkład jednostajny na [0, 1]. EX = 1/2. Przykład Gȩstość Erlanga rzȩdu n. EX = n/λ. Przykład Rozkład Cauchyego. f(x) = 1 π(1 + x 2 ) x R. Wartość oczekiwana nie istnieje. (Zmienna losowa o gȩstości symetrycznej nie musi mieć wartości oczekiwanej 0) Przypomnijmy, że x = [x] + + [x], gdzie [x] + = max(o, x) oraz [x] = min(0, x). Dla dowolnej funkcji g, R g(x)dx istnieje i jest skończona wtedy i tylko wtedy, gdy R [g(x)] +dx < (jest skończona) i R [g(x)] dx <. Całka R g(x)dx istnieje i jest nieskończona, gdy R [g(x)] +dx = i R [g(x)] dx < (wtedy g(x)dx = ) lub gdy R [g(x)] +dx < i R [g(x)] dx = (wtedy g(x)dx = ). W przypadku gdy R [g(x)] +dx = i R [g(x)] dx = całka R g(x)dx nie istnieje. 18

19 Przykład (Czas do równowagi) Nieskończona wartość oczekiwana pojawia siȩ w sposób bardzo naturalny: rzucamy monet a, niech H n oznacza ilość orłów w n rzutach, T n = n H n, oznacza ilość reszek w n rzutach. Czas zrównania siȩ ilości orłów i reszek po raz pierwszy możemy zdefiniować jako N = min{n : H n = T n }. EN = +. Do liczenia wartości oczekiwanej nieujemnych zmiennych losowych X o wartościach całkowitych uzyteczny jest wzór: EX = P (X n) n=1 Przykład Rozkład geometryczny na {1, 2,...}. p(i) = (1 p) i 1 p, dla p (0, 1). EX = 1/p Momenty, funkcje tworz ace Niech Y = ψ(x), dla pewnej funkcji ψ : R R. Wtedy EY = i Z ψ(i)p (X = i), dla X typu dyskretnego o wartościach całkowitych. Gdy X f ma gȩstość, to EY = ψ(x)f(x)dx. Jeśli Y przyjmuje (niekoniecznie całkowite) wartości y 1, y 2,... z prawdopodobieństwami p(1), p(2),... odpowiednio, to EY = i=1 y i p(i).\ Przykład Rzut kostk a. X liczba oczek, Y = 2 X. Przykład Momenty rozkładu jednostajnego. X U[0, 1], Y = X k dla k N. (ψ(x) = x k ). EY = 1 k+1. Definicja Dla zmiennej losowej X, wartość EX k <, k N( o ile istnieje i jest skończona) nazywamy k tym momentem X. (Wartość oczekiwana jest pierwszym momentem). Przykład Funkcja tworz aca momenty rozkładu wykładniczego. Niech X Wykładniczy (λ). Wtedy dla Y = e tx, t < λ, EY = λ λ t. Przykład Funkcja tworz aca momenty rozkładu gamma. Niexh X gamma(n, λ). Wtedy dlay = e tx, t < λ, EY = ( λ λ t )n. Definicja Dla zmiennej losowej X funkcjȩ φ X (t) = Ee tx określon a dla t R (być może o wartościach nieskończonych) nazywamy funkcj a tworz ac a momenty zmiennej X. Zw azek tej funkcji z momentami zmiennej X jest nastȩpuj acy EX k = φ (k) X (0) dla k N. Przykład Momenty rozkładu wykładniczego. X Wykładniczy (λ), wtedy EX k = k! λ k. 19

20 Definicja Dla zmiennej X o wartościach {0, 1, 2,...} funkcjȩ γ X (z) = E(z X ) = z i p(i) i=0 dla z [0, 1] nazywamy funkcj a tworz ac a. Zwi azek tej funkcji z momentami jest nastȩpuj acy γ (k) X (z) = E(X(X 1)...(X k + 1)) dla k N. Przykład Mediana rozkładu. Właściciel bufetu sprzedaje kawȩ. Dzienny popyt na kawȩ określony jest przez zmienn a X o gȩstości f. Właściciel płaci c zł za litr kawy, otrzymuje b zł (b > c) i jeśli zabraknie mu kawy traci a zł na każdym brakuj acym litrze. Ile kawy powinien on kupić, aby zmaksymalizować (w sensie wartości średniej) swój zysk. Odp.: należy kupić v litrów kawy, gdzie v jest takie, że P (X > v) = c a+b. Gdy a = b = c = 1 wartość t a nazywamy median a rozkładu zmiennej X. Definicja Niech X bȩdzie taka, ze E X <. Median a rozkładu zmiennej X jest liczba v, taka,,że E X c E X v dla wszystkich c R. Własności wartości oczekiwanej 1. E(aX + b) = aex + b, dla a, b R 2. E(X + Y ) = EX + EY 3. X Y EX EY 4. Jeśłi X 1,..., X n s a niezależne, to E(X 1...X n ) = EX 1...EX n 5. Jeśłi X 1,..., X n s a niezależne, to E(g 1 (X 1 )...g n (X n )) = Eg(X 1 )...Eg n (X n ), dla dowolnych funkcji g 1,..., g n. 6. Jeśłi X 1,..., X n s a niezależne, to φ X1 +...X n (t) = φ X1 (t)...φ Xn (t), dla funkcji tworz acych momenty Przykład Warunek E(XY ) = EXEY nie implikuje niezależności X i Y. X\Y p X /4 0 1/4 0 1 /4 1 /4 1 /4 3/4 p Y 1/4 1/2 1/4 wtedy EXY = 0 oraz EXY = EXEY, ale X, Y nie s a niezależne. Funkcje tworz ace wyznaczaj a jednoznacznie rozkłady zmiennych losowych: Jeśli φ X (t) = φ Y (t), t R, to F X = F Y. Jeśli γ X (z) = γ Y (z), z (0, 1), to p X (i) = p Y (i), i Z +. 20