RACHUNEK PRAWDOPODOBIEŃSTWA A.

Transkrypt

1 RACHUNEK PRAWDOPODOBIEŃSTWA A. Semestr letni Środy 9:15-12:00, sala EM. Wykładowca: Ryszard Szekli, pok. 514, konsultacje: poniedziałki 12-13, środy terminy egzaminów: I termin , (ŚRODA) 13-16, sala HS+WS, II termin do ustalenia (wrzesień). Warunki ukończenia kursu: zaliczenie ćwiczeń: Na kolejnych spotkaniach studenci deklarują zadania, które potrafią rozwiązać. Osoba prowadząca ćwiczenia robi zadania, które nie zostały zdeklarowane przez studentów, następnie wybiera studentów (spośród tych którzy zdeklarowali), którzy prezentują rozwiązania kolejnych zadań przy tablicy. Wadliwe rozwiązanie nie daje punktów. Student deklarujący zadanie, który nie potrafi podać rozwiązania przy tablicy otrzymuje punkty ujemne. Zadania będą miały określoną liczbę punktów na listach. Zaliczenie ćwiczeń następuje po uzyskaniu przynajmniej 50% punktów z wszystkich list. zdanie egzaminu pisemnego: egzamin testowy max 60 pkt.; 10 zadań testowych: możliwe odpowiedzi a,b,c,d każda prawdziwa lub nie; z ćwiczeń i wykładu. ocena 3.0 od 50% pkt. PLAN WYKŁADU: 1. WPROWADZENIE 1.1 Uwagi historyczne 1.2 Powtórka podstaw rachunku prawdopodobieństwa 2. NIEZALEŻNOŚĆ I CIAGI ZMIENNYCH LOSOWYCH 2.1 Schemat Bernoulliego 2.2 Ciagi nieskończone zmiennych niezależnych 2.3 Błądzenia losowe, prawo arcusa sinusa 2.4 Rekurencje, łańcuchy Markowa 3. ROZKŁADY 3.1 Zmienne losowe, wektory losowe 3.2 Przybliżenia rozkładów 3.3 Gȩstości i dystrybuanty 3.4 Funkcje od zmiennych losowych 3.5 Rozkłady ł aczne i brzegowe 3.6 Sumy niezależnych zmiennych losowych 4. WARTOŚĆ OCZEKIWANA, MOMENTY 4.1 Momenty i funkcje tworz ace 4.2 Wariancja i kowariancja 5. TWIERDZENIA GRANICZNE 5.1 Prawa wielkich liczb 5.2 Centralne twierdzenie graniczne 1

2 Literatura: P. Billingsley, Prawdopodobieństwo i miara, PWN, 1987 W. Feller, Wstep do rachunku prawdopodobieństwa, tom I, PWN, 1977 J. Jakubowski, R. Sztencel, Wstep do teorii prawdopodobieństwa, SCRIPT, M. Majsnerowska: Elementarny wykład z rachunku prawdopodobieństwa z zadaniami, strona www IM D. Stirzaker, Elementary Probability, Second. ed. Cambridge R. Durrett, Elementary Probability for Applications, Cambridge

3 0.1 Wprowadzenie Zdarzenia i eksperymenty Przestrzeń zdarzeń elementarnych Ω jest zbiorem możliwych wyników pewnego eksperymentu. Jeśli Ω jest zbiorem przeliczalnym, to zdarzeniem jest każdy podzbiór Ω. Zbiór zdarzeń oznaczamy F. Ogólnie, zakładamy, że F jest zamkni ety na przeliczalne sumy, przekroje i dopełnienia oraz zawiera Ω Prawdopodobieństwo Prawdopodobieństwo P jest funkcj a przyporz adkowuj ac a zdarzeniom liczby takie, że (i) Dla A Ω, 0 P (A) 1. (ii) P (Ω) = 1. Dla każdego ci agu {A i } (skończonego lub nieskończonego) zdarzeń rozł acznych P ( i A i ) = i P (A i ). Uwaga Nie dla wszystkich zbiorów Ω można znaleźć nietrywialn a funkcjȩ P o powyższych własnościach, określon a na wszystkich podzbiorach Ω na przykład Ω := [0, 1] oraz P ((a, b]) = b a, 0 a b 1 jest naturaln a funkcj a prawdopodobieństwa na tym zbiorze, jednakże nie można t a funkcj a zmierzyć wszystkich podzbiorów Ω (istniej a zbiory niemierzalne ). Rozważania ogranicza siȩ wtedy do podklasy mierzalnych zbiorów (zdarzeń), które tworz a σ ciało zdarzeń. W przypadku, gdy Ω jest zbiorem przeliczalnym takie trudności nie wystȩpuj a i wtedy wszystkie podzbiory Ω s a mierzalne. Własności wynikaj ace z określenia prawdopodobieństwa: 1. P (A c ) = 1 P (A) 2. P ( ) = 0 3. Jeśli A B, to P (A) P (B) 4. P (A B) = P (A) + P (B) P (A B) 5. P ( i A i) i P (A i) 6. Jeśli A 1 A 2 i A = i A i, to P (A i ) i P (A). 7. Jeśli A 1 A 2 i A = i A i, to P (A i ) i P (A). 3

4 0.1.3 Prawdopodobieństwo sumy Zachodzi wzór n n P ( A i ) = P (A i ) P (A i A j ) + i=1 i=1 i<j Nierówności Bonferroniego. n P ( A i ) i=1 n P (A i ) i=1 i<j<k n n P ( A i ) P (A i ) P (A i A j ) i=1 i=1 i<j n n P ( A i ) P (A i ) P (A i A j ) + i=1 i=1 i<j i<j<k P (A i A j A k ) + + ( 1) n+1 P (A 1 A n ) P (A i A j A k ) Wybieranie z urny kolorowych kul jest matematyczn a idealizacj a wielu eksperymentów, w których losowo wybiera siȩ skończon a ilość obiektów różnych typów. Model urnowy. W urnie znajduje siȩ M kul czerwonych i N kul czarnych. Wyci agamy z urny n kul bez zwracania ich. Wtedy prawdopodobieństwo, że wyci agniemy r kul czerwonych wynosi )( N ) ( M r n r ( M+N ) n gdzie dla j < 0 lub j > m przyjmujemy ( m j ) = 0. Przykład (Lotto). Wybieramy 6 liczb ze zbioru {1,..., 54}. 1 nagroda to 6 trafionych, 2 nagroda to 5 trafionych, 3 nagroda 4 trafione. Jakie s a prawdopodobieństwa zdobycia tych nagród? Przykład (Kontrola jakości). Wyprodukowano M żarówek, w tym N wadliwych. Testujemy n żarówek. Jakie jest prawdopodobieństwo, że wszystkie testowane żarówki s a dobre? Przykład (Wnioskowanie o wielkości populacji). Student biologii złowił w stawie 60 wodnych chrz aszczy, oznaczył farb a i wypuścił. Po pewnym czasie wrócił i złowił 50 chrz aszczy, w tym znajduj ac 12 oznaczonych farb a. Jak można oszacować wielkość populacji chrz aszczy w tym stawie? Powtarzanie eksperymentów Z urny zawieraj acej K kul ponumerowanych od 1 do K wyci agamy kolejno kule, notuj ac ich numery i zwracaj ac je do urny. Wyciagaj ac k kul, prawdopodobieństwo, że wszystkie kule maj a różne numery wynosi P K,k K k = K k + 1 K K k + 2 K K K Rzuty symetryczn a monet a. Przyjmujemy, że K = 2 (np. K = 1 oznacza orła, K = 2, oznacza reszkȩ). Prawdopodobieństwo uzyskania dokładnie j orłów w k rzutach wynosi ( ) k 1 j 2 k. 4

5 0.2 Prawdopodobieństwo warunkowe Istniej a dwa sposoby rozumienia zdarzeń niezależnych: potoczne i statystyczne (matematyczne). Matematyczne pojȩcie niezależności jest prost a reguł a mnożenia. Definicja Zdarzenia A i B s a niezależne gdy P (A B) = P (A)P (B). Wniosek Zdarzenia A i B o dodatnich prawdopodobieństwach, rozł aczne nie s a niezależne. 2. Ω jest zdarzeniem niezależnym od każdego innego zdarzenia. 3. Zdarzenie jest niezależne od każdego innego zdarzenia. Ci ag zdarzeń A 1,..., A n jest niezależny parami, jeśli P (A i A j ) = P (A i )P (A j ) dla wszystkich i j. Ci ag zdarzeń A 1,..., A n jest niezależny, jeśli P (A i1 A ik ) = P (A i1 ) P (A ik ), dla wszystkich i 1 < i 2 < < i k. Przykład (Rozkład wielomianowy). Przypuśćmy, że kostka do gry ma 1 na trzech ścianach, 2 na dwóch ścianach i 3 na jednej ścianie. Rzucamy tak a kostk a 10 razy. Wyliczamy prawdopodobieństwo uzyskania 5 razy 1, 3 razy 2 i 2 razy 3: 10! 5!3!2! (1/2)5 (1/3) 3 (1/6) 2 Ogólnie, wykonuj ac n niezależnych prób o możliwych k wynikach, przy czym prawdopodobieństwo wyniku typu i (i = 1,..., k) wynosi odpowiednio p i, prawdopodobieństwo uzyskania n 1 wyników typu 1, n 2 wyników typu 2,..., n k wyników typu k (n n k = n) dane jest wzorem n! n 1!...n k! pn pn k k Wzór na prawdopodobieństwo warunkowe Definicja Dla dowolnego zdarzenia A Ω, takiego, że P (A) > 0 prawdopodobieństwem warunkowym przy warunku A nazywamy funkcjȩ prawdopodobieństwa P ( A) określon a na Ω nastepuj acym wzorem P (B A) = P (A B) P (A) dla zdarzeń B Ω. Łatwo sprwadzić, że P ( A) ma wymagane własności funkcji prawdopodobieństwa: 0 P (B A) 1, dla każdego zdarzenia B Ω, 5

6 P (B 1 B 2 A) = P (B 1 A) + P (B 2 A), dla dowolnych rozł acznych zdarzeń B 1, B 2. P (Ω A) = 1 Zauważmy, że wtedy również P (A A) = 1, to znaczy masa prawdopodobieństwa warunkowego skupiona jest na zdarzeniu wzglȩdem którego warunkujemy. Przykład Wartość P ( A) dla każdego B niezależnego od A pokrywa siȩ z wartościa wyjściowego prawdopodobieństwa P tzn. P (B A) = P (B). Rozwiazanie w powyższym przykładzie można uogólnić. Jeśli B 1,..., B k stanowi a rozbicie rozł aczne Ω, tzn. Ω = B 1... B k oraz B 1... B k =, to zachodzi wzór na prawdopodobieństwo całkowite k P (A) = P (A B i )P (B i ) i=1 dla każdego zdarzenia A Ω Reguła Bayesa Rozwi azanie w powyższym przykładzie sugeruje ogólny wzór: Wzór Bayesa Jeśli B 1,..., B k stanowi a rozbicie rozł aczne Ω, tzn. Ω = B 1... B k oraz B 1... B k =, oraz P (A) > 0, P (B i ) > 0 to P (B i A) = P (B i )P (A B i ) kj=1 P (A B j )P (B j ) dla dowolnego i = 1,..., k. 0.3 NIEZALEŻNOŚĆ: Ciagi Schemat Bernoulliego Przykład (Rozkład dwumianowy). Powtarzamy pewien eksperyment o możliwych wynikach: sukces (S) lub porażka (P), n razy. Jak zdefiniować prawdopodobieństwo P na Ω = {ω = (W 1,..., W n ) : W i {S, P }, i = 1,..., n} gdzie W i oznacza wynik i-tej próby, tak aby zdarzenia : w i -tej próbie sukces, oraz : w i + j- tej próbie porażka (dla wszystkich 1 i < i + j n) były niezależne? Prawdopodobieństwo uzyskania k sukcesów w n próbach równa siȩ wtedy ( ) n p k (1 p) n k k gdzie p (0, 1) jest prawdopodobieństwem sukcesu w jednej próbie. Przykład (Rozkład geometryczny). Rzucamy kostk a do chwili uzyskania 6. Niech N oznacza ilość potrzebnych rzutów. Wtedy P (N = k) = (5/6) k (1/6). (k = 1, 2,...). Ogólnie liczba prób N potrzebna do uzyskania pierwszego sukcesu jest wielkości a losow a, dla której P (N = k) = (1 p) k 1 p, gdzie p (0, 1) jest prawdopodobieństwem sukcesu w jednej próbie oraz k = 1, 2,... 6

7 Przykład (Ujemny rozkład dwumianowy). Powtarzamy próby o możliwych wynikach sukces (S), porażka (P), do czasu uzyskania dokładnie k sukcesów. Wtedy dla T k, liczby potrzebnych prob zachodzi ( ) m + k 1 P (T k = m + k) = (1 p) m p k m dla dowolnego k = 1, 2,... oraz m = 0, 1, 2, Istnienie nieskończonego ci agu zmiennych losowych niezależnych Niech Ω = [0, 1], P = (miara Lebesgue a, miara długości). Zdarzeniami bȩd a wszystkie zbiory borelowskie w [0, 1]. Dla dowolnego ω [0, 1] niech ω = Z Z Z bedzie rozwiniȩciem dwójkowym (dla 3 jednoznaczności przyjmujemy rozwiniecia o skończonej ilości jedynek, jeśli takie s a dopuszczalne). Wtedy ci ag (Z 1, Z 2,...) jest ci agiem niezależnych zmiennych losowych o wartościach 0 i 1. Uzasadnienie: Wystarczy pokazać, że P (Z 1 = d 1,..., Z n = d n ) = P (Z 1 = d 1 )...P (Z n = d n ) dla dowolnego układu zer i jedynek d = (d 1,..., d n ), (d i {0, 1}). Niech A d = {Z 1 = d 1,..., Z n = d n } wtedy Ω = d A d jest rozł aczn a sum a 2 n zbiorów, gdzie sumowanie jest po wszystkich układach zer i jedynek na n miejscach. Rozpatrzmy dwa dowolne takie układy d, d. Niech n d T d,d (ω) i = ω + d i 2 i i=1 dla ω [0, 1]. Wtedy oczywiście T d,d (A d ) = A d, a ponieważ T d,d jest przesuniȩciem i w zwi azku z tym nie zmienia miary P zbioru A d, tzn. P (A d ) = P (T d,d (A d )) = P (A d ), wynika st ad, że wszystkie zbiory A d maj a to samo prawdopodobieństwo niezależnie od indeksu d. Ponieważ jest ich 2 n i w sumie daj a one Ω, wnioskujemy, że P (A d ) = 1 2 dla każdego d. Mamy wiȩc P (Z n 1 = d 1,..., Z n = d n ) = P (A d ) = 1 2. n Zauważmy teraz, że P (Z 1 = d 1 ) = 1/2, bo wystarczy podstawić n = 1 w poprzedniej równości. Ponadto P (Z 2 = d 2 ) = P (Z 1 = 0, Z 2 = 2)+P (Z 1 = 1, Z 2 = d 2 ) = 1/4+1/4 = 1/2, wykorzystuj ac tȩ sam a równość dla n = 2. Rozumujac przy pomocy indukcji matematycznej otrzymujemy ogólnie P (Z n = d n ) = 1/2, a st ad warunek niezależności bezpośrednio wynika. Aby skonstruować ci ag niezależnych zmiennych losowych o rozkładach dowolnych przy użyciu ci agu (Z 1, Z 2,...) ustawiamy go w tablicȩ (Z ik ) i=1,2,...k=1,2,.... Niech teraz U i = Z ik /2 k k=1 Wtedy (U 1, U 2,...) tworz a ci ag niezależnych zmiennych losowych o rozkładach jednostajnych na [0, 1]. Rzeczywiście dla x [0, 1] [x2 ] N gdzie P (U i x) = lim N P (U N i U N i = N Z ik /2 k k=1 x) = lim N 2 N = x Bior ac teraz X i = F 1 (U i ), dla dowolnej ci agłej dystrybuanty F otrzymujemy ciag (X 1, X 2,...) niezależnych zmiennych losowych o jednakowym rozkładzie o dystrybuancie F. 7

8 0.3.3 Łańcuchy Markowa, rekurencje Przykład (Łańcuch Markowa o 2 stanach). Załóżmy, że na rynku s a dwa typy pasty do zȩbów: a, b. Klienci kupuj a przy każdym nastȩpnym zakupie pasty ten sam typ z prawdopodobieństwem 3/4 oraz inny typ z prawdopodobieństwem 1/4. Załóżmy, że f k procent klientów przy k-tym zakupie kupuje typ pasty a. Wyliczamy kolejne wartości f k dla k > 1, zakładaj ac, że f 1 = 1/3. Zachodzi f k = (3/4)f k 1 + (1/4)(1 f k 1 ) oraz f k 1/2, gdy k Rekurencje Przykład (Ruina gracza). Rozważmy grȩ, w której wygrywamy 1 z prawdopodobieństwem p (0, 1), przegrywamy 1 z prawdopodobieństwem q = 1 p. Zaczynamy maj ac 50 i kończymy maj ac 100 lub gdy stracimy wszystko. Wyliczamy prawdopodobieństwo zakończenia gry maj ac 100. Zachodzi rekurencja a i = pa i+1 + qa i 1 dla a i prawdopodobieństwa, że kończymy maj ac 100, przy kapitale pocz atkowym 1 i 99, przy czym a 0 = 0, a 100 = 1. Otrzymujemy a i = 1 ( q p )100 1 ((q p )i 1) Wprzypadku ruletki p = 18/38 = , wtedy a 50 = (ok. 5 razy na tysi ac gier wygramy). Przykład Grześ i Andrzej kolejno rzucaj a monet a. Jeśli wypada orzeł wygrywa Andrzej i dostaje od Grzesia 1, jesli wypada reszka wygrywa Grześ i dostaje od Andrzeja 1. Poczatkowo Grześ ma 50, Andrzej 25. Jakie jest prawdopodobieństwo, że Andrzej straci wszystko? Niech a i oznacza prawdopodobieństwo, że Andrzej straci wszystko, w sytuacji gdy Grześ ma i, a Andrzej 75 i, dla 1 i 74. Przyjmujemy a 0 = 0, a 75 = 1. Zachodzi rekurencja a i = (1/2)a i+1 + (1/2)a i 1 Znajdujemy a i = i/75. St ad Andrzej przegra z prawdopodobieństwem 50/75=2/ Rozkłady Zmienne losowe Definicja Niech Ω bȩdzie zbiorem przeliczalnym. Funkcjȩ X : Ω R nazywamy rzeczywist a zmienn a losow a. Definicja Dla zmiennej losowej X przyjmujacej wartości całkowite, ciag p X (i) = P (X = i) nazywamy funkcj a prawdopodobieństwa zmiennej losowej X (i Z). Każdy ci ag liczbowy {p(i)} i Z o własnościach 1. 0 p(i) 1, i Z 2. i Z p(i) = 1 8

9 jest funkcj a prawdopodobieństwa pewnej zmiennej losowej. Uwaga Ci ag {p X (i)} wyznacza funkcjȩ prawdopodobieństwa P X na Z poprzez równość: P X (A) = i A p X (i) określon a dla każdego A Z. Parȩ (Z, P X ) nazywamy kanoniczn a przestrzeni a probabilistyczn a zmiennej X. Przykład (Rozkład hipergeometryczny). W urnie jest M czerwonych i N czarnych kul. Wyci agamy n kul. Niech R oznacza ilość czerwonych kul spośród n wyci agnietych kul. Wtedy p R (r) = P (R = r) = ( M )( N ) r n r ( M+N ) n dla r = 0,..., n. Pozostałe wartości p R (r) przyjmujemy, że s a równe Przybliżenie rozkładu dwumianowego Przykład (Rozkład Poissona). Niech dla λ > 0 λ λi p λ (i) = e i! dla i = 0, 1,..., poza tym 0. Ci ag ten ma własności funkcji prawdopodobieństwa. Nazywamy go rozkładem Poissona z parametrem λ. Rozkład Poissona odgrywa ważn a rolȩ jako przybliżenie innych rozkładów. Przykład Niech S n oznacza liczbȩ sukcesów w n próbach Bernoulliego, przy czym załóżmy, że prawdopodobieństwo sukcesu w n próbach równa siȩ p n (może zmieniać siȩ wraz z ilości a prób). Wtedy wiadomo, że P (S n = k) = ( n k) p k n (1 p n ) n k. Jeśli np n λ > 0, to P (S n = k) p λ (k) przy n, dla każdego k N. Rozkład Poissona stanowi dobre przybliżenie rozkładu dwumianowego, o małym prawdopodobieństwie sukcesu, ale o dużej ilości prób, przy czym pn = λ Gȩstości i dystrybuanty Definicja Zmienna losowa X ma rozkład (absolutnie) ci agły o gȩstości f X : R R gdy P (a X b) = b dla każdego a b R. a f X (y)dy Oczywiście f X(x)dx = 1, zawsze pole pod wykresem gȩstości równa siȩ 1. Uwaga Dla każdej funkcji f nieujemnej, rzeczywistej, takiej, że losowa taka, że f jest jej gȩstości a prawdopodobieństwa. 9 f(x)dx = 1,istnieje zmienna

10 Przykład (Gȩstość Pareto) f(x) = { (α 1)x α gdy x 1 0 poza tym gdzie α > 1 jest parametrem rozkładu. Przykład (Rozkład wykładniczy). f(x) = { λe λx dla x 0 0 poza tym gdzie λ > 0 jest parametrem rozkładu. Przykład (Rozkład standardowy normalny) f(x) = (1/ 2 2π)e x2 /2 gdzie x R. (Dowód, że jest to gȩstość na wykładzie) Bardziej uniwersalnym niż gȩstość probabilistycznym opisem zmiennych losowych jest dystrybuanta. Definicja Dystrybuant a zmiennej losowej X, nazywamy funkcjȩ F X (x) = P (X x) dla x R. Dystrybuanta ma nastȩpuj ace własności: 1. F X jest niemalej aca 2. F X (x) 1, gdy x 3. F X (x) 0, gdy x 4. F X jest prawostronnie ci agła Uwaga Gdy zmienna losowa X ma gȩstość f X,to F X (x) = x f X(y)dy. Przykład (Dystrybuanta Pareto). Gȩstość Pareto f(x) = (α 1)x α I [1, ) (x). Wyliczamy : F (x) = (1 x (α 1) )I [1, ) (x) Uwaga Szansa, że wartości zmiennej losowej X zawarte bȩd a w przedziale [a, b], gdzie a b, można wyrazić przy pomocy dystrybuanty nastȩpuj aco P (a X b) = F (b) F (a) Przykład (Dystrybuanta wykładnicza). Ponieważ gȩstość f(x) = λe λx I [0, ) (x), otrzymujemy F (x) = (1 e λx )I [0, ) (x). 10

11 Uwaga Funkcjȩ F (x) = 1 F (x), x R, nazywamy ogonem dystrybuanty F. W teorii niezawodności F nazywana jest funkcj a niezawodności, gdyż F (x) = P (X > x), można interpretować jako prawdopodobieństwo bezawaryjnej pracy maszyny, gdzie X oznacza wtedy losowy czas pracy maszyny. Przykład (Własność braku pamiȩci rozkładu wykładniczego). Jeśli X to ma rozkład wykładniczy, P (X > t + s X > t) = P (X > s) dla dowolnych t, s 0. Interpretacja: szansa, że dalszy czas pracy maszyny przekroczy s, jeśli maszyna jest sprawna do czasu t, jest taka sama jak szansa, że nowa maszyna przepracuje conajmniej s. Wzór ten można równoważnie zapisać jako F (t + s) = F (t)f (s). Przykład (Dystrybuanta dyskretna). Niech X bȩdzie zmienn a losow a przyjmuj ac a wartości 0, 1, 2, 3, z prawdopodobieństwami odpowiednio 1/8, 3/8, 3/8, 1/8. Odpowiedni a funkcjȩ prawdopodobieństwa można opisać tabelk a (poza tym zero) i p(i) 1/8 3/8 3/8 1/8 Dystrybuanta odpowiadaj aca tej funkcji prawdopodobieństwa może być zapisana na wiele sposobów: F (x) = i x p(i) lub F (x) = p(i) i (,x] lub F (x) = 1 8 I [0,1)(x) I [1,2)(x) I [2,3)(x) + I [3, ) (x) lub F (x) = 1 8 I [0, )(x) I [1, )(x) I [2, )(x) I [3, )(x) Funkcje od zmiennych losowych Niech Y = ψ(x), dla pewnej zmiennej losowej X, o gȩstości f i funkcji (mierzalnej) ψ : R R.. Obliczymy gȩstość zmiennej Y. Przykład Niech X bȩdzie zmienn a o rozkładzie wykładniczym oraz ψ(x) = x 2. Wtedy F Y (y) = (1 e λ 2 y )I [0, ) (y) oraz f Y (y) = (λ/2 2 y)e λ 2 y I (0, ) (y) Ogolnie, jeśli ψ jest róózniczkowalna i ściśle rosn aca na zbiorze wartości zmiennej X, to Y = ψ(x) ma gȩstość f Y (y) = f X (ψ 1 (y))(ψ 1 ) (y) 11

12 Przykład (Niestandardowy rozklad normalny). Niech X ma rozkład standardowy normalny oraz ψ(x) = σx + µ,dla σ > 0, µ R. Wtedy Y = σx + µ ma rozkład o gȩstości f Y (y) = (1/ 2 2πσ 2 )e (x µ)2 /2σ 2 Rozkład ten (lub zmienne o tym rozkładzie) oznaczamy N(µ, σ). Wniosek Jeśli Y ma rozkład normalny N(µ, σ), to X = (Y µ)/σ ma rozkład N(0, 1). Przykład (Rozkład jednostajny). Niech X ma rozkład standardowy wykładniczy oraz ψ(x) = (1 e x )I [0, ) (x). Wtedy Y = ψ(x) ma rozkład jednostajny na [0, 1], tzn. f Y (y) = I [0,1) (y). Ogólnie, jeśli X ma dystrybuantȩ F o gȩstości f, to Y = F (X) ma rozkład jednostajny na [0, 1]. Ci agł a funkcjȩ F można zawsze odwrócić w nastȩpuj acy sposób: F 1 (y) = min{x : F (x) y} Wtedy analogicznie otrzymujemy Wniosek Jeśli Y ma rozkład jednostajny na [0, 1], to X = F 1 (Y ) ma rozkład o dystrybuancie F, przy założeniu, że F jest ci agła Rozkłady ł aczne i brzegowe Rozkłady ł aczne służ a do opisu wektora zmiennych losowych (X 1,..., X n ). Rozważamy najpierw przypadek n = 2 i zamiast (X 1, X 2 ) piszemy (X, Y ). Gdy X, Y przyjmuj a wartości całkowite, określamy (ł aczn a) funkcjȩ prawdopodobieństwa. Definicja Niech X, Y Z, wtedy (ł aczn a) funkcj a prawdopodobieństwa nazywamy p (X,Y ) (i, j) = P (X = i, Y = j) określon a dla i, j Z. Przykład W pewnej populacji mȩżczyzn sklasyfikowano ich wzrost i ciȩżar. Dane ujȩto w kategoriach, dla wzrostu: kategoria wzrost 170 ± 5 180± 190 ± 5 dla ciȩżaru ciała kategoria ciȩżar 60 ± 5 70 ± 5 80 ± 5 90 ± 5 Procentowo ujȩte wyniki ł aczne przedstawiono w tabeli: wzrost\ ciȩżar % 8% 6% 0 2 8% 16% 16% 8% 3 0 8% 10% 12% 12

13 Wybieraj ac losowo osobnika z tej populacji, oznaczmy przez X jego wzrost, przez Y jego ciȩżar. Wtedy ł aczna funkcja prawdopodobieństwa p (X,Y ) (i, j), dla i = 1, 2, 3 oraz j = 0, 1, 2, 3 (poza tym zero) zawarta jest w tabelce p (X,Y ) (i, j) Oczywiście i,j p (X,Y )(i, j) = 1. W przypadku zmiennych losowych typu ci agłego definiujemy (ł aczn a) gȩstość: Definicja Para (wektor) zmiennych losowych (X, Y ) ma gȩstość f(x, y) jeśli P ((X, Y ) A) = f(x, y)dxdy A dla f : R 2 R 2, takiej, że f 0 oraz R 2 f(x, y)dxdy = 1, gdzie A jest obszarem regularnym. W szczególności, gdy A = [x, x + x] [y + y], dla małych dodatnich wartości x, y,wtedy P (x X x + x, y Y y + y) = x+ x y+ y x y f(u, v)dudv f(x, y) x y Przykład Niech f(x, y) = e y I {(x,y):0<x<y} (x, y). Wtedy f(x, y)dxdy = 1. Przykład (Rozkład jednostajny na kole). Wybieramy losowo punkt na kole jednostkowym K = {(x, y) : x 2 + y 2 1}. Niech (X, Y ) oznacza wektor jego współrzȩdnych. Wtedy gȩstość tego wektora f(x, y) = (1/π)I K (x, y) dla wszystkich x, y R. Dystrybuanta dwuwymiarowa Definicja Niech (X, Y ) bȩdzie wektorem zmiennych losowych. Dystrybuant a (X, Y ) nazywamy funkcjȩ F : R 2 [0, 1], określon a wzorem F (x, y) = P (X x, Y y) Uwaga Jeśli (X, Y ) ma gȩstość f(x, y), to F (x, y) = x y f(u, v)dydx Dla dowolnych a 1 < b 1 oraz a 2 < b 2, zwi azek P (X,Y ) ((a 1, b 1 ] (a 2, b 2 ]) = P (a 1 < X b 1, a 2 < Y b 2 ) określa prawdopodobieństwo P (X,Y ) na płaszczyźnie R 2 (i σ ciele zbiorów borelowskich). Przestrzeń probabilistyczn a Ω (X,Y ) = (R 2, P (X,Y ) ) nazywamy kanoniczn a przestrzeni a probabilistyczn a wektora (X, Y ). Szansȩ uzyskania wartości w prostok acie można wyrazić przy pomocy dystrybuanty: P (a 1 < X b 1, a 2 < Y b 2 ) = F (b 1, b 2 ) + F (a 1, a 2 ) F (a 1, b 2 ) F (b 1, a 2 ) 13

14 Rozkłady brzegowe Niech (X, Y ) bȩdzie wektorem losowym takim, że X, Y Z. Z ł acznej funkcji prawdopodobieństwa p (X,Y ) można wyliczyć funkcje prawdopodobieństwa zmiennych X oraz Y jako zmiennych jednowymiarowych (tzw. rozkłady brzegowe). p X (i) = j P (X = i, Y = j) = j p (X,Y ) (i, j) p Y (j) = i P (X = i, Y = j) = i p (X,Y ) (i, j) Przykład Niech (X, Y ) ma funkcjȩ prawdopodobieństwa zadan a tabel a: p (X,Y ) (i, j) Wtedy p X (1) = 0.22, p X (2) = 0.48, p X (3) = 0.30 oraz p Y (0) = 0.16, p Y (1) = 0.32, p Y (2) = 0.32, p Y (3) = W przypadku zmiennych typu ci agłego, jeśłi (X, Y ) ma gȩstość f(x, y), to gȩstości brzegowe zadane s a przez: f X (x) = f Y (y) = R R f(x, y)dy f(x, y)dx Niezależnośc zmiennych losowych Definicja Niech X, Y Z. Zmienne X, Y s a niezależne jeśli p (X,Y ) (i, j) = p X (i)p Y (j) dla wszystkich i, j Z. Definicja Niech X, Y bȩd a typu ci agłego o gȩstości f (X,Y ). Zmienne X, Y s a niezależne jeśli f (X,Y ) (x, y) = f X (x)f Y (y) dla wszystkich x, y R. W powyższych przypadkach niezależność zmiennych jest równoważna niezależności zdarzeń A = {ω : X(ω) I 1 } i B = {ω : Y (ω) I 2 }, dla dowolnych przedziałów I 1, I 2, tzn. warunkowi P (X I 1, Y I 2 ) = P (X I 1 )P (Y I 2 ) 14

15 Przykład Niech (X, Y ) maj a funkcjȩ prawdopodobieństwa p(i, j) 1 2 p X p Y Zmienne nie sa niezależne, bo 0 = p(1, 2) p X (1)p Y (2) = Przykład Niexh (X, Y ) maj a funkcjȩ prawdopodobieństwa p(i, j) 1 2 p X p Y Zmienne X, Y s a niezależne. Przykład Niech (X, Y ) maj a gȩstość f(x, y) = ((x + y + 1)/2)I (0,1) (0,1) (x, y). Wtedy X, Y nie s a niezależne. Dla wektora n N zmiennych losowych (X 1,..., X n ) niezależność definiujemy analogicznie do przypadku n = 2. Definicja Jeśli (X 1,..., X n ) ma rozkład typu ci agłego o gȩstości f(x 1,..., x n ) wtedy X 1,..., X n s a niezależne gdy f(x 1,..., x n ) = f X1 (x 1 )...f Xn (x n ) dla wszystkich x 1,..., x n R. Definicja Jeśli (X 1,..., X n ) ma rozkład typu dystkretnego o funkcji prawdopodobieństwa p(i 1,..., i n ) wtedy X 1,..., X n s a niezależne, gdy p(i 1,..., i n ) = p X1 (i 1 )...p Xn (i n ) dla wszystkich i 1,..., i n Z. Niezależność (X 1,..., X n ) w obu przypadkach jest równoważna warunkowi P (X 1 A 1,..., X n A n ) = P (X 1 A 1 )...P (X n A n ) dla dowolnych zbiorów A 1,..., A n Sumy niezależnych zmiennych losowych Dla dyskretnych zmiennych losowych P (X + Y = k) = i P (X = i, Y = k i). Przy założeniu niezależności X, Y otrzymujemy P (X + Y = k) = i P (X = i)p (Y = k i) 15

16 Przykład Niech X bȩdzie liczb a sukcesów w n 1 próbach Bernoulliego o prawdopodobieństwie sukcesu p (0, 1). Niech Y bȩdzie niezależn a od X zmienn a losow a bȩd ac a liczb a sukcesów w n 2 próbach Bernoulliego o tym samym prawdopodobieństwie sukcesu. Wtedy X + Y ma rozkład dwumianowy b(k, n 1 + n 2, p). Przykład Jeśli X, Y s a niezależne i X P oisson(λ) oraz Y P oisson(µ), to X + Y P oisson(λ + µ). Dla zmiennych losowych typu ci agłego X f X oraz Y f Y, jeśli X, Y s a niezależne to X +Y ma gȩstość f X+Y (z) = f X (x)f Y (z x)dx = f Y (x)f X (z x)dx Przykład Niech X U[0, 1] oraz Y U[0, 1] maj a ten sam rozkład jednostajny na [0, 1]. Jeśli X i Y s a niezależne, to z gdy 0 z 1 f X+Y (z) = 2 z gdy 1 z 2 0 poza tym Wykres tej gȩstości: Przykład (Rozkład Erlanga rzȩdu n). Jeśli X 1,..., X n s a niezależne o rozkładzie wykładniczym z parametrem λ > 0, to f X X n (z) = ((n 1)!/λ n 1 ) 1 z n 1 λe λz I (0, ) (z) Przykład (Proces Poissona) Niech (X 1, X 2,...) bȩdzie nieskończonym ci agiem niezależnych zmiennych losowych o rozkładach wykładniczych z parametrem λ > 0. Wtedy N(t) = max{n : X X n t}, dla dowolnego t 0 liczy ile punktów umieszczonych w odstȩpach kolejno X i, i = 1, 2,... od pocz atku układu współrzȩdnych zmieści siȩ przed t. Zbiór zmiennych losowych (N(t), t 0) nazywamy procesem Poissona. Wtedy P (N(t) = i) = (λt)i e λt i! dla i = 0, 1, 2,..., tzn. zmienne N(t) maj a rozkłady Poissona, których parametr zmienia siȩ wraz z t i równa siȩ λt. 16

17 0.5 WARTOŚĆ OCZEKIWANA Jeśli (X 1, X 2,...) jest ci agiem niezależnych zmiennych losowych o jednakowych rozkładach, przyjmuj acych wartości ograniczone, to intuicyjnie ich średnia arytmetyczna X X n n dla dostatecznie dużych wartości n powinna być zbieżna do pewnej wartości stałej (pomyśl o rzutach monet a lub kostk a). Uściślenie tej intuicji wymagać bȩdzie określenia co to znaczy tutaj zbieżna (pojȩcie dla zmiennych losowych a nie liczb) oraz motywuje wprowadzenie wartości oczekiwanej, ktora okaże siȩ być t a graniczn a wartości a stał a zależn a jedynie od rozkładu, który jest tutaj wspólny dla wszystkich sumowanych zmiennych losowych. Precyzyjne wysłowienie tego faktu bȩdzie treści a twierdzenia zwanego Prawem Wielkich Liczb. Definicja Jeśli X jestzmienn a losow a przyjmuj ac a wartości całkowite, o funkcji prawdopodobieństwa (p(i), i Z), to wartości a oczekiwan a zmiennej X (lub wartości a oczekiwan a rozkładu p(i)) nazywamy liczbȩ oznaczan a EX, zadan a wzorem EX = ip(i) i Z o ile ta wartość istnieje. Istnienie wartości oczekiwanej skomentujemy później. Przykład Rzut monet a. Niech X = 1, gdy wypadnie orzeł, 0, gdy wypadnie reszka. EX = = 1 2. Zauważmy, że wartość 1/2 nie jest przyjmowana przez X. Przykład Rzut kostk a. EX = 3.5. Przykład Rozkład Poissona z parametrem λ. EX = λ. Definicja Jeśli zmienna X ma gȩstość f, wtedy EX = xf(x)dx o ile ta wartość istnieje. Przykład Rozkład jednostajny na [0, 1]. EX = 1/2. Przykład Gȩstość Erlanga rzȩdu n. EX = n/λ. Przykład Rozkład Cauchyego. f(x) = 1 π(1 + x 2 ) x R. Wartość oczekiwana nie istnieje. (Zmienna losowa o gȩstości symetrycznej nie musi mieć wartości oczekiwanej 0) Przypomnijmy, że x = [x] + + [x], gdzie [x] + = max(o, x) oraz [x] = min(0, x). Dla dowolnej funkcji g, R g(x)dx istnieje i jest skończona wtedy i tylko wtedy, gdy R [g(x)] +dx < (jest skończona) i R [g(x)] dx <. Całka R g(x)dx istnieje i jest nieskończona, gdy R [g(x)] +dx = i R [g(x)] dx < (wtedy g(x)dx = ) lub gdy R [g(x)] +dx < i R [g(x)] dx = (wtedy g(x)dx = ). W przypadku gdy R [g(x)] +dx = i R [g(x)] dx = całka R g(x)dx nie istnieje. 17

18 Przykład (Czas do równowagi) Nieskończona wartość oczekiwana pojawia siȩ w sposób bardzo naturalny: rzucamy monet a, niech H n oznacza ilość orłów w n rzutach, T n = n H n, oznacza ilość reszek w n rzutach. Czas zrównania siȩ ilości orłów i reszek po raz pierwszy możemy zdefiniować jako N = min{n : H n = T n }. EN = +. Do liczenia wartości oczekiwanej nieujemnych zmiennych losowych X o wartościach całkowitych uzyteczny jest wzór: EX = P (X n) n=1 Przykład Rozkład geometryczny na {1, 2,...}. p(i) = (1 p) i 1 p, dla p (0, 1). EX = 1/p Momenty, funkcje tworz ace Niech Y = ψ(x), dla pewnej funkcji ψ : R R. Wtedy EY = i Z ψ(i)p (X = i), dla X typu dyskretnego o wartościach całkowitych. Gdy X f ma gȩstość, to EY = ψ(x)f(x)dx. Jeśli Y przyjmuje (niekoniecznie całkowite) wartości y 1, y 2,... z prawdopodobieństwami p(1), p(2),... odpowiednio, to EY = i=1 y i p(i).\ Przykład Rzut kostk a. X liczba oczek, Y = 2 X. Przykład Momenty rozkładu jednostajnego. X U[0, 1], Y = X k dla k N. (ψ(x) = x k ). EY = 1 k+1. Definicja Dla zmiennej losowej X, wartość EX k <, k N( o ile istnieje i jest skończona) nazywamy k tym momentem X. (Wartość oczekiwana jest pierwszym momentem). Przykład Funkcja tworz aca momenty rozkładu wykładniczego. Niech X Wykładniczy (λ). Wtedy dla Y = e tx, t < λ, EY = λ λ t. Przykład Funkcja tworz aca momenty rozkładu gamma. Niexh X gamma(n, λ). Wtedy dlay = e tx, t < λ, EY = ( λ λ t )n. Definicja Dla zmiennej losowej X funkcjȩ φ X (t) = Ee tx określon a dla t R (być może o wartościach nieskończonych) nazywamy funkcj a tworz ac a momenty zmiennej X. Zw azek tej funkcji z momentami zmiennej X jest nastȩpuj acy EX k = φ (k) X (0) dla k N. Przykład Momenty rozkładu wykładniczego. X Wykładniczy (λ), wtedy EX k = k! λ k. 18

19 Definicja Dla zmiennej X o wartościach {0, 1, 2,...} funkcjȩ γ X (z) = E(z X ) = z i p(i) i=0 dla z [0, 1] nazywamy funkcj a tworz ac a. Zwi azek tej funkcji z momentami jest nastȩpuj acy γ (k) X (z) = E(X(X 1)...(X k + 1)) dla k N. Przykład Mediana rozkładu. Właściciel bufetu sprzedaje kawȩ. Dzienny popyt na kawȩ określony jest przez zmienn a X o gȩstości f. Właściciel płaci c zł za litr kawy, otrzymuje b zł (b > c) i jeśli zabraknie mu kawy traci a zł na każdym brakuj acym litrze. Ile kawy powinien on kupić, aby zmaksymalizować (w sensie wartości średniej) swój zysk. Odp.: należy kupić v litrów kawy, gdzie v jest takie, że P (X > v) = c a+b. Gdy a = b = c = 1 wartość t a nazywamy median a rozkładu zmiennej X. Definicja Niech X bȩdzie taka, ze E X <. Median a rozkładu zmiennej X jest liczba v, taka,,że E X c E X v dla wszystkich c R. Własności wartości oczekiwanej 1. E(aX + b) = aex + b, dla a, b R 2. E(X + Y ) = EX + EY 3. X Y EX EY 4. Jeśłi X 1,..., X n s a niezależne, to E(X 1...X n ) = EX 1...EX n 5. Jeśłi X 1,..., X n s a niezależne, to E(g 1 (X 1 )...g n (X n )) = Eg(X 1 )...Eg n (X n ), dla dowolnych funkcji g 1,..., g n. 6. Jeśłi X 1,..., X n s a niezależne, to φ X1 +...X n (t) = φ X1 (t)...φ Xn (t), dla funkcji tworz acych momenty Przykład Warunek E(XY ) = EXEY nie implikuje niezależności X i Y. X\Y p X /4 0 1/4 0 1 /4 1 /4 1 /4 3/4 p Y 1/4 1/2 1/4 wtedy EXY = 0 oraz EXY = EXEY, ale X, Y nie s a niezależne. Funkcje tworz ace wyznaczaj a jednoznacznie rozkłady zmiennych losowych: Jeśli φ X (t) = φ Y (t), t R, to F X = F Y. Jeśli γ X (z) = γ Y (z), z (0, 1), to p X (i) = p Y (i), i Z +. 19

20 0.5.2 Wariancja i kowariancja Miar a rozrzutu masy prawdopodobieństwa jest na przykład wariancja. Definicja Jeśli EX 2 <, to wariancj a zmiennej losowej X nazywamy wartość V arx = E(X EX) 2 = EX 2 (EX) 2 (Gdy EX 2 =, wariancja jest nieskończona). Wartość σ X = 2 V arx nazywamy odchyleniem standardowym zmiennej X. Przykład Rozkład jednostajny, X U[0, 1], V arx = 1/12. Dla X U[a, b], V arx = (b a) 2 /12. Własności wariancji: 1. V ar(ax) = a 2 V arx, a R 2. Jeśli X, Y s a niezależne to V ar(x + Y ) = V arx + V ary 3. Jeśli V arx = 0, to P (X = EX) = 1, piszemy X = EX pw (prawie wszȩdzie) 4. V ar(x +Y ) = V arx +V ary +2Cov(X, Y ), gdzie Cov(X, Y ) = E(XY ) EXEY (tzw. kowariancja zmiennych X, Y ). Jeśli Cov(X, Y ) = 0, to zmienne s a nieskorelowane (z przykładu wyżej wynika, że niekoniecznie niezależne). Przykład Rzut kostk a. EX = 21/6, EX 2 = 91/6, V arx = 105/ , σ X Przy tym odchylenie mierzone wartości a bezwzglȩdn a E X EX = 1.5 jest różne od odchylenia standardowego. 0.6 TWIERDZENIA GRANICZNE Prawa wielkich liczb Lemat Niech ϕ : [0, ) R +, bȩdzie niemalej aca oraz X 0. Wtedy Eϕ(X) ϕ(y)p (X y) dla każdego y > 0. Lemat (Nierówność Czebyszewa). Niech Y bȩdzie zmienn a losow a o skończonej wariancji. Wtedy V ary y 2 P ( Y EY y) 20

21 Przy powtarzaniu eksperymentów najcześciej badan a wielkości a jest średnia próbkowa: dla zmiennych losowych X 1,..., X n (n N) średni a próbkow a jest zmienna losowa X n = X X n n Jeśli X i maj a jednakowy rozkład o skończonej wartości oczekiwanej, to dla µ = EX i EX n = µ jeśłi ponadto zmienne X i s a niezależne o skończonej wariancji σ 2 = V arx i,, to V arx n = σ2 n oraz σ Xn = σ 2 n Widać st ad, że jeśli n jest duże, to wariancja średniej próbkowej jest bliska zeru, a st ad średnia próbkowa jest wtedy bliska wartości stałej µ. Dokładniej mowi ac, zachodzi: Twierdzenie (Słabe prawo wielkich liczb). Jeśłi X 1, X 2,...s a niezależne o jednakowym rozkładzie i skończonej wartości oczekiwanej µ, to dla każdego ε > 0 P ( X n µ ε) n 0 Piszemy wtedy X n P µ i określamy t a zbieżność jako zbieżność według prawdopodobieństwa. Przykład Chcemy wyznaczyć średni wzrost µ mȩżczyzn w wieku 20 lat w kraju. Wybieramy losowo (niezależnie) n mȩżczyzn (pobieramy próbkȩ z populacji) i otrzymujemy wartości X 1,..., X n. Z prawa wielkich liczb otrzymujemy, że dla dużych n średnia próbkowa z dużym prawdopodobieństwem przybliża wartość µ. Przykład (Czȩstość wystȩpowania zdarzenia, a jego prawdopodobieństwo). Powtarzamy eksperyment o wyniku liczbowym W niezależnie n razy. Niech X i = I A (W i ), tzn. X i jest zmienn a zero-jedynkow a przyjmuj ac a wartość 1, gdy i-ty wynik eksperymentu osi aga swoj a wartość w ustalonym zbiorze A. Wtedy X n można zinterpretować jako czȩstość zdarzenia, że wynik eksperymentu osi aga wynik w ustalonym zbiorze A. Z prawa wielkich liczb, dla dużych n czȩstość ta jest bliska EX i = P (W i A). Gdy A = (, x], to X n P (W x). Zbieżność według prawdopodobieństwa w słabym prawie wielkich liczb może być zast apiona mocniejsz a zbieżności a: Twierdzenie (Mocne prawo wielkich liczb). Jeśłi X 1, X 2,...s a niezależne o jednakowym rozkładzie i skończonej wartości oczekiwanej µ, to P (X n n µ) = 1 Piszemy wtedy X n µ p.w. i określamy t a zbieżność jako zbieżność prawie wszȩdzie. Szansȩ, że przybliżenie wartości oczekiwanej przez średni a próbkow a jest dobre można oszacować przy użyciu natȩpnego twierdzenia granicznego. 21

22 0.6.2 Centralne Twierdzenie Graniczne (CTG) Twierdzenie Jeśli X 1, X 2,... s a niezależnymi zmiennymi losowymi o jednakowym rozkładzie i skończonej wariancji σ 2, to dla każdego x R P ( X n µ σ Xn x) n P (N(0, 1) x) gdzie σ Xn = σ/ 2 n oraz N(0, 1) oznacza zmienn a o rozkładzie standardowym normalnym. Piszemy wtedy X n µ σ Xn d N(0, 1) i określamy t a zbieżność jako zbieżność według rozkładu. Zbieżność według rozkładu jest słabsza niż zbiezność według prawdopodobieństwa (jest przez ni a implikowana, lecz nie odwrotnie). Przykład Gramy w ruletkȩ, stawiamy na czarne 81 razy, wygrywaj ac lub przegrywaj ac za każdym razem 1 zł. Jakie jest prawdopodobieństwo, że saldo gry bȩdzie dodatnie po 81grach? Używaj ac CTG i tablic rozkładu normalnego otrzymujemy, że w przybliżeniu wynosi ono Przykład Rzucamy monet a 900 razy. Jakie jest prawdopodobieństwo, że uzyskamy conajmniej 465 orłów? Stosujemy CTG, używaj ac tzw. poprawki histogramowej otrzymujemy Przykład Powtarzamy 15 razy eksperyment z prawdopodobieństwem sukcesu 0.2. Jakie jest prawdopodobieństwo dokładnie 3 sukcesów? Stosujemy CTG, używaj ac przedziału długości 1 zawieraj acego 3, otrzymujemy Dokonujemy porównania z wartościami dokładnymi i z przybliżeniem Poissona(3). k Dokł Normalne Poisson Przykład Klienci przychodz a do punktu obsługi w godzinach 11:30-1:30 losowo z rozkładem Poissona (225). Jakie jest prawdopodobieństwo, że przyjdzie mniej niż 200 osób? Stosujemy CTG do sumy 225 zmiennych poissonowskich o średniej 1. Stosuj ac poprawkȩ histogramow a otrzymujemy Ogólnie widać, że P ( N λ 2 λ x) P (N(0, 1) x) dla dużych wartości λ oraz N P oisson(λ). 22

23 0.7 Dodatek Funkcje specjalne Funkcja Gamma Γ(x) = 0 t x 1 e t dt, x > 0. Zachodzi: Γ(x + 1) = xγ(x). Niekompletna funkcja Gamma Γ(x, a) = Funkcja Beta B(a, b) := a 1 0 t x 1 e t dt, x > 0. t a 1 (1 t) b 1 dt Zachodzi: B(a, b) = Γ(a)Γ(b) Γ(a+b) Parametry i funkcje rozkładów Niech X bȩdzie zmienn a losow a. Ze zmiennymi losowymi bȩdziemy utożsamiali nastȩpuj ace funkcje: Dystrybuanta F (x) = F X (x) := P (X x); Funkcja przeżycia (ogon rozkładu) F (x) := 1 F (x); Gȩstość f(x) = f X (x) = d dx F (x); Funkcja tworz aca momenty M(t) = M X (t) = E [exp(tx)] ; Funkcja tworz aca kumulanty C(t) = C X (t) = log M X (t). Funkcja tworz aca prawdopodobieństwa [ P (t) = P X (t) = E t X] = M X (log t). 23

24 [ Oznaczmy teraz µ k (X) = E X k] [, m k (X) = E (X E [X]) k]. W przypadku, gdy wiadomo o jak a zmienn a losow a chodzi piszemy m k i µ k. Parametr µ k nazywany jest k-tym momentem zwykłym, m k - k-tym momentem centralnym. W szczególności µ 1 =: µ jest średni a, a m 2 jest wariancj a. Parametr γ 3 := m 3 jest nazywamy skośności a, a γ m 3/2 4 := m 4 3 kurtoz a. Iloraz γ m 2 1 := m 2 µ nazywamy 2 2 m2 indeksem dyspersji, a γ 2 = µ współczynnikiem zmienności. Drugi i trzeci moment centralny można wyrazić za pomoc a momentów zwykłych: [ Var [X] = E [ E (X E [X]) 3] = E (X E [X]) 2] = E [ X 3] 3E [X] E [ X 2] (E [X]) 2, [ X 2] + 2(E [X]) 3. Zachodz a nastȩpuj ace wzory pozwalaj ace wyliczać momenty za pomoc a funkcji tworz acych: [ M (k) (0) = E X k], C (1) X (0) = E [X], C(2) X (0) = Var [X], C(3) X (0) = E [(X E [X]) 3]. Tak wiȩc pochodne funkcji tworz acej momenty pozwalaj a wyliczać momenty centralne, podczas gdy funkcji tworz acej C X zwane s a kumulantami Rozkłady dyskretne Rozkład dwumianowy Bin(n, p) Jeżeli P (X = m) = ( ) n p m q n m, m gdzie p (0, 1), q = 1 p, m = 0, 1,..., n, to X ma rozkład dwumianowy Bin(n, p). Mamy P (t) E [X] Var [X] γ 1 γ 2 γ 3 γ 4 (q + pt) n np npq q q np n (q p) npq pq npq Rozważmy teraz próbȩ X 1,..., X k Bin(n i, p), gdzie k i=1 n i = n jest znane. Parametr p rozkładu estymujemy w sposób nastȩpuj acy: p = ki=1 X i, n E [ p] = p, Var [ p] = pq 1 n. Rozkład Poissona P oi(λ) Jeżeli P (X = m) = λm m! e λ, gdzie λ > 0, m = 1, 2, 3,..., to X ma rozkład Poissona P oi(λ). 24

25 Dla próby X 1,..., X k P oi(λ), P (t) E [X] Var [X] γ 1 γ 2 γ 3 γ 4 exp(λ(t 1)) λ λ 1 1 λ 1 λ 1 λ ki=1 X i λ = ] k E [ λ = λ ] Var [ λ = λ k Rozkład ujemny dwumianowy Bin (r, p) Jeżeli ( ) r + m 1 P (X = m) = p r q m, m r R +, m = 0, 1,..., tzn. X ma rozkład ujemny dwumianowy Bin (r, p). P (t) E [X] Var [X] γ 1 γ 2 γ 3 γ 4 ( ) p r rq 1 qt p rq p 2 1 p 1 1+q rq rq 3 + p2 +6q rq Jeżeli r N, to dostajemy rozkład Pascala, jeżeli r = 1 - rozkład geometryczny Geo(p). Jeżeli X ma rozkład Geo(p) to zmienna losowa M o rozkładzie warunkowym takim jak X pod warunkiem X > 0 ma przesuniȩty rozkład geometryczny z P (M = n) = pq n, n {1, 2,...}. Oba rozkłady geometryczne różni a siȩ średni a, wariancje s a takie same. Inaczej: M ma rozkład postaci Geo(p) δ 1. Na podstawie próby X 1,..., X k P oi(λ), estymacja wygl ada nastȩpuj aco: 1. r znane: ] E [ λ p = = p 2. r i p nieznane: r = 1 p p X2 S 2 X r 1 r + k i=1 X i /k 1, = S2 X Rozkłady ci agłe Rozkład normalny Gȩstość zmiennej losowej X o rozkładzie normalnym ze średni a µ i wariancj a σ 2 jest postaci ϕ (x) = 1 2πσ exp( (x µ) 2 /2σ 2 ). Piszemy wtedy X N(µ, σ 2 ). Jeżeli µ = 0 i σ 2 = 1 to mówimy o standardowym rozkładzie normalnym. Parametry: 25

26 M(t) E [X] Var [X] γ 1 γ 2 γ 3 γ 4 e (tσ)2 2 +tµ, µ σ 2 σ2 µ, µ 0 σ µ, µ Maj ac dane X 1,..., X k, parametry µ i σ estymujemy metod a momentów. Rozkład odwrotny normalny IG(µ, σ 2 ) Niech X ma gȩstość zadan a wzorem f X (x) = σ 2πx 3 exp { σ 2µ ( x µ 2 + µ x )}, gdzie µ R, σ > 0, x R, tzn. X ma rozkład odwrotny normalny IG(µ, σ 2 ). Parametry: M(t) E [X] Var [X] γ 1 γ 2 γ 3 γ 4, µ µ 3 σ µ 2 σ µ σ 3 µ σ 15µ σ Dla próby X 1,..., X k IG(µ, σ 2 ) µ = X = 1 k X i, k i=1 [ 1 k ( 1 2] σ = Xi 1 X 1). k i=1 Rozkład logarytmiczno-normalny LN(µ, σ) Niech X ma gȩstość zadan a wzorem ( ) 1 (log x µ) f(x) = (xσ 2 2π) exp 2σ 2, x > 0, µ R, σ > 0. Wtedy X ma rozkład logarytmiczno-normalny LN(µ, σ). M(t) E [X] Var [X] γ 1 γ 2 γ 3 γ 4 ) (, e µ+ 1 2 (e σ2 σ2 1 e 2µ+σ2 e σ2 + 2) e σ 2 1 e σ4 + 2e σ3 + 3e σ2 3 Jeśli Y jest N(µ, σ), to X = e Y LN(µ, σ). Dla próby X 1,..., X k LN(µ, σ 2 ) µ = 1 k log X i, k i=1 σ = 1 k (log X i µ) k 2. i=1 26

27 Rozkład wykładniczy Exp(λ) Niech X ma gȩstość zadan a wzorem f X (x) = λe λx, gdzie x > 0, λ > 0, tzn. X ma rozkład wykładniczy Exp(λ). Parametry: M(t) E [X] Var [X] γ 1 γ 2 γ 3 γ 4 Dla próby X 1,..., X k Exp(λ), λ λ t, 1 λ λ = 1 1 λ 2 λ ki=1 X i. Rozkład Gamma Gamma(α, β) Niech X ma gȩstość zadan a wzorem f X (y) = βα Γ(α) xα 1 e βx, α > 0, β > 0, x > 0, tzn. X ma rozkład Gamma Gamma(α, β). M(t) E [X] Var [X] γ 1 γ 2 γ 3 γ 4 β α (β t) α, α β α 1 β 2 β 1 α Jeżeli X Γ(1, β), to X Exp(β). Dla próby X 1,..., X k Γ(α, β), α = β = ( ) 2 X 1 ni=1 k 1 (X i X) 2, 1 k 1 X ki=1 (X i X). 2 Rozkład Weibulla W ei(r, c) Niech X ma gȩstość zadan a wzorem f(x) = rcx r 1 exp( cx r ), x > 0, gdzie 0 < r jest parametrem kształtu, c > 0 jest parametrem skali. Wtedy X ma rozkład Weibulla W ei(r, c). M(t) E [X] Var [X] γ 1 γ 2 γ 3 γ 4, ( ) 1 ( ) ( ) 2 { ( ) [ ( )] } 1 r c Γ 1 r r 2 c Γ 2 r + 1 Γ 1 r

28 Jeśli X jest W ei(1, c), to X Exp(c). Dla próby X 1,..., X n W ei(r, c) parametry c i r estymujemy rozwi azuj a układ równań: c 1 ki=1 k Xi r = 1 r ki=1 k (cxi r 1) log X i = 1 Rozkład Pareto P ar(α, c) Niech X ma gȩstość zadan a wzorem f(x) = ( α c )( c x )α+1, x > c, gdzie α > 0, a c > 0 jest parametrem skali. Wtedy X ma rozkład Pareto P ar(α, c). M(t) E [X] Var [X] γ 1 γ 2 γ 3 γ 4 nie istnieje c α α 1, α > 1 c2 α, α > 2 2 α+1 α 2 (α 1) 2 (α 2) α 3 α, α > 3 28