dr Jarosław Kotowicz 24 lutego 2003 roku 1 c Copyright J.Kotowicz

Transkrypt

1 Szkice do wykładu z Rachunku prawdopodobieństwa 1 II rok matematyki finansowej III roku matematyki ogólnej III roku matematyki z metodami informatycznymi dr Jarosław Kotowicz 24 lutego 2003 roku 1 c Copyright J.Kotowicz

2 Spis treści / 2h Aksjomatyka rachunku prawdopodobieństwa Prawdopodobieństwo warunkowe i całkowite Zadania / 2h Wzór Beyasa Zdarzenia niezależne Zdarzenie zależne. Współczynnik korelacji zdarzeń Prawdopodobieństwo geometryczne. Paradoks Bertranda Zadania / 2h Schemat Bernoulliego i jego uogólnienia. Schematy urnowe Jednowymiarowe zmienne losowe Zadania / 2h Uzupełnienia poprzedniego wykładu Jednowymiarowe zmienne losowe c.d Wartość oczekiwana zmiennej losowej Zadania / 2h Parametry liczbowe rozkładów c.d Parametry pozycyjne rozkładów Zadania / 2h Przykłady jednowymiarowych rozkładów Nierówność dla zmiennych losowych Zadania / 2h Nierówność dla zmiennych losowych c.d Niezależne zmienne losowe Funkcje tworzące prawdopodobieństwa i reszt Zadania

3 / 2h Własności funkcji tworzących prawdopodobieństwa i reszt Zbieżności zmiennych losowych Zadania / 2h Zbieżności zmiennych losowych c.d Prawo 0 1 Kołmogorowa Zadania / 2h Nierówności typu Czebyszewa dla sum zmiennych losowych Zadania / 2h Zbieżności szeregów zmiennych losowych Prawa wielkich liczb Zadania / 2h Prawa wielkich liczb c.d Zadania / 2h Zasady egzaminu Prawa wielkich liczb c.d Zadania / 2h Twierdzenie Moivre a - Laplace a lokalne i globalne Zadania Egzamin Zagadnienia na egzamin część teoretyczna Zadania z egzaminu Zadania z egzaminu poprawkowego

4 Program wykładu Plan wykładu z przedmiotu Rachunek prawdopodobieństwa w roku akademickim 2002/2003 II rok matematyki finansowej - studia dzienne III roku matematyki ogólnej - studia dzienne III roku matematyki z metodami informatycznymi - studia dzienne 30 godzin wykładów prowadzący dr J. Kotowicz Zagadnienia wykładu Częstotliwościowe pojęcie prawdopodobieństwa. Przestrzeń probabilistyczna. Własności prawdopodobieństwa. 1 godz. 2. Prawdopodobieństwo warunkowe, prawdopodobieństwo całkowite, wzór Bayesa. 1 godz. 3. Zdarzenie niezależne. Niezależność zespołowa i parami. 1 godz. 4. Zdarzenie zależne. Współczynnik korelacji zdarzeń. 1 godz. 5. Miara geometryczne i prawdopodobieństwo geometryczne. Paradoks Bertranda. Przestrzenie produktowe jako przestrzenie dla serii doświadczeń niezależnych. Schemat Bernoulliego i jego uogólnienia (zagadnienia Poissona, Pascala, uogólniony schemat Bernoulliego, Pólya). 1 godz. 6. Jednowymiarowa zmienna losowa. (a) Dystrybuanta i jej własności. (b) Przekształcenia zmiennej losowej - związek między dystrybuantami. 2 godz. 1 godz. (c) Parametry liczbowe i pozycyjne zmiennej losowej: momenty zwykłe, centralne, bezwzględne; wartość oczekiwana i wariancja; odchylenie standardowe, przeciętne, współczynnik zmienności, współczynnik asymetrii, kwantyle, mediana i moda - dominanta. 2 godz. (d) Przykłady rozkładów ciągłych i dyskretnych. 1 godz. 7. Nierówność związane z momentami dla zmiennych losowych. 2 godz. 8. Niezależność zmiennych losowych. 1 godz. 9. Funkcja tworząca rozkładu zmiennej losowej i jej własności. 1 godz. 10. Ciągi zmiennych losowych. Różne rodzaje zbieżności zmiennych losowych (z prawdopodobieństwem 1, według prawdopodobieństwa, według k - tego momentu bezwzględnego) i związek między nimi. 3 godz. 11. Prawo 0-1 Kołmogorowa. 1 godz. 12. Sumy niezależnych zmiennych losowych. Nierówności Lévy ego - Ottavianiego oraz Kołmogorowa. Twierdzenie o dwóch szeregach. Twierdzenie Kołmogorowa o trzech szeregach. 2 godz. 13. Prawa wielkich liczb. 1 Mogą byc jeszcze modyfikowane 4

5 (a) Słabe prawo wielkich liczb (Bernoulliego, Czebyszewa, Chinczyna i in.). (b) Mocne prawo wielkich liczb i warunki dostateczne na jego zachodzenie. Twierdzenia Kołmogorowa 2 godz. 2 godz. 14. Twierdzenia Moivre a - Laplace a. 2 godz. Literatura podstawowa: 1. P. Billingsley, Prawdopodobieństwo i miara, PWN, Warszawa W. Feller, Wstęp do rachunku prawdopodobieństwa, PWN, Warszawa M. Fisz, Rachunek prawdopodobieństwa i statystyka matematyczna, PWN, Warszawa J. Jakubowski, R. Sztencel, Wstęp do rachunku prawdopodobieństwa, Script, Warszawa L. T. Kubik, Rachunek prawdopodobieństwa, PWN, Warszawa A. Płocki, Rachunek prawdopodobieństwa dla nauczycieli, PWN, Warszawa 1981 Literatura uzupełniająca: 1. I.J. Dinner i in., Rachunek prawdopodobieństwa w zadaniach i problemach, PWN, Warszawa T. Gersternkorn, T. Śródka, Kombinatoryka i rachunek prawdopodobieństwa, PWN, Warszawa W. Krysicki i in., Rachunek prawdopodobieństwa i statystyka matematyczna w zadaniach, PWN, Warszawa J. Stojanow i in., Zbiór zadań z rachunku prawdopodobieństwa, PWN, Warszaw Statystyka zbiór zadań, PWE, Warszawa

6 Wykład / 2h 1.1 Aksjomatyka rachunku prawdopodobieństwa Definicja 1.1 Przestrzenia probabilistyczną nazywamy przestrzeń mierzalną z miarą unormowaną. Oznaczamy ją (Ω, Σ, P ). Miarę probabilistyczną nazywamy prawdopodobieństwem. Twierdzenie 1.1 Własności prawdopodobieństwa P ( ) = 0 (1.1) A,B Σ A B P (A) P (B) (1.2) A,B Σ A B P (B \ A) P (B) P (A) (1.3) A Σ P (A ) = 1 P (A) (1.4) A,B Σ P (A B) = P (A) + P (B) P (A B) (1.5) ( n n i ) n N {A1,...,A n} ΣP ( A k ) = ( 1) i 1 P A kl (1.6) {An:n 1} ΣP k=1 i=1 1 k 1<...<k i n ( ) A n P (A n ) (1.7) {An:n 1} Σ{A n : n 1}- wstępujący P {An:n 1} Σ{A n : n 1}- zstępujący P ( ( l=1 A n ) = lim n P (A n) (1.8) A n ) = lim n P (A n) (1.9) Przyklad 1.1 Niech Ω = {ω O, ω R }, Σ = 2 Ω oraz P będzie określone następująco: P ( ) = 0, P ({ω O }) = P ({ω R }) = 1 2. Wówczas ({ω O, ω R }, Σ, P ) jest przestrzenią probabilistyczną Przyklad 1.2 Niech Ω = [0, 1], Σ = B([0, 1]) oraz P będzie miarą generowaną przez długość odcinka. Wówczas ([0, 1], B([0, 1]), P ) jest przestrzenią probabilistyczną Uwaga 1.1 Nie są prawdziwe następujące implikacje P (A) = 0 A = (1.10) P (A) = 1 A = Ω (1.11) Przyklad 1.3 Dla przestrzeni z przykładu (1.2) określamy zbiory A = { 1 2}, B = Q [0, 1] C = C - zbiór Cantora. Wówczas P (A) = P (B) = P (C) = 0. 6

7 1.2 Prawdopodobieństwo warunkowe i całkowite Niech (Ω, Σ, P ) będzie przestrzenią probabilistyczną. Definicja 1.2 Niech A, B Σ. Załóżmy, że P (B) 0. Prawdopodobieństwem warunkowym zajścia zdarzenia A pod warunkiem, że zaszło zdarzenie B (piszemy P (A/B)) nazywamy liczbę P (A/B) def P (A B) = P (B) (1.12) Niech card I ℵ 0. Definicja 1.3 Przeliczalną rodzinę zbiorów {A i : i I} Σ nazywamy układem zupełnym (zdarzeń) wtedy i tylko wtedy, gdy A i = Ω (1.13) i I i,j I i j A i A J = (1.14) i I P (A i ) 0 (1.15) Twierdzenie 1.2 (Prawdopodobieństwo całkowite) Niech {A i : i I} Σ będzie układem zupełnym. Wówczas dla dowolnego zdarzenia A P (A) = P (A/A i )P (A i ) (1.16) i I 1.3 Zadania Zadanie 1.1 Udowodnić (1.8) oraz (1.9). Zadanie 1.2 Niech Udowodnić, że n P ( l=1 n 1 A l ) = P (A n / l=1 k 1 k n 1, P ( A l ) > 0. (1.17) l=1 n 2 A l ) P (A n 1 / l=1 A l )... P (A 2 /A 1 ) P (A 1 ). (1.18) Zadanie 1.3 Jeżeli wiadomo, że to dla jakich rzeczywistych a mamy P (A) > a? P (A/B) = P (B/A) P (A B) = 1 P (A B) > 0, (1.19) 7

8 Wykład / 2h 2.1 Wzór Beyasa Niech (Ω, Σ, P ) będzie przestrzenią probabilistyczną. Niech card I ℵ 0. Twierdzenie 2.1 (Wzór Bayesa) Niech {A i : i I} Σ będzie układem zupełnym. Wówczas dla dowolnego zdarzenia A o niezerowym prawdopodobieństwie i dowolnego i 0 I P (A i0 /A) = P (A/A i 0 )P (A i0 ) P (A/A i )P (A i ) i I (2.1) 2.2 Zdarzenia niezależne Niech (Ω, Σ, P ) będzie ustaloną przestrzenią probabilistyczną. Definicja 2.1 Mówimy, że zdarzenia A, B z tej przestrzeni są niezależne wtedy i tylko wtedy, gdy P (A B) = P (A) P (B) (2.2) Stwierdzenie 2.1 Niech A, B Σ oraz P (B) 0. Zdarzenia A, B są niezależne wtedy i tylko wtedy, gdy Dany jest układ zdarzeń {A 1,..., A n } Σ. P (A/B) = P (A) (2.3) Definicja 2.2 Mówimy, że zdarzenia A 1,..., A n są niezależne zespołowo wtedy i tylko wtedy, gdy ( k ) k 1 k n 1 i1<...<i k np A il = P (A il ) (2.4) Definicja 2.3 Mówimy, że zdarzenia A 1,..., A n są parami niezależne wtedy i tylko wtedy, gdy l=1 l=1 1 i<j n P (A i A j ) = P (A i ) P (A j ) (2.5) Przyklad 2.1 Niech Ω = [0, 1] 2 oraz Σ = B([0, 1] 2 ). Określamy zdarzenia następująco: { A B def = {(x, y) : x > y} [0, 1] 2 C def = (x, y) : x < 1 } [0, 1] 2 (2.6) 2 Wówczas P (A B C) = P (A)P (B)P (C), ale układ nie jest układem zdarzeń niezależnych i parami niezaleznych. Twierdzenie 2.2 Każdy układ zdarzeń niezależnych jest układem zdarzeń parami niezależnych. Przyklad 2.2 Na czworościennej kostce (czworościan foremny) napisano na trzech ścianach dokładnie jeden raz jedną z liczb 1, 2 i 3, zaś na czwartej ścianie je wszystkie. Określamy zdarzenia A i - wyrzucono liczbę i. Zdarzenia A 1, A 2, A 3 są parami niezależne, ale nie są niezależne zespołowo. 8

9 Twierdzenie 2.3 Istnieje układ zdarzeń parami niezależnych, który nie jest układem zdarzeń niezależnych. Definicja 2.4 Dany jest układ zdarzeń {A n : n 1} Σ. Mówimy, że układ zdarzeń jest niezależny (inaczej układ zdarzeń {A n : n 1} jest układem zdarzeń niezależnych) wtedy i tylko wtedy, gdy dowolny skończony jego podukład jest układem zdarzeń niezależnych Twierdzenie 2.4 Zdarzenia rozłączne A i B są niezależne wtedy i tylko wtedy, gdy P (A) = 0 lub P (B) = 0. Twierdzenie 2.5 Niech card I ℵ 0. Niech A Σ oraz {A i : i I} Σ i zdarzenia {A i : i I} są parami rozłączne. Wtedy, o ile dla dowolnego i I niezależne są zdarzenia A i A i, to niezależne są zdarzenia A, A i. Twierdzenie 2.6 Oznaczymy A 0 A oraz A 1 A. Następujące warunki są równoważne A 1,..., A n niezależne (2.7) {0,1}B {ε1,...,ε n} {1,...,n} 1 = A ε1 1,..., B n = A εn n niezależne (2.8) ( n ) {0,1}P n {ε1,...,ε n} {1,...,n} A ε k k = P (A ε k k ) (2.9) k=1 Twierdzenie 2.7 Niech {A 1,..., A n } Σ będzie układem zdarzeń niezależnych. Wówczas ( n ) ( n ) n P A k = 1 P = 1 (1 P (A k )) (2.10) k=1 2.3 Zdarzenie zależne. Współczynnik korelacji zdarzeń k=1 Niech (Ω, Σ, P ) będzie ustaloną przestrzenią probabilistyczną. Definicja 2.5 Mówimy, że zdarzenia A, B są zależne wtedy i tylko wtedy, gdy Inaczej mówimy, że nie są niezależne. A k k=1 k=1 P (A B) P (A) P (B) (2.11) Definicja 2.6 Niech A, B Σ oraz P (A), P (B) ]0, 1[. Współczynnikiem korelacji zdarzeń A i B nazywamy liczbę wyrażoną wzorem ρ(a, B) def P (A B) P (A)P (B) = (2.12) P (A)P (A )P (B)P (B ) i I Twierdzenie 2.8 Niech A, B Σ oraz P (A), P (B) ]0, 1[. Wtedy ρ(a, B) = ρ(b, A) (2.13) ρ(a, B) = ρ(a, B ) = ρ(a, B) (2.14) ρ(a, B ) = ρ(a, B) (2.15) ρ(a, B) = 0 A, B niezależne (2.16) ρ(a, A) = 1 ρ(a, A ) = 1 (2.17) ρ(a, B) = 1 P (A) = P (A B) = P (B) ( P (A B) = 0) (2.18) ρ(a, B) = 1 P (A B) = 0 (2.19) ρ(a, B) 1 (2.20) 2.4 Prawdopodobieństwo geometryczne. Paradoks Bertranda Definicja 2.7 Niech Ω będzie takie, że card Ω = ℵ 0 oraz miech Σ = 2 X. Przyporządkujmy dowolnemu elementowi ω Ω nieujemną liczbę p ω następująco P ({ω}) = p ω, gdzie = 1. Wówczas (Ω, Σ, P ) jest przestrzenią probabilistyczną przeliczalną. p ω ω Ω 9

10 Uwaga 2.1 Takie przyporządkowanie jest możliwe wyłącznie dla zbioru przeliczalnego. Jest to uogólnienie prawdopodobieństwa ze zbioru skończonego. W przypadku zbiorów nieprzeliczalnych dochodzi trudność z określeniem przestrzeni, jak i miary probabilistycznej na tej przestrzeni. Przyklad 2.3 (Paradoks Bertranda) Dane jest koło o promieniu r > 0, Na kole wybieramy losowo cięciwę. Jakie jest prawdopodobieństwo, że będzie miała ona długość większą od długości boku trójkąta równobocznego wpisanego w brzeg tego koła (okrąg)? Rozważyć następujące wybory: (i) położenie środka cięciwy na kole; (ii) ustalony kierunek cięciwy; (iii) ustalony jeden z końców cięciwy. 2.5 Zadania Zadanie 2.1 Udowodnić, że dla dowolnych niezależnych zdarzeń A, B niezależne są zdarzenia B i A. Zadanie 2.2 Udowodnić, że dla dowolnych niezależnych zdarzeń A, B niezależne są zdarzenia A, B. Zadanie 2.3 Udowodnić, że dla dowolnych niezależnych zdarzeń A, B niezależne są zdarzenia A, B. Zadanie 2.4 Udowodnić, że dla dowolnego zdarzenia A niezależne są zdarzenia A, oraz A, Ω. Zadanie 2.5 Udowodnić, że dowolne zdarzenia A, B takie, że P (A) = 0 lub P (A) = 1 są niezależne. Zadanie 2.6 Udowodnić twierdzenie 2.6. Zadanie 2.7 Udowodnić warunki ( ) twierdzenia 2.8. Zadanie 2.8 Niech P (A/B) = P (A/B ) oraz P (B) > 0, P (B ) > 0. Udowodnić, że zdarzenia A, B są niezależne. Zadanie 2.9 Niech A B, A i C oraz B i C są zdarzeniami niezależnymi. Udowodnić, że zdarzenia B \ A i C są również niezależne. Zadanie 2.10 W czterech następnych zadaniach mamy Ω =]0, 1], a P jest miarą na ]0,1] generowaną przez długość (tzn. mamy doczynienia z przestrzenią probabilistyczną (]0, 1], B(]0, 1]), P L )). Podać przykład zdarzeń niezależnych A 1, A 2 takich, że P (A 1 ) = P (A 2 ) = 2 3. Zadanie 2.11 Podać przykład zdarzeń niezależnych A 1, A 2, A 3 takich, że P (A 1 ) = P (A 2 ) = P (A 3 ) = 1 2. Zadanie 2.12 Podać przykład zdarzeń niezależnych A 1, A 2,..., A n takich, że P (A 1 ) = P (A 2 ) =... = P (A 3 ) = 1 2. Zadanie 2.13 Podać przykład nieskończonego przeliczalnego układu zdarzeń niezależnych. Zadanie 2.14 Czy prawdziwe jest zdanie: Jeśli dwa zdarzenia wykluczają się, to są one zależne?. Odpowiedź uzasadnij tzn. w przypadku pozytywnej, przeprowadź dowód zaś w przypadku negatywnej podaj kontrprzykład, ponadto podaj w tym przypadku, o ile istnieją, warunki wystarczające, aby zdanie było prawdzie. 10

11 Wykład / 2h 3.1 Schemat Bernoulliego i jego uogólnienia. Schematy urnowe Niech (Ω, Σ, P ) będzie przestrzenią probabilistyczną. Istniej miara probabilistyczna prawdopodobieństwo w przestrzeni produktowej (Ω n, σa(σ n ), P n ), gdzie X n jest n krotnym produktem kartezjańskim X, zaś σa(σ n ) jest najmniejszym σ - ciałem podzbiorów Ω n zawierającym Σ n. Twierdzenie 3.1 (Schemat Bernoulliego.) Jeżeli przeprowadzono n jednakowych i niezależnych prób, gdzie zdarzenie A mogło pojawić się w pojedynczej próbie z prawdopodobieństwem p, to prawdopodobieństwo że zaszło ono dokładnie w k próbach (0 k n) wynosi ( ) n p k (1 p) n k (3.1) k Uwaga 3.1 n identycznych prób będziemy nazywać serią (długości n). Twierdzenie 3.2 (Uogólniony schemat Bernoulliego.) Jeżeli przeprowadzono n jednakowych i niezależnych prób, gdzie w pojedynczej próbie mogły pojawić się dokładnie jedno ze zdarzeń A 1,..., A r z prawdopodobieństwem równym odpowiednio p 1,... p r, gdzie r i=1 i = 1,..., r i n i = n wynosi i=r p i = 1, to prawdopodobieństwo że każde zdarzenie A i zaszło dokładnie n i - razy (0 n i n), gdzie n! n 1! n r! r i=1 p ni i (3.2) Twierdzenie 3.3 (Zagadnienie Poissona.) Przeprowadzamy ciąg serii doświadczeń według schematu Bernoulliego tak, aby w poszczególnych seriach liczb doświadczeń wzrastała do nieskończoności, a jednocześnie prawdopodobieństwo sukcesu p n dążyło do zera, przy czym np n = λ było stałe. Jeżeli oznaczymy przez A n,k zdarzenie, że w n - tej serii otrzymano dokładnie k sukcesów, to lim P (A λ λk n,k) = e n k! Twierdzenie 3.4 (Zagadnienie Pascala.) Jeżeli przeprowadzono n prób według schematu Bernoulliego, to prawdopodobieństwo że do uzyskania k sukcesów będzie potrzebnych dokładnie n prób wynosi ( ) n 1 p k (1 p) n k (3.4) k Jednowymiarowe zmienne losowe Niech (Ω, Σ, P ) będzie przestrzenią probabilistyczną. Rozważmy (R, B(R)), gdzie B(R) jest rodzina zbiorów borelowskich. Definicja 3.1 Jednowymiarową zmienną losową nazywamy każde odwzorowanie X: Ω R takie, że (3.3) B B(R) X 1 (B) Σ. (3.5) 11

12 Twierdzenie 3.5 Jeżeli odwzorowanie X : Ω R jest zmienną losową wtedy i tylko wtedy, gdy Uwaga 3.2 Warunek (3.6) można zapisać w postaci t R X 1 ((, t]) Σ. (3.6) t R {ω : X(ω) t} Σ. Definicja 3.2 Rozkładem prawdopodobieństwa zmiennej losowej X nazywamy indukowane odwzorowanie µ X : R R takie, że które jest nieujemny, przeliczalnie addytywne oraz spełnia warunek µ X (R) = 1. B B(R) µ X (B) = P (X 1 (B)), (3.7) Uwaga 3.3 Będziemy pomijać indeks X, jeżli będzie wiadomo o jakiej zmiennej mówimy. Definicja 3.3 Dystrybuantą jednowymiarowej zmienne losowej nazywamy funkcję F X : R R określoną wzorem F X (t) def = P (X t) (3.8) Twierdzenie 3.6 (Własności dystrybuanty) Niech F będzie dystrybuantą jednowymiarowej zmiennej losowej X. Wówczas (i) F jest funkcją niemalejącą. (ii) F jest funkcją prawostronnie ciągłą. (iii) (iv) lim F (x) = 1. x + F (x) = 0. lim x Wniosek 3.1 Dystrybuanta ma co najwyżej przeliczalną ilość punktów nieciągłości. Twierdzenie 3.7 Jeżeli funkcja F spełnia warunki (i) (iv) twierdzenia (3.6), to jest dystrybuantą pewnego rozkładu. Definicja 3.4 Mówimy, że zmienna losowa X ma rozkład ciągły wtedy i tylko wtedy, gdy istnieje funkcja borelowska 1 f: R R taka, że t R F (t) = t f(r)dr. (3.9) Definicja 3.5 Jeżeli dla rozkładu prawdopodobieństwa na R n µ istnieje gęstość, to taki rozkład nazywamy ciągłym. 3.3 Zadania Zadanie 3.1 (Schemat urnowy Pólya.) Z urny o b białych i c czarnych kulach losujemy jedną kulę, którą zwracamy do urny wykonując jeszcze dokładnie jedną z czynności (i) dodajemy do urny s kul tego samego koloru, co wylosowana kula; (ii) wyjmujemy z urny s kul tego samego koloru, co wylosowana kula; (iii) nic nie robimy. Obliczyć prawdopodobieństwo, że postępując tak n razy wylosujemy dokładnie k razy kulę białą. Kiedy rozwiązanie ma niezerowe prawdopodobieństwo (dla jakich liczb b, c, s, n i k)? Zadanie 3.2 Udowodnić warunki (iii) (iv) twierdzenia 3.6. Niech (Ω, Σ, P ) będzie przestrzenią probabilistyczną oraz niech {A n : n 1} Σ. 1 Dodano w dniu

13 Zadanie 3.3 Udowodnić, że ) ω Ω (ω A m (nk ) R N(n k)-rosnący k N ω A nk ω Ω (ω m=n m=n m=n ( ) A m = ( A m ) = A m k N N n k ω A n ) m=n m=n m=n A m A m Zadanie 3.4 Udowodnić następujący lemat Borela - Cantelliego P (A n ) < + P ( m=n {A n : n 1}-układ niezależny A m ) = 0 (3.10) P (A n ) = + P ( m=n A m ) = 1 (3.11) Zadanie 3.5 W urnie znajduje się n jednakowych kul z numerami od 1 do n. Kule losujemy po jednej bez zwracania. Obliczyć prawdopodobieństwo, że przynajmniej raz numer kuli będzie się zgadzał z numerem losowania. Zadanie 3.6 W m różnych komórkach rozmieszczono n czerwonych i r zielonych kul, przy czym w każdej komórce może być co najwyżej jedna kula n + r m. Ile jest takich rozmieszczeń, jeśli kule są nierozróżnialne; kule są rozróżnialne. Zadanie 3.7 W sposób losowy ustawiono w ciąg m zer i n jedynek. Obliczyć prawdopodobieństwo zdarzenia, że ciąg rozpoczyna się dokładnie od k zer i kończy się dokładnie l jedynkami, jeśli k m i l n. Zadanie 3.8 Dany jest odcinek [0, L] i punkt r należący do tego odcinka. Z odcinka losujemy dwa punkty x 1, x 2. Zmienna losowa X przyjmuje wartość 1, gdy punkt r znajduje się miedzy wylosowanymi punktami oraz 0 w przeciwnym wypadku. Podać rozkład zmiennej losowej X. 13

14 Wykład / 2h 4.1 Uzupełnienia poprzedniego wykładu Definicja 4.1 Funkcję ϕ : R R nazywamy borelowską wtedy i tylko wtedy, gdy A B(R) ϕ 1 (A) B(R) (4.1) W definicji podanej na wykładzie (definicja 3.4) o funkcji f powinno być założone, że jest borelowska. Uwaga 4.1 Często zamiast mówić o konkretnej zmiennej losowej bedziemy mówili o rozkładach prawdopodobieństwa. Definicja 4.2 Mówimy, że µ: R R jest rozkładem prawdopodobieństwa na R wtedy i tylko wtedy, gdy ( + ) {An:n 1} B(R) ( n,k N n k A n A k = ) µ A n = µ(r) = 1 + µ 0 µ(a n ). Definicja 4.3 Dystrybuantą rozkładu prawdopodobieństwa µ na R nazywamy funkcję F µ : R R, określoną zależnością F µ (t) def = µ((, t]). (4.2) 4.2 Jednowymiarowe zmienne losowe c.d. Definicja 4.4 σ - ciałem generowanym przez jednowymiarową zmienną losową X, oznaczam przez σ(x), nazywamy najmniejsze σ - ciało podzbiorów Ω zawarte w Σ, dla którego zachodzi warunek A B(R) X 1 (A) σ(x). (4.3) Definicja 4.5 Rozkład prawdopodobieństwa µ na R nazywamy dyskretnym wtedy i tylko wtedy, gdy istnieje zbiór co najwyżej przeliczalny 1 S R dla którego µ(s) = 1. Definicja 4.6 Niech (Ω, Σ, P ) będzie przestrzenią probabilistyczną, zaś X będzie jednowymiarową zmienną losową. Mówimy, że zbiór W X jest zbiorem wartości zmiennej losowej X wtedy i tylko wtedy, gdy A R A W X = P ({ω : X(ω) A}) = 0. (4.4) Definicja 4.7 Zmienną losową nazywamy dyskretną wtedy i tylko wtedy, gdy jej zbiór wartości jest co najwyżej przeliczalny. Definicja 4.8 Mówimy, że jednowymiarowa zmienna losowa ma rozkład osobliwy (względem miary Lebesgue a) wtedy i tylko wtedy, gdy nie jest dyskretna, a pochodna dystrybuanty prawie wszędzie równa jest zero. 1 Czyli skończony lub równoliczny ze zbiorem liczb naturalnych. 14

15 Przyklad 4.1 Niech C będzie zbiorem Cantora. Niech F (r) = { 0 dla r 0 1 dla r > 1. Jeżeli wyrzucaliśmy z odcinka jego środek to określamy na nim wartość F(r) jako średnią arytmetyczną wartości na prawo i lewo na nim (np. na odcinku ] 1 3, 2 3 [ wynosi ona 1 2. Otrzymana funkcja jest ciągła, niemalejąca oraz granica w plus nieskończoności wynosi 1, zaś w minus nieskończoności 0. Jest ona dytrybuanta rozkładu Cantora. Twierdzenie 4.1 (Lebesgue a. Bez dowodu.) Każdą dystrybuanta jednowymiarowej zmiennej losowej X można jednoznacznie przedstawić jako kombinację wypukłą dystrybuant rozkładu dyskretnego, ciągłego i osobliwego tzn. a,b,c 0 Fo,F c,f d a + b + c = 1 F = a F o + b F c + c F d, (4.5) gdzie F o - dystrybuanta rozkładu osobliwego, F c - dystrybuanta rozkładu ciągłego, zaś F d - dystrybuanta rozkładu dyskretnego. Niech (Ω, Σ, P ) będzie przestrzenią probabilistyczną. Lemat 4.1 Niech X będzie jednowymiarową zmienną losową o dystrybuancie F. Niech Y=aX+b, gdzie a R \ {0} oraz b R, ma dystrybuantę G. Wówczas { F ( ) r b a dla a > 0 G(r) = 1 ( F ( ) ( r b a P {ω : X(ω) = r b a })) (4.6) dla a < 0 Wniosek 4.1 Jeżeli spełnione są założenia lematu (4.1) oraz zmienna losowa X ma rozkład ciągły, to wówczas { F ( ) r b a dla a > 0 G(r) = 1 F ( ) r b a dla a < 0 (4.7) Wniosek 4.2 Jeżeli spełnione są założenia lematu (4.1) oraz f jest gęstością zmiennej losowej X, zaś g zmiennej losowej Y, to g(r) = 1 a f(r b a ) (4.8) Twierdzenie 4.2 Jeżeli zmienna losowa X ma rozkład ciągły o gęstości f i X(Ω) ]a, b[, funkcja ϕ :]a, b[ R jest funkcją klasy C 1 (]a, b[) oraz ϕ (x) 0 dla dowolnego x ]a, b[, to zmienna losowa Y = ϕ(x) ma rozkład ciągły o gęstości g(y) = f(ϕ 1 (y)) (ϕ 1 (y)) χ ϕ(]a,b[) (y) (4.9) Twierdzenie 4.3 Niech zmienna losowa X ma rozkład ciągły o gęstości f. Niech X(Ω) I = n k=1 [a k, b k ], gdzie dla dowolnych 1 k < l n zachodzi ]a k, b k [ ]a l, b l [=. Niech funkcja ϕ : I R będzie funkcją klasy C 1 (]a k, b k [) oraz ϕ (x) 0 dla dowolnego x ]a k, b k [ i dowolnego 1 k n, to zmienna losowa Y = ϕ(x) ma rozkład ciągły o gęstości g(y) = n f(ϕ 1 (y)) (ϕ 1 (y)) χ ϕ(]ak,b k [)(y) (4.10) k=1 Przyklad 4.2 Niech f def = 1 2 I [ 1,1], Funkcja ta jest gęstością. Niech φ(r) = r 2. Oznaczmy przez g gęstość zmiennej losowej Y = φ(x). Wtedy g(y) = (f( y) + f( y)) 4.3 Wartość oczekiwana zmiennej losowej Niech (Ω, Σ, P ) będzie przestrzenią probabilistyczną. 1 2 y I [0,1](y). Uwaga 4.2 Niech r R +. Wprowadzimy następujące oznaczenia X r dp < + X L r (Ω, Σ, P ) L r (Ω). (4.11) Ω 15

16 Całkę występującą we wzorze (4.11) będziemy rozumieli w sposób następujący x r f(x)dx X ma rozkład ciągły o gęstości f X r R dp = x n r p k X ma rozkład dyskretny o zbiorze wartości W X, Ω (4.12) gdzie p k = P ({ω : X(ω) = x k }). Definicja 4.9 Niech dla jednowymiarowej zmiennej losowej X zachodzi X L 1 (Ω, Σ, P ). Wówczas wartością oczekiwaną zmiennej losowej X nazywamy liczbę E(X) def = XdP (4.13) Ω 4.4 Zadania Zadanie 4.1 Udowodnić twierdzenie 4.3. Zadanie 4.2 Wyznaczyć gęstość prawdopodobieństwa zmiennej losowej Y = 1 2 X2, gdzie zmienna losowa X N(0, 1). Zadanie 4.3 Zmienna losowa X ma rozkład jednostajny na ( 1, 1). Wyznaczyć gęstość zmiennej losowej Y = X. Zadanie 4.4 Podać przykład dystrybuanty takiej, że zbiór punktów nieciągłości jest gęsty w R. Zadanie 4.5 Mówimy, że zmienna losowa X ma rozkład symetryczny, jeśli zmienna X posiada ten sam rozkład. Wyrazić własność symetryczności ciągłej zmiennej losowej za pomocą jej dystrybuanty oraz gęstości. Zadanie 4.6 Niech zmienna losowa X ma rozkład wykładniczy z parametrem 1, zaś [ ] oznacza część całkowitą. Wyznaczyć prawdopodobieństwo zdarzenia A = {ω : [X(ω)] N {0}}. Zadanie 4.7 Niech zmienna losowa X ma rozkład wykładniczy z parametrem λ. Wyznaczyć rozkład zmiennej losowej Y = 2X 1; Y = X; Y = X α, α > 0; Y = αx, α > 0; 16

17 Wykład / 2h 5.1 Parametry liczbowe rozkładów c.d. Twierdzenie 5.1 (Własności wartości oczekiwanej) 1 Niech X i Y będą jednowymiarowymi zmiennymi losowymi. Załóżmy, że istnieją wartości oczekiwane X i Y. Wtedy (i) Jeżeli X 0, to E(X) 0 (ii) E(X) E( X ) (iii) Dla dowolnych a, b R istnieje wartość oczekiwana zmiennej losowej ax + by i wyraża się ona wzorem E(aX + by ) = ae(x) + be(y ) (5.1) (iv) (Lemat Fatou) Dla dowolnego ciągu nieujemnych zmiennych losowych {X n : n 1} E(lim inf n X n) lim inf n E(X n) (5.2) (v) (Twierdzenie Lebesgue a - Beppo Leviego) Dla dowolnego niemalejącego ciągu nieujemnych zmiennych losowych {X n : n 1} zachodzi E( lim n X n) = lim n E(X n) (5.3) (vi) (Twierdzenie Lebesgue a o zbieżności zmajoryzowanej) Jeżeli dla ciągu zmiennych losowych {X n : n 1} istnieje całkowalna zmienna losowa Z taka,że to spełniona jest równość (5.3) n N X n Z, Wniosek 5.1 Jeżeli dla zmiennych losowych X i (i = 1,..., n) istnieją ich wartości oczekiwane, to E(X X n ) = E(X 1 ) E(X n ) (5.4) Wniosek 5.2 Jeśli zmienna losowa X ma rozkład dyskretny o zbiorze wartości W X, to wartość oczekiwana zmiennej losowej ϕ(x) istnieje wtedy i tylko wtedy, gdy szereg ϕ(x) P ({x}) jest zbieżny. Ponadto wartość oczekiwana wyraża się wzorem x W X E(ϕ(X)) = x W X ϕ(x)p ({x}) (5.5) Przyklad 5.1 Zmienna losowa o gęstości 2 f(r) = 1 1 π 1 + r 2 (5.6) nie posiada wartości oczekiwanej. Przed podaniem uogólnienia wartośc oczekiwanej sformułujmy następujący lemat 1 Dowody własności (iv) (vi) pomijamy. Można je znaleźć w książce J. Jakubowskiego i R. Sztencela 2 Jest to rozkład Cauchy ego 17

18 Lemat 5.1 (Dowód póżniej po nierówności Höldera) Niech R r 1 oraz q [1, r]. Wtedy jeżeli jest skończona całka Ω X r dp, to jest skończona całka Ω X q dp. Uwaga 5.1 Pojęcie wartości oczekiwanej można uogólnić zastępując warunek całkowalności innym. Definicja 5.1 Niech R r 1, zaś a liczbą rzeczywistą, X jednowymiarową zmienną losową. Niech zmienna losowa X będzie całkowalna z r - tą potęgą. 3 (i) Momentem zwykłym rzędu r względem liczby a zmiennej losowej X nazywamy liczbę równą E((X a) r ) def = (X a) r dp, (5.7) o ile wyrażenie występujące pod całką jest określone. 4 Ω (ii) Momentem absolutnym rzędu r względem liczby a zmiennej losowej X nazywamy liczbę równą E( X a r ) def = X a r dp (5.8) (iii) Jeżeli a = 0, to są to momenty zwykłe lub absolutne rzędu r. (iv) Jeżeli a = E(X) otrzymujemy momenty centralne rzędu r zwykłe i absolutne. Definicja 5.2 Niech X L 2 (Ω). Liczbę D 2 (X) równą nazywamy wariancją zmiennej losowej X. Wniosek 5.3 Niech X L 2 (Ω). Wtedy D 2 (X) = E(X 2 ) (E(X)) 2. Twierdzenie 5.2 Niech X L 2 (Ω). Wówczas 5 Ω D 2 (X) def = E((X E(X)) 2 ) (5.9) D 2 (X) 0 (5.10) a R D 2 (ax) = a 2 D 2 (X) (5.11) a R D 2 (X + a) = D 2 (X) (5.12) D 2 (X) = 0 a R P ({ω : X(ω) = a}) = 1 (5.13) Wniosek 5.4 Niech X L 2 (Ω). Wtedy Wniosek 5.5 Niech X L 2 (Ω). Wtedy E(X) E(X 2 ) (5.14) D 2 (X) = inf a R E((X a)2 ) (5.15) Definicja 5.3 Niech X L 2 (Ω). Odchyleniem standardowym zmiennej losowej X nazywamy liczbę równą σ(x) D(X) = D 2 (X) (5.16) Definicja 5.4 Niech X L 1 (Ω). Odchyleniem przeciętnym zmiennej losowej X nazywamy liczbę równą d(x) def = X E(X) dp (5.17) Ω Definicja 5.5 Niech X L 2 (Ω) oraz E(X) 0. Współczynnikiem zmienności zmiennej losowej X nazywamy liczbę równą ν X def = D(X) E(X) (5.18) 3 Nie trzeba zakładać, że całkowalna z r - tą potęgą jest zmienna X a na podstawie lematu 5.1 i z faktu, że funkcja stała jest całkowalna względem miary probabilistycznej. 4 Jest ono zawsze określone, gdy r N. 5 Równoważność warunku 5.13 zostanie pokazana później. 18

19 Definicja 5.6 Niech EX L 3 (Ω) oraz D 2 (X) 0. Współczynnikiem asymetrii (skośności) zmiennej losowej X nazywamy liczbę równą γ(x) def = E((X E(X))3 ) (σ(x)) 3 (5.19) Definicja 5.7 Niech X L 1 (Ω) oraz 0 E(X). Wskaźnikiem nierównomierności zmiennej losowej X nazywamy liczbę równą H(X) def = d(x) (5.20) E(X) 5.2 Parametry pozycyjne rozkładów Definicja 5.8 Niech p ]0, 1[. Kwantylem rzędu p nazywamy liczbę x p taką, że P ({ω : X(ω) x p }) p P ({ω : X(ω) x p }) 1 p (5.21) Definicja 5.9 Medianą nazywamy kwantyl rzędu 1 2 i oznaczamy ją Me. Definicja 5.10 Modą (dominantą) nazywamy w przypadku rozkładu dyskretnego wartość zmiennej losowej o największym prawdopodobieństwie, zaś w przypadku rozkładu ciągłego każde maksimum lokalne gęstości. Oznaczamy ją Mo. Definicja 5.11 Odchyleniem ćwiartkowym 6 nazywamy liczbę Q def = x 3 4 x (5.22) 5.3 Zadania Zadanie 5.1 Udowodnić, że jeśli X jest zmienną losową nieujemną, to E(X) = + 0 (1 F X (t))dt = + przy czym istnienie jednej ze stron implikuje istnienie drugiej i równość całek. Zadanie 5.2 Podać przykład dystrybuanty takiej, że zbiór punktów nieciągłości jest gęsty w R. 0 P ({ω : X(ω) > t}) dt, (5.23) Zadanie 5.3 Mówimy, że zmienna losowa X ma rozkład symetryczny, jeśli zmienna X posiada ten sam rozkład. Wyrazić własność symetryczności ciągłej zmiennej losowej za pomocą jej dystrybuanty oraz gęstości. Zadanie 5.4 Niech zmienna losowa X ma rozkład wykładniczy z parametrem 1, zaś [ ] oznacza część całkowitą. Wyznaczyć prawdopodobieństwo zdarzenia A = {ω : [X(ω)] N {0}}. 6 Jest to parametr liczbowy 19

20 Wykład / 2h 6.1 Przykłady jednowymiarowych rozkładów Przyklad 6.1 (Rozkład jednopunktowy.) E(X) = x 1 D 2 (X) = 0 Przyklad 6.2 (Rozkład dwupunktowy.) Niech p ]0, 1[. Rozkłady dyskretne. W X = {x 1 } i P ({x 1 }) = 1. (6.1) W X = {x 1, x 2 }, x 1 x 2, P ({x 1 }) = p, P ({x 2 }) = 1 p. (6.2) W szczególnym przypadku, gdy x 1 = 0, zaś x 2 = 1 taki rozkład nazywamy rozkładem zero - jedynkowym. E(X) = px 1 + (1 p)x 2 D 2 (X) = p(1 p)(x 1 x 2 ) 2 Uwaga 6.1 Jeżeli zbiór wartości dyskretnego rozkładu X jest podzbiorem zbioru liczb naturalnych, to przyjmujemy następujące oznaczenie { ozn P ({k}) dla k WX p k = (6.3) 0 dla k / W X Przyklad 6.3 (Rozkład dwumianowy (Bernoulliego) z parametrami n i p.) Niech p [0, 1] oraz n N. ( ) n W X = {0, 1,..., n}, p k = p k (1 p) n k (6.4) k E(X) = np D 2 (X) = np(1 p) Przyklad 6.4 (Rozkład Poissona z parametrem λ.) Niech λ R +. E(X) = λ D 2 (X) = λ λ λk W X = {0} N, p k = e k! (6.5) Przyklad 6.5 (Rozkład geometryczny z parametrem p.) Niech p ]0, 1[. W X = N, p k = p(1 p) k 1. (6.6) E(X) = 1 p D 2 (X) = 1 p p 2 Przyklad 6.6 (Rozkład ujemny dwumianowy z parametrami p,α.) Niech p ]0, 1[ oraz α > 0. ( ) α + k 1 W X = {0} N, p k = p α (1 p) k. (6.7) k E(X) = α(1 p) p D 2 (X) = α(1 p) p 2 20

21 Przyklad 6.7 (Rozkład Pascala z parametrem p.) 1 W X = {k, k + 1,...}, p l = ( ) l 1 p k (1 p) l k. (6.8) k 1 Lub inaczej E(X) = k(1 p) p D 2 (X) = k(1 p) p 2 ( ) l + k 1 W X = {0} N, p l = p k (1 p) l. (6.9) k 1 Przyklad 6.8 (Rozkład hipergeometryczny z parametrami a, b, n.) Niech a + b > n oraz a n i b n. E(X) = an a+b D 2 (X) = abn(a+b n) (a+b) 2 (a+b 1) ( a b ) W X = {0, 1,..., n}, p k = k)( n k ). (6.10) Rozkłady ciągłe. ( a+b n Przyklad 6.9 (Rozkład ciągły na odcinku ]a, b[.) Niech a, b R oraz a < b { 1 f(r) def = b 1 dla r ]a, b[ 0 dla r / ]a, b[ (6.11) E(X) = a+b 2 D 2 (X) = (b a)2 12 Przyklad 6.10 (Rozkład wykładniczy z parametrem λ.) Niech λ R + { f(r) def λe = λe λr λr dla r > 0 χ ]0, [ (r) 0 dla r 0 (6.12) E(X) = 1 λ D 2 (X) = 1 λ 2 Przyklad 6.11 (Rozkład Laplace a z parametrem λ.) Niech λ R + f(r) def = 1 2 λe λ r (6.13) E(X) = 0 D 2 (X) = 2 λ 2 Przyklad 6.12 (Rozkład Cauchy ego z parametrami a, b.) Niech a R oraz b R + Nie posiada wartości oczekiwanej, a więc i wariancji. f(r) def = 1 b π b 2 + (r a) 2 (6.14) Przyklad 6.13 (Rozkład normalny (Gaussa) z parametrami m, σ.) Niech m R oraz σ R + f(r) def = 1 } (r m)2 exp { 2πσ 2σ 2 (6.15) E(X) = m D 2 (X) = σ 2 Definicja 6.1 Funkcję dla p > 0 nazywamy funkcją gamma (całką Eulera II rodzaju) Γ(p) def = 1 Jest to szczegónly przypadek rozkładu ujemnego dwumianowego. + 0 x p 1 e x dx (6.16) 21

22 Definicja 6.2 Funkcję dla p, q > 0 nazywamy funkcją beta (całką Eulera I rodzaju) β(p, q) def = 1 0 x p 1 (1 x) q 1 dx (6.17) Przyklad 6.14 (Rozkład gamma z parametrami b, p.) Niech b, p R + f(r) def = bp Γ(p) xp 1 e br χ ]0,+ [ (r) (6.18) E(X) = p b D 2 (X) = p b 2 Przyklad 6.15 (Rozkład beta z parametrami p, q.) Niech p, q R + E(X) = p p+q D 2 (X) = pq (p+q) 2 (p+q+1) f(r) def = Lemat 6.1 (Obowiązuje znajomość powyższych faktów.) Niech p > 0. Wówczas 1 β(p, q) xp 1 (1 x) q 1 χ [0,1] (r) (6.19) Lemat 6.2 (Obowiązuje znajomość powyższych faktów.) Niech p, q > 0. Wówczas Γ(p + 1) = pγ(p) (6.20) Γ(1) = 1 (6.21) Γ(n + 1) = n! (6.22) β(p, q) = β(q, p) (6.23) β(p, q) = q 1 β(p, q 1) p + q 1 (6.24) β(p, 1) = 1 p (6.25) β(p, n) = n 1 p + n 1 β(p, n 1) = (n 1)! β(p, 1) (p + n 1)... (p + 1) (6.26) (n 1)!(m 1)! β(m, n) = = Γ(n)Γ(m) (m + n 1)! Γ(m + n) (6.27) 6.2 Nierówność dla zmiennych losowych Twierdzenie 6.1 (Nierówność Schwarza) Niech X, Y L 2 (Ω). Wówczas zmienna losowa XY L 1 (Ω) oraz Wniosek 6.1 Niech X, Y L 2 (Ω). Wówczas E( XY ) E(X 2 )E(Y 2 ) (6.28) E(XY ) E(X 2 )E(Y 2 ) (6.29) Twierdzenie 6.2 (Nierówność Jensena) Niech X L 1 (Ω). Wówczas dla dowolnej funkcji wypukłej φ: R R takiej, że φ(x) L 1 (Ω) zachodzi φ(e(x)) E(φ(X)) (6.30) 6.3 Zadania Zadanie 6.1 Policzyć wszystkie wartośc oczekiwane oraz wariancje rozkładów podanych na wykładzie. 22

23 Wykład / 2h 7.1 Nierówność dla zmiennych losowych c.d. Twierdzenie 7.1 (Nierówność Höldera) Niech R p > 1 oraz R q > 1 oraz p 1 + q 1 = 1. Niech X L p (Ω) oraz Y L q (Ω). Wówczas zmienna losowa XY L 1 (Ω) oraz E( XY ) (E( X p )) 1 p (E( Y q )) 1 q (7.1) Twierdzenie 7.2 (Nierówność Czebyszewa) Niech zmienna losowa X będzie nieujemna. 1 Wówczas ε>0 P ({ω : X(ω) ε}) E(X) ε Definicja 7.1 Dana jest zmienna losowa X. Supremum istotnym zmiennej losowej nazywamy esssup X def = inf sup E Σ:P (E)=0 ω Ω\E Uwaga 7.1 Warunek definicji 7.3 może być zapisany następująco (7.2) { X(ω)} (7.3) esssup X def = inf t R {F X(t) = 1} (7.4) Twierdzenie 7.3 (Uogólniona nierówność Czebyszewa) Niech φ: R R będzie dodatnią funkcją borelowską. Jeżeli φ(x) L 1 (Ω) to wówczas: (i) Jeżeli φ jest niemalejąca, to ε>0 E(φ(X)) φ(ε) esssup φ(x) (ii) Jeżeli φ jest parzysta i niemalejąca na [0, + [, to ε>0 E(φ(X)) φ(ε) esssup φ(x) P ({ω : X(ω) ε}) E(φ(X)) φ(ε) P ({ω : X(ω) ε}) E(φ(X)) φ(ε) Uwaga 7.2 Można osłabić założenia o funkcji φ w twierdzeniu 7.3(ii) następująco Jeżeli φ: R R jest funkcją nieujemną, parzystą, φ 0 oraz niemalejącą na ]0, + [, to ε>0 φ(ε) > 0 E(g(X)) g(ε) esssup φ(x) P ({ω : X(ω) ε}) E(φ(X)) φ(ε) Wniosek 7.1 (Nierówność Markowa) Niech R p > 0. Wówczas o ile X L p (Ω), to ε>0 P ({ω : X(ω) ε}) E( X p ) ε p (7.8) Wniosek 7.2 (Nierówność Czebyszewa - Bienaymé) O ile X L 2 (Ω), to (7.5) (7.6) (7.7) ε>0 P ({ω : X(ω) E(X) ε}) D2 (X) ε 2 (7.9) Wniosek 7.3 (Nierówność wykładnicza Czebyszewa) O ile dla pewnego p > 0 jest e px L 1 (Ω), to 1 Obejmuje też przypadek trywialny, gdy jest nieskończona wartość oczekiwana λ [0,p] ε>0 P ({ω : X(ω) ε}) eλx ) e λε (7.10) 23

24 7.2 Niezależne zmienne losowe Dana jest przestrzeń probabilistyczna (Ω, Σ, P ) oraz jednowymiarowe zmienne losowe X 1,..., X n określone na niej. Definicja 7.2 Mówimy, że zmienne losowe X 1,..., X n są niezależne wtedy i tylko wtedy, gdy n {A1,...,A n} B(R)P ({ω : X i (ω) A i i = 1,..., n}) = P ({ω : X i (ω) A i }) (7.11) Twierdzenie 7.4 Dyskretne zmienne losowe X 1,..., X n są niezależne wtedy i tylko wtedy, gdy n (a1,...,a n) (W X1... W Xn ) {1,...,n}P ({ω : X i(ω) = x i i = 1,..., n}) = P ({ω : X i (ω) = x i }) (7.12) 7.3 Funkcje tworzące prawdopodobieństwa i reszt Definicja 7.3 Niech dany będzie ciąg liczbowy (a n ). Funkcja tworzącą ciągu (a n ) nazywamy szereg potęgowy i=1 i=1 o ile ma on niezerowy promień zbieżności. T (s) def = a n s n, Uwaga 7.3 Promień zbieżności szeregu potęgowego jest niezerowy wtedy i tylko wtedy, gdy lim sup n n an < +. Niech dana będzie przestrzeń probabilistyczna (Ω, Σ, P ). Niech dyskretna zmienna losowa X, dla której W X {0} N, będzie określona na tej przestrzeni. Przyjmijmy oznaczenia p k ozn = P ({ω : X(ω) = k}) oraz q k ozn = P ({ω : X(ω) > k}) = n=k+1 p n. Definicja 7.4 Funkcję tworzącą ciągu (p n ) nazywamy funkcją tworzącą prawdopodobieństwa i oznaczamy ją P (s). Funkcję tworzącą ciągu (q n ) nazywamy funkcją tworzącą reszt (ogonów) i oznaczamy ją Q(s). Uwaga 7.4 Zauważmy, że P (s) = E(s X ). Lemat 7.1 P (1) = 1 Twierdzenie 7.5 Niech X L 1 (Ω). Wówczas (i) Q(s) jest bezwzględnie zbieżny dla s 1 (ii) P (s) jest bezwzględnie zbieżny dla s 1 (iii) E(X) = Q(1) (iv) E(X) = P (1) 7.4 Zadania Zadanie 7.1 Udowodnić twierdzenie 7.5. Zadanie 7.2 Przeprowadzono n niezależnych doświadczeń ( o prawdopodobieństwie ) sukcesu w k - tym doświadczeniu równym p k, k = 0, 1,..., n. Rozpatrujemy funkcję g(s) = 1 n (p k s + q k ) (1 s) 1. Dowieść, że współczynnik przy s m w funkcji g jest równy prawdopodobieństwu uzyskania więcej niż m sukcesów, m = 0, 1,..., n 1. k=1 Zadanie 7.3 Rozpatrujemy schemat Bernoulliego z ilością doświadczeń n i prawdopodobieństwem sukcesu w pojedynczym doświadczeniu p. Dowieść, że współczynnik przy s k w funkcji g(s) = (1 (ps + q) n ) (1 s) 1 jest równy prawdopodobieństwu uzyskania więcej niż k sukcesów, k = 0, 1,..., n 1. 24

25 Zadanie 7.4 Wyznaczyć rozkład zmiennej losowej X o wartościach całkowitych nieujemnych, jeśli jej funkcja tworząca prawdopodobieństwa zadana jest wzorem g(s) = 1 4α 2 (1 4α 2 )s 2 4s+4, α < 1 2 ; g(s) = 2s 18 27s+13s 2 2s 3 ; g(s) = cosh λ s cosh λ ; Wskazówka: Rozłożyć na ułamki proste. Zadanie 7.5 Niech p k = 0 dla k 0 i p k = bak k dla k N, gdzie 0 < a < 1. Dla jakiej wartości b ciąg {p k } jest rozkładem prawdopodobieństwa. Wyznaczyć dla niej funkcje tworzącą, wartość oczekiwaną i wariancję. Zadanie 7.6 Niech zmienna losowa X ma rozkład Poissona z parametrem λ. Wyznaczyć funkcję tworzącą prawdopodobieństwa. 25

26 Wykład / 2h 8.1 Własności funkcji tworzących prawdopodobieństwa i reszt 1 P (s) Twierdzenie 8.1 (i) Jeżeli s < 1, to Q(s) = 1 s (ii) Jeżeli X L 1 (Ω), to dla s 1 mamy (1 s)q(s) = 1 P (s). Twierdzenie 8.2 Jeżeli X L 1 (Ω), to P (s) = Q(s) (1 s)q (s). Twierdzenie 8.3 Jeżeli X L 2 (Ω), to P (2) (s) = 2Q (s) + (1 s)q (2) (s). Wniosek 8.1 Jeżeli X L 2 (Ω), to D 2 (X) = P (2) (1) + P (1) (P (1)) 2 = 2Q (1) + Q(1) (Q(1)) Zbieżności zmiennych losowych Niech (Ω, Σ, P ) będzie przestrzenią probabilistyczną oraz {X n : n 1} ciągiem zmiennych losowych określonych na tej przestrzeni. Definicja 8.1 Mówimy, że ciąg {X n : n 1} zmiennych losowych jest zbieżny do zmiennej losowej X (i) prawie na pewna wtedy i tylko wtedy, gdy ( ) P {ω : lim X n(ω) = X(ω)} = 1 (8.1) n oznaczamy X n p.n. X; (ii) według prawdopodobieństwa wtedy i tylko wtedy, gdy P ε>0 oznaczamy X n X; (iii) według p - tego momentu dla 0 < p < + wtedy i tylko wtedy, gdy lim P ({ω : X n(ω) X(ω) > ε}) = 0 (8.2) n L p oznaczamy X n X. Twierdzenie 8.4 Niech X n p.n. X oraz Y n p.n. X L p (Ω) n N X n L p (Ω) lim n E( X n X p ) = 0 (8.3) Y. Wówczas (i) dla dowolnych a, b R zachodzi ax n + by n p.n (ii) X n Y n XY 1 (iii) jeśli P ({ω : X(ω) 0}) = 1, to χ {ω:x(ω) 0} X n p.n ax + by p.n 1 X 26

27 Twierdzenie 8.5 Następujące warunki są równoważne X n p.n. X ε>0 lim P n ε>0 lim P n ε>0 lim P n (8.4) ( ) {ω : X k (ω) X(ω) ε} = 1 (8.5) k=n ( ) {ω : X k (ω) X(ω) > ε} = 0 (8.6) k=n k,l n {ω : X k (ω) X l (ω) ε} = 1 (8.7) Wniosek 8.2 Jeśli to X n p.n. X. ε>0 P ({ω : X n (ω) X(ω) > ε}) <, p.n. P Wniosek 8.3 Jeśli X n X, to X n X. L p P Twierdzenie 8.6 Jeśli X n X, to X n X. Gdy dodatkowo K n 1 X n K, to jeśli X n X, to Xn X. P L p 8.3 Zadania Zadanie 8.1 Udowodnić, że równoważność warunku (8.7) twierdzenia

28 Wykład / 2h 9.1 Zbieżności zmiennych losowych c.d. Niech (Ω, Σ, P ) będzie przestrzenią probabilistyczną oraz {X n : n 1} ciągiem zmiennych losowych określonych na tej przestrzeni. p.n. Twierdzenie 9.1 Niech X n X i niech istnieje R p > 0 oraz zmienna losowa Z taka, że (i) n N X n p Z p (ii) E(Z p ) < +. L p Wtedy X n X. L p Twierdzenie 9.2 Niech p 1 oraz X n X. Wtedy dla dowolnego q [1, p] zachodzi X n X. Przyklad 9.1 Niech dany będzie ciąg {A n : n 1} zdarzeń niezależnych takich, że (i) P (A n ) = +, (ii) lim P (A n) = 0. n Wtedy dla ciągu zmiennych losowych (X n = χ An ) zachodzi L (1) X p n 0; P (2) X n 0 p.n. oraz nie zachodzi X n 0. def Przyklad 9.2 Niech Ω =]0, 1] i A n = ]0, 1 n ] dla n N. Wtedy dla ciągu zmiennych losowych (X n = 2 n χ An ) zachodzi p.n. (1) X n 0; P (2) X n 0 L oraz nie zachodzi X p n 0. P p.n. Twierdzenie 9.3 (Twierdzenie Riesza) Jeśli X n X, to, to istnieje podciąg (Xnk ) taki, że X nk X. Twierdzenie 9.4 Ciąg zmiennych losowych jest zbieżny według prawdopodobieństwa wtedy i tylko wtedy, gdy każdy jego podciąg zawiera podciąg zbieżny prawie na pewno. P P Wniosek 9.1 Niech X n X, f będzie funkcją ciągłą na zbiorze A oraz P ({ω : X(ω) A}) = 1, to f(xn ) f(x) P Twierdzenie 9.5 Niech X n X oraz Yn Y. Wówczas P (i) dla dowolnych a, b R zachodzi ax n + by n ax + by P (ii) X n Y n XY 1 P (iii) jeśli P ({ω : X(ω) 0}) = 1, to χ {ω:x(ω) 0} X n 1 X P L q 28

29 Twierdzenie 9.6 Następujące warunki są równoważne X n p>0 p>0 9.2 Prawo 0 1 Kołmogorowa Niech X, H 2 X. P X (9.1) ( lim E Xn X p ) n 1 + X n X p = 0 (9.2) ( lim E Xn X p ) n 1 + X n X p = 0 (9.3) Definicja 9.1 σ - ciałem generowanym przez rodzinę H nazywamy najmniejsze σ - ciało zawierające rodzinę H. Oznaczamy je przez σa(h). Niech dana będzie przestrzeń probabilistyczna (Ω, Σ, P ). Rozpatrzmy ciąg σ - ciał {Σ n : n 1} Definicja 9.2 ( def Σ n, = σa k=n σ - ciałem ogonowym lub resztowym nazywamy σ - ciało Σ równe Σ n ) (9.4) Σ def = Σ n, (9.5) Wniosek 9.2 Σ n, Σ n+1, (9.6) Twierdzenie 9.7 (Prawo 0 1 Kołmogorowa) Jeżeli σ - ciała Σ n n N są niezależne oraz A Σ, to wówczas P (A) = 0 albo P (A) = Zadania Zadanie 9.1 Udowodnic twierdzenie 9.6 korzystając z uogólnionej nierówności Czebyszewa dla funkcji parzystej g(x) = x p 1+ x p. 29

30 Wykład / 2h 10.1 Nierówności typu Czebyszewa dla sum zmiennych losowych Definicja 10.1 Niech {Ξ i : i I} będzie rodziną zbiorów zdarzeń. Ξ i są niezależne wtedy i tylko wtedy, gdy J I j J Aj Ξ j card J < ℵ 0 P ( A j ) = P (A j ) (10.1) j J j J Wniosek 10.1 Dany jest ciąg {X n : n 1} niezależnych zmiennych losowych. Wówczas szereg rozbieżny prawie na pewno (z prawdopodobieństwem 1). X n jest zbieżny bądź Niech (Ω, Σ, P ) będzie ustalona przestrzenią probabilistyczną, a {X n : n 1} będzie niezależnym ciągiem zmiennych losowych określonych na tej przestrzeni. n ozn S n = X k. k=1 Twierdzenie 10.1 (Nierówność Lévy ego - Ottavianiego) Niech X 1,..., X n będą niezależnymi zmiennymi losowymi. Wówczas ( ) ( ε>0 P {ω : max S i(ω) > ε} 3 max P {ω : S i (ω) > ε ) 1 i n 1 i n 3 } (10.2) Jeżeli ponadto zmienne losowe mają rozkład symetryczny 1, to ( ) ε>0 P {ω : max S i(ω) > ε} 2P ({ω : S n (ω) > ε}) (10.3) 1 i n Twierdzenie 10.2 (Nierówność Kołmogorowa) Niech X 1,..., X n będą niezależnymi zmiennymi losowymi o zerowej wartości oczekiwanej i skończonym drugim momencie. Wówczas 10.2 Zadania ε>0 P ( ) {ω : max S i(ω) ε} E(S2 n) 1 i n ε 2 (10.4) 1 Zmienna losowa X ma rozkład symetryczny wtedy i tylko wtedy, gdy X i X mają ten sam rozkład 30

31 Wykład / 2h 11.1 Zbieżności szeregów zmiennych losowych Niech dany będzie ciąg {X n : n 1} niezależnych zmiennych losowych określonych na tej samej przestrzeni probabilistycznej (Ω, Σ, P ). Twierdzenie 11.1 (O dwóch szeregach) Niech każda ze zmiennych losowych X n posiada skończony moment rzędu dwa. Jeżeli szeregi E(X n ) i D 2 (X n ) są zbieżne, to szereg X n jest zbieżny prawie na pewno. Niech c > 0. Wprowadźmy oznaczenie { X c ozn X dla X c = 0 dla X > c Twierdzenie 11.2 (O trzech szeregach) Warunkiem koniecznym zbieżności prawie na pewna szeregu X n niezależnych zmiennych losowych jest zbieżność dla każdego c > 0 szeregów E(Xn) c D 2 (Xn) c P ({ω : X n (ω) > c}). (11.1) Warunkiem dostatecznym jest zbieżność tych szeregów przy pewnym c > 0. Twierdzenie 11.3 (Lévy ego) Szereg X n niezależnych zmiennych losowych jest zbieżny prawie na pewna wtedy i tylko wtedy, gdy jest on zbieżny według prawdopodobieństwa Prawa wielkich liczb Niech {X n : n 1} będzie ciągiem zmiennych losowych posiadających wartość oczekiwaną. Wprowadźmy oznaczenie S n = n X k. k=1 Definicja 11.1 Mówimy, że ciąg zmiennych losowych {X n : n 1} spełnia mocne prawo wielkich liczb (MPWL) wtedy i tylko wtedy, gdy S n E(S n ) n p.n. 0. (11.2) Mówimy, że ciąg zmiennych losowych {X n : n 1} spełnia słabe prawo wielkich liczb (SPWL) wtedy i tylko wtedy, gdy S n E(S n ) n 31 P 0. (11.3)

32 Definicja 11.2 Niech dane będą zmienne losowe X, Y okreslone na tej samej przestrzeni probabilistycznej (Ω, Σ, P ) spełniające warunek X, Y, XY L 1 (Ω). Mówimy, że zmienne losowe X i Y sa nieskorelowane wtedy i tylko wtedy, gdy Powyższy warunek można zapisać w postaci Wniosek 11.1 Jeżeli zmienne losowe sa niezależne, to sa nieskorelowane. E(XY ) E(X)E(Y ) = 0. (11.4) E((X E(X))(Y E(Y ))) = 0. (11.5) Twierdzenie 11.4 Niech ciąg zmiennych losowych {X n : n 1} posiadających drugi moment spełnia jeden z warunków D (i) lim 2 (S n) n n = 0 2 (ii) zmienne losowe X n są parami nieskorelowane i mają wspólnie ograniczoną wariancję. Wówczas ciąg {X n : n 1} spełnia SPWL Zadania 32

33 Wykład / 2h 12.1 Prawa wielkich liczb c.d. Uwaga 12.1 Założenie (ii) w twierdzeniu 11.4 można osłabić wymagając aby D 2 (X n ) Cn α, α ]0, 1[. (12.1) Twierdzenie 12.1 (Słabe prawo wielkich liczb Bernoulliego) Jeżeli przez S n oznaczymy liczbę sukcesów w schemacie Bernoulliego n prób z prawdopodobieństwem sukcesu w pojedynczej próbie równym p, to ({ }) ε>0 lim P ω : S n (ω) n p n > ε = 0 (12.2) Lemat 12.1 (Twierdzenie Toeplitza) Niech {a n : n 1} będzie ciągiem licz nieujemnych i niech ciąg {b n : n 1} będzie def ciągiem rosnącym liczb dodatnich określonych następująco b n = n a k. Wówczas jeżeli ciąg (x n ) jest ciągiem zbieżnym o granicy równej x, to lim n 1 b n k=1 k=1 n a k x k = x. (12.3) Lemat 12.2 (Twierdzenie Kroneckera) Niech {b n : n 1} będzie rosnącym ciągiem liczb dodatnich rozbieżnym do nieskończoności, a {x n : n 1} ciągiem liczb rzeczywistych takim, że szereg x n jest zbieżnym. Wtedy W szczególności jeśli b n = n oraz x n = yn n lim n 1 b n k=1 zachodzi Jeżeli szereg n b k x k = 0. (12.4) y nn y jest zbieżny, to lim y n n n = 0. Twierdzenie 12.2 (Kołmogorowa) Niech {X n : n 1} będzie ciągiem niezależnych zmiennych losowych dla których istnieje moment rzędu dwa. Niech {b n : n 1} będzie rosnącym ciągiem liczb dodatnich takich, że lim b n = + i n < +. Wtedy D 2 (X n) b 2 n W szczególności, jeżeli S n = D 2 (X n) n 2 S n E(S n ) lim = 0 p.n. (12.5) n b n < +, to ciąg {X n : n 1} spełnia MPWL. Niech {X n : n 1} będzie ciągiem zmiennych losowych posiadających wartość oczekiwaną. Wprowadźmy oznaczenie n k=1 X k. Lemat 12.3 Niech X będzie nieujemną zmienna losową. Wtedy P ({ω : X(ω) k}) E(X) 1 + P ({ω : X(ω) k}) (12.6) 33

34 Wniosek 12.1 Jeżeli nieujemna zmienna losowa X posiada skończona wartość oczekiwaną, to P ({ω : X(ω) k}) < +. Wniosek 12.2 Jeżeli dla nieujemnej zmiennej losowej X zachodzi P ({ω : X(ω) k}) < +, to posiada ona skończoną wartość oczekiwaną. Twierdzenie 12.3 (MPWL Kołmogorowa) Niech {X n : n 1} będzie ciągiem niezależnych zmiennych losowych o jednakowych rozkładach i posiadających wartość oczekiwaną. Wtedy ciąg {X n : n 1} spełnia MPWL Zadania Zadanie 12.1 Udowodnić lemat