Notatki do wykªadu Rachunek prawdopodobie«stwa dla informatyków.

Transkrypt

1 Notatki do wykªadu Rachuek prawdopodobie«stwa dla iformatyków. Marci Milewski Wrocªaw, 4 lutego 2009 Spis tre±ci 1 Prawdopodobie«stwo Ozaczeia i poj cia Zasada wª cze«i wyª cze« Podstawe schematy kombiatorycze Prawdopodobie«stwo geometrycze Prawdopodobie«stwo warukowe Prawdopodobie«stwo caªkowite Prawdopodobie«stwo przyczyy Zmiee losowe Niezale»o± zmieych losowych Zmiee losowe dyskrete Zmiea losowa 0-1 (Beroulli'ego) Zmiea losowa o rozkªadzie dwumiaowym Zmiee losowe o rozkªadzie geometryczym Zmiee losowe o rozkªadzie Poissoa Ci gªe zmiee losowe Rozkªad jedostajy U[a, b] Rozkªad wykªadiczy E(λ) Rozkªad gamma Γ(, λ) Rozkªad ormaly (Gaussa) N (m, σ 2 ) Wektory losowe Rozkªad. Przypadek dyskrety Przypadek ci gªy (z g sto±ci ) Sumy iezale»ych zmieych losowych Warto± oczekiwaa 16 4 Ryzyko i jego pomiar Kowariacja, Cov(X, Y ) Wspóªczyik korelacji Warukowa warto± oczekiwaa 21

2 SPIS TRE CI SPIS TRE CI 6 Nierówo±ci Nierówo± Markowa Nierówo± Czebyszewa Fukcje tworz ce momety Nierówo± Cheroa Prawo wielkich liczb Fukcja charakterystycza Rozkªady a ich fukcje charakterystycze Twierdzeia graicze Cetrale twierdzeie graicze Twierdzeie Poissoa Zagadieia estymacji redia Wariacja Przykªady Tablica dystrybuaty rozkªadu ormalego 32 Niektóre z wykorzystaych w tej pracy obrazków pochodz z Wikipedii i s oe dost pe jako public domai. 2

3 1. Prawdopodobie«stwo 1 Prawdopodobie«stwo 1.1 Ozaczeia i poj cia Ω - przestrze«zdarze«elemetarych. Prawdopodobie«stwo b dzimy liczy tylko dla iektórych podzbiorów Ω. Rodzi tych podzbiorów ozaczamy przez F. Zbiory z tej rodziy speªiaj : 1. A F A F (je»eli zbiór ale»y do rodziy, to jego dopeªieie tak»e) 2. A 1, A 2,... F A i F (je»eli ile± elemetów ale»y do rodziy to ich suma tak»e) Uwaga 1. Je»eli Ω jest zbiorem przeliczalym, to dobrym kadydatem a F jest 2 Ω. Prawdopodobie«stwo - fukcja P : F [0, 1] (Ω, F, P ) - przestrze«probabilistycza. Fukcja P speªia: 1. P (A) [0, 1] 2. P (Ω) = 1 ( ) 3. je±li A 1, A 2,... F i s parami rozª cze to P A i = P (A i ) Fakt 1. Niech daa b dzie przestrze«probabilistycza (Ω, F, P ) oraz A, B, A 1, A 2,..., A F. Wtedy: 1. P ( ) = 0 ( ) 2. je±li A i A j = dla i, j {1, 2,..., }, i j to P A i = P (A i ) 3. P (A ) = 1 P (A) 4. A B P (B \ A) = P (B) P (A) 5. A B P (A) P (B) 6. P (A) 1 7. P (A B) = P (A) + P (B) P (A B) Dowód. ad 7. A B = (A \ (A B)) (B \ (A B)) (A B) P (A B) = P (A \ (A B)) + P (B \ (A B)) + P (A B) = P (A) P (A B) + P (B) P (A B) + P (A B) = P (A) + P (B) P (A B) 3

4 1.2 Zasada wª cze«i wyª cze«1. Prawdopodobie«stwo 1.2 Zasada wª cze«i wyª cze«zasada wª cze«i wyª cze«przydaje si, kiedy ªatwiej i» sum zdarze«jest policzy ich przekrój. P (A 1 A 2... A ) = P (A i ) + P (A i A j ) 1 i<j 1 i<j<k P (A i A j A k ) + ( 1) +1 P (A 1 A 2... A ) (1) 1.3 Podstawe schematy kombiatorycze Przykªad 2. Sie komputerowa skªada si z ró»ych komputerów poª czoych szeregowo. Na ile sposobów mo»emy ustawi komputery? Rozwi zaie 3. ( 1)( 2) 2 1 =! permutacja Przykªad 4. Zaªó»my,»e k z powy»szych komputerów stoi w aszym pokoju, Na ile sposobów mo»emy skogurowa sie, gdy iteresuje as tylko asz pokój? Rozwi zaie 5. ( 1)( 2) ( k + 1) =! ( k)! wariacja Przykªad 6. Sªowo maszyowe skªada si z 32 bitów. Ile ró»ych sªów mo»a z tego uzyska? Rozwi zaie 7. } 2 2 {{ 2 } = 2 32 wariacja z powtórzeiami dwójek Przykªad 8. W jedym cyklu oblicze«program a wyj±ciu podaje zbiór k ró»ych liczb z zakresu 1, 2,...,. Ile jest ró»ych wyików? Rozwi zaie 9. kombiacja kolejo± liczb ma zaczeie! ( k)! kolejo± liczb ie ma zaczeia! k!( k)! = ( ) k 1.4 Prawdopodobie«stwo geometrycze Kiedy trzeba policzy prawdopodobie«stwo dla iesko«czoego zbioru A lub Ω (gdzie oczywi±cie A Ω), wtedy za miar uzajemy pole powierzchi, b d ce geometrycz reprezetacj zdarze«a oraz Ω. Przykªad 10. Ja± i Maªgosia umówili si pomi dzy 12:00 i 13:00. Osoba, która przyjdzie wcze±iej czeka a drug 20 miut. Jaka jest szasa spotkaia si aszych bohaterów? Rozwi zaie 11. Ω = [12, 13] [12, 13] A spotkaie Jasia i Maªgosi 4

5 1.4 Prawdopodobie«stwo geometrycze 1. Prawdopodobie«stwo Rysuek Zakreskowaa cz ± ozacza,»e bohaterowie si spotkaj. pole zakreskowaej gury P (A) = pole kwadratu o boku 1 = 2( ) = Przykªad 12. Rzucamy dwiema ko±ciami do gry. Mamy kilka mo»liwo±ci zdeiowaia przestrzei zdarze«( Ω). 1. je±li iteresuje as co wypadªo a której kostce to Ω = {(i, j): i, j {1, 2,..., 6}} Ω = 6 6 = je»eli iteresuje as co wypadªo a obu ko±ciach (bez rozró»iaia) to Ω = {{i, j}: i, j {1, 2,..., 6}} Ω = = je»eli iteresuje as co wypadªo a której kostce, ale chcemy mie w sy to musimy ozakowa warto±ci a ka»dej z kostek Ω = {{i, j}: i {1, 2,..., 6 }, j {1, 2,..., 6 }} Ω = 6 6 = 36 Przyjmijmy Ω z puktu 1. Nazwijmy asze kostki zieloa i czerwoa Jaka jest szasa,»e a zieloej wypadªa przysta liczba oczek a a czerwoej liczba oczek wi ksza i» 4? (aturale jest zaªo»eie o iezale»o±ci kostek). A = {(2, 5), (2, 6), (4, 5), (4, 6), (6, 5), (6, 6)} A = 6 A 1 a pierwszej kostce wypadªa liczba parzysta A 2 a drugiej kostce wypadªa liczba wi ksza i» 4 P (A 1 ) = A 1 = 3 P (A 2 ) = A 2 = 2 Ω 6 Ω 6 P (A) = A Ω = 6 36 = = P (A 1) P (A 2 ) A = A 1 A 2, P (A 1 A 2 ) = P (A 1 ) P (A 2 ) Deicja 1. Zdarzeia A 1, A 2,..., A azywamy iezale»ymi, gdy ( ) P A i = P (A i ) dla ka»dego I {1, 2,..., 5} (2) i I Fakt 13. Je»eli zdarzeia A, B s iezale»e oraz rozª cze, to i I P (A) = 0 lub P (B) = 0 5

6 1.5 Prawdopodobie«stwo warukowe 1. Prawdopodobie«stwo Dowód. P (A B) = P (A) P (B) ale A B = wi c P (A B) = P ( ) = 0 Uwaga 2. (ie wystarczy do iezale»o±ci aalizowa tylko pary). W uri s 4 kulki: czerwoa, iebieska,»óªta, czerwoo-iebiesko-»óªta. A wyci gi to kul z kolorem czerwoym B wyci gi to kul z kolorem iebieskim C wyci gi to kul z kolorem zóªtym P (A) = P (B) = P (C) = 2 4 P (A B) = 1 = P (A) P (B) = P (A C) = P (B C) 4 P (A B C) = 1 P (A) P (B) P (C) 4 Fakt 14. Je±li zdarzeia A 1, A 2,..., A B i = A i lub B i = A i. s iezale»e to iezale»e s te» zdarzeia B 1, B 2,..., B, gdzie 1.5 Prawdopodobie«stwo warukowe Przykªad 15. Sie skªada si z dwóch rozró»ialych komputerów. W daej chwili komputer mo»e wykoywa obliczeia/pracowa albo czeka (z prawdopodobie«stwem 1 2 ). Jaka jest szasa tego,»e komputer 1 jest w staie u±pieia, gdy wiemy, ze sie pracuje? Rozwi zaie 16. Ω = {(0, 0), (0, 1), (1, 0), (1, 1)} A pierwszy komputer jest w staie u±pieia A = {(0, 1), (0, 0)} 1. bez dodatkowej wiedzy: P (A) = A Ω = z dodatkow wiedz A B = {(0, 1)} B sie pracuje B = {(0, 1), (1, 0), (1, 1)} B = 3 P (A B) = 1 3 = A B B = A B Ω B Ω = P (A B) P (B) Deicja 2. Prawdopodobie«sto warukowe zaj±cia zdarzeia A pod warukiem zaj±cia zdarzeia B zapisujemy P (A B) P (A B) =, P (B) 0 (3) P (B) Fakt 17. Je±li P (A 1 A 2... A ) > 0 to P (A 1 A 2... A ) = P (A 1 ) P (A 2 A 1 ) P (A 3 A 1 A 2 )... P (A A 1 A 2... A ). Dowód. prawa stroa: P (A 1 ) P (A 1 A 2 ) P (A 1 ) = P (A 1 A 2... A ) P (A 1 A 2 A 3 ) P (A 1 A 2 )... P (A 1 A 2 A ) P (A 1 A 2... A 1 ) 6

7 1.6 Prawdopodobie«stwo caªkowite 1. Prawdopodobie«stwo 1.6 Prawdopodobie«stwo caªkowite Przykªad 18. W urie mamy b kul biaªych i c kul czarych. Wyci gamy 1 kul i (ie podgl daj c) wyrzucamy j. Jaka jest szasa,»e w ast pym ci gi ciu wylosujemy kul biaª? Rozwi zaie 19. B 1 wyci gi to biaª kul w pierwszym losowaiu B 2 wyci gi to biaª kul w drugim losowaiu P (B 2 ) = P (B 2 B 1 ) + P (B 2 B 1) = P (B 2 B 1 ) P (B 1 ) + P (B 2 B 1) P (B 1) = b 1 b + c 1 b b + c + b b + c 1 c b + c = b c + b Deicja 3. Rozbiciem przestrzei zdarze«elemetarych azywamy rodzi zdarze«{h i } i I, które s oe wzajemie rozª cze oraz i I H i = Ω. Twierdzeie 20. (wzór a prawdopodobie«stwo caªkowite) Je±li {B 1, B 2,..., B } jest rozbiciem Ω oraz P (B i ) > 0, to dla dowolego zdarzeia A zachodzi P (A) = P (A B i ) P (B i ) (4) Dowód. P (A) = P A ( ) B i = P (A B i ) = } {{ } Ω P (A B i ) = P (A B i ) P (B i ) Przykªad 21. Algorytm daje odpowied¹ popraw z prawdopodobie«stwem p, myli si z prawdopodobie«stwem q oraz zawiesza si z prawdopodobie«stwem r (wtedy poowie uruchamiamy komputer). Jaka jest szasa,»e ostateczie uzyskamy popraw odpowied¹? Rozwi zaie 22. W uzyskao popraw odpowied¹ P (W ) = P (W A) P (A) + P (W B) P (B) + P (W C) P (C) } {{ } } {{ } } {{ } 1 p 0 P (W ) r wiemy jeszcze,»e p + q + r = 1 zatem P (W ) = p p + q 1.7 Prawdopodobie«stwo przyczyy Przykªad 23. Zaobserwowae objawy awarii owego komputera mog by wyikiem uszkodzeia pªyty gªówej lub mog by spowodowae iym czyikiem (ie obj tym gwaracj ). Wiadomo,»e awaria pªyty gªówej zdarza si raz a 1000 komputerów oraz powoduje zaobserwowae usterki z prawdopodobie«stwem 4 5. Z iych powodów wyst puj oe przeci tie raz a 100 komputerów. Jaka jest szasa,»e awarii ulegªa pªyta gªówa? 7

8 2. Zmiee losowe Rozwi zaie 24. A awarii ulegªa pªyta gªówa B zaobserwowao objawy awarii P (A) = P (A ) = P (B A) = 4 5 P (B A ) = P (A B) =? P (A B) = = P (A B) P (B) P (B A) P (A) = P ( (B A) (B A ) ) = P (B A) P (A) P (B A) + P (B A } {{ } ) skªadiki s rozª cze P (B A) P (A) P (B A) P (A) + P (B A ) P (A ) Twierdzeie 25. (wzór Bayesa) 1 Je±li {H i } i I jest przeliczalym rozbiciem Ω takim,»e P (H i ) > 0, i I oraz dae jest zdarzeie A takie,»e P (A) > 0, to P (H j A) = P (A H j) P (H j ) P (A H i ) P (H i ) i I = z(4) P (A H j) P (H j ) P (A) (5) 2 Zmiee losowe Deicja 4. Je±li Ω jest przeliczaly to dowol fukcj okre±lo a Ω i o warto±ciach w R azywamy zmie losow. Deicja 5. Niech daa b dzie przestrze«probabilistycza (Ω, F, P ). Fukcj X : Ω R azywamy zmie losow, je±li dla ka»dego a R {ω : X(ω) a} F. Deicja 6. Niech X b dzie zmie losow okre±lo a (Ω, F, P ). Fukcj F X : R [0, 1],»e F X (x) = P ({ω : X(ω) x}) azywamy dystrybuat zmieej losowej X. Deicja 7. Zmiee losowe ozaczamy ostatimi literami z alfabetu (X, Y, Z) oraz przyjmujemy zapis,»e P ({ω : X(ω) x}) = P (X x). Wªaso±ci dystrybuaty 1. jest fukcj iemalej c 2. prawostroie ci gªa 3. lim x F X(x) = 0, lim F X(x) = 1 x + Przykªad 26. Gramy w ko±ci a piei dze. Zasady s ast puj ce: je±li wyrzucimy 1 lub 2 to przegrywamy 1$. je±li wyrzucimy 3, 4 lub 5 to ikt ikomu ie pªaci. je±li wyrzucimy 6 to wygrywamy 2$. 1 Ciekawy przykªad mo»a zale¹ a Wikipedii 8

9 2.1 Niezale»o± zmieych losowych 2. Zmiee losowe Zapiszmy to matematyczie: Ω = {1, 2,..., 6} Z zysk z jedej kolejki Z : Ω { 1, 0, 2} 1 ω {1, 2} Z(ω) = 0 ω {3, 4, 5} 2 ω = 6 0 x < 1 2 F Z (x) = 6 x [ 1, 0) 5 6 x [0, 2) 1 x [2, ) Rysuek 2 Rysuek 3 Z F Z x Wykres zmieej losowej Z x Wyres dystrybuaty zmieej losowej Z Uwaga 3. Je±li zamy F X (x) to mo»emy liczy tak»e prawdopodobie«stwo ie i» P (X x). Np. P (X (a, b]) = P (X b (X a) ) = P (X b) P (X a) 2.1 Niezale»o± zmieych losowych Przykªad 27. Losujemy pukt z kwadratu [0, 1] 2. W szczególo±ci mo»emy my±le o zmieych losowych. Niech = P (X b) + P (X > a) 1, bo P (X > a) = 1 P (X a) Ω = [0, 1] 2, P (A) = pole(a) pole(ω) = pole(a) X zmiea losowa mówi ca jaka jest warto± pierwszej wspóªrz dej Y zmiea losowa mówi ca jaka jest warto± drugiej wspóªrz dej wtedy Zauwa»my,»e F X (x) = P ({ω Ω: X(ω) x}) = P (ω [0, x] [0, 1]) = x, gdy x [0, 1] F Y (y) = P ({ω Ω: Y (ω) y}) = P (ω [0, 1] [0, y]) = y, gdy y [0, 1] P (X x Y y) = P ({ω Ω: ω [0, x] [0, y]}) = x y, x, y [0, 1] = P (X x) P (Y y) 9

10 2.2 Zmiee losowe dyskrete 2. Zmiee losowe Deicja 8. Niech X 1, X 2,..., X b d zmieymi losowymi okre±loymi we wspólej przestrzei probabilistyczej (Ω, F, P ). Je±li dla dowolych k oraz dowolych x 1, x 2,..., x zachodzi P (X j1 x 1, X j2 x 2,..., X jk x k ) = to zmiee te azywamy wzajemie iezale»ymi. 2.2 Zmiee losowe dyskrete k P (X ji x i ) Deicja 9. Zmie losow X : Ω {x i := 1, 2,...} azywamy dyskret zmie losow. Deicja 10. Rozkªadem zmieej losowej dyskretej X : Ω {x i := 1, 2,...} azywamy ci g par (x i, p i ),2,... gdzie p i = P (X = x i ). Przykªad 28. (kotyuacja przykªadu 26) Mamy: Z zysk a rzucie 1 ko±ci do gry. Z : {1, 2, 3, 4, 5, 6} { 1, 0, 2} dla x 1 = 1 P (Z = 1) = 2 6 = 1 3 =: p 1 dla x 2 = 0 P (Z = 0) = 3 6 = 1 2 =: p 2 dla x 3 = 2 P (Z = 1) = 1 6 =: p 3 Otrzymali±my ast puj cy rozkªad: ( 1, 1 3 ); (0, 1 2 ); (2; 1 6 ) Uwaga 4. F X (t) = P (X t) = P (X = x i ) = p i x i t x i t Zmiea losowa 0-1 (Beroulli'ego) Deicja 11. Je±li P (X = 1) = 1 P (X = 0) = p, dla p (0, 1) to zmie losow azywamy 0-1 lub Beroulli'ego. W skrócie pisa b dziemy X B(1, p) czyt.: zmiea losowa X ma rozkªad Beroulli'ego. Zastosowaie 1. Zaªó»my,»e iteresuje as zdarzeie A Ω o prawdopodobie«stwie P (A) = p. wiedzie czy A zaszªo. Zdeiujmy fukcj { 1 ω A X(ω) := 1 A (ω) 0 ω A Chcemy Zauwa»my,»e P (X = 1) = P ({ω Ω : ω A}) = P (A) = p Zmiea losowa o rozkªadzie dwumiaowym Przykªad 29. Iteresuje as ilo± zaj± zdarzeia A w iezale»ych do±wiadczeiach. X i (ω) = 1 Ai (ω) gdzie A 1, A 2,..., A zdarzeia iezale»e, P (A 1 ) = P (A 2 ) =... = P (A ) = p S (ω) = X i (ω) 10

11 2.2 Zmiee losowe dyskrete 2. Zmiee losowe Zbadajmy rozkªad S : ( P (S = k) = P Xi (ω) = k) = = 1, 2,..., k p k (1 p) = P (X 1 = 1, X 2 = 1,..., X k = 1, X k+1,..., X = 0) 1, 2,..., k ( ) p k (1 p) k k ( Deicja 12. Zmiea losowa S ma rozkªad dwumiaowy z parametrami oraz p je±li P (S = k) = ) k p k (1 p) k dla k = 0, 1,...,. Prawdopodobie«stwo to azywamy te» prawdopodobie«stwem w próbach Beroulli'ego. Ozaczamy te rozkªad S B(, p). Uwaga 5. Musi zachodzi wªaso± : k=0 ( ) p k (1 p) k = 1 k Zmiee losowe o rozkªadzie geometryczym Przykªad 30. Mamy do przesªaia plik za pomoc sieci. Jak to w»yciu bywa, sie czasem ulega awarii. Je±li ast pi awaria, to musimy zacz trasfer od pocz tku. Iteresuje as ile razy wysyªali±my plik a» do mometu, gdy trasfer si udaª. Rozwi zaie 31. Zaªó»my,»e koleje próby s iezale»e od pozostaªych oraz P (X i = 1) = p dla i = 1, 2,.... Niech { 1 trasfer si powiódª X i = 0 trasfer si ie powiódª Y ilo± trasferów Zauwa»my,»e Y mo»e przyjmowa warto±ci 1, 2,.... Poadto Rozkªad Y : iech k N, Y = mi{ N: X = 1} P (Y = k) = P (X 1 = 0, X 2 = 0,..., X k 1 = 0, X k = 1) = P (X 1 = 0) P (X 2 = 0)... P (X k 1 = 0) P (X k = 1) = (1 p) k 1 p = p k p k = p(1 p) k 1 = 1 k=1 k=1 Deicja 13. Zmiea losowa X ma rozkªad geometryczy z parametrem p (0, 1), gdy P (X = k) = p(1 p) k 1 dla k = 1, 2,.... Ozaczeie: X G(p) - zwi zae z czasem czekaia a pierwszy sukces. Twierdzeie 32. (wªaso± braku pami ci) Zaªó»my,»e X ma rozkªad geometryczy G(p). Wtedy P (X 0 + k X > 0 ) = P (X k) Uwaga 6. T wªaso± maj tylko dwa rodzaje rozkªadów: geometryczy (2.2.3) i wykªadiczy (2.3.2). Dowód. Rozpisuj c lew stro otrzymujemy L = P (X 0 + k X > 0 ) = P (X 0 + k) P (X > 0 ) P (X 0 + 1) = i= 0+k P (X = i) i= P (X = i) = i= 0+k p(1 p)i 1 = 0+1 p(1 p)i 1 = i= 0+1 (1 p)0+k 1 = (1 p)k 1 (1 p)

12 2.3 Ci gªe zmiee losowe 2. Zmiee losowe gdzie w (*) skorzystali±my z tego,»e p(1 p) i 1 = p(1 p) l 1 (i p) i = (1 p) l 1 i=l i=0 Ale patrz c z prawej stroy, mamy P = P (X k) = P (X = i) = p(1 p) i 1 = (1 p) k 1 i=k i=k Zmiee losowe o rozkªadzie Poissoa Deicja 14. Zmiea losowa X ma rozkªad Poissoa 2 z parametrem λ > 0 je±li P (X = k) = λk k! e λ dla k = 0, 1,.... Uwaga 7. Faktyczie uzyskujemy rozkªad, bo: 2.3 Ci gªe zmiee losowe k=0 λ k k! e λ = 1 B dziemy zajmowa si tylko pew podklas ci gªych zmieych losowych, miaowicie zmieymi losowymi z g sto±ci 3. Przykªad 33. Mamy odciek [0, 1], rzucamy a iego pukt w sposób caªkowicie losowy. Niech X - wspóªrz da traeia. Chcemy za jej rozkªad. Poiewa» puktów jest iesko«czeie wiele, to dla ka»dego puktu prawdopodobie«stwo traeia w iego jest rówe 0. Mo»emy jedak policzy ie prawdopodobie«stwo. Zbadajmy F X (t) = P (X t) czyli dystrybuat. Zastosujmy chwyt z prawdopodobie«stwem geometryczym. Wtedy 0 t < 0 F X (t) = P (X t) = t t [0, 1] 1 t > 1 Zauwa»my,»e F X (t) = W praktyce okazuje si,»e wiele dystrybuat mo»emy zapisa za pomoc caªki. t 1 [0,1] (x)dx (6) Deicja 15. Niech X b dzie zmie losow o dystrybuacie F X. Je±li istieje ieujema fukcja f X taka,»e F X (t) = t f X(s)ds dla ka»dego t R, to f X azywamy g sto±ci rozkªadu zmieej losowej X. Uwaga 8. Od tej pory b dziemy zakªada,»e f X istieje. Uwaga 9. F X(t) = f X (t) (tak jest prawie zawsze) To,»e zachodzi (6) ie ozacza,»e F X jest w ka»dym pukcie ró»iczkowala. Prawd jest jedak,»e jest sko«czeie wiele puktów, w których ie jest ró»iczkowala. Gdyby±my zali g sto± aszego rozkªadu, to zaliby±my prawdopodobie«stwo zaj±cia wielu zdarze«, które mogªyby as iteresowa, p. b a b P (a < x b) = P (X b) P (X a) = f X (s)ds f X (s)ds = f X (s)ds a Ogólie 2 czyt. pªasoa 3 istieje pochoda dystrybuaty P (X A) = A f X (s)ds 12

13 2.3 Ci gªe zmiee losowe 2. Zmiee losowe Wªaso±ci 1. 1 = P (X (, )) = f X (s)ds (7) 2. P (X = t) = 0, czyli szasa traeia w kokrety pukt wyosi 0. Probabili±ci mówi,»e ie mamy atomów Rozkªad jedostajy U[a, b] Deicja 16. Zmiea losowa X ma rozkªad jedostajy 5 a odciku [a, b], gdy jej fukcja g sto±ci wyosi 0 t < a f X (t) = 0 t > b (8) 1 b a t [a, b] (wyika z (7) oraz poprzedich przypadków) P (X < t) = F X (t) = Uwaga 10. Wa»y przypadek: U[0, 1]. t f X (t)dt = t a f X (t)dt = t a b a (9) Rysuek 4 Rysuek 5 Dystrybuata, F X (t) G sto±, f X (t) Rozkªad wykªadiczy E(λ) Deicja 17. Zmiea losowa ma rozkªad wykªadiczy, gdy jej fukcja g sto±ci wyosi { 0 t < 0 f X (t) = λe λt t 0 (10) sk d P (X < t) = F X (t) = t P (X > t) = f X (t)dt = t 0 t f X (t)dt = 1 e λt (11) λe λs ds = e λt (12) 4 Ciekawe co a to chemicy Rozkªad jedostajy zay jest te» jako jedorody, rówomiery, prostok ty oraz pªaski. 13

14 2.3 Ci gªe zmiee losowe 2. Zmiee losowe Twierdzeie 34. (wªaso± braku pami ci) Dowód. (Przez rozpisaie) P (X > t + s X > s) P (X > s) P (X > t + s X > s) = P (X > t) (13) = P (X > t + s) P (X > s) (12) e λ(t+s) = e λs = e λt = P (X > t) Uwaga 11. To,»e czekamy a przystaku ju» s czasu ie ozacza,»e autobus przyjedzie szybciej. Jest tak dlatego,»e osoba, która dopiero co przyszªa a przystaek dopiero zaczya czekaie Rozkªad gamma Γ(, λ) Deicja 18. Fukcja g sto±ci jest postaci { 0 t < 0 f X (t) = λ ( 1)! t 1 e λt t 0 (14) Rozkªad ormaly (Gaussa) N (m, σ 2 ) N (m, σ 2 ), m R, σ 2 > 0 (15) Deicja 19. Zmiea losowa X ma rozkªad N (m, σ 2 ) je±li jej fukcja g sto±ci jest postaci f X (t) = 1 1 ( ) 2π σ exp (t m)2 2σ 2, t R (16) Rysuek 6 Rysuek 7 Dystrybuata, F X (t) G sto±, f X (t) Uwaga 12. Okazuje si,»e ie ma wzoru a dystrybuat! 6. Nie mo»a jej wyliczy explicite. ( ) t 1 (x m)2 F X (t) = exp 2πσ 2σ 2 dx Ludzko± zdawszy sobie spraw z powagi sytuacji doszªa do wiosku,»e rozkªad Gaussa mo»emy zast pi przez rozkªad stadardowy N(0, 1) to jest stablicowae. Φ(t) = P (N t), N N(0, 1) Deicja 20. N rezerwujemy a ozaczeie zmieej losowej o rozkªadzie stadardowym. 6 Koiec ±wiata jest bliski... 14

15 2.4 Wektory losowe 2. Zmiee losowe Fakt 35. (stadaryzacja) Je±li zmiea losowa X N(m, σ 2 ) (ma rozkªad ormaly z parametrami), to Dowód. f Y (t) = F Y (t) = dp (Y t) dt = Y := X m σ N(0, 1) (17) X m dp ( σ t) dp (X σt + r) = = F dt dt X(σt + m) = 1 1 2π σ exp( t2 2 ) Przykªad 36. Mamy dae,»e X N(2, 4). Chcemy zbada ile wyosi P (X 3). Korzystamy z (17) Reguªa trzech sigm P (X 3) = P ( X ) = P (N 1 2 ) W rozkªadzie ormalym trzeba zwróci uwag a istoty szczegóª. Miaowicie dla dowolej liczby rzeczywistej g sto± jest iezerowa. Reguªa trzech sigm mówi,»e 99, 7% przypadków zajduje si w odlegªo±ci miejszej i» 3σ od warto±ci oczekiwaej. Zobacz Lemat 2.1. Zaªó»my,»e h jest fukcj ±ci±le ros c. Wtedy dla Y = h(x) F Y (t) = F X (h 1 (t)) (18) Dowód. F Y (t) = P (Y t) = P (h(x) t) = P (X h 1 (t)) = F X (h 1 (t)) 2.4 Wektory losowe Przykªad 37. Rzucamy igª w kwadrat [0, 1] 2. Rzut jest losowy. Iteresuje as poªo»eie traoego puktu. X wspóªrz da x-owa Y wspóªrz da y-owa P (X A; Y B) =? Uwaga 13. W przypadku 1-wymiarowym wystarczy za P (X x). Je»eli mamy g sto± to wystarczy j scaªkowa po zbiorze, do którego chcemy,»eby ale»aªa igªa. W przypadku wi kszej liczby wymiarów aalogoem dystrybuaty 1-wymiarowej jest iloczy dystrybuat. W szczególo±ci F (X,Y ) (t 1, t 2 ) := P (X t 1 ; Y t 2 ). Wtedy a przykªad dla 0 a, b, c, d 1 mamy P (X (a, b], Y (c, d]) = F (X,Y ) (b, d) F (X,Y ) (a, d) F (X,Y ) (b, c) + F (X,Y ) (a, c) 15

16 2.4 Wektory losowe 2. Zmiee losowe Rysuek 8 Rysuek 9 1 d t2 c F (X,Y ) (t 1, t 2 ) := P (X t 1 ; Y t 2 ) t1 a b 1 P (X (a, b], Y (c, d]) Rozkªad. Przypadek dyskrety Je±li p ij = P (X = x i ; Y = y j ) dla ka»dego x i, y j to zamy rozkªad Przypadek ci gªy (z g sto±ci ) Uwaga 14. Dla jedego wymiaru byªo: F X (t) = t f X (s)ds G sto± 2-wymiarowa to taka ieujema fukcja f (X,Y ) (s, t),»e F (X,Y ) (t 1, t 2 ) = t1 t2 Przykªad 38. Zaªó»my,»e wektor losowy (X, Y ) ma ast puj cy rozkªad: Pytaie: Jaka jest szasa,»e Y = 1? Y = 2? f (X,Y ) (s, t) ds dt (19) X \ Y P (Y = 1) = P (Y = 1; X = 1) + P (Y = 1; X = 5) + P (Y = 1; X = 7) = = 0.6 zsumowali±my pierwsz kolum P (Y = 2) = 0.4 Deicja 21. Rozkªady X, Y liczoe oddzielie azywamy rozkªadami brzegowymi wektora (X, Y ). Uwaga 15. Rozkªad (X, Y ) wyzacza jedozaczie rozkªady brzegowe, ale rozkªady brzegowe ie wyzaczaj rozkªadu ª czego Sumy iezale»ych zmieych losowych Przykªad 39. Rysuek 10 A B C Sposób trasmisji pliku przez sie. 16

17 3. Warto± oczekiwaa Przesyªamy plik (rysuek) z prawdopodobie«stwem sukcesu p w 1 próbie. Je»eli udaªo si przesªa plik z A do B to przesyªamy dalej, czyli z B do C. Mi dzy fragmetami sieci oraz kolejymi trasmisjami pliku zachodzi iezale»o±. Iteresuje as ª cza ilo± prób a» do skuteczego dostarczeia pliku od C. T = X + Y Zauwa»my,»e X jest iezale»e od Y. Pytamy Poadto zauwa»my,»e X ilo± prób dokoaych a A B Y ilo± prób dokoaych a B C k 1 k 1 P (T = k) = P (X = l; Y = k l) = P (X = l)p (Y = k l) l=1 l=1 k 1 k 1 = (1 p) l 1 p(1 p) k l 1 p = p 2 (1 p) k 2 = (k 1)p 2 (1 p) k 2 l=1 l=1 k 1 P (T = k) = P (X = l) P (Y = k l) (20) = l=1 P (X = l) P (Y = k l) (dla l k P (Y = k l) = 0) l=1 Wiosek 1. Je±li X, Y - dyskrete zmiee losowe, iezale»e oraz I X -zbiór warto±ci X, to P (X + Y = s) = P (X = x i ; Y = s x i ) = P (X = x i ) P (Y = s x i ) x I X x I X Je±li X, Y maj rozkªad z g sto±ci odpowiedio f X, f Y, wtedy g sto± rozkªadu X + Y jest ast puj ca f X+Y (t) = f X (s) f Y (t s) ds Wiosek 2. Je±li X N(m x, σx), 2 Y N(m Y, σy 2 ) oraz X i Y s iezale»e to X + Y N(m X + m Y, σ 2 X + σ 2 Y ) Poadto dla daych a, b zachodzi ax + b N(am X + b, a 2 σ 2 X ). Dowód. Trzeba skorzysta z lematu Warto± oczekiwaa Przykªad 40. (przytoczoa wcze±iej gra) {1, 2} 1 {3, 4, 5} 0 {6} 2 W wygraa w 1 rudzie. Czy ta gra jest sprawiedliwa, czyli czy przy dªugim graiu ka»dy z graczy ±redio ic ie traci i ie zarabia? Zaªó»my,»e mamy 6 rozgrywek. Spodziewamy si,»e 1 tra si 2 razy, ( 1) a 2 razy. redi zysk a rozgrywk wyosi 6 = 0 (zatem gra jest sprawiedliwa) = ( 1) = ( 1) P (W = 1) + 0 P (W = 0) + 2P (W = 2) = E(W ) warto± oczekiwaa zmieej losowej W. 17

18 3. Warto± oczekiwaa Deicja 22. Niech X b dzie dyskret zmie losow o rozkªadzie {(x i, p i ) : i = 1, 2,...}. Je±li i x i p i < to istieje warto± oczekiwaa zmieej losowej X i wyosi E(X) = i parktyce rzadko b dziemy obserwowa,»e to zaªo»eie ie jest speªioe. Deicja 23. Niech X b dzie zmie losow z g sto±ci f X 7. Je±li oczekiwaa E(X) = x f X (x) dx. x i P (X = x i ) = i x i p i. W x f X (x) dx <, to istieje warto± Uwaga 16. Warto± oczekiwaa = warto± ±redia = warto± przeci ta = pierwszy momet zmieej losowej. Fakt 41. Zaªó»my,»e istiej EX, EY. Wtedy 1. E(aX + b) = ae(x) + b liiowo± 2. E(X + Y ) = EX + EY 3. je±li X, Y - iezale»e, to E(XY ) = EX EY Dowód. (ad 1) E(ax + b) = k (ax k + b)p (X = x k ) = a k x k P (X = x k ) + b k P (X = x k ) (ad 3) E(X Y ) = def i = i = i x i y j P (X = x i ; Y = y j ) j x i y j P (X = x i )P (Y = y j ) j x i P (X = x i ) y j P (Y = y j ) j = x i P (X = x i )E(Y ) = E(X)E(Y ) Przykªad 42. T - dªugo± pliku P (T > t) C t α, α 1.7 Zaªó»my,»e P (T < t) = 1 1 t, dla t 1. Jaka jest ±redia dªugo± pliku, który przesyªamy, E(T ) =?. Wida,»e mamy model ci gªy, wi c 2 skorzystamy ze wzoru EX = R xf X(x)dx. G sto± to ic iego jak pochoda, wi c j wyliczmy i b dzie fajie ;) 2 f T (x) = F T (x) = x 3 x 1 0 x < 1 Zatem ET = xf T (x)dx = R 1 x 2 x 3 dx = 2 x 1 = 2 Przykªady, dla których ie istieje warto± oczekiwaa Podamy teraz kilka przykªadów, dla których ie istieje warto± oczekiwaa. 1. przypadek ci gªy: zmiea losowa o rozkªadzie Cauchy'ego. Jej g sto± wyra»a si jako f X (t) = 1 π(1+t 2 ), t R. 7 g sto± wyzacza am te» rozkªad 18

19 4. Ryzyko i jego pomiar 2. przypadek dyskrety: iech X ma rozkªad P (X = 2 ) = c 2, = 1, 2,.... Wtedy EX = 2 c 2 =. Co zatem ale»y robi,»eby wyliczy warto± oczekiwa g(x), g-skomplikowaa fukcja? Formalie: 1. przypadek dyskrety: Eg(X) = def k g(x k) P (X = x k ). 2. przypadek ci gªy: Eg(X) = R g(x)f X(x)dx. Twierdzeie 43. (Nierówo± Jesea) Niech f b dzie fukcj wypukª dwukrotie ró»iczkowal. Wtedy E (f(x)) f(ex). Dowód. Niech m = E(X). Rozwijamy fukcj f w szereg Taylora w pukcie m: Zatem f(x) = f(m) + (x m)f (m) + (x m)2 f (Θ) f(m) + (x m)f (m) 2 E(f(X)) E(f(m) + (X m)f (m)) =E(f(m)) + E[(X m)f (m)] =f(e(x)) + f (m)[e(x) m] = f(e(x)) Uwaga 17. Je±li X-ieujema zmiea losowa o warto±ciach w N, to E(X) = P (X i) P (X 1) =P (X = 1)+ P (X = 2)+P (X = 3) +... P (X 2) = P (X = 2)+P (X = 3) + P (X = 4) +... P (X 3) = P (X = 3) + P (X = 4) + P (X = 5) +... =P (X = 1)+2P (X = 2)+3P (X = 3) + 4P (X = 4) +... = E(X) 4 Ryzyko i jego pomiar Przykªad 44. I) Powraca ie±miertely przykªad 26. E(X) = 0, wi c gra jest sprawiedliwa. X { 1, 0, 2} II) Zmodykujmy gr tak,»e pªacimy ie jedego $, ale 10 4 $ gdy wypadie 1 lub 2; ic si ie dzieje, gdy wypadie 3,4 lub 5; dostajemy $, gdy wypadie 6 oczek. Y - wygrywamy w 1 rozgrywce E(Y ) = = 0. Aby mierzy ryzyko odchyleia warto± ±rediej mo»emy post pi ast puj co: Ryzyko b dziemy mierzy licz c V ar(x) := E(X E(X)) 2 wariacja zmieej losowej X (21) σ X := V ar(x) odchyleie stadardowe. (22) Uwaga 18. Odchyleie stadardowe azywae jest tak»e dyspersj. Ozacza si,»e D 2 (X) := V ar(x) = E(X 2 ) (E(X)) 2 (23) D 2 (x) = E(X E(X)) 2 = E(X 2 2X E(X) + (E(X)) 2 ) = E(X 2 ) 2(EX) 2 + E(X) 2 = E(X 2 ) (E(X)) 2 Przykªad 45. (kotyuacja przykªadu 44.) 19

20 4.1 Kowariacja, Cov(X, Y ) 4. Ryzyko i jego pomiar I) E(X 2 ) = = 1. V ar(x) = = 1, σ X = 1 = 1 II) E(Y 2 ) = (2 104 ) = 108. V ar(y ) = = 10 8, σ Y = 10 8 = 10 4 Uwaga 19. E(X 2 ) drugi momet zmieej losowej V ar(x) σ 2 X Wªaso±ci wariacji 1. V ar(ax) = a 2 V ar(x) 2. V ar(x + b) = V ar(x) 3. je±li X, Y s iezale»e, to V ar(x ± Y ) = V ar(x) + V ar(y ) 4. V ar(x ± Y ) = V ar(x) + V ar(y ) ± 2 Cov(X, Y ) (przypadek ogóly) Uwaga 20. V ar(x) 0!!! Dowód. (1) V ar(a X) = def E(aX E(aX)) 2 = Ea 2 (X E(X)) 2 = a 2 E(X E(X)) 2 = (21) a 2 V ar(x) (2) V ar(x + b) = def E(X + b E(X + b)) 2 = E(X + b EX b) 2 = def V ar(x) (3) V ar(x ±Y ) = (23) E(X ±Y ) 2 (E(X ± Y )) 2 = EX 2 ±E(2XY )+EY 2 ( (EX) 2 ± 2(EX)(EY ) + (EY ) 2) = EX 2 (EX) 2 + EY 2 (EY ) 2 = (23) V ar(x) + V ar(y ) 4.1 Kowariacja, Cov(X, Y ) Deicja 24. Do mierzeia iezale»o± i zmieych losowych X, Y u»ywamy kowariacji. Cov(X, Y ) = E(X Y ) EX EY (24) je»eli Cov(X, Y ) 0 to zmiee s zale»e je»eli Cov(X, Y ) = 0 to ie ma pewo±ci,»e s iezale»e! Fakt 46. Cov(aX, by ) = abcov(x, Y ) a, b R 4.2 Wspóªczyik korelacji Deicja 25. Wspóªczyik korelacji ρ zmieych losowych X, Y deiujemy jako ρ(x, Y ) = Cov(X, Y ) V ar(x) V ar(y ) (25) Fakt 47. ρ(ax, by ) = ρ(x, Y ) a, b > 0 Dowód. ρ(ax, by ) = ab Cov(X, Y ) a V ar(x) b V ar(y ) = ρ(x, Y ) 20

21 4.2 Wspóªczyik korelacji 4. Ryzyko i jego pomiar Wªaso±ci korelacji 1. je±li zmiee losowe X, Y s iezale»e, to ρ(x, Y ) = 0 2. odwrota implikacja ie zachodzi (chyba,»e zmiee X, Y maj rozkªady ormale) 3. je±li ρ(x, Y ) 0 to X i Y s wzajemie zale»e Przykªad 48. X\ Y Cov(X, Y ) = E(XY ) EX EY, EX = 0 = EY, E(XY ) = ( 1) ( 1) ( 1) = 0.6 V ar(x) = 1 = V ar(y ) trzeba sprawdzi! ρ(x, Y ) = 0.6 Przykªad 49. X\ Y V ar(x) = V ar(y ) = 1 trzeba sprawdzi! EX = 0 = EY, Cov(X, Y ) = E(XY ) 0 0 = 0.6 ρ(x, Y ) = 0.6 Uwaga 21. je±li ρ(x, Y ) > 0, to du»a warto± jedej zmieej implikuje du» warto± drugiej zmieej je±li ρ(x, Y ) < 0, to du»a warto± jedej zmieej implikuje maª warto± drugiej zmieej Fakt ρ(x, Y ) 1 im bli»ej jedyki tym zmiee s bardziej skorelowae/zale»e - zachowuj si podobie. dla ρ(x, Y ) = 1 jest Y = ax + b a > 0 dla ρ(x, Y ) = 1 jest Y = ax + b a < 0 dla ρ(x, Y ) 0 ie mo»emy stwierdzi czy zmiee s zale»e Zastosowaie 2. gdzie V ar(x, Y ) = E [X + Y E(X + Y )] 2 = E [(X EX) + (Y EY )] 2 = E [ (X EX) 2 + (Y + EY ) (X EX)(Y EY ) ] = V ar(x) + V ar(y ) + 2E [(X EX)(Y EY )] = ( ) V ar(x) + V ar(y ) + 2Cov(X, Y ) ( ) =E(X EX)(Y EY ) = E [XY XEY Y EX + EX EY ] =E(XY ) 2EX EY + EX EY = Cov(X, Y ) 21