PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE

Transkrypt

1 Marek Cecura, Jausz Zacharsk PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE CZĘŚĆ VI WYBRANE TWIERDZENIA WRAZ Z DOWODAMI Na prawach rękopsu Warszawa, paźdzerk 0 Data ostatej aktualzacj: pątek, gruda 0, godza 6:4

2 Podręczk: Statstka jest bardzej sposobem mślea lub woskowaa Ŝ pęczkem recept a młócee dach w celu odsłoęca odpowedz - Calampud Radhakrsha Rao PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE publkowa jest w częścach podach poŝej Nr I. Wprowadzee II. III. IV. Statstka opsowa Ttuł Rachuek prawdopodobeństwa Statstka matematcza V. Przkład zastosowań w formatce VI. VII. Wbrae twerdzea z dowodam Tablce statstcze Autorz proszą o przesłae wszelkch uwag propozcj dotczącch zawartośc podręczka z wkorzstaem formularza kotaktowego zameszczoego w portalu Publkowae częśc będą a beŝąco poprawae, w kaŝdej będze podawaa data ostatej aktualzacj. Podręczk udostępa sę a waruku lcecj Creatve Commos (CC): Uzae Autorstwa UŜce Nekomercje Bez Utworów ZaleŜch (CC-BY-NC-ND),co ozacza: Uzae Autorstwa (ag. Attrbuto - BY): zezwala sę a kopowae, dstrbucję, wśwetlae uŝtkowae dzeła wszelkch jego pochodch pod warukem umeszczea formacj o twórc. UŜce Nekomercje (ag. Nocommercal - NC): zezwala sę a kopowae, dstrbucję, wśwetlae uŝtkowae dzeła wszelkch jego pochodch tlko w celach ekomercjch.. Bez Utworów ZaleŜch (ag. No Dervatve Works - ND): zezwala sę a kopowae, dstrbucję, wśwetlae tlko dokładch (dosłowch) kop dzeła, edozwoloe jest jego zmeae tworzee a jego baze pochodch. Podręczk skorelowa z m portal, są w peł powszeche dostępe, staową węc Otwarte Zasob Edukacje - OZE (ag. Ope Educatoal Resources OER).

3 PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE SPIS TREŚCI 3. STATYSTYKA OPISOWA WŁASNOŚĆ ŚREDNIEJ ARYTMETYCZNEJ ELEMENTÓW PRÓBY Własość Własość Własość Własość 4 średej artmetczej elemetów prób RELACJE POMIĘDZY ŚREDNIMI WYZNACZANIE WARIANCJI Z PRÓBY WSPÓŁCZYNNIK KORELACJI SPEARMANA WYZNACZANIE WSPÓŁCZYNNIKÓW REGRESJI METODĄ NAJMNIEJSZYCH KWADRATÓW 3.6. WŁASNOŚCI FUNKCJI REGRESJI Własość Własość RACHUNEK PRAWDOPODOBIEŃSTWA PRAWA DE MORGANA Zdarzee przecwe do sum zdarzeń prawo de Morgaa Zdarzee przecwe do loczu zdarzeń prawo de Morgaa WŁASNOŚCI PRAWDOPODOBIEŃSTWA Prawdopodobeństwo zdarzea emoŝlwego Mootoczość prawdopodobeństwa Prawdopodobeństwo sum dwóch zdarzeń Prawdopodobeństwo zdarzea przecwego NezaleŜość zdarzeń przecwch PRAWDOPODOBIEŃSTWO CAŁKOWITE WZÓR BAYESA WŁASNOŚCI WARTOŚCI OCZEKIWANEJ I WARIANCJI Wartość oczekwaa waracja loczu stałej zmeej losowej jedorodość Wartość oczekwaa sum zmech losowch - addtwość Wartość oczekwaa loczu zmech losowch Waracja sum ezaleŝch zmech losowch Parametr rozkładu stadarzowaej zmeej losowej PARAMETRY WYBRANYCH ROZKŁADÓW Wartość oczekwaa waracja zmeej losowej o rozkładze dwumaowm Wartość oczekwaa rozkładu rówomerego Współczk asmetr spłaszczea rozkładu ormalego ROZKŁADY PRZYKŁADOWYCH FUNKCJI ZMIENNYCH LOSOWYCH Rozkład zmeej losowej będącej lowm przekształceem zmeej losowej o rozkładze ormalm Rozkład sum ezaleŝch zmech losowch o rozkładach ormalch ANALIZA KORELACJI I REGRESJI Własośc współczka korelacj Fukcja regresj drugego rodzaju...9 3

4 WYBRANE TWIERDZENIA WRAZ Z DOWODAMI 5. STATYSTYKA MATEMATYCZNA ROZKŁADY WYBRANYCH STATYSTYK Rozkład średej z prób o rozkładze ormalm Rozkład uormowaej średej cech o rozkładze ormalm Rozkład róŝc średch ezaleŝch cech o rozkładach ormalch Rozkład lorazu waracj z prób Rozkład wskaźka struktur OBCIĄśONOŚĆ WARIANCJI Z PRÓBY WYZNACZANIE ESTYMATORÓW METODĄ NAJWIĘKSZEJ WIAROGODNOŚCI Estmator parametru p rozkładu zero-jedkowego Estmator parametru Θ rozkładu wkładczego Estmator parametru rozkładu Possoa WYZNACZANIE WSPÓŁCZYNNIKÓW REGRESJI METODĄ NAJWIĘKSZEJ WIAROGODNOŚCI

5 WYBRANE TWIERDZENIA WRAZ Z DOWODAMI 3. STATYSTYKA OPISOWA 3.. Własość średej artmetczej elemetów prób 3... Własość Średa artmetcza elemetów prób (,,..., ) speła zaleŝość: m ma m ma m ma m ma m ma cbdu m ma 3... Własość m ma (3-.) Średa artmetcza elemetów prób (,,..., ) speła zaleŝość: ( ) 0 (3-.) ( ) 0 cbdu Własość 3 Średa artmetcza elemetów prób (,,..., ) speła zaleŝość ( ) ( ) + ( ) < > < > ( ) ( ) (3-.3) > < ( ) + ( ) 0 zgode z własoścą średej artmetczej ( ) ( ) > < ( ) ( ) cbdu > < 5

6 WYBRANE TWIERDZENIA WRAZ Z DOWODAMI Własość 4 średej artmetczej elemetów prób Dla elemetów prób (,,..., ) wraŝee ma wartość ajmejszą gd c ( c) (3-.4) Oblczam perwszą pochodą wraŝea przrówujem ją do zera d ( c) ( c) ( ) c 0 dc c c Druga pochoda jest rówa d ( c) > 0 dc ( ) Zatem wraŝee ( c) ma wartość ajmejszą gd c cbdu 3.. Relacje pomędz średm Wkazać prawdzwość zaleŝośc pomędz elemetam prób (,,..., ) : dla Zwraca sę uwagę, Ŝe elemet powŝszej zaleŝośc lczoe od lewej to: średa harmocza, średa geometrcza, średa artmetcza średa kwadratowa. Zapsujem zaleŝość (3-.) dla w postac a b a b (a b) (a b ) (3-.) (3-.) 6

7 PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE Część Udowodm, Ŝe (a b) 0 ; + a b a b a ab + b 0 + ab ; a + b ab : ab ; a b + > b a ab ab ab ab + > ; b a b + a > + ; ab ab + + > 4 ; ab( + + ) 4 b a a b ab ab( ) 4 : ( ) a b a b Część 4 + a b + + ; ab Udowodm, Ŝe (a b) 0 ; (a + b) 4 Część 3 a b (a + b) a ab + b 0 + 4ab ; ab ; a + b ab cbdu Udowodm, Ŝe (a b) 0 ; (a + b) (a + b ) a ab + b 0 ; a + b (a + b) ; 4 ; ab ; + a b a + ab + b 4ab ; a + b ab + (a + b ) ; a + b a + b cbdu 3.3. Wzaczae waracj z prób ab cbdu + a b (a + b) > 4ab : 4 ; Wkazać, Ŝe warację z prób (,,..., ) moŝa wzaczć ze wzoru (a + b ) a + ab + b : 4 ; s ( ) ( ) (3-3.) s ( ) ( ) + s ( ) ( ) ( ) + + s ( ) cbdu 7

8 WYBRANE TWIERDZENIA WRAZ Z DOWODAMI 3.4. Współczk korelacj Spearmaa Uzasadć postać wzoru a współczk korelacj Spearmaa dokoać jego aalz. 6 (c d ) S r ( ) Podstawą rozwaŝań jest współczk korelacj Pearsoa: ( )( ) r P s s gdze: (3-.3) (3-.4) s ( ) (3-.5) s ( ) (3-.6) Prz oblczau współczka Spearmaa w powŝszm wzorze zamast wków wkorzstuje sę ch rag c oraz d, prz czm c {,...,}, d {,...,} (3-.) (3-.) oraz Wkorzstam wzor a sum szeregów wkające z ch wartośc średch artmetczch: ( + ) (3-.7) + (3-.8) ( + )( + ) 6 (3-.9) ( + )( + ) 6 (3-.0) ) Oblczam lczk wzoru a współczk korelacj Pearsoa oblcza a podstawe rag L c d d c c d + cd 8

9 PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE Wkorzstując określea (3-.3) (3-.4) dla rag otrzmujem L c d cd cd + cd c d cd + cd cd Wkorzstując wzór (3-.8) otrzmujem ( + ) cd 4 L Przekształcm teraz perwsz składk powŝszego wzoru. Uwzględając, Ŝe (c d ) c c d + d otrzmujem c d Zatem c + d cd (c d ) Wkorzstując wzór (3-.9) otrzmujem ( + )( + ) c d (c d ) 6 + c d (c d ) Uwzględm teraz powŝsz wk do dalszego przekształcea lczka wzoru a współczk Perarsoa oblczaego a podstawe rag ( + )( + ) ( + ) L (c d ) 6 4 RóŜca perwszch dwóch składków w powŝszm wzorze jest rówa ( ) 3( ) Czl ostatecze lczk wzoru a współczk Pearsoa oblcza a podstawe rag jest rów + L (c d ) ) Oblczm teraz maowk wzoru a współczk korelacj Pearsoa oblcza a podstawe rag. W perwszej kolejośc oblczm s c określo aalogczm wzorem jak (3-.5) s (c c) c c c (c) c + Wkorzstując wzór (3-.0) ozaczee (3-.3) dla rag otrzmujem ( + )( + ) ( + )( + ) s c c c 6 6 c + 9

10 WYBRANE TWIERDZENIA WRAZ Z DOWODAMI Po uwzględeu wzoru (3-.8) mam s c ( + )( + ) ( + ) Tle samo wos s d. Czl maowk wzoru a współczk korelacj Pearsoa oblcza a podstawe rag jest rów M scsd 3) Uwzględając otrzmae postace lczka maowka oblczam postać wzoru a współczk korelacj Perarsoa w przpadku gd wk mają postać rag. (c d ) 6 (c d ) L P M ( ) r (c d ) Otrzma wzór określa współczk korelacj Spearmaa 6 (c d ) S r ( ) cbdu 4) Na zakończee określm zaleŝość współczka korelacj Spearmaa od sum kwadratów róŝc pomędz ragam S (c d ) 0. 6S 6S rs cs c > 0 ( ) ( ) ZaleŜość współczka korelacj r S od sum S jest lowa, prz czm wartość współczka korelacj maleje ze wzrostem wartośc tej sum. Współczk korelacj przjmuje wartość maksmalą, jeŝel S0, wartość ta jest rówa jede. Stuacja ta wstępuje wted, jeŝel rag są param rówe c d. W tm przpadku uporządkowae wków obu prób jest take samo. Wkorzstując to spostrzeŝee oblczm wartość współczka korelacj dla przpadku, ked uporządkowaa elemetów perwszej prób jest odwrote do uporządkowaa elemetów drugej prób. W poŝszej tabel podao rag dla takego przpadku. 0

11 PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE Nr elemetu Rag próba próba Kwadrat róŝc rag Postać składk składk 3 składk (-) - - (3-) (5-) (-5) 5-0b - - (-3) 9-6 N (-) - Sum S S S 3 SUMA Dla oblczea sum S aleŝ oblczć sum poszczególch składków. ZałóŜm, Ŝe lczość prób jest parzsta dowód dla eparzstej lczośc prób przebega w sposób aalogcz. W takm przpadku w powŝszej tabel wstępują take same dwe częśc, góra dola zawerające po / wersz, w którch sum trzech składków są take same. Dla oblczea sum perwszch składków w górej częśc tabel wkorzstam wzór a sumę kwadratów perwszch lczb eparzstch: (4 ) ( ) 3 Tak węc suma perwszch składków górej częśc tabel jest rówa: 4( ) ( ) S ( ) 3 6 / Druge składk moŝa zapsać w postac -(-),,,,/0. A węc ch suma jest rówa: / / ( + ) 3 [ ] S ( ) Suma trzecch składków jest rówa: S 3 3 ZauwaŜm, Ŝe S +S 30, czl S S. Zatem suma kwadratów róŝc rag jest rówa podwojoej sume perwszch składków (aleŝ zsumować składk w górej dolej częśc tabel) wos ( ) ( ) S S 6 3 S

12 WYBRANE TWIERDZENIA WRAZ Z DOWODAMI W tm przpadku współczk korelacj Spearmaa jest rów: ( ) 6 r 3 S ( ) Współczk korelacj Spearmaa przjmuje wartość zero, jeŝel S speła waruek 6S ( ), tz, ked maksmalej. ( ) S, a węc jest rówe połowe wartośc 6 Zatem wkres wartośc współczka korelacj Spearmaa w zaleŝośc od sum S kwadratów róŝc pomędz ragam ma postać astępującą: r S 0 ( 0- )/6 ( 0- )/3 S Wzaczae współczków regresj metodą ajmejszch kwadratów Wkazać, Ŝe metodą ajmejszch kwadratów a podstawe elemetów prób (,,..., ) uzskuje sę astępujące współczk w rówau regresj jedej zmeej a + b s s â r ˆb r (3-5.) s s Metodą ajmejszch kwadratów współczk regresj wzacza sę z waruku F(a, b) ( a b) m W dowodze wkorzstam dodatek. a,b Pochode cząstkowego powŝszego wraŝea względem a b są rówe F(a, b) ( a b) a (9-8.)

13 PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE F(a, b) ( a b) b Po przrówau ch do zera otrzmujem układ rówań F(a, b) ˆ ( a ˆ b) aˆ bˆ 0 a F(a, b) ˆ ˆ ( a ˆ b) ˆ a b 0 b (-8.3) Z drugego rówaa otrzmujem po wprowadzeu ozaczea średej otrzmujem bˆ ˆ a (3-5.4) Wstawając do perwszego z rówań mam aˆ + a ˆ ˆ + a 0 Zatem perwsz z współczków regresj jest rów + + â Wprowadzając ozaczee (wzór os azwę współczka korelacj Pearsoa) ( )( ) r s s gdze: s ( ) s ( ) (3-5.5) (3-5.6) otrzmujem ostateczą postać perwszego z współczków regresj s â r (3-5.7) s PoŜej sprawdzm, ze tak faktcze jest s ( )( ) ( )( ) s â r s s s s s + + s s s Uwzględając, Ŝe zgode z (3-6.) maowk jest rów prawdzwość (3-5.7). s wkazalśm 3

14 WYBRANE TWIERDZENIA WRAZ Z DOWODAMI Drug ze współczków regresj wzaczam ze wzoru (3-5.4) podstawając (3-5.7) s (3-5.8) ˆb r s Oblczam teraz druge pochode fukcj F(a,b) patrz (3-5. ) (3-5.) F [ ( a b) ] a a F [ ( a b)] a b a F [ ( a b)] b b Wzaczam teraz wartość wzaczka F F a a b F F b W a b Wkorzstując (3-6.) otrzmujem PoewaŜ W s ( ) ( ) F 0 >0 > wkazalśm, Ŝe wzaczoe współczk regresj zapewają a mmum wraŝea F(a, b) ( a b) cbdu 3.6. Własośc fukcj regresj Własość Suma róŝc pomędz wartoścam zmeej zaleŝej wartoścam fukcj regresj jest rówa zeru K ( ˆ ) 0 (3-6.) gdze: Oblczm wartość ŷ a + a a ( ) + (*) K ( ˆ ) ˆ Uwzględając (*) oblczm wartość drugej sum 4

15 PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE ŷ a ( ) + a a + a a + Zatem K ( ˆ ) 0 cbdu Własość Suma odchleń dodatch od fukcj regresj jest rówa sume odchleń ujemch ( ˆ ) ( ˆ ) + ( ˆ ) > ˆ < ˆ > ˆ < ˆ ( ˆ ) (ˆ ) (3-6.) > ˆ < ˆ ( ˆ ) ( ˆ ) + ( ˆ ) 0 zgode z powŝej wkazaą własoścą ( ˆ ) ( ˆ ) > ˆ < ˆ ( ˆ ) (ˆ ) cbdu > ˆ < ˆ 5

16 WYBRANE TWIERDZENIA WRAZ Z DOWODAMI 4. RACHUNEK PRAWDOPODOBIEŃSTWA 4.. Prawa de Morgaa 4... Zdarzee przecwe do sum zdarzeń prawo de Morgaa Zdarzee przecwe do sum zdarzeń jest rówe loczow zdarzeń przecwch (A B) A B (4-.) Na podstawe defcj zborów rówch, wstarcz udowodć rówowaŝość: (A B) A B Weźm dowole zdarzee elemetare : (A B) (A B) ( (A B) ( A B) ( A) ( B) cbdu ( A) ( B) A B (A B ) 4... Zdarzee przecwe do loczu zdarzeń prawo de Morgaa Zdarzee przecwe do loczu zdarzeń jest rówe sume zdarzeń przecwch (A B) A B (4-.) Na podstawe defcj zborów rówch, wstarcz udowodć rówowaŝość: (A B) A B Weźm dowole zdarzee elemetare : (A B) (A B) ( A B) ( A B) ( A) B) A B A B (A B ) 4.. Własośc prawdopodobeństwa 4... Prawdopodobeństwo zdarzea emoŝlwego Prawdopodobeństwo zdarzea emoŝlwego jest rówe zeru A A P( A) P(A) P( ) 0 (4-.) P( ) + P(A) P(A) zgode z aksjomatczą defcją prawdopodobeństwa uwzględeem, Ŝe A P( ) P(A) P(A) P( ) 0 cbdu 6

17 PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE 4... Mootoczość prawdopodobeństwa JeŜel zdarzee A pocąga zdarzee B, to prawdopodobeństwo zdarzea A jest e wększe Ŝ prawdopodobeństwo zdarzea B A (B A) B P[ A (B A) ] P(B) A B P(A) P(B) (4-.) P(A) + P(B A) P(B) zgode z aksjomatczą defcją prawdopodobeństwa uwzględeem, Ŝe A (B A) P(A) P(B) P(B A) P(A) P(B) bo P(B A) 0 zgode z aksjomatczą defcją prawdopodobeństwa cbdu Prawdopodobeństwo sum dwóch zdarzeń Wkazać, Ŝe prawdopodobeństwo sum dwóch zdarzeń jest rówe sume prawdopodobeństw tch zdarzeń zmejszoej o prawdopodobeństwo ch loczu P(A B) P(A) + P(B) - P(A B) (4-.3) ) B {[B (A B)] (A B) } [(B A) (A B)] P(B) P {[B (A B)] (A B) } P[(B A) (A B)] P(B) P(B A) + P(A B) poewaŝ zdarzea B-A oraz (A B) wzajeme sę wkluczają P(B A) P(B) P(A B) ) A B A (B A) P(A B) P[A (B A)] P(A B) P(A) + P(B A) poewaŝ zdarzea A oraz (B-A) wzajeme sę wkluczają P(B A) P(A B) P(A) 3) P(B) P(A B) P(A B) P(A) z porówaa wków w ) ) P(A B) P(A) + P(B) P(A B) cbdu Prawdopodobeństwo zdarzea przecwego Wkazać, Ŝe prawdopodobeństwa zdarzea przecwego prawdopodobeństwa zdarzea A A A Ω P(A A ) P( Ω ) A jest rówe róŝc P(A ) P(A) (4-.4) P(A) + P(A ) P( Ω ) zgode z aksjomatczą defcją prawdopodobeństwa z uwzględeem, Ŝe A A P(A) + P(A ) bo P( Ω ) zgode z aksjomatczą defcją prawdopodobeństwa cbdu 7

18 WYBRANE TWIERDZENIA WRAZ Z DOWODAMI NezaleŜość zdarzeń przecwch Wkazać, Ŝe jeŝel zdarzea A A są ezaleŝe, to a) A są param zdarzeń ezaleŝch. A b) A A c) A a) Uwzględając, Ŝe zdarzee przecwe A Ω A oraz korzstając z prawa rozdzelośc moŝea względem odejmowaa - otrzmuje sę P(A A ) P(A (Ω A )) P((A Ω) (A A )) P(A (A A )). PoewaŜ A A A to P(A (A A )) P(A ) P(A A ) oraz P(A A ) P(A ) P(A A ) zdarzea A A są z załoŝea ezaleŝe, czl P(A A ) P(A ) P(A ). Zatem uwzględając, Ŝe dla zdarzea przecwego P( A ) P(A ) otrzmuje sę P(A b) Z a) wka, Ŝe A A ) P(A ) P(A ) * P(A ) P(A ) ( P(A )) P(A ) * P( A ) A c) A, A ezaleŝe A cbdu ( A ) są ezaleŝe, czl A ezaleŝe A A takŝe są ezaleŝe. A A ezaleŝe A A ezaleŝe Prawdopodobeństwo całkowte JeŜel zdarzea A, A,..., A k o dodatch prawdopodobeństwach wkluczają sę param suma ch jest zdarzeem pewm, to dla dowolego zdarzea B zachodz wzór P(B) P(A )P(B/A ) + P(A )P(B/A ) + + P(A k )P(B/A k ) B B Ω B (A A... A ) (B A ) (B A )... (B A ) k k k I k k P(B / A ) P(A ) (4-3.) P(B) P(B A ) + P(B A ) P(B A ) P(B A ) bo zdarzea wzajeme wkluczają sę k P(B) P(B / A ) P(A ) wkorzstae wzoru a prawdopodobeństwo loczu zdarzeń cbdu 4.4. Wzór Baesa Wkazać, Ŝe jeŝel zdarzea A,A,...,A k o dodatch prawdopodobeństwach wkluczają sę param suma ch jest zdarzeem pewm, zaś B jest dowolm zdarzeem o dodatm prawdopodobeństwe, to zachodz wzór A (B \ C) (A B) \ (A C) JeŜel A B to zdarzee B moŝa przedstawć jako wk operacj B A (B A), której prawdzwość wka bezpośredo z lustracj grafczej przpadku A B, zatem P(B) P(A (B A)). Z lustracj tej wka takŝe, Ŝe składk tej sum są rozłącze, czego kosekwecją jest, Ŝe prawdopodobeństwo sum zdarzeń jest rówe sume prawdopodobeństw P(B) P(A) + P(B A) 8

19 PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE P(A / B) j P(A ) P(B / A ) k dla j,..., k (4-3.) P(B / A ) P(A ) P(A j B) P(A j / B) z defcj prawdopodobeństwa warukowego P(B) P(A j B) P(A ) P(B / A ) P(A j / B) wkorzstae wzoru a prawdopodobeństwo k P(B) P(B / A ) P(A ) całkowte (4-3.) cbdu 4.5. Własośc wartośc oczekwaej waracj Wartość oczekwaa waracja loczu stałej zmeej losowej jedorodość Wkazać, Ŝe gdze a stała E(aX) aex (4-5.) D (ax) a D X (4-5.) Rozpatrzm zmea losową cągłą. Ze wzoru a wartość oczekwaą fukcj zmeej losowej E(aX) a f ()d a f ()d a EX a ( EX) f ()d a D X D (ax) [a EaX] f ()d [a aex] f ()d [a( EX)] f ()d W aalogcz sposób przebega dowód dla zmeej losowej skokowej. Prz okazj udowada sę, Ŝe dla dowolej stałej cbdu Ecc (4-5.3) D c0 (4-5.4) W dowodze przjmuje sę ajperw, Ŝe stała c jest realzacją dskretej zmeej losowej o rozkładze jedopuktowm w pukce c, zwam takŝe rozkładem Draca, dla którego fukcja prawdopodobeństwa jest rówa P(Xc), czl P(X c)0. Zatem Ec EX P(X ) P(X c) c c c D c D X P(X ) [ EX] P(X c) (c c) 0 0 cbdu 9

20 WYBRANE TWIERDZENIA WRAZ Z DOWODAMI Wartość oczekwaa sum zmech losowch - addtwość Wkazać, Ŝe jeśl X Y są zmem losowm o wartoścach oczekwach EX EY wówczas wartość oczekwaa sum X + Y jest rówa sume ch wartośc oczekwach E(X + Y) EX +EY (4-5.5) opera sę o określee wartośc oczekwaej fukcj zmeej losowej h(x,y): zmee cągłe zmee skokowe (4-5.6) E[h(X,Y)] h(, ) f (, )dd j j (4-5.7) j E[h(X,Y)] h(, ) p(, ) E(X+Y) moŝa zapsać w przpadku zmech skokowch, operając sę o określee (4-5.7) E(X + Y) ( + ) p(, ) j j j Grupując odpowedo składk sum w powŝszm wzorze dostajem E(X + Y) p(, ) + p(, ) j j j j j p ( ) + p ( ) E(X) + E(Y) j j j gdze p ( ) p ( j ) są rozkładam brzegowm odpowedo zmeej X Y, cbdu. W sposób aalogcz uzasada sę słuszość (4-5.5) w przpadku zmech cągłch. Przekształcea są podobe, tle Ŝe zamast sum wstępują całk, a zamast fukcj prawdopodobeństwa, fukcja gęstośc Wartość oczekwaa loczu zmech losowch Wkazać, Ŝe jeśl X Y są ezaleŝm zmem losowm o wartoścach oczekwach EX EY wówczas wartość oczekwaa ch loczu jest rówa loczow ch wartośc oczekwach E(X Y) EX EY (4-5.8) Słuszość powŝszego wzoru wkaŝem a przkładze zmech cągłch. Wchodząc z określea (4-5.6), mam w aszm przpadku E(X Y)] f (, )dd f () f ()dd f () d f () d EX EY cbdu Aalogcze moŝa wkazać poprawość wzoru (4-3.) w przpadku zmech skokowch. 0

21 PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE Waracja sum ezaleŝch zmech losowch Wkazać, Ŝe jeŝel zmee losowe są ezaleŝe, to waracja ch sum jest rówa sume ch waracj D (X + Y) D X + D Y (4-5.9) W dowodze skorzstam z zaleŝośc D X EX (EX) (4-5.0) której prawdzwość wkazuje sę astępująco D X E(X EX) E[X X EX + (EX) ] EX (EX) + (EX) EX (EX) Podstawając we wzorze (4-5.0) pod X sumę X+Y oraz uwzględając, Ŝe wartość oczekwaa sum zmech rówa jest sume wartośc oczekwach (4-5.5) otrzmuje sę D (X + Y) E(X + Y) [E(X + Y)] E(X + Y) (EX + EY) A oto dalsze przekształcea D (X + Y) E(X + Y) (EX + EY) E(X) + E(X Y) + E(Y) (EX) EXEY (EY) Dla ezaleŝch zmech losowch E(X Y) EX EY - patrz (4-5.8) zatem D (X + Y) E(X) (EX) + E(Y) (EY) Korzstając z (4-5.0) otrzmujem D (X + Y) D X + D Y cbdu Parametr rozkładu stadarzowaej zmeej losowej Wkazać, Ŝe jeŝel zmea losowa X ma wartość oczekwaą EXm odchlee stadardowe DX > 0, to zmea stadarzowaa Y X m Y ma wartość oczekwaą rówą zeru odchlee stadardowe rówe jede Wartość oczekwaa zmeej Y jest rówa EY0, DY (4-5.) X m EY E E(X m) (EX m) (m m) 0 Waracja zmeej Y jest rówa X m + D Y E(Y 0) EY E E(X mx m ) (EX m ) Ale m to przeceŝ EX, a to D X - czl ostatecze D Y ( EX (EX) ) D X D X cbdu D X

22 WYBRANE TWIERDZENIA WRAZ Z DOWODAMI 4.6. Parametr wbrach rozkładów Wartość oczekwaa waracja zmeej losowej o rozkładze dwumaowm Wartość oczekwaa zmeej losowej X podlegającej rozkładow dwumaowemu k k P(X k) p q k z parametrem p jest rówa EX p WkaŜem to ajperw korzstając z defcj wartośc oczekwaej k k EX k P(X k) k p q k 0 k 0 k! Uwzględając, Ŝe k otrzmujem k!( k)!! k k EX k p q k!( k)! Uwzględając, Ŝe!(-)! oraz p k 0 k k p p otrzmujem k( )! k k ( )! k k EX p p q p p q k!( k)! ( k)!(k )! k 0 k 0 Podstawm k- r ( )! ( )! EX p p q p p q k 0 ( k)!(k )! r 0 ( r )!(r)! ( )! Ale ( r )!(r)! r czl r r EX p p q r 0 r Dla oblczea p r q r r 0 r podstawm m-, otrzmam wted m r r m r m r p q p q r 0 r r 0 r k k r r Zgode ze wzorem Newtoa ( + ) k 0 k r 0 Ale p + q, czl p r q r r 0 r k k m m p q (p + q) r r m r m Wkorzstując powŝsz wk w (*) mam ostatecze EX p cbdu otrzmujem PowŜszą rówość moŝa udowodć w prostsz sposób uwzględając, Ŝe zmea losowa o rozkładze dwumaowm X jest sumą ezaleŝch zmech losowch o rozkładze dwupuktowm, którch wartość oczekwaa jest rówa p atomast waracja p(-p). (*)

23 PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE Uwzględając, Ŝe wartość oczekwaa sum X + Y jest rówa sume ch wartośc oczekwach (4.5.5) otrzmujem EX p. Korzstając z własośc waracj: zmee losowe są ezaleŝe, to waracja ch sum jest rówa sume ch waracj (4.5.9) otrzmujem, Ŝe D X p( p) Wartość oczekwaa rozkładu rówomerego Dla przkładowej gęstośc rozkładu ormalego, przedstawoej a poŝszm rsuku f() b a a a + b Wartość oczekwaa jest rówa średej artmetczej końców przedzału Itucje wartość oczekwaa leŝ pośrodku odcka [a,b], jego połowa jest rówa b a. Zatem b a a + b a a + b a + Wartość oczekwaą moŝem oblczć korzstając z jej defcj b b b a (b a)(b + a) a + b EX d b a b a a b a (b a) a Warację oblczm z zaleŝośc D X EX (EX) korzstając z oblczoej EX b b b b a (b a)(a + ab + b ) a + ab + b EX d d a b a b a a b a 3 a 3(b a) 3(b a) 3 Zatem b a + ab + b a + b 4a + 8ab + 4b 3a 6ab 3b a + ab + b (a + b) D X Współczk asmetr spłaszczea rozkładu ormalego WkaŜem ajperw, Ŝe współczk asmetr rozkładu ormalego jest rów zeru E(X m) γ 0 3 W tm celu przedstawm wzór a współczk w postac E(X m) E(X 3X m + 3Xm m ) EX 3mEX + 3m EX m γ W przkładze zameszczom w pukce 4. oblczlśm juŝ m EX m m EX m + 3

24 WYBRANE TWIERDZENIA WRAZ Z DOWODAMI Zatem aleŝ jeszcze oblczć momet trzecego rzędu. W tm celu korzstając z wków przkładu z puktu 4. wzaczm trzecą pochodą fukcj M (t) d dt 3 3 d M (t) [a(t)b (t) + a(t) ] a (t)b (t) + a(t)b(t)b (t) + a (t) dt X Wkorzstując wartośc pochodch a (t)a(t)b(t) b (t) X otrzmujem 3 d M X (t) a(t)b (t) + a(t)b(t) + a(t)b(t) a(t)b (t) + 3a(t)b(t) dt Czl uwzględając, Ŝe a(0) b(0)m 3 d m EX M (t) a(0)b (0) + 3a(0)b(0) m + 3m 3 t o dt Zatem współczk asmetr rozkładu ormalego jest rów X m 3m 3m (m ) 3m m m 0 γ 0 cbdu W drugej kolejośc wkaŝem, Ŝe współczk spłaszczea rozkładu ormalego zmeej losowej jest rów zeru E(X m) kurt W tm celu oblczm ajperw wartość sum E(X m) E(X m)(x m) E(X m)(x 3X m + 3Xm m ) E(X 3X m + 3X m Xm X m + 3X m 3Xm + m ) E(X 4X m + 6X m 4Xm + m ) EX 4mEX + 6m EX 4m EX + Em 4 4 Do oblczea tego współczka brakuje tlko mometu czwartego rzędu. W tm celu korzstając z oblczoego powŝej mometu trzecego rzędu wzaczm czwartą pochodą fukcj M (t) d dt X d M (t) [a(t)b (t) + 3a(t)b(t) ] a (t)b (t) + a(t)3b (t)b (t) + 3a (t)b(t) + 3a(t)b(t) dt X Wkorzstując wartośc pochodch a (t) b (t) otrzmujem d 4 4 M X (t) a(t)b (t) + a(t)3b (t) + 3a(t)b (t) + 3a(t) dt Czl 4 4 d 4 4 m4 EX M 4 X (t) a(0)b (0) + a(0)3b (0) t o + 3a(0)b (0) + 3a(0) dt m + 6m

25 PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE Zatem wartość sum jest rówa EX 4mEX + 6m EX 4m EX + Em kurt m + 6m + 3 4m (m + 3m ) + 6m (m + ) 4mm + m m + 6m + 3 4m m + 6m + 6m 4m + m Uwzględając otrzma wk w defcj współczka spłaszczea dla rozkładu ormalego mam 4 E(X m) kurt cbdu Rozkład przkładowch fukcj zmech losowch Rozkład zmeej losowej będącej lowm przekształceem zmeej losowej o rozkładze ormalm Wkazać, Ŝe jeŝel zmea losowa X ma rozkład ormal X: N(m, ) to zmea losowa Y ax + b ma takŝe rozkład ormal: X: N(am +b, a ) X : N(m, ) Y ax + b : N(am + b, a ) (4-7.). Oblczm fukcję tworzącą momet (4-.) dla zmeej X o rozkładze ormalm N(m, ) ( m ) ( m ) t t M X(t) e e d e d Π Π Wprowadźm ową zmeą: skąd Zatem m v v + m oraz d dv v v t(v tm + m ) tv e M X(t) e dv e dv Π Π MoŜa łatwo sprawdzć, Ŝe wkładk w wraŝeu podcałkowm moŝa zapsać w postac: Zatem v tv t (v t ) t tm t (v t ) (v t ) e tm + e M X(t) e dv e dv Π Π 5

26 WYBRANE TWIERDZENIA WRAZ Z DOWODAMI Wprowadźm ową zmeą a v t, prz której dv da. Zatem t tm + a e M X(t) e da Π PoewaŜ moŝa udowodć, Ŝe a e da Π fukcja tworząca momet dla zmeej X o rozkładze ormalm ma postać M X(t) Wkorzstując zaleŝość (4-.3) otrzmujem t bt M Y (t) M ax+ b (t) e M X (at) A po wkorzstau (4-5.) mam tm + e (4-7.) a t t (a ) atm + bt bt t(am + b) Y ax+ b X M (t) M (t) e M (at) e e e e Porówując postać M Y (t) z M X (t) moŝa zauwaŝć, Ŝe M Y (t) jest fukcją tworzącą momet zmeej losowej Y ax + b o rozkładze: N(am +b, a ) a poewaŝ fukcja tworząca momet zmeej losowej wzacza jedozacze jej rozkład, węc rzeczwśce rozkład fukcj lowej Y ax +b zmeej losowej X o rozkładze ormalm jest rozkładem ormalm o w/w parametrach. cbdu Na podstawe powŝszego twerdzea moŝa łatwo udowodć, Ŝe: X m X : N(m, ) Y : N(0,) : X m m m Y X + ( ) a X + b gdze: a X oraz b m m m a m + b 0 a cbdu Rozkład sum ezaleŝch zmech losowch o rozkładach ormalch Wkazać, Ŝe jeŝel X Y są ezaleŝm zmem losowm, prz czm X: N(m, ) Y: N(m, ) to ch suma Z X + Y ma rozkład N(m +m, + ). X : N(m, ) Y : N(m, ),f (, ) f () f () X + Y : N(m + m, + ) (4-7.3) 3 Uwzględając postać fukcj tworzącej momet zmeej losowej o rozkładze ormalm (4-7.) jej własość (4-.4) oblczm fukcję tworzącą zmeej losowej będącą sumą ezaleŝch zmech losowch o rozkładach ormalch t t ( + ) t tm + tm + t(m + m ) M X+ Y (t) e e e e 6

27 PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE Porówując postać M X+Y (t) z M X (t) moŝa zauwaŝć, Ŝe M X+Y (t) jest fukcją tworzącą momet zmeej losowej N(m +m, ) +, a poewaŝ tworząca momet zmeej losowej o dam rozkładze wzacza jedozacze rozkład tej zmeej węc rzeczwśce rozkład sum ezaleŝch zmech losowch o rozkładach ormalch jest rozkładem ormalm N(m +m, ) +. cbdu Własość powŝszą często azwa sę własoścą addtwośc rozkładu ormalego. Rozkład ormal ma takŝe ą cekawą własość: JeŜel Z X + Y, prz czm: zmea Z ma rozkład ormal zmee X Y są ezaleŝe to kaŝda ze zmech X Y mus meć rozkład ormal. Własość tą określa twerdzee Cramera, które moŝa wpowedzeć takŝe w sposób astępując: Jeśl suma dwóch zmech losowch ezaleŝch ma rozkład ormal, to kaŝda zmea losowa będąca składkem sum ma teŝ rozkład ormal Aalza korelacj regresj Własośc współczka korelacj ) Współczk korelacj speła podwóją erówość: ) Warukem koeczm wstarczającm a to, ab jest co moŝa zapsać w postac Ad ) Podstawą jest zmea losowa gdze t dowola stała ρ (4-8.) P(Y a X + b) gdze a 0 (4-8.) ρ (4-8.3) ρ P(Y a X + b) gdze a 0 (X m ) (Y m ) + Z(t) [t ] (4-8.4) Oblczam jej wartość oczekwaą korzstając z (4-8.5) t EZ(t) E(X m ) + E(Y m ) + t E (X m )(Y m ) t + + t µ t + + tρ (4-8.5) (4-8.6) Z przjmuje tlko wartośc eujeme (fukcja kwadratowa), stąd jej wartość oczekwaa przjmuje takŝe tlko eujeme wartośc t + + tρ 0 (4-8.7) 7

28 WYBRANE TWIERDZENIA WRAZ Z DOWODAMI Ab waruek te zachodzł dla dowolego t mus bć ρ 0 (jest to waruek a to, ab dla rówaa (4-8.6) (4-8.) cbdu Ad ) b 4ac 4ρ 4 4( ρ ) 0), z czego bezpośredo wka ZałóŜm, ze waruek (4-8.3) jest speło. Wted m EY E(a X + b) a m µ E(X m )(Y m ) E[(X m )(ax + b am b)] E[(X m )(ax am )] a E[(X m )(X m )] a E[(X m ) ] a E(Y m ) E(aX b m ) E(aX b am b) E(aX am ) a E(X m ) a + + Uwzględając w defcj współczka korelacj powŝsze wk otrzmujem, Ŝe jego kwadrat jest rów µ ρ a a a co aleŝało wkazać. WkaŜem teraz, Ŝe z załoŝea (4-8.3) wka (4-8.). PowŜej udowodoo, Ŝe wartość oczekwaa zmeej losowej Z(t) określoej (4-8.5) jest rówa EZ(t) t + tρ + WróŜk trójmau kwadratowego t + tρ + jest określo zaleŝoścą 4( ρ ) prz załoŝeu (4-8.3) przjmuje wartość 0. Węc trójma ma jedo mejsce zerowe rówe Dla tego mejsca zerowego t 0 b ρ ρ a EZ( ρ ) 0 czl zmea losowa Z(t) ma rozkład zero-jedkow, a wartość ρ wstępuje z prawdopodobeństwem. JeŜel EZ( ρ ) 0 to takŝe Z( ρ ) 0. RozwąŜem teraz rówae Z( ρ ) 0. Uwzględając (4-8.5) otrzmujem w kosekwecj (X m ) [ ρ + ] 0 (Y m ) (X m ) (Y m ) RozwąŜem to rówae względem Y (Y m ) (X m ) ρ ρ + Y m ρ (X m ) 0 8

29 PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE Wprowadzając ozaczea a Y ρ X ρ m + m ρ oraz b ρ m + m (*) moŝem zapsać (*) w postac Y a X + b, która prz ρ wstępuje z prawdopodobeństwem rówm. Zatem wkazalśm prawdzwość (4-8.4) cbdu Uwaga: PoewaŜ ρ węc ρ lub ρ -. JeŜel ρ to a ρ a ρ >0 czl zaleŝość Y a X + b jest rosąca. JeŜel ρ - to < 0 czl zaleŝość Y a X + b jest malejąca Fukcja regresj drugego rodzaju Wkazać, Ŝe fukcja Y ax + b jest fukcją regresj rodzaju, tz. zapewa mmum wraŝea F(a,b) E[Y (ax b)] m (4-8.) jeŝel jej współczk są rówe â ρ oraz ˆb m ρ m tz. ma postać W dowodze wkorzstam dodatek. Y ρ X + m ρ m WraŜee będące podstawą wzaczea fukcj regresj moŝa przekształcć w sposób astępując [Y (ax + b)] [Y (ax + b) + (m m + a m a m )] [(Y m ) a (X m ) + (m a m b)] (4-8.) Korzstając z (4-5.3) (4-5.5) oraz wprowadzając zae ozaczea otrzmujem fukcję krterum (4-8.) w postac F(a, b) E(Y m ) + a E(X m ) + (m a m b) ae(x m )(Y m ) + a + (m a m b) aµ 9

30 WYBRANE TWIERDZENIA WRAZ Z DOWODAMI Dla zalezea mmum powŝszego wraŝea oblczam jego pochode względem a b oraz przrówujem je do zera otrzmując F(a, b) aˆ ˆ ˆ m (m a m b) µ 0 a F(a, b) (0-8.3) (m ˆ ˆ a m b) 0 b Z drugego rówaa otrzmujem bˆ m aˆ m (4-8.4) wstawam do perwszego rówaa aˆ m (m aˆ m m + aˆ m ) µ aˆ µ 0 Stąd otrzmujm, Ŝe perwsz ze współczków regresj jest rów µ â (4-8.5) Wstawając (4-8.5) do (4-8.4) mam zaleŝość do wzaczea drugego współczka µ ˆb m m (4-8.6) Uwzględając, Ŝe współczk korelacj jest rów µ ρ otrzmujem ostatecze â ρ ˆb m ρ m (4-8.7) Sprawdzm teraz wkorzstując druge pochode, cz wzaczoe współczk mmalzują fukcję krterum F(a,b). F(a, b) F(a, b) a a a a [a m (m a m b) µ ] + m F(a, b) F(a, b) [ (m a m b)] m a b a b a F(a, b) F(a, b) [ (m a m b)] b b b b Wzaczam teraz wartość wzaczka F F a a b + m m m + m W (m + m ) > 0 F F m m a b b PoewaŜ F m 0 + > wkazalśm, Ŝe wzaczoe współczk regresj a zapewają mmum wraŝea F(a,b) E[Y (ax b)] cbdu 30

31 PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE 5. STATYSTYKA MATEMATYCZNA 5.. Rozkład wbrach statstk 5... Rozkład średej z prób o rozkładze ormalm Średa artmetcza ezaleŝch elemetów prób rozkład X : N(m, ) X X gd X : N(m,) ma X : N ( m, ) X X : N(m, ) (5-.) przebega podobe jak dla twerdzea (3-7.) z rachuku prawdopodobeństwa. Wkorzstam fukcję tworzącą momet (3-.) Zgode z twerdzeem (3-7.) zmea losowa z (3-7.) fukcja tworząca momet ma postać: Xma rozkład N( m, ) zgode Zgode z (3-.) otrzmujem M (t) e X t tm+ t M X M (t) M ( ) e X X t tm+ Porówując otrzma wk z z fukcją tworzącą rozkładu ormalego (3-5.3) wdać, Ŝe stote otrzmaa fukcja tworząca zmeej X jest fukcją tworzącą rozkładu ormalego z wartoścą oczekwaa m waracją, co moŝa zapsać X : N(m, ) cbdu 5... Rozkład uormowaej średej cech o rozkładze ormalm W podpukce podalśm defcję rozkładu Studeta z stopam swobod jako rozkładu zmeej losowej X T Y / gdze X jest zmeą losową o rozkładze ormalm N(0,), Y zmeą losową o rozkładze χ z stopam swobod, X Y są zmem losowm ezaleŝm. Jeśl cecha X populacj ma rozkład ormal N(m, ), to statstka U - S X -m ma rozkład Studeta z - stopam swobod. 3

32 WYBRANE TWIERDZENIA WRAZ Z DOWODAMI X -m Rzeczwśce, zmea losowa ma rozkład ormal N(0,), zaś zmea losowa / S ma rozkład χ z - stopam swobod oraz jak moŝa udowodć obe zmee losowe są ezaleŝe, węc statstka X -m S U : / (-) ma rozkład Studeta z - stopam swobod. Ale X -m - X -m U - S S Rozkład róŝc średch ezaleŝch cech o rozkładach ormalch Badae są dwe populacje: perwsza ze względu a cechę X druga ze względu a cechę Y. Ozaczea - lczebość prób pobraej z perwszej populacj X - średa z prób pobraej z perwszej populacj S - waracja z prób pobraej z perwszej populacj - lczebość prób pobraej z drugej populacj Y - średa z prób pobraej z drugej populacj S - waracja z prób pobraej z drugej populacj Jeśl cech X Y są ezaleŝe mają rozkład ormale odpowedo N(m, ) N(m, ), to statstka X -Y U + ma rozkład ormal N(0,). Twerdzee to wka z twerdzea o rozkładze róŝc zmech losowch ezaleŝch o rozkładach ormalch. Jeśl cech X Y są ezaleŝe mają jedakowe rozkład ormale N(m, ), to statstka X -Y U ( + -) S + S + ma rozkład Studeta z + - stopam swobod. Rzeczwśce, statstka statstka X ma rozkład ormal Y ma rozkład ormal N m, N m, 3

33 PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE statstka X - Y ma rozkład ormal X -Y węc statstka + N 0, + ma rozkład ormal N(0,) S statstka ma rozkład χ z -stopam swobod S zaś statstka ma rozkład χ z -stopam swobod S + S zatem statstka ma rozkład χ z +-stopam swobod zatem zgode z defcją rozkładu Studeta, statstka czl statstka X -Y + : S + S ( + -) X -Y S + S + ma rozkład Studeta z +-stopam swobod. ( + -) Jeśl cech X Y są ezaleŝe mają dowole rozkład o tej samej wartośc oczekwaej m o odchleach stadardowch dodatch (ekoecze rówch), to statstka X -Y U S S + ma rozkład w przblŝeu ormal N(0,), dla duŝch. Rzeczwśce, a podstawe twerdzea o rozkładze asmptotczm średej z prób (ppkt 4..) statstk X Y mają rozkład w przblŝeu ormale N m, N m,, węc statstka X -Y + ma rozkład w przblŝeu ormal N(0,). Rozkład adal pozostae rozkładem w przblŝeu ormalm N(0,), gd waracje populacj zastąpm waracjam z prób S S. 33

34 WYBRANE TWIERDZENIA WRAZ Z DOWODAMI Rozkład lorazu waracj z prób Wcześej zdefowalśm rozkład Sedecora z parą stop swobod (r, r ) jako rozkład zmeej losowej 3 Y/r F, gdze Y Z są ezaleŝm zmem losowm o rozkładach Z/r χ odpowedo z r r stopam swobod. Jeśl cech X Y populacj mają rozkład ormale odpowedo N(m, ) N(m, ) są ezaleŝe, to statstka S /( -) U S /( -), czl statstka Ŝ U Ŝ ma rozkład Sedecora o parze, ) stop swobod. ( S Rzeczwśce statstka ma rozkład S ma rozkład χ z stopam swobod, zatem statstka S :( -) S /( -) S :( -) S /( -) ma rozkład Sedecora z parą (, ) stop swobod Rozkład wskaźka struktur χ z - stopam swobod, zaś statstka Ozaczea Y - zmea losowa ozaczająca lczbę sukcesów w dośwadczeach Beroullego 4, p - prawdopodobeństwo sukcesu w jedm dośwadczeu, Y - wskaźk struktur (częstość sukcesu). PoewaŜ zmea losowa Y ma rozkład dwumaow z parametram p, węc zgode z tegralm tw. Movre a-laplace a ma oa rozkład asmptotcze ormal Y N( p, p(-p) ), zatem częstość sukcesu ma rozkład asmptotcze ormal p(-p) N p,, co zapszem w poŝszej postac. Częstość sukcesu Y ma rozkład asmptotcze ormal p(-p) prawdopodobeństwem sukcesu w jedm dośwadczeu. N p,, gdze p jest 3 Patrz pkt jw. ppkt

35 PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE 5.. ObcąŜoość waracj z prób Wkazać, Ŝe waracja z prób populacj. Oblczm wartość oczekwaą waracj otrzmujem S jest estmatorem obcąŝom waracj cech ES (5-.) E(S ). Korzstając z (3-6.) S X X E(S ) E(X ) E X Zmee X (,,,) mają detcze rozkład, zatem E(X ) przjmuje taką samą wartość dla wszstkch, wartość tą ozaczam przez E(X ), czl E(X ) E(X ) Z kole E X E X X jx k E(X ) E(X j)e(x k ) + + j,k j,k j k j k PoewaŜ E(X j) E(X k ) m dla j,k,,, oraz uwzględając ozaczee E(X ). j,k j k E X E(X ) + m m Lczba par (j,k) j,k,, jest rówa, a lczba par (j,k) w którch jk jest rówa. Zatem lczba par w drugej z powŝszch sum jest rówa - ( ). Zatem E X E(X ) + ( )m Zatem wartość oczekwaa waracj z prób E(S ) E(X ) E(X ) m E(X )( ) m E(X ) m E(X ) m Ale E(X ) m, czl ostatecze E(S ) Otrzma wk wskazuje, ze waracja z prób S jest obcąŝom estmatorem waracj gdŝ E(S ). Cbdu 35

36 WYBRANE TWIERDZENIA WRAZ Z DOWODAMI 5.3. Wzaczae estmatorów metodą ajwększej warogodośc Estmator parametru p rozkładu zero-jedkowego Wkazać, Ŝe metodą ajwększej warogodośc a podstawe prób (,,..., ) której elemet są rówe 0 lub, otrzmuje sę estmator wartośc parametru p rozkładu zerojedkowego w postac ˆp (5-3.) Fukcja prawdopodobeństwa rozkładu zero-jedkowego ma postać p dla P(X ) p dla 0 Jeśl wstąpee w próbe ozacza sukces, to p jest częstoścą sukcesu. Nech k ozacza lczbę w próbe. Wted wzór (5-3.) przjmuje postać k (5.3.) ˆp (5-3.3) Po uwzględeu (3.5.) fukcja warogodośc ma postać k k L(p) P(X )...P(X ) p ( p) Prz poszukwau maksmum fukcj L(p) wgodej posługwać sę logartmem tej fukcj, gdŝ fukcja L(p) przjmuje maksmum w tm samm pukce, co fukcja l L(p), a a ogół łatwej jest zaleźć maksmum ll(p), aŝel maksmum L(p). Logartm fukcj L(p) jest rów l L(p) k l p + ( k )l( p) Po zróŝczkowau względem parametru p otrzmujem d l L(p) k k dp p p Po przrówau pochodej do zera otrzmujem Przekształcam powŝsze rówae + k k p p + 0 k k pˆ pˆ k ( p) ˆ ( k )pˆ k k pˆ pˆ k pˆ k pˆ Czl ostatecze k ˆp 36

37 PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE Druga pochoda logartmu fukcj warogodośc jest rówa k k k k dp dp p p p ( p) d l L(p) d [ + ] + k Podstawając do powŝszego rówaa p otrzmujem d l L(p) k k k k dp k k ( ) k k k k k + k + > k k k ( k ) k ( k ) 3 0 Zatem wzaczoe ˆp zapewa mmum fukcj warogodośc. cbdu Estmator parametru Θ rozkładu wkładczego Wkazać, Ŝe metodą ajwększej warogodośc a podstawe prób (,,..., ) otrzmuje sę estmator parametru Θ cech X o rozkładze wkładczm w postac Θ ˆ (5-3.4) Uwzględając, Ŝe gęstość rozkładu wkładczego ma postać otrzmuje sę fukcję warogodośc w postac f () Θ e Θ Θ Θ Θ L( Θ ) f ( )...f ( ) Θe... Θ e Θ e Prz poszukwau maksmum fukcj L( Θ ) wgodej posługwać sę logartmem tej fukcj, gdŝ fukcja L( Θ ) przjmuje maksmum w tm samm pukce, co fukcja l L( Θ ), a a ogół łatwej jest zaleźć maksmum l L( Θ ), aŝel maksmum L( Θ ). Logartm fukcj L( Θ ) jest rów l L( Θ ) l Θ Θ Po zróŝczkowau względem parametru p otrzmujem d l L( Θ ) Θ Θ d Po przrówau pochodej do zera otrzmujem 0 ˆ 0 Θ 37

38 WYBRANE TWIERDZENIA WRAZ Z DOWODAMI Czl ostatecze Θ ˆ Druga pochoda fukcj warogodośc jest rówa d l L( Θ ) 0 < dθ Θ Zatem wzaczoe ˆΘ zapewa mmum fukcj warogodośc. cbdu Estmator parametru rozkładu Possoa Cecha populacj ma rozkład Possoa z parametrem λ. Wzaczm ENW tego parametru Rozwązae (,..., ) - realzacja prób. Fukcja wargodośc rozkładu Possoa λ -λ λ -λ λ -λ L(λ) P(X,, X ) P(X ) P(X ) e... e e!!!...! PoewaŜ fukcja L(λ) jest dodata, węc steje fukcja S(λ) ll(λ) obe mają ekstrema w tch samch puktach, ale łatwej je wzaczć dla fukcj S(λ) S(λ)( )lλ - λ - l(!...!) S(λ) - λ S(λ) - < 0 λ S(λ)0 ˆ -0 λ λ PoewaŜ dla ˆλ mam S (λ)0 ˆ oraz S (λ)<0 ˆ, węc fukcja S, a takŝe fukcja wargodośc L ma maksmum w tm pukce. Zatem ENW dla parametru λ rozkładu Possoa jest statstka X Xk k 5.4. Wzaczae współczków regresj metodą ajwększej warogodośc Wkazać, Ŝe metodą ajwększej warogodośc. gd dla kaŝdego cecha Y ma rozkład ormal N(a+b,), tz. gęstość zmeej losowej prz ustaloej wartośc ma postać ( a b) f () e π uzskuje sę astępujące współczk w rówau regresj jedej zmeej a + b s s â r ˆb r (5-4.) s s 38

39 PODSTAWY PROBABILISTYKI Z PRZYKŁADAMI ZASTOSOWAŃ W INFORMATYCE Fukcja warogodośc ma postać: ( a b) ( a b) ( a b) L(a,b) e... e e π π π Prz poszukwau maksmum fukcj L(a,b) wgodej posługwać sę logartmem tej fukcj, gdŝ fukcja L(a,b) przjmuje maksmum w tm samm pukce, co fukcja l L(a,b), a a ogół łatwej jest zaleźć maksmum l L(a,b), aŝel maksmum L(a,b). Logartm fukcj L(a.b) jest rów l L(a, b) l + l ( a b) π Po oblczeu pochodch powŝszego wraŝea względem a b oraz przrówau ch do zera otrzmujem układ rówań: ( a ˆ b) ˆ 0 ( a ˆ b) ˆ 0 (4-4.) Jest to aalogcz układ rówań jak (3-8.), ma o węc aalogcze rozwązaa w postac (5-4.). cbdu 39