Elementy statystyki matematycznej

Transkrypt

1 Elemety statystyki matematyczej Program kursu:. Podstawy rachuku prawdopodobieństwa. Zdarzeia elemetare i losowe - zmiea losowa. Rozkłady zmieych losowych.3 Rozkłady wielowymiarowe.4 Rozkłady brzegowe i warukowe.5 Momety zmieych losowych. Estymatory mometów i parametrów zmieej losowej. Wartość średia i iepewość stadardowa. Średia waŝoa.3 Współczyik korelacji.4 Moda, mediaa i kwartyle 3. Estymacja 3. Metoda mometów 3. Metoda ajwiększej wiarogodości 3.3 Przedział ufości R.J. Nowak

2 Elemety statystyki matematyczej 4. Testy hipotez 4. Wprowadzeie 4. Poziom istotości 4.3 Test istotości 4.4 Wartość p testu 4.5 Statystyka ilorazu wiarogodości 4.6 Test Studeta dla jedej próbki 4.7 Test parametru σ rozkładu Gaussa 4.8 Test Studeta dla dwóch próbek iepowiązaych 4.9 Test F 4.0 Test Studeta dla próbek powiązaych 4. Test współczyika korelacji 4. Test jedorodości w tablicach wielodzielczych 4.3 Test dokłady Fishera 4.4 Test iezaleŝości w tablicach wielodzielczych 4.5 Testy ieparametrycze - wprowadzeie 4.6 Test zgodości χ Pearsoa R.J. Nowak

3 Elemety statystyki matematyczej Rachuek prawdopodobieństwa: J. Jakubowski, R. Sztecel - Wstęp do teorii prawdopodobieństwa, SCRIPT, Warszawa 00 W. Feller, Wstęp do rachuku prawdopodobieństwa, tom, PWN, Warszawa 966, tom, Warszawa 969 Statystyka matematycza: A. Łomicki, Wprowadzeie do statystyki dla przyrodików, Wydawictwo Naukowe PWN, Warszawa 999 A. Plucińska, E. Pluciński, Probabilistyka, Wydawictwo Naukowo- Techicze, Warszawa 000 L.T. Kubik, Zastosowaie elemetarego rachuku prawdopodobieństwa do wioskowaia statystyczego, Wydawictwo Naukowe PWN, Warszawa 998 J. Koracki, J. Mieliczuk, Statystyka dla studetów kieruków techiczych i przyrodiczych, Wydawictwo Naukowo-Techicze, Warszawa 00 M. Fisz, Rachuek prawdopodobieństwa i statystyka matematycza, PWN, Warszawa, 969 R. Zieliński, Siedem wykładów wprowadzających do statystyki matematyczej, PWN, Warszawa, 990 ( R.J. Nowak 3

4 . Zdarzeia elemetare i losowe Drejdel - urządzeie do produkowaia zdarzeń elemetarych נ - Nu ג - Gimmel ה - Hei ש - Szi Nes Gadol Haja Szam czyli: wielki cud zdarzył się tam R.J. Nowak 4

5 . Zdarzeia elemetare i losowe Przeliczale zdarzeia elemetare: drejdel, gatuek złapaego chrząszcza, wiek męŝa i Ŝoy. Cotiuum zdarzeń elemetarych: ruletka w kolorze tęczy, oczekiwaie a karetkę pogotowia, kolor oczu i włosów. Zdarzeie elemetare: w uproszczeiu - wyik pojedyczego eksperymetu. Przestrzeń zdarzeń elemetarych Ω to zbiór wszystkich moŝliwych wyików eksperymetu. Wybór przestrzei zdarzeń elemetarych to zadaie spoczywające a barkach badacza stosującego metody rachuku prawdopodobieństwa i statystyki matematyczej w swoich badaiach. Zmiea losowa - dyskreta lub ciągła - to fukcja liczbowa, skalara lub wektorowa, przyporządkowująca zdarzeiu elemetaremu pojedyczą liczbę (aturalą, całkowitą, rzeczywistą...), czyli skalarą zmieą losową lub zespół takich liczb, czyli wektorową zmiea losową. Przyporządkowaie to leŝy w wyłączej gestii badacza i odbywa się a jego odpowiedzialość. R.J. Nowak 5

6 . Zdarzeia elemetare i losowe Przestrzeń zdarzeń losowych: zbiór wszystkich podzbiorów zdarzeń elemetarych wraz ze zdarzeiem pewym, czyli zdarzeiem złoŝoym z całej przestrzei zdarzeń elemetarych i zdarzeiem iemoŝliwym, reprezetowaym zbiorem pustym. Od przestrzei zdarzeń losowych wymagamy, aby jeśli aleŝy do iej pewe zdarzeie, to takŝe aleŝy do iej zdarzeie przeciwe, jak rówieŝ powia zawierać wszystkie sumy i iloczyy zdarzeń losowych. Zdarzeie losowe: elemet przestrzei zdarzeń losowych. PRZYKŁAD: zdarzeia dyskrete: losowaie totolotka - przestrzeń zdarzeń elemetarych to zbiór wszystkich umerków, a zdarzeie losowe to p. trafieie trójki ; cotiuum zdarzeń elemetarych: czas oczekiwaia a autobus kursujący co kwadras - przestrzeń zdarzeń elemetarych to odciek [0;900] s a osi rzeczywistej, zdarzeie elemetare to p. czas oczekiwaia 5 mi i 3 s, a zdarzeie losowe to czas oczekiwaia dłuŝszy iŝ p. 3 mi, lub p. dłuŝszy iŝ 5 mi i jedocześie krótszy iŝ 7 mi. R.J. Nowak 6

7 . Zdarzeia elemetare i losowe Pewiki Kołmogorowa: istieje miara P(A) zdarzeia losowego A taka, Ŝe: 0 P(A), P(Ω) =, jesli A i B są zdarzeiami losowymi takimi, Ŝe zdarzeie A B jest zdarzeiem iemoŝliwym (zbiorem pustym), to P(A B) = P(A) + P(B). Z tych trzech pewików, uzupełioych o szereg dodatkowych pojęć, wyika cała teoria prawdopodobieństwa, a w szczególości otrzymujemy z ich dwa podstawowe prawa: ( ) = ( ) ( ) = ( ) + ( ) ( ) P A P A, gdzie A jest zdarzeiem przeciwym do A, P A B P A P B P A B, jesli zdarzeia A i B ie wykluczają się. Teoria prawdopodobieństwa igdy ie podpowiada am, jak mamy wybrać ową miarę P w kaŝdym kokretym przypadku. Wybór te pozostawioy jest badaczowi wykorzystującemu rachuek prawdopodobieństwa i statystykę matematyczą w swej pracy. Sytuacja jest aalogicza do tej, jaką spotykamy w auce geometrii, w której igdzie ie jest powiedziae jak aleŝy mierzyć odległość. R.J. Nowak 7

8 . Rozkład jedostajy - totolotek Zmiea losowa o wartości k =,, 3,..., (= 49) i prawdopodobieństwo: ( ) P k = rozkład jedostajy częstość 0,05 0,00 0,05 0,00 0,005 0,000 Losowaie "umerków" w totku, N = wylosoway "umerek" k Jedostajy charakter rozkładu ozacza rzetely charakter maszyy losującej - załoŝeie to odzwierciedla miemaie budującego model probabilistyczy badaego zjawiska. R.J. Nowak 8

9 . Rozkład jedostajy - wulkay 3380 erupcji w latach , zgrupowaych w miesiącach ; zmiea losowa o wartości k =,, 3,..., (= ) Maso, B. G., D. M. Pyle, W. B. Dade, ad T. Jupp (004), Seasoality of volcaic eruptios, J. Geophys. Res., 09,B0406 częstość 0,0 0,08 0,06 0,04 0,0 0,00 I II III IV V VI VII VIII IX X XI XII miesiąc P ( k ) = rozkład jedostajy Jedostajy charakter rozkładu domiemuje jedakowe prawdopodobieństwo erupcji w kaŝdym miesiącu - załoŝeie to odzwierciedla opiię budującego model probabilistyczy badaego zjawiska. R.J. Nowak 9

10 Iterludium - prawdopodobieństwo warukowe Prawdopodobieństwo, Ŝe przypadkowo wybraa osoba: zdrowi daltoiści suma męŝczyźi N MZ N MD N M kobiety N KZ N KD N K suma N Z N D N ( ) P D K N N N KD KD = = = N N K K N ( D) P ( K ) P K Prawdopodobieństwo P(A B) warukowe zdarzeia losowego A pod warukiem wystąpieia zadaego (ielosowego) zdarzeia B: ( ) ( ) K P K ( B) P ( B) P A P A B =. R.J. Nowak 0 N N N N = - jest kobietą ( ) D P D = - cierpi a daltoizm prawdopodobieństwo, Ŝe kobieta jest daltoistką - to ie to samo, co P(K D) - prawdopodobieństwo, Ŝe kobieta i jedocześie daltoistka Jeśli prawdopodobieństwo warukowe P(A B) zdarzeia losowego A ie zaleŝy od zdarzeia B, czyli: ( ) ( B) P ( B) P A P A B = = P P A B P B ( A) ( ) = P ( A) ( ) to zdarzeia A i B azywamy statystyczie (stochastyczie) iezaleŝymi.

11 . Rozkład dwumiaowy Próba Beroulliego: pojedyczy eksperymet, wyikiem którego jest zdarzeie poŝądae, zwae sukcesem lub zdarzeie iechciae, czyli poraŝka. p: prawdopodobieństwo sukcesu, p: prawdopodobieństwo poraŝki, B k! k k, p = p ( p), =,,3,..., k = 0,,,...,, 0 < p < k! k! ( ) k ( ) ( ) Bk, p = p p, k = 0, ( ) k rozklad Beroulliego Schemat Beroulliego: seria statystyczie iezaleŝych i idetyczych prób Beroulliego, czyli wielokrotie powtórzeie, z zachowaiem stałej wartości prawdopodobieństwa p sukcesu, tego samego eksperymetu w taki sposób, aby wyik jedego eksperymetu ie miał wpływu a wyik któregokolwiek iego eksperymetu (ie uczymy się iczego w trakcie wykoywaia eksperymetów!). Rozkład opisujący liczbę k sukcesów uzyskaych w schemacie Beroulliego złoŝoym z prób, to tzw. rozkład dwumiaowy: Rozkład dwumiaowy podaje prawdopodobieństwo liczby sukcesów bez zwracaia uwagi a porządek tych sukcesów w kolejych próbach! R.J. Nowak

12 . Rozkład dwumiaowy - liczba chłopców () A. Geissler, Beiträge zur Frage des Geschlechtsverhältisses der Geboree, Z. Kögl. Sächs. Statist. Bur., 35, (889) -4 0,5 Rozkład liczby chłopców w rodziie z dzieci, N = 65 0,0 0,5 częstość 0,0 0,05 0, liczba k chłopców 65 rodzi, kaŝda z dzieci dzieci, w tym 3800 chlopców 3800 p ˆ = 0, R.J. Nowak

13 . Rozkład dwumiaowy - liczba chłopców () Prostowaie rozkładu dwumiaowego: p l k (, p) = k l + l( p). k B p Jak widzimy, mamy do czyieia z liiową fukcją zmieej k. Ozaczeia: k liczba rodzi z liczbą k chłopców, N = k łącza liczba rodzi, k= 0 ˆ k Bk = ocea prawdopodobieństwa B N k, u l ˆ k = k k B w przybliŝeiu powia być liiową fukcją zmieej k, jeśli zmiea ta podlega rozkładowi dwumiaowemu R.J. Nowak 3

14 . Rozkład dwumiaowy - liczba chłopców (3) zmiea u k 4,0 3,5 3,0,5,0,5, liczba k chłopców R.J. Nowak 4

15 . Rozkład dwumiaowy - dziewczyy do ścisłych () 000 kadydatów a studia a Wydziale Fizyki kobiet i 45 męŝczyz. Uporządkowaie alfabetycze azwisk i podzieleie a grupy po 0 osób daje 00 grup. Zmiea losowa k =,,..., 0 opisuje liczbę kobiet w grupie, a ocea prawdopodobieństwa, Ŝe przypadkowo wybraa osoba to kobieta, to: Dae włase 549 p ˆ = = 0, częstość 0,35 0,30 0,5 0,0 0,5 0,0 0,05 0, liczba k kobiet w grupie zmiea u k liczba k kobiet w grupie R.J. Nowak 5

16 . Rozkład geometryczy - dziewczyy do ścisłych () Spójrzmy a listę kadydatów z iej stroy. Ile kolejych osób a liście musimy sprawdzić, aby atkąć się a kobietę? MODEL: p - iezae prawdopodobieństwo, Ŝe przypadkowo wybraa osoba a liście to kobieta, k =,,... - zmiea losowa opisująca liczbę kolejych osób a liście, które musimy sprawdzić, aby spotkać kobietę, G = p - prawdopodobieństwo, Ŝe pierwsza osoba a liście to kobieta, G = ( p)p - prawdopodobieństwo, Ŝe dopiero druga osoba a liście to kobieta,... G k = ( p) k p - prawdopodobieństwo, Ŝe dopiero k-ta osoba a liście to kobieta. k ( ) ( ) Gk p = p p, k =,,..., 0 < p < Dae wlase G k= k ( p) = rozkład geometryczy waruek uormowaia liczba k osób > suma krotość k R.J. Nowak 6

17 . Rozkład geometryczy - dziewczyy do ścisłych (3) częstość 0,35 0,30 0,5 0,0 0,5 0,0 0,05 0,00 Oczekiwie a kadydatkę liczba k osób do astepej kadydatki R.J. Nowak 7

18 N. Rozkład geometryczy - dziewczyy do ścisłych (4) Obliczmy logarytm rozkładu: lgk ( p) = kl p + l ( p). Widzimy, Ŝe jest o liiową fukcja zmieej k. Ozaczeia: k krotość, czyli liczba określająca ile razy spotkaliśmy się z sytuacją, w której sprawdziliśmy k osób i ostatia była kobietą, 4 = k= k ˆ k Gk = ocea prawdopodobieństwa G k, N u k suma krotości, czyli liczba kobiet a liście, ( p) = lgˆ k oczekujemy, ze w przybliŝeiu wielkość u k będzie liiową fukcją zmieej k, jeśli rozkład ma charakter geometryczy. R.J. Nowak 8

19 . Rozkład geometryczy - dziewczyy do ścisłych (5) Oczekiwie a kadydatkę l(częstość) 0, 0,0 0, liczba k osób do astępej kadydatki R.J. Nowak 9

20 . Rozkład ciągłej zmieej losowej - skacząca kulka () Kulka spuszczoa z wysokości h a doskoale spręŝyste podłoŝe - ruch: T h z( t) = h gt, 0 t = g h z(t) T z t t Zdjęcie w losowej chwili czasu - szasa zalezieia kulki w pukcie z? Wykoajmy N takich zdjęć i arysujmy histogram uzyskaych wartości z. W przedziale [z i, z i + z] zajdziemy liczbę i zdjęć. Zdefiiujmy częstość: ˆ i Pi =, N z jaką wartości z trafiają do przedziału [z i, z i + z]. R.J. Nowak 0

21 . Rozkład ciągłej zmieej losowej - skacząca kulka () Wykoajmy to samo rozumowaie, korzystając z zaleŝości modelowej. Prawdopodobieństwo zdefiiujmy jako t t dt P( z, z) = = z = z + O ( z), T T z T dz gdzie t to czas, jaki kulka spędza w przedziale z wokół puktu z: dt z t = ( h z) = P( z, z) = + O ( z). g dz g h z h h z Gęstość prawdopodobieństwa: f ( z) ( z) Waruek uormowaia: h ( ) P z, = lim = z 0 z h h z f ( ) h 0 0 ( z) ( ) dz z dz = = h h ( ) UWAGA! Dla zmieej ciągłej mamy gęstość, a ie prawdopodobieństwo!!! Aalogia z gęstością masy - ilość masy w pukcie = 0, ale gęstość 0. R.J. Nowak f(z) h z

22 . Rozkład wykładiczy Rozkład geometryczy: k G ( ) = ( ), =,,3,..., k p p p k zway teŝ rozkładem dyskretych czasów oczekiwaia a sukces, opisuje liczbę prób, które trzeba wykoać, aby pojawił się pierwszy sukces. Wprowadźmy ciągły czas t, podzielmy go a bardzo duŝą liczbę k kroków i zdefiiujmy p t = λ t = λ k prawdopodobieństwo p sukcesu w pojedyczej próbie jako proporcjoale do czasu trwaia tej próby. Prawdopodobieństwo sukcesu w k-tej próbie: G k ( p) k k λt λt λt = = λ t, λ > 0. k k k Przechodząc do graicy k, otrzymujemy: ( p) k Gk λt = λ k t k E ( ) ( ) t; λ = λ exp λt, t 0, λ > 0 gęstość rozkładu wykładiczego, opisującego czas oczekiwaia a zdarzeie, jeśli zdarzeia są statystyczie iezaleŝe. R.J. Nowak

23 . Rozkład wykładiczy - czekaie a samochód () Histogram daych o rozkładzie wykładiczym ma charakter geometryczy: Dae włase k t ( k ) ( k ) λ t ( k ) λ t ( ) λt kλ t λ t P = λ e dt = e e = e e, k =,,3,... k t Czekaie a samochód, N = 000 0,0 Czekaie a samochód, N = 000,000 gęstość (/s) 0,5 0,0 0,05 gęstość (/s) 0,00 0,00 0,00 0, czas t oczekiwaia (s) czas t oczekiwaia (s) R.J. Nowak 3

24 . Rozkład Poissoa - czekaie a samochód () Jeśli czas t oczekiwaia a zdarzeie określoy jest rozkładem wykładiczym E(t;λ), to liczba k zdarzeń, które pojawią się w zadaym przedziale czasu T, rządzoa jest rozkładem Poissoa z parametrem µ = λt: k µ µ Pk ( µ ) = e, k = 0,,,..., µ > 0 rozkład Poissoa k! Dae włase częstość 0,35 0,30 0,5 0,0 0,5 0,0 0,05 0,00 Czekaie a samochód, N = liczba k samochodów R.J. Nowak 4

25 ( k k ( )). Rozkład Poissoa - czekaie a samochód (3) l! P µ = k l µ µ : liiowa fukcja zmieej losowej k, ( ˆ ( )) k uk = l k! P µ w przybliŝeiu liiowa fukcja zmieej k, jeśli rozkład tej zmieej to rozkład Poissoa Dae włase 4 Czekaie a samochód, N = zmiea u k liczba k samochodów R.J. Nowak 5

26 Iterludium - twierdzeie Poissoa Jeśli w rozkładzie dwumiaowym jest duŝe, a p małe to B k ( p ) P µ ( µ ),,, p 0, p dlatego rozkład Poissoa czasami zway jest rozkładem rzadkich zdarzeń. k prawdopodobieństwo 0,40 0,35 0,30 0,5 0,0 0,5 0,0 0,05 0,00 = 0, p = 0, = 50, p = 0, dwumiaowy Poisso = 00, p = 0, liczba k sukcesów R.J. Nowak 6

27 Iterludium - twierdzeie de Moivre a - Laplace a Dla duŝych wartości p i dla argumetu k w okolicy p: B k ( ) ( k µ ), p exp, µ = p, σ = p ( p). π σ σ 0,5 = 6 prawdopodobieństwo 0,0 0,5 0,0 0,05 = 3 = 64 = 8 dwumiaowy Gauss 0, liczba k sukcesów R.J. Nowak 7

28 Iterludium - rozkład Poissoa i krzywa Gaussa Podobie, dla duŝych wartości µ i w okolicy k = µ: P k ( ) ( k µ ) µ exp, σ µ. = π σ σ prawdopodobieństwo 0,4 0, 0,0 0,08 0,06 0,04 µ = 0 µ = 0 µ = 30 Poisso Gauss 0,0 0, liczba k zdarzeń R.J. Nowak 8

29 . Rozkład ormaly MODEL: pomiar wielkości µ zaburzay przez iezaleŝie działających agetów, kaŝdy zwiększający lub zmiejszający, z tym samym prawdopodobieństwem p = /, wyik pomiaru o addytywą wartość ε, co prowadzi do + moŝliwych wyików pomiaru: µ ε ε µ ε B k ( p) B ( ) ( ) x = + k k = + + k, k = 0,,,,, k k przy czym prawdopodobieństwo kaŝdego z ich określa rozkład dwumiaowy B k!, = 0,5 =. k! k! ( p ) k ( p) p ( p) ( ) Korzystamy z twierdzeia de Moivre a-laplace a: R.J. Nowak 9 ( ) ( ) k k p, = exp, k πp ( p) p p ( k ) { x µ } ε ( x µ ) k k, exp = k = + = exp, π 4 ε π ε ε a wykoując przejście graicze, otrzymujemy rozkład Gaussa: B k ( p) ( x µ ) N ( x µ σ ), ε 0, ε σ, ;, = exp. ε x k x πσ σ

30 . Rozkład ormaly Rozkład ormaly, zway teŝ rozkładem Gaussa: N ( x ) ( x µ ) ; µ, σ = exp, x, µ, σ 0. < < < < > π σ σ N(z;µ,σ ) 99,73% 95,45% 68,7% 34,35% 34,35%,4%,4% 3,59% 3,59% µ 3σ µ σ µ σ µ µ + σ µ + σ µ + 3σ R.J. Nowak 30

31 . Rozkład ormaly - masa moety () Joural of Statistics Educatio Vol. 4, Number (006), gęstość (g - ) Masa moety o omiale, N = 000 m = 7,5 g s x = 0,034 g 0 7,38 7,4 7,4 7,44 7,46 7,48 7,5 7,5 7,54 7,56 7,58 7,6 7,6 7,64 masa m moety (g) R.J. Nowak 3

32 i, j - losowe liczby z przedziału Rozkład wielowymiarowy i j = 0k + m k, m - losowe liczby 4 krotość km dziesiątki jedostki k = 0 m= 0 km = 8 (, ) P k m = km 8 rozkład dwuwymiarowy R.J. Nowak 3

33 .3 Rozkład wielowymiarowy i j = 0k + m P (k,m ) m = suma k = 0 0,000 0,0 0,05 0,05 0,037 0,05 0,049 0,05 0,049 0,037 0,84 0,05 0,000 0,049 0,000 0,05 0,05 0,037 0,000 0,049 0,000 0,0 0,049 0,05 0,000 0,000 0,049 0,0 0,000 0,05 0,05 0,000 0,85 3 0,05 0,000 0,05 0,000 0,000 0,05 0,037 0,000 0,000 0,000 0, 4 0,000 0,000 0,05 0,000 0,000 0,05 0,000 0,000 0,05 0,0 0, ,000 0,000 0,000 0,000 0,05 0,000 0,05 0,000 0,000 0,000 0, ,000 0,000 0,000 0,05 0,0 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,05 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,05 8 0,000 0,0 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,0 suma 0,099 0,049 0,48 0,049 0,48 0, 0,48 0,049 0,48 0,049,000 R.J. Nowak 33

34 .4 Rozkład brzegowy i warukowy prawdopodobieństwo 0,0 0,5 0,0 0,05 0, liczba m jedostek Rozkład brzegowy zmieej losowej m: m 8 = k = 0 ( ) (, ) P m P k m prawdopodobieństwo 0,30 0,0 0,0 0, liczba k dziesiątek Rozkład brzegowy zmieej losowej k: k 9 = m= 0 ( ) (, ) P k P k m R.J. Nowak 34

35 .4 Rozkład brzegowy i warukowy Rozkład warukowy dyskretych zmieych losowych k i m: ( ) ( ) k m m k m ( ) ( ) P k, m P k, m P ( k m) =, P ( m k ) = P m P k Rozkład brzegowy zmieych losowych x i y: y ( ) = (, ), ( ) = (, ) f y f x y dx f x f x y dy Rozkład warukowy ciągłych zmieych losowych x i y: ( ) ( ) x y y x y k ( ) ( ) f x, y f x, y f ( x y) =, f ( y x) = f y f x Zmiee losowe azywamy statystyczie (stochastyczie) iezaleŝymi, wtedy i tylko wtedy, gdy łączy rozkład tych zmieych jest iloczyem rozkładów brzegowych: (, ) = ( ) ( ), (, ) = ( ) ( ) P k m P k P m f x y f x f y x k m x y PRZYKŁAD: zmiea losowa m określająca liczbę jedostek i zmiea losowa k określająca liczbę dziesiątek są statystyczie zaleŝe, bo p.: ( ) ( ) ( ) P k =, m = 3 = 0 P k P m = 0,85 0,049 k m x R.J. Nowak 35

36 .4 Rozkład brzegowy i warukowy Dwuwymiarowy rozkład ormaly: R.J. Nowak 36

37 .4 Rozkład brzegowy i warukowy Dwuwymiarowy rozkład ormaly (Gaussa): N ( x, y; µ x, µ y, σ x, σ y, ρ ) x µ x x µ x y µ y y µ y = exp ρ, ( ρ ) σ + πσ xσ y ρ x σ xσ y σ y < x, y <, < µ, µ <, 0 < σ, σ <, < ρ <. x y x y ( )( ) Rozkłady brzegowe to jedowymiarowe rozkłady ormale: ( ) dy N x; µ x, σ x N ( x, y; µ x, µ y, σ x, σ y, ρ ) = dx N ( y; µ y, σ y ) Rozkłady warukowe to takŝe jedowymiarowe rozkłady ormale: ( ) ( x, y; µ x, µ y, σ x, σ y, ρ ) N ( x; µ x, σ x ) N f y = = N y; + x,, σ y ( µ ρ σ ( µ ) ( ρ ) σ ) x y x y x y i podobie dla rozkładu f x y (x) po zmiaie symboli x i y miejscami. Jak widać, wartości cetrale zaleŝą liiowo od zmieej warukującej. Własość ta dostarcza atchieia i staowi podstawę waŝej metody statystyczej aalizy daych, zwaej aalizą regresji, której zadaiem jest ocea wartości i istotości współczyików tej zaleŝości. R.J. Nowak 37

38 .4 Rozkład brzegowy i warukowy Elipsa kowariacji (wykładik rozkładu Gaussa bez czyika /): ( )( ) x µ x x µ x y µ y y µ y ρ + = ρ σ x σ xσ y σ y oś y (σ y = ),0 0,5 0,0-0,5 -, oś x (σ x = ) ρ = 0,9 ρ = 0,5 ρ = 0,0 ρ = 0,5 ρ = 0,9 Wszystkie elipsy zawarte we wętrzu prostokąta (σ x ) (σ y ). R.J. Nowak 38

39 .4 Rozkład brzegowy i warukowy Mackowiak, P. A., Wasserma, S. S., ad Levie, M. M. (99), "A Critical Appraisal of 98.6 Degrees F, the Upper Limit of the Normal Body Temperature, ad Other Legacies of Carl Reihold August Wuderlich," Joural of the America Medical Associatio, 68, , dae za: temperatura ciała (F) Korelacja temperatura - tęto męŝczyźi kobiety tęto R.J. Nowak 39

40 .5 Momety zmieych losowych Wartość oczekiwaa, defiicja: E Wariacja, defiicja: V V PRZYKŁADY: B P E k k N [ ] µ = ( ), E [ ] µ = ( ) k k kp k x x xf x dx k= 0 k k= 0 [ ] D [ ] σ ( ) ( ) ( ) k k k k = k k P k = k k x [ ] D [ ] σ ( ) ( ) ( ) x x x x = x x f x dx = x x ( ) ( ) R.J. Nowak 40! k, p = p p k = p k = p p k! k! k ( ) V [ ] ( ) k µ µ = = µ = µ k! t λ = λ = = = τ = = τ τ τ λ λ µ ( ) e k V [ k] λx ( x; ) e exp x V [ x] ( ) ( x µ ) x; µ, σ exp x µ x σ π σ σ = = V [ ] =

41 .5 Momety zmieych losowych Defiicja kowariacji: [ ] ( )( ) ( )( ) ( ) cov k, m k k m m = k k m m P k, m = km k m, k= 0 m= 0 [ ] ( )( ) ( )( ) ( ) cov x, y x y x y = dx dy x x y y f x, y = xy x y. Defiicja Pearsoa wspólczyika ρ korelacji liiowej: ρ [ k m] [ k m] [ ] [ ] [ x y] [ ] [ ] cov, cov,, =, ρ [ x, y] =. D k D m D x D y Własości współczyika korelacji ρ: a) iezmieiczy względem skalowaia i traslacji b) iezmieiczy względem liiowej zamiay zmieych c) ograiczoy w zakresie wartości: ρ d) ρ = ± wtedy i tylko wtedy, gdy: σ y y = µ y ± ( x µ x ) i dlatego zway jest liiowym σ x PRZYKŁAD: dla dwuwymiarowego rozkładu ormalego: cov [ x, y] ρσ xσ y cov [ x, y] = ρσ xσ y ρ [ x, y] = = = ρ. σ σ [ x] D[ y] R.J. Nowak 4 D x y

42 .5 Momety zmieych losowych y σ x E [ x y] = µ y + ρ ( y µ y ) σ y prosta regresji x względem y y σ = + ( x ) y µ x µ x σ x σ E x x σ x prosta regresji y względem x y [ y x] = µ + ρ ( x µ ) µ y µ x x R.J. Nowak 4

43 Defiicja dystrybuaty: Iterludium - wykres kwatyli ( ) ( < ) F x P x x 0 0 Kwatyl x p i jego rząd p defiiujemy związkiem: Dla uporządkowaej próbki x x... x zmieych losowych zachodzi: Dla daych sądzimy, Ŝe: PRZYKŁAD: x i i = i = + ( ) p. F x i ( ) λ ( λ ) { λ } ( ) ( ) ( p ) = p. F x ( ) p. F x p F x = exp x dx = q = x = exp q dq = exp q i i i 0 0 ( ) ( ) q l p x τ l p = τ q, τ = i i i i i i i oczekujemy, Ŝe pukty wyzaczoe przez współrzęde (q i, x i ) ułoŝą się, w przybliŝeiu, a liii prostej o achyleiu zadaym parametrem τ, którego oceę moŝa odczytać z wykresu. R.J. Nowak 43 i q i λ

44 Iterludium - wykres kwatyli - oczekiwaie a samochód (4) Dae włase 50 Czekaie a samochód, N = 000 czas t oczekiwaia (s) t = 5,56q + 0, kwatyl q wykładiczy R.J. Nowak 44

45 Iterludium - impulsy erwowe () D.R. Cox i P.A.W. Lewis, The Statistical Aalysis of Series of Evets, Chapma ad Hall, Lodo, 966, s. 5 Oczekiwaie a impuls erwowy Oczekiwaie a impuls erwowy krotość k krotość k , 0,00 0,5 0,50 0,75,00,5 czas t oczekiwaia (s) 0,00 0,5 0,50 0,75,00,5 czas t oczekiwaia (s) R.J. Nowak 45

46 Iterludium - wykres kwatyli - impulsy erwowe (),6 Impulsy erwowe - wykres kwatyli wykładiczych czas t oczekiwaia (s),4,,0 0,8 0,6 0,4 0, 0,0-0, t = 0,449q - 0, kwatyl q wykładiczy R.J. Nowak 46

47 Iterludium - impulsy erwowe (3) 0,30 Impulsy erwowe - rozkład Poissoa 0,5 0,0 częstość 0,5 0,0 0,05 0, liczba k impulsów R.J. Nowak 47

48 Iterludium - impulsy erwowe (4) 6 Impulsy erwowe l(k! P k ) liczba k impulsów R.J. Nowak 48

49 Iterludium - wykres kwatyli - masa moety () xi qi x µ i N µ σ = = = = i i µ + σ i ( ) { } ;, N ( ;0,) ( ) p x dx q q dq F q x q σ Joural of Statistics Educatio Vol. 4, Number (006), Masa moety o omiale, N = 000 7,8 7,7 masa m moety (g) 7,6 7,5 7,4 7,3 7, m = 0,034q + 7,5 7, kwatyl q ormaly R.J. Nowak 49

50 Statystyka matematycza - zadaia i metody Zadaia statystyki matematyczej: estymacja parametrycza i przedziałowa: oceiaie, szacowaie, wartości rozmaitych wielkości będących obiektem zaiteresowaia badacza, testowaie hipotez: weryfikacja stwierdzeń o parametrach i rozkładach. Warukiem wypełieia tego zadaia są dae, czyli próbka. Sumiee wywiązaie się z iego wymaga rzetelej próbki, a więc będącej miiaturą populacji, tj. odzwierciedlającej wszelkie relacje, jakie w populacji występują, co w prasie określae jest miaem reprezetatywej, a w statystce matematyczej: losowej. Próbka losowa prosta: zbiór wartości x i, i =,,...,, zmieych losowych, uzyskay w wyiku wielokrotego i wierego powtórzeia tego samego eksperymetu zestaw statystyczie iezaleŝych zmieych losowych, kaŝda o rozkładzie f(x) (zaym lub ie) i łączym rozkładzie: ( x) ( ) L = f x i= i. R.J. Nowak 50

51 Statystyka matematycza - termiologia Statystyka: zmiea losowa zadaa jako dowola fukcja zmieych losowych i iych zaych wielkości; musi przyjmować wartość liczbową po podstawieiu wartości zmieych losowych (ie moŝe zawierać iezaych wielkości). Estymator: statystyka z ambicjami szacuje, oceia, przybliŝa, estymuje wartość iezaego parametru. PRZYKŁAD: x, y - para zmieych losowych opisująca zbiór moŝliwych wartości uzyskiwaych w wyiku pomiaru boków prostokąta: S = xy - estymator określający pole prostokąta. Estymata: wartość, jaką przyjmuje estymator po podstawieiu w miejsce argumetów wartości liczbowych zmieych losowych (wyików pomiarów). PRZYKŁAD: jeśli x = 5 cm, a y = 6 cm, to: S = xy = 30 cm - estymata wartości pola prostokąta. Relacja między estymatorem a estymatą jest aalogicza do relacji między fukcją f(x), widziaą jako zestaw wartości dla wszystkich wartości argumetu x, a wartością f(x 0 ) fukcji w zadaym pukcie x 0. R.J. Nowak 5

52 . Średia arytmetycza i iepewość stadardowa MODEL: próbka prosta wartości x i, i =,,...,, z iezaego rozkładu f(x): x i xi µ R ( µ ) = mi ( R) ˆ µ = x = xi. σ i= µ i= Dygresja. Wartość oczekiwaa liiowej kombiacji zmieych losowych. Próbka x i, i =,,...,, zmieych losowych z łączego rozkładu f(x), zmiea losowa: z = a x + a x a x i jej wartość oczekiwaa: ( x) x ( ) [ x ] = µ = σ, V i, z = a x f d = a x f x dx = a x i i i i i i i i i i= i= i= = x ( ) ( ) f x f dx... dx dx... dx i i i i+ Podstawowa własość jeśli pomiary są ieobciąŝoe, czyli x i = µ, to: x µ oraz σ iezae R.J. Nowak 5 = x = µ. i i = Wartość średia jest ieobciąŝoym estymatorem wartości oczekiwaej.

53 . Średia arytmetycza i iepewość stadardowa ˆ( ) Estymator θ x parametru θ azywamy ieobciąŝoym, jeśli: ˆ. θ ( x) = θ PRZYKŁAD: x - zmiea losowa opisująca wyik pomiaru boku kwadratu o iezaej długości µ. Poszukujemy pola S = µ tego kwadratu. Niech estymatorem pola będzie x. Oczekujemy, Ŝe wielokrotie mierząc bok kwadratu, co dostarcza wartości x i, i =,,...,, i obliczając średią pól x i, w graicy otrzymamy prawdziwą wartość µ pola powierzchi: Sprawdźmy: i= x i R.J. Nowak 53 µ. Dygresja. Prawo wielkich liczb - iterpretacja sesu średiej: P ( x x > ε ) 0, gdzie x = x k k = [ ] x x µ µ x µ µ = + = V + >. Czy to aby jest prawda??? Widzimy, Ŝe zapropooway estymator jest obciąŝoy: przeciętie będzie o dawał wartość większą iŝ wartość pola kwadratu.

54 . Średia arytmetycza i iepewość stadardowa Dygresja 3. Wariacja liiowej kombiacji zmieych losowych V Dla próbki statystyczie iezaleŝych zmieych losowych: co daje: z = a x a x f x dx = a x x f x dx = [ ] ( ) ( ) ( ) i i i i i i i i= i= i= T ( )( ) ( ) cov [, ] V[ ] = a a x x x x f x dx = a x x a = a x a i k i i k k i i k k i, k = i, k = [ x x ] = δ V [ x ] cov,, V i k ik i = i= [ z] a V [ x ] i Wariacja średiej dla próbki statystyczie iezaleŝych zmieych losowych: i. a dla próbki prostej: V = [ x ] V [ x ] V i = [ x] = V [ x]. i, R.J. Nowak 54

55 . Średia arytmetycza i iepewość stadardowa Dae włase Pomiar ciśieia - dae i średie 0,5 0,0 gęstość 0,5 0,0 0,05 0,00 średie dae ciśieie (hpa) R.J. Nowak 55

56 . Średia arytmetycza i iepewość stadardowa Miimala suma kwadratów reszt: R x x x xi x σ ( ) = ( ) = µ ( µ ) i i= σ i= ma wartość oczekiwaą: ( ) = + = σ i= σ i= (( x ) ( )( ) ( ) ) i µ xi µ x µ x µ ( xi µ ) ( x µ ) σ R ( x ) = ( xi µ ) ( x µ ) σ. σ = i= σ = i= Stąd otrzymujemy ieobciąŝoy estymator wariacji zmieej losowej: Vˆ [ x] s = ( x x ) x i= i ieobciąŝoy estymator wariacji średiej arytmetyczej: Vˆ sx x sx = = xi x ( ) = [ ] i i ( ) Dzieleie przez (zamiast przez ), to tzw. poprawka Bessela. R.J. Nowak 56

57 V [ ] [ ]. Estymatory mometów - omeklatura x = D x = σ - odchyleie stadardowe, odchyleie stadardowe zmieej losowej, dyspersja. s x - iepewość stadardowa, odchyleie stadardowe eksperymetale, odchyleie stadardowe z próbki, odchyleie stadardowe eksperymetale zmieej losowej x, iepewość stadardowa pojedyczego pomiaru (b. populare), RMS (root mea square) - uŝywaie iewskazae, błąd - azwa iepoprawa (spadek po poprzedich pokoleiach), błąd to róŝica między wyikiem x pomiaru a wartością prawdziwą µ: błąd = x µ s x - iepewość stadardowa średiej arytmetyczej oraz pozostałe azwy z dodatkiem: średiej arytmetyczej. R.J. Nowak 57

58 . Średia waŝoa MODEL: próbka statystyczie iezaleŝych zmieych losowych x i, kaŝda z iego rozkładu f i (x) o wspólej wartości oczekiwaej: x i = µ, ale róŝych wartościach wariacji V[x i ] = σ i. i ( ) ( ) Średia waŝoa - ieobciąŝoy estymator wartości oczekiwaej µ: x w = µ. Na mocy Dygresji 3: V [ x ] w = σ w. Wartość oczekiwaa sumy kwadratów reszt: R( xw ) =, co pozwala wyzaczyć ieobciąŝoy estymator wariacji: W praktyce: x µ mi w w i i, w, i. i σ µ = i i= σ i wi i= R µ = R x = σ w x σ = w = σ s z σ w xi µ = i= σ i w w z i= i s z = σ w Nomeklatura: σ z - dyspersja wewętrza, s z - iepewość zewętrza.. w xi µ i= si s s =, s s = s R.J. Nowak 58

59 . Średia waŝoa Dwie wielkości: σ w oraz s z określające rozrzut daych, umoŝliwiają kotrolę kosystecji daych. Jej brak moŝe wyikać z powodu: błędych oce x i wartości cetralych, błędych oce s i iepewości, fluktuacji statystyczej. Dwa stadardowe sposoby ocey tej kosystecji - wizualy, czyli ideogram: ( ) = N ( i i ) f x x; x, s. i= Wielogarbość ideogramu moŝe sugerować brak kosystecji i jedocześie wskazywać a wią temu daą liczbową. Liczbowa ocea to wartość R sumy kwadratów reszt w miimum i jej składiki. PoiewaŜ wartość oczekiwaa sumy kwadratów reszt w miimum wyosi, wiec wartość sumy ie powia odbiegać admierie od tej wartości. Jedoczesie kaŝda idywiduala daa wia wosić, w przybliŝeiu, jedostkę do sumy kwadratów reszt. Daa, od której przyczyek jest istotie większy od jedości staje sie automatyczie podejrzaą. UWAGA! Demokratycze glosowaie ie decyduje o poprawej wartosci!!! R.J. Nowak 59

60 Iterludium - rozkład χ () MODEL: zmiea x z rozkładu Gaussa N(x;µ,σ ): µ µ N ( µ σ ) π σ σ σ ( ) { } x x z = x;, dx = exp dx z exp dz, = = = π z N ( z;0,) = exp π - stadaryzoway rozkład ormaly z z u = exp dz exp dz { u z } exp du. π = π = = = π u 0 0 Zmiea u ma rozkład X (u), zway χ, o jedym stopiu swobody: u X ( u) = exp. π u u u u + u = + u, u = u v, = exp dudu = π v u 0 u u =, u = v, u u u = exp du dv exp du π = v u ( v) Zmiea u ma rozkład X (u) o dwóch stopiach swobody: X ( u) R.J. Nowak 60 u = exp.

61 Iterludium - rozkład χ () MODEL: próbka licząca statystyczie iezaleŝych zmieych losowych x i z rozkładów ormalych N(x i ;µ i,σ i ). Statystyka: u xi µ i = i= σ i ma rozkład : X u u = u exp, u 0, =,,3,, ( ) ( ) Γ( ) osi azwę zmieej losowej χ i ma własości: V [ ] u =, u =. gęstość prawdopodobieństwa 0,8 0,7 0,6 0,5 0,4 0,3 0, 0, 0 = = = 3 = 4 = 5 = 6 = wartość χ gęstość prawopodobieństwa 0,4 0, 0,0 0,08 0,06 0,04 0,0 0,00 = 7 = 5 = 30 rozkład Gaussa, µ = 30, σ = wartość χ R.J. Nowak 6

62 Iterludium - rozkład χ (3) Kiedy pojedyczy składik u i stadaryzowaej sumy R kwadratów reszt xi µ i R = ui = i= i= σ i jest admiery albo istotie większy od jedości? Czy p. wartość u 0 = 4 jest admiera? Zapytajmy iaczej: ile wyosi prawdopodobieństwo p = P(u u 0 ), Ŝe zmiea χ o jedym stopiu swobody będzie, a mocy przypadku, większa bądź rówa wartości 4? u P( u 4) = X ( u) du = exp du 0,045 u 4 π 4 Tak więc w około 5% przypadków zobaczymy, z powodów czysto losowych, odchyleie wyiku pomiaru od wartości prawdziwej o dwa lub więcej odchyleia stadardowe. Czy obserwacja taka będzie wystarczającym powodem od podejrzeń, Ŝe wyik reprezetuje sobą pomiaru iej wielkości, iŝ tej, w której jesteśmy zaiteresowai? Jak duŝe powio być takie odchyleie, abyśmy bezpieczie dotarli do takiej kokluzji? R.J. Nowak 6 u 0 ( σ) 4 ( σ) 9 ( 3σ) 6 ( 4σ) 5 ( 5σ) p = P(u u 0 ) 0,37 /3 0,045 /0 0,07 /370, / , /

63 0, Iterludium - rozkład χ (4) prawdopodobieństwo p 0,0 = , u 0 R.J. Nowak 63

64 . Średia waŝoa Jeśli zmiee x i pochodzą z rozkładów ormalych N(x i ;µ,σ i ), to statystyka xi x w = i= σ i ma rozkład χ z liczbą stopi swobody. P.E. Damo, D.J. Doahue, B.H. Gorke i ii, Nature, 337, (989), 66 u 0,030 0,05 0,00 0,05 0,00 0,005 Arizoa Ideogram wieku Całuu Turyńskiego x = (646 ± 3) lat, R A =,94 Zurich x = (676 ± 4) lat, R Z = 0,30 x = (750 ± 30) lat, R O = 4, suma: R = 6,35, P (u R ) = 0,04 Oxford x w = 689 lat s w = 6 lat, s = 8 lat 0, wiek x Całuu (liczba lata przed rokiem 950) R.J. Nowak 64

65 . Średia waŝoa wartość umer pomiaru wartość umer pomiaru R.J. Nowak 65

66 .3 Pearsoa współczyik korelacji Próbka (x i,y i ), i =,,...,, ieskorelowaych par zmieych losowych. NieobciąŜoy estymator kowariacji: C = x x y y ( )( ) xy i i i= i obciąŝoy estymator r Pearsoa współczyika ρ korelacji liiowej: r = R.J. Nowak 66 C x xy s s Dla próbek z rozkładu ormalego, rozkład f(r;ρ) współczyika r jest, w ogólym przypadku bardzo złoŝoy i mimo, Ŝe ze wzrostem liczebości próbki zbiega o do rozkładu ormalego, to zbieŝość ta jest bardzo wola i wymaga próbek liczących setek, jeśli ie tysięcy daych, zwłaszcza gdy współczyik korelacji ρ jest bliski jedej z wartości skrajych. Tzw. trasformacja Fishera y + r z = l r pozwala odwołać się do rozkładu ormalego N(z;µ,σ ) z parametrami: + ρ ρ µ = l +, σ =. ρ ( ) 3 juŝ przy próbkach liczących kilkadziesiąt par (x i,y i ) daych..

67 .3 Pearsoa współczyik korelacji 0 ρ = 0,75,8 ρ = 0 ρ = 0,75 9,6 8 = 50,4 = 0 7, 6,0 5 ρ = 0 0,8 4 = 0 3 = 50 0,6 = 0 = 0 0,4 = 0 = 0 r 0, z 0 0,0 - -0,5 0 0,5-0 Najczęściej potrzebujemy postaci rozkładu f(r;ρ) dla szczególej wartości ρ = 0, kiedy to: ( ( ) ) Γ f ( r) = r, < r <. π Γ ( ) ( ) ( 4) R.J. Nowak 67

68 .3 Pearsoa współczyik korelacji Katedry agielskie 600 długość (stopy) romańska gotycka r = 0, wysokość (stopy) R.J. Nowak 68

69 .3 Pearsoa współczyik korelacji 30 Ciśieie krwi ciśieie skurczowe r = 0, ciśieie rozkurczowe R.J. Nowak 69

70 Statistical Abstract for the Uited kogdom, Cmd 5903, 939; lata 94-38; dae za: G.U. Yule i M.G. Kedall, Wstep do teorii statystyki, PWN, Warszawa 966, s Pearsoa współczyik korelacji liczba chorych umysłowo (a ludości) r = 0, liczba radioodbiorików (w tyś.) Pamietajmy: korelacja ie implikuje przyczyowości!!! R.J. Nowak 70

71 .3 Spearmaa współczyik korelacji rag Gdy mówimy o współczyiku korelacji, mamy a myśli współczyik Pearsoa, iekiedy spotykamy jedak dwa ie współczyiki: Spearmaa i Kedalla. RozwaŜmy próbkę par (x i,y i ), i =,,...,, którą uporządkujmy względem pierwszej współrzędej pary w ciąg rosący, a astępie zastąpmy kaŝdą ze współrzędych x i kolejymi liczbami całkowitymi, poczyając od. Następie wyzaczmy w rosącym ciągu wszystkich wartości y i pozycję a której zajduje się kaŝda ze współrzędych y i i zastąpmy ich wartość umerami ich pozycji, a w miejsce par (x i,y i ) otrzymamy pary (k, k ), k =,,...,, liczb aturalych, gdzie a drugiej pozycji w parze mamy pewa permutację liczb aturalych. Numer pozycji, którą zajmuje liczba w uporządkowaym rosąco ciągu wszystkich liczb próbki azywamy ragą tej liczby - liczba ajmiejsza ma ragę, a ajwiększa ragę. Spearmaa współczyikiem korelacji r S azywamy Pearsoa współczyik korelacji dla rag: r S ( k µ )( µ ),. k k= = µ = + ( k µ ) ( k µ ) k= k = ( ) R.J. Nowak 7

72 .3 Spearmaa współczyik korelacji rag Wielkość µ to średia arytmetycza z liczb aturalych od do. Występujące w miaowiku obie sumy kwadratów są idetycze i kaŝda z ich wyosi k= ( k µ ) = ( ) gdyŝ róŝią się jedyie kolejością wyrazów. Jeśli wprowadzimy róŝice rag k k, to Spearmaa współczyik moŝa zapisać w formie: R.J. Nowak 7 ( ) k, 6 r ( ) S = k k. = PoiewaŜ współczyik Spearmaa to Pearsoa współczyik korelacji, więc przejmuje o jego wszystkie własości, w szczególości jego wartości ograiczoe są do przedziału [ ;]. Współczyik Spearmaa mierzy siłę mootoiczego związku między pierwotymi zmieymi: przyjmuje wartość r S = + jeśli k = k, a r S =, gdy k = k + oraz wartość r S = 0, gdy zmiee x i oraz y i są ieskorelowae. W tym ostatim przypadku: r S = 0, V [ rs ] =. a dla próbek liczących kilkadziesiąt daych, współczyik te moŝa, z iezłym przybliŝeiem, opisać rozkładem ormalym N(r S ;0,V[r S ]).

73 .3 Kedalla współczyik korelacji Dla próbki (x i,y i ), i =,,...,, rozwaŝmy wszystkie pary x i oraz x j, a takŝe wszystkie pary y i oraz y j i utwórzmy wielkości gdy xi > x j, gdy yi > y j, uij = 0 gdy xi = x j, vij = 0 gdy yi = y j, gdy xi x j, < gdy yi < y j, oraz obliczmy Kedalla współczyik τ korelacji τ u v ij ij i= j> i = = ( ) i= j> i uij vij i, j= i, j= gdyŝ kaŝda z podwójych sum w miaowiku wyosi ( ), jako Ŝe ie zaleŝy oa od uporządkowaia i określa liczbę róŝych od zera róŝic x i x j oraz y i y j. Jeśli obie wartości w parach (x i,y i ) arastają mootoiczie, wtedy u ij = v ij, liczik jest rówy miaowikowi i współczyik τ przyjmuje maksymalą, jedostkową, wartość. Gdy porządek wartości y i jest odwroty do porządku wartości x i, to u ij = v ij i τ =. W pozostałych sytuacjach Kedalla współczyik korelacji przyjmie wartość między a. u v ij ij, R.J. Nowak 73

74 .3 Kedalla wspólczyik korelacji Gdy między cechami brak jest współzaleŝości, to oczekujemy, Ŝe w typowych sytuacjach połowa z wielkości u ij v ij przyjmie wartość, a połowa, co daje τ = 0. MoŜa takŝe obliczyć wariację, która wyosi: V [ τ ] ( + ) ( ) 5 =, 9 a dla próbek liczących kilkaaście daych, rozkład współczyika moŝa, z iezłym przybliŝeiem, opisać rozkładem ormalym N(τ;0,V[τ]). Iterpretacja Kedalla współczyika korelacji. Wyobraźmy sobie, Ŝe dwóch sędziów ustala rakig zawodików (kadydatek to tytułu Miss Świata), co daje parę (x i,y i ). Jeśli dla dowolej pary zawodików, zak róŝicy x i x j jest taki sam jak dla róŝicy y i y j, to mówimy, Ŝe rakig pary jest zgody, a w przeciwym razie iezgody. Podwója suma w licziku defiiującym współczyik τ opisuje róŝicę liczby C zgodych i liczby D iezgodych par w rakigu, przy czym maksymala liczba zarówo par zgodych jak i iezgodych wyosi ( )/, więc wartość C/( ) opisuje prawdopodobieństwo, Ŝe dowola para zawodików w rakigu zostaie sklasyfikowaa zgodie, a D/( ) prawdopodobieństwo, Ŝe iezgodie. Dlatego teŝ róŝica obu prawdopodobieństw zawiera się w przedziale [ ;]. R.J. Nowak 74

75 .4 Parametry zmieej losowej Moda - wartość zmieej losowej, przy której rozkład przyjmuje wartość maksymalą. Mediaa x m - kwatyl rzędu /. Próbkę x i, i =,,...,, ciągłej zmieej losowej porządkujemy, otrzymując ciąg x () x ()... x (). Jeśli = k +, to mediaa x m = x (k + ), a dla = k to dowola liczba między wartościami x (k) oraz x (k + ), w praktyce x m = (x (k) + x (k + ) )/. Kwartyl doly q d - kwatyl rzędu /4. Kwartyl góry q u - kwatyl rzędu 3/4. k-ty kwityl - kwatyl rzędu k/5. k-ty decyl - kwatyl rzędu k/0. k-ty percetyl - kwatyl rzędu k/00. Rozstęp międzykwartylowy: q u q d. R.J. Nowak 75 f(x) f(x) 5% wartość oczekiwaa mediaa moda mediaa doly kwartyl Wykres pudełkowy góry kwartyl 95% x x x

76 3. Estymacja parametrycza - metoda mometów PRZYKŁAD: próbka prosta x i, i =,,...,, zmieych losowych z rozkładu: f ( x; θ ) = ( + θ x), x, θ. NaleŜy wyzaczyć oceę parametru θ. Obliczamy wartość oczekiwaą: + + θ + ;, ( ) ( ) x = xf x θ dx = x + θx dx = xdx + x dx = θ 3 a poiewaŝ średia arytmetycza oceia wartość oczekiwaą, więc: x = ˆ θ ˆ 3. θ = x 3 MoŜemy jedak obliczyć wartość oczekiwaą statystyki x 3 : więc: θ 4 x = ( ), x + θ x dx = x dx x dx θ + = xi = x = ˆ θ3 ˆ θ3 = 5 x. 5 i= Jak widać, kaŝda średia z ieparzystej potęgi dostarcza estymatora parametru θ. Który z tych estymatorów mamy wybrać? R.J. Nowak 76

77 3. Estymacja parametrycza - metoda mometów RozwaŜmy wariację uzyskaych estymatorów: PoiewaŜ: V więc: Podobie: a obliczając: otrzymujemy: 9 V ˆ θ = V 3 = 9V = V [ x] [ x] [ x] [ x] = x x = x ( + θ x) dx θ = θ = ( θ ) Wybieramy estymator o miejszej wariacji!!! 3, V ˆ θ = ( 3 θ ). 5 V θ = = V V = V ˆ x 5 x x, V x x x θ = =, ˆ 3 θ. V θ = R.J. Nowak 77

78 3. Metoda mometów - podsumowaie Rozkład f(x;θ,θ,...,θ m ) wyzaczoy przez m iezaych parametrów. Obliczamy m wartości średich: i = oraz m wartości oczekiwaych: k k x = x, k =,,..., m Przyrówując wartości średie do wartości oczekiwaych: i ( θ θ θ ) ( θ θ θ ) k k x = x f x;,,..., dx = g,,...,. m k m ( ˆ, ˆ ˆ,..., m ) k x = gk θ θ θ otrzymujemy układ m rówań a m iewiadomych parametrów. Rozwiązaie tych rówań wyzacza estymatory poszukiwaych parametrów. Brak ogólych twierdzeń odośie własości estymatorów są oe zazwyczaj obciąŝoe, a rówaia ieliiowe powodują dodatkowe kłopoty. Metoda mometów często jest wykorzystywaa do wyzaczeia wygodych wartości startowych do zastosowaia w iych metodach estymacji. R.J. Nowak 78

79 3. Metoda ajwiększej wiarogodości - idea PoiewaŜ w wyiku pomiarów Natura daje am wartości rozsąde - zbliŝoe do typowych, bardzo prawdopodobe - dobierzmy tak wartości iezaych parametrów rozkładu, aby uzyskae z doświadczeia wartości były ajbardziej prawdopodobe. Rozkład f(x;θ) o zaej formie matematyczej i iezaej wartości parametru θ. Daa jest próbka prosta zmieych x i, i =,,...,, o łączym rozkładzie L( x; θ ) = f ( xi ; θ ). i= Podstawmy zae wartości x i do fukcji L i potraktujmy ją jako fukcję iezaego parametru θ, a otrzymamy fukcję wiarogodości parametru θ: L ( θ ) ( θ ) = i= f x ;, x zadae. i Poszukujemy takiej wartości θˆ parametru θ, aby wyiki pomiarów były ajbardziej prawdopodobe maksymalizujemy fukcje wiarogodości względem parametru. Tak uzyskaą oceę parametru azywamy oceą ajwiększej wiarogodości. Nie jest to ocea ajbardziej prawdopodoba!!! i R.J. Nowak 79

80 3. Metoda ajwiększej wiarogodości - motywacja PRZYKŁAD, w którym wszystkie obliczeia moŝa wykoać aalityczie: 000 kadydatów a studia a Wydziale Fizyki kobiet i 45 męŝczyz. Uporządkujmy wszystkie azwiska alfabetyczie i a początek wybierzmy pierwszy tysiąc ( = 000) kadydatów. W liczbie tej zajdujemy k = 8 kobiet. Niech p ozacza prawdopodobieństwo, Ŝe przypadkowo wybraa osoba to kobieta, zaś p to prawdopodobieństwo trafieia męŝczyzy. Wyzaczmy fukcję wiarogodości: wybieramy koleje azwiska i jeśli jest to kobieta to do fukcji wiarogodości dopisujemy czyik p, a jeśli męŝczyza to czyik p. Prowadzi to do fukcji wiarogodości: L k ( ) = ( ) k p p p. Poszukując maksimum, zazwyczaj wygodiej jest pracować z logarytmem fukcji wiarogodości (logarytm ie zmieia połoŝeia maksimum), więc: d ll p k k k ll( p) = kl p + ( k ) l ( p) = pˆ =. dp p p Otrzymaliśmy bardzo rozsądy, oczywisty, estymator wyzaczający wartość: ˆp = 0,8. ( ) R.J. Nowak 80

81 3. Największa wiarogodość - dziewczyy do ścisłych (6) Dae włase wiarogodość L(p ),0 0,8 0,6 0,4 0, Dziewczyy do ścisłych pierwszy 000 drugi 000 razem 0,0 0, 0,4 0,6 0,8 0,30 0,3 0,34 parametr p R.J. Nowak 8

82 3. Największa wiarogodość - dziewczyy do ścisłych (7) Dae włase 400 Dziewczyy do ścisłych d ll(p )/dp ,4-00 0,5 0,6 0,7 0,8 0,9 0,3 0, parametr p R.J. Nowak 8

83 3. Największa wiarogodość - jede parametr - własości Estymatory z metody ajwiększej wiarogodości są: współzmieicze wraz ze zmiaą parametru, tj. jeśli iteresuje as parametr ϕ(θ), który jest fukcja parametru θ, to: ˆϕ ( θ ) = ϕ ( θˆ ) z reguły obciąŝoe, choć ie asymptotyczie (obciąŝeie zika ze wzrostem liczebości próbki), asymptotyczie ajefektywiejsze (dla duŝych próbek maja miejszą wariację iŝ estymatory uzyskae a iej drodze), asymptotyczie gaussowskie (ze wzrostem liczebości próbki abierają rozkładu gaussowskiego): N ( ˆ ) θ θ ;, exp =, ˆ ˆ π θ θ V V ( ˆ θ θ V ˆ θ ) ekoomicze - wykorzystują całą iformacje zgromadzoą w próbce (estymatory uzyskae a iej drodze mogą tracić część iformacji, co prowadzi do ich większej wariacji). R.J. Nowak 83

84 3. Największa wiarogodość - jede parametr - własości Fukcja wiarogodości ze wzrostem liczebości próbki przyjmuje kształt gaussowski: L ( θ ) ( ˆ θ θ ) = Lmax exp. V ˆ θ Pamiętajmy, Ŝe jest to fukcja poszukiwaego parametru θ, a ie fukcja zmieych losowych lub estymatora. Gaussowski kształt prowadzi do waŝej kokluzji. Obliczmy logarytm fukcji wiarogodości: ll ( θ ) = ll max ( ˆ θ θ ) V ˆ θ a takŝe pierwszą pochodą względem parametru: ( ) ˆ d ll θ θ θ =. dθ V ˆ θ Odstępstwa a wykresie tej pochodej od liiowości, jako fukcji parametru θ, pozwalają wizualie oceić a ile zajdujemy się w reŝimie asymptotyczym. R.J. Nowak 84

85 3. Największa wiarogodość - jede parametr - własości Obliczmy rówieŝ drugą pochodą: d ( θ ) ll dθ = V ˆ θ która prowadzi do wyraŝeia a wariację: ( θ ) ˆ d ll V θ =. dθ PoiewaŜ wielkość ta, dla skończoych próbek, zaleŝy od parametru θ, więc: ( θ ) ˆ ˆ d ll V θ =. dθ θ = ˆ θ Kowecjoalie cytowae są iepewości wyzaczae z tego wzoru, awet jeśli próbka jest mała i kształt fukcji wiarogodości odbiega od gaussowskiego. Do dobrej praktyki aleŝy podawaie wykresu logarytmu fukcji wiarogodości. R.J. Nowak 85

86 Iterludium - własości krzywej i rozkładu Gaussa ( ˆ θ θ ) ( ˆ θ θ ) L( θ ) = Lmax exp ll( θ ) = llmax V ˆ θ ˆ θ V Własość ta pozwala łatwo wyzaczyć odchyleie stadardowe D ˆ θ : Jedocześie, poiewaŝ asymptotyczie estymator ajwiększej wiarogodości ma rozkład ormaly: ( ) ( ˆ ˆ ) ˆ θ θ N θ; θ, V θ exp = π ˆ θ ˆ θ więc: 0,5, =, l ( ˆ) l ( ˆ ˆ ) L θ = θ L θ = θ ± D θ =, =, 4,5, = 3. D V 0,683 3, =, ( ˆ ˆ ˆ ) P θ D θ θ θ θ + D 0, , =, 0,997, = 3. R.J. Nowak 86

87 3. Największa wiarogodość - dziewczyy do ścisłych (8) Dziewczyy do ścisłych 0,4 0,5 0,6 0,7 0,8 0,9 0,30 0,3 0 - ll(p ) parametr p ( p) ( ) R.J. Nowak 87 ˆ d ll V [ pˆ ] = 0,00 = dp p= pˆ

88 3. Największa wiarogodość - dwa parametry PRZYKŁAD: próbka x i, i =,,...,, z rozkładu Gaussa N(x;µ,σ ). Fukcja wiarogodości: L RóŜiczkujemy: µ, σ = exp ( xi ), µ σ σ i= ( ) ( π ) l L µ, σ = lσ µ l π. ( ) ( x ) i σ i= l L( µ, σ ) = ( x µ ) = 0 ˆ µ = xi = x, µ σ i i= i= l L( µ, σ ) = + 3 ( x µ ) = 0 ˆ σ = S = ( x x ). σ σ σ i x i i= i= Otrzymaliśmy dobry estymator parametru µ i obciąŝoy parametru σ (a mocy własości: estymator fukcji parametru to fukcja estymatora parametru, daszek zapisaliśmy ad symbolem σ a ie ad symbolem σ ). R.J. Nowak 88

89 3. Największa wiarogodość - wiele parametrów Daa jest próbka zmieych losowych x i, i =,,...,, z rozkładu L(x;θ ) o zaym kształcie matematyczym, lecz iezaych wartościach parametrów θ i, i =,,..., m. Rozkład te traktujemy jako fukcję L(θ ) parametrów i poszukujemy takich ich wartości, przy których fukcja ta ma maksimum: ll( θ) = 0, i =,,..., m. θ i Własości uzyskaych a tej drodze estymatorów pozostają takie same, jak w przypadku jedego parametru, z tym, Ŝe asymptotyczie fukcja wiarogodości ma m-wymiarowy kształt gaussowski: L exp ˆ ˆ, T ( θ ) = L max ( θ θ ) V ( θ θ ) a estymatory asymptotyczie podlegają m-wymiarowemu rozkładowi Gaussa: ( ˆ ;, ) exp T ( ˆ N θθ V = ) ( ˆ ). θ θ V θ θ det V ( π ) Estymator macierzy V kowariacji zajdujemy ze związku: V U L ˆ ˆ θ =, Uij = l ( θ). θi θ j θ= θˆ R.J. Nowak 89

90 gdzie: Iterludium - wielowymiarowy rozkład i kształt Gaussa ( ˆ ;, ) exp T ( ˆ N θθ V = ) ( ˆ ), θ θ V θ θ ( π ) det V θˆ = ˆ, ˆ,, ˆ, =,,,. ( θ ) θ θm θ ( θ θ θm ) Wartość oczekiwaa i wariacja idywidualej zmieej losowej: ˆ θ ˆ i = θi, V θ i = σ i, a V to macierz kowariacji, której elemety mają postać: V cov ˆ, ˆ ˆ ˆ ij = θi θ j = ρij V θ i V θ j = ρijσ iσ j, ρij, ρii =. Własości asymptotyczej fukcji wiarogodości dla dwóch parametrów, wyikające z rozkładu Gaussa dla dwóch zmieych (dla porówaia podae są takŝe własości asymptotyczej fukcji wiarogodości z jedym parametrem): róŝica wartości logarytmu liczba prawdopodobieństwo ograiczoe koturem fukcji wiarogodości dyspersji jede parametr dwa parametry 0,5 68,3% 39,3%,0 94,5% 86,5% 4,5 3 99,7% 98,9% R.J. Nowak 90

91 3. Największa wiarogodość - bliźięta () Bliźięta moozygotycze są tej samej płci i wyglądają jak dwie krople wody, a dwuzygotycze mogą być róŝej płci i ie róŝią się iczym od dzieci urodzoych z dwóch róŝych ciąŝ. Wprowadźmy ozaczeia: p - prawdopodobieństwo urodzeia chłopca, q - prawdopodobieństwo ciąŝy moozygotyczej. Zdefiiujmy prawdopodobieństwa: P CC - urodzeia się dwóch chłopców, P CD - urodzeia się bliźiaków o mieszaej płci, P DD - urodzeia się dwóch dziewczyek: ( ) ( ) ( ) ( )( ) P = pq + p q = p q + p q, CC P = p p q, CD ( ) ( ) ( ) ( ) ( ) ( )( ) P = p q + p q = p q + p q. DD Zdefiiujmy teŝ liczebości róŝych par bliźiaczych: c = 3: liczba par chłopców bliźiaków, m = 37: liczba par bliźiaków o mieszaej płci, d = 38: liczba par dziewczyek bliźiaczek. P. Lichtestei i P. Aas, Heritability ad Prevalece of Specific Fears ad Phobias i Childhood, Joural of Child Psychology ad Psychiatry, 4 (7) (000), R.J. Nowak 9

92 3. Największa wiarogodość - bliźięta () Fukcja wiarogodości: L ( p, q) = jej logarytm: P P P c m d CC CD DD c ( ( ( ))) ( )( ) m c+ m c m+ d m p ( q p( q) ) ( p) ( q) q ( p)( q) ( ) m ( ) ( )( ( )( )) = p q + p q p p q p q + p q ( ) = + +, l L( p, q) = ( ) ( ) ( ) ( ) ( ) ( ) ( ( )( )) c + m l p + cl q + p q + m + d l p + ml q + dl q + p q i rówaia wyzaczające ekstremum: c( q) d ( q) ( ) ( )( ) ( ) ( ) ( )( ) c + m m + d l L( p, q) = + = 0, p p q + p q p q + p q c p m dp l L( p, q) = + = 0, q q + p q q q + p q których ie moŝa rozwiązać aalityczie, więc musimy się uciec do metod umeryczych, z których otrzymujemy: pˆ = 0, 496 ± 0,03 qˆ = 0,344 ± 0,030 ˆ ρ = 0,00. R.J. Nowak 9 pq d d

93 prawdopodobieństwo q bliźiąt moozygotyczych 3. Największa wiarogodość - bliźięta (3) Poziomice fukcji wiarogodości - bliźięta 0,40 0,35 0,30 0,5 0,46 0,48 0,50 0,5 prawdopodobieństwo p urodzeia chłopca R.J. Nowak 93

94 3. Największa wiarogodość - grupy krwi () Grupa krwi zdetermiowaa jest przez allele A lub B lub ich brak czyli 0. Krew grupy A mamy, gdy od rodziców otrzymamy allele A i A lub A i 0, grupy B mamy, gdy od rodziców otrzymamy allele B i B lub B i 0, grupy AB mamy, gdy od rodziców otrzymamy allele A i B oraz grupy 0 mamy, gdy od rodziców otrzymamy 0 i 0. Wprowadźmy ozaczeia: p: prawdopodobieństwo występowaia allela A, q: prawdopodobieństwo występowaia allela B, r = p q: prawdopodobieństwo braku obu alleli. Wyzaczmy prawdopodobieństwa występowaia poszczególych grup krwi: P = p + pr, P = q + qr, P = pq, P = r, A B AB 0 oraz wprowadźmy liczebości grup osób o róŝych grupach krwi: a = 8: liczba osób z grupą krwi A, b = 60: liczba osób z grupą krwi B, c = 7: liczba osób z grupą krwi AB, z = 76: liczba osób z grupą krwi 0. C.R. Rao, Modele liiowe statystyki matematyczej, PWN, Warszawa, 98, s. 38 R.J. Nowak 94