Statystyka matematyczna - ZSTA LMO Šukasz Smaga Wydziaª Matematyki i Informatyki Uniwersytet im. Adama Mickiewicza w Poznaniu Wykªad 1 Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 1 / 28
Kontakt Dr Šukasz Smaga Uniwersytet im. Adama Mickiewicza w Poznaniu, Wydziaª Matematyki i Informatyki, Zakªad Rachunku Prawdopodobie«stwa i Statystyki Matematycznej Pokój: B4-8, ul. Umultowska 87, Pozna«E-mail: ls@amu.edu.pl Tel.: 61 829-5336 Strona internetowa: www.staff.amu.edu.pl/~ls Dy»ury: wtorki godz. 12:00-13:00, ±rody godz. 12:30-13:30 Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 2 / 28
Zasady zaliczenia Egzamin b dzie obejmowaª caªo± materiaªu omawianego na wykªadach. Odb dzie si on w wyznaczonym terminie po zako«czeniu zaj. Aby zda egzamin nale»y uzyska przynajmniej poªow liczby punktów mo»liwych do zdobycia. Zadania egzaminacyjne b d dotyczyªy podania denicji, twierdze«, wªasno±ci oraz przykªadów, a tak»e przeprowadzenia wybranych dowodów. Ocena ko«cowa z egzaminu b dzie wystawiana na bazie sumy uzyskanych punktów z egzaminu oraz kolokwium z wicze«(patrz poni»ej). Oczywi±cie, aby przyst pi do egzaminu nale»y wcze±niej zaliczy wiczenia. wiczenia zostan zaliczone na stopie«. W celu ich zaliczenia student zobowi zany jest: 1 uczestniczy w zaj ciach, tj. dopuszczalna jest co najwy»ej jedna nieusprawiedliwiona nieobecno± na wiczeniach, 2 zaliczy kolokwium, które b dzie obejmowaªo caªo± materiaªu omawianego na wiczeniach. Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 3 / 28
Plan wykªadu 1 Efektywno± estymatorów nieobci»onych 2 Estymatory zgodne 3 Przydziaªy ufno±ci dla du»ych prób 4 Testy ilorazu wiarogodno±ci dla dwóch prób prostych 5 Graniczne wªasno±ci testu ilorazu wiarogodno±ci 6 Nieparametryczne testy zgodno±ci i jednorodno±ci 7 Testy nieparametryczne - znakowanie i rangowanie Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 4 / 28
Literatura - wykªad Wykªad: 1 M. Krzy±ko (2004) Statystyka matematyczna, Wydawnictwo Naukowe UAM. 2 R. Zieli«ski (2004) Siedem wykªadów wprowadzaj cych do statystyki matematycznej, PWN. 3 R. Magiera (2005, 2007) Modele i metody statystyki matematycznej. Cz ± 1: Rozkªady i symulacja stochastyczna. Cz ± 2: Wnioskowanie statystyczne, Ocyna Wydawnicza GiS. wiczenia: 1 W. Krysicki, J. Bartos, W. Dyczka, K. Królikowska, M. Wasilewski (1999) Rachunek prawdopodobie«stwa i statystyka matematyczna w zadaniach. Cz ± 2: Statystyka matematyczna, PWN. 2 W. Woªy«ski (2008) Prawdopodobie«stwo i statystyka. Zadania z egzaminów dla aktuariuszy z rozwi zaniami (2003-2007), Wydawnictwo Naukowe UAM. 3 A. Jokiel-Rokita, R. Magiera (2005) Modele i metody statystyki matematycznej w zadaniach, Ocyna Wydawnicza GiS. Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 5 / 28
Wykªad 1 - zagadnienia estymacja punktowa - powtórka warunki regularno±ci Cramera-Rao ilo± informacji Fishera nierówno± Cramera-Rao efektywno± estymatorów nieobci»onych zbie»no± wedªug prawdopodobie«stwa - powtórka zbie»no± z prawdopodobie«stwem jeden - powtórka estymatory zgodne Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 6 / 28
Próba prosta Niech badana cecha populacji X ma rozkªad P θ nale» cy do rodziny rozkªadów prawdopodobie«stwa P = {P θ : θ Θ}. O obserwacjach X 1, X 2,..., X n zakªadamy,»e s niezale»nymi zmiennymi losowymi o takim samym rozkªadzie co badana cecha populacji X. Wówczas prób X = (X 1, X 2,..., X n ) nazywa b dziemy prób prost z populacji o rozkªadzie P θ. Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 7 / 28
Estymacja punktowa Niech g(θ) R b dzie funkcj parametryczn. Denicja 1 Ka»d statystyk T (X), o warto±ciach w zbiorze g(θ), nazywamy estymatorem funkcji parametrycznej g(θ) (ozn. ĝ(x)). Statystyk ĝ(x) nazywamy estymatorem nieobci»onym (EN) funkcji parametrycznej g(θ), gdy θ Θ : E θ (ĝ(x)) = g(θ). Dla danej funkcji parametrycznej g(θ) zbiór estymatorów nieobci»onych tej funkcji mo»e by pusty. Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 8 / 28
Estymacja punktowa - estymatory nieobci»one o minimalnej wariancji Denicja 2 Niech A b dzie niepustym zbiorem estymatorów nieobci»onych funkcji parametrycznej g(θ), maj cych sko«czon wariancj (dla dowolnego θ Θ). Statystyk ĝ A nazywamy estymatorem nieobci»onym o minimalnej wariancji (ENMW) funkcji parametrycznej g(θ), gdy ĝ A θ Θ : Var θ (ĝ ) Var θ (ĝ). Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 9 / 28
Estymacja punktowa - metoda najwi kszej wiarogodno±ci Niech X = (X 1, X 2,..., X n ) b dzie prób z populacji o rozkªadzie P θ nale-» cym do rodziny P = {P θ : θ Θ R d }. Ponadto, niech rozkªady P θ z rodziny P opisane b d za pomoc funkcji prawdopodobie«stwa (g sto±ci) p θ. Denicja 3 Funkcj L okre±lon wzorem L(θ; x) = p θ (x) nazywamy funkcj wiarogodno±ci. Estymatorem najwi kszej wiarogodno±ci (ENW) parametru θ nazywamy statystyk ˆθ(X), speªniaj c warunek ) x X : L (ˆθ(x); x = sup L(θ; x). θ Θ Funkcja wiarogodno±ci jest funkcj parametru θ, natomiast dane x s ustalone (zaznaczamy to pisz c x jako argument funkcji L po ±redniku). Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 10 / 28
Estymacja punktowa - metoda najwi kszej wiarogodno±ci Uwaga 1 1 Dla danego parametru θ, ENW mo»e nie istnie lub mo»e by wyznaczony niejednoznacznie. 2 Przyjmujemy,»e estymatorem najwi kszej wiarogodno±ci funkcji parametrycznej g(θ) jest statystyka g(ˆθ(x)), gdzie ˆθ(X) = ENW (θ). 3 Zazwyczaj, podczas wyznaczania ENW, wygodniej jest operowa funkcj ln L ni» funkcj L. 4 W przypadku próby prostej L(θ; x) = p θ (x) = n p θ (x i ), gdzie p θ (x) jest funkcj prawdopodobie«stwa (g sto±ci) cechy X oraz x = (x 1, x 2,..., x n ) jest wektorem zawieraj cym dane. i=1 Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 11 / 28
Warunki regularno±ci Cramera-Rao Mówimy,»e rodzina rozkªadów P = {P θ : θ Θ R d } na przestrzeni próby X R n speªnia warunki regularno±ci Cramera-Rao, gdy dla ka»dej g sto±ci f θ rozkªadu P θ P speªnione s warunki: 1 Zbiór A = {x X : f θ (x) > 0} nie zale»y od parametru θ oraz dla dowolnych x A i θ Θ istnieje sko«czona pochodna ln f θ (x). θ 2 Je»eli T jest dowoln statystyk tak,»e E θ ( T ) < dla dowolnego θ Θ, to T (x)f θ (x)dx = T (x) θ A A θ f θ(x)dx. Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 12 / 28
Ilo± informacji Fishera Denicja 4 Funkcj I n (θ) parametru θ dan wzorem [ ( ) ] 2 I n (θ) = E θ θ ln f θ (X) nazywamy ilo±ci informacji Fishera o parametrze θ z próby X. Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 13 / 28
Ilo± informacji Fishera Lemat 1 Zaªó»my,»e X jest prób prost z populacji o rozkªadzie P θ. 1 Wówczas I n (θ) = ni 1 (θ). 2 Ponadto, niech dla dowolnych x A i θ Θ istnieje sko«czona pochodna 2 ln f θ (x) oraz θ 2 2 2 θ 2 f θ (x)dx = X X θ 2 f θ(x)dx. Wtedy [ ] I n (θ) = E θ 2 θ 2 ln f θ (X). Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 14 / 28
Ilo± informacji Fishera Przykªad 1 Niech X = (X 1, X 2,..., X n ) b dzie prób prost z populacji o rozkªadzie Rayleigha R(λ), gdzie λ > 0 jest parametrem. Wtedy ilo± informacji Fishera o parametrze λ z próby X wynosi I n (λ) = n λ 2. Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 15 / 28
Nierówno± Cramera-Rao Twierdzenie 1 (nierówno± Cramera-Rao) Niech ĝ(x) b dzie estymatorem nieobci»onym o sko«czonej wariancji funkcji parametrycznej g(θ) oraz niech 0 < I n (θ) <. Wówczas θ Θ : Var θ [ĝ(x)] [g (θ)] 2 I n (θ). Ponadto równo± w powy»szej nierówno±ci zachodzi wtedy i tylko wtedy, gdy θ ln f θ(x) = k(θ)[ĝ(x) g(θ)], gdzie k(θ) = g (θ) Var θ [ĝ(x)]. Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 16 / 28
Estymatory efektywne w sensie Cramera-Rao Wniosek 1 Estymator nieobci»ony ĝ(x) funkcji parametrycznej g(θ), dla którego θ Θ : Var θ [ĝ(x)] = [g (θ)] 2 I n (θ) (1) jest estymatorem nieobci»onym o minimalnej wariancji funkcji parametrycznej g(θ). Denicja 5 Estymator nieobci»ony ĝ(x) funkcji parametrycznej g(θ), dla którego zachodzi równo± (1) nazywamy estymatorem efektywnym w sensie Cramera- Rao funkcji parametrycznej g(θ). Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 17 / 28
Estymatory efektywne w sensie Cramera-Rao Denicja 6 Efektywno±ci estymatora nieobci»onego ĝ(x) o sko«czonej wariancji funkcji parametrycznej g(θ) nazywamy liczb e(ĝ(x)) = [g (θ)] 2 (0, 1]. Var θ [ĝ(x)]i n (θ) Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 18 / 28
Estymatory efektywne w sensie Cramera-Rao Przykªad 2 (ci g dalszy przykªadu 1) Niech X = (X 1, X 2,..., X n ) b dzie prób prost z populacji o rozkªadzie Rayleigha R(λ), gdzie λ > 0 jest parametrem. 1 Estymator nieobci»ony funkcji parametrycznej g 1 (λ) = λ postaci ĝ 1 (X) = 1 n n i=1 X 2 i jest estymatorem efektywnym w sensie Cramera-Rao tej funkcji. 2 Estymator nieobci»ony funkcji parametrycznej g 2 (λ) = λ ln 2 postaci ĝ 2 (X) = 2 ln 2 π X nie jest estymatorem efektywnym w sensie Cramera-Rao tej funkcji parametrycznej. Ponadto, e (ĝ 2 (X)) 91%. Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 19 / 28
Estymatory efektywne w sensie Cramera-Rao Twierdzenie 2 Zaªó»my,»e X = (X 1, X 2,..., X n ) jest prób prost z populacji o rozkªadzie P θ, gdzie θ jest parametrem. Ponadto niech rodzina rozkªadów badanej cechy populacji speªnia warunki regularno±ci Cramera-Rao. Wówczas, je»eli ˆθ(X) jest estymatorem efektywnym w sensie Cramera-Rao parametru θ, to ˆθ(X) jest estymatorem najwi kszej wiarogodno±ci parametru θ. Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 20 / 28
Zbie»no± wedªug prawdopodobie«stwa Denicja 7 Ci g zmiennych losowych (X n ) jest zbie»ny wedªug prawdopodobie«stwa do P zmiennej losowej X (ozn. X n X ), gdy Lemat 2 ɛ > 0 : lim n P ( X n X ɛ) = 0. Niech X n P X, Yn P Y oraz niech h b dzie funkcj ci gª. Wówczas 1 dla dowolnych a, b R: ax n + by n P ax + by, 2 X n Y n P XY, 3 h(x n ) P h(x ). Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 21 / 28
Zbie»no± z prawdopodobie«stwem jeden Denicja 8 Ci g zmiennych losowych (X n ) jest zbie»ny do zmiennej losowej X z prawdopodobie«stwem jeden (prawie na pewno, prawie wsz dzie, prawie zawsze, 1 ozn. X n X ), gdy P({ω Ω : lim n X n(ω) = X (ω)}) = 1. Dla zbie»no±ci z prawdopodobie«stwem jeden zachodz takie same wªasno±ci jak dla zbie»no±ci wedªug prawdopodobie«stwa podane w Lemacie 2. Lemat 3 Je»eli X n 1 X, to Xn P X. Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 22 / 28
Estymatory zgodne Denicja 9 Estymator ĝ n (X) (a dokªadniej ci g estymatorów (ĝ n (X))) funkcji parametrycznej g(θ) nazywamy (sªabo) zgodnym, gdy ci g (ĝ n (X)) jest zbie»ny wedªug prawdopodobie«stwa do g(θ), tzn. Denicja 10 θ Θ ɛ > 0 : lim n P θ ( ĝ n (X) g(θ) ɛ) = 0. Estymator ĝ n (X) (a dokªadniej ci g estymatorów (ĝ n (X))) funkcji parametrycznej g(θ) nazywamy (mocno) zgodnym, gdy ci g (ĝ n (X)) jest zbie»ny z prawdopodobie«stwem jeden do g(θ), tzn. ( ) θ Θ : P θ lim n ĝn (X) = g(θ) = 1. Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 23 / 28
Estymatory zgodne Twierdzenie 3 (prawo wielkich liczb Chinczyna) Niech (ξ n ) b dzie ci giem niezale»nych zmiennych losowych o jednakowym rozkªadzie prawdopodobie«stwa i niech E(ξ n ) = a. Wówczas ci g (ξ n ) speªnia sªabe prawo wielkich liczb, tzn. 1 n n P ξ k a. k=1 Twierdzenie 4 (mocne prawo wielkich liczb Koªmogorowa) Niech (ξ n ) b dzie ci giem niezale»nych zmiennych losowych o jednakowym rozkªadzie prawdopodobie«stwa i niech E(ξ n ) = a. Wówczas ci g (ξ n ) speªnia mocne prawo wielkich liczb, tzn. 1 n n 1 ξ k a. k=1 Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 24 / 28
Estymatory zgodne Przykªad 3 Zaªó»my,»e badana cecha X populacji ma rozkªad normalny N(µ, σ 2 ), gdzie µ i σ 2 s parametrami. Ponadto, niech X = (X 1, X 2,..., X n ), n > 1 b dzie prób z tej populacji. Estymatorem (mocno) zgodnym funkcji parametrycznej g 1 (µ, σ 2 ) = µ jest statystyka ĝ 1 (X) = X n = 1 n n X i, i=1 a funkcji g 2 (µ, σ 2 ) = σ 2 statystyka ĝ 2 (X) = S 2 = 1 n 1 n (X i X n ) 2. i=1 Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 25 / 28
Estymatory zgodne Twierdzenie 5 Niech ĝ n (X) b dzie estymatorem nieobci»onym funkcji parametrycznej g(θ) takim,»e θ Θ : Var θ (ĝ n (X)) 0, przy n. Wówczas ĝ n (X) jest (sªabo) zgodnym estymatorem funkcji parametrycznej g(θ). Lemat 4 (nierówno± Czebyszewa) Je»eli X jest zmienn losow o warto±ci oczekiwanej µ i sko«czonej wariancji σ 2, to ɛ > 0 : P( X µ ɛ) Var(X ) ɛ 2. Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 26 / 28
Estymatory zgodne Twierdzenie 6 Zaªó»my,»e X = (X 1, X 2,..., X n ) jest prób z populacji rozkªadzie P θ, gdzie θ jest parametrem. Estymator nieobci»ony o minimalnej wariancji ĝ n (X) funkcji parametrycznej g(θ) jest estymatorem (sªabo) zgodnym tej funkcji parametrycznej. Twierdzenie 7 Zaªó»my,»e X = (X 1, X 2,..., X n ) jest prób z populacji rozkªadzie P θ, gdzie θ jest parametrem oraz zbiór {x : f θ (x) > 0} nie zale»y od parametru θ. Je»eli estymator najwi kszej wiarogodno±ci parametru θ jest wyznaczony jednoznacznie, to jest on (mocno) zgodnym estymatorem parametru θ. Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 27 / 28
Estymatory zgodne Przykªad 4 Zaªó»my,»e X = (X 1, X 2,..., X n ) jest prób z populacji rozkªadzie jednostajnym U(0, θ), gdzie θ jest parametrem. Z twierdzenia 6 wynika,»e estymator nieobci»ony o minimalnej wariancji parametru θ postaci n + 1 n max{x 1, X 2,..., X n } jest estymatorem zgodnym parametru θ. wiarogodno±ci parametru θ postaci Ponadto, estymator najwi kszej max{x 1, X 2,..., X n } jest równie» estymatorem zgodnym parametru θ. Nie wynika to jednak z twierdzenia 7, poniewa» zbiór {x : f θ (x) > 0} = (0, θ), wi c zale»y on od parametru θ. Šukasz Smaga (WMI UAM) ZSTA LMO Wykªad 1 28 / 28