Statystyka I. Wojciech Niemiro lutego 2014

Transkrypt

1 Statystyka I Wojciech Niemiro 1 27 lutego Wydziaª Matematyki i Informatyki, Uniwersytet Mikoªaja Kopernika, Toru«; Wydziaª Matematyki, Informatyki i Mechaniki, Uniwersytet Warszawski, wniem@mat.uni.torun.pl, wniem@mimuw.edu.pl

2 2

3 Spis tre±ci I Podstawy 7 1 Próbkowe odpowiedniki wielko±ci populacyjnych Rozkªad empiryczny Momenty i kwantyle z próbki Zadania Modele statystyczne Przestrzenie statystyczne Statystyki i rozkªady próbkowe Dostateczno± Rodziny wykªadnicze Zadania II Estymacja 37 3 Metody estymacji Metody heurystyczne Wiarogodno± Zadania

4 4 SPIS TRE CI 4 Teoria estymacji 49 Przykªad wst pny Bª d ±redniokwadratowy Informacja Fishera i nierówno± Craméra-Rao Zadania Asymptotyczne wªasno±ci estymatorów Zgodno± Asymptotyczna normalno± Estymatory najwi kszej wiarogodno±ci Zadania Przedziaªy ufno±ci Przykªady Asymptotyczne przedziaªy ufno±ci Zwi zek z metod najwi kszej wiarogodno±ci Zadania III Testowanie hipotez statystycznych 85 7 Testy istotno±ci 87 Przykªad wst pny Kilka wybranych testów istotno±ci Test proporcji Test chi-kwadrat Test Koªmogorowa-Smirnowa Parametryczne testy istotno±ci Zadania

5 SPIS TRE CI 5 8 Teoria testowania hipotez Denicje Lemat Neymana-Pearsona Testy ilorazu wiarogodno±ci Rozkªad asymptotyczny testu ilorazu wiarogodno±ci Zgodno± testów Zadania IV Regresja Modele regresji Wst p Metoda najmniejszych kwadratów Model liniowy Prosta regresja liniowa Regresja liniowa wieloraka Estymacja w modelu liniowym Geometria ENK Testowanie hipotez Analiza wariancji Hipoteza o braku zale»no±ci Zadania

6 6 SPIS TRE CI

7 Cz ± I Podstawy 7

8

9 Rozdziaª 1 Próbkowe odpowiedniki wielko±ci populacyjnych 1.1 Rozkªad empiryczny Statystyka matematyczna opiera si na zaªo»eniu,»e dane s wynikiem pewnego do±wiadczenia losowego. Przypu± my,»e dane maj posta ci gu liczb x 1, x 2,..., x n. Zakªadamy,»e mamy do czynienia ze zmiennymi losowymi X 1, X 2,..., X n okre±lonymi na przestrzeni probabilistycznej (Ω, F, P) i dane s realizacjami (warto±ciami) tych zmiennych losowych, czyli x 1 = X 1 (ω),..., x n = X n (ω) dla pewnego ω Ω. Nie znamy rozkªadu prawdopodobie«stwa P na przestrzeni Ω, który rz dzi zachowaniem zmiennych losowych i chcemy si dowiedzie czego± o tym rozkªadzie na podstawie obserwacji x 1, x 2,..., x n. Rozwa»my najpierw prost sytuacj, kiedy obserwacje s realizacjami niezale»nych zmiennych losowych o jednakowym rozkªadzie DEFINICJA. Próbk z rozkªadu prawdopodobie«stwa o dystrybuancie F nazywamy ci g niezale»nych zmiennych losowych X 1, X 2,..., X n o jednakowym rozkªadzie, P(X i x) = F (x) dla i = 1, 2,..., n. B dziemy u»ywali oznaczenia X 1, X 2,..., X n iid F. W powy»szej denicji dystrybuanta jest tylko pewnym sposobem opisu rozkªadu prawdopodobie«stwa. Mówi c na przykªad o próbce z rozkªadu normalnego, napiszemy X 1,... X n iid N(µ, σ 2 ). Mówi si tak»e,»e X 1, X 2,..., X n jest próbk z rozkªadu kcyjnej zmiennej losowej X F. Uwaga. W statystycznych badaniach reprezentacyjnych stosuje si ró»ne schematy losowania z populacji sko«czonej. W Denicji 1.1.1» damy niezale»no±ci, zatem ta denicja nie obejmuje próbki wylosowanej bez zwracania. 9

10 10 ROZDZIAŠ 1. PRÓBKOWE ODPOWIEDNIKI WIELKO CI POPULACYJNYCH DEFINICJA. Niech X 1, X 1,..., X n b dzie próbk z rozkªadu o dystrybuancie F. Funkcj ˆF (x) = 1 n nazywamy dystrybuant empiryczn. n 1(X i x) Gdy chcemy podkre±li,»e próbka ma rozmiar n, to piszemy ˆF n zamiast ˆF. Traktujemy ˆF jako empiryczny odpowiednik nieznanej dystrybuanty F Przykªad (Waga noworodków). Powiedzmy,»e wylosowano 114 noworodków 1 w celu poznania cech zycznych dzieci urodzonych w Warszawie w roku Waga noworodków byªa taka: Dane traktujemy jako próbk z rozkªadu prawdopodobie«stwa zmiennej losowej X = waga noworodka losowo wybranego z populacji. Rysunek 1.1 przedstawia dystrybuant empiryczn ˆF odpowiadaj c tej próbce. Dystrybuanta empiryczna jest funkcj pary argumentów (x, ω), czyli ˆF : R Ω [0, 1], ale wygodnie jest pomija argument ω. Dla ustalonego ω Ω dystrybuanta empiryczna jest funkcj R [0, 1], która argumentowi x przyporz dkowuje liczb 1(X i (ω) x)/n. Dla ustalonego a R warto± dystrybuanty empirycznej jest zmienn losow, ˆF (a) : Ω [0, 1]. Ci g indykatorów odpowiada schematowi Bernoulliego z prawdopodobie«stwem sukcesu F (a) i dlatego zmienna losowa ˆF (a) ma nast puj cy rozkªad prawdopodobie«stwa: ( ) P( ˆF n (a) = k/n) = F (a) k (1 F (a)) n k (k = 0, 1,..., n). k 1 W istocie, dane pochodz z dwóch numerów Gazety Wyborczej, (Gazeta Stoªeczna, 29 sierpnia 2009 i 5 wrze±nia 2009).

11 1.1. ROZKŠAD EMPIRYCZNY 11 noworodki Fn(x) x Rysunek 1.1: Dystrybuanta empiryczna wagi noworodków. Dane z Przykªadu

12 12 ROZDZIAŠ 1. PRÓBKOWE ODPOWIEDNIKI WIELKO CI POPULACYJNYCH DEFINICJA. Rozwa»my próbk X 1, X 2,..., X n. Dla ka»dego ω Ω, niech X 1:n (ω) X 2:n (ω) X n:n (ω) b dzie ci giem liczb X 1 (ω), X 2 (ω),..., X n (ω) uporz dkowanym w kolejno±ci rosn cej. Okre±lone w ten sposób zmienne losowe X 1:n, X 2:n,..., X n:n nazywamy statystykami pozycyjnymi. W szczególno±ci, X 1:n = min(x 1,..., X n ) i X n:n = max(x 1,..., X n ); pierwsza i ostatnia statystyka pozycyjna to, odpowiednio, najmniejsza i najwi ksza obserwacja w próbce. Dystrybuanta empiryczna ˆF jest funkcj schodkow : jest staªa na ka»dym z przedziaªów pomi dzy statystykami pozycyjnymi [X i:n, X i+1:n [. Wida,»e dla x < X 1:n mamy ˆF (x) = 0; dla X i:n x < X i+1:n mamy ˆF (x) = i n ; dla x X n:n mamy ˆF (x) = 1. W punktach X i:n funkcja ˆF ma nieci gªo±ci (skacze w gór ). Je±li teoretyczna dystrybuanta F jest ci gªa, to P(X 1:n < X 2:n < < X n:n ) = 1, a wi c, z prawdopodobie«stwem 1, mamy ˆF (X i:n ) = i/n i ka»dy skok dystrybuanty empirycznej ma wielko± 1/n. Je±li teoretyczna dystrybuanta jest dyskretna, to z niezerowym prawdopodobie«stwem niektóre statystyki pozycyjne b d si pokrywa i dystrybuanta empiryczna b dzie miaªa skoki wysoko±ci 2/n lub 3/n i tak dalej. W poni»szym stwierdzeniu b dziemy mieli do czynienia z niesko«czon próbk, czyli z ci - giem zmiennych losowych X 1, X 2,..., X n,..., które s niezale»ne i maj jednakowy rozkªad prawdopodobie«stwa. Mo»emy sobie wyobrazi,»e wci» dodajemy do próbki nowe zmienne losowe. Dystrybuanta empiryczna ˆF n jest okre±lona tak jak w Denicji 1.1.2, to znaczy, zale»y od pocz tkowych zmiennych X 1,..., X n. Rozpatrujemy teraz ci g dystrybuant empirycznych ˆF 1, ˆF 2,..., ˆF n, Stwierdzenie. Je±li X 1,..., X n,... jest próbk z rozkªadu o dystrybuancie F, to dla ka»dego x R, ˆF n (x) p.n. F (x), (n ). Dowód. Zmienne losowe 1(X 1 x),..., 1(X n x),... s niezale»ne i maj jednakowy rozkªad prawdopodobie«stwa: 1(X n x) przyjmuje warto± 1 z prawdopodobie«stwem F (x) lub warto± 0 z prawdopodobie«stwem 1 F (x). Oczywi±cie, E1(X n x) = F (x). Z Mocnego Prawa Wielkich Liczb (MPWL) dla schematu Bernoulliego wynika,»e zdarzenie lim n ˆFn (x) = F (x) zachodzi z prawdopodobie«stwem 1. To znaczy,»e ci g zmiennych losowych ˆF n (x) jest zbie»ny prawie na pewno do liczby F (x). Istnieje mocniejsza wersja poprzedniego stwierdzenia, któr przytoczymy bez dowodu. Mo»na pokaza,»e zbie»no± ˆF F zachodzi jednostajnie z prawdopodobie«stwem 1.

13 1.1. ROZKŠAD EMPIRYCZNY 13 n=10 n=25 Fn(x) Fn(x) x x n=100 n=500 Fn(x) Fn(x) x x Rysunek 1.2: Zbie»no± dystrybuant empirycznych do dystrybuanty.

14 14 ROZDZIAŠ 1. PRÓBKOWE ODPOWIEDNIKI WIELKO CI POPULACYJNYCH TWIERDZENIE (Gliwienko-Cantelli). Je»eli X 1,..., X n,... jest próbk z rozkªadu o dystrybuancie F to sup ˆF n (x) F (x) p.n. 0 (n ). <x< Je±li mamy mo»liwo± nieograniczonego powi kszania próbki, to mo»emy pozna rozkªad prawdopodobie«stwa z dowoln dokªadno±ci. Zamiast dowodu Twierdzenia Gliwienki-Cantelliego przytoczymy wyniki przykªadowych symulacji komputerowych. Na Rysunku 1.2 wida dystrybuanty empiryczne F 10, F 25, F 100 i F 500, dla próbki z rozkªadu normalnego N(0, 1) na tle teoretycznej dystrybuanty tego rozkªadu (ci gªa, niebieska krzywa). Skoncentrowali±my uwag na dystrybuancie empirycznej, ale podobnie mo»na zdeniowa o empiryczny rozkªad prawdopodobie«stwa. Rozwa»my zbiór borelowski B R i próbk X 1, X 2,..., X n z rozkªadu zmiennej losowej X. Przybli»eniem nieznanej liczby P (B) = P(X B) jest prawdopodobie«stwo empiryczne ˆP (B) = 1 n n 1(X i B). Okre±lone w ten sposób odwzorowanie ˆP : B Ω R, gdzie B oznacza rodzin zbiorów borelowskich, nazywane jest empirycznym rozkªadem prawdopodobie«stwa. Dla ustalonego ω Ω jest to dyskretny rozkªad prawdopodobie«stwa; je±li warto±ci x 1 = X 1 (ω),..., x n = X n (ω) s ró»nymi liczbami to ˆP ({x i }) = 1/n dla i = 1, 2,..., n, czyli empiryczny rozkªad prawdopodobie«stwa jest rozkªadem równomiernym na zbiorze {x 1,..., x n }. Z drugiej strony ˆP (B) jest, dla ustalonego zbioru B, zmienn losow (a nie liczb ). Oczywi±cie, ˆP (], x]) = ˆF (x) Przykªad (Statystyczna kontrola jako±ci). Producent chce si dowiedzie, jaki procent wytwarzanych przez niego wyrobów jest wadliwych. Sprawdza dokªadnie pewn liczb sztuk. Powiedzmy,»e badaniu poddano 50 sztuk i wyniki s takie (zakodujemy wyrób prawidªowy jako liczb 1 i wadliwy jako 0): Potraktujemy ten ci g jako próbk z pewnego rozkªadu prawdopodobie«stwa na zbiorze dwupunktowym {prawidªowy, wadliwy} = {1, 0}. Producenta interesuje liczba P (0) = P (wadliwy) = % sztuk wadliwych w±ród wszystkich wyrobów.

15 1.2. MOMENTY I KWANTYLE Z PRÓBKI. 15 Na podstawie próbki mo»emy obliczy prawdopodobie«stwo empiryczne ˆP (0) = ˆP (wadliwy) = % sztuk wadliwych w±ród 50 zbadanych wyrobów = 5 50 = Przykªad jest trywialny. Chodzi tylko o to,»eby podkre±li ró»nic mi dzy nieznan, interesuj c nas liczb P (0) i znan ale losow wielko±ci ˆP (0). 1.2 Momenty i kwantyle z próbki. Okre±limy teraz próbkowe odpowiedniki pewnych wielko±ci, zwi zanych z rozkªadem prawdopodobie«stwa. B dziemy post powali w podobnym duchu jak w denicji dystrybuanty empirycznej. Caªy czas X 1,..., X n jest próbk. redni z próbki nazywamy zmienn losow X = 1 n X i. n Wida,»e X jest warto±ci oczekiwan rozkªadu empirycznego. próbki S 2 = 1 n (X i n X) 2 jest niczym innym, jak wariancj rozkªadu empirycznego. próbki (zwykªe i centralne) oznaczymy przez â k i ˆm k : Podobnie, wariancja z Wy»szego rz du momenty z â k = 1 n n Xi k, ˆm k = 1 n n (X i X) k. S to odpowiedniki momentów, czyli a k = EX k, m k = E(X i EX) k. Wielko±ci a k i m k zale» od prawdziwego, teoretycznego rozkªadu zmiennej losowej X, podczas gdy â k i ˆm k s obliczone dla rozkªadu empirycznego. Oczywi±cie, â 1 = X i ˆm 2 = S 2, ale te dwa momenty spotyka b dziemy tak cz sto,»e zasªuguj na specjalne oznaczenie. Zauwa»my jeszcze oczywisty zwi zek ˆm 2 = â 2 â 2 1 (Zadanie 4).

16 16 ROZDZIAŠ 1. PRÓBKOWE ODPOWIEDNIKI WIELKO CI POPULACYJNYCH Kwantyle próbkowe okre±lamy zgodnie z tym samym schematem. Po prostu zast pujemy rozkªad prawdopodobie«stwa rozkªadem empirycznym i obliczamy kwantyle. Przypomnijmy najpierw denicj kwantyla. Niech 0 < q < 1. Je±li P(X < ξ q ) = F (ξ q ) q F (ξ q ) = P(X ξ q ), to liczb ξ q nazywamy kwantylem rz du q zmiennej losowej X. Taka liczba zawsze istnieje, ale nie musi by wyznaczona jednoznacznie. Je±li istnieje dokªadnie jedna liczba ξ q taka,»e P(X ξ q ) = F (ξ q ) = q to oczywi±cie ξ q jest q-tym kwantylem. Podobnie jest w przypadku gdy F (ξ q ) < q < F (ξ q ). Je±li jednak F (a) = F (b) = q, to ka»da z liczb z przedziaªu [a, b] jest kwantylem. Liczb ˆξ q nazywamy kwantylem empirycznym rz du q, je±li ˆF (ˆξ q ) q ˆF (ˆξ q ). Statystyka pozycyjna X np :n jest kwantylem empirycznym rz du p ale niekoniecznie jedynym. Najlepiej wida to na przykªadzie mediany (kwantyla rz du q = 1/2). Je±li rozmiar próbki n jest liczb nieparzyst, to statystyka pozycyjna o numerze (n + 1)/2 jest median z próbki. Je±li rozmiar próbki jest liczb parzyst, to ka»da z liczb z przedziaªu [X n/2:n, X n/2+1,n ] jest median rozkªadu empirycznego. W R i innych pakietach statystycznych, dla unikni cia niejednoznaczno±ci, zwykle podaje si ±rodek przedziaªu median: (X n/2:n + X n/2+1:n )/2. Przyjmiemy nast puj ce oznaczenia na median i median z próbki: med(x) = ξ 1/2, med ˆ = med(x ˆ 1,..., X n ) = ˆξ 1/2. Kwantyle rz du 1/4 i 3/4 nosz nazw kwartyli i bywaj oznaczane Q 1 i Q Przykªad (Waga noworodków, kontynuacja). Dla naszej niemowl cej próbki z Przykªadu mamy X = , S = Jak ju» zauwa»yli±my poprzednio, med ˆ = Kwartyle próbkowe, zgodnie z nasz denicj, s równe Q 1 = ˆξ 1/4 = X 29:114 = 2930 i Q 3 = ˆξ 3/4 = X 86:114 = Median, kwartyle, minimum i maksimum próbki przedstawia tak zwany wykres pudeªkowy. Rysunek 1.3. Na zako«czenie naszych wst pnych rozwa»a«wspomnimy o jeszcze jednym gracznym sposobie podsumowania danych. Na Rysunku 1.4 przedstawiony jest histogram danych z Przykªadu Wydaje si,»e szczegóªowe obja±nienia s zb dne, bo budowa histogramu jest do± oczywista i dobrze znana czytelnikom prasy i telewidzom. Zwró my tylko uwag na to,»e skala osi pionowej zastaªa tak dobrana, aby pole pod histogramem byªo równe 1, podobnie jak pole pod wykresem g sto±ci prawdopodobie«stwa. W istocie, histogram jest w pewnym sensie empirycznym odpowiednikiem g sto±ci. 2 R podaje nast puj ce warto±ci kwartyli: Q 1 = ˆξ 1/4 = i Q 3 = ˆξ 3/4 = ; okre±lenie kwantyla w R nieco ró»ni si od naszego, ale nie ma to zasadniczego znaczenia, szczególnie je±li próbka jest du»a.

17 1.2. MOMENTY I KWANTYLE Z PRÓBKI. 17 noworodki Rysunek 1.3: Wykres pudeªkowy. Dane z Przykªadu

18 18 ROZDZIAŠ 1. PRÓBKOWE ODPOWIEDNIKI WIELKO CI POPULACYJNYCH Histogram of noworodki Density 0e+00 2e 04 4e 04 6e noworodki Rysunek 1.4: Histogram danych z Przykªadu

19 1.3. ZADANIA Zadania 1. Obliczy E ˆF (x), Var ˆF (x). 2. Pokaza,»e ci g zmiennych losowych n( ˆF n (x) F (x)) jest zbie»ny do rozkªadu normalnego. Zidentykowa parametry tego rozkªadu. 3. Poda granic lim n P( ˆF n (x) F (x)) przy zaªo»eniu,»e 0 < F (x) < 1. Dokªadnie uzasadni odpowied¹. 4. Wyprowadzi alternatywny wzór na wariancj próbkow : S 2 = 1 n n Xi 2 X Niech X 1,..., X n b dzie próbk z rozkªadu normalnego N(µ, σ 2 ). Poda rozkªad ±redniej próbkowej X = Xi /n. 6. Obliczy dystrybuant i g sto± rozkªadu zmiennej losowej U n:n = max(u 1,..., U n ), gdzie U 1,..., U n jest próbk z rozkªadu jednostajnego U(0, 1). 7. (Ci g dalszy). Obliczy EU n:n, gdzie U n:n oznacza ostatni statystyk pozycyjn (maksimum z próbki) z rozkªadu jednostajnego U(0, 1). 8. (Ci g dalszy). Obliczy VarU n:n, gdzie U n:n oznacza maksimum z próbki z rozkªadu jednostajnego U(0, 1). 9. (Ci g dalszy). Zbada zbie»no± wedªug rozkªadu ci gu zmiennych losowych n(1 U n:n ), gdzie U n:n oznacza ostatni statystyk pozycyjn (maksimum z próbki) z rozkªadu jednostajnego U(0, 1). 10. Niech X 1,..., X n b dzie próbk z rozkªadu wykªadniczego Ex(λ). Obliczy rozkªad prawdopodobie«stwa X 1:n, pierwszej statystyki pozycyjnej (minimum z próbki). Poda dystrybuant, g sto±, nazw tego rozkªadu. 11. Rozwa»my próbk X 1,..., X n z rozkªadu o dystrybuancie F. Pokaza,»e zmienna losowa X k:n (k-ta statystyka pozycyjna) ma dystrybuant P(X k:n x) = n i=k ( ) n F (x) i (1 F (x)) n i. i 12. Zaªó»my,»e dystrybuanta F jest funkcj ci gª i ±ci±le rosn c, a zatem istnieje funkcja odwrotna F 1 :]0, 1[ R. Pokaza,»e je±li U U(0, 1) to zmienna losowa X = F 1 (U) ma dystrybuant F. 13. (Ci g dalszy). Niech U k:n oznacza statystyk pozycyjn z rozkªadu U(0, 1). Pokaza,»e X k:n = F 1 (U k:n ) ma rozkªad taki jak statystyka pozycyjna z rozkªadu o dystrybuancie F.

20 20 ROZDZIAŠ 1. PRÓBKOWE ODPOWIEDNIKI WIELKO CI POPULACYJNYCH

21 Rozdziaª 2 Modele statystyczne 2.1 Przestrzenie statystyczne Zaczniemy od formalnej denicji, której sens postaramy si w dalszym ci gu wyja±ni i zilustrowa przykªadami DEFINICJA. Przestrze«statystyczna jest to trójka (X, F, {P θ ; θ Θ}), gdzie X jest zbiorem, wyposa»onym w σ-ciaªo F podzbiorów, za± {P θ ; θ Θ} jest rodzin rozkªadów prawdopodobie«stwa na przestrzeni (X, F). Zbiór X nazywamy przestrzeni obserwacji za± Θ nazywamy przestrzeni parametrów. Widoczny jest zwi zek z denicj znan z rachunku prawdopodobie«stwa. Dla ka»dego ustalonego θ Θ, trójka (X, F, P θ ) jest przestrzeni probabilistyczn. Najwa»niejsz nowo±ci w Denicji jest to,»e rozwa»amy rodzin rozkªadów prawdopodobie«stwa, {P θ ; θ Θ}. Jak ju» powiedzieli±my w poprzednim rozdziale, w statystyce matematycznej traktujemy dane jako wynik do±wiadczenia losowego, ale nie wiemy, jaki rozkªad rz dzi badanym zjawiskiem. Wobec tego rozpatrujemy rodzin wszystkich branych pod uwag rozkªadów prawdopodobie«stwa. Zakªadamy,»e prawdziwy rozkªad nale»y do tej rodziny, czyli jest to rozkªad P θ0 dla pewnego θ 0 Θ, tylko nie umiemy wskaza θ Uwaga (Kanoniczna przestrze«próbkowa). Powiedzmy,»e wynikiem obserwacji s zmienne losowe X 1,..., X n. Niech Ω b dzie zbiorem wszystkich mo»liwych wyników do- ±wiadczenia losowego, a wi c w naszym przypadku zbiorem ci gów ω = (x 1,..., x n ). Mo»emy przyj,»e zmienne losowe X i s funkcjami okre±lonymi na przestrzeni próbkowej Ω wzorem X i (ω) = x i. Wektor X = (X 1,..., X n ) mo»emy traktowa jako pojedyncz, wielowymiarow obserwacj i napisa X(ω) = ω. Przy tej umowie, milcz co przyj tej w Denicji 2.1.1, rozkªad prawdopodobie«stwa na przestrzeni Ω = X jest tym samym, co rozkªad prawdopodobie«stwa obserwacji: P θ (B) = P θ (X B), dla B F. Jest to, co nale»y podkre±li, ª czny rozkªad wszystkich obserwowanych zmiennych losowych. Szczególny wybór przestrzeni Ω nie ma zasadniczego znaczenia, jest po prostu wygodny. 21

22 22 ROZDZIAŠ 2. MODELE STATYSTYCZNE Uwaga (Ci gªe i dyskretne przestrzenie obserwacji). Skupimy uwag na dwóch typach przestrzeni statystycznych, które najcz ±ciej pojawiaj si w zastosowaniach. Mówimy o modelu ci gªym, je±li X jest borelowskim podzbiorem przestrzeni R n, wyposa»onym w σ-ciaªo B zbiorów borelowskich i n-wymiarow miar Lebesgue'a. Model nazywamy dyskretnym, je±li przestrze«x jest sko«czona lub przeliczalna, wyposa»ona w σ-ciaªo 2 X wszystkich podzbiorów i miar licz c. Rozkªad prawdopodobie«stwa obserwacji X najcz ±ciej opisujemy przez g sto± f θ na przestrzeni X, zale»n od parametru θ Θ. W zale»no±ci od kontekstu, posªugujemy si g sto±ci wzgl dem odpowiedniej miary. W skrócie piszemy X f θ. Je±li zmienna X ma sko«czony lub przeliczalny zbiór warto±ci X, to f θ (x) = P θ (X = x). (jest to g sto± wzgl dem miary licz cej). Dla jednowymiarowej zmiennej losowej X o absolutnie ci gªym rozkªadzie, f θ jest g sto±ci w zwykªym sensie, czyli wzgl dem miary Lebesgue'a. Mamy wówczas dla dowolnego przedziaªu [a, b], P θ (a X b) = b a f θ (x)dx. Je±li X = (X 1,..., X n ) to rozumiemy,»e f θ jest ª czn g sto±ci prawdopodobie«stwa na przestrzeni X = R n. Dla dowolnego zbioru borelowskiego B R n, P θ (X B) = f θ (x)dx = f θ (x 1,..., x n )dx 1 dx n. B W szczególnym przypadku, gdy zmienne X 1,..., X n s niezale»ne i maj jednakowy rozkªad, pozwolimy sobie na odrobin nie±cisªo±ci, oznaczaj c tym samym symbolem f θ jednowymiarow g sto± pojedynczej obserwacji i n-wymiarow g sto± caªej próbki: f θ (x 1,..., x n ) = f θ (x 1 ) f θ (x n ). Je±li T : X R, to warto± ±redni (oczekiwan ) zmiennej losowej T (X) obliczamy zgodnie ze wzorem T (x)f X θ(x)dx w przypadku ci gªym; E θ T (X) = x X T (x)f θ(x) w przypadku dyskretnym. Je±li X R n, to caªka X jest n-wymiarowa, dx = dx 1 dx n. Podobnie, b dziemy u»ywa symboli Var θ, Cov θ i podobnych. Je±li rodzina rozkªadów prawdopodobie«stwa {P θ ; θ Θ} jest zdeniowana przez podanie rodziny g sto±ci {f θ ; θ Θ} wzgl dem pewnej (wspólnej dla wszystkich rozkªadów) miary, to mówimy,»e przestrze«statystyczna jest zdominowana. Nasze rozwa»ania b d niemal wyª cznie ograniczone do takich przestrzeni. B

23 2.1. PRZESTRZENIE STATYSTYCZNE 23 Przejdziemy teraz do przykªadów, które wyja±ni sens (nieco abstrakcyjnej) Denicji Przykªad (Statystyczna kontrola jako±ci, kontynuacja). Powró my do Przykªadu Przestrzeni obserwacji jest X = {0, 1} n. Obserwacje X 1,..., X n s zmiennymi losowymi o ª cznym rozkªadzie prawdopodobie«stwa P p (X 1 = x 1,..., X n = x n ) = n p x i (1 p) 1 x i = p Σx i (1 p) n Σx i, gdzie x i {0, 1} dla i = 1,..., n i x i oznacza n x i. Nieznanym parametrem jest prawdopodobie«stwo sukcesu, θ = p. Przestrzeni parametrów jest Θ = [0, 1] Przykªad (Badanie reprezentacyjne). Powiedzmy,»e populacja skªada si r jednostek. Przedmiotem badania jest nieznana liczba m jednostek wyró»nionych. Na przykªad mo»e to by liczba euroentuzjastów w populacji wyborców albo liczba pal cych w populacji studentów. Interesuj nas wªasno±ci caªej populacji, ale peªne badanie jest niemo»liwe lub zbyt kosztowne. Wybieramy losowo n jednostek spo±ród r i obserwujemy, ile jednostek wyró»nionych znalazªo si w±ród wylosowanych. Zaªó»my,»e stosujemy schemat losowania bez zwracania 1. Najlepiej wyobrazi sobie losowe wybranie n kul z urny zawieraj cej r kul, w tym m czerwonych i r m biaªych. Liczby r i n s znane. Liczba X kul biaªych w±ród wylosowanych jest obserwacj. Zmienn losowa X ma tak zwany hipergeometryczny rozkªad prawdopodobie«stwa: ( )( ) / ( ) m r m r P m (X = x) =, x n x n zale»ny od parametru θ = m ze zbioru Θ = {0, 1,..., r}. Przestrzeni obserwacji jest zbiór X = {0, 1,..., n}. Parametr θ jest etykietk identykuj c rozkªad prawdopodobie«stwa. Nie zawsze θ jest liczb, mo»e wektorem lub nawet funkcj Przykªad (Model nieparametryczny). Zgodnie z Denicj 1.1.1, ci g obserwowanych zmiennych losowych X 1,..., X n stanowi próbk z rozkªadu o dystrybuancie F, je±li P F (X 1 x 1,..., X n x n ) = F (x 1 ) F (x n ). Symbol P F przypomina,»e dystrybuanta F jest nieznana i odgrywa rol niesko«czenie wymiarowego parametru. Przestrzeni parametrów jest zbiór wszystkich dystrybuant. Przestrzeni obserwacji jest X = R n 2. 1 Próbka wylosowana w ten sposób nie jest próbk w sensie Denicji Jest to jedyny w tym skrypcie przykªad przestrzeni statystycznej, która nie jest zdominowana.

24 24 ROZDZIAŠ 2. MODELE STATYSTYCZNE Przykªad (Wypadki). Liczba wypadków drogowych w ci gu tygodnia ma, w dobrym przybli»eniu, rozkªad Poissona. Niech X 1,..., X n oznaczaj liczby wypadków w kolejnych tygodniach. Je±li nic specjalnie si nie zmienia (pogoda jest podobna i nie zaczyna si wªa±nie okres wakacyjny) to mo»na przyj,»e ka»da ze zmiennych X i ma jednakowy rozkªad. Mamy wtedy próbk z rozkªadu Poissona, czyli θ Σx i f θ (x 1,..., x n ) = P θ (X 1 = x 1,..., X n = x n ) = e θn x 1! x n!. Przestrzeni obserwacji jest X = {0, 1, 2,...} n, a przestrzeni parametrów Θ =]0, [. Wiemy,»e E θ X i = θ i Var θ X i = θ Przykªad (Czas»ycia»arówek). Rozpatrzmy jeszcze jeden przykªad z dziedziny statystycznej kontroli jako±ci. Producent bada parti n»arówek. Interesuje go czas»ycia, to jest liczba godzin do przepalenia si»arówki. Zaªó»my,»e czasy»ycia X 1,..., X n badanych»arówek stanowi próbk z rozkªadu wykªadniczego Ex(θ), czyli f θ (x 1,..., x n ) = n (θe θx i ) = θ n e θσx i. Jest to typowe i do± realistyczne zaªo»enie. Mamy tutaj X = [0, [ n i Θ =]0, [. Zauwa»my,»e E θ X i = 1/θ i Var θ X i = 1/θ Przykªad (Pomiar z bª dem losowym). Powtarzamy niezale»nie n razy pomiar pewnej wielko±ci zycznej µ. Wyniki poszczególnych pomiarów X 1,..., X n s zmiennymi losowymi bo przyrz d pomiarowy jest niedoskonaªy. Najcz ±ciej zakªada si,»e ka»dy z pomiarów ma jednakowy rozkªad normalny N(µ, σ 2 ). Mamy zatem ( ) n [ 1 f µ,σ (x 1,..., x n ) = exp 1 ] (xi µ) 2. 2πσ 2σ 2 Tutaj rol parametru θ gra para liczb (µ, σ), gdzie < µ < i σ > 0. Przestrzeni parametrów jest Θ = R ]0, [. Oczywi±cie, przestrzeni obserwacji jest X = R n. Wiemy,»e E µ,σ X i = µ i Var µ,σ X i = σ Statystyki i rozkªady próbkowe Rozpatrujemy, jak zwykle, przetrze«statystyczn (X, F, {P θ ; θ Θ}). Niech (T, A) b dzie przestrzeni mierzaln (znaczy to,»e zbiór T jest wyposa»ony w σ-ciaªo podzbiorów A; zazwyczaj b dzie to podzbiór przestrzeni R d z σ-ciaªem borelowskim).

25 2.2. STATYSTYKI I ROZKŠADY PRÓBKOWE DEFINICJA. Mierzaln funkcj T : X T okre±lon na przestrzeni obserwacji X nazywamy statystyk o warto±ciach w przestrzeni T. W Denicji istotne jest to,»e statystyka jest wielko±ci obliczon na podstawie danych i nie zale»y od nieznanego parametru θ. B dziemy w skrócie pisa T = T (X). Skupiamy uwag na przypadkach, kiedy przestrze«t ma wymiar znacznie mniejszy ni» X : staramy si obliczy tak statystyk T (X) która ma stre±ci dane X Przykªad (Statystyki i inne zmienne losowe). W Przykªadzie (Statystyczna kontrola jako±ci), S = n X i, a wi c liczba prawidªowych wyrobów w próbce jest statystyk. Oczywi±cie, S : {0, 1} n {0, 1,..., n}. Statystyka S ma dwumianowy rozkªad prawdopodobie«stwa: ( ) n P p (S = s) = p s (1 p) n s. s W skrócie napiszemy S Bin(n, p). Zmienna losowa (S np)/ np(1 p) nie jest statystyk, bo zale»y od nieznanego parametru p. Ma w przybli»eniu normalny rozkªad prawdopodobie«stwa N(0, 1), je±li n jest du»e a p(1 p) nie jest zbyt maªe. W Przykªadzie (Wypadki) sumaryczna liczba wypadków S = n X i jest statystyk i ma rozkªad Poiss(nθ). W Przykªadzie ( arówki) ±rednia Gamma(n, nθ). X = (1/n) n X i jest statystyk i ma rozkªad Model normalny, wprowadzony w Przykªadzie zasªuguje na wi cej miejsca. Zaªó»my,»e X 1,..., X n jest próbk z rozkªadu N(µ, σ 2 ). Wa»n rol w dalszych rozwa»aniach odgrywa b d statystyki: X = 1 n X i, n S 2 = 1 n 1 n (X i X) 2, S = S 2. Zauwa»my,»e S 2 ró»ni si od wariancji z próbki S2, o której mówili±my w poprzednim rozdziale: mno»nik 1/n zast pili±my przez 1/(n 1). Rozkªad prawdopodobie«stwa ±redniej z próbki jest w modelu normalnym niezwykle prosty: X N(µ, σ 2 /n). Zajmiemy si teraz rozkªadem statystyki S 2. Rozkªad chi-kwadrat z k stopniami swobody jest to, z denicji, rozkªad zmiennej losowej Y = k Zi 2, gdzie Z 1,..., Z k s niezale»nymi zmiennymi losowymi o rozkªadzie N(0, 1). B dziemy pisali symbolicznie Y χ 2 (k).

26 26 ROZDZIAŠ 2. MODELE STATYSTYCZNE Uwaga. Rozkªady chi-kwadrat s szczególnej postaci rozkªadami Gamma, mianowicie χ 2 (k) = Gamma(k/2, 1/2) (Zadanie 5). Je±li Y χ 2 (k) to EY = k i VarY = 2k. Wykresy g sto±ci kilku rozkªadów χ 2 s pokazane na Rysunku Stwierdzenie (Twierdzenie Fishera). W modelu normalnym, X i S 2 s niezale»nymi zmiennymi losowymi, X N(µ, σ 2 /n); n 1 σ 2 S 2 χ 2 (n 1). Pominiemy dowód. Niezale»no± zmiennych losowych X i S 2 nie jest oczywista. Zauwa»my te»,»e pojawia si rozkªad chi-kwadrat z n 1 stopniami swobody, chocia» (n 1)S 2 jest sum n kwadratów zmiennych normalnych Wniosek. E µ,σ S 2 = σ 2 i Var µ,σ S 2 = 2σ 4 /(n 1). Rozkªad t Studenta z k stopniami swobody jest to, z denicji, rozkªad zmiennej losowej T = Z Y/k, gdzie Z i Y s niezale»nymi zmiennymi losowymi, Z N(0, 1) i Y χ 2 (k). B dziemy pisali symbolicznie T t(k). Dwa rozkªady t oraz rozkªad normalny s pokazane na Rysunku Wniosek. W modelu normalnym, zmienna losowa n( X µ)/s ma rozkªad t(n 1). Rozkªad F Snedecora z k i m stopniami swobody jest to, z denicji, rozkªad zmiennej losowej R = Y/k U/m, gdzie Y i U s niezale»nymi zmiennymi losowymi, Y χ 2 (k) i U χ 2 (m). B dziemy pisali symbolicznie R F(k, m) Przykªad (Model dwóch próbek). Zaªó»my,»e obserwujemy niezale»ne zmienne losowe X 1,..., X n i Y 1,..., Y m, przy tym X i N(µ X, σx 2 ) i Y j N(µ Y, σy 2 ) dla i = 1,..., n i j = 1,..., m. Statystyki X i S 2 X s okre±lone tak jak poprzednio, dla próbki X 1,..., X n. Podobnie okre±lamy statystyki Ȳ i SY 2, dla próbki Y 1,..., Y m. Z tego, co powiedzieli±my wcze±niej wynika,»e SX 2 σ2 Y F(n 1, m 1). SY 2 σ2 X Zauwa»my,»e zmienna losowa SX 2 σ2 Y /(S2 Y σ2 X ) nie jest statystyk, bo zale»y nie tylko od obserwacji, ale i od nieznanych paramerów σ X i σ Y. Je±li zaªo»ymy,»e σx 2 = σ2 Y to statystyka SX 2 /S2 Y ma rozkªad F(n 1, m 1).

27 2.2. STATYSTYKI I ROZKŠADY PRÓBKOWE 27 chi2( 1 ) chi2( 2 ) density density χ χ 2 chi2( 5 ) chi2( 10 ) density density χ χ 2 Rysunek 2.1: Rozkªady χ 2 dla ró»nej liczby stopni swobody.

28 28 ROZDZIAŠ 2. MODELE STATYSTYCZNE t Student density t(1) t(3) N(0,1) t Rysunek 2.2: Rozkªady t Studenta i rozkªad normalny.

29 2.3. DOSTATECZNO 29 Podobnie, je±li σ 2 X = σ2 Y = σ2 to X Ȳ (µ X µ Y ) (k 1)S 2 X + (m 1)S 2 Y km (k + m 2) t(k + m 2). k + m 2.3 Dostateczno± Rozwa»my przestrze«statystyczn (X, F, {P θ : θ Θ}) i statystyk T = T (X) o warto±ciach w przestrzeni (T, A) DEFINICJA. Statystyk T = T (X) nazywamy dostateczn, je±li warunkowy rozkªad prawdopodobie«stwa obserwacji X przy danej warto±ci statystyki T = t nie zale»y od parametru θ, dla ka»dego t T. Uwaga. W pewnym uproszczeniu, statystyka jest dostateczna, je±li prawdopodobie«stwo warunkowe (*) P θ (X B T (X) = t) nie zale»y od θ, dla dowolnego zbioru B F i (prawie) ka»dego t. Niestety, ±cisªe sformuªowanie Denicji wymaga znajomo±ci ogólnego poj cia warunkowego rozkªadu prawdopodobie«stwa i teorii miary. Zwró my uwag,»e okre±lenie warunkowego rozkªadu poprzez g sto± tutaj si bezpo±rednio nie stosuje, bo rozkªad X przy danym T (X) = t jest zazwyczaj skupiony na podprzestrzeni o ni»szym wymiarze, patrz Zadanie 15. Je±li jednak X jest przestrzeni dyskretn, to mo»emy si posªu»y elementarn denicj prawdopodobie«stwa warunkowego. W tym przypadku warunek ( ) redukuje si do tego,»e (**) P θ (X = x T (X) = t) nie zale»y od θ, dla dowolnych t i x (to prawdopodobie«stwo jest niezerowe tylko je±li T (x) = t). Sens Denicji wyja±ni do±wiadczenie my±lowe. Wyobra¹my sobie,»e statystyk zaobserwowaª X = x, obliczyª i zapisaª T (x) = t, po czym... zgubiª dane, czyli straciª x. Mo»e jednak wylosowa sztuczne dane X z rozkªadu warunkowego obserwacji przy danym T = t, poniewa» ten rozkªad nie wymaga znajomo±ci θ. Skoro sztuczne dane X maj ten sam rozkªad prawdopodobie«stwa co prawdziwe dane X, wi c nasz statystyk nic nie straciª zapisuj c t i zapominaj c x. St d wªa±nie nazwa: statystyka dostateczna zawiera caªo± informacji o parametrze zawartych w obserwacji. Zaªó»my teraz,»e przestrze«statystyczn (X, F, {P θ : θ Θ}) jest zdominowana (Uwaga 2.1.3), to znaczy rozkªady P θ maj g sto±ci f θ. Zwykle s to albo g sto±ci wzgl dem miary Lebesgue'a, albo g sto±ci dyskretne f θ (x) = P θ (X = x).

30 30 ROZDZIAŠ 2. MODELE STATYSTYCZNE TWIERDZENIE (Kryterum faktoryzacji). Statystyka T = T (X) jest dostateczna wtedy i tylko wtedy gdy g sto±ci obserwacji mo»na przedstawi w postaci f θ (x) = g θ (T (x))h(x). Dowód. eby unikn trudno±ci technicznych, ograniczymy si tylko do przypadku dyskretnej przestrzeni X. Je±li T (x) = t to P θ (X = x T (X) = t) = f θ (x) x :T (x )=t f θ(x ) i oczywi±cie P θ (X = x T (X) = t) = 0 je±li T (x) t. Je»eli speªniony jest warunek faktoryzacji to natychmiast otrzymujemy, w przypadku T (x) = t, P θ (X = x T (X) = t) = g θ (t)h(x) x :T (x )=t g θ(t)h(x ) = h(x) x :T (x )=t h(x ). Odwrotnie, je±li P θ (X = x T (X) = t) nie zale»y od θ to wªasno± faktoryzacji zachodzi dla h(x) = P θ (X = x T (X) = t) i g θ (t) = x :T (x )=t f θ(x ) Przykªad (Ile jest kul w urnie?). Kule w urnie s ponumerowane: U = {1, 2,..., r} ale r jest nieznane. Pobieramy próbk n kul, bez zwracania. Niech S oznacza losowy zbiór numerów a max(s) najwi kszy spo±ród nich. Prawdopodobie«stwo wylosowania zbioru s U jest równe P r (S = s) = { 1(r max(s)) ( r = n) 1 /( ) r je±li r max(s), n 0 je±li r < max(s). St d wida,»e max(s) jest statystyk dostateczn. W czasie II wojny ±wiatowej alianci notowali seryjne numery zdobytych czoªgów niemieckich w celu oszacowania liczby produkowanych przez nieprzyjaciela czoªgów. Rozwa»any schemat urnowy jest uproszczonym modelem takiej sytuacji Przykªad (Statystyki dostateczne w poprzednich przykªadach). W Przykªadzie (Schemat Bernoulliego), liczba sukcesów S = n X i jest statystyk dostateczn. W Przykªadzie (model Poissona) suma obserwacji S = n X i jest statystyk dostateczn. W Przykªadzie (model wykªadniczy) ±rednia X = (1/n) n X i jest statystyk dostateczn. W Przykªadzie (model normalny z nieznanymi µ i σ) ( X, S 2 ) jest dwuwymiarow statystyk dostateczn.

31 2.4. RODZINY WYKŠADNICZE Rodziny wykªadnicze Tak jak poprzednio, rozwa»amy model statystyczny, a wi c rodzin rozkªadów prawdopodobie«stwa na przestrzeni obserwacji X DEFINICJA. Rodzina rozkªadów prawdopodobie«stwa {P θ : θ Θ} jest rodzin wykªadnicz je±li rozkªady P θ maj, wzgl dem pewnej miary na X, g sto±ci f θ postaci: ( k ) f θ (x) = exp T j (x)ψ j (θ) + ψ 0 (θ) h(x), (θ Θ). j=1 Podkre±lmy,»e w tej denicji wymagamy,»eby istniaªy g sto±ci wzgl dem jednej miary wspólnej dla wszystkich θ. W wi kszo±ci zastosowa«spotykamy, jak zwykle, albo g sto±ci wzgl dem miary Lebesgue'a, albo g sto±ci dyskretne f θ (x) = P θ (X = x). Bez straty ogólno±ci mo»na zakªada,»e funkcje T 1 (x),..., T k (x) s liniowo niezale»ne. To zaªo»enie b dze w dalszym ci gu obowi zywa. Zauwa»my prost konsekwencj Denicji Zbiór {x : f θ > 0}, który nazywamy no±nikiem rozkªadu P θ, 3 jest taki sam dla wszystkich θ Przykªad. Rodzina rozkªadów jednostajnych {U(0, θ) : θ > 0} nie jest rodzin wykªadnicz. Poniewa» f θ (x) = 1 1(0 x θ), θ wi c no±nikiem rozkªadu U(0, θ) jest przedziaª [0, θ], który oczywi±cie zale»y od θ Przykªad. Rodzina rozkªadów wykªadniczych {Ex(θ) : θ > 0} jest rodzin wykªadnicz, bo g sto±ci mo»emy napisa w nast puj cej postaci: f θ (x) = θe θx = exp( θx + log θ). No±nikiem ka»dego rozkªadu wykªadniczego jest ten sam przedziaª [0, [ Przykªad. Rodzina rozkªadów {Poiss(θ) : θ > 0} jest rodzin wykªadnicz, bo ( θ θx 1 f θ (x) = e x! = exp θ + x log θ) x!. Oczywi±cie, ka»dy rozkªad Poissona ma no±nik {0, 1, 2,...} Przykªad. Rodzina przesuni tych rozkªadów Cauchy'ego o g sto±ciach f θ (x) = 1 π(1 + (x θ) 2 ), θ ], [, nie jest rodzin wykªadnicz, bo funkcja log f θ (x) = log π log(1 + (x θ) 2 ) nie da si przedstawi w postaci sumy iloczynów k j=1 T j(x)ψ j (θ) + ψ 0 (θ). 3 Pozwalamy tu sobie na drobne uproszczenie, bo g sto± rozkªadu prawdopodobie«stwa jest wyznaczona jednoznacznie tylko prawie wsz dzie.

32 32 ROZDZIAŠ 2. MODELE STATYSTYCZNE Przykªad. Rodzina rozkªadów {Gamma(α, λ) : α > 0, λ > 0} jest rodzin wykªadnicz. ( ) f α,λ (x) = λα Γ(α) xα 1 e λx = exp λx + (α 1) log x + log λα Γ(α) Oczywi±cie, wspólnym no±nikiem wszystkich rozkªadów Gamma jest przedziaª ]0, [. Inne przykªady rodzin wykªadniczych to mi dzy innymi rodzina rozkªadów normalnych {N(µ, σ) : < µ <, λ > 0}, rozkªadów {Beta(α, β) : α, β > 0}, rodzina rozkªadów dwumianowych {Bin(n, θ) : 0 < θ < 1}, ujemnych dwumianowych i wiele innych. Przejd¹my do omówienia kilku ciekawych wªasnosci rodzin wykªadniczych Stwierdzenie. Je»eli X 1,..., X n iid f θ jest próbk z rozkªadu nale» cego do rodziny wykªadniczej, to k-wymiarowy wektor ( n ) n T 1 (X i ),..., T k (X i ) jest statystyk dostateczn. Dowód. Je»eli f θ ma posta tak jak w Denicji 2.4.1, to ªaczna g sto± wektora obserwacji jest nast puj ca: n ( k ) f θ (x 1,..., x n ) = exp T j (x i )ψ j (θ) + ψ 0 (θ) h(x i ) ( k = exp j=1 j=1 n ) n T j (x i )ψ j (θ) + nψ 0 (θ) h(x i ). Wystarczy teraz skorzysta z kryterium faktoryzacji (Twierdzenie 2.3.2). Zwró my uwag,»e dla wymiar statystyki dostatecznej w powy»szym stwierdzeniu jest równy k, niezale»nie od rozmiaru próbki n. Dla próbki z rodziny wykªadniczej mo»liwa jest bardzo radykalna redukcja danych bez straty informacji. Zauwa»my jeszcze,»e k w Denicji wydaje si by zwi zane z wymiarem przestrzeni parametrów. W Przykªadach i mieli±my jednoparametrowe rodziny wykªadnicze, w Przykªadzie dwuparametrow rodzin. Staje si to bardziej przejrzyste, je±li posªu»ymy si tak zwan naturaln parametryzacj rodzin wykªadniczych. Przyjmijmy wektor ψ = (ψ 1,..., ψ k ) = (ψ 1 (θ),..., ψ k (θ)) za nowy parametr, który identykuje rozkªady prawdopodobie«stwa rozpatrywanej rodziny. Nieco nadu»ywaj c oznacze«mo»emy napisa ( k ) (2.4.8) f ψ (x) = exp T j (x)ψ j b(ψ) h(x), j=1

33 2.4. RODZINY WYKŠADNICZE 33 gdzie ( k b(ψ) = log exp T j (x)ψ j )h(x)dx. X j=1 Je±li istnieje wzajemnie jednoznaczna odpowiednio± pomi dzy starym parametrem θ Θ i nowym parametrem ψ, to wybór jednej lub drugiej parametryzacji jest tylko kwesti wygody Przykªad. Rozkªady dwumianowe Bin(θ, n) maj g sto±ci postaci ( ) n f θ (x) = θ x (1 θ) n x = exp ( x log θ + (n x) log(1 θ) )( ) n x x ( )( ) θ n = exp x log + n log(1 θ). 1 θ x Naturalnym parametrem jest ψ = log θ 1 θ za± b(ψ) = n log(1 + e ψ ). Zauwa»my,»e θ/(1 θ) jest tak zwanym ilorazem szans: stosunkiem prawdopodobie«stwa sukcesu do prawdopodobie«stwa pora»ki. Funkcja Je±li θ zmienia si w przedziale ]0, 1[ to ψ przebiega przedziaª ], [. Naturaln przestrzeni parametrów jest wi c caªa prosta rzeczywista Uwaga. Mówimy,»e rodzina wykªadnicza jest regularna, je±li przestrze«naturalnych parametrów {ψ(θ) : θ Θ}, traktowana jako podzbiór R k, ma niepuste wn trze. Wa»n wªasno±ci regularnych rodzin wykªadniczych jest dopuszczalno± ró»niczkowania pod znakiem caªki. Je±li U : X R jest statystyk to ψ j X U(x)f ψ (x)dx = X U(x) ψ j f ψ (x)dx, je±li ψ jest punktem wewn trznym naturalnej przestrzeni parametrów i caªka po lewej stronie jest dobrze okre±lona. Co wi cej, podobna wªasno± zachodzi dla pochodnych wy»szych rz dów. Oczywi±cie, je±li funkcje ψ j (θ) s odpowiednio gªadkie, to mo»emy bezpiecznie ró»- niczkowa pod znakiem caªki równie» wzgl dem θ. W nast pnym rozdziale takie operacje rachunkowe b d odgrywaªy wa»n rol.

34 34 ROZDZIAŠ 2. MODELE STATYSTYCZNE 2.5 Zadania 1. Rozpatrzmy proces statystycznej kontroli jako±ci przyjmuj c te same zaªo»enia co w Przykªadzie z t ró»nic,»e obserwujemy kolejne wyroby do momentu gdy natramy na k wybrakowanych, gdzie k jest ustalon z góry liczb. Zbudowa model statystyczny. 2. Uogólni rozwa»ania z Przykªadu (badanie reprezentacyjne), uwzgl dniaj c wi cej ni» jeden rodzaj jednostek wyró»nionych. Powiedzmy,»e mamy w urnie m 1 kul czerwonych, m 2 zielonych i r m 1 m 2 biaªych, gdzie r jest znan liczb, a m 1 i m 2 s nieznane i s przedmiotem badania. Opisa dokªadnie odpowiedni model statystyczny. 3. Obliczy rozkªad prawdopodobie«stwa zmiennej losowej Z 2, je±li Z N(0, 1) (obliczy bezpo±rednio dystrybuant i g sto± rozkªadu χ 2 (1)). 4. Obliczy rozkªad prawdopodobie«stwa zmiennej losowej Z Z2 2, je»eli Z i N(0, 1) s niezale»ne dla i = 1, 2 (obliczy bezpo±rednio dystrybuant i g sto± rozkªadu χ 2 (2)). 5. Korzystaj c z Zadania 3 oraz z wªasno±ci rozkªadów gamma, udowodni Uwag 2.2: g sto± zmiennej losowej Y χ 2 (k) ma posta f Y (y) = 1 2 k/2 Γ(k/2) yk/2 1 e y/2, (y > 0). 6. Udowodni zbie»no± rozkªadów: t(k) d N(0, 1) dla k. 7. Udowodni wzór dotycz cy rozkªadu t-studenta na ko«cu Przykªadu Niech X 1,..., X n b dzie próbk z rozkªadu (Weibulla) o g sto±ci { 3θx 2 e θx3 dla x > 0; f θ (x) = 0 dla x 0, gdzie θ > 0 jest nieznanym parametrem. Znale¹ jednowymiarow statystyk dostateczn. 9. Niech X 1,..., X n b dzie próbk z rozkªadu Gamma(α, λ). Znale¹ dwuwymiarow statystyk dostateczn, zakªadaj c»e θ = (α, λ) jest nieznanym parametrem. 10. Rozwa»amy rodzin przesuni tych rozkªadów wykªadniczych o g sto±ci { e (x µ) dla x µ; f µ (x) = 0 dla x < µ. Niech X 1,..., X n b dzie próbk losow z takiego rozkªadu. Znale¹ jednowymiarow statystyk dostateczn dla parametru µ. 11. Rozwa»amy rodzin przesuni tych rozkªadów wykªadniczych z parametrem skali o g sto±ci { λe λ(x µ) dla x µ; f µ,λ (x) = 0 dla x < µ. Niech X 1,..., X n b dzie próbk losow z takiego rozkªadu. Znale¹ dwuwymiarow statystyk dostateczn dla parametru (µ, λ).

35 2.5. ZADANIA Rozwa»amy rodzin rozkªadów na przestrzeni {0, 1, 2,...}: { θ dla x = 0; f θ (x) = P θ (X = x) = (1 θ)/2 x dla x {1, 2,...}. gdzie θ ]0, 1[ jest nieznanym parametrem. Niech X 1,..., X n b dzie próbk losow z wy»ej podanego rozkªadu. Znale¹ jednowymiarow statystyk dostateczn. 13. Niech X 1,..., X n b dzie schematem Bernoulliego z prawdopodobie«stwem sukcesu θ. Obliczy warunkowy rozkªad prawdopodobie«stwa zmiennych losowych X 1,..., X n przy danym S = s, gdzie S = n X i jest liczb sukcesów. Zinterpretowa fakt,»e statystyka S jest dostateczna. 14. Niech X 1,..., X n b dzie próbk z rozkªadu Poiss(θ). Obliczy warunkowy rozkªad prawdopodobie«stwa zmiennych losowych X 1,..., X n przy danym S = s, gdzie S = n X i. Zinterpretowa fakt,»e statystyka S jest dostateczna. 15. Niech X 1,..., X n b dzie próbk z rozkªadu Ex(θ). Niech S = n X i. Pokaza,»e rozkªad warunkowy (X 1,..., X n 1 ) przy danym S = s jest jednostajny na sympleksie {(x 1,..., x n 1 ) : x i 0, n 1 x i s}. Zinterpretowa fakt,»e statystyka S jest dostateczna. 16. Znale¹ rozkªad zmiennej losowej 1 σ 2 n (X i µ) 2 w modelu normalnym. Porówna z twierdzeniem Fishera (Stwierdzenie 2.2.3). 17. (Ci g dalszy). Wyprowadzi to»samo± 1 σ 2 n (X i µ) 2 = 1 n σ 2 (X i X) 2 + n σ 2 ( X µ) 2. Jaki jest rozkªad prawdopodobie«stwa pierwszego i drugiego skªadnika po prawej stronie? 18. Rozwa»my jednoparametryczn wykªadnicz rodzin rozkªadów z g sto±ciami danymi wzorem f ψ (x) = exp ( T (x)ψ b(ψ) ) h(x). Pokaza,»e E ψ T (X) = b(ψ) ψ. 19. (Ci g dalszy). Pokaza,»e Var ψ T (X) = 2 b(ψ) ψ 2 ). 20. (Ci g dalszy). Pokaza,»e E ψ exp ( rt (X) ) = exp ( b(ψ + r) b(ψ) ).

36 36 ROZDZIAŠ 2. MODELE STATYSTYCZNE

37 Cz ± II Estymacja 37

38

39 Rozdziaª 3 Metody estymacji W statystyce matematycznej zakªadamy,»e rozkªad prawdopodobie«stwa opisuj cy do±wiadczenie nale»y do rodziny {P θ : θ Θ}, ale nie znamy parametru θ. Estymatorem parametru θ nazywamy dowoln statystyk T = T (X) o warto±ciach w zbiorze Θ. Interpretujemy T jako przybli»enie θ. Zwykle oznaczamy estymator t sam literk, co wielko± estymowan, dodaj c daszek: T = ˆθ. Zaczniemy od przegl du prostych metod konstrukcji estymatorów. 3.1 Metody heurystyczne Podstawianie cz sto±ci jest sposobem estymacji, który natychmiast si narzuca i jest zrozumiaªy dla ka»dego Przykªad (Prawdopodobie«stwo niewadliwo±ci wyrobu). Rozpatrzmy jeszcze raz model statystycznej kontroli jako±ci z Przykªadów i Przypomnijmy,»e parametr p oznacza prawdopodobie«stwo pojawienia si sztuki prawidªowej. Oczywistym estymatorem p jest ˆp = X = S/n, gdzie S = X i, czyli frakcja prawidªowych sztuk w próbce losowej. Zast pili±my nieznane prawdopodobie«stwo przez prawdopodobie«stwo empiryczne. Na tym wªa±nie polega metoda podstawiania cz sto±ci. Metoda podstawiania cz sto±ci dopuszcza du» dowolno±. Pokazuje to nast pny przykªad. 39

40 40 ROZDZIAŠ 3. METODY ESTYMACJI Przykªad (Model Hardy'ego Weinberga). W populacji mamy osobników o trzech genotypach: 1, 2 i 3. Z rozwa»a«genetycznych wynika,»e te trzy typy powinny wyst powa w proporcji θ 2 : 2θ(1 θ) : (1 θ) 2. Wybieramy losowo n osobników, w±ród których liczby poszczególnych genotypów s, odpowiednio, N 1, N 2 i N 3. Mamy do czynienia z rozkªadem wielomianowym: (N 1, N 2, N 3 ) Mult(n, p 1, p 2, p 3 ): n! P θ (N 1 = n 1, N 2 = n 2, N 3 = n 3 ) = n 1!n 2!n 3! pn 1 1 p n 2 2 p n 3 3. Prawdopodobie«stwa p i nie s tu dowolnymi liczbami dodatnimi sumuj cymi si do jedynki. Wiemy,»e p 1 = θ 2, p 2 = 2θ(1 θ), p 3 = (1 θ) 2. Zadanie polega na estymacji θ. Nasuwaj si dwa rozwi zania. Z jednej strony mamy θ = p 1 i za estymator mo»emy przyj ˆθ = ˆp 1 = N1 n. Z drugiej strony, θ = 1 p 3 i równie rozs dny wydaje si estymator θ = 1 ˆp 3 = 1 N3 n Który estymator wybra? Do tej kwestii wrócimy pó¹niej. Metoda momentów jest równie prosta. Przyrównujemy momenty rozkªadu teoretycznego, zale» ce od nieznanego parametru, do ich odpowiedników empirycznych. Z powstaªych w ten sposób równa«wyliczamy parametr. Najcz ±ciej u»ywamy momentów centralnych i równania wygl daj tak: µ(θ) = ˆµ; m k (θ) = ˆm k, gdzie µ(θ) = xf θ (x)dx, m k (θ) = (x µ(θ)) k f θ (x)dx, ˆµ = X i ˆm k = (1/n) (X i X) k. Ukªadamy tyle równa«, ile jest niewiadomych parametrów (wspóªrz dnych wektora θ) Przykªad (Rozkªad wykªadniczy). Niech X 1,..., X n b dzie próbk z rozkªadu Ex(θ). Wiemy,»e µ(θ) = 1/θ. Mamy jeden nieznany parametr, wi c wystarczy jedno równanie: 1/θ = X. Estymator otrzymany metod momentów jest równy ˆθ = 1/ X Przykªad (Rozkªad gamma). Niech X 1,..., X n b dzie próbk z rozkªadu Gamma(α, λ). Mamy dwa nieznane parametry, wi c wykorzystamy dwa momenty: warto± oczekiwan µ(α, λ) = α/λ i wariancj σ 2 (α, λ) = α/λ 2. Dostajemy ukªad równa«α λ = X, α λ 2 = S 2, gdzie S 2 jest wariancj z próbki. Rozwi zanie jest nast puj ce: ˆλ = X 2 X, ˆα = S 2 S. 2

41 3.2. WIAROGODNO 41 Przejdziemy do opisu metody, która odgrywa znacznie wa»niejsz rol. 3.2 Wiarogodno± Idea jest taka: wybieramy taki parametr θ, dla którego otrzymane wyniki do±wiadczenia losowego s najbardziej prawdopodobne. Sformuªujemy to dokªadniej. Niech f θ (x) b dzie ª czn g sto±ci obserwacji DEFINICJA. Wiarogodno± jest to funkcja L : Θ R dana wzorem L(θ) = f θ (x). Wiarogodno± jest wªa±ciwie tym samym, co g sto± prawdopodobie«stwa, ale rozwa»ana jako funkcja parametru θ, przy ustalonych warto±ciach obserwacji x = X(ω) DEFINICJA. Mówimy,»e ˆθ = ˆθ(X) jest estymatorem najwi kszej wiarogodno±ci parametru θ, je±li fˆθ(x) (x) = sup f θ (x), θ Θ dla dowolnego x. Symbolicznie b dziemy pisa ˆθ = ENW(θ). W skrócie, denicj ENW(θ) zapiszemy w postaci L(ˆθ) = sup L(θ), θ Θ musimy jednak pami ta,»e zarówno L, jak i ˆθ zale» od obserwacji. Pominiemy dyskusj na temat istnienia i jednoznaczno±ci ENW Przykªad (Liczenie ryb w jeziorze). W jeziorze pªywa pewna liczba, powiedzmy r, ryb. eby oszacowa nieznan liczb r bez osuszania jeziora, musimy przywoªa na pomoc statystyk matematyczn. Najpierw odªawiamy m ryb, znaczymy je i wpuszczamy z powotem do jeziora. Czekamy, a» znaczone ryby wymieszaj si z pozostaªymi. Nast pnie wyªawiamy n ryb. Stwierdzamy,»e jest w±ród nich k znaczonych (zªapanych powtórnie). W tym do±wiadczeniu, r jest nieznanym parametrem, m i n s znanymi liczbami, za± k jest znan warto±ci zmiennej losowej K, o rozkªadzie hipergeometrycznym L(r) = P r (K = k) = ( m k )( r m n k ) / ( r n Wyznaczymy ENW(r). W tym celu trzeba znale¹ maksimum L(r) = max. r ).

42 42 ROZDZIAŠ 3. METODY ESTYMACJI Przyjmijmy wygodne oznaczenie (n) k = n(n 1) (n k + 1). Poniewa» L(r + 1) L(r) = (r + 1 m) n k (r) n = (r + 1) n (r m) n k r + 1 m r m n + k + 1 r n + 1, r + 1 wi c L(r + 1) > L(r) wtedy i tylko wtedy gdy r < mn/k. St d wida,»e L(r) osi ga maksymaln warto± dla najmniejszej liczby caªkowitej przekraczaj cej mn/k. Innymi sªowy, mn ˆr = ENW(r) =. k Wynik jest zgodny ze zdrowym rozs dkiem. Prosty chwyt cz sto uªatwia wyznaczenie ENW. samym punkcie, co jej logarytm. Niech Funkcja L(θ) osi ga maksimum w tym l(θ) = log L(θ) Przykªad (Rozkªad wykªadniczy). Je±li X 1,..., X n jest próbk z rozkªadu Ex(θ), to wiarogodno± jest dana wzorem wi c L(θ) = n ( θe θx i ), l(θ) = n log θ θ x i. Wystarczy teraz przyrówna pochodn do zera: l (θ) = n θ x i = 0. Šatwo si przekona,»e l(θ) osi ga maksimum w punkcie ˆθ = n xi = 1 x. Zatem ENW (θ) = 1/ X. Metoda najwi kszej wiarogodno±ci doprowadziªa do tego samego estymatora, co metoda momentów Przykªad (Rozkªad Poissona). Dla próbki z rozkªadu Poiss(θ) mamy l(θ) = θn + log(θ) x i log(x i!), wi c l (θ) = n + x i /θ = 0 dla θ = x i /n. Otrzymujemy znów dobrze znany estymator: ENW (θ) = X.

43 3.2. WIAROGODNO 43 Sposób obliczenia ENW w Przykªadach i jest bardzo typowy. Je±li mamy próbk z rozkªadu o g sto±ci f θ i zbiór parametrów Θ R jest przedziaªem, to L(θ) = f θ (x 1,..., x n ) = f θ (x 1 ) f θ (x n ), n l(θ) = log L(θ) = log f θ (x i ). ENW wyznaczamy zazwyczaj rozwi zuj c równanie n l (θ) = θ log f θ(x i ) = 0. Przypadek wielu nieznanych parametrów wymaga tylko oczywistej modykacji. Je±li mamy zbudowa estymator wektora θ = (θ 1,..., θ k ) Θ R k, to obliczamy pochodne cz stkowe logarytmu wiarogodno±ci. Rozwi zujemy ukªad k równa«z k niewiadomymi: n θ j l(θ) = θ j log f θ (x i ) = 0, (j = 1,..., k) Przykªad (Rozkªad normalny). Rozwa»my próbk X 1,..., X n z rozkªadu N(µ, σ 2 ), z nieznanymi parametrami µ i σ > 0. Mamy log f µ,σ (x) = 1 1 log(2π) log σ 2 2σ (x 2 µ)2. Logarytm wiarogodno±ci dla caªej próbki jest równy n l(µ, σ) = log f µ,σ (x i ) = n 1 n log(2π) n log σ (x 2 2σ 2 i µ) 2, czyli l(µ, σ) = const n log σ 1 ( x 2 2σ 2 i 2µ ) x i + nµ 2. Ukªad równa«przybiera posta l σ = n σ + 1 ( x 2 σ 3 i 2µ ) x i + nµ 2 = 0; l µ = 1 xi nµ σ 2 σ = 0. 2 Z drugiego równania ªatwo wyliczamy µ = x i /n. Podstawiaj c do pierwszego równania otrzymujemy ENW: ˆµ = x; ˆσ 2 = 1 ( ) x 2 i x 2 = 1 (xi x) 2. n n Dobrze znane estymatory X i S 2 okazuj si by ENW(µ) i ENW(σ 2 ), odpowiednio.