8 Weryfikacja hipotez statystycznych

Transkrypt

1 Marek Beśka, Statystyka matematycza, wykład Weryfikacja hipotez statystyczych 8. Hipotezy statystycze Drugą obok estymacji formą wioskowaia statystyczego jest weryfikacja hipotez statystyczych. Zacziemy od defiicji hipotezy statystyczej Defiicja 8. Każde przypuszczeie dotyczące iezaego rozkładu prawdopodobieństwa cechy X azywa się hipotezą statystyczą. A więc w realych sytuacjach w których moża przeprowadzać pewe obserwacje i które opisuje się za pomocą jakiegoś modelu probabilistyczego, każde twierdzeie specyfikujące model probabilistyczy odzwierciedlający aturalą zmieość obserwacji azywamy hipotezą statystyczą. Przykład 8.2 Kilka przykładów hipotez statystyczych:. Liczba zgłoszeń w cetrali telefoiczej (cecha X) w przedziale czasu długości t ma rozkład Poissoa z parametrem λ > 0. Wysuwamy przypuszczeie λ = 3. Przypuszczeie to jest hipoteza statystyczą i piszemy H (λ = 3). 2. Do kasy biletowej zgłasza się przeciętie dwóch iteresatów w ciągu miuty. Przypuszczeie: Liczba iteresatów (cecha X) zgłaszających się do kasy w ciagu ustaloego odcika czasu o długości t podlega rozkładowi Poissoa z parametrem 2t jest hipotezą statystyczą, którą ozaczymy przez H Niech cecha X ozacza wartość siły zrywającej włóka określoego rodzaju. Dla poszczególych włókie przyjmuje oa róże ie dające się z góry określić wartości. Przypuszczeie: Rozważa cecha X ma rozkład ormaly N(450, σ 2 ) jest hipotezą statystyczą, która ozaczymy przez H Niech cecha X będzie tak jak wyżej. Przypuszczeie cecha X ma rozkład ormaly N(450, 90) jest hipotezą statystyczą, którą ozaczymy przez H 4. Z podaego przykładu widzimy, że hipoteza statystycza może dotyczyć wartości parametrów rozkładu, wtedy mamy do czyieia z hipoteza parametryczą p. H lub dotyczyć postaci rozkładu, wtedy mamy do czyieia z hipoteza ieparametryczą p. H 2, H 3,H 4 z przykładu powyżej. Hipotezę statystyczą, która określa całkowicie rozkład prawdopodobieństwa azywamy hipotezą prostą w przeciwym razie mamy do czyieia z hipotezą złożoą. W przykładzie powyżej hipoteza H 3 jest hipotezą złożoą, pozostałe są hipotezami prostymi. Formułując hipotezę statystyczą H dokoujemy podziału wszystkich możliwych rozkładów cechy X a dwa zbiory. Jede tworzą rozkłady opisae przez hipotezę H drugi jest dopełieiem pierwszego zbioru. Przyjęto tą wyjściową hipotezę H azywać hipotezą zerową i ozaczać przez H 0, a hipotezę mówiącą, że rozkład cechy X ależy do drugiego

2 Marek Beśka, Statystyka matematycza, wykład 8 05 zbioru hipotezą alteratywą i ozaczać przez H a. Będziemy wtedy pisać H 0 H a i mówić, że stawiamy hipotezę H 0 przeciwko hipotezie H a. Przykład 8.3 Nawiązując do przykładu 8.2 sformułujemy hipotezy zerowe i hipotezy alteratywe.. H 0 (λ = 3) H a (λ 3). 2. H 0 (cecha X ma rozkład Poissoa z parametrem 2t) H a (cecha X ma rozkład dyskrety ie będący rozkładem Poissoa). 3. H 0 (cecha X ma rozkład ormaly N(450, σ 2 )) H a (cecha X ma rozkład ormaly N(450, σ 2 ) lub iy rozkład typu ciągłego ). 4. H 0 (cecha X ma rozkład ormaly N(450, 90)) H a (cecha X ma rozkład ormaly N(450, 90) lub iy rozkład typu ciągłego ). Zauważmy, że w powyższym przykładzie hipotezy zerowe w, 2, 4 są proste, a w 3 hipoteza zerowa jest złożoa. Wszystkie hipotezy alteratywe w powyższym przykładzie są złożoe. 8.2 Testy statystycze Hipoteza statystycza poddawaa jest weryfikacji za pomocą odpowiedio dobraego testu statystyczego. Testem statystyczym hipotezy H 0 H a azywamy postępowaie, które precyzuje dla jakiej próbki x = (x,..., x ) przyjmujemy H 0, a dla jakiej odrzucamy H 0 (tz. przyjmujemy H a ). Podzbiór W X tych próbek dla których odrzucamy hipotezę H 0 azywamy obszarem odrzuceia hipotezy H 0 lub obszarem krytyczym (zbiorem krytyczym). Dopełieie tego zbioru W = X \ W azywamy obszarem przyjęcia hipotezy H 0. Warto tu podkreślić, że test statystyczy ie udowadaia w sesie logiki prawdziwości czy fałszywaości hipotezy. Staowi o tylko formę podejmowaia decyzji w przypadku braku pełej iformacji. Testy statystycze służące do weryfikacji hipotezy parametryczej azywamy testami parametryczymi, a służące do weryfikacji hipotez ieparametryczych testami ieparametryczymi. Wśród tych ostatich wyróżia się testy zgodości służące do weryfikacji hipotez dotyczących postaci rozkładu cechy X. Będziemy wyróżiać testy iezradomizowae i test zradomizowae. Defiicja 8.4 Testem iezradomizowaym hipotezy H 0 H a azywamy azywamy fukcję φ : X {0, } określoą wzorem φ(x) = {, x W, 0, x W. x X, gdzie W jest obszarem krytyczym.

3 Marek Beśka, Statystyka matematycza, wykład 8 06 Jeśli φ(x) =, to odrzucamy H 0 i przyjmujemy H a, gdy φ(x) = 0 to przyjmujemy H 0 i odrzucamy H a. Zazwyczaj obszar krytyczy koostruuje się w oparciu o pewą statystykę T : (X, B) (Y, A). Wtedy obszarowi krytyczemu W B odpowiada pewie obszar U A taki, że W = T (U). Statystykę T azywamy wtedy statystyką testową. Przykład 8.5 Cecha X ma rozkład ormaly N(m, σ 2 ), gdzie σ 2 jest zae. Rozważmy hipotezy H 0 (m = m 0 ) H a (m m 0 ). Wtedy obszar krytyczy może być określoy astępująco { W = x X : x m 0 } > c σ dla pewego ustaloego c IR, gdzie T (x) = x m 0 σ jest statystyką testową. Obszarowi krytyczemu W odpowiada zatem obszar U = {t IR : t > c}. Jeśli teraz T (x) U to odrzucamy H 0, jeśli T (x) U to przyjmujemy H 0. Defiicja 8.6 Testem zradomizowaym hipotezy H 0 przeciwko H a azywamy mierzalą fukcję φ : X [0, ], gdzie φ(x) jest prawdopodobieństwem podjęcia decyzji o odrzuceiu hipotezy H 0, gdy zaobserwowao próbkę x X. W przypadku testu zradomizowaego dla daej próbki x hipoteza H 0 zostaje przyjęta z prawdopodobieństwem φ(x) i odrzucoa z prawdopodobieństwem φ(x). Decyzję o odrzuceiu lub przyjęciu hipotezy H 0 podejmuje się a podstawie eksperymetu Beroulliego w którym zdarzeie przyjąć H 0 ma prawdopodobieństwo φ(x), a odrzucić H 0 ma prawdopodobieństwo φ(x). Zauważmy, że test iezradomizoway jest szczególym przypadkiem testu zradomizowaego. 8.3 Błędy I i II rodzaju, moc testu Defiicja 8.7 Błędem I rodzaju azywamy podjęcie decyzji o odrzuceiu hipotezy statystyczej H 0, gdy jest oa prawdziwa (i powia być przyjęta). Błąd I rodzaju może być kotroloway przez odpowiedi wybór obszaru krytyczego. Może to am zapewić, że prawdopodobieństwo błędu I rodzju ie będzie większe od pewej z góry przyjętej stałej.

4 Marek Beśka, Statystyka matematycza, wykład 8 07 Defiicja 8.8 Błędem II rodzaju azywamy podjecie decyzji o przyjęciu hipotezy H 0, gdy jest oa fałszywa (i powia być odrzucoa). Poiższa tabelka przedstawia am możliwe przypadki jaki mogą zajść: Decyzja Hipoteza Odrzucić H 0 Przyjąć H 0 H 0 prawdziwa Błąd I rodzaju Decyzja poprawa H 0 fałszywa Decyzja poprawa Błąd II rodzaju Okazuje się, że ie moża zmiimalizować jedocześie błędów I i II rodzaju. Defiicja 8.9 Niech (X, B, P), gdzie P = {µ θ } θ Θ będzie przestrzeią statystyczą idukowaą przez próbę X = (X,..., X ), a φ testem. Wtedy fukcję β φ : Θ [0, ] określoą wzorem β φ (θ) = E θ (φ(x)), θ Θ azywamy fukcją mocy testu. Zauważmy, że w przypadku testu iezradomizowaego β φ (θ) = µ θ (W ) = P {X W }, gdzie W jest obszarem krytyczym φ. Jeśli hipotezie zerowej odpowiada zbiór Θ 0, a hipotezie alteratywej zbiór Θ 0, to β φ(θ) dla θ Θ 0 jest prawdopodobieństwem błędu I rodzaju, a β φ (θ) dla θ Θ 0 jest prawdopodobieństwem błędu II rodzaju. Fukcję mocy β φ obciętą do zbioru Θ 0 azywamy mocą testu. Niemożość jedoczesego zmiimalizowaia błędów I i II rodzaju spowodowała wybór pewego kompromisu, miaowicie ustala się z góry ograiczeie α a prawdopodobieństwo błędu I rodzaju. Na ogół przyjmuje się, że α = 0, 05, α = 0, 0 lub α = 0, 00. Tak więc dla testu φ będziemy mieli (8.) β φ (θ) α, θ Θ 0. To góre ograiczeie α błędu I rodzaju azywamy poziomem istotości testu, a liczbę sup β φ (θ) θ Θ 0 rozmiarem testu. Następie spośród testów spełiających (8.) wybieramy taki, który miimalizuje prawdopodobieństwo błędu II rodzaju. Tak skostruowae testy azywamy testami istotości. Test, który przy ustaloym prawdopodobieństwie błędu I rodzaju miimalizuje prawdopodobieństwo błędu II rodzaju azywamy testem ajmociejszym dla

5 Marek Beśka, Statystyka matematycza, wykład 8 08 H 0 względem prostej hipotezy alteratywej H a. Jeśli test jest ajmociejszy względem każdej hipotezy alteratywej ze zbioru hipotez Θ 0, a więc hipotezy alteratywej złożoej azywamy go testem jedostajie ajmociejszym. Lemat 8.0 (Podstawowy lemat Neymaa-Pearsoa) Niech (X, B, P), gdzie P = {µ θ } θ Θ będzie przestrzeią statystyczą idukowaą przez próbę X = (X,..., X ). Załóżmy, że Θ = {θ 0, θ } (θ 0 θ ) oraz rozkłady µ θ0, µ θ są absolutie ciągłe względem pewej σ - skończoej miary λ tz. µ θ0 (A) = f 0 dλ, µ θ (A) = f dλ, A B. Rozważmy problem testowaia hipotezy (8.2) H 0 (θ = θ 0 ) H a (θ = θ ) a poziomie istotości α. A (i) (Istieie testu) Dla daego α (0, ) istieje test φ hipotezy (8.2) o rozmiarze α tz. taki, że (8.3) E θ0 φ(x) = α. (ii) (Dostateczość) Jeśli φ jest testem hipotezy (8.2) o rozmiarze α oraz istieje t > 0 takie, że A (8.4) φ(x) = {, gdy f (x) > tf 0 (x), 0, gdy f (x) < tf 0 (x), dla λ p.w. x X, test φ jest testem ajmociejszym dla testowaia hipotezy (8.2) a poziomie istotości α. (iii) (Koieczość) Jeśli test φ jest testem ajmociejszym dla testowaia hipotezy (8.2) a poziomie istotości α, to dla pewego t > 0 spełia o waruek (8.4). Uwaga. Skrócoą wersję tego lematu moża wypowiedzieć astępująco: Niech E X będzie mierzalym obszarem w przestrzei próbek takim, że µ θ0 (E) α. Przypuśćmy, że istieje obszar E = {f > tf 0 } taki, że µ θ0 (E ) = α. Wtedy µ θ (E ) µ θ (E). Dowód lematu 8.0. (i) Ozaczmy f (x) T (x) = f 0 (x), f 0(x) > 0, +, f 0 (x) = 0, x X oraz iech F (t) = µ θ0 ({x X : T (x) t}), t IR.

6 Marek Beśka, Statystyka matematycza, wykład 8 09 Dla α (0, ) iech t α = F ( α). Zauważmy, że µ θ0 ({x X : f (x) = t α f 0 (x)}) = µ θ0 ({x X : T (x) = t α }) = F (t α ) F (t α ). Jeśli t α jest puktem ciągłości F, to test φ określamy wzorem φ(x) = {, gdy f (x) > t α f 0 (x), 0, gdy f (x) t α f 0 (x) lub φ(x) = {, gdy f (x) t α f 0 (x), 0, gdy f (x) < t α f 0 (x) dla x X. Wtedy E θ0 φ(x) = F (t α ) = F (F ( α)) = ( α) = α. Zatem φ jest (iezradomizowaym) testem o rozmiarze α. Jeśli t α ie jest puktem ciągłości F, to test φ określamy wzorem, gdy f (x) > t α f 0 (x), α ( F (t α )) φ(x) = F (t α ) F (t α ), gdy f (x) = t α f 0 (x), 0, gdy f (x) < t α f 0 (x), x X. Wtedy E θ0 φ(x) = µ θ0 ({x X : f (x) > t α f 0 (x)})+ α ( F (t α )) F (t α ) F (t α ) µ θ 0 ({x X : f (x) = t α f 0 (x)}) = F (t α ) + α ( F (t α)) F (t α ) F (t α ) [F (t α) F (t α )] = α. Zatem φ jest (zradomizowaym) testem o rozmiarze α i dowód istieia testu o rozmiarze α (0, ) został zakończoy. (ii) Niech φ będzie testem o rozmiarze α hipotezy (8.2) spełiającym waruek (8.4) i iech φ będzie iym testem hipotezy (8.2) a poziomie istotości α tz. mamy {x : φ(x)>φ (x)} E θ φ(x) E θ φ (X) = [φ(x) φ (x)] f (x) dλ(x)+ E θ0 φ (X) α. X [φ(x) φ (x)] f (x) dλ(x) = {x : φ(x)<φ (x)} Jeśli φ(x) > φ (x), to φ(x) > 0. Zatem f (x) tf 0 (x). Stąd A t [φ(x) φ (x)] f 0 (x) dλ(x). {x : φ(x)>φ (x)} [φ(x) φ (x)] f (x) dλ(x) = A+B.

7 Marek Beśka, Statystyka matematycza, wykład 8 0 Podobie, jeśli φ(x) < φ (x), to φ(x) <. Zatem f (x) tf 0 (x). Stąd B t [φ(x) φ (x)] f 0 (x) dλ(x). {x : φ(x)<φ (x)} Ostateczie, więc otrzymujemy E θ φ(x) E θ φ (X) = A + B t X [φ(x) φ (x)] f 0 (x) dλ(x) = t[e θ0 φ(x) E θ0 φ (X)] = t[α E θ0 φ (X)] 0. Zatem test φ jest co ajmiej tak mocy jak test φ i dowód dostateczości został zakończoy. (iii) Niech φ będzie testem hipotezy (8.2) o rozmiarze α spełiającym waruek (8.4). Z puktu (ii) mamy E θ φ (X) = E θ φ(x). Rozważmy zbiór C = {x X : φ (x) φ(x) f (x) tf 0 (x)}. Dla dowodu wystarczy wykazać, że λ(c) = 0. Zauważmy, że (8.5) [φ (x) φ(x)][f (x) tf 0 (x)] > 0 dla x C. Załóżmy, że λ(c) > 0. Wtedy z (8.5) mamy [φ (x) φ(x)][f (x) tf 0 (x)] dλ(x) = Ale wtedy 0 = X co daje sprzeczość. C X [φ (x) φ(x)][f (x) tf 0 (x)] dλ(x) > 0. [φ (x) φ(x)]f (x) dλ(x) > t [φ (x) φ(x)]f 0 (x) dλ(x) 0 X Wiosek 8. Załóżmy, że spełioe są założeia lematu Neymaa-Pearsoa. Jeśli β jest mocą ajmociejszego testu (8.2) a poziomie istotości α (0, ), to β > α chyba, że µ θ0 = µ θ. Dowód. Rozważmy test φ α. Jest to test a poziomie istotości α i moc tego testu jest rówa α, więc z założeia β α. Przypuśćmy, że β = α. Wtedy test φ jest testem ajmociejszym, więc z lematu Neymaa-Pearsoa musi spełiać waruek (8.4). Poieważ α (0, ), więc dla pewego t mamy f = tf 0, λ - p.w. Ale f i f 0 są gęstościami, stąd t =. Zatem µ θ0 = µ θ.

8 Marek Beśka, Statystyka matematycza, wykład 8 Przykład 8.2 Rzucamy osiem razy moetą iesymetryczą z prawdopodobieństwem wyrzuceie orzełka w jede próbie rówym θ (0, ). Korzystając z lematu Neymaa- Pearsoa zbudujemy ajmociejszy test dla testowaia hipotezy ( H 0 θ = ) ( H a θ = 2 ) 2 3 a poziomie istotości α = 0, 05. Korzystają ze wzoru a rozkład dwumiaowy otrzymujemy gęstości: ( ) 8 ( ) x ( f 0 (x) = ) ( ) 8 x 8 ( ) 8, = x = 0,,..., 8. x 2 2 x 2 oraz f (x) = ( ) 8 (2 x ( ) 8 x, x = 0,,..., 8. x 3) 3 Wartości powyższych gęstości zebrao w tabelce poiżej Z powyższej tabelki widzimy, że x f 0 (x) f (x) f (x)/f 0 (x) 0 0, , , ,0325 0, , , , , ,2875 0, , , , , ,2875 0,27329, , , , ,0325 0, , , , ,98872 f (x) > 3 x > 6. f 0 (x) Zatem korzystając z lematu Neymaa-Pearsoa test iezradomizoway a poziomie istotości α = 0, 05 ma postać { dla x > 6, φ(x) = 0 dla x 6. Jego rozmiar wyosi E θ0 φ = 0, , 0325 = 0, , a moc tego testu jest rówa β φ (θ ) = 0, , = 0, Test zradomizoway o rozmiarze

9 Marek Beśka, Statystyka matematycza, wykład 8 2 0, 05 będzie miał postać dla x > 6, φ(x) = 9/40 dla x = 6, 0 dla x < 6. Jego moc wyosi β φ (θ ) = 0, , = 0, Jest o zgodie z lematem Neymaa-Pearsoa testem ajmociejszym. Przykład 8.3 Niech X = (X,..., X ) będzie próbą z rozkładu ormalego N(m, σ 2 ), gdzie σ > 0 jest zae. Zbudujemy test ajmociejszy a poziomie istotości α (0, ) dla testowaie hipotezy Zauważmy, że Podobie f 0 (x) = f (x) = H 0 (m = θ 0 ) H a (m = θ ), gdzie θ > θ 0. [ (σ 2π) exp 2σ 2 [ (σ 2π) exp 2σ 2 (x i θ 0 ) 2], x = (x,..., x ) IR. (x i θ ) 2], x = (x,..., x ) IR. Na mocy lematu Neymaa-Pearsoa obszar krytyczy dla ajmociejszego testu ma postać Zauważmy, że W = f (x) [ f 0 (x) t exp 2σ 2 { x IR : f (x) f 0 (x) t }. (x i θ ) 2 + 2σ 2 (x i θ 0 ) 2] t x(θ θ 0 ) 2 (θ2 θ 2 0) t x t. Zatem dla wyzaczeia obszaru krytyczego wystarczy zaleźć takie t aby µ θ0 {x : x t } = α. Zauważmy, że { µ θ0 x : x θ 0 } u α = α, σ gdzie u α jest kwatylem rzędu α stadardowego rozkładu ormalego N(0, ). Stąd { µ θ0 x : x σ } u α + θ 0 = α.

10 Marek Beśka, Statystyka matematycza, wykład 8 3 Zatem obszar krytyczy aszego testu ma postać (8.6) W = {x : x σ } u α + θ 0. Zbudoway test jest więc rówy (8.7) φ(x) = Jego moc wyosi {, x W, 0, x W. x IR. µ θ (W ) = µ θ { x : x σ u α + θ 0 } = { µ θ x : x θ } u α + σ σ (θ 0 θ ) = ( ) ( ) Φ u α + σ (θ 0 θ ) = Φ u α + σ (θ θ 0 ). Na koiec zauważmy, że otrzymay test (8.7) z obszarem krytyczym (8.6) jest rówież jedostajie ajmociejszym testem a poziomie istotości α (0, ) do testowaia hipotezy H 0 (m = θ 0 ) H a (m > θ 0 ). 8.4 Test Kołmogorowa Niech cecha X posiada ciągłą dystrybuatę F X, która jest iezaa. Zadaie polega a zweryfikowaiu hipotezy (prostej) Rozważmy statystykę Kołmogorowa H 0 (F X = F ) H a (F X F ). D = sup F (u; X) F (u), u R gdzie X = (X,..., X ) jest próbą losową prostą. Jak wiadomo D 0, P p.w, więc duże wartości tej statystyki będą przeczyły testowaej hipotezie H 0. poziomie istotości α (0, ) zbiór krytyczy będzie miał postać gdzie d (α) jest tak dobrae, że W = d (α),, P {D > d (α)} = α. Na daym Okazuje się, że wartość krytyczą d (α) możemy dokładaie wyzaczyć, bo rozkład statystyki Kołmogorowa D, gdy prawdziwa jest hipoteza zerowa H 0 ie zależy od postaci dystrybuaty F. Dokładiej mamy astępujące twierdzeie

11 Marek Beśka, Statystyka matematycza, wykład 8 4 Twierdzeie 8.4 Jeśli hipoteza zerowa H 0 jest prawdziwa, to rozkład statystyki Kołmogorowa ie zależy od postaci dystrybuaty F. Dowód. Korzystając własości uogólioej dystrybuaty odwrotej oraz z twierdzeia.7 otrzymujemy { } P {D > d (α)} = P F (x; X) F (x) > d (α) = { P { P sup 0<t< sup x R { P sup x R } I (,x] (X i ) F (x) > d (α) = } I (, F (t)](x i ) F (F (t)) > d (α) = sup 0<t< } I (, t] (U i ) t) > d (α), gdzie U i, i =, 2,..., są iezależe i mają rozkład jedostajy a (0, ), bo P {X i F (t)} = P {X i < F (t)} = P {F (X i ) < t} = P {F (X i ) t} i przyjmujemy U i = F (X i ), i =, 2,...,. Zauważmy, że aby obliczyć wartość statystyki Kołmogorowa D a próbce, wystarczy zauważyć, że występujący w D kres góry realizuje się w jedym z puktów skoku dystrybuaty empiryczej. W praktyczych zastosowaiach postępuje się astępująco: (i) porządkujemy próbkę x = (x, x 2,..., x ) iemalejąco (ii) Obliczamy x () x (2) x (). D = max F (x (i) ) i oraz D + = max i i i F (x (i)). (iii) Obliczamy D = max{d, D + }. (iv) Z tablic kwatyli rozkładu Kołmogorowa odczytujemy wartość krytyczą.

12 Marek Beśka, Statystyka matematycza, wykład 8 5 Przykład 8.5 Wyikami obserwacji są 0, 87, 0, 56,, 37, 0, 8, 2, 46. Na poziomie istotości α = 0, 05 chcemy testem Kołmogorowa zweryfikować hipotezę, że próbka została pobraa z populacji w której badaa cecha ma stadardoway rozkład wykładiczy tj. o dystrybuacie F (x) = ( e x ) I (0, ), x IR (jest to asza hipoteza zerowa H 0 ). Porządkujemy próbkę Dalsze obliczeia zebraliśmy w tabelce 0, 8, 0, 56, 0, 87,, 37, 2, 46. i x (i) i/ F (x (i) ) (i )/ i F (x (i)) F (x(i) ) i 0,8 0,2 0, ,0353 0, ,56 0,4 0,4288 0,2 0,0288 0, ,87 0,6 0,580 0,4 0,090 0,80 4,37 0,8 0,7456 0,6 0,0544 0, ,46 0,945 0,8 0,0855 0,45 Z tabelki odczytujemy D + = 0, 0855 i D = 0, Zatem D = max{d, D + } = 0, Z tablic kwatyli rozkładu Kołmogorowa odczytujemy d (α) = d 5 (0, 05) = 0, 563. Zbiór krytyczy jest więc postaci W = 0, 563,. Mamy więc D W. Zatem a poziomie istotości α = 0, 05 próbka ie przeczy hipotezie zerowej H Test χ 2 - Pearsoa Zakładamy, że cecha X ma dowoly rozkład. Testujemy hipotezę H 0 (F X = F ) H a (F X F ). Hipoteza zerowa musi być hipotezą prostą, liczość próbki 00. Dzielmy prostą IR a k przedziałów (klas) postaci (a i, a i+ dla i = 0,,... k 2 oraz (a k, a k ),

13 Marek Beśka, Statystyka matematycza, wykład 8 6 gdzie a 0 = i a k = +. Przez i ozaczmy ilość elemetów próbki x i, które wpadą do i-tej klasy tj. do przedziału (a i, a i, gdy i =,..., k lub (a k, a k ), gdy i = k. Wielkości i azywamy liczościami doświadczalymi. Odpowiadają im liczości teoretycze tj. p i, gdzie p i = F (a i ) F (a i ). Poadto wymaga się aby p i 5, i =,... k. Gdy w jakieś klasie tak ie jest to łączymy tą klasę z sąsiedią. Zauważmy, że p i =. Statystyką testową jest tzw. statystyka Pearsoa postaci χ 2 = (N i p i ) 2 p i, gdzie wektor losowy N = (N, N 2,..., N k ) spełia waruek oraz posiada rozkład wielomiaowy tz. N i = P {(N, N 2,..., N k ) = (, 2,... k )} =!! 2! k! (p ) (p 2 ) 2 (p k ) k. Wartość statystyki Pearsoa a próbce x z której i elemetów wpadło do i - tej klasy, i =, 2,..., k wyosi χ 2 obl = ( i p i ) 2 2 i =. p i p i Zachdzi astępujące twierdzeie Pearsoa z 900 roku Twierdzeie 8.6 (Pearso) Jeśli hipoteza zerowa H 0 jest prawdziwa, to statystyka Pearsoa χ 2 (N i p i ) 2 = p i ma przy rozkład graiczy (w słabej zbieżości), którym jest rozkład chi-kwadrat o k stopiach swobody. Dowód. Ozaczmy Y i = N i p i pi, i =, 2,..., k.

14 Marek Beśka, Statystyka matematycza, wykład 8 7 Zauważmy, że χ 2 = Y 2 i oraz Y i pi = 0. Obliczmy fukcję charakterystyczą wektora losowego Y = (Y, Y 2,..., Y k ) w pukcie t = (t, t 2,..., t k ). Mamy ( ϕ Y (t) = E exp i t, Y = E exp i ( exp i ( t j pj )E exp i ) ( t j Y j = E exp i t ) j N j pj t j N j p j pj ) = Zauważmy, ( że ostati czyik jest fukcją charakterystyczą wektora losowego N w pukcie t p t, p2 2 t,..., pk k ). Poieważ, 2,..., k k =, 2,..., k k = więc ostateczie Stąd ( ϕ N (t) = E exp i t, N = E exp i ( exp i ) t j N j = )! t j j! 2! k! (p ) (p 2 ) 2 (p k ) k =!! 2! k! (eit p ) (e it 2 p 2 ) 2 (e it k p k ) k = ( ϕ Y (t) = exp i )( t j pj p j exp it ) j. pj [ ( lim ϕ Y(t) = lim exp i Rozwijając fukcję exp w szereg otrzymujemy lim ( ), e it j p j t j pj )( p j exp it )] j. pj lim ϕ Y(t) = [( i k t j p j ( k t j p j ) 2 +o 2 ( )) ( p j + it j pj t2 j 2p j +o( ))] =

15 Marek Beśka, Statystyka matematycza, wykład 8 8 [( lim i gdzie t j pj ( 2 [ lim + 2 ( t j pj ) 2+o ( t j pj ) 2 2 ))( + i t j pj 2 ( ))] t 2 j + o = { exp [ ( t 2 ) 2 ]} ( j t j pj = exp ) 2 2 At, t, A = p p p 2 p p 3 p 2 p p 2 p 2 p 3 p p k p 2 p k p k p p k p 2 p k p 3 p k ( ))] t 2 j+o = jest macierzą symetryczą i ieujemie określoą. Wykazaliśmy, że graiczy rozkład jest rozkładem ormalym tj. jego charakterystycza dla t = (t,..., t k ) IR k ma postać { ϕ(t) = exp [ ( t 2 ) 2 ]} ( j t j pj = exp ) 2 2 At, t. Niech W = (W, W 2,..., W k ) będzie wektorem losowym takim, że ϕ W = ϕ. Wtedy możemy apisać, że (8.8) Y = (Y, Y 2,..., Y k ) Niech U będzie macierzą ortogoalą taką, że U T = D W = (W, W 2,..., W k ). p p2 p3 pk oraz iech X = U T W. Wtedy ϕ X (x) = E exp i x, X = E exp i x, U T W = E exp i Ux, W = ( exp ) 2 AUx, Ux.

16 Marek Beśka, Statystyka matematycza, wykład 8 9 Podstawiając t = Ux dostajemy ( ϕ X (x) = exp ) { 2 At, t = exp [ ( t 2 ) 2 j t j pj ]}. 2 Z własości macierzy ortogoalych mamy Zatem Stąd t 2 = x 2 tj. t 2 + t t 2 k = x2 + x x 2 k. ( t 2 + t t 2 k = x2 + x x 2 k + ) 2 t j pj ( t 2 k ) 2 t j pj = x 2 + x x 2 k. [ ϕ X (x) = exp 2 ( k x 2 j Tak więc rozkład wektora losowego X jest stadardowym rozkładem a IR k, a stąd zmiea losowa X 2 ma rozkład chi-kwadrat o k stopiach swobody. Poieważ W 2 = X 2, więc W 2 ma rówież rozkład chi-kwadrat o k stopiach swobody. Stąd i z (8.8) dostajemy (N i p i ) 2 = Y 2 D p i W 2. Zatem rozkładem graiczym (w słabej zbieżości) statystyki Pearsoa jest rozkład chikwadrat o k stopiach swobody. Przy założeiu prawdziwości hipotezy zerowej duże wartości statystyki testowej a próbce przeczą hipotezie zerowej. Jeśli α jest poziomem istotości testu, to zbiór krytyczy W ma postać W = χ 2 k, α, ), gdzie χ2 k, α jest kwatylem rozkładu chi-kwadrat o k stopiach swobody rzędu α. Jeśli χ 2 obl W, to odrzucamy hipotezę zerową, w przeciwym przypadku mówimy, że a poziomie istotości α próbka ie przeczy hipotezie zerowej. Przykład 8.7 Z populacji w której badaa cecha X ma iezaą dystrybuatę F pobrao próbkę o liczości = 200. Otrzymae wyiki pogrupowao w 0 rówych klas, które przedstawioo w tabelce. )].

17 Marek Beśka, Statystyka matematycza, wykład 8 20 Lp. klasy i p i ( i p i ) 2 ( i p i ) 2 /p i (45; 45, ,45 2 (45, 5; ,05 3 (46; 46, ,25 4 (46, 5; ,20 5 (47; 47, ,45 6 (47, 5; ,80 7 (48; 48, ,80 8 (48, 5; ,20 9 (49; 49, ,00 0 (49, 5; 50) ,80 Na poziomie istotości α = 0, 05 zweryfikować hipotezę, że cecha X ma rozkład jedostajy a przedziale (45, 50). Naszą hipotezą zerową jest hipoteza mówiąca, że cecha ma rozkład jedostajy a przedziale (45, 50). Hipotezą alteratywą jest, że rozkład cechy X jest róży od tego rozkładu. Mamy = 200 oraz k = 0. Obliczamy p i = I j 5 dx = 5 I j = 5 2 =, j =, 2,..., 0, 0 gdzie I j = (45 + (j )/2; 45 + j/2, j =, 2,..., 0. Sumując ostatią kolumę w tabeli powyżej dostajemy wartość statystyki Pearsoa a daej próbce; χ 2 obl = 5. Z tablic rozkładu chi-kwadrat zajdujemy kwatyl χ 2 9;0,95 = 6, 99. Zatem zbiór krytyczy ma postać W = 6, 99, + ). Poieważ χ 2 obl W, więc próbka ie przeczy aszej hipotezie. Przykład 8.8 Rzucoa = 20 razy kostką do gry i otrzymao wyiki i i Na poziomie istotości α = 0, 05 zweryfikować hipotezę, że kostka jest symetrycza i jedoroda. Jest to asza hipoteza zerowa. Hipoteza alteratywa jest zaprzeczeiem hipotezy zerowej. Dokoujemy obliczeia statystyki testowej a próbce. Mamy = 20, k = 6 oraz przy prawdziwości hipotezy zerowej p i = /6, i =, 2,..., 6. Obliczeia zebrao w tabelce poiżej.

18 Marek Beśka, Statystyka matematycza, wykład 8 2 i i p i ( i p i ) 2 ( i p i ) 2 /p i , , , , , ,05 Wartość statystyki a próbce jest sumą liczb z ostatiej kolumy w tabelce powyżej i wyosi oa χ 2 obl = 2, 2. W celu wyzaczeia zbioru krytyczego zajdujemy w tablicach kwatyl rozkładu chi-kwadrat o 5 stopiach swobody rzędu 0, 95 i wyosi o χ 2 5;0,95 =, 070. Zatem zbior krytyczy ma postać W =, 070, + ). Poieważ χ 2 obl W, więc a poziomie istotości α = 0, 05 odrzucamy hipotezę zerową. Zauważmy, że gdy przyjmiemy poziom istotości testu α = 0, 0, to χ 2 5;0,99 = 5, 09, więc zbiór krytyczy W = 5, 09, + ) i χ 2 obl W. Zatem a poziomie istotości α = 0, 0 próbka ie przeczy hipotezie zerowej. 8.6 Porówywaie średich (aaliza wariacji) Rozważmy astępujący problem. Na podstawie k iezależych prób (k > 2) X,, X,2,..., X, X 2,, X 2,2,..., X 2,2,,,,,, X k,, X k,2,..., X k,k pochodzacych z k populacji w których cecha X miała odpowiedio rozkłady ormale N(m, σ 2 ), N(m 2, σ 2 ),..., N(m k, σ 2 ) chcemy zweryfikować hipotezę zerową H 0 (m = m 2 =... m k ). Hipotezą alteratywą jest zaprzeczeie hipotezy zerowej. W zgadieiach praktyczych problem taki pojawia się, gdy weryfikujemy hipotezę, że rozmiar jakiegoś wyróżioego czyika ie ma wpływu a poziom badaego zjawiska. Niech X i = i i X i,j, i =, 2,..., k. Gdyby hipoteza H 0 była prawdziwa, wszystkie średie X i, i =, 2,..., k byłyby miej więcej takie same. Za statystykę testową przyjmuje się statystykę która byłaby w jakimś

19 Marek Beśka, Statystyka matematycza, wykład 8 22 sesie miarą zróżicowaia tych średich p. (8.9) (X i X) 2, gdzie X jest średią ważoą wszystkich średich X i, i =, 2,..., k lub iaczej średią ze wszystkich k prób tj. X = i X i = i X i,j, gdzie = i. Gdy = 2 = = k, to X = k X i. Za wyborem statystyki (8.9) jako statystyki testowej przemawia to, że jest to pewa forma kwadratowa z próby, a więc jej rozkład powiie być rozkładem typu chi-kwadrat, co ułatwiłoby operowaie tą statystyką. Podstawą teoretyczą dla kostrukcji odpowiediego testu jest astępujące twierdzeie. Twierdzeie 8.9 (Cochraa-Fishera) Niech Y = (Y,..., Y ) będzie wektorem losowym o rozkładzie ormalym N(0,I). Poadto iech dla i =, 2,..., k y T A i y = A i y, y, y IR będą formami kwadratowymi takimi, że rz(a i ) = i oraz y 2 = y, y = y T y = y T A i y, y IR. Wówczas zmiee losowe Y T A i Y, i =, 2,..., k są iezależe i mają rozkłady chi-kwadrat o i stopiach swobody odpowiedio wtedy i tylko wtedy, gdy i =. Dowód. (Koieczość). Jeśli zmiee losowe Y T A i Y, i =, 2,..., k sa iezależe i mają rozkłady chi-kwadrat o i stopiach swobody odpowiedio, to zmiea losowa Y T A i Y

20 Marek Beśka, Statystyka matematycza, wykład 8 23 ma rozkład chi-kwadrat o k i stopiach swobody. Z drugiej stroy zmiea losowa Y T Y = Y i 2 ma rozkład chi-kwadrat o stopiach swobody. Poieważ Y T Y = Y T A i Y, więc k i =. (Dostateczość). Załóżmy, że k i =. Z przedstawieia formy kwadratowej w postaci kaoiczej wyika, że istieją takie liczby b i,j, i, j =, 2,..., takie, że y T A i y = ε i, (b mi +,y + + b mi +,y ) ε i,i (b mi,y + + b mi,y ) 2, i =, 2,..., k, gdzie y = (y,..., y ), ε j,i = ±, j i, m 0 = 0, m i = i j, i =, 2,..., k. Przyjmując B = [b i,j ] i,j możemy zapisać (8.0) y T y = y T A i y = y T B T DBy, y IR, gdzie D jest macierzą diagoalą mającą a przekatej wyrazy rówe ±. Stąd Poieważ więc B jest macierzą ieosobliwą. Zatem B T DB = I = det(b T )det(d)det(b), D = ( B T ) B = ( BB T ). Macierz BB T jest rzędu, jest dodatio określoa, więc wszystkie elemety przekątej macierzy D są rówe, czyli BB T = I. Stąd wyika, że B T B = I, więc macierz B jest macierzą ortogoalą. Zatem składowe losowego wektora V = BY

21 Marek Beśka, Statystyka matematycza, wykład 8 24 są iezależymi zmieymi losowymi o rozkładzie ormalym N(0,). Ale z kostrukcji (patrz (8.0)) wyika, że Y T A Y = V V 2, Y T A 2 Y = V V 2 + 2,... =...,... =...,... =..., Y T A k Y = V k V 2 k, więc Y T A i Y dla i =, 2,..., k są iezależe i mają odpowiedio rozkłady chi-kwadrat o i stopiach swobody odpowiedio. Wykorzystamy teraz to twierdzeie do kostrukcji odpowiediego testu dla rozważaego przez as problemu porówywaia k średich. Ozaczmy Y i,j = X i,j m i, j =, 2,..., i, i =, 2,..., k, σ Y = (Y,,..., Y,,..., Y k,,..., Y k,k ), Y i = i Y = i Y i,j, i =, 2,..., k, i Y i = i Y i,j. Oczywiście wektor losowy Y ma rozkład ormaly N(0, I). Sumę kwadratów współrzędych wektora losowego Y T Y zapiszemy w postaci 2 Y T Y = i Yi,j 2 = (Y i,j Y i + Y i Y + Y ) 2 = i (Y i,j Y i ) 2 + i (Y i,j Y i )(Y i Y ) + 2 i (Y i Y ) 2 + Y 2 + i (Y i,j Y i )Y + 2 Zauważmy, że sumy mieszaych iloczyów są rówe zero, zatem (8.) Y T Y = i (Y i,j Y i ) 2 + i (Y i Y )Y. i (Y i Y ) 2 + Y 2.

22 Marek Beśka, Statystyka matematycza, wykład 8 25 Wyzaczymy macierz A i taką aby i i (Y i,j Y i ) 2 = Y 2 i,j i Y 2 i = Y T A i Y. Ze wzoru powyżej wiadać, że macierz A i składa się z samych zer oprócz elemetów zajdujących się w wierszach od i + do wiersza i i w kolumach od i + do kolumy i. Elemety macierzy A i zajdujące się w wyżej wymieioych wierszach i kolumach tworzą podmacierz postaci i i i i i i i i i i i Obliczmy rząd tej macierzy (możemy pomożyć ją przez i, co ie zmiei jej rzędu). i i rz(a i ) = rz = i. i i Dodając kolumy od drugiej do ostatiej do pierwszej kolumy, a astępie wiersze od 2 do ostatiego do pierwszego wiersza otrzymujemy dalej i 0 i rz = 0 i rz i i i i i ( i ) ( i ) =

23 Marek Beśka, Statystyka matematycza, wykład 8 26 Odejmując pierwszy wiersz do pozostałych, a astepie kolumy od drugiej do ostatiej dodajemy do pierwszej mamy rz i i i 0 0 i 0 0 i Wyzaczymy teraz macierz A taką aby Zauważmy, że = rz i (Y i Y ) 2 = Y T AY. 0 i i = i. i (Y i Y ) 2 = i Y 2 i 2 i Y i Y + i Y 2 = i Y 2 i Y 2 = i j,l= i Y i,j Y i,l i m m= l= Y i,j Y m,l. Stąd macierz A jest różicą dwóch macierzy (pierwsza jest macierzą blokową) A = C C C k gdzie w pierwszej macierzy macierz C i, i =, 2,..., k jest macierzą wymiaru i i i jej elemetami są liczby i. Obliczymy rząd macierzy A. Po skreśleiu idetyczych wierszy i kolum otrzymujemy 2 rz(a) = rz = k k k,

24 Marek Beśka, Statystyka matematycza, wykład 8 27 Pomożymy macierz A przez 2 rz = k Odejmujemy pierwszy wiersz od pozostałych, astępie możymy i - tą kolumę przez i dla i =, 2,..., k rz 0 0 k = rz 2 3 k Dodajemy kolumy od drugiej do ostatiej do pierwszej kolumy k rz = k = Forma kwadratowa Y 2 ma oczywiście rząd. Ostateczie więc forma kwadratowa Y T Y jest sumą k form kwadratowych rzędu i dla i =, 2,..., k plus jedej rzędu k i jedej rzędu. Poieważ ( i ) + k + =, więc z twierdzeia Cochraa-Fishera wioskujemy, że zmiee losowe i (Y i,j Y i ) 2, i =, 2,..., k, i (Y i Y ) 2 i Y 2 są iezależymi zmieymi losowymi mającymi rozkłady chi-kwadrat z liczbą stopi swobody rówą ich rzędom. Przejdziemy teraz kostrukcji testu w celu zweryfikowaia aszej hipotezy zerowej H 0 (m = m 2 =... m k ).

25 Marek Beśka, Statystyka matematycza, wykład 8 28 Załóżmy, że hipoteza zerowa jest prawdziwa tz. m = m 2 =... m k. Wtedy dla i =, 2,..., k mamy oraz Y i = i Y = Zatem i Y i,j = i i Y i,j = i i σ 2 X i,j m i σ X i,j m i σ = i i = i (X i X) 2 = X i,j σ i m i σ = X i σ m i σ = X i σ m σ X i,j σ i (Y i Y ) 2 i m i σ ma rozkład chi-kwadrat o k stopiach swobody. Jeśli σ 2 jest zae, to (8.2) σ 2 i (X i X) 2 = X σ m σ. jest statystyką z próby (czyli aszą statystyką testową). Duże wartości tej statystyki świadczą przeciwko weryfikowaej hipotezie H 0. Dla daego poziomu istotości α wartość krytyczą zajdujemy z tablic rozkładu chi-kwadrat. Zbiór krytyczy ma postać W = χ 2 k ; α, + ), gdzie χ 2 k ; α jest kwatylem z rozkładu chi-kwadrat o k stopiach swobody rzędu α. Jeśli wariacja σ 2 ie jest zaa to zmiea losowa (8.2) ie jest statystyką z próby. Zauważmy, że i i σ 2 (X i,j X i ) 2 = (Y i,j Y i ) 2 jest zmieą losową o rozkładzie chi-kwadrat o k stopiach swobody i iezależą od (8.2), więc statystyka (przy założeiu prawdziwości hipotezy H 0 ) F k, k = k σ 2 i(x i X) 2 k σ 2 k i (X i,j X i ) 2 k ie zależy od σ 2 i ma rozkład F-Sedecora o (k, k) stopiach swobody. Jeśli α jest poziomem istotości testu, to zbiór krytyczy W ma postać W = F k, k; α, + ),

26 Marek Beśka, Statystyka matematycza, wykład 8 29 gdzie F k, k; α jest kwatylem rzędu α rozkładu F-Sedecora o (k, k) stopiach swobody. Opisaa procedura testowa jest pewym szczególym przypadkiem procedur rozważaych w tzw. aalizie wariacji (ANOVA Table). Nazwa pochodzi stąd, że przy założeiu prawdziwości hipotezy H 0 wariacja empirycza wszystkich obserwacji {X i,j : j i, i k} zostaje rozłożoa a sumę wariacji wewątrzpróbkowej i wariacji międzypróbkowej i (X i,j X i ) 2 i (X i X) 2. Rzeczywiście, ze wzoru (8.) dostajemy (8.3) S 2 Y := YT Y Y 2 = Poadto i (Y i,j Y i ) 2 + i (Y i Y ) 2. S 2 Y = i Y 2 i,j Y 2 = i X 2 i,j 2X i,jm + m 2 σ 2 ( X σ m ) 2 = σ i X 2 i,j σ 2 2 X σ 2 m + m2 σ 2 ( X 2 σ 2 2 X σ 2 m + m2 σ 2 ) = Stąd z (8.3) i z tego, że i X 2 i,j σ 2 X2 σ 2 = S2 X σ 2. i (Y i,j Y i ) 2 = i σ 2 (X i,j X i ) 2 i i (Y i Y ) 2 = σ 2 i (X i X) 2 dostajemy S 2 X = i (X i,j X i ) 2 + i (X i X) 2. Z tego puktu widzeia skostruoway test może być iterpretoway w astępujący sposób: Hipoteza H 0 o rówości średiach zostaje odrzucoa, gdy wariacja międzypróbkowa jest duża a tle wariacji wewątrzpróbkowej.

27 Marek Beśka, Statystyka matematycza, wykład 8 30 Uwaga. W przypadku, gdy k = 2 stosujemy test oparty o statystykę testową t = X X 2, S 2+ 2S która przy założeiu prawdziwości hipotezy zerowej H 0 (m = m 2 ) ma rozkład t-studeta o stopiach swobody (patrz zadaie z ćwiczeń). Niech α będzie poziomem istotości testu. Postać zbioru krytyczego zależy od hipotezy alteratywej. Jeśli H a (m < m 2 ), to W = (, t + 2 2, α, gdzie t + 2 2, α jest kwatylem rzędu α rozkładu t-studeta o stopiach swobody. Jeśli H a (m > m 2 ), to Gdy atomiast H a (m m 2 ), to W = t + 2 2, α, + ). W = (, t + 2 2, α/2 t + 2 2, α/2, + ), gdzie t + 2 2, α/2 jest kwatylem rzędu α/2 rozkładu t-studeta o stopiach swobody.