8 Weryfikacja hipotez statystycznych

Marek Beśka, Statystyka matematycza, wykład 8 04 8 Weryfikacja hipotez statystyczych 8. Hipotezy statystycze Drugą obok estymacji formą wioskowaia statystyczego jest weryfikacja hipotez statystyczych. Zacziemy od defiicji hipotezy statystyczej Defiicja 8. Każde przypuszczeie dotyczące iezaego rozkładu prawdopodobieństwa cechy X azywa się hipotezą statystyczą. A więc w realych sytuacjach w których moża przeprowadzać pewe obserwacje i które opisuje się za pomocą jakiegoś modelu probabilistyczego, każde twierdzeie specyfikujące model probabilistyczy odzwierciedlający aturalą zmieość obserwacji azywamy hipotezą statystyczą. Przykład 8.2 Kilka przykładów hipotez statystyczych:. Liczba zgłoszeń w cetrali telefoiczej (cecha X) w przedziale czasu długości t ma rozkład Poissoa z parametrem λ > 0. Wysuwamy przypuszczeie λ = 3. Przypuszczeie to jest hipoteza statystyczą i piszemy H (λ = 3). 2. Do kasy biletowej zgłasza się przeciętie dwóch iteresatów w ciągu miuty. Przypuszczeie: Liczba iteresatów (cecha X) zgłaszających się do kasy w ciagu ustaloego odcika czasu o długości t podlega rozkładowi Poissoa z parametrem 2t jest hipotezą statystyczą, którą ozaczymy przez H 2. 3. Niech cecha X ozacza wartość siły zrywającej włóka określoego rodzaju. Dla poszczególych włókie przyjmuje oa róże ie dające się z góry określić wartości. Przypuszczeie: Rozważa cecha X ma rozkład ormaly N(450, σ 2 ) jest hipotezą statystyczą, która ozaczymy przez H 3. 4. Niech cecha X będzie tak jak wyżej. Przypuszczeie cecha X ma rozkład ormaly N(450, 90) jest hipotezą statystyczą, którą ozaczymy przez H 4. Z podaego przykładu widzimy, że hipoteza statystycza może dotyczyć wartości parametrów rozkładu, wtedy mamy do czyieia z hipoteza parametryczą p. H lub dotyczyć postaci rozkładu, wtedy mamy do czyieia z hipoteza ieparametryczą p. H 2, H 3,H 4 z przykładu powyżej. Hipotezę statystyczą, która określa całkowicie rozkład prawdopodobieństwa azywamy hipotezą prostą w przeciwym razie mamy do czyieia z hipotezą złożoą. W przykładzie powyżej hipoteza H 3 jest hipotezą złożoą, pozostałe są hipotezami prostymi. Formułując hipotezę statystyczą H dokoujemy podziału wszystkich możliwych rozkładów cechy X a dwa zbiory. Jede tworzą rozkłady opisae przez hipotezę H drugi jest dopełieiem pierwszego zbioru. Przyjęto tą wyjściową hipotezę H azywać hipotezą zerową i ozaczać przez H 0, a hipotezę mówiącą, że rozkład cechy X ależy do drugiego

Marek Beśka, Statystyka matematycza, wykład 8 05 zbioru hipotezą alteratywą i ozaczać przez H a. Będziemy wtedy pisać H 0 H a i mówić, że stawiamy hipotezę H 0 przeciwko hipotezie H a. Przykład 8.3 Nawiązując do przykładu 8.2 sformułujemy hipotezy zerowe i hipotezy alteratywe.. H 0 (λ = 3) H a (λ 3). 2. H 0 (cecha X ma rozkład Poissoa z parametrem 2t) H a (cecha X ma rozkład dyskrety ie będący rozkładem Poissoa). 3. H 0 (cecha X ma rozkład ormaly N(450, σ 2 )) H a (cecha X ma rozkład ormaly N(450, σ 2 ) lub iy rozkład typu ciągłego ). 4. H 0 (cecha X ma rozkład ormaly N(450, 90)) H a (cecha X ma rozkład ormaly N(450, 90) lub iy rozkład typu ciągłego ). Zauważmy, że w powyższym przykładzie hipotezy zerowe w, 2, 4 są proste, a w 3 hipoteza zerowa jest złożoa. Wszystkie hipotezy alteratywe w powyższym przykładzie są złożoe. 8.2 Testy statystycze Hipoteza statystycza poddawaa jest weryfikacji za pomocą odpowiedio dobraego testu statystyczego. Testem statystyczym hipotezy H 0 H a azywamy postępowaie, które precyzuje dla jakiej próbki x = (x,..., x ) przyjmujemy H 0, a dla jakiej odrzucamy H 0 (tz. przyjmujemy H a ). Podzbiór W X tych próbek dla których odrzucamy hipotezę H 0 azywamy obszarem odrzuceia hipotezy H 0 lub obszarem krytyczym (zbiorem krytyczym). Dopełieie tego zbioru W = X \ W azywamy obszarem przyjęcia hipotezy H 0. Warto tu podkreślić, że test statystyczy ie udowadaia w sesie logiki prawdziwości czy fałszywaości hipotezy. Staowi o tylko formę podejmowaia decyzji w przypadku braku pełej iformacji. Testy statystycze służące do weryfikacji hipotezy parametryczej azywamy testami parametryczymi, a służące do weryfikacji hipotez ieparametryczych testami ieparametryczymi. Wśród tych ostatich wyróżia się testy zgodości służące do weryfikacji hipotez dotyczących postaci rozkładu cechy X. Będziemy wyróżiać testy iezradomizowae i test zradomizowae. Defiicja 8.4 Testem iezradomizowaym hipotezy H 0 H a azywamy azywamy fukcję φ : X {0, } określoą wzorem φ(x) = {, x W, 0, x W. x X, gdzie W jest obszarem krytyczym.

Marek Beśka, Statystyka matematycza, wykład 8 06 Jeśli φ(x) =, to odrzucamy H 0 i przyjmujemy H a, gdy φ(x) = 0 to przyjmujemy H 0 i odrzucamy H a. Zazwyczaj obszar krytyczy koostruuje się w oparciu o pewą statystykę T : (X, B) (Y, A). Wtedy obszarowi krytyczemu W B odpowiada pewie obszar U A taki, że W = T (U). Statystykę T azywamy wtedy statystyką testową. Przykład 8.5 Cecha X ma rozkład ormaly N(m, σ 2 ), gdzie σ 2 jest zae. Rozważmy hipotezy H 0 (m = m 0 ) H a (m m 0 ). Wtedy obszar krytyczy może być określoy astępująco { W = x X : x m 0 } > c σ dla pewego ustaloego c IR, gdzie T (x) = x m 0 σ jest statystyką testową. Obszarowi krytyczemu W odpowiada zatem obszar U = {t IR : t > c}. Jeśli teraz T (x) U to odrzucamy H 0, jeśli T (x) U to przyjmujemy H 0. Defiicja 8.6 Testem zradomizowaym hipotezy H 0 przeciwko H a azywamy mierzalą fukcję φ : X [0, ], gdzie φ(x) jest prawdopodobieństwem podjęcia decyzji o odrzuceiu hipotezy H 0, gdy zaobserwowao próbkę x X. W przypadku testu zradomizowaego dla daej próbki x hipoteza H 0 zostaje przyjęta z prawdopodobieństwem φ(x) i odrzucoa z prawdopodobieństwem φ(x). Decyzję o odrzuceiu lub przyjęciu hipotezy H 0 podejmuje się a podstawie eksperymetu Beroulliego w którym zdarzeie przyjąć H 0 ma prawdopodobieństwo φ(x), a odrzucić H 0 ma prawdopodobieństwo φ(x). Zauważmy, że test iezradomizoway jest szczególym przypadkiem testu zradomizowaego. 8.3 Błędy I i II rodzaju, moc testu Defiicja 8.7 Błędem I rodzaju azywamy podjęcie decyzji o odrzuceiu hipotezy statystyczej H 0, gdy jest oa prawdziwa (i powia być przyjęta). Błąd I rodzaju może być kotroloway przez odpowiedi wybór obszaru krytyczego. Może to am zapewić, że prawdopodobieństwo błędu I rodzju ie będzie większe od pewej z góry przyjętej stałej.

Marek Beśka, Statystyka matematycza, wykład 8 07 Defiicja 8.8 Błędem II rodzaju azywamy podjecie decyzji o przyjęciu hipotezy H 0, gdy jest oa fałszywa (i powia być odrzucoa). Poiższa tabelka przedstawia am możliwe przypadki jaki mogą zajść: Decyzja Hipoteza Odrzucić H 0 Przyjąć H 0 H 0 prawdziwa Błąd I rodzaju Decyzja poprawa H 0 fałszywa Decyzja poprawa Błąd II rodzaju Okazuje się, że ie moża zmiimalizować jedocześie błędów I i II rodzaju. Defiicja 8.9 Niech (X, B, P), gdzie P = {µ θ } θ Θ będzie przestrzeią statystyczą idukowaą przez próbę X = (X,..., X ), a φ testem. Wtedy fukcję β φ : Θ [0, ] określoą wzorem β φ (θ) = E θ (φ(x)), θ Θ azywamy fukcją mocy testu. Zauważmy, że w przypadku testu iezradomizowaego β φ (θ) = µ θ (W ) = P {X W }, gdzie W jest obszarem krytyczym φ. Jeśli hipotezie zerowej odpowiada zbiór Θ 0, a hipotezie alteratywej zbiór Θ 0, to β φ(θ) dla θ Θ 0 jest prawdopodobieństwem błędu I rodzaju, a β φ (θ) dla θ Θ 0 jest prawdopodobieństwem błędu II rodzaju. Fukcję mocy β φ obciętą do zbioru Θ 0 azywamy mocą testu. Niemożość jedoczesego zmiimalizowaia błędów I i II rodzaju spowodowała wybór pewego kompromisu, miaowicie ustala się z góry ograiczeie α a prawdopodobieństwo błędu I rodzaju. Na ogół przyjmuje się, że α = 0, 05, α = 0, 0 lub α = 0, 00. Tak więc dla testu φ będziemy mieli (8.) β φ (θ) α, θ Θ 0. To góre ograiczeie α błędu I rodzaju azywamy poziomem istotości testu, a liczbę sup β φ (θ) θ Θ 0 rozmiarem testu. Następie spośród testów spełiających (8.) wybieramy taki, który miimalizuje prawdopodobieństwo błędu II rodzaju. Tak skostruowae testy azywamy testami istotości. Test, który przy ustaloym prawdopodobieństwie błędu I rodzaju miimalizuje prawdopodobieństwo błędu II rodzaju azywamy testem ajmociejszym dla

Marek Beśka, Statystyka matematycza, wykład 8 08 H 0 względem prostej hipotezy alteratywej H a. Jeśli test jest ajmociejszy względem każdej hipotezy alteratywej ze zbioru hipotez Θ 0, a więc hipotezy alteratywej złożoej azywamy go testem jedostajie ajmociejszym. Lemat 8.0 (Podstawowy lemat Neymaa-Pearsoa) Niech (X, B, P), gdzie P = {µ θ } θ Θ będzie przestrzeią statystyczą idukowaą przez próbę X = (X,..., X ). Załóżmy, że Θ = {θ 0, θ } (θ 0 θ ) oraz rozkłady µ θ0, µ θ są absolutie ciągłe względem pewej σ - skończoej miary λ tz. µ θ0 (A) = f 0 dλ, µ θ (A) = f dλ, A B. Rozważmy problem testowaia hipotezy (8.2) H 0 (θ = θ 0 ) H a (θ = θ ) a poziomie istotości α. A (i) (Istieie testu) Dla daego α (0, ) istieje test φ hipotezy (8.2) o rozmiarze α tz. taki, że (8.3) E θ0 φ(x) = α. (ii) (Dostateczość) Jeśli φ jest testem hipotezy (8.2) o rozmiarze α oraz istieje t > 0 takie, że A (8.4) φ(x) = {, gdy f (x) > tf 0 (x), 0, gdy f (x) < tf 0 (x), dla λ p.w. x X, test φ jest testem ajmociejszym dla testowaia hipotezy (8.2) a poziomie istotości α. (iii) (Koieczość) Jeśli test φ jest testem ajmociejszym dla testowaia hipotezy (8.2) a poziomie istotości α, to dla pewego t > 0 spełia o waruek (8.4). Uwaga. Skrócoą wersję tego lematu moża wypowiedzieć astępująco: Niech E X będzie mierzalym obszarem w przestrzei próbek takim, że µ θ0 (E) α. Przypuśćmy, że istieje obszar E = {f > tf 0 } taki, że µ θ0 (E ) = α. Wtedy µ θ (E ) µ θ (E). Dowód lematu 8.0. (i) Ozaczmy f (x) T (x) = f 0 (x), f 0(x) > 0, +, f 0 (x) = 0, x X oraz iech F (t) = µ θ0 ({x X : T (x) t}), t IR.

Marek Beśka, Statystyka matematycza, wykład 8 09 Dla α (0, ) iech t α = F ( α). Zauważmy, że µ θ0 ({x X : f (x) = t α f 0 (x)}) = µ θ0 ({x X : T (x) = t α }) = F (t α ) F (t α ). Jeśli t α jest puktem ciągłości F, to test φ określamy wzorem φ(x) = {, gdy f (x) > t α f 0 (x), 0, gdy f (x) t α f 0 (x) lub φ(x) = {, gdy f (x) t α f 0 (x), 0, gdy f (x) < t α f 0 (x) dla x X. Wtedy E θ0 φ(x) = F (t α ) = F (F ( α)) = ( α) = α. Zatem φ jest (iezradomizowaym) testem o rozmiarze α. Jeśli t α ie jest puktem ciągłości F, to test φ określamy wzorem, gdy f (x) > t α f 0 (x), α ( F (t α )) φ(x) = F (t α ) F (t α ), gdy f (x) = t α f 0 (x), 0, gdy f (x) < t α f 0 (x), x X. Wtedy E θ0 φ(x) = µ θ0 ({x X : f (x) > t α f 0 (x)})+ α ( F (t α )) F (t α ) F (t α ) µ θ 0 ({x X : f (x) = t α f 0 (x)}) = F (t α ) + α ( F (t α)) F (t α ) F (t α ) [F (t α) F (t α )] = α. Zatem φ jest (zradomizowaym) testem o rozmiarze α i dowód istieia testu o rozmiarze α (0, ) został zakończoy. (ii) Niech φ będzie testem o rozmiarze α hipotezy (8.2) spełiającym waruek (8.4) i iech φ będzie iym testem hipotezy (8.2) a poziomie istotości α tz. mamy {x : φ(x)>φ (x)} E θ φ(x) E θ φ (X) = [φ(x) φ (x)] f (x) dλ(x)+ E θ0 φ (X) α. X [φ(x) φ (x)] f (x) dλ(x) = {x : φ(x)<φ (x)} Jeśli φ(x) > φ (x), to φ(x) > 0. Zatem f (x) tf 0 (x). Stąd A t [φ(x) φ (x)] f 0 (x) dλ(x). {x : φ(x)>φ (x)} [φ(x) φ (x)] f (x) dλ(x) = A+B.

Marek Beśka, Statystyka matematycza, wykład 8 0 Podobie, jeśli φ(x) < φ (x), to φ(x) <. Zatem f (x) tf 0 (x). Stąd B t [φ(x) φ (x)] f 0 (x) dλ(x). {x : φ(x)<φ (x)} Ostateczie, więc otrzymujemy E θ φ(x) E θ φ (X) = A + B t X [φ(x) φ (x)] f 0 (x) dλ(x) = t[e θ0 φ(x) E θ0 φ (X)] = t[α E θ0 φ (X)] 0. Zatem test φ jest co ajmiej tak mocy jak test φ i dowód dostateczości został zakończoy. (iii) Niech φ będzie testem hipotezy (8.2) o rozmiarze α spełiającym waruek (8.4). Z puktu (ii) mamy E θ φ (X) = E θ φ(x). Rozważmy zbiór C = {x X : φ (x) φ(x) f (x) tf 0 (x)}. Dla dowodu wystarczy wykazać, że λ(c) = 0. Zauważmy, że (8.5) [φ (x) φ(x)][f (x) tf 0 (x)] > 0 dla x C. Załóżmy, że λ(c) > 0. Wtedy z (8.5) mamy [φ (x) φ(x)][f (x) tf 0 (x)] dλ(x) = Ale wtedy 0 = X co daje sprzeczość. C X [φ (x) φ(x)][f (x) tf 0 (x)] dλ(x) > 0. [φ (x) φ(x)]f (x) dλ(x) > t [φ (x) φ(x)]f 0 (x) dλ(x) 0 X Wiosek 8. Załóżmy, że spełioe są założeia lematu Neymaa-Pearsoa. Jeśli β jest mocą ajmociejszego testu (8.2) a poziomie istotości α (0, ), to β > α chyba, że µ θ0 = µ θ. Dowód. Rozważmy test φ α. Jest to test a poziomie istotości α i moc tego testu jest rówa α, więc z założeia β α. Przypuśćmy, że β = α. Wtedy test φ jest testem ajmociejszym, więc z lematu Neymaa-Pearsoa musi spełiać waruek (8.4). Poieważ α (0, ), więc dla pewego t mamy f = tf 0, λ - p.w. Ale f i f 0 są gęstościami, stąd t =. Zatem µ θ0 = µ θ.

Marek Beśka, Statystyka matematycza, wykład 8 Przykład 8.2 Rzucamy osiem razy moetą iesymetryczą z prawdopodobieństwem wyrzuceie orzełka w jede próbie rówym θ (0, ). Korzystając z lematu Neymaa- Pearsoa zbudujemy ajmociejszy test dla testowaia hipotezy ( H 0 θ = ) ( H a θ = 2 ) 2 3 a poziomie istotości α = 0, 05. Korzystają ze wzoru a rozkład dwumiaowy otrzymujemy gęstości: ( ) 8 ( ) x ( f 0 (x) = ) ( ) 8 x 8 ( ) 8, = x = 0,,..., 8. x 2 2 x 2 oraz f (x) = ( ) 8 (2 x ( ) 8 x, x = 0,,..., 8. x 3) 3 Wartości powyższych gęstości zebrao w tabelce poiżej Z powyższej tabelki widzimy, że x f 0 (x) f (x) f (x)/f 0 (x) 0 0,00390625 0,0005246 0,039084 0,0325 0,00243865 0,0780369 2 0,09375 0,070706 0,56074 3 0,2875 0,0682823 0,3248 4 0,273438 0,70706 0,624295 5 0,2875 0,27329,24859 6 0,09375 0,27329 2,4978 7 0,0325 0,56074 4,99436 8 0,00390625 0,039084 9,98872 f (x) > 3 x > 6. f 0 (x) Zatem korzystając z lematu Neymaa-Pearsoa test iezradomizoway a poziomie istotości α = 0, 05 ma postać { dla x > 6, φ(x) = 0 dla x 6. Jego rozmiar wyosi E θ0 φ = 0, 00390625 + 0, 0325 = 0, 0355625, a moc tego testu jest rówa β φ (θ ) = 0, 039084 + 0, 56074 = 0, 950924. Test zradomizoway o rozmiarze

Marek Beśka, Statystyka matematycza, wykład 8 2 0, 05 będzie miał postać dla x > 6, φ(x) = 9/40 dla x = 6, 0 dla x < 6. Jego moc wyosi β φ (θ ) = 0, 950924 + 9 40 0, 27329 = 0, 23256. Jest o zgodie z lematem Neymaa-Pearsoa testem ajmociejszym. Przykład 8.3 Niech X = (X,..., X ) będzie próbą z rozkładu ormalego N(m, σ 2 ), gdzie σ > 0 jest zae. Zbudujemy test ajmociejszy a poziomie istotości α (0, ) dla testowaie hipotezy Zauważmy, że Podobie f 0 (x) = f (x) = H 0 (m = θ 0 ) H a (m = θ ), gdzie θ > θ 0. [ (σ 2π) exp 2σ 2 [ (σ 2π) exp 2σ 2 (x i θ 0 ) 2], x = (x,..., x ) IR. (x i θ ) 2], x = (x,..., x ) IR. Na mocy lematu Neymaa-Pearsoa obszar krytyczy dla ajmociejszego testu ma postać Zauważmy, że W = f (x) [ f 0 (x) t exp 2σ 2 { x IR : f (x) f 0 (x) t }. (x i θ ) 2 + 2σ 2 (x i θ 0 ) 2] t x(θ θ 0 ) 2 (θ2 θ 2 0) t x t. Zatem dla wyzaczeia obszaru krytyczego wystarczy zaleźć takie t aby µ θ0 {x : x t } = α. Zauważmy, że { µ θ0 x : x θ 0 } u α = α, σ gdzie u α jest kwatylem rzędu α stadardowego rozkładu ormalego N(0, ). Stąd { µ θ0 x : x σ } u α + θ 0 = α.

Marek Beśka, Statystyka matematycza, wykład 8 3 Zatem obszar krytyczy aszego testu ma postać (8.6) W = {x : x σ } u α + θ 0. Zbudoway test jest więc rówy (8.7) φ(x) = Jego moc wyosi {, x W, 0, x W. x IR. µ θ (W ) = µ θ { x : x σ u α + θ 0 } = { µ θ x : x θ } u α + σ σ (θ 0 θ ) = ( ) ( ) Φ u α + σ (θ 0 θ ) = Φ u α + σ (θ θ 0 ). Na koiec zauważmy, że otrzymay test (8.7) z obszarem krytyczym (8.6) jest rówież jedostajie ajmociejszym testem a poziomie istotości α (0, ) do testowaia hipotezy H 0 (m = θ 0 ) H a (m > θ 0 ). 8.4 Test Kołmogorowa Niech cecha X posiada ciągłą dystrybuatę F X, która jest iezaa. Zadaie polega a zweryfikowaiu hipotezy (prostej) Rozważmy statystykę Kołmogorowa H 0 (F X = F ) H a (F X F ). D = sup F (u; X) F (u), u R gdzie X = (X,..., X ) jest próbą losową prostą. Jak wiadomo D 0, P p.w, więc duże wartości tej statystyki będą przeczyły testowaej hipotezie H 0. poziomie istotości α (0, ) zbiór krytyczy będzie miał postać gdzie d (α) jest tak dobrae, że W = d (α),, P {D > d (α)} = α. Na daym Okazuje się, że wartość krytyczą d (α) możemy dokładaie wyzaczyć, bo rozkład statystyki Kołmogorowa D, gdy prawdziwa jest hipoteza zerowa H 0 ie zależy od postaci dystrybuaty F. Dokładiej mamy astępujące twierdzeie

Marek Beśka, Statystyka matematycza, wykład 8 4 Twierdzeie 8.4 Jeśli hipoteza zerowa H 0 jest prawdziwa, to rozkład statystyki Kołmogorowa ie zależy od postaci dystrybuaty F. Dowód. Korzystając własości uogólioej dystrybuaty odwrotej oraz z twierdzeia.7 otrzymujemy { } P {D > d (α)} = P F (x; X) F (x) > d (α) = { P { P sup 0<t< sup x R { P sup x R } I (,x] (X i ) F (x) > d (α) = } I (, F (t)](x i ) F (F (t)) > d (α) = sup 0<t< } I (, t] (U i ) t) > d (α), gdzie U i, i =, 2,..., są iezależe i mają rozkład jedostajy a (0, ), bo P {X i F (t)} = P {X i < F (t)} = P {F (X i ) < t} = P {F (X i ) t} i przyjmujemy U i = F (X i ), i =, 2,...,. Zauważmy, że aby obliczyć wartość statystyki Kołmogorowa D a próbce, wystarczy zauważyć, że występujący w D kres góry realizuje się w jedym z puktów skoku dystrybuaty empiryczej. W praktyczych zastosowaiach postępuje się astępująco: (i) porządkujemy próbkę x = (x, x 2,..., x ) iemalejąco (ii) Obliczamy x () x (2) x (). D = max F (x (i) ) i oraz D + = max i i i F (x (i)). (iii) Obliczamy D = max{d, D + }. (iv) Z tablic kwatyli rozkładu Kołmogorowa odczytujemy wartość krytyczą.

Marek Beśka, Statystyka matematycza, wykład 8 5 Przykład 8.5 Wyikami obserwacji są 0, 87, 0, 56,, 37, 0, 8, 2, 46. Na poziomie istotości α = 0, 05 chcemy testem Kołmogorowa zweryfikować hipotezę, że próbka została pobraa z populacji w której badaa cecha ma stadardoway rozkład wykładiczy tj. o dystrybuacie F (x) = ( e x ) I (0, ), x IR (jest to asza hipoteza zerowa H 0 ). Porządkujemy próbkę Dalsze obliczeia zebraliśmy w tabelce 0, 8, 0, 56, 0, 87,, 37, 2, 46. i x (i) i/ F (x (i) ) (i )/ i F (x (i)) F (x(i) ) i 0,8 0,2 0,647 0 0,0353 0,647 2 0,56 0,4 0,4288 0,2 0,0288 0,2288 3 0,87 0,6 0,580 0,4 0,090 0,80 4,37 0,8 0,7456 0,6 0,0544 0,456 5 2,46 0,945 0,8 0,0855 0,45 Z tabelki odczytujemy D + = 0, 0855 i D = 0, 2288. Zatem D = max{d, D + } = 0, 2288. Z tablic kwatyli rozkładu Kołmogorowa odczytujemy d (α) = d 5 (0, 05) = 0, 563. Zbiór krytyczy jest więc postaci W = 0, 563,. Mamy więc D W. Zatem a poziomie istotości α = 0, 05 próbka ie przeczy hipotezie zerowej H 0 8.5 Test χ 2 - Pearsoa Zakładamy, że cecha X ma dowoly rozkład. Testujemy hipotezę H 0 (F X = F ) H a (F X F ). Hipoteza zerowa musi być hipotezą prostą, liczość próbki 00. Dzielmy prostą IR a k przedziałów (klas) postaci (a i, a i+ dla i = 0,,... k 2 oraz (a k, a k ),

Marek Beśka, Statystyka matematycza, wykład 8 6 gdzie a 0 = i a k = +. Przez i ozaczmy ilość elemetów próbki x i, które wpadą do i-tej klasy tj. do przedziału (a i, a i, gdy i =,..., k lub (a k, a k ), gdy i = k. Wielkości i azywamy liczościami doświadczalymi. Odpowiadają im liczości teoretycze tj. p i, gdzie p i = F (a i ) F (a i ). Poadto wymaga się aby p i 5, i =,... k. Gdy w jakieś klasie tak ie jest to łączymy tą klasę z sąsiedią. Zauważmy, że p i =. Statystyką testową jest tzw. statystyka Pearsoa postaci χ 2 = (N i p i ) 2 p i, gdzie wektor losowy N = (N, N 2,..., N k ) spełia waruek oraz posiada rozkład wielomiaowy tz. N i = P {(N, N 2,..., N k ) = (, 2,... k )} =!! 2! k! (p ) (p 2 ) 2 (p k ) k. Wartość statystyki Pearsoa a próbce x z której i elemetów wpadło do i - tej klasy, i =, 2,..., k wyosi χ 2 obl = ( i p i ) 2 2 i =. p i p i Zachdzi astępujące twierdzeie Pearsoa z 900 roku Twierdzeie 8.6 (Pearso) Jeśli hipoteza zerowa H 0 jest prawdziwa, to statystyka Pearsoa χ 2 (N i p i ) 2 = p i ma przy rozkład graiczy (w słabej zbieżości), którym jest rozkład chi-kwadrat o k stopiach swobody. Dowód. Ozaczmy Y i = N i p i pi, i =, 2,..., k.

Marek Beśka, Statystyka matematycza, wykład 8 7 Zauważmy, że χ 2 = Y 2 i oraz Y i pi = 0. Obliczmy fukcję charakterystyczą wektora losowego Y = (Y, Y 2,..., Y k ) w pukcie t = (t, t 2,..., t k ). Mamy ( ϕ Y (t) = E exp i t, Y = E exp i ( exp i ( t j pj )E exp i ) ( t j Y j = E exp i t ) j N j pj t j N j p j pj ) = Zauważmy, ( że ostati czyik jest fukcją charakterystyczą wektora losowego N w pukcie t p t, p2 2 t,..., pk k ). Poieważ, 2,..., k 0 + 2 + + k =, 2,..., k 0 + 2 + + k = więc ostateczie Stąd ( ϕ N (t) = E exp i t, N = E exp i ( exp i ) t j N j = )! t j j! 2! k! (p ) (p 2 ) 2 (p k ) k =!! 2! k! (eit p ) (e it 2 p 2 ) 2 (e it k p k ) k = ( ϕ Y (t) = exp i )( t j pj p j exp it ) j. pj [ ( lim ϕ Y(t) = lim exp i Rozwijając fukcję exp w szereg otrzymujemy lim ( ), e it j p j t j pj )( p j exp it )] j. pj lim ϕ Y(t) = [( i k t j p j ( k t j p j ) 2 +o 2 ( )) ( p j + it j pj t2 j 2p j +o( ))] =

Marek Beśka, Statystyka matematycza, wykład 8 8 [( lim i gdzie t j pj ( 2 [ lim + 2 ( t j pj ) 2+o ( t j pj ) 2 2 ))( + i t j pj 2 ( ))] t 2 j + o = { exp [ ( t 2 ) 2 ]} ( j t j pj = exp ) 2 2 At, t, A = p p p 2 p p 3 p 2 p p 2 p 2 p 3 p p k p 2 p k p k p p k p 2 p k p 3 p k ( ))] t 2 j+o = jest macierzą symetryczą i ieujemie określoą. Wykazaliśmy, że graiczy rozkład jest rozkładem ormalym tj. jego charakterystycza dla t = (t,..., t k ) IR k ma postać { ϕ(t) = exp [ ( t 2 ) 2 ]} ( j t j pj = exp ) 2 2 At, t. Niech W = (W, W 2,..., W k ) będzie wektorem losowym takim, że ϕ W = ϕ. Wtedy możemy apisać, że (8.8) Y = (Y, Y 2,..., Y k ) Niech U będzie macierzą ortogoalą taką, że U T = D W = (W, W 2,..., W k ). p p2 p3 pk oraz iech X = U T W. Wtedy ϕ X (x) = E exp i x, X = E exp i x, U T W = E exp i Ux, W = ( exp ) 2 AUx, Ux.

Marek Beśka, Statystyka matematycza, wykład 8 9 Podstawiając t = Ux dostajemy ( ϕ X (x) = exp ) { 2 At, t = exp [ ( t 2 ) 2 j t j pj ]}. 2 Z własości macierzy ortogoalych mamy Zatem Stąd t 2 = x 2 tj. t 2 + t 2 2 + + t 2 k = x2 + x 2 2 + + x 2 k. ( t 2 + t 2 2 + + t 2 k = x2 + x 2 2 + + x 2 k + ) 2 t j pj ( t 2 k ) 2 t j pj = x 2 + x 2 2 + + x 2 k. [ ϕ X (x) = exp 2 ( k x 2 j Tak więc rozkład wektora losowego X jest stadardowym rozkładem a IR k, a stąd zmiea losowa X 2 ma rozkład chi-kwadrat o k stopiach swobody. Poieważ W 2 = X 2, więc W 2 ma rówież rozkład chi-kwadrat o k stopiach swobody. Stąd i z (8.8) dostajemy (N i p i ) 2 = Y 2 D p i W 2. Zatem rozkładem graiczym (w słabej zbieżości) statystyki Pearsoa jest rozkład chikwadrat o k stopiach swobody. Przy założeiu prawdziwości hipotezy zerowej duże wartości statystyki testowej a próbce przeczą hipotezie zerowej. Jeśli α jest poziomem istotości testu, to zbiór krytyczy W ma postać W = χ 2 k, α, ), gdzie χ2 k, α jest kwatylem rozkładu chi-kwadrat o k stopiach swobody rzędu α. Jeśli χ 2 obl W, to odrzucamy hipotezę zerową, w przeciwym przypadku mówimy, że a poziomie istotości α próbka ie przeczy hipotezie zerowej. Przykład 8.7 Z populacji w której badaa cecha X ma iezaą dystrybuatę F pobrao próbkę o liczości = 200. Otrzymae wyiki pogrupowao w 0 rówych klas, które przedstawioo w tabelce. )].

Marek Beśka, Statystyka matematycza, wykład 8 20 Lp. klasy i p i ( i p i ) 2 ( i p i ) 2 /p i (45; 45, 5 23 20 9 0,45 2 (45, 5; 46 9 20 0,05 3 (46; 46, 5 25 20 25,25 4 (46, 5; 47 8 20 4 0,20 5 (47; 47, 5 7 20 9 0,45 6 (47, 5; 48 24 20 6 0,80 7 (48; 48, 5 6 20 6 0,80 8 (48, 5; 49 22 20 4 0,20 9 (49; 49, 5 20 20 0 0,00 0 (49, 5; 50) 6 20 6 0,80 Na poziomie istotości α = 0, 05 zweryfikować hipotezę, że cecha X ma rozkład jedostajy a przedziale (45, 50). Naszą hipotezą zerową jest hipoteza mówiąca, że cecha ma rozkład jedostajy a przedziale (45, 50). Hipotezą alteratywą jest, że rozkład cechy X jest róży od tego rozkładu. Mamy = 200 oraz k = 0. Obliczamy p i = I j 5 dx = 5 I j = 5 2 =, j =, 2,..., 0, 0 gdzie I j = (45 + (j )/2; 45 + j/2, j =, 2,..., 0. Sumując ostatią kolumę w tabeli powyżej dostajemy wartość statystyki Pearsoa a daej próbce; χ 2 obl = 5. Z tablic rozkładu chi-kwadrat zajdujemy kwatyl χ 2 9;0,95 = 6, 99. Zatem zbiór krytyczy ma postać W = 6, 99, + ). Poieważ χ 2 obl W, więc próbka ie przeczy aszej hipotezie. Przykład 8.8 Rzucoa = 20 razy kostką do gry i otrzymao wyiki i 2 3 4 5 6 i 4 5 27 3 22 29 Na poziomie istotości α = 0, 05 zweryfikować hipotezę, że kostka jest symetrycza i jedoroda. Jest to asza hipoteza zerowa. Hipoteza alteratywa jest zaprzeczeiem hipotezy zerowej. Dokoujemy obliczeia statystyki testowej a próbce. Mamy = 20, k = 6 oraz przy prawdziwości hipotezy zerowej p i = /6, i =, 2,..., 6. Obliczeia zebrao w tabelce poiżej.

Marek Beśka, Statystyka matematycza, wykład 8 2 i i p i ( i p i ) 2 ( i p i ) 2 /p i 4 20 36,80 2 5 20 25,25 3 27 20 49 2,45 4 3 20 49 2,45 5 22 20 4 0,20 6 29 20 8 4,05 Wartość statystyki a próbce jest sumą liczb z ostatiej kolumy w tabelce powyżej i wyosi oa χ 2 obl = 2, 2. W celu wyzaczeia zbioru krytyczego zajdujemy w tablicach kwatyl rozkładu chi-kwadrat o 5 stopiach swobody rzędu 0, 95 i wyosi o χ 2 5;0,95 =, 070. Zatem zbior krytyczy ma postać W =, 070, + ). Poieważ χ 2 obl W, więc a poziomie istotości α = 0, 05 odrzucamy hipotezę zerową. Zauważmy, że gdy przyjmiemy poziom istotości testu α = 0, 0, to χ 2 5;0,99 = 5, 09, więc zbiór krytyczy W = 5, 09, + ) i χ 2 obl W. Zatem a poziomie istotości α = 0, 0 próbka ie przeczy hipotezie zerowej. 8.6 Porówywaie średich (aaliza wariacji) Rozważmy astępujący problem. Na podstawie k iezależych prób (k > 2) X,, X,2,..., X, X 2,, X 2,2,..., X 2,2,,,,,, X k,, X k,2,..., X k,k pochodzacych z k populacji w których cecha X miała odpowiedio rozkłady ormale N(m, σ 2 ), N(m 2, σ 2 ),..., N(m k, σ 2 ) chcemy zweryfikować hipotezę zerową H 0 (m = m 2 =... m k ). Hipotezą alteratywą jest zaprzeczeie hipotezy zerowej. W zgadieiach praktyczych problem taki pojawia się, gdy weryfikujemy hipotezę, że rozmiar jakiegoś wyróżioego czyika ie ma wpływu a poziom badaego zjawiska. Niech X i = i i X i,j, i =, 2,..., k. Gdyby hipoteza H 0 była prawdziwa, wszystkie średie X i, i =, 2,..., k byłyby miej więcej takie same. Za statystykę testową przyjmuje się statystykę która byłaby w jakimś

Marek Beśka, Statystyka matematycza, wykład 8 22 sesie miarą zróżicowaia tych średich p. (8.9) (X i X) 2, gdzie X jest średią ważoą wszystkich średich X i, i =, 2,..., k lub iaczej średią ze wszystkich k prób tj. X = i X i = i X i,j, gdzie = i. Gdy = 2 = = k, to X = k X i. Za wyborem statystyki (8.9) jako statystyki testowej przemawia to, że jest to pewa forma kwadratowa z próby, a więc jej rozkład powiie być rozkładem typu chi-kwadrat, co ułatwiłoby operowaie tą statystyką. Podstawą teoretyczą dla kostrukcji odpowiediego testu jest astępujące twierdzeie. Twierdzeie 8.9 (Cochraa-Fishera) Niech Y = (Y,..., Y ) będzie wektorem losowym o rozkładzie ormalym N(0,I). Poadto iech dla i =, 2,..., k y T A i y = A i y, y, y IR będą formami kwadratowymi takimi, że rz(a i ) = i oraz y 2 = y, y = y T y = y T A i y, y IR. Wówczas zmiee losowe Y T A i Y, i =, 2,..., k są iezależe i mają rozkłady chi-kwadrat o i stopiach swobody odpowiedio wtedy i tylko wtedy, gdy i =. Dowód. (Koieczość). Jeśli zmiee losowe Y T A i Y, i =, 2,..., k sa iezależe i mają rozkłady chi-kwadrat o i stopiach swobody odpowiedio, to zmiea losowa Y T A i Y

Marek Beśka, Statystyka matematycza, wykład 8 23 ma rozkład chi-kwadrat o k i stopiach swobody. Z drugiej stroy zmiea losowa Y T Y = Y i 2 ma rozkład chi-kwadrat o stopiach swobody. Poieważ Y T Y = Y T A i Y, więc k i =. (Dostateczość). Załóżmy, że k i =. Z przedstawieia formy kwadratowej w postaci kaoiczej wyika, że istieją takie liczby b i,j, i, j =, 2,..., takie, że y T A i y = ε i, (b mi +,y + + b mi +,y ) 2 + + ε i,i (b mi,y + + b mi,y ) 2, i =, 2,..., k, gdzie y = (y,..., y ), ε j,i = ±, j i, m 0 = 0, m i = i j, i =, 2,..., k. Przyjmując B = [b i,j ] i,j możemy zapisać (8.0) y T y = y T A i y = y T B T DBy, y IR, gdzie D jest macierzą diagoalą mającą a przekatej wyrazy rówe ±. Stąd Poieważ więc B jest macierzą ieosobliwą. Zatem B T DB = I = det(b T )det(d)det(b), D = ( B T ) B = ( BB T ). Macierz BB T jest rzędu, jest dodatio określoa, więc wszystkie elemety przekątej macierzy D są rówe, czyli BB T = I. Stąd wyika, że B T B = I, więc macierz B jest macierzą ortogoalą. Zatem składowe losowego wektora V = BY

Marek Beśka, Statystyka matematycza, wykład 8 24 są iezależymi zmieymi losowymi o rozkładzie ormalym N(0,). Ale z kostrukcji (patrz (8.0)) wyika, że Y T A Y = V 2 + + V 2, Y T A 2 Y = V 2 + + + V 2 + 2,... =...,... =...,... =..., Y T A k Y = V 2 + + k + + + V 2 k, więc Y T A i Y dla i =, 2,..., k są iezależe i mają odpowiedio rozkłady chi-kwadrat o i stopiach swobody odpowiedio. Wykorzystamy teraz to twierdzeie do kostrukcji odpowiediego testu dla rozważaego przez as problemu porówywaia k średich. Ozaczmy Y i,j = X i,j m i, j =, 2,..., i, i =, 2,..., k, σ Y = (Y,,..., Y,,..., Y k,,..., Y k,k ), Y i = i Y = i Y i,j, i =, 2,..., k, i Y i = i Y i,j. Oczywiście wektor losowy Y ma rozkład ormaly N(0, I). Sumę kwadratów współrzędych wektora losowego Y T Y zapiszemy w postaci 2 Y T Y = i Yi,j 2 = (Y i,j Y i + Y i Y + Y ) 2 = i (Y i,j Y i ) 2 + i (Y i,j Y i )(Y i Y ) + 2 i (Y i Y ) 2 + Y 2 + i (Y i,j Y i )Y + 2 Zauważmy, że sumy mieszaych iloczyów są rówe zero, zatem (8.) Y T Y = i (Y i,j Y i ) 2 + i (Y i Y )Y. i (Y i Y ) 2 + Y 2.

Marek Beśka, Statystyka matematycza, wykład 8 25 Wyzaczymy macierz A i taką aby i i (Y i,j Y i ) 2 = Y 2 i,j i Y 2 i = Y T A i Y. Ze wzoru powyżej wiadać, że macierz A i składa się z samych zer oprócz elemetów zajdujących się w wierszach od + 2 + + i + do wiersza + 2 + + i i w kolumach od + 2 + + i + do kolumy + 2 + + i. Elemety macierzy A i zajdujące się w wyżej wymieioych wierszach i kolumach tworzą podmacierz postaci i i i i i i i i i i i Obliczmy rząd tej macierzy (możemy pomożyć ją przez i, co ie zmiei jej rzędu). i i rz(a i ) = rz = i. i i Dodając kolumy od drugiej do ostatiej do pierwszej kolumy, a astępie wiersze od 2 do ostatiego do pierwszego wiersza otrzymujemy dalej 0 0 0 0 0 i 0 i rz = 0 i rz i i i i i ( i ) ( i ) =

Marek Beśka, Statystyka matematycza, wykład 8 26 Odejmując pierwszy wiersz do pozostałych, a astepie kolumy od drugiej do ostatiej dodajemy do pierwszej mamy rz i i i 0 0 i 0 0 i Wyzaczymy teraz macierz A taką aby Zauważmy, że = rz i (Y i Y ) 2 = Y T AY. 0 i 0 0 0 0 0 i = i. i (Y i Y ) 2 = i Y 2 i 2 i Y i Y + i Y 2 = i Y 2 i Y 2 = i j,l= i Y i,j Y i,l i m m= l= Y i,j Y m,l. Stąd macierz A jest różicą dwóch macierzy (pierwsza jest macierzą blokową) A = C 0 0 0 0 C 2 0 0 0 0 0 C k gdzie w pierwszej macierzy macierz C i, i =, 2,..., k jest macierzą wymiaru i i i jej elemetami są liczby i. Obliczymy rząd macierzy A. Po skreśleiu idetyczych wierszy i kolum otrzymujemy 2 rz(a) = rz = k k k,

Marek Beśka, Statystyka matematycza, wykład 8 27 Pomożymy macierz A przez 2 rz = k Odejmujemy pierwszy wiersz od pozostałych, astępie możymy i - tą kolumę przez i dla i =, 2,..., k 2 0 0 rz 0 0 k = rz 2 3 k 0 0 0 0 Dodajemy kolumy od drugiej do ostatiej do pierwszej kolumy 0 2 3 k 0 0 0 rz = k. 0 0 0 = Forma kwadratowa Y 2 ma oczywiście rząd. Ostateczie więc forma kwadratowa Y T Y jest sumą k form kwadratowych rzędu i dla i =, 2,..., k plus jedej rzędu k i jedej rzędu. Poieważ ( i ) + k + =, więc z twierdzeia Cochraa-Fishera wioskujemy, że zmiee losowe i (Y i,j Y i ) 2, i =, 2,..., k, i (Y i Y ) 2 i Y 2 są iezależymi zmieymi losowymi mającymi rozkłady chi-kwadrat z liczbą stopi swobody rówą ich rzędom. Przejdziemy teraz kostrukcji testu w celu zweryfikowaia aszej hipotezy zerowej H 0 (m = m 2 =... m k ).

Marek Beśka, Statystyka matematycza, wykład 8 28 Załóżmy, że hipoteza zerowa jest prawdziwa tz. m = m 2 =... m k. Wtedy dla i =, 2,..., k mamy oraz Y i = i Y = Zatem i Y i,j = i i Y i,j = i i σ 2 X i,j m i σ X i,j m i σ = i i = i (X i X) 2 = X i,j σ i m i σ = X i σ m i σ = X i σ m σ X i,j σ i (Y i Y ) 2 i m i σ ma rozkład chi-kwadrat o k stopiach swobody. Jeśli σ 2 jest zae, to (8.2) σ 2 i (X i X) 2 = X σ m σ. jest statystyką z próby (czyli aszą statystyką testową). Duże wartości tej statystyki świadczą przeciwko weryfikowaej hipotezie H 0. Dla daego poziomu istotości α wartość krytyczą zajdujemy z tablic rozkładu chi-kwadrat. Zbiór krytyczy ma postać W = χ 2 k ; α, + ), gdzie χ 2 k ; α jest kwatylem z rozkładu chi-kwadrat o k stopiach swobody rzędu α. Jeśli wariacja σ 2 ie jest zaa to zmiea losowa (8.2) ie jest statystyką z próby. Zauważmy, że i i σ 2 (X i,j X i ) 2 = (Y i,j Y i ) 2 jest zmieą losową o rozkładzie chi-kwadrat o k stopiach swobody i iezależą od (8.2), więc statystyka (przy założeiu prawdziwości hipotezy H 0 ) F k, k = k σ 2 i(x i X) 2 k σ 2 k i (X i,j X i ) 2 k ie zależy od σ 2 i ma rozkład F-Sedecora o (k, k) stopiach swobody. Jeśli α jest poziomem istotości testu, to zbiór krytyczy W ma postać W = F k, k; α, + ),

Marek Beśka, Statystyka matematycza, wykład 8 29 gdzie F k, k; α jest kwatylem rzędu α rozkładu F-Sedecora o (k, k) stopiach swobody. Opisaa procedura testowa jest pewym szczególym przypadkiem procedur rozważaych w tzw. aalizie wariacji (ANOVA Table). Nazwa pochodzi stąd, że przy założeiu prawdziwości hipotezy H 0 wariacja empirycza wszystkich obserwacji {X i,j : j i, i k} zostaje rozłożoa a sumę wariacji wewątrzpróbkowej i wariacji międzypróbkowej i (X i,j X i ) 2 i (X i X) 2. Rzeczywiście, ze wzoru (8.) dostajemy (8.3) S 2 Y := YT Y Y 2 = Poadto i (Y i,j Y i ) 2 + i (Y i Y ) 2. S 2 Y = i Y 2 i,j Y 2 = i X 2 i,j 2X i,jm + m 2 σ 2 ( X σ m ) 2 = σ i X 2 i,j σ 2 2 X σ 2 m + m2 σ 2 ( X 2 σ 2 2 X σ 2 m + m2 σ 2 ) = Stąd z (8.3) i z tego, że i X 2 i,j σ 2 X2 σ 2 = S2 X σ 2. i (Y i,j Y i ) 2 = i σ 2 (X i,j X i ) 2 i i (Y i Y ) 2 = σ 2 i (X i X) 2 dostajemy S 2 X = i (X i,j X i ) 2 + i (X i X) 2. Z tego puktu widzeia skostruoway test może być iterpretoway w astępujący sposób: Hipoteza H 0 o rówości średiach zostaje odrzucoa, gdy wariacja międzypróbkowa jest duża a tle wariacji wewątrzpróbkowej.

Marek Beśka, Statystyka matematycza, wykład 8 30 Uwaga. W przypadku, gdy k = 2 stosujemy test oparty o statystykę testową t = X X 2, S 2+ 2S2 2 + 2 2 + 2 2 która przy założeiu prawdziwości hipotezy zerowej H 0 (m = m 2 ) ma rozkład t-studeta o + 2 2 stopiach swobody (patrz zadaie z ćwiczeń). Niech α będzie poziomem istotości testu. Postać zbioru krytyczego zależy od hipotezy alteratywej. Jeśli H a (m < m 2 ), to W = (, t + 2 2, α, gdzie t + 2 2, α jest kwatylem rzędu α rozkładu t-studeta o + 2 2 stopiach swobody. Jeśli H a (m > m 2 ), to Gdy atomiast H a (m m 2 ), to W = t + 2 2, α, + ). W = (, t + 2 2, α/2 t + 2 2, α/2, + ), gdzie t + 2 2, α/2 jest kwatylem rzędu α/2 rozkładu t-studeta o + 2 2 stopiach swobody.