Prawdopodobieństwo i statystyka

Transkrypt

1 Wykład XI: Testowanie hipotez statystycznych 12 stycznia 2015

2 Przykład Motywacja X 1, X 2,..., X N N (µ, σ 2 ), Y 1, Y 2,..., Y M N (ν, δ 2 ). Chcemy sprawdzić, czy µ = ν i σ 2 = δ 2, czyli że w obu populacjach badana cecha ma ten sam rozkład. Nie interesują nas konkretne wartości parametrów, a jedynie ich identyczność! Jednak prawdopodobieństwo, że X N = ȲM oraz S 2,X N = S 2,Y M wynosi zero. Dane empiryczne na ogół sugerują więc, że rozkłady są różne. Pytanie: jak zweryfikować empirycznie hipotezę wobec hipotezy alternatywnej H 0 : µ = ν, σ 2 = δ 2 H 1 : µ ν lub σ 2 δ 2.

3 Niech będzie dany model statystyczny (X, B, {P θ } θ Θ ). Hipoteza: niepusty podzbiór H 0 Θ. Hipoteza prosta: podzbiór jednoelementowy H 0 = {θ 0 } Θ. Hipoteza złożona: podzbiór wieloelementowy Θ. Hipoteza alternatywna wobec hipotezy H 0 : podzbiór H 1 Θ \ H 0. Test hipotezy H 0 wobec hipotezy alternatywnej H 1 : statystyka φ : (X, B) [0, 1], na podstawie której podejmujemy następujące decyzje: przyjmujemy hipotezę H 0 gdy φ(x) = 0, odrzucamy hipotezę H 0 na rzecz H 1, gdy φ(x) = 1. Dla wartości φ(x) (0, 1) możemy określić dalsze procedury, np. randomizację.

4 Przykład: Jak konstruować test? X 1, X 2,..., X N N (µ, σ 2 ), Y 1, Y 2,..., Y M N (ν, σ 2 ). σ 2 - znane! X N ȲM N (µ ν, σ 2 (1/N + 1/M)). Ustalmy poziom istotności α (0, 1) (bliski zeru, np. 0,01). Rozważmy obszar krytyczny K = { X N Ȳ M > σ 1 N + 1 M Φ 1( 1 α ) }. 2 Jeżeli µ = ν (hipoteza H 0!), to P µ,ν (K) = α. Jeżeli µ ν (hipoteza H 1!), to P µ,ν (K c ) jest małe dla dużych N i M. W pełni intuicyjny jest więc test { 0, jeśli x K c, φ(x) = 1, jeśli x K.

5 Porównywanie średnich - cd. A jak porównywać średnie, gdy nie znamy wariancji? Założenie: wariancje w obu populacjach są te same. Rozważmy statystykę: X N ȲM Nj=1 (X j X N ) 2 + M k=1 (Y k ȲM) 2 MN(M + N 2). M + N Prz założeniu µ = ν, ma ona rozkład t-studenta o M + N 2 stopniach swobody. Rozkładem t-studenta o k stopniach swobody nazywamy rozkład zmiennej losowej T = Z 0 Z Z Z 2 k k, gdzie Z 0, Z 1,... Z k są niezależne o rozkładzie N (0, 1).

6 Jeżeli test φ przyjmuje tylko wartości 0 i 1 (test niezrandomizowany), to zbiór K φ = {x X : φ(x) = 1} nazywamy zbiorem (lub obszarem) krytycznym testu. Mówimy, że test φ hipotezy H 0 ma poziom istotności α (0, 1), jeśli E θ φ α, θ H 0. Jeżeli test φ hipotezy H 0 jest niezrandomizowany, to E θ φ = P θ (K φ ) jest prawdopodobieństwem (względem P θ ) odrzucenia hipotezy H 0, a poziom istotności testu narzuca pułap dla prawdopodobieństwa błędu pierwszego rodzaju, tzn. odrzucenia hipotezy H 0, gdy jest ona prawdziwa. W praktyce α = 0, 01 lub 0, 05.

7 Niech φ będzie testem hipotezy H 0 wobec hipotezy alternatywnej H 1. Funkcja H 1 θ 1 E θ φ określa prawdopodobieństwo błędu drugiego rodzaju, tj. nieodrzucenia hipotezy H 0, gdy jest ona fałszywa (gdy zachodzi hipoteza alternatywna H 1 ). Funkcję H 1 θ E θ φ nazywamy mocą testu φ (lub funkcją mocy testu).

8 Niech φ i ψ będą testami na poziomie istotności α. Mówimy, że test φ jest równie mocny co test ψ, jeśli dla każdego θ H 1 E θ φ E θ ψ. Test φ jest mocniejszy niż test ψ, gdy jest równie mocny co ψ i ponadto dla pewnego θ 1 H 1 E θ1 φ > E θ1 ψ. Test φ hipotezy H 0, na poziomie istotności α, wobec hipotezy H 1, jest jednostajnie najmocniejszy, gdy jest równie mocny co wszystkie inne testy na poziomie istotności α.

9 Lemat Neymana-Pearsona Przykład Konkluzje Podstawowy lemat Neymana-Pearsona Twierdzenie (zwane Lematem Neymana-Pearsona) Niech P 0 i P 1 będą rozkładami prawdopodobieństwa na (X, B), zadawanymi przez gęstości prawdopodobieństwa p 0 (x) i p 1 (x) względem pewnej miary µ na (X, B). Ustalmy α (0, 1). Istnieje test hipotezy prostej H 0 = {P 0 } wobec prostej hipotezy alternatywnej H 1 = {P 1 }, który jest jednostajnie najmocniejszy na poziomie istotności α. Każdy test φ hipotezy H 0 wobec H 1, który jest jednostajnie najmocniejszy na poziomie istotności α, spełnia dla pewnego t warunek { 1, gdy p1 (x) > tp 0 (x), φ(x) = 0, gdy p 1 (x) < tp 0 (x).

10 Lemat Neymana-Pearsona Przykład Konkluzje Przykład (za R. Zielińskim Siedem wykładów... ) Niech X = N. Rozważmy hipotezę prostą H 0 = {B(10; 0, 1)} (rozkład dwumianowy: liczba sukcesów 10, p-stwo sukcesu 0, 01) przeciw hipotezie prostej H 1 = {Po(1)} (rozkład Poissona z parametrem 1). x B(10; 0, 1) Po(1) Po(1) B(10;0,1) 0 0,3468 0, , , , , , , , , , , , , , , , , , , , , , , , ,

11 Lemat Neymana-Pearsona Przykład Konkluzje Przykład (za R. Zielińskim Siedem wykładów... ) - cd. obszar krytyczny K P H0 (K) P H1 (K) {x : x 8} 0, ,00001 {x : x 7} 0, ,00008 {x : x 6} 0, ,00059 {x : x 5} 0, ,00366 {x : x 4} 0, ,01899 {x : x 3} 0, ,08030 Test niezrandomizowany na poziomie istotności α = 0, 05: { 1, gdy x 4 φ(x) = 0, gdy x < 4. Rozmiar testu E PH0 φ = P H0 {x : x 4} = 0,

12 Lemat Neymana-Pearsona Przykład Konkluzje Przykład (za R. Zielińskim Siedem wykładów... ) - cd. Jeśli γ = 0, 6482, to P H0 {x : x 4} + γp H0 {x : x = 3} = 0, 05. Test zrandomizowany na poziomie istotności α = 0, 05 1, gdy x 4 φ(x) = 0, 6482 gdy x = 3 0, gdy x 2. ma również rozmiar 0, 05. Jaka jest moc tego testu? Tylko 0, 05873! Interpretacja: prawdopodobieństwo nieodrzucenia weryfikowanej hipotezy H 0 = {B(10; 0, 1)}, gdy prawdziwa jest hipoteza alternatywna H 1 = {Po(1)}, wynosi 0,94127.

13 Konkluzje Motywacja Lemat Neymana-Pearsona Przykład Konkluzje W przypadku hipotez złożonych teorię Neymana-Pearsona można przenieść na tzw. modele z monotonicznym ilorazem wiarogodności. Teoria porównywania testów ma ograniczone znaczenie praktyczne. Mimo braku ogólnych rozstrzygnięć, poziom istotności i moc testu są ważnymi parametrami oceny jakości testu.