Testowanie hipotez Niech X = (X 1... X n ) będzie próbą losową na przestrzeni X zaś P = {P θ θ Θ} rodziną rozkładów prawdopodobieństwa określonych na przestrzeni próby X. Definicja 1. Hipotezą zerową Θ 0 Θ nazywamy hipotezę której prawdziwość chcemy zweryfikować na podstawie obserwacji. Hipoteza alternatywna jest postaci Θ 1 = Θ\Θ 0. Hipoteza prosta zawiera jeden element np. H 0 : θ = hipoteza złożona zawiera więcej niż jeden element np. H 0 : θ > 4. Definicja. Obszar krytyczny testu jest to obszar odrzucenia hipotezy zerowej. Najczęściej ma on postać K = {X : T (X) > c} c jest poziomem krytycznym testu wyznaczonym przez kwantyl rozkładu z jakiego pochodzi statystyka testowa przy założeniu prawdziwości hipotezy zerowej (zależy on od przyjętego poziomu istotności testu). Definicja 3. Test można identyfikować z jego obszarem krytycznym K lub funkcją krytyczną ϕ : X {0 1} postaci { 1 gdy X K ϕ(x) = 1 K (X) = 0 gdy X / K Definicja 4. Prawdopodobieństwo błędu pierwszego rodzaju to prawdopodobieństwo odrzucenia hipotezy zerowej gdy jest ona prawdziwa: α I (θ) = P θ (X K) θ Θ 0. Definicja 5. Prawdopodobieństwo błędu drugiego rodzaju to prawdopodobieństwo przyjęcia hipotezy zerowej gdy jest ona fałszywa: α II (θ) = P θ (X K c ) = 1 P θ (X K) θ Θ 1. Definicja 6. Funkcją mocy testu nazywamy β : Θ [0 1] postaci β(θ) = P θ (X K) = E θ ϕ(x). Z reguły bada się moc testu na alternatywie czyli θ = θ 1. Definicja 7. Test o funkcji krytycznej ϕ (o obszarze krytycznym K) jest testem na poziomie istotności α (0 1) jeżeli θ Θ0 E θ ϕ(x) = P θ (X K) = β(θ) α. Definicja 8. Rozmiarem testu o funkcji krytycznej ϕ (obszarze krytycznym K) nazywamy wielkość β = sup E θ ϕ(x) = sup β(θ). θ Θ 0 θ Θ 0 Definicja 9. Test ϕ (K ) na poziomie istotności α jest testem jednostajnie najmocniejszym (JNM) w klasie testów Φ (K) na poziomie α jeżeli ϕ Φ θ Θ1 β (θ) β(θ). 1
Twierdzenie (podstawowy lemat Neymana-Pearsona) Niech P 0 i P 1 będą rozkładami prawdopodobieństwa i niech f 0 i f 1 będą gęstościami tych rozkładów (względem pewnej ustalonej miary µ). Niech α (0 1) będzie ustaloną liczbą. (a) (istnienie testu) Istnieją stałe c i γ > 0 takie że 1 gdy f 1 (x) > cf 0 (x) ϕ(x) = γ gdy f 1 (x) = cf 0 (x) 0 gdy f 1 (x) < tf 0 (x) jest testem hipotezy H 0 : P 0 przeciwko H 1 : P 1 na poziomie istotności α tzn. E 0 ϕ(x) = α. (1) (b) (dostateczność) Jeżeli test ϕ spełnia warunek (1) i dla pewnego c warunek { 1 gdy f1 (x) > cf ϕ(x) = 0 (x) 0 gdy f 1 (x) < tf 0 (x) to ϕ jest testem najmocniejszym dla testowania H 0 przeciwko H 1 na poziomie istotności α. (c) (konieczność) Jeżeli φ jest testem najmocniejszym na poziomie istotności α dla testowania H 0 przeciwko H 1 to dla pewnego c spełnia on warunek (). Podsumowując test statystyczny składa się z: 1. Hipotezy zerowej H 0 i hipotezy alternatywnej H 1. Statystyki testowej T (X) 3. Obszaru krytycznego K. 4. Poziomu istotności α Decyzja: jeżeli T (X) K to odrzucamy hipotezę H 0 jeżeli T (X) / K to nie mamy podstaw do odrzucenia hipotezy zerowej. Definicja 10. P-wartość (p-value) to graniczny poziom istotności - najmniejszy przy którym zaobserwowana wartość statystyki testowej prowadzi do odrzucenia hipotezy zerowej. Jest to więc taki poziom istotności przy którym zmienia się decyzja testu (zaczynając od lewej - od małego poziomu α kiedy to nie mamy podstaw do odrzucenia H 0 po przekroczeniu p-wartości zaczynamy odrzucać H 0 ). P-wartość pozwala bezpośrednio ocenić wiarygodność hipotezy. Im p-wartość jest większa tym bardziej hipoteza H 0 jest prawdziwa. Mała p-wartość świadczy przeciwko hipotezie zerowej. Znajomość p-wartości pozwala przeprowadzić testowanie dla dowolnego poziomu istotności: -odrzucamy hipotezę zerową H 0 gdy p-wartość α -nie mamy podstaw do odrzucenia hipotezy zerowej H 0 gdy p-wartość > α. ()
Test Chi-kwadrat zgodności nr klasy 1 3 4 5... liczebności empiryczne n 1 n n 3 n 4 n 5... H 0 : X F H 1 : X F F jest dowolnym rozkładem prawdopodobieństwa. χ = k (n i n t i) k - liczba klas n i - liczebności empiryczne (zaobserwowane) n t i = n p t i - liczebności teoretyczne p t i = P F (Xprzyjeła wartosc z klasy i) - prawdopodobieństwa teoretyczne. n t i Przy założeniu prawdziwości hipotezy zerowej statystyka χ ma rozkład chi-kwadrat z (k r 1) stopniami swobody (r jest liczbą nieznanych parametrów hipotetycznego rozkładu F ). K = (F 1 χ k 1(1 α) + ) F 1 χ k 1(1 α) jest kwantylem rzędu 1 α rozkładu chi-kwadrat z (k r 1) stopniami swobody. Test Chi-kwadrat niezależności Tablica kontyngencji: Cecha 1 Cecha 1... k 1 n 11 n 1... n 1k n 1 n... n 3............... r n r1 n r... n rk H 0 : X Y są niezależne vs H 1 : X Y są zależne 3
χ = k j=1 r (n ij n t ij) k - liczba kolumn w tablicy kontyngencji r - liczba wierszy w tablicy kontyngencji n ij - liczebności empiryczne (zaobserwowane) n t ij - liczebności teoretyczne dane wzorem n t ij n = k r n ij. j=1 n t ij = k n ij j=1 n r n ij Przy założeniu prawdziwości hipotezy zerowej statystyka χ ma rozkład chi-kwadrat z (k 1)(r 1) stopniami swobody. K = (F 1 χ (k 1)(r 1)(1 α) + ) F 1 χ k 1(1 α) jest kwantylem rzędu 1 α rozkładu chi-kwadrat z (k r 1) stopniami swobody. Test Kołmogorowa Test Kołmogorowa testuje zgodność z rozkładem F dla jednej próby (Test Kołmogorowa - Smirnowa dla dwóch prób testuje zgodność rozkładów w obu próbach). H 0 : X F H 1 : X F F jest ciągłym rozkładem prawdopodobieństwa. 1. n 100 { { D n = sup F (x) F n (x) = max max F (X x R 1 i n i:n) i 1 }} n i n F (X i:n) 4
K = (F 1 D n (1 α) 1] F 1 D n (1 α) jest kwantylem rzędu 1 α rozkładu statystyki Kołmogorowa (D n ).. n > 100 ndn K = (λ 1 α + ) λ 1 α jest kwantylem rzędu 1 α granicznego rozkładu statystyki Kołmogorowa ( nd n ). Jest to test normalności rozkładu. Test Shapiro-Wilka H 0 : X N H 1 : X N stałe a i są dane wzorem W = ( n ) a i x i:n n (x i x) (a 1... a n ) = m V 1 m V 1 V 1 m m = (m 1... m n ) są wartościami oczekiwanymi statystyk pozycyjnych z pochodzących z próby iid z rozkładu standardowego normalnego a V jest ich macierzą kowariancji (stablicowane). K = (W n (1 α) + ) W n (1 α) jest kwantylem rzędu 1 α rozkładu statystyki Shapiro-Wilka W. 5
Test t-studenta Jest to test parametryczny dla jednej lub dwóch prób polegający na testowaniu równości wartości oczekiwanych (test istotności). Zakładamy że pomiary podlegają rozkładowi normalnemu oraz że wariancje w próbach nie różnią się od siebie istotnie. 1. Test t dla jednej próby s X = 1 H 0 : µ = µ 0 H 1 : µ > µ 0 (3) µ < µ 0 (4) µ µ 0 (5) T = n X µ 0 s X n (X i X) to próbkowe odchylenie standardowe. Statystyka testowa T ma rozkład t-studenta o (n 1) stopniach swobody. Zależy od postaci hipotezy alternatywnej w następujący sposób: K 1 = (Ft 1 (1 α) + ) K = ( Ft 1 (1 α)) K 3 = ( Ft 1 (1 α 1 )) (F t (1 α ) + ) Ft 1 (a) to kwantyl rzędu a rozkładu t-studenta z (n 1) stopniami swobody. Jeżeli wariancja rozkładu jest znana wówczas s X zastępujemy przez odchylenie standardowe rozkładu zaś Ft 1 (a) zastępujemy przez Φ 1 (a).. Test t dla dwóch prób niezależnych S X1 X = H 0 : µ 1 = µ H 1 : µ 1 µ T = X 1 X S X1 X ( (n 1 1)s 1 + (n 1)s 1 + 1 ) n 1 + n n 1 n s 1 s to nieznane odchylenia standardowe z próbek zaś n 1 n to liczebności próbek. Statystyka testowa T ma rozkład t-studenta o (n 1 + n ) stopniach swobody. 6
K = ( Ft 1 (1 α 1 n1 +n )) (F t (1 α n1 +n ) + ) 3. Test dla dwóch prób zależnych H 0 : µ 1 = µ H 1 : µ 1 µ T = d = 1 n d S d n d i d i = x 1i x i i = 1... n S d = 1 n (d i n 1 d) zaś x 1i x i oznaczają wartości cechy X dla i-tego obiektu w pierwszym i drugim badaniu. Statystyka testowa T ma rozkład t-studenta o (n 1) stopniach swobody. K = ( Ft 1 (1 α 1 )) (Ft (1 α ) + ) UWAGA: Gdy liczebność próby jest duża (n > 30 n 1 + n > 30) to kwantyl rozkładu t-studenta zastępujemy przez kwantyl rozkładu standardowego normalnego (Ft 1 n Φ). 7