Weryfikacja hipotez statystycznych, parametryczne testy istotności w populacji

Transkrypt

1 Weryfikacja hipotez statystycznych, parametryczne testy istotności w populacji Dr Joanna Banaś Zakład Badań Systemowych Instytut Sztucznej Inteligencji i Metod Matematycznych Wydział Informatyki Politechniki Szczecińskiej

2 3. Weryfikacja hipotez statystycznych Cel weryfikacji hipotez statystycznych ustalenie, czy estymacja parametrów populacji (lub jej rozkładu) uzyskana na podstawie próbki jest do przyjęcia Działanie porównanie wyników otrzymanych z próbki z założeniami teoretycznymi porównanie wyników otrzymanych z dwóch próbek Określamy przy tym, czy porównywane wyniki różnią się w sposób istotny, czy przypadkowy Podstawowe pojęcia hipoteza statystyczna test statystyczny

3 Podstawowe pojęcia Hipoteza statystyczna dowolne przypuszczenie o nieznanym rozkładzie badanej cechy populacji, o prawdziwości lub fałszywości którego wnioskuje się w oparciu o pobraną próbkę Hipoteza nieparametryczna przypuszczenie dotyczy postaci rozkładu cechy populacji Hipoteza parametryczna przypuszczenie dotyczy wartości parametrów rozkładu cechy populacji Test statystyczny reguła postępowania, która każdej możliwej realizacji próby (x 1,, x n ) przyporządkowuje (z ustalonym prawdopodobieństwem) decyzję przyjęcia albo odrzucenia sprawdzanej hipotezy Test parametryczny dotyczy hipotezy parametrycznej Test nieparametryczny (test zgodności) dotyczy hipotezy nieparametrycznej

4 Elementy testu statystycznego X badana cecha populacji H pewna hipoteza statystyczna, dotycząca rozkładu cechy X, zwana hipotezą zerową H 1 hipoteza alternatywna, którą będziemy skłonni przyjąć, gdyby H okazała się fałszywa Statystyka testowa albo sprawdzian statystyka U n = U n (X 1,, X n ), dobrana jako miernik rozbieżności między wynikami próby a postacią hipotetyczną Obszar krytyczny przedział liczbowy K, do którego prawie na pewno nie powinna należećżadna realizacja statystyki U n, jeśli H jest prawdziwa

5 Błędy przy podejmowaniu decyzji Dla próbki (x 1,, x n ) wartości cechy X obliczamy u n = U n (X 1,, X n ) i podejmujemy jedną z decyzji: odrzucamy H i przyjmujemy H 1, jeśli u n K przyjmujemy H i odrzucamy H 1, jeśli u n K Przy weryfikacji hipotezy w oparciu o wyniki próbki można popełnić dwa rodzaje błędów: błąd pierwszego rodzaju odrzucenie hipotezy H, gdy jest ona prawdziwa (prawdopodobieństwo popełnienia tego błędu nazywamy poziomem istotności i oznaczamy przez ) (3.1) = P (U n K / H ) błąd drugiego rodzaju przyjęcie hipotezy H, gdy jest ona fałszywa (prawdopodobieństwo popełnienia oznaczamy przez β) (3.) β = P (U n K / H 1 ) = 1 P (U n K / H 1 )

6 Błędy przy podejmowaniu decyzji Tablica 3.1. Decyzje słuszne i błędy przy podejmowaniu decyzji Decyzja Sytuacja H prawdziwa H fałszywa Przyjęcie H Odrzucenie H decyzja słuszna 1 błąd 1-go rodzaju decyzja słuszna 1 β Dla ustalonego (,1) bliskiego zera, obszar krytyczny K dobiera się tak, aby β było możliwie najmniejsze (wówczas test jest najmocniejszy) Ponieważ najczęściej β jest dość duże, albo nie jest znane, zamiast wysoce ryzykownej decyzji przyjmujemy H podejmujemy ostrożniejszą: nie ma podstaw do odrzucenia H Testy istotności testy, w których nie uwzględnia się błędu -go rodzaju błąd -go rodzaju β

7 4. Parametryczne testy istotności w populacji (4.1) Wartość oczekiwana (średnia) Model 1 (rozkład normalny, znana wariancja) X zmienna losowa o rozkładzie normalnym N(m,σ), wartość oczekiwana m = EX nie jest znana, wariancja σ = D X jest znana Statystyka X m U = n σ ma rozkład N(,1) przy założeniu prawdziwości hipotezy zerowej H : m = m Dla przykładu pokażemy konstrukcję obszaru krytycznego dla hipotezy alternatywnej H 1 : m > m

8 wartości średniej model 1 Dla ustalonego (,1) mamy = P (U K / m = m ) Obszar krytyczny K dobiera się tak, aby β było możliwie najmniejsze, tzn. P (U K / H 1 ) było największe Ponieważ H 1 : m > m, więc = P (U k) = 1 P (U < k) = 1 Φ(k) dla pewnego k Stąd Φ(k) = 1 Oznacza to, że k jest kwantylem rzędu 1 i będziemy go oznaczać przez u(1 ) W rezultacie 1.1 K = u(1 ); ) Dla pozostałych hipotez obszary krytyczne buduje się analogicznie f ( x) N(,1) Rys.4.1. Gęstość rozkładu N(,1) k

9 wartości średniej model 1 Tablica 4.1. Tablica testu dla średniej model 1 Hipoteza zerowa alternatywna Statystyka testowa U Obszar krytyczny K Uwagi H 1 : m m ( ; u(1 ) u(1 ); ) u(1 ) 1.1 N(,1) u(1 ) H : m = m H 1 : m < m X m n σ ( ; u(1 ).1 u(1 ) = u( ) 1 N(,1) H 1 : m > m u(1 ); ) 1.1 N(,1) u(1 )

10 wartości średniej model 1 Przykład (do modelu 1) Norma przewiduje, że waga produkowanego wyrobu powinna wynosić 5 dag Wysunięto przypuszczenie, że producent zawyża wagę wyrobów Aby potwierdzić przypuszczenie wylosowano 16 wyrobów, dla których średnia waga wynosiła 51 dag Wiadomo, że odchylenie standardowe wynosi 1.1 dag Waga wyrobów ma rozkład normalny Na poziomie istotności.5 zweryfikować hipotezę, że waga wyrobów według normy i waga rzeczywista są równe wobec hipotezy alternatywnej, że są różne

11 wartości średniej model Model (rozkład normalny, parametry nieznane) X zmienna losowa o rozkładzie normalnym N(m,σ), parametry m i σ nie są znane Statystyka X m t = n 1 S ma rozkład Studenta z n 1 stopniami swobody przy założeniu, że prawdziwa jest hipoteza zerowa H : m = m Ponieważ funkcja gęstości rozkładu Studenta ma podobne własności jak krzywa Gaussa, obszary krytyczne dla hipotez alternatywnych H 1 : m m, H 1 : m < m oraz H 1 : m > m buduje się podobnie jak w modelu 1

12 wartości średniej model Tablica 4.. Tablica testu dla średniej model Hipoteza zerowa alternatywna Statystyka testowa t Obszar krytyczny K Uwagi H 1 : m m ( ; t(1, n 1) t(1, n 1); ) 1.1 t(1, n 1) t(1, n 1) t H : m = m H 1 : m < m X m n S 1 ( ; t(1, n 1).1 t(1, n 1) 1 t H 1 : m > m t(1, n 1); ) 1.1 t t(1, n 1)

13 wartości średniej model Przykład (do modelu ) Norma przewiduje, że średni czas potrzebny na wykonanie pewnego detalu wynosi 1.5 h Robotnicy skarżą się, że czas ten jest zbyt krótki Aby sprawdzić zasadność skargi, zmierzono faktyczny czas produkcji 17 losowo wybranych detali i otrzymano wartość średniej z próbki 1.6 h, a odchylenia standardowego. h Zakładamy, że czas potrzebny do wykonania detalu jest zmienną losową o rozkładzie normalnym Na poziomie istotności.5 stwierdzić, czy uzyskane wyniki stanowią podstawę do zwiększenia normy

14 wartości średniej model 3 Model 3 (rozkład nieznany, duża próba n 1 ) X zmienna losowa o nieznanym rozkładzie, istnieją wartość oczekiwana EX = m i wariancja σ = D X > Jeśli próba jest duża ( n 1 ), to statystyka X m U = n σ ma w przybliżeniu rozkład normalny N(,1), a nieznaną wartość parametru σ możemy oszacować za pomocą estymatora S, gdzie n ( ) 1 S = n X 1 i X i= W rezultacie do weryfikacji hipotez stosujemy statystykę X m U = n S przy założeniu, że prawdziwa jest hipoteza zerowa H : m = m Obszary krytyczne dla hipotez alternatywnych H 1 : m m, H 1 : m < m oraz H 1 : m > m wyznaczamy tak samo jak w modelu 1

15 wariancji model 1 (4.) Wariancja (lub odchylenie standardowe) Model 1 (rozkład normalny, parametry nieznane) X zmienna losowa o rozkładzie normalnym N(m,σ), parametry m i σ nie są znane Statystyka ns χ = σ ma rozkład χ z n 1 stopniami swobody przy założeniu, że prawdziwa jest hipoteza zerowa H : σ = σ ( lub H : σ = σ )

16 wariancji model 1 Tablica 4.3. Tablica testu dla wariancji model 1 Hipoteza zerowa alternatywna Statystyka testowa χ Obszar krytyczny K Uwagi H : σ = σ H 1 : σ σ H 1 : σ < σ ns σ χ ; (, n 1) χ n (1, 1); ) ; χ (, n 1) f ( x) 1 χ χ (, n 1) χ (1, n 1) x f ( x) χ 1 χ (, n 1) x f ( x) χ H 1 : σ > σ χ (1, n 1); ) 1 χ (1, n 1) x

17 wariancji model 1 Przykład (do modelu 1) Dokonano 1 pomiarów pewnej wielkości Otrzymano odchylenie standardowe z próbki 1.5 W teorii pomiarów zakładamy, że wynik pomiaru jest zmienną losową o rozkładzie normalnym N(m,σ), zaś odchylenie standardowe jest miarą dokładności pomiarów Zweryfikować hipotezę H : σ = 1. wobec hipotezy alternatywnej H 1 : σ > 1. na poziomie istotności.5

18 wariancji model Model (rozkład normalny, duża próba n 5 ) X zmienna losowa o rozkładzie normalnym N(m,σ), parametry m i σ nie są znane Jeśli próba jest duża ( n 5 ), to statystyka U = χ n 3 ma w przybliżeniu rozkład normalny N(,1), przy założeniu, że prawdziwa jest hipoteza zerowa H : σ = σ ( lub H : σ = σ ) Obszary krytyczne dla hipotez alternatywnych H 1 : σ σ, H 1 : σ < σ oraz H 1 : σ > σ wyznaczamy tak samo jak w modelu 1 dla średniej

19 wariancji model 3 Model 3 (rozkład nieznany, duża próba n 1 ) X zmienna losowa o rozkładzie normalnym N(m,σ), parametry m i σ nie są znane Jeśli próba jest duża ( n 1 ), to statystyka U Sˆ = σ σ ma w przybliżeniu rozkład normalny N(,1), przy założeniu, że prawdziwa jest hipoteza zerowa H : σ = σ ( lub H : σ = σ ) Obszary krytyczne dla hipotez alternatywnych H 1 : σ σ, H 1 : σ < σ oraz H 1 : σ > σ wyznaczamy tak samo jak w modelu 1 dla średniej n

20 wariancji Przykład Wylosowano robotników pewnego zakładu Zbadano stopień wykonania normy [%] Wyniki przedstawiono w szeregu rozdzielczym Stopień wykonania normy [%] Liczba pracowników Na poziomie istotności.5 zweryfikować hipotezę, że odchylenie standardowe stopnia wykonania normy jest równe 1 % wobec hipotezy alternatywnej, że jest mniejsze od 1 %

21 Weryfikacja hipotezy o wskaźniku struktury (4.3) Wskaźnik struktury Model (rozkład -1, parametr p nieznany, duża próba n 1 ) X zmienna losowa o rozkładzie -1, parametr p nie jest znany Jeśli próba jest duża ( n 1 ), to statystyka U = p M n p gdzie M jest zmienną losową, której wartości są liczbami wyróżnionych elementów w n-elementowej próbce, ma rozkład w przybliżeniu normalny N(,1), przy założeniu, że prawdziwa jest hipoteza zerowa H : p = p Obszary krytyczne dla hipotez alternatywnych (1 p ) n H 1 : p p, H 1 : p < p oraz H 1 : p > p wyznaczamy tak samo jak w modelu 1 dla średniej

22 Weryfikacja hipotezy o wskaźniku struktury Przykład Zbadano pacjentów pewnego szpitala 8 % miało grupę krwi AB 5 % pacjentów z grupą krwi AB miało czynnik RH Na poziomie istotności.1 zweryfikować hipotezę, ze odsetek osób o grupie krwi AB RH wynosi 3 % wobec alternatywnej, że jest mniejszy niż 3 %

23 Dziękuję za uwagę