WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 9 i 10 - Weryfikacja hipotez statystycznych

WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 9 i 10 - Weryfikacja hipotez statystycznych Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 1 / 30

TESTOWANIE HIPOTEZ STATYSTYCZNYCH Piękna teoria zniszczona przez złośliwy wstrętny fakcik T. H. Huxley Hipotezą statystyczną nazywamy dowolne przypuszczenie dotyczące rozkładu prawdopodobieństwa obserwowanej zmiennej losowej lub charakterystyki tegoż rozkładu, o prawdziwości którego wnioskujemy na podstawie zaobserwowanych wartości tej zmiennej losowej. Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 2 / 30

HIPOTEZA STATYSTYCZNA - PRZYKŁADY 1 Czas życia pewnego elementu X Ex(θ) Obserwujemy X 1, X 2,..., X n i.i.d. Ex(θ), θ > 0 - nieznane H 0 : EX = 1 θ = 100 2 Pomiary i ich dokładność obserwujemy X 1, X 2,..., X n i.i.d. N(µ, σ 2 ), µ, σ nieznane H 0 : σ 1 3 θ - prawdopodobieństwo spłaty kredytu przez klienta obserwujemy X 1, X 2,..., X n i.i.d. bin(1, θ), θ (0, 1) nieznane H 0 : θ 0.8 4 Porównania, µ i - średni plon z ha przy i-tej metodzie nawożenia Obserwujemy: X i,1, X i,2,..., X i,n i.i.d. o EX = µ i, i = 1, 2 H 0 : µ 1 = µ 2 5 Wielkość roszczenia Obserwujemy: X 1, X 2,..., X n wielkości roszczeń dla losowo wybranych klientów H 0 : X Wykładniczy Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 3 / 30

Podział hipotez Hipoteza prosta - wyznacza dokładnie jeden rozkład (1) Hipoteza złożona - wyznacza rodzinę rozkładów (2,3,4,5) Hipoteza parametryczna - dotyczy parametrów rozkładu (1,2,3,4) Hipoteza nieparametryczna - dotyczy postaci rozkładu (5) Z hipotezą H 0 często wiążemy jeszcze drugą hipotezę nazywaną hipotezą alternatywną (kontr hipotezą) H 1, jest to hipoteza, którą jesteśmy skłonni akceptować po odrzuceniu hipotezy H 0. Hipotezę H 0 nazywamy też hipotezą zerową. Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 4 / 30

Alternatywa - PRZYKŁADY 1 Czas życia pewnego elementu X Ex(θ) Obserwujemy X 1, X 2,..., X n i.i.d. Ex(θ), θ > 0 - nieznane H 0 : EX = 1 θ = 100 H 1 : EX 100 2 Pomiary i ich dokładność obserwujemy X 1, X 2,..., X n i.i.d. N(µ, σ 2 ), µ, σ nieznane H 0 : σ 1 H 1 : σ > 1 3 θ - prawdopodobieństwo spłaty kredytu przez klienta obserwujemy X 1, X 2,..., X n i.i.d. bin(1, θ), θ (0, 1) nieznane H 0 : θ 0.8 H 1 : θ < 0.8 4 Porównania, µ i - średni plon z ha przy i-tej metodzie nawożenia Obserwujemy: X i,1, X i,2,..., X i,n i.i.d. o EX = µ i, i = 1, 2 H 0 : µ 1 = µ 2 H 1 : µ 1 > µ 2 5 5 Wielkość roszczenia Obserwujemy: X 1, X 2,..., X n wielkości roszczeń dla losowo wybranych klientów H 0 : X Wykładniczy H 1 : X Gamma Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 5 / 30

Test statystyczny Testem statystycznym nazywamy metodę postępowania, która każdej wartości obserwowanej zmiennej losowej przyporządkowuje jedna z dwóch decyzji: odrzucić hipotezę H 0 (na korzyść H 1 ), nie ma podstaw do odrzucenia hipotezy H 0. Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 6 / 30

Test statystyczny, opis matematyczny X P θ, θ Θ, Θ 0, Θ 1 Θ i Θ 0 Θ 1 = H 0 : θ Θ 0 (hipoteza zerowa) H 1 : θ Θ 1 (alternatywa) X = K A K - zbiór krytyczny, zbiór wyników, przy których odrzucamy H 0 ; A - zbiór afirmacji, zbiór wyników, przy których nie odrzucamy H 0. UWAGI: Jeśli mamy podany zbiór K to mamy podany test statystyczny Najczęściej test ma postać: K = {T (x) > c} co oznacza odrzuć H 0, gdy obliczona wartość funkcji T (x) jest większa niż c. Funkcję T nazywamy statystyką testową, a stałą c wartością krytyczną. Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 7 / 30

Test statystyczny - PRZYKŁAD 1 Chcemy sprawdzić, czy moneta jest symetryczna. W tym celu rzucamy monetą 400 razy. Niech X oznacza liczbę orłów. X bin(400, p) p (0, 1) - nieznane Hipotezy: H 0 : p = 1 2 H 1 : p 1 2 test: K = { X 200 > 19, 6} T = X 200 - statystyka testowa; 19,6 - wartość krytyczna DECYZJA: jeśli wypadnie liczba orłów 220 lub 180 odrzucamy H 0 Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 8 / 30

BŁĄD PIERWSZEGO I DRUGIEGO RODZAJU decyzja H 0 prawdziwa H 0 - fałszywa odrzucić H 0 błąd decyzja I rodzaju poprawna nie odrzucać H 0 decyzja błąd poprawna II rodzaju Mierniki błędów: P θ (K), θ Θ 0 - prawdopodobieństwo błędu I rodzaju P θ (A) = 1 P θ (K), θ Θ 1 - prawdopodobieństwo błędu II rodzaju P θ (K), θ Θ 1 - moc testu przy alternatywie θ Funkcja mocy testu β : Θ 1 [0, 1] β(θ) = P θ (K) Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 9 / 30

Błędy cd. Najlepszym testem byłby test, który minimalizuje prawdopodobieństwa popełnienia obu błędów jednocześnie. Taki test najczęściej nie istnieje, przy ustalonej liczebności próby losowej zmniejszanie prawdopodobieństwa błędu I rodzaju powoduje wzrost prawdopodobieństwa błędu II rodzaju i na odwrót. Rozmiar testu = sup θ Θ0 P θ (K) Test jest na poziomie istotności α, jeśli θ Θ 0 P θ (K) α α zwykle 0,01; 0,05; 0,1; rozmiar testu poziom istotności Poziom istotności α ustala statystyk, zabezpiecza się przed zbyt dużym prawdopodobieństwem błędu I rodzaju. przy zadanym α buduje się test tak, aby moc była jak największa, czyli prawdopodobieństwo błędu II rodzaju jak najmniejsze Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 10 / 30

PRZYKŁAD 1cd. Przy prawdziwości hipotezy H 0 mamy Z CTG ( X N (200, 400 1 ) 4 = P p= 1 2 ( X 200 10 jest to test na poziomie istotności 0,05. P p= 1 ( X 200 > 19, 6) 2 ) > 1, 96 = 2(1 Φ(1, 96)) = 0, 05 Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 11 / 30

ALGORYTM TESTOWANIA HIPOTEZY STATYSTYCZNEJ 1 określić model statystyczny (np. próba losowa X 1, X 2,..., X n pochodzi z rozkładu normalnego o nieznanej wartości oczekiwanej µ i wariancji σ 2 = 4) 2 postawić hipotezę zerową H 0 i alternatywę H 1 (np. H 0 : µ = 0, H 1 : µ 0); 3 przyjąć poziom istotności (np. α = 0, 05); 4 podać postać statystyki testowej T, obszaru krytycznego, wyznaczyć wartość krytyczną (postać statystyki T, zbioru K i wartości krytycznej zależy od obu hipotez i poziomu istotności α); 5 obliczyć wartość statystyki testowej dla danych wartości próby losowej; 6 podjąć decyzję: jeśli T (X 1, X 2,..., X n ) K - odrzucić H 0 jeśli T (X 1, X 2,..., X n ) / K - nie ma podstaw do odrzucenia H 0, czyli otrzymane dane nie dają wystarczających argumentów do odrzucenia H 0. Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 12 / 30

p-wartość (p-value) X P θ, θ Θ, H 0 : θ = θ 0, α poziom istotności Test K = {T (X ) > c α } Zaobserwowano x, niech t = T (x) p-wartość jest równa P θ0 (T (X ) > t), jest to prawdopodobieństwo błędu I-go rodzaju, gdyby przyjąć za wartość krytyczną uzyskaną wartość statystyki testowej Wnioskowanie: Jeśli p-wartość < α, to hipotezę H 0 odrzucamy. Jeśli p-wartość > α, to nie ma podstaw do odrzucenia H 0. Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 13 / 30

PORÓWNYWANIE TESTÓW - PRZYKŁAD X 1, X 2,..., X 25 i.i.d. N(µ, 1) H 0 : µ = 0 H 1 : µ 0 Porównaj moce testów o obszarach krytycznych K 1 = {5 X > t 1 } K 2 = { 5 X > t 2 } gdzie t 1 i t 2 dobrane tak, by testy były na poziomie istotności 0,05. Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 14 / 30

PRZYKŁAD cd Wykresy funkcji mocy testów Kolor czerwony test o obszarze krytycznym K2 Kolor niebieski - test o obszarze krytycznym K1 Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 15 / 30

PORÓWNYWANIE TESTÓW X P θ, θ Θ, gdzie Θ 0, Θ 1 Θ i Θ 0 Θ 1 = H 0 : θ Θ 0 H 1 : θ Θ 1 Test o obszarze krytycznym K 1 jest mocniejszy niż test o obszarze krytycznym K 2 (oba testy na poziomie istotności α) dla testowania hipotezy H 0 przy alternatywie H 1 i θ Θ 0 P θ (K 1 ) α i P θ (K 2 ) α θ Θ 1 P θ (K 1 ) P θ (K 2 ) oraz θ 1 Θ 1 P θ1 (K 1 ) > P θ1 (K 2 ). Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 16 / 30

Test jednostajnie najmocniejszy TJNM Test o obszarze krytycznym K nazywamy testem jednostajnie najmocniejszym (TJNM) dla testowania hipotezy H 0 : θ Θ 0 przy alternatywie H 1 : θ Θ 1 na poziomie istotności α jest to test na poziomie istotności α oraz K X speniajacego warunek P θ (K) α gdy θ Θ 0 zachodzi θ Θ 1 P θ (K ) P θ (K). Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 17 / 30

LEMAT NEYMANA-PEARSONA Niech X będzie obserwowaną zmienną losowa i P 0, P 1 dwoma rozkładami prawdopodobieństwa o gęstościach odpowiednio równych f 0 i f 1. Niech K = { x : f 1(x) f 0 (x) > c } i P 0 (K ) = α. Wtedy test o obszarze krytycznym K jest testem najmocniejszym dla testowania hipotezy H 0 : X P 0 przy alternatywie H 1 : X P 1 na poziomie istotności α. Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 18 / 30

Przykład - model normalny Hipoteza zerowa H 0 : µ = µ 0 Alternatywa H 1 : µ = µ 1 Założenie µ 0 < µ 1 Poziom istotności α Otrzymujemy test najmocniejszy { K = U = X µ 0 σ n > u1 α } Postać testu nie zależy od wyboru alternatywy byleby µ 1 > µ 0, zatem jest to TJNM dla H 0 : µ = µ 0 vs H 1 : µ > µ 0 Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 19 / 30

Przykład - model normalny, cd. X 1, X 2,..., X n próba losowa z rozkładu normalnego N(µ, σ 2 ), σ znane Hipoteza zerowa H 0 : µ = µ 0 Alternatywa H 1 : µ = µ 1 Założenie µ 0 > µ 1 Poziom istotności α Otrzymujemy test najmocniejszy { K = U = X µ 0 σ n < u1 α } Postać testu nie zależy od wyboru alternatywy byleby µ 1 < µ 0, zatem jest to TJNM dla H 0 : µ = µ 0 vs H 1 : µ < µ 0 Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 20 / 30

Przykład - model normalny, cd. X 1, X 2,..., X n próba losowa z rozkładu normalnego N(µ, σ 2 ), σ znane Hipoteza zerowa H 0 : µ = µ 0 Alternatywa H 1 : µ µ 0 Nie istnieje test jednostajnie najmocniejszy Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 21 / 30

TESTY OPARTE NA ILORAZIE WIAROGODNOŚCI X P θ, θ Θ, H 0 : θ Θ 0 H 1 : θ Θ 1 gdzie Θ 0, Θ 1 Θ i Θ 0 Θ 1 = i Θ 0 Θ 1 = Θ Definiujemy Λ 1 (X ) = sup θ Θ 1 L(θ, X ) sup θ Θ0 L(θ, X ) lub Λ(X ) = sup θ Θ L(θ, X ) sup θ Θ0 L(θ, X ) Test o obszarze krytycznym postaci K 1 = {x : Λ 1 (x) > λ 1 } lub K = {x : Λ(x) > λ}, gdzie λ 1, λ spełniają warunki θ Θ 0 P θ (K 1 ) α, θ Θ 0 P θ (K) α nazywamy testem opartym na ilorazie wiarogodności dla testowania hipotezy H 0 przy alternatywie H 1 na poziomie istotności α. Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 22 / 30

Testy oparte na ilorazie wiarogodności - interpretacja Porównujemy największą szansę otrzymania obserwacji X = x, gdy prawdziwa jest hipoteza alternatywna lub gdy nie mamy ograniczeń do największej szansy otrzymania obserwacji X = x, gdy prawdziwa jest hipoteza zerowa ; odrzucamy hipotezę zerową na rzecz alternatywnej, gdy ten stosunek jest bardzo niekorzystny dla hipotezy zerowej Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 23 / 30

TESTOWANIE HIPOTEZ - PORÓWNANIE Z NORMĄ Model I: porównanie wartości oczekiwanej z normą w modelu normalnym: testy jedno- i dwustronne, σ znane Model II: porównanie wartości oczekiwanej z normą w modelu normalnym: testy jedno- i dwustronne, σ nieznane Model II: porównanie wariancji z normą w modelu normalnym: testy jedno- i dwustronne Model III: porównanie wartości oczekiwanej z normą, duże próby, test asymptotyczny Model IV: porównanie wsp. struktury z normą, duże próby, test asymptotyczny Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 24 / 30

Model I. X 1, X 2,..., X n próba losowa z rozkładu normalnego N(µ, σ 2 ), σ znane Hipoteza zerowa H 0 : µ = µ 0 Poziom istotności α X - estymator parametru µ Statystyka testowa U = X µ 0 n σ Przy H 0 prawdziwej U N(0, 1) Alternatywa Zbiór krytyczny H 1 : µ µ 0 K 1 = { U > u 1 α } 2 H 2 : µ > µ 0 K 2 = { U > u 1 α } H 3 : µ < µ 0 K 3 = { U < u 1 α } Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 25 / 30

H 0 : µ = 500 vs H 1 : µ 500 wtedy u 0,975 = 1, 96 i 1, 55 < 1, 96 (p-value=0,12) H 0 : µ = 500 vs H 2 : µ > 500 wtedy u 0,95 = 1, 64 i 1, 55 < 1, 64 (p-value=0,94) H 0 : µ = 500 vs H 3 : µ < 500 wtedy u 0,05 = 1, 64 i 1, 55 > 1, 64 (p-value=0,06) W żadnym przypadku nie ma podstaw do odrzucenia H 0 dla α = 0, 05 (przy alternatywie H 3 decyzja ulegnie zmianie gdy np. α = 0, 1) Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 26 / 30 Przykład Kubuś Puchatek zważył 10 losowo wybranych słoików miodu firmy Polmiod i otrzymał wyniki: 487 494 504 509 495 488 502 487 496 489 Zakładamy, że jest to próbka losowa z rozkładu normalnego N(µ, 10 2 ). Czy µ = 500? X = 495, 1 i U emp = 1, 55, niech α = 0, 05

Model II, hipoteza o wartości oczekiwanej X 1, X 2,..., X n i.i.d. z rozkładu normalnego N(µ, σ 2 ), µ, σ nieznane Hipoteza zerowa H 0 : µ = µ 0, Poziom istotności α X - estymator parametru µ S 2 = 1 ni=1 n 1 (X i X ) 2 estymator parametru σ 2 Statystyka testowa Przy H 0 prawdziwej T t n 1 T = X µ 0 n S Alternatywa Zbiór krytyczny H 1 : µ µ 0 K 1 = { T > t(α, n 1) } H 2 : µ > µ 0 K 2 = { T > t(2α, n 1) } H 3 : µ < µ 0 K 3 = { T < t(2α, n 1) } Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 27 / 30

Model II, hipoteza o wariancji Hipoteza zerowa: H 0 : σ 2 = σ 2 0 Statystyka testowa: χ 2 (n 1)S 2 = Przy H 0 prawdziwej statystyka χ 2 ma rozkład chi-kwadrat z n 1 stopniami swobody σ 2 0 Alternatywa Zbiór krytyczny H 1 : σ 2 σ0 2 K 1 = { χ 2 < χ 2 ( 1 α 2, n 1) χ 2 > χ 2 ( α 2, n 1)} H 2 : σ 2 > σ0 2 K 2 = {χ 2 > χ 2 (α, n 1)} H 3 : σ 2 < σ0 2 K 3 = {χ 2 < χ 2 (1 α, n 1)} Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 28 / 30

Model III X 1, X 2,..., X n próba losowa z rozkładu o nieznanej wartości oczekiwanej EX i = µ i skończonej ale nieznanej wariancji. Zakładamy, że n duże (n 100) Hipoteza zerowa H 0 : µ = µ 0 Poziom istotności α X - estymator parametru µ S 2 = 1 ni=1 n 1 (X i X ) 2 estymator wariancji Statystyka testowa U = X µ 0 S n Przy hipotezie H 0 prawdziwej U ma asymptotyczny rozkład normalny, tzn U N(0, 1) przy n + Alternatywa Zbiór krytyczny H 1 : µ µ 0 K 1 = { U > u 1 α } 2 H 2 : µ > µ 0 K 2 = { U > u 1 α } H 3 : µ < µ 0 K 3 = { U < u 1 α } Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 29 / 30

Model IV Wykonujemy n niezależnych doświadczeń typu sukces - porażka, zakładamy że n duże X - liczba sukcesów w n doświadczeniach, X bin(n, p), p (0, 1) Hipoteza zerowa H 0 : p = p 0 Poziom istotności α ˆp = X n - estymator punktowy parametru p Statystyka testowa: U = ˆp p 0 n p0 (1 p 0 ) Przy prawdziwości hipotezy H 0 z CTG wynika, że U = ˆp p 0 n N(0, 1) gdy n + p0 (1 p 0 ) Alternatywa Zbiór krytyczny H 1 : p p 0 K 1 = { U > u 1 α } 2 H 2 : p > p 0 K 2 = { U > u 1 α } H 3 : p < p 0 K 3 = { U < u 1 α } Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 30 / 30