Weryfikacja hipotez statystycznych

Transkrypt

1 Weryfikacja hipotez statystycznych Przykład (wstępny). Producent twierdzi, że wadliwość produkcji wynosi 5%. My podejrzewamy, że rzeczywista wadliwość produkcji wynosi 15%. Pobieramy próbę stuelementową i zliczamy ilość X sztuk wadliwych. Model statystyczny {{0, 1,..., 100}, {B(100, θ), θ Θ = {0.05, 0.15}}} W Z Statmat 10.1

2 Jeżeli X k, to uznać θ = 0.05 Jeżeli X > k, to uznać θ = P 0.05 {X > k} P 0.15 {X k} W Z Statmat 10.2

3 Model statystyczny: (X, {P θ, θ Θ}) Hipoteza statystyczna: podzbiór Θ 0 zbioru Θ. Θ 0 nazywamy hipotezą zerową Θ 1 = Θ \ Θ 0 nazywamy hipotezą alternatywną Jeżeli zbiór Θ 0 jest jednoelementowy, to mówimy o hipotezie prostej, w przeciwnym przypadku mówimy o hipotezie złożonej. Zapis klasyczny H 0 : θ Θ 0 H 1 : θ Θ 1 W Z Statmat 10.3

4 Test statystyczny: procedura statystyczna, w wyniku której podejmujemy jedną z dwóch decyzji: odrzucić hipotezę zerową H 0 lub nie ma podstaw do odrzucenia hipotezy zerowej H 0. Formalnie: test hipotezy H 0 utożsamiamy z funkcją φ : X {0, 1} φ(x) = { 1 odrzucić H0 0 nie odrzucać H 0 Test zrandomizowany: funkcja φ : X [0, 1] = 1 odrzucić H 0 φ(x) (0, 1) na podstawie niezależnego od X mechanizmu losowego odrzucić H 0 z prawdopodobieństwem φ(x) = 0 nie odrzucać H 0 Obszar krytyczny: {x X : φ(x) = 1} W Z Statmat 10.4

5 Błąd I rodzaju: błąd polegający na odrzuceniu hipotezy zerowej H 0, gdy w rzeczywistości jest ona prawdziwa. Poziom istotności. Niech α (0, 1). Test φ jest na poziomie istotności α, jeżeli E θ φ(x) = P θ {φ(x) = 1} α, θ Θ 0 Rozmiar testu: sup E θ φ(x) = sup P θ {φ(x) = 1} θ Θ 0 θ Θ 0 Błąd II rodzaju: błąd polegający na nieodrzuceniu hipotezy zerowej H 0, gdy w rzeczywistości jest ona fałszywa. Moc testu: Θ 1 θ E θ φ(x) = P θ {φ(x) = 1} W Z Statmat 10.5

6 Twierdzenie 10.1 (lemat Neymana Pearsona) Niech P θ0 oraz P θ1 będą rozkładami prawdopodobieństwa o gęstościach f 0 i f 1. Niech α (0, 1) będzie ustaloną liczbą a. (Istnienie testu) Istnieją takie stałe t i γ, że 1, gdy f 1 (x) > tf 0 (x) φ(x) = γ, gdy f 1 (x) = tf 0 (x) 0, gdy f 1 (x) < tf 0 (x) jest testem hipotezy H 0 : θ = θ 0 przeciwko H 1 : θ = θ 1 na poziomie istotności α, tzn. ( ) E θ0 φ(x) = α b. (Dostateczność) Jeżeli test φ spełnia warunek ( ) i dla pewnego t warunek { 1, gdy f1 (x) > tf ( ) φ(x) = 0 (x) 0, gdy f 1 (x) < tf 0 (x) to φ jest testem najmocniejszym na poziomie istotności α c. (Konieczność) Jeżeli φ jest testem najmocniejszym na poziomie istotności α, to spełnia on warunek ( ) W Z Statmat 10.6

7 Przykład (Model dwumianowy). Niech θ 0 < θ 1 (0, 1). Model statystyczny {{0, 1,..., n}, {B(n, θ), θ Θ = {θ 0, θ 1 }}} H 0 : θ = θ 0 H 1 : θ = θ 1 ( ) n f 0 (x) = θ0 x (1 θ 0 ) n x x ( ) n f 1 (x) = θ1 x (1 θ 1 ) n x x Konstrukcja testu φ(x) φ(x) = 1 f 1(x) f 0 (x) > t Obszar krytyczny: {x > k} Stała k dobrana jest tak, że [ ] x [ ] n θ1 (1 θ 0 ) 1 θ0 > t θ 0 (1 θ 1 ) 1 θ 1 E θ0 φ(x) = P θ0 {X > k} α W Z Statmat 10.7

8 Niech n = 100, θ 0 = 0.05, θ 1 = 0.15, α = 0.05 k P 0.05 {x>k} P 0.05 {x=k} Test niezrandomizowany φ(x) = { 1, jeżeli x > 9, 0, jeżeli x 9. Rozmiar testu: P 0.05 {x > 9} = Błąd II rodzaju: P 0.15 {x 9} = Test zrandomizowany φ(x) = { 1, jeżeli x > 9, , jeżeli x = 9 0, jeżeli x < 9. Rozmiar testu P 0.05 {x > 9} P 0.05 {x = 9} = = W Z Statmat 10.8

9 Przykład. Niech a, b > 1. Model statystyczny {(0, 1), {U(0, 1), B(a, b)}} H 0 : U(0, 1) H 1 : B(a, b) f 0 (x) = 1 1 (0,1) (x) f 1 (x) x a 1 (1 x) b 1 1 (0,1) (x) Konstrukcja testu φ(x) φ(x) = 1 f 1(x) f 0 (x) > t xa 1 (1 x) b 1 > t Obszar krytyczny: {x 0 < x < x 1 } Liczby x 0, x 1 dobrane są tak, że E θ0 φ(x) = P U(0,1) {x 0 < X < x 1 } α W Z Statmat 10.9

10 x a 1 0 (1 x 0 ) b 1 = x a 1 1 (1 x 1 ) b 1 Ponieważ x 1 = x 0 + α, więc [ ] a 1 [ ] b 1 x0 + α 1 x0 α = 1 x 0 1 x 0 a b x 0 x W Z Statmat 10.10

11 Model statystyczny: Hipotezy złożone (X, {P θ, θ Θ}) H 0 i/lub H 1 złożone Iloraz wiarogodności H 0 : θ Θ 0 H 1 : θ Θ 1 λ(x) = sup f θ (x) θ Θ 1 sup f θ (x) θ Θ 0 lub λ(x) = supf θ (x) θ Θ sup f θ (x) θ Θ 0 Test φ(x) = 1, gdy λ(x) > t γ, gdy λ(x) = t 0, gdy λ(x) < t Dobór stałej t sup E θ φ(x) α θ Θ 0 W Z Statmat 10.11

12 Przykład (Model dumianowy). Niech θ 0 (0, 1). Model statystyczny {{0, 1,..., n}, {B(n, θ), θ Θ = (0, 1)}} H 0 : θ θ 0 H 1 : θ > θ 0 ( ) n f θ (x) = θ x (1 θ) n x x Ponieważ ( ) n ( x sup f θ (x) = f x (x) = n θ (0,1) x n więc sup f θ (x)= θ Θ 0 oraz sup f θ (x)= θ Θ 1 ) x ( 1 x ) n x n { ( n ) ( x ) x ( ) x n 1 x n x n, jeżeli x n θ 0, ) θ x 0 (1 θ 0 ) n x, jeżeli x n > θ 0, ( n x { ( n ) x θ x 0 (1 θ 0 ) n x, jeżeli x n θ 0, ( n ) ( x x n ) x ( ) 1 x n x n, jeżeli x n > θ 0. W Z Statmat 10.12

13 Zatem λ(x) = = sup f θ (x) θ Θ 1 sup f θ (x) θ Θ 0 ( n ) x θ x 0 (1 θ 0 ) n x ( n ) ( x x n ( n ) ( x x n ) x ( ) 1 x n x, jeżeli x n θ 0, n ) x ( ) 1 x n x ( n n x) θ x 0 (1 θ 0 ), jeżeli x n x n > θ 0. λ(x) jest rosnąca ze względu na x Dobór stałej k λ(x) > t x > k sup P θ {X > k} ==?= P θ0 {X > k} α θ θ W Z Statmat 10.13

14 Przykład (Model gaussowski). Niech µ 0 R. Model dla próby X = (X 1, X 2,..., X n ): ( R n, { N ( µ1 n, σ 2 I n ), θ = (µ, σ 2 ) R R + }) Θ = R R + Θ 0 = {µ 0 } R + Θ 1 = (R\{µ 0 }) R + H 0 : µ = µ 0 H 1 : µ µ 0 ( ) { n 1 f µ,σ (x) = σ exp 1 n ( ) } 2 xi µ 2π 2 σ Niech i=1 ˆσ 2 = 1 n n (X i X) 2 σ 2 = 1 n i=1 n (X i µ 0 ) 2 i=1 ( ) n 1 { sup f µ,σ (x)==?=f µ0, σ(x)==?= θ Θ 0 σ exp n } 2π 2 supf µ,σ (x) ==?= f x,ˆσ (x) ==?= θ Θ ( 1 ˆσ 2π ) n { exp n } 2 W Z Statmat 10.14

15 Iloraz wiarogodności λ(x) = supf µ,σ (x) θ Θ sup f µ,σ (x) = θ Θ 0 ( ) n σ ˆσ Ponieważ n n (X i µ 0 ) 2 = (X i X + X µ 0 ) 2 i=1 i=1 ==?= n (X i X) 2 + n( X µ 0 ) 2 i=1 więc Test λ(x) = (1 + n( X µ 0 ) 2 ) n 2 n i=1 (X i X) 2 φ(x) = 1 λ(x) > t n( X µ 0 ) 2 n i=1 (X > t i X) 2 Dobór stałej t E H0 φ(x) = α W Z Statmat 10.15

16 a. jeżeli H 0 jest prawdziwa, to n( X µ0 ) N(0, σ 2 ) czyli n( X µ 0 ) 2 σ 2 χ 2 1 b. dla wszystkich θ Θ 1 n ( Xi σ 2 X ) 2 χ 2 n 1 i=1 c. X oraz n i=1 ( Xi X ) 2 są niezależne Jeżeli hipoteza H 0 jest prawdziwa, to 1 n 1 n( X µ 0 ) 2 n i=1 (X i X) F 2 1,n 1 H 0 jest odrzucana na poziomie istotności α, jeżeli ( ) 1 n 1 n( X µ 0 ) 2 n i=1 (X i X) 2 > F (α; 1, n 1) Ponieważ t v = F 1,v, więc ( ) jest równoważne ( ) X µ 0 n > t(α; n 1) S Test ( ) nazywa się testem Studenta W Z Statmat 10.16

17 Przykład (Model gaussowski). Wariancja σ 2 jest znana. Niech µ 0 R. ( R n, { N ( µ1 n, σ 2 I n ), θ = µ R }) Θ = R Θ 0 = (, µ 0 Θ 1 = (µ 0, ) H 0 : µ µ 0 H 1 : µ > µ 0 Stosując technikę poprzedniego przykładu otrzymujemy test o obszarze krytycznym X µ 0 σ n > u1 α Moc testu. Niech µ > µ 0. Prawdopodobieństwo odrzucenia H 0 { } X µ0 P µ n > u1 α = σ { X µ P µ n > uα µ µ } 0 n = σ σ ( 1 Φ u α µ µ ) 0 n σ W Z Statmat 10.17

18 Moc testu jest zależna od (µ µ 0 )/σ P µ {φ(x) = 1} µ n = 10.. n = n = 100 µ Liczność próby. Niech (µ µ 0 )/σ = x 0 będzie daną liczbą. Powiedzmy, że interesuje nas osiągnięcie dla tej wartości mocy co najmniej γ. Szukamy takiego n, że 1 Φ(u 1 α x 0 n) γ Rozwiązanie: u 1 α x 0 n u1 γ Stąd n [ u1 α u 1 γ x 0 ] 2 W Z Statmat 10.18

19 γ (α=0.05) x W Z Statmat 10.19

20 Wartość p value Przykład (Model gaussowski). Wariancja σ 2 jest znana. Niech µ 0 R. ( R n, { N ( µ1 n, σ 2 I n ), θ = µ R }) Θ = R Θ 0 = {µ 0 } Θ 1 = R \ {µ 0 } H 0 : µ = µ 0 H 1 : µ µ 0 Test oparty na statystyce ( X µ0 Z(X) = n σ Duże wartości Z przemawiają przeciwko H 0 Jeżeli H 0 jest prawdziwa, to Z(X) ma rozkład chi kwadrat z jednym stopniem swobody. Niech Z(x) będzie wartością statystyki Z zaobserwowaną w próbie. Liczbę p = P {χ 2 1 > Z(x)} ) 2 nazywamy p value W Z Statmat 10.20