2.1 Przykład wstępny Określenie i konstrukcja Model dwupunktowy Model gaussowski... 7

Transkrypt

1 Spis treści Spis treści 1 Przedziały ufności Przykład wstępny Określenie i konstrukcja Model dwupunktowy Model gaussowski Weryfikacja hipotez statystycznych Przykład wstępny Określenia Hipotezy proste Lemat Neymana Pearsona Model dwupunktowy Jednostajny vs Beta Hipotezy złożone Iloraz wiarogodności Model dwupunktowy Model gaussowski Moc testu Liczność próby Przedziały ufności 1.1 Przykład wstępny Przedziały ufności: przykład wstępny Model gaussowski ze znaną wariancją R, {Nµ, σ 2 ), µ R}) Zadanie polega na oszacowaniu wartości średniej µ. Jakie wartości obserwacji X są wysoce prawdopodobne dla różnych µ? 1

2 Przedziały ufności: przykład wstępny Niech wysoce prawdopodobne wynosi 0.9. Szukamy takich aµ) oraz bµ), że P µ {X aµ), bµ))} = 0.9, µ R Rozwiazanie bµ) µ P µ {X aµ), bµ))}=φ σ ) Φ ) aµ) µ σ Przedziały ufności: przykład wstępny Rozwiazanie Niech z α1 oraz z α2 będą takie, że Φz α2 ) Φz α1 ) = 0.9 bµ) = µ + σz α2, aµ) = µ + σz α1 Przedziały ufności: przykład wstępny P µ {X aµ), bµ))} = 0.9, µ R P µ {µ + σz α1 < X < µ + σz α2 } = 0.9, µ R P µ {X σz α1 < µ < X + σz α2 } = 0.9, µ R bµ) aµ) = min! z α2 = z α1 = z 0.95 Przedziały ufności: przykład wstępny bµ) aµ) = min! z α2 = z α1 = z 0.95 bµ) aµ) = σz α2 z α1 ) { Λz α1, z α2, λ) = z α2 z α1 ) + λφz α2 ) Φz α1 ) 0.9) Φz α2 ) Φz α1 ) = 0.9 2

3 Przedziały ufności: przykład wstępny bµ) aµ) = min! z α2 = z α1 = z 0.95 Λz α1,z α2,λ) z α1 = 1 λφz α1 ) Λz α1,z α2,λ) z α2 = 1 + λφz α2 ) Φz α2 ) Φz α1 ) = 0.9 Λz α1,z α2,λ) z α1 = 0 Λz α1,z α2,λ) z α2 = 0 Φz α2 ) Φz α1 ) = 0.9 Przedziały ufności: przykład wstępny bµ) aµ) = min! z α2 = z α1 = z 0.95 φz α1 ) = φz α2 ) exp 1 ) ) 2 zα1 µ = exp 1 ) ) 2 zα2 µ 2 σ 2 σ ) 2 zα1 µ zα2 µ = ) 2 σ σ Przedziały ufności: przykład wstępny bµ) aµ) = min! z α2 = z α1 = z 0.95 z α2 = z α1 Φz α2 ) Φz α1 ) = 0.9 2Φz α2 ) 1 = 0.9 z α2 = Φ ) 3

4 1.2 Określenie i konstrukcja Określenie Model statystyczny Definicja przedziału ufności Przedział θx), θx)) taki, że X, B, {P θ, θ Θ}) P θ {θ θx), θx))} = 1 α, θ Θ nazywamy przedziałem ufności na poziomie ufności 1 α. Określenie Definicja zbioru ufności Zbiór S X Θ taki, że P {θ S X } = 1 α, θ Θ nazywamy obszarem ufności na poziomie ufności 1 α. Konstrukcja Sposób pierwszy W przestrzeni X Θ wyznaczyć taki zbiór S, że dla każdego θ Wówczas dla danego x X zbiór P θ {X {θ}) S} = 1 α {x} Θ) S jest zbiorem ufności na poziomie ufności 1 α 4

5 Konstrukcja Sposób drugi Skonstruować taką funkcję tx, θ), że przy wartości parametru θ jej rozkład nie zależy od θ oraz jeżeli Θ R) jest ona monotoniczną funkcją θ. Taka funkcja nazywa się funkcja centralna. Wówczas można wyznaczyć takie dwie liczby, że P θ {t 1 < tx, θ) < t 2 } = 1 α Ze względu na monotoniczność funkcji centralnej t 1 < tx, θ) < t 2 θx) < θ < θx) Konstrukcja Dodatkowe kryteria Symetryczny podział. Dla wszystkich θ Θ P θ {θ < θx)} = 1 α)/2 oraz P θ {θ > θx)} = 1 + α)/2 Jak najmniejszy zbiór ufności. Jeżeli Θ R, to θx) θx) = min! Zbiór ufności o zadanej wielkości. Jeżeli Θ R oraz d > 0, to θx) θx) < d 1.3 Model dwupunktowy Model dwupunktowy: przedział ufności dla θ Zaobserwowano X 1 = x 1,..., X n = x n. Niech X = n X i. Skonstruować przedział ufności θ 1 X), θ 2 X)) dla θ na poziomie ufności 1 α P θ {θ 1 X) < θ < θ 2 X)} = 0.95, θ [0, 1] 5

6 Model dwupunktowy: przedział ufności dla θ Dla każdego θ 0, 1) znajdujemy takie dwie liczby x 1 θ) oraz x 2 θ), że P n,θ {x 1 θ) X x 2 θ)} 1 α X Binn, θ) Model dwupunktowy: przedział ufności dla θ Model dwupunktowy: przedział ufności dla θ Model dwupunktowy: przedział ufności dla θ 6

7 Model dwupunktowy: przedział ufności dla θ Zaobserwowano X = x Przedział ufności θ 1 x), θ 2 x)) P θ1 x),n{x x} α 1 P θ2 x),n{x < x} α 2 α 1 α 2 1 α Model dwupunktowy: przedział ufności dla θ P θ,n {X x} = βn x, x + 1; 1 θ) θ 1 x) = β 1 x + 1, n x; α 1 ) 7

8 θ 2 x) = β 1 x, n x + 1; α 2 ) Model dwupunktowy: przedział ufności dla θ klasyczny) α 1 = 1 + α, α 2 = 1 α 2 2 θ 1 x) = β 1 x + 1, n x; 1 + α ) 2 θ 2 x) = β 1 x, n x + 1; 1 α ) Model gaussowski Model gaussowski: przedział ufności dla µ Model dla próby X 1, X 2,..., X n : R n, { N µ1 n, σ 2 I n ), θ = µ, σ 2 ) R R + }) X = 1 n n X i ; S 2 = 1 n 1 n Xi X ) 2 Model gaussowski: przedział ufności dla µ X ) N µ, σ2 N0, 1) n X µ σ/ n 1 σ 2 n Xi X ) 2 χ 2 n 1 X oraz n Xi X ) 2 są niezależne Jeżeli ξ N0, 1), η χ 2 v, ξ i η są niezależne, to t = ξ/ η/v t v. 8

9 Model gaussowski: przedział ufności dla µ Funkcja centralna t n 1 = 1 σ 2 n X µ σ/ n Xi X ) = X µ n 2 S /n 1) Model gaussowski: przedział ufności dla µ Niech t 1, t 2 będą takimi liczbami, że P {t 1 < t n 1 < t 2 } = 1 α ) S S X t 2 n ; X t1 n Model gaussowski: przedział ufności dla µ Przedział jest najkrótszy, jeżeli t 1 = t 2, czyli wybieramy taką liczbę tα; n 1), że P { t n 1 < tα; n 1)} = 1 α X tα; n 1) S n ; X + tα; n 1) S n ) Model gaussowski: przedział ufności dla µ Model gaussowski: przedział ufności dla µ 9

10 Model gaussowski: przedział ufności dla µ Model gaussowski: przedział ufności dla µ Model gaussowski: przedział ufności dla σ 2 Model dla próby X 1, X 2,..., X n : R n, { N µ1 n, σ 2 I n ), θ = µ, σ 2 ) R R + }) X = 1 n n X i ; S 2 = 1 n 1 n Xi X ) 2 10

11 Model gaussowski: przedział ufności dla σ 2 Funkcja centralna χ 2 n 1 = 1 n Xi σ X ) 2 2 Model gaussowski: przedział ufności dla σ 2 Niech c 1, c 2 będą takimi liczbami, że P {c 1 < χ 2 n 1 < c 2 } = 1 α n Xi X ) 2 n Xi ; X ) ) 2 c 2 c 1 11

12 Model gaussowski: przedział ufności dla σ 2 klasyczny) P {χ 2 n 1 < c 1 } = α/2 oraz P {χ 2 n 1 > c 2 } = α/2 c 1 = χ 2 1 α ) α ) 2 ; n 1 ; c 2 = χ 2 2 ; n 1 Model gaussowski: przedział ufności dla σ 2 najkrótszy) 1 c 1 1 c 2 = min! Rozwiązanie c2 c 1 Λc 1, c 2, λ) = 1 c 1 1 c 2 λ c2 c 1 f n 1 x)dx = 1 α c2 ) f n 1 x)dx 1 α) c 1 f n 1 x)dx = 1 α Model gaussowski: przedział ufności dla σ 2 najkrótszy) Λc 1,c 2,λ) c 1 = 1 + λf c 2 n 1 c 1 ) 1 Λc 1,c 2,λ) c 2 = 1 λf c 2 n 1 c 2 ) 2 c2 f n 1 x)dx = 1 α c 1 Λc 1,c 2,λ) c 1 = 0 Λc 1,c 2,λ) c 2 = 0 c2 f n 1 x)dx = 1 α c 1 12

13 Model gaussowski: przedział ufności dla σ 2 najkrótszy) Rozwiązanie c 2 2f n 1 c 2 ) = c 2 1f n 1 c 1 ) c2 c 1 f n 1 x)dx = 1 α 2 Weryfikacja hipotez statystycznych 2.1 Przykład wstępny Testowanie hipotez - przykład wstępny Pytanie Producent twierdzi, że wadliwość produkcji wynosi 5%. My podejrzewamy, że rzeczywista wadliwość produkcji wynosi 15%. Pobieramy próbę stuelementową i zliczamy liczbę X sztuk wadliwych. Model statystyczny {{0, 1,..., 100}, {Bin100, θ), θ Θ = {0.05, 0.15}}} Testowanie hipotez - przykład wstępny Rozumowanie Testowanie hipotez - przykład wstępny Rozumowanie Testowanie hipotez - przykład wstępny Rozumowanie 13

14 Testowanie hipotez - przykład wstępny Rozumowanie Testowanie hipotez - przykład wstępny Rozumowanie Testowanie hipotez - przykład wstępny Test Jeżeli X k, to uznać θ =

15 Jeżeli X > k, to uznać θ = 0.15 Testowanie hipotez - przykład wstępny Bład I rodzaju Prawdziwe θ = 0.05, a uznajemy, że θ = Czyli zaobserwowano dużo wadliwych! Bład II rodzaju Prawdziwe θ = 0.15, a uznajemy, że θ = Czyli zaobserwowano mało wadliwych! Testowanie hipotez - przykład wstępny 15

16 P 0.05 {X > k} Testowanie hipotez - przykład wstępny P 0.15 {X k} Testowanie hipotez - przykład wstępny P 0.05 {X > k} oraz P 0.15 {X k} 16

17 Testowanie hipotez - przykład wstępny P 0.05 {X > k} α = Określenia Pojęcia Model statystyczny X, {P θ, θ Θ}) Hipoteza statystyczna Podzbiór Θ 0 zbioru Θ. 17

18 Θ 0 nazywamy hipoteza zerowa Θ 1 = Θ \ Θ 0 nazywamy hipoteza alternatywna Pojęcia Hipoteza prosta Zbiór Θ 0 jest jednoelementowy Hipoteza złożona Zbiór Θ 0 ma więcej niż jeden element Zapis klasyczny H 0 : θ Θ 0 H 1 : θ Θ 1 Pojęcia Test statystyczny Procedura statystyczna, w wyniku której podejmujemy jedną z dwóch decyzji: odrzucić hipotezę zerowa H 0 lub nie ma podstaw do odrzucenia hipotezy zerowej H 0. Pojęcia Test statystyczny 18

19 Test hipotezy H 0 utożsamiamy z funkcją φ : X {0, 1} { 1 odrzucić H 0 φx) = 0 nie odrzucać H 0 Obszar krytyczny {x X : φx) = 1} Pojęcia Zrandomizowany test statystyczny Funkcja φ : X [0, 1] = 1 odrzucić H 0 na podstawie niezależnego od X mechanizmu losowego odrzucić H 0 z prawdopodobień- φx) 0, 1) stwem φx) = 0 nie odrzucać H 0 Pojęcia Bład I rodzaju Błąd polegający na odrzuceniu hipotezy zerowej H 0, gdy w rzeczywistości jest ona prawdziwa. Poziom istotności Niech α 0, 1). Test φ jest na poziomie istotności α, jeżeli E θ φx) = P θ {φx) = 1} α, θ Θ 0 Rozmiar testu supe θ φx) = supp θ {φx) = 1} θ Θ 0 θ Θ 0 19

20 Pojęcia Bład II rodzaju Błąd polegający na nieodrzuceniu hipotezy zerowej H 0, gdy w rzeczywistości jest ona fałszywa Moc testu Θ 1 θ E θ φx) = P θ {φx) = 1} 3 Hipotezy proste 3.1 Lemat Neymana Pearsona Lemat Neymana Pearsona Założenia Niech P θ0 oraz P θ1 będą rozkładami prawdopodobieństwa o gęstościach f 0 i f 1. Niech α 0, 1) będzie ustaloną liczbą Lemat Neymana Pearsona Istnienie testu Istnieją takie stałe t i γ, że 1, gdy f 1 x) > tf 0 x) φx) = γ, gdy f 1 x) = tf 0 x) 0, gdy f 1 x) < tf 0 x) jest testem hipotezy H 0 : θ = θ 0 przeciwko H 1 : θ = θ 1 na poziomie istotności α, tzn. ) E θ0 φx) = α Lemat Neymana Pearsona Dostateczność Jeżeli test φ spełnia warunek ) i dla pewnego t warunek { 1, gdy f 1 x) > tf 0 x) ) φx) = 0, gdy f 1 x) < tf 0 x) 20

21 to φ jest testem najmocniejszym na poziomie istotności α Konieczność Jeżeli φ jest testem najmocniejszym na poziomie istotności α, to spełnia on warunek ) 3.2 Model dwupunktowy Hipotezy proste - przykład Model dwupunktowy: H 0 : θ = θ 0 vs H 1 : θ = θ 1 Niech θ 0 < θ 1 0, 1). Model statystyczny {{0, 1,..., n}, {Bn, θ), θ Θ = {θ 0, θ 1 }}} H 0 : θ = θ 0 H 1 : θ = θ 1 ) n f 0 x) = θ x x 01 θ 0 ) n x ) n f 1 x) = θ x x 11 θ 1 ) n x Hipotezy proste - przykład Model dwupunktowy: H 0 : θ = θ 0 vs H 1 : θ = θ 1 Konstrukcja testu φx) φx) = 1 f [ ] x [ 1x) f 0 x) > t θ1 1 θ 0 ) 1 θ0 > t θ 0 1 θ 1 ) 1 θ 1 Obszar krytyczny: {x > k} Hipotezy proste - przykład Model dwupunktowy: H 0 : θ = θ 0 vs H 1 : θ = θ 1 Obszar krytyczny: {x > k} Stała k dobrana jest tak, że E θ0 φx) = P θ0 {X > k} α ] n 21

22 Hipotezy proste - przykład Model dwupunktowy: H 0 : θ = θ 0 vs H 1 : θ = θ 1 Niech n = 100, θ 0 = 0.05, θ 1 = 0.15, α = 0.05 k P 0.05 {x > k} Test niezrandomizowany φx) = { 1, jeżeli x > 9, 0, jeżeli x 9. Rozmiar testu: P 0.05 {x > 9} = Błąd II rodzaju: P 0.15 {x 9} = Hipotezy proste - przykład Model dwupunktowy: H 0 : θ = θ 0 vs H 1 : θ = θ 1 Niech n = 100, θ 0 = 0.05, θ 1 = 0.15, α = 0.05 k P 0.05 {x > k} P 0.05 {x = k} Test zrandomizowany 1, jeżeli x > 9 φx) = , jeżeli x = 9 0, jeżeli x < 9 Hipotezy proste - przykład Model dwupunktowy: H 0 : θ = θ 0 vs H 1 : θ = θ 1 Rozmiar testu zrandomizowanego P 0.05 {x > 9} P 0.05 {x = 9} = =

23 3.3 Jednostajny vs Beta Hipotezy proste - przykład H 0 : U0, 1) vs H 1 : Ba, b) Niech a, b > 1. Model statystyczny {0, 1), {U0, 1), Ba, b)}} H 0 : U0, 1) vs H 1 : Ba, b) f 0 x) = 1 1 0,1) x) f 1 x) x a 1 1 x) b 1 1 0,1) x) Hipotezy proste - przykład H 0 : U0, 1) vs H 1 : Ba, b) φx) = 1 f 1x) f 0 x) > t xa 1 1 x) b 1 > t Obszar krytyczny: {x 0 < x < x 1 } Liczby x 0, x 1 dobrane są tak, że E θ0 φx) = P U0,1) {x 0 < X < x 1 } α Hipotezy proste - przykład H 0 : U0, 1) vs H 1 : Ba, b) x a x 0 ) b 1 = x a x 1 ) b 1 Ponieważ x 1 = x 0 + α, więc [ ] a 1 [ ] b 1 x0 + α 1 x0 α = 1 x 0 1 x 0 23

24 Hipotezy proste - przykład H 0 : U0, 1) vs H 1 : Ba, b) a b x 0 x Hipotezy złożone 4.1 Iloraz wiarogodności Hipotezy złożone Problem X, {P θ, θ Θ}) H 0 i/lub H 1 złożone Hipotezy złożone Iloraz wiarogodności 1) Iloraz wiarogodności 2) H 0 : θ Θ 0 vs H 1 : θ Θ 1 λx) = λx) = supf θ x) θ Θ 1 supf θ x) θ Θ 0 supf θ x) θ Θ supf θ x) θ Θ 0 24

25 Hipotezy złożone Test Dobór stałej t 1, gdy λx) > t φx) = γ, gdy λx) = t 0, gdy λx) < t sup E θ φx) α θ Θ Model dwupunktowy Hipotezy złożone - przykład Model dwupunktowy: H 0 : θ θ 0 vs H 1 : θ > θ 0 Niech θ 0 0, 1). Model statystyczny {{0, 1,..., n}, {Bn, θ), θ Θ = 0, 1)}} Dla danego x H 0 : θ θ 0 vs H 1 : θ > θ 0 f θ x) = n sup f θ x) = f x x) = n θ 0,1) x ) n θ x 1 θ) n x x ) x n ) x 1 x ) n x n Hipotezy złożone - przykład Model dwupunktowy: H 0 : θ θ 0 vs H 1 : θ > θ { 0 n x ) x ) supf θ x) = x) n 1 x n x n, jeżeli x ) θ n 0, θ Θ 0 θ x 0 1 θ 0 ) n x, jeżeli x > θ n 0, n x supf θ x) = θ Θ 1 { n x) θ x 0 1 θ 0 ) n x, jeżeli x ) θ n 0, x ) x ) n 1 x n x n, jeżeli x > θ n 0. n x 25

26 Hipotezy złożone - przykład Model dwupunktowy: H 0 : θ θ 0 vs H 1 : θ > θ 0 n ) x θ x 0 1 θ 0 ) n x supf θ x) n ) x ) x ) θ Θ λx) = 1 supf θ x) = x n 1 x n x, jeżeli x θ n 0, n n ) x ) x ) x n 1 x n x n θ Θ 0 n, jeżeli x) x θ x 0 1 θ 0 ) > θ n x n 0. Hipotezy złożone - przykład Model dwupunktowy: H 0 : θ θ 0 vs H 1 : θ > θ 0 λx) jest rosnąca ze względu na x λx) > t x > k Dobór stałej k sup P θ {X > k} = P θ0 {X > k} α θ θ Model gaussowski Hipotezy złożone - przykład Model gaussowski: H 0 : µ = µ 0 vs H 1 : µ µ 0 Niech µ 0 R. Model dla próby X = X 1, X 2,..., X n ): R n, { N µ1 n, σ 2 I n ), θ = µ, σ 2 ) R R + }) Θ = R R + Θ 0 = {µ 0 } R + Θ 1 = R \ {µ 0 }) R + H 0 : µ = µ 0 vs H 1 : µ µ 0 ) { n 1 f µ,σ x) = σ exp 1 2π 2 n ) } 2 xi µ σ 26

27 Hipotezy złożone - przykład Model gaussowski: H 0 : µ = µ 0 vs H 1 : µ µ 0 ) n 1 { supf µ,σ x) = f µ0, σx) = θ Θ 0 σ exp n } 2π 2 σ 2 = 1 n X i µ 0 ) 2 n 1 supf µ,σ x) = f x,ˆσ x) = θ Θ ˆσ 2 = 1 n n ˆσ 2π X i X) 2 ) n { exp n } 2 Hipotezy złożone - przykład Model gaussowski: H 0 : µ = µ 0 vs H 1 : µ µ 0 Iloraz wiarogodności λx) = supf µ,σ x) θ Θ supf µ,σ x) = θ Θ 0 ) n σ ˆσ n X i µ 0 ) 2 = n X i X + X µ 0 ) 2 = λx) = n X i X) 2 + n X µ 0 ) n X ) µ 0 ) 2 n 2 n X i X) 2 Hipotezy złożone - przykład Model gaussowski: H 0 : µ = µ 0 vs H 1 : µ µ 0 φx) = 1 λx) > t n X µ 0 ) 2 n X > t i X) 2 Dobór stałej t E H0φX) = α 27

28 Hipotezy złożone - przykład Model gaussowski: H 0 : µ = µ 0 vs H 1 : µ µ 0 jeżeli H 0 jest prawdziwa, to n X µ0 ) N0, σ 2 ) czyli n X µ 0 ) 2 σ 2 χ 2 1 dla wszystkich θ Θ 1 σ 2 n Xi X ) 2 χ 2 n 1 X oraz n Xi X ) 2 są niezależne Hipotezy złożone - przykład Model gaussowski: H 0 : µ = µ 0 vs H 1 : µ µ 0 Jeżeli hipoteza H 0 jest prawdziwa, to 1 n 1 n X µ 0 ) 2 n X i X) F 2 1,n 1 Hipotezy złożone - przykład Model gaussowski: H 0 : µ = µ 0 vs H 1 : µ µ 0 H 0 jest odrzucana na poziomie istotności α, jeżeli ) 1 n 1 n X µ 0 ) 2 n X i X) > F α 2 1,n 1 Ponieważ t v = F 1,v, więc ) jest równoważne ) Test ) nazywa się testem Studenta X µ 0 n > t α S n 1 28

29 4.4 Moc testu Moc testu Określenie Θ 1 θ E θ φx) = P θ {φx) = 1} Moc testu - przykład Model gaussowski σ 2 znana): H 0 : µ µ 0 vs H 1 : µ > µ 0 Niech µ 0 R. R n, { N µ1 n, σ 2 I n ), θ = µ R }) Θ = R Θ 0 =, µ 0 Θ 1 = µ 0, ) H 0 : µ µ 0 vs H 1 : µ > µ 0 Obszar krytyczny testu X µ 0 n > u1 α σ Moc testu - przykład Model gaussowski σ 2 znana): H 0 : µ µ 0 vs H 1 : µ > µ 0 Niech µ > µ 0. Prawdopodobieństwo odrzucenia H 0 { } X µ0 P µ n > u1 α = σ { X µ P µ n > u1 α µ µ } 0 n = σ σ 1 Φ u 1 α µ µ ) 0 n σ Moc testu jest zależna od µ µ 0 )/σ 29

30 4.5 Liczność próby Liczność próby Model gaussowski σ 2 znana): H 0 : µ µ 0 vs H 1 : µ > µ 0 Niech µ µ 0 )/σ = x 0 będzie daną liczbą. Powiedzmy, że interesuje nas osiągnięcie dla tej wartości mocy co najmniej γ. Szukamy takiego n, że 1 Φu 1 α x 0 n) γ Rozwiązanie: Stąd u 1 α x 0 n u1 γ [ u1 α u 1 γ n x 0 ] 2 minimalne n x