Statystyczna analiza danych

Transkrypt

1 Statystyczna analiza danych Testowanie hipotez statystycznych Ewa Szczurek Instytut Informatyki Uniwersytet Warszawski 1/23

2 Testowanie hipotez średniej w R Test istotności dla wartości średniej w jednej populacji, gdy przy założeniu normalności rozkładu, σ znane (wariant A; tzw. z-test), lub przy nieznanym rozkładzie, ale z dużą próbą (C) pnorm przy założeniu normalności rozkładu, σ nieznane (wariant B) t.test(dataset$sample1, mu=mu0) 2/23

3 Testowanie hipotez średniej w R Test istotności dla wartości średnich w dwóch populacjach, gdy przy założeniu normalności rozkładów, wariancje znane (wariant A), lub przy nieznanych rozkładach, ale z dużą próbą (C) pnorm przy założeniu normalności rozkładów, wariancje nieznane, ale równe (wariant B) t.test(control, Treat, var.equal=true) przy założeniu normalności rozkładów, wariancje nieznane, ale równe (Welch t-test) t.test(control, Treat) 3/23

4 Testowanie hipotez średniej w R Test istotności dla wartości średnich w populacji sparowanych prób (wariant D), t.test(before, After, paired=true) 4/23

5 Testowanie nieparametrycznych hipotez mediany Założenia: nie znamy rozkładu populacji. nie mówimy też nic o wielkości próby. wszystkie obserwacje są niezależne statystycznie wartości z populacji są porządkowalne. 5/23

6 Test Wilcoxona (Wilcoxon Signed-Ranks Test) Dla populacji n sparowanych prób (x 1,i, x 2,i ), 1 < i < n. H 0 : różnice x 2,i x 1,i są symetrycznie rozłożone wokół mediany m = 0. H 1 : m 0 Konstruowanie statystyki: Oblicz x2,i x 1,i oraz sgn(x 2,i x 1,i ) dla 1 < i < n Zignoruj pary dla których x2,i x 1,i = 0. Oznacz liczbę pozostałych par n r. Uporządkuj pozostałe r par rosnąco po różnicach x 2,i x 1,i. Nadaj parom rangi Ri, 1 < i < n r, odpowiednio do tego uporządkowania (od 1 do n r ). Dla identycznych wartości przyporządkujemy średnią z odpowiadających im rang. nr W = i=1 [sgn(x 2,i x 1,i ) R i ], suma rang ze znakami. 6/23

7 Test Wilcoxona (Wilcoxon Signed-Ranks Test) W = n r i=1 [sgn(x 2,i x 1,i ) R i ], suma rang ze znakami. Dla H 0 prawdziwej, W ma określony rozkład (paskudny) z E(W ) = 0 i Var(W ) = nr (nr +1)(2nr +1) 6. Dla n r dużego (n r 10), W ma rozkład asymptotyczne normalny, i.e., dla z = W nr (n r + 1)(2n r + 1), σ W =, σ W 6 mamy z N(0, 1). Uwaga: ten sam test można stosować da jednej populacji, testując H 0, że jest ona symetryczna wokół zadanej mediany. 7/23

8 Test Manna-Whitneya-Wilcoxona Dla dwóch populacji niesparowanych prób o równych wariancjach. H 0 : mediany dwóch populacji są równe. H 1 : mediany są przesunięte. 8/23

9 Testowanie hipotez mediany w R Test dla wartości mediany w populacji sparowanych obserwacji Bez i z aproksymacji rozkładem normalnym x <- c(1.83, 0.50, 1.62, 2.48, 1.68, 1.88, 1.55, 3.06, 1.30) y <- c(0.87, 0.64, 0.59, 2.05, 1.06, 1.29, 1.06, 3.14, 1.29) wilcox.test(x, y, paired = TRUE, alternative = "greater") wilcox.test(y - x, alternative = "less") # The same. wilcox.test(y - x, alternative = "less", exact = FALSE, correct = FALSE) # H&W large sample # approximation Dla dwóch populacji: Bez i z aproksymacji rozkładem normalnym wilcox.test(x, y, alternative = "g") # greater wilcox.test(x, y, alternative = "greater", exact = FALSE, correct = FALSE) # H&W large sample # approximation 9/23

10 Test istotności dla wariancji Założenia: populacja ma rozkład normalny N(µ, σ) H 0 : σ 2 = σ0 2 H 1 : σ 2 > σ0 2 10/23

11 Test istotności dla wariancji Założenia: populacja ma rozkład normalny N(µ, σ) H 0 : σ 2 = σ0 2 H 1 : σ 2 > σ0 2 Sprawdzian hipotezy: s 2 Jeśli hipoteza H 0 prawdziwa, to Fakt: statystyka χ 2 = (n 1)s2 σ 2 0 = i (X i X ) 2 σ 2 0 ma rozkład χ 2 o n 1 stopniach swobody Nie powinna przekraczać wartości krytycznej χ 2 α,n 1 t. że P(χ 2 χ 2 α,n 1) = α Uwaga: χ 2 szybko zbiega do normalnego (dla (n 1) > 30 stosujemy normalny) 10/23

12 Testy zgodności Test zgodności Sprawdza zgodność empirycznego rozkładu z próby z rozkładem hipotetycznym, lub zgodność dwóch rozkładów empirycznych 11/23

13 Testy zgodności Test zgodności Sprawdza zgodność empirycznego rozkładu z próby z rozkładem hipotetycznym, lub zgodność dwóch rozkładów empirycznych Weryfikują hipotezy nieparametryczne, mówiące np że próba ma charakter losowy że zmienne losowe są niezależne że dystrybuanty dwóch zmiennych losowych są identyczne 11/23

14 Test zgodności χ 2 Pearsona Założenia: Obserwujemy n par wartości zmiennych (X, Y ) skokowych. X (x 1,..., x r ), Y (y 1,..., y s ). Brzegowe rozkłady: P(X = x i ) = p i., P(Y = y j ) = p.j Łączny rozkład zmiennych P(X = x i, Y = y j ) = p ij Hipotezy: H 0 : p ij = p i. p.j dla każdego i, j (niezależność) H 1 : p ij p i. p.j 12/23

15 Test zgodności χ 2 Pearsona Statystyka testowa: na podstawie tablicy kontyngencji (zliczeń) Przyjmując H 0 prawdziwa Postać ogólna: T = i (O i E i ) 2 E i gdzie O i to wartość obserwowana, E i oczekiwana dla H 0 Dla tablicy zliczeń: T = r i s (n ij n i. n.j /n) 2 j n i. n.j /n T ma rozkład χ 2 ((r 1)(s 1)) 13/23

16 Test zgodności χ 2 Pearsona Statystyka testowa: na podstawie tablicy kontyngencji (zliczeń) Przyjmując H 0 prawdziwa Postać ogólna: T = i (O i E i ) 2 E i gdzie O i to wartość obserwowana, E i oczekiwana dla H 0 Dla tablicy zliczeń: T = r i s (n ij n i. n.j /n) 2, T χ 2 ((r 1)(s 1)) n i. n.j /n j Obszar krytyczny [χ α, ], dla poziomu istotności α i P(T > χ α ) = α 14/23

17 Test zgodności dla zmiennych binarnych: dokładny test Fishera Założenia: tak jak w teście χ 2 dla zmiennych skokowych, ale o dwóch możliwych wartościach. Hipoteza H 0 : zmienne niezależne. Oparty o tablicę zliczeń 2x2 X= 0 X=1 Row total Y = 0 a b a+b Y = 1 c d c+d Column total a+c b+d a+b+c+d = n Wartości w tabelce mają rozkład hipergeometryczny ( )( ) a + b c + d p = a c ( ) = n a + c (a + b)! (c + d)! (a + c)! (b + d)! a! b! c! d! n! 15/23

18 Test zgodności dla zmiennych binarnych: dokładny test Fishera Wartości w tabelce mają rozkład hipergeometryczny ( )( ) a + b c + d p = a c ( ) n a + c Dla p oczekiwanych z rozkładu hipergeom.: nie ma asocjacji między X i Y Dla istotnie dużych p: pozytywna asocjacja między X i Y (X = 1 wtedy kiedy Y = 1). Dla istotnie małych p: negatywna asocjacja między X i Y (X = 0 wtedy kiedy Y = 1). 16/23

19 Pani Bristol i mleko Ronald Fisher użył w swojej książce takiego przykładu, opartego na ponoć faktycznym eksperymenie przeprowadzonym na Muriel Bristol, która twierdziła, że potrafi rozpoznać, czy do filiżanki najpierw wlano herbatę, czy najpierw mleko. 17/23

20 p-wartość p-wartość Prawdopodobieństwo otrzymania wartości bardziej krytycznej niż obserwowana. Najniższy poziom istotności, przy którym dla danej próby hipoteza zerowa zostałaby odrzucona Klasycznie: Sprawdzenie, czy statystyka w obszarze krytycznym Obszar krytyczny: z tablic rozkładów, dla danej hipotezy i poziomu istotności Teraz (np dzięki R): wartości dystrybuanty dla dowolnej wartości statystyki 18/23

21 p-wartość: przykłady Przykład 1 H 0 : µ = µ 0 H 1 : µ > µ 0 Niech wartość statystyki to t obl p-wartość p = P(T t obl ) Mała wartość p (p < α dla jednej próby): odrzucamy H 0, przyjmujemy H 1 19/23

22 p-wartość: przykłady Przykład 2 H 0 : µ = µ 0 H 1 : µ < µ 0 p-wartość p = P(T t obl ) 20/23

23 p-wartość: przykłady Przykład 2 H 0 : µ = µ 0 H 1 : µ < µ 0 p-wartość p = P(T t obl ) Przykład 3 H 0 : µ = µ 0 H 1 : µ µ 0 p-wartość p = P( T t obl ) 20/23

24 p-wartość: przykłady Przykład 2 H 0 : µ = µ 0 H 1 : µ < µ 0 p-wartość p = P(T t obl ) Przykład 3 H 0 : µ = µ 0 H 1 : µ µ 0 p-wartość p = P( T t obl ) Mała wartość p (p < α dla jednej próby): odrzucamy H 0, przyjmujemy H 1 20/23

25 p-wartość: przykłady Przykład 4 Wracając do gimnastyki robotników H 0 : µ R = 0 (wydajność pracy przed i po jednakowa) H 1 : µ R 0 α = 0.05 Statystyka T wyniosła t obl = = poprzednio liczyliśmy wartość krytyczną z tablic teraz policzymy p-wartość W R p = P( t t obl ) = 2 (1 F (t obl ) = 0.04 > 2*(pt( , df= 9)) [1] Dla α = 0.05 mamy p < α, odrzucamy H 0, przyjmujemy H 1 21/23

26 Weryfikowanie hipotez a pojęcie prawdy Nieodrzucenie H 0 nie dowodzi że jest ona prawdziwa p-wartość to prawdopodobieństwo błędu przyjęcia H 1 podczas gdy H 0 prawdziwa - możemy zatem właśnie popełniać błąd przy testowaniu należy zwracać uwagę na właściwe przyjęcie statystyki testowej i jej rozkładu założenia testu właściwe przyjęcie obszarów krytycznych korektę p-wartości otrzymanych w wielu testach Winston Churchill ( ): "Wierzę tylko w te statystyki, które sam sfałszowałem" 22/23

27 Referencje Józwiak, Podgórski, Statystyka od podstaw zaleznosci_pomiedzy_para_zmiennych.html 23/23