Testowanie hipotez statystycznych.

Transkrypt

1 Bioinformatyka Wykład 6 Wrocław, 7 listopada 2011

2 Temat. Weryfikacja hipotez statystycznych dotyczących proporcji.

3 Test dla proporcji. Niech X 1,..., X n będzie próbą statystyczną z 0-1. Oznaczmy odpowiednio p = P(X 1 = 1) i q = 1 p = P(X 1 = 0), oraz X = 1 n n X i. i=1

4 Centralne Twierdzenie Graniczne Niech X 1, X 2,..., X n będzie prostą próbą losową z rozkładu o średniej µ i skończonej wariancji σ 2. Wówczas dla dużych liczności próby n rozkład standaryzowanej średniej próbkowej X µ σ n, jest bliski rozkładowi zmiennej losowej Z o standardowym rozkładzie normalnym N(0, 1).

5 Centralne Twierdzenie Graniczne Centralne Twierdzenie Graniczne Niech X 1, X 2,..., X n będzie prostą próbą losową z rozkładu o średniej µ i i skończonej wariancji σ 2. Wtedy dla dowolnych liczb rzeczywistych a i b gdy n dąży do nieskończoności to ( P a X ) µ σ n b Φ(b) Φ(a), gdzie Φ(x). Rozkład X jest w przybliżeniu równy rozkładowi N(µ, σ/ n).

6 Centralne Twierdzenie Graniczne Centralne Twierdzenie Graniczne Niech X 1, X 2,..., X n będzie prostą próbą losową z rozkładu o średniej µ i i skończonej wariancji σ 2. Wtedy dla dowolnych liczb rzeczywistych a i b gdy n dąży do nieskończoności to ( P a X ) µ σ n b Φ(b) Φ(a), gdzie Φ(x). Rozkład X jest w przybliżeniu równy rozkładowi N(µ, σ/ n).

7 Centralne Twierdzenie Graniczne Centralne Twierdzenie Graniczne Niech X 1, X 2,..., X n będzie prostą próbą losową z rozkładu o średniej µ i i skończonej wariancji σ 2. Wtedy dla dowolnych liczb rzeczywistych a i b gdy n dąży do nieskończoności to ( P a X ) µ σ n b Φ(b) Φ(a), gdzie Φ(x). Rozkład X jest w przybliżeniu równy rozkładowi N(µ, σ/ n).

8 Centralne Twierdzenie Graniczne W przypadku próby prostej z rozkładu 0-1 z prawdopodobieństwem sukcesu równym p centralne twierdzenie graniczne przyjmuje następującą postać Twierdzenie Moivre a-laplace a Dla dowolnych liczb rzeczywistych a i b zachodzi zbieżność P a X n p b Φ(b) Φ(a), p(1 p) n gdy n dąży do nieskończoności.

9 Centralne Twierdzenie Graniczne Przy konstrukcji statystyki testowej nie znamy wartości wariancji zastępujemy ją estymatorem X n (1 X n ). Okazuje się, że po takiej modyfikacji centralne twierdzenie graniczne nadal jest prawdziwe. Twierdzenie. Dla dowolnych liczb rzeczywistych a i b zachodzi zbieżność P a X n p Xn(1 X n) n b Φ(b) Φ(a), gdy n dąży do nieskończoności.

10 Uwaga praktyczna. W praktyce możemy korzystać z aproksymacji rozkładem normalnym gdy spełnione są jednocześnie nierówności n X n 5 oraz n(1 X n ) 5.

11 Test dla proporcji. Testujemy hipotezę H 0 : p = p 0 przeciwko jednej z następujących hipotez alternatywnych H 1 : p < p 0, H 2 : p > p 0, H 3 : p p 0.

12 Test dla proporcji. Testujemy hipotezę H 0 : p = p 0 przeciwko jednej z następujących hipotez alternatywnych H 1 : p < p 0, H 2 : p > p 0, H 3 : p p 0.

13 Test dla proporcji. Testujemy hipotezę H 0 : p = p 0 przeciwko jednej z następujących hipotez alternatywnych H 1 : p < p 0, H 2 : p > p 0, H 3 : p p 0.

14 Statystyka testowa. Przy założeniu hipotezy zerowej statystyka Xn(1 X n) n Z = X n p 0 ma w przybliżeniu rozkład normalny i zagadnienie testowania hipotezy zerowej przeciwko jednej z wymienionych hipotez alternatywnych sprowadza się do testowania hipotezy dotyczącej wartości oczekiwanej rozkładu normalnego.,

15 Statystyka testowa. Przy założeniu hipotezy zerowej statystyka Xn(1 X n) n Z = X n p 0 ma w przybliżeniu rozkład normalny i zagadnienie testowania hipotezy zerowej przeciwko jednej z wymienionych hipotez alternatywnych sprowadza się do testowania hipotezy dotyczącej wartości oczekiwanej rozkładu normalnego.,

16 Statystyka testowa. Przy założeniu hipotezy zerowej statystyka Xn(1 X n) n Z = X n p 0 ma w przybliżeniu rozkład normalny i zagadnienie testowania hipotezy zerowej przeciwko jednej z wymienionych hipotez alternatywnych sprowadza się do testowania hipotezy dotyczącej wartości oczekiwanej rozkładu normalnego.,

17 Przykład. Z partii zakupionych odczynników losujemy próbkę liczebności n = 500 i sprawdzamy ich czystość. Okazało się, że 20 z nich było zanieczyszczonych. Chcemy sprawdzić zapewnienie producenta, że tylko przeciętnie 1 na 100 odczynników może być zanieczyszczonych. W tym celu obliczamy statystykę X n(1 X n) n Z = X n p 0. W naszym przypadku X n = 0, 04 oraz p 0 = 0, 01 tak więc z = 0, 04 0, 01 0,04(1 0,04) 500 = 6, 742.

18 Przykład. Z partii zakupionych odczynników losujemy próbkę liczebności n = 500 i sprawdzamy ich czystość. Okazało się, że 20 z nich było zanieczyszczonych. Chcemy sprawdzić zapewnienie producenta, że tylko przeciętnie 1 na 100 odczynników może być zanieczyszczonych. W tym celu obliczamy statystykę X n(1 X n) n Z = X n p 0. W naszym przypadku X n = 0, 04 oraz p 0 = 0, 01 tak więc z = 0, 04 0, 01 0,04(1 0,04) 500 = 6, 742.

19 Przykład. Z partii zakupionych odczynników losujemy próbkę liczebności n = 500 i sprawdzamy ich czystość. Okazało się, że 20 z nich było zanieczyszczonych. Chcemy sprawdzić zapewnienie producenta, że tylko przeciętnie 1 na 100 odczynników może być zanieczyszczonych. W tym celu obliczamy statystykę X n(1 X n) n Z = X n p 0. W naszym przypadku X n = 0, 04 oraz p 0 = 0, 01 tak więc z = 0, 04 0, 01 0,04(1 0,04) 500 = 6, 742.

20 Przykład. Z partii zakupionych odczynników losujemy próbkę liczebności n = 500 i sprawdzamy ich czystość. Okazało się, że 20 z nich było zanieczyszczonych. Chcemy sprawdzić zapewnienie producenta, że tylko przeciętnie 1 na 100 odczynników może być zanieczyszczonych. W tym celu obliczamy statystykę X n(1 X n) n Z = X n p 0. W naszym przypadku X n = 0, 04 oraz p 0 = 0, 01 tak więc z = 0, 04 0, 01 0,04(1 0,04) 500 = 6, 742.

21 Przykład. Z partii zakupionych odczynników losujemy próbkę liczebności n = 500 i sprawdzamy ich czystość. Okazało się, że 20 z nich było zanieczyszczonych. Chcemy sprawdzić zapewnienie producenta, że tylko przeciętnie 1 na 100 odczynników może być zanieczyszczonych. W tym celu obliczamy statystykę X n(1 X n) n Z = X n p 0. W naszym przypadku X n = 0, 04 oraz p 0 = 0, 01 tak więc z = 0, 04 0, 01 0,04(1 0,04) 500 = 6, 742.

22 Przykład cd. Ponieważ z α/2 = z 0,025 = 1, 96 więc na poziomie istotności α = 0, 05 sprawdzaną hipotezę zerową odrzucamy na korzyść dwustronnej hipotezy alternatywnej H 1 : p p 0.

23 Zagadnienie dwóch prób W przypadku gdy na podstwie dwóch prób X (a) 1, X (a) (a) 2,..., X n a oraz X (b) 1, X (b) 2,..., X n (b) b, chcemy przetestować hipotezę o równości dwóch proporcji H 0 : p a = p b, możemy postąpić w podoby sposób jak w przypadku jednej próby i skorzystać z aproksymacji odpowiednich średnich próbkowych rozkładami normalnymi.

24 Jako statystyki testowej możemy użyć następujacej statystyki Z = X (a+b) n X (a) n ( 1 X n (b) ) ( ) na nb X (a+b) n gdzie X (a+b) n = n a X (a) n b i + i=1 i=1 X (b) i, która przy załozeniu hipotezy zerowej H 0 ma w przybliżeniu rozkład normalny N(0, 1).

25 Testowanie zgodności z rozkładem normalnym. Wykres kwantylowy Wykreślamy na płaszczyźnie punkty, dla których współrzędna są równe kwantylom teoretycznym rozkładu normalnego i kwantylom empirycznym wyliczonym na podstawie danych. Na osi OY odkładamy kolejne kwantyle rzędu k n, k = 1, 2,..., n 1 rozkładu normalnego, a na osi OX otrzymane na podstwie danych kwantyle empiryczne rzędu k n. Przy założeniu, że dane pochodzą z rozkładu normalnego otrzymamy punkty leżące w przybliżeniu na linii prostej.

26 Testowanie zgodności z rozkładem normalnym. Wykres kwantylowy Wykreślamy na płaszczyźnie punkty, dla których współrzędna są równe kwantylom teoretycznym rozkładu normalnego i kwantylom empirycznym wyliczonym na podstawie danych. Na osi OY odkładamy kolejne kwantyle rzędu k n, k = 1, 2,..., n 1 rozkładu normalnego, a na osi OX otrzymane na podstwie danych kwantyle empiryczne rzędu k n. Przy założeniu, że dane pochodzą z rozkładu normalnego otrzymamy punkty leżące w przybliżeniu na linii prostej.

27 Testowanie zgodności z rozkładem normalnym. Wykres kwantylowy Wykreślamy na płaszczyźnie punkty, dla których współrzędna są równe kwantylom teoretycznym rozkładu normalnego i kwantylom empirycznym wyliczonym na podstawie danych. Na osi OY odkładamy kolejne kwantyle rzędu k n, k = 1, 2,..., n 1 rozkładu normalnego, a na osi OX otrzymane na podstwie danych kwantyle empiryczne rzędu k n. Przy założeniu, że dane pochodzą z rozkładu normalnego otrzymamy punkty leżące w przybliżeniu na linii prostej.

28 Histogram dla danych normalnych

29 Wykres kwantylowo-kwantylowy. Probability Normal Probability Plot Data

30 Histogram dla danych wykładniczych

31 Wykres kwantylowo-kwantylowy. Probability Normal Probability Plot Data

32 Histogram dla danych z rozkładu beta

33 Wykres kwantylowo-kwantylowy. Probability Normal Probability Plot Data

34 Histogram dla danych z rozkładu dwumodalnego

35 Wykres kwantylowo-kwantylowy. Probability Normal Probability Plot Data