weryfikacja hipotez dotyczących parametrów populacji (średnia, wariancja) założenie: znany rozkład populacji (wykorzystuje się dystrybuantę)

Transkrypt

1 PODSTAWY STATYSTYKI 1. Teoria prawdopodobieństwa i elementy kombinatoryki. Zmienne losowe i ich rozkłady 3. Populacje i próby danych, estymacja parametrów 4. Testowanie hipotez 5. Testy parametryczne (na przykładzie testu t) 6. Testy nieparametryczne (na przykładzie testu ) 7. Korelacja liniowa i rangowa 8. Regresja prosta 9. Analiza wariancji

2 Testy parametryczne - powtórzenie weryfikacja hipotez dotyczących parametrów populacji (średnia, wariancja) założenie: znany rozkład populacji (wykorzystuje się dystrybuantę) hipotezy dotyczące średniej: test t hipotezy dotyczące wariancji: test F w analizie wariancji i analizie regresji

3 Testy nieparametryczne Statystyka nieparametryczna: zbiór metod nie wymagających znajomości rozkładu populacji, z której pobrana jest próba. Testy nieparametryczne sprawdzające sądy co do rozkładu na podstawie częstości obserwacji o różnym poziomie lub charakterze (test, test Mcemara) wykorzystujące tzw. rangowanie (ranking) obserwacji o nieznanych rozkładach (m.in. test UManna-Whitneya, Wilcoxona, Kołmogorowa Smirnowa, test Kruskala-Wallisa)

4 Testy nieparametryczne test Test test oparty na statystyce o rozkładzie Rozkład odkrył i opracował Ronald A. Fisher ( ), genetyk i statystyk brytyjski Ronald Fisher stworzył też m.in. statystyczną metodę największej wiarygodności (ang. maximum likelihood), analizę wariancji (AOVA). info i grafika - wikipedia

5 Testy nieparametryczne test Rozkład chi kwadrat (zapisywany też jako ) to rozkład zmiennej losowej, która jest sumą k kwadratów niezależnych zmiennych losowych o standaryzowanym rozkładzie normalnym (k to liczba stopni swobody) f x e k x k 1 k x Skośny Kształt zależny od liczby stopni swobody grafika - wikipedia

6 Testy nieparametryczne test Test oparty na rozkładzie - test. Test uniwersalny, ma bardzo szerokie zastosowanie: jako test parametryczny przede wszystkim do weryfikacji hipotez dotyczących rozkładów (najpowszechniejszy test nieparametryczny w statystyce)

7 Populacja i próba Populacja Próba pobieranie wnioskowanie Rozkład teoretyczny Rozkład empiryczny Przykłady: jednostajny dwumianowy normalny Wartości cechy w próbie i ich częstości

8 Populacja i próba Rozkład teoretyczny Przykład 1: plenność pewnej rasy świń 0,10 0,09 0,08 0,07 0,06 0,05 0,04 0,03 0,0 0,01 0, pokazuje prawdopodobieństwa jest symetryczny Rozkład empiryczny 0,16 0,14 0,1 0,10 pokazuje częstości może być skośny mogą być braki wartości 0,08 0,06 0,04 0,0 0, ale: PRZYPOMIA TEORETYCZY (im większa próba tym bardziej)

9 Populacja i próba Przykład : zawartość tłuszczu w mleku Rozkład teoretyczny rozkład normalny 0,5 0,4 0,3 POPULACJA: rozkład przedstawia prawdopodobieństwa jest symetryczny 0, 0,1 0 Rozkład empiryczny 0,5 0, x PRÓBA: konstruuje się szereg rozdzielczy (klasy wartości) rozkład przedstawia częstości wartości w klasach może być skośny 0,15 mogą być braki wartości 0,1 0, ale: PRZYPOMIA TEORETYCZY (im większa próba tym bardziej)

10 Populacja i próba Populacja Próba Rozkład teoretyczny Rozkład empiryczny CZY SĄ PODOBE? Test

11 Testy nieparametryczne test Test 1. Główne zastosowanie: testowanie hipotez dotyczących rozkładów. Obserwacje podzielone są na klasy, według przyjętych kryteriów; liczba klas określa liczbę stopni swobody 3. Danymi są liczebności klas (liczby obserwacji w poszczególnych klasach) rzeczywiste (obserwowane) i teoretyczne (oczekiwane) 4. ie należy stosować testu gdy oczekiwana liczebność klas jest mała (powinna wynosić co najmniej 10 elementów, a dla 1 stopnia swobody co najmniej 5; istnieją też matematyczne poprawki na małe klasy)

12 Testy nieparametryczne test Test podstawowe zastosowania I. Test zgodności (podział populacji wg jednego kryterium) II. Test niezależności (podział populacji wg dwóch kryteriów) III. Test Mcemara

13 Testy nieparametryczne test Testowanie zgodności rozkładu próby z rozkładem oczekiwanym (podział według jednego kryterium)

14 Testy nieparametryczne test Dzikie krokusy mają trzy kolory kwiatów: białe, żółte i fioletowe a losowo wybranym stanowisku w Tatrach kwitło 17 krokusów Kolor Białe Żółte Fioletowe Liczba Czy rozkład kolorów w naturze jest równomierny?

15 Testy nieparametryczne test 1. Określenie hipotez H 0 i H A H 0 : częstości kolorów są jednakowe H A : częstości kolorów są różne H 0 : n B = n Ż = n F H A : n B n Ż n F. Ustalenie poziomu istotności MAX = 0,05

16 Testy nieparametryczne test 3. Wybór i określenie rozkładu statystyki testowej k ( n i i ) i1 i gdzie, dla i-tej klasy: n i jej liczebność w próbie i teoretyczna liczebność klasy Tak określona statystyka ma rozkład o k -1 stopniach swobody (k liczba klas)

17 Testy nieparametryczne test k i1 n i i i liczebność klasy (określony kolor) zaobserwowana w próbie liczebność klasy oczekiwana dla prawdziwej H 0 Jeśli H 0 jest prawdziwa to n i = i, a wtedy wartość 0 A kiedy n i i to >> 0 i wtedy odrzucamy H 0 I przyjmujemy H A

18 Testy nieparametryczne test k i1 n i i i liczebność klasy (określony kolor) zaobserwowana w próbie liczebność klasy oczekiwana dla prawdziwej H 0 (teoretyczna) Gdyby rozkład kolorów był równomierny, powinniśmy mieć trzy równoliczne klasy: i k i i1 k n 5,7

19 4. Obliczenie wartości statystyki testowej Testy nieparametryczne test k i1 n n n n i 4 5,7 8 5,7 5 5,7 5,7 i i B 5,7 B B Ż 5,7 Ż Ż 1,53 F F F 5. Obliczenie wartości t : liczba stopni swobody: k - 1 = t 0,47 6. Decyzja: t > max H 0 H A Częstości kolorów są jednakowe

20 Testy nieparametryczne test Testowanie niezależności rozkładów dwóch cech (dwóch kryteriów podziału populacji)

21 Testy nieparametryczne test Ankieter spytał 56 osoby o to, jak najchętniej spędziłyby najbliższego sylwestra; można było wybrać jedną z czterech odpowiedzi: Płeć Zabawa Książka Wybór TV lub komputer mężczyzna kobieta Sen

22 Testy nieparametryczne test 1. Określenie hipotez H 0 i H A H 0 : płeć nie wpływa na preferencje sylwestrowe (oba kryteria są niezależne) H A : płeć wpływa na sposób spędzania sylwestra (kryteria są zależne) H 0 : n Mi = n Ki dla i = 1 4 H A : n Mi n Ki. Ustalenie poziomu istotności MAX = 0,05

23 Testy nieparametryczne test 3. Wybór i określenie rozkładu statystyki testowej k m n ij ij nm1 M 1 nk 4 K 4 i1 j1 ij M 1 K 4 ma rozkład o (n - 1)(m - 1) stopniach swobody; n liczba klas według pierwszego kryterium, m liczba klas według drugiego kryterium podziału.

24 Testy nieparametryczne test k m i1 j1 n ij ij ij Oczekiwana liczebność klasy: ij k i1 n i. m j1 n. j k n i. n i1 j1 m. j zaba wa książ ka TV lub komp sen suma mężczy zna kobieta mężczy zna zabawa 135*50 56 książka TV lub komp 1*50 56? sen suma kobieta p.: n 11 = 43, a 11? Obliczamy z proporcji: 11 ~ ~ 56 zabawa ksiązka TV lub komp sen mężczy zna 60,5 9,34 173,93 6,67 kobieta 74,95 11,66 17,07 8,33

25 4. Obliczenie wartości statystyki testowej 43 60, ,95 4 9, , , ,07 7 6,67 8 8,33 19,30 60,05 173,93 74,95 17,07 5. Obliczenie wartości t : t 0, 000 Testy nieparametryczne test 9,34 6,67 liczba stopni swobody: (k - 1)(m - 1) = 3 11,66 8,33 6. Decyzja: t < max H 0 H 1 Wybór sposobu spędzania sylwestra zależy od płci

26 Testy nieparametryczne test Test Mcemara (szczególny przypadek testu )

27 Testy nieparametryczne test Mcemara Zbadano obecność pewnej bakterii w organizmie 00 pacjentów (wynik był dodatni lub ujemny) Badanie powtórzono po -tygodniowym podawaniu pewnego leku wszystkim pacjentom Czy lek działa na bakterię? Przed leczeniem Po leczeniu Plus (+) Minus (-) Plus (+) Minus (-) 10 80

28 Testy nieparametryczne test Mcemara 1. Określenie hipotez H 0 i H A H 0 : lek nie wpływa na obecność bakterii (oba kryteria są niezależne) H A : lek wpływa na obecność bakterii (oba kryteria są zależne) H 0 : n 1 = n 1 H A : n 1 n 1. Ustalenie poziomu istotności MAX = 0,05

29 Testy nieparametryczne test Mcemara 3. Wybór i określenie rozkładu statystyki testowej n n 1 1 n n 1 1 ~ 1 1 stopień swobody obserwacje w parach 4. Obliczenie wartości statystyki: 5. Obliczenie wartości t : 0, t Decyzja: t < max H 0 H 1 Ten lek działa na bakterie

30 Testy nieparametryczne test Test podstawowe zastosowania I. Test zgodności (podział populacji wg jednego kryterium) II. Test niezależności (podział populacji wg dwóch kryteriów) III. Test Mcemara

31 Inne testy nieparametryczne Testy nieparametryczne: 1. Brak założeń dotyczących rozkładu zmiennej. Skala pomiaru zmiennej: nominalna (jakościowa: jest-nie ma, taki-śmaki-owaki, itd.), porządkowa (kolejność, bonitacja itp.); nie musi być ciągła 3. Często: wykorzystanie metod rangowych (rankingu obserwacji zamiast wartości przyjmowanych przez zmienną), wykorzystanie częstości (liczebności klas obserwacji) 4. Zalety: odporność na obserwacje odstające, prostota obliczeń (nie zawsze!) 5. Wady: utrata informacji (o wartościach cechy, różnicach między nimi itp.) przez zastosowanie rang

32 Inne testy nieparametryczne Testy nieparametryczne takie jak: test U Manna-Whitneya test Wilcoxona test Kołmogorowa Smirnowa test Kruskala-Wallisa będzie można poznać w przyszłości, na bardziej zaawansowanych kursach statystyki