Wykład 8 Dane kategoryczne

Transkrypt

1 Wykład 8 Dane kategoryczne Wrocław, r

2 Zmienne kategoryczne 1 Przykłady zmiennych kategorycznych 2 Zmienne nominalne, zmienne ordynalne (porządkowe) 3 Zmienne dychotomiczne

3 kodowanie zmiennych 1 Zmienne dychotomiczne - kodujemy jako 0 i 1 lub 1 i 1 2 Zmienne z liczbą kategorii > 2 - stosujemy zbiór sztucznych zmiennych 0 1; liczba wprowadzonych zmiennych musi być mniejsza o jeden od liczby kategorii. Np. zmienną kolor włosów z kategoriami: blond, czarne, inne można kodować: kolor włosów blond 0 0 czarne 0 1 inne Zmienne z liczbą kategorii > 2 - można kodować kolejnymi liczbami naturalnymi

4 Dokładny test Fishera test niezależności jak i jednorodności rozkładów stosowany dla danych dostępnych w formie tablicy wielodzielnej 2x2 małe liczebności, całkowita liczba obserwacji 20 stosowany zamiast testu χ 2 tablica kontyngencji B B A n 11 n 12 A n 21 n 22

5 Dokładny test Fishera Stosuje się dokładny rozkład obliczając wartości prawdopodobieństw otrzymania określonego układu zaobserwowanych częstości, zgodnie z rozkładem hipergeometrycznym, wg wzoru: p = ( n11+n12 )( n21+n22 ) n11 n21 ( N ) n11+n21 Wyznacza się możliwe kombinacje liczebności komórek w oparciu o liczebności brzegowe Rozszerzenie na tablice większe niż 2x2 - test Fisher - Frddman - Halton

6 Dokładny test Fishera - Przykład 8.1 Prowadzono badania w celu sprawdzenia czy podjęcie decyzji o przejściu na diatę jest zależne od płci, otrzymując następujące wyniki: K M TAK 8 2 NIE 3 10 Testujemy hipotezę: H 0 : Decyzja o przejściu na dietę zalezy od płci H 1 : Decyzja o przejściu na dietę nie zależy od płci

7 Przykład c.d. Mamy tabelę K M suma TAK NIE suma Wyznaczamy prawdopodobieństwo takiego układu: P(n 11 = 8, n 12 = 2, n 21 = 3, n 22 = 10) = ( 10 ) ( 8 13 ) 3 ( 23 ) =

8 Przykład c.d. Rozważamy wszystkie inne możliwe tabele z tymi samymi sumami: I K M suma TAK NIE suma P = II K M suma TAK NIE suma P = III K M suma TAK NIE suma P = IV K M suma TAK NIE suma P = V K M suma TAK NIE suma P = VI K M suma TAK NIE suma P = VII K M suma TAK NIE suma P = VIII K M suma TAK NIE suma P = V K M suma TAK NIE suma P = V K M suma TAK NIE suma P = Wyznaczamy p - wartość: p = =

9 Przykład pakiet R fisher. test ( rbind (c (8,2),c (3,10) )) Fisher s Exact Test for Count Data data: rbind(c(8, 2), c(3, 10)) p-value = alternative hypothesis: true odds ratio is not equal to 1 95 percent confidence interval: sample estimates: odds ratio

10 Test McNemary test jednorodności rozkładów dla prób powiązanych stosowany dla zmiennych dychotomicznych

11 Test McNemary Niech (X, Y ) będzie dwuwymiarowym wektorem losowym, dla którego zmienne X i Y są typu dychotomicznego i przyjmują wyłącznie wartości { 1, +1} Problem testowania hipotez możemy zapisać jako: H 0 : cechy są niezależne H 1 : cechy są zależne

12 Test McNemar Statystyka testowa postaci χ 2 = (n 12 n 21 ) 2 n 12 + n 21, przy prawdziwości H 0 ma rozkład chi kwadrat z jednym stopniem swobody rzędu 1 α Obszar odrzucenia hipotezy zerowej jest postaci C : [χ 2 1 α(1), )

13 Przykład 8.2 Od 50 osób zakażonych pewną bakterią pobrano po 2 próbki, po czym badano dla tych próbek wzrost baktrii na dwóch różnych pożywkach. Ocenić na poziomie istotności 0.05 czy wzrost bakterii jest zależny od rodzaju pożywki? pożywka I wzrost brak wzrostu pożywka II wzrost brak wzrostu 4 13

14 Przykład c.d. Testujemy hipotezę: H 0 : rodzaj pożywki nie wpływa na wzrost bakterii Przy alternatywie: H 1 : rodzaj pożywki wpływa na wzrost bakterii Wartość statystyki testowej: χ 2 = (n 12 n 21 ) 2 (13 4)2 = n 12 + n = 3.76 Obszar krytyczny jest postaci C : [3.84, ) Zatem rodzaj pożywki nie wpływa na wzrost bakterii.

15 Pakiet R - przykład 8.2 mcnemar. test ( rbind (c (20,13),c (4,13) ),correct =F) McNemar s Chi-squared test data: rbind(c(20, 13), c(4, 13)) McNemar s chi-squared = , df = 1, p-value =

16 Test Q Cochrana uogólnienie testu McNemary na przypadek k > 2 prób zależnych test jednorodności każda z wartości w dowolnej próbie może być zaklasyfikowana do jednej z dwóch kategorii

17 Test Q Cochrana Model: Próba losowa ((X 11,..., X k1 ),..., (X 1n,..., X kn )) rozmiaru n z populacji określonej przez rozkład wektora (Y 1,..., Y k ), którego współrzędne mają charakter dychotomiczny. Hipotezy H 0 : X 1,..., X k mają jednakowy rozkład H 1 : co najmniej dwie ze zmiennych X 1,..., X k mają różne rozkłady.

18 Test Q Cochrana Statystyka testowa C = ( k n ) 2 C ij, R = j=1 i=1 Q = (k 1)(kC T 2 ) kt R 2 n k k n C ij, T = C ij, i=1 j=1 j=1 i=1 gdzie C ij oznacza i - tą obserwację w j-tej próbie. Przy prawdziwości H 0 statystyka testowa ma rozkład χ 2 (k 1)

19 Iloraz szans (Odds ratio) Niech p A oznacza prawdopodobieństwo pojawienia się pewnego określonego zdarzenia w ustalonych warunkach A. Szansą sukcesu nazywamy iloraz Szansą porażki nazywamy iloraz 1 p A p A p A 1 p A Ilorazem szans (Odds ratio) nazywamy stosunek szansy sukcesu do szansy porażki OR A = p ( ) A/(1 p A ) 2 pa = (1 p A )/p A 1 p A

20 Iloraz szans (Odds ratio) Niech p A i p B oznaczają prawdopodobieństwa pojawienia się pewnego określonego zdarzenia w dwóch grupach badanych jednostek, A i B odpowiednio. Ilorazem szans dla dwóch grup nazywamy stosunek szansy sukcesu w jednej grupie do szansy sukcesu w drugiej grupie OR = p A/(1 p A ) p B /(1 p B ) = p A(1 p B ) p B (1 p A )

21 Iloraz szans OR = 1 implikuje, że p A = p B, tj. rozważane zdarzenie jest jednakowo prawdopodobne w ubu grupach. OR > 1 oznacza, że rozpatrywane zdarzenie jest bardziej prawdopodobne w grupie A

22 Test ilorazu szans Dla danej tablicy kontyngencji: Iloraz szans wyraża się jako: B B A n 11 n 12 A n 21 n 22 OR = n 11n 22 n 21 n 12

23 Test ilorazu szans (Odds ratio) Testujemy hipotezę: H 0 : OR = 1 H 0 : OR 1 Statystyka testowa postaci: Z = ln(or) 1 n n n n 22 przy prawdiwości hipotezy zerowej ma rozkład N(0, 1)

24 Przykład 8.3 Poniżesze dane przedstawiają dane dotyczące zatrudnienia w jednej z firm w zależności od przynależności do konkretnej grupy wiekowej. zatrudnieni młodzi starzy zwolnieni 13 1 pracujący Czy możemy twierdzić, że w jednej z grup szanse na zwolnienie są większe? H 0 : OR = 1 H 0 : OR 1

25 Obliczamy OR = n 11n = n 21 n = 13 Następnie wyznaczamy wartość statystyki testowej: Z = ln(11) = = = Obszar krytyczny, przy poziomie istotności α = 0.05, jest postaci: C : (, u ] [u 0.975, ) C : (, 1.96] [1.96, )

26 Polecane literatura: P.I. Good, Resampling Methods. A Practical Guide to Data Analysis, 2005 E.L. Lehmann,Teoria estymacji punktowej, PWN Warszawa 1991 R. Magiera Modele i Metody Statystyki Matematycznej, część II.