Wykład 11: Analiza danych w tablicach dwudzielczych

Transkrypt

1 Wykład 11: Analiza danych w tablicach dwudzielczych opisywanie relacji w tablicach dwudzielczych rozkłady łączne, brzegowe i warunkowe test chi-kwadrat dla niezależności paradoks Simpsona

2 Przykład 1: Czy mężczyźni i kobiety uprawiają sport z tych samych powodów? Przebadano 67 mężczyzn i 67 kobiet. Wyniki: HSC-HM: kobiety 14, mężczyźni 31 HSC-LM: kobiety 7, mężczyźni 18 LSC-HM: kobiety 21, mężczyźni 5 LSC-LM: kobiety 25, mężczyźni 13 Legenda: HSC (LSC)=high (low) social comparison; HM (LM)=high (low) mastery

3 Table of goal by sex (a Two-Way table) goal sex Frequency Percent % female male Total HSC-HM HSC-LM 7 18 LSC-HM 21 5 LSC-LM Total 134 Here: goal -row variable, sex -column variable Exercise: complete Percent=the joint distribution of goal and sex

4 goal sex Frequency Percent % Row Pct % Col Pct % female male Total HSC-HM HSC-LM LSC-HM LSC-LM Total Exercise: Find the marginal distribution of goal. Find the marginal distribution of sex.

5 MARGINAL distribution of goal in this study: Cumulative Cumulative goal Frequency Percent Frequency Percent ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ HSC-HM HSC-LM LSC-HM LSC-LM Percentage ***** ***** ***** ***** 30 ˆ ***** ***** 25 ˆ ***** ***** 20 ˆ ***** ***** ***** ***** ***** ***** ***** ***** ***** ***** 15 ˆ ***** ***** ***** ***** ***** ***** ***** ***** ***** ***** ***** ***** 10 ˆ ***** ***** ***** ***** ***** ***** ***** ***** ***** ***** ***** ***** 5 ˆ ***** ***** ***** ***** ***** ***** ***** ***** ***** ***** ***** ***** Šƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ HSC-HM HSC-LM LSC-HM LSC-LM

6 MARGINAL distribution of sex in this study: Cumulative Cumulative sex Frequency Percent Frequency Percent ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ female male Percentage 50 ˆ ***** ***** 40 ˆ ***** ***** 30 ˆ ***** ***** 20 ˆ ***** ***** 10 ˆ ***** ***** Šƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ female male

7 Conditional distribution (of goal given sex): goal sex Frequency Percent Col Pct female male Total HSC-HM HSC-LM LSC-HM LSC-LM Total Exercise: Find the distribution of goals among females= conditional distribution of goal given that sex=female.

8

9 A Summary of the calculations: goal sex Frequency Percent Row Pct Col Pct female male Total HSC-HM HSC-LM LSC-HM LSC-LM Total

10 Notacja matematyczna Pr(cel=HSC&HM płeć=kobieta)=20.90 Pr(cel=LSC&HM płeć=kobieta)= Pr(cel=HSC&HM płeć=mężczyzna)= Pr(cel=LSC&HM płeć=mężczyzna)= Ogólnie: Pr(A B):=Pr(A B)/P(B) Pr(cel=HM płeć=kobieta)= Pr(cel=HM płeć=kobieta)=

11 Wnioskowanie statystyczne dla tablic dwudzielczych Testowanie hipotez za pomocą tabel dwudz. H 0 : nie ma zależności między zmiennymi wierszową i kolumnową H a : istnieje zależność Aby przetestować te hipotezy, porównaj obserwowaną liczbę komórek z oczekiwaną liczbą komórek. Oczekiwana = obliczona przy założeniu, że hipoteza zerowa jest prawdziwa.

12 Expected count := row total column total n Tutaj n = łączna liczb obserwacji dla tabeli.

13 Exercise: Calculate EXPECTED counts. goal sex Frequency Expected Percent Row Pct Col Pct female male Total HSC-HM HSC-LM LSC-HM LSC-LM Total

14 Statystyka testowa: Statystyka Chi-kwadrat X 2 observed count - expected count 2 expected count

15 If Z 1, Z 2,..., then X Z 2 1 Z k Definition : areindependen t N(0,1) variables, Z Z 2 k has the 2 k distributi on. Statystyka X 2 ma w przybliżeniu rozkład chi-kwadrat z stopniami swobody df= (r-1)(c-1). W naszym przykładzie, df=(4-1)(2-1)=3.

16 Rozkłady Chi-kwadrat z df = 2 i 4:

17 P-wartość P dla testu chi-kwadrat: To prawy ogon rozkładu. P 2 2 ( X )

18

19

20 Finale: Czy mężczyźni i kobiety uczestniczą w sporcie z tych samych powodów? Frequency Expected Percent Row Pct Col Pct female male Total HSC-HM HSC-LM LSC-HM LSC-LM Total

21 Rozwiązanie: 2 2 observed count - expected count X expected count

22 Typowy wydruk z oprogramowania (SAS, procedura FREQ): Statistics for Table of goal by sex Statistic DF Value Prob ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ Chi-Square <.0001 Likelihood Ratio Chi-Square <.0001 Mantel-Haenszel Chi-Square <.0001 Phi Coefficient Contingency Coefficient Cramer's V Sample Size = 134

23 Zasady korzystania z testu: Test chi-kwadrat staje się dokładniejszy, gdy liczba obserwacji w komórce jest znaczna. W przypadku tabel większych niż 2x2: użyj testu chikwadrat, gdy: średnia oczekiwanych wartości wynosi 5 lub więcej najmniejsza oczekiwana wartość to 1 lub więcej <20% komórek ma oczekiwane wartości mniejsze niż 5. Dla tabel 2x2: użyj testu chi-kwadrat gdy wszystkie 4 oczekiwane wartości wynoszą 5 lub więcej

24 Przykład 2: 356 volunteers classified according socioeconomic status (SES) and smoking habits. Czy palenie jest związane z SES? smoking SES Frequency Percent Row Pct Col Pct high low middle Total ƒƒƒƒƒƒƒƒˆ current ƒƒƒƒƒƒƒƒˆ former ƒƒƒƒƒƒƒƒˆ never ƒƒƒƒƒƒƒƒˆ Total

25

26 Palenie jest związane z SES: smoking SES Frequency Expected Percent Row Pct Col Pct high low middle Total ƒƒƒƒƒƒƒƒˆ current ƒƒƒƒƒƒƒƒˆ former ƒƒƒƒƒƒƒƒˆ never ƒƒƒƒƒƒƒƒˆ Total Statistics for Table of smoking by SES Statistic DF Value Prob ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ Chi-Square Likelihood Ratio Chi-Square Mantel-Haenszel Chi-Square Phi Coefficient Contingency Coefficient Cramer's V Sample Size = 356

27 Przykład 3 (ponownie aspiryna): amerykańskich lekarzy. Połowa z nich zażywała aspirynę. Po 3 latach 139 osób, które zażywały aspirynę i 239 osób przyjmujących placebo, miało zawał serca. Ustal, czy istnieje związek ASA i zawał serca.

28

29

30 Table of treatment by fate SAS: The FREQ Procedure treatment fate Statistics for Table of treatment by fate Frequency Expected Percent Row Pct Col Pct heart_at no_heart Total aspirin placebo Total Statistic DF Value Prob ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ Chi-Square <.0001 Likelihood Ratio Chi-Square <.0001 Continuity Adj. Chi-Square <.0001 Mantel-Haenszel Chi-Square <.0001 Phi Coefficient Contingency Coefficient Cramer's V Fisher's Exact Test ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ Cell (1,1) Frequency (F) 139 Left-sided Pr <= F 1.203E-07 Right-sided Pr >= F Table Probability (P) Two-sided Pr <= P Sample Size = E E-07 Uwaga: Test na niezależności w tabelach dwudzielczych jest równoważny z testem (dwustronnym) dla równości dwóch proporcji.

31 Paradoks Simpsona: Skojarzenie lub porównanie dla wszystkich grup może odwrócić kierunek, gdy dane zostaną połączone w jedną grupę. Może to być spowodowane zmienną ukrytą.

32 Przykład 4: Oto liczba lotów na czas i opóźniona dla 2 linii lotniczych na 5 lotniskach. Ogólnie % lotów na czas dla każdej linii lotniczej są często zgłaszane w wiadomościach. Zmienne ukryte mogą sprawić, że takie raporty będą mylące. Alaska Airlines America West On time Delayed Total On Time Delayed Total L.A Phoenix San Diego San Francisco Seattle Total

33 a) Znajdź % opóźnionych lotów Alaska Airlines na każdym z 5 lotnisk, a następnie wykonaj to samo dla America West. (Uwaga: nie są to prawdopodobieństwa z jednego rozkładu.) Alaska Airlines America West L.A. Phoenix San Diego San Francisco Seattle b) Jaki % wszystkich lotów Alaska Airlines był opóźniony? Jaki % wszystkich lotów America West był opóźniony? (Są to najczęściej podawane dane.) c) Ameryka West ma gorsze wyniki na każdym z 5 lotnisk, ale ogólnie jest lepsza. Niemożliwe?? Wyjaśnij ostrożnie, odnosząc się do danych, w jaki sposób może się to zdarzyć.

34 Perils of aggregation This example was essentially a Three-Way table with variables: airline, timing, airport. Such tables are often reported as several twoway tables (think a book, rather than a page). Adding entries of such elementary tables to get the overall summary is aggregation and leads to ignoring the third variable (here: airport). This may lead to false general conclusions.