S t a t y s t y k a, część 3. Michał Żmihorski

Transkrypt

1 S t a t y s t y k a, część 3 Michał Żmihorski

2 Porównanie średnich -test T Założenia: Zmienne ciągłe (masa, temperatura) Dwie grupy (populacje) Rozkład normalny* Równe wariancje (homoscedasticity) w grupach Pomiary niezależne (osobne replikacje) Losowe próbkowanie

3 Porównanie średnich -test T Cel: Sprawdzić, czy średnie wartości cech w dwóch grupach są takie same

4 Test T -procedura 1. Ocena wizualna rozkładów (histogram, gęstość), 2. Ocena niezależności pomiarów 3. Test równości wariancji 4. Test T

5 Porównanie średnich -przykłady a<-rnorm(150,14,2) b<-rnorm(150,18,2) par(mfrow=c(2,1)) hist(a,xlim=c(10,24)) hist(b,xlim=c(10,24))

6 Test T Równość wariancji ai b (test FFisher a) var.test(a,b)

7 Test T t.test(a,b,var.equal=t, paired=f) Two Sample t-test data: a and b t = , df = 298, p-value < 2.2e-16 alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of x mean of y

8 Test T Two Sample t-test data: a and b t = , df = 298, p-value < 2.2e-16 alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of x mean of y

9 Test T Two Sample t-test data: a and b t = , df = 298, p-value < 2.2e-16 alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of x mean of y

10 Test T Two Sample t-test data: a and b t = , df = 298, p-value < 2.2e-16 alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of x mean of y

11 Test T Interpretacja: Średnia masa ciała w dwóch populacjach jest różna (p-value < 2.2e-16) Ale pomiary mogą nachodzić na siebie! sarny2<-read.table(c:\\sarny2.txt)

12 sarny2

13 plotmeans(sarny2$masa,sarny2$pop,error.bars="conf.int", main="porównanie średnich")

14 95%CI dla średniej Przedział, w którym na 95% znajduje się średnia z populacji* Różnica jest istotna gdy 95%CI dla dwóch średnich na siebie nie nachodzą * Przy założeniu normalności rozkładu i losowego próbkowania

15 Test T

16 Test T

17 Test T Mimo istotnych różnic pomiary mają (duże) pole wspólne Trudno na podstawie masy wskazać populację Morał: co innego tendencje ogólne, a co innego poszczególne przypadki Morał 2: co innego bardzo istotneróżnice, a co innego bardzo duże różnice

18 Duże różnice vs. istotne różnice p1<-rnorm(10000,15,1) p2<-rnorm(10000,15.015,1) t.test(p1,p2) P=0.001 Różnice małe ale istotne

19 Test T dla par wiązanych Założenia: Zmienne ciągłe (masa, temperatura) Dwie grupy (populacje) Rozkład normalny* Równe wariancje (homoscedasticity) w grupach Pomiary zależne (pary replikacji) Losowe próbkowanie Wektory o tej samej długości

20 Pomiary zależne (pary replikacji) Układ before-after Dwa pomiary dla tych samych jednostek (osobników, powierzchni) Przykłady: Masa saren przed i po dokarmianiu Liczba ptaków na jeziorach przed i po ekspansji norki

21 Test T dla par wiązanych Wiązanie par wyklucza zmienność między parami Jeżeli jest duża wariancja między parami to wiązany i zwykły dają zupełnie inne wyniki! Ale wiązany jest właściwy

22 Test T dla par wiązanych Testujemy hipotezę zerową: prawdziwa różnica w średnich = 0 (czyli różnice są przypadkowe) Istotność testu oznacza, że różnica 0 (czyli, że jest jakaś zmiana wartości cechy)

23 Test T dla par wiązanych -przykład k1<-rnorm(100,5,15) k2<-k t.test(k1,k2,paired=f) t.test(k1,k2,paired=t) > head(k1) t.test(k1,k2,paired=f) Welch Two Sample t-test data: k1 and k2 t = , df = 198, p-value = t.test(k1,k2,paired=t) Paired t-test data: k1 and k2 t = e+14, df = 99, p-value < 2.2e-16

24 Test T dla par wiązanych t.test(sarny2$masa~sarny2$pop,paired=t) Ale to nie są pary wiązane!

25 Test T dla par wiązanych -wizualizacja

26 Test T dla par wiązanych -wizualizacja

27 Test T -nienormalność Nienormalność cech w grupach zmniejsza wiarygodność wnioskowania dot. p-value Rośnie 95%CI dla średnich Istotne różnice stają się nieistotne Kilka odstających wyników psuje analizę

28 Test T -nienormalność liczebnosc plot 1 a 2 a 3 a 1 a 2 a 3 a 1 a 2 a 3 a 2 a 3 a 1 a 2 a 3 a 1 a 3 b 1 b 2 b 3 b 1 b 2 b 3 b 2 b 3 b 1 b 2 b 3 b 1 b 2 b 100 b

29 Test T transformacja danych = normalizacja Przekształcamy dane (z obu grup!) Ponownie wrzucamy do analizy

30 Najczęstsze transformacje Logarytm Pierwiastek Odwrotność Potęga

31 Test T transformacja danych liczebnosc plot 1 a 2 a 3 a 1 a 2 a 3 a 1 a 2 a 3 a 2 a 3 a 1 a 2 a 3 a 1 a 3 b 1 b 2 b 3 b 1 b 2 b 3 b 2 b 3 b 1 b 2 b 3 b 1 b 2 b 100 b t.test(log(kk$liczebnosc)~kk$plot)

32 Nieparametryczna alternatywa testu T Jak dane trudno normalizować Rangi zamiast pomiarów oryginalnych Test Manna-Whitney a=test U = Test Wilcoxona Testuje czy dwie próby pochodzą z tego samego rozkładu (nie różnicę średnich!)

33 Nieparametryczna alternatywa testu T wilcox.test(sarny2$masa~sarny2$pop,paired=f)...paired=t) Wilcoxon signed rank test with continuity correction data: sarny2$masa by sarny2$pop data: sarny2$masa by sarny2$pop V = 0, p-value < 2.2e-16 alternative hypothesis: true location shift is not equal to 0

34 Parametryczne vs. nieparametryczne Par. mocniejsze Par. parametryczne Par. łatwiejsze do interpretacji biologicznej Par. niewiarygodne dla nienormalnych danych Npar. mniej wrażliwe Npar. też mają swoje założenia

35 Korelacja Dwie zmienne ciągłe Rozkłady normalne Pomiary niezależne (osobne replikacje) Losowe próbkowanie

36 Korelacja Cel: sprawdzić czy istnieje zależność (korelacja) między dwoma cechami* * zakładamy liniową zależność lub zbliżoną innej nie wykryjemy w ten sposób

37 s1<-rnorm(30,3,1) s2<-rnorm(30,3,1) plot(s1,s2) Korelacja

38 Korelacja dopasowanie liniowe s1<-rnorm(30,3,1) s2<-rnorm(30,3,1) plot(s1,s2) abline(lm(s2~s1))

39 Dopasowanie minimalizujące odchylenia

40 Korelacja -interpretacja Wielkość korelacji określa współczynnik korelacji r rwaha się od -1 do +1 r=0 oznacza brak korelacji (brak związku między zmiennymi) r>0 korelacja dodatnia (im więcej tym więcej) r<0 korelacja ujemna (im więcej tym mniej)

41 Korelacja -interpretacja cor(s1,s2) Zależność ujemna, ale czy w ogóle jest zależność???

42 Korelacja -interpretacja cor.test(s1,s2) Pearson's product-moment correlation data: s1 and s2 t = , df = 28, p-value = alternative hypothesis: true correlation is not equal to 0 95 percent confidence interval: sample estimates: cor

43 Korelacja -interpretacja cor.test(s1,s2) Pearson's product-moment correlation data: s1 and s2 t = , df = 28, p-value = alternative hypothesis: true correlation is not equal to 0 95 percent confidence interval: sample estimates: cor

44 Korelacja -interpretacja cor.test(s1,s2) Pearson's product-moment correlation data: s1 and s2 t = , df = 28, p-value = alternative hypothesis: true correlation is not equal to 0 95 percent confidence interval: sample estimates: cor

45 Korelacja vs. przyczynowość Nie precyzujemy związku przyczynowoskutkowego Nie wskazujemy przyczyny i skutku Korelacja nie jest dowodem na przyczynowość

46 t = , df = 312, p-value = 7.127e-06

47 Korelacja -przykład scatterplot(sarny2$masa,sarny2$area)

48 Korelacja vs. regresja Regresja = korelacja W regresji mamy przyczynowość Nie jest obojętne miejsce xi y Regresja parametryzuje zależność Jest to model, czyli opis funkcjonowania rzeczywistości

49 Regresja lm(s1~s2) lm(linear model) ~ czyli zależność (tu: s1zależy od s2)

50 Regresja summary(lm(s1~s2))

51

52

53 Effect size! Pokazuje jak duże są różnice

54

55 Korelacja nieparametryczna Korelacja rangowa Spearmana cor.test(s1,s2,method="spearman")

56 Korelacja-nienormalność a1 a

57 Korelacja-nienormalność cor.test(corr$a1,corr$a2,method="spearman") Spearman's rank correlation rho data: corr$a1 and corr$a2 S = , p-value = 9.784e-05 alternative hypothesis: true rho is not equal to 0 sample estimates: rho

58 Korelacja-nienormalność Pearson's product-moment correlation data: corr$a1 and corr$a2 t = , df = 20, p-value < 2.2e-16 alternative hypothesis: true correlation is not equal to 0 95 percent confidence interval: sample estimates: cor

59 cor.test(log(corr$a1),log(corr$a2),method="pearson") Pearson's product-moment correlation data: log(corr$a1) and log(corr$a2) data: log(corr$a1) and log(corr$a2) t = , df = 20, p-value = alternative hypothesis: true correlation is not equal to 0 95 percent confidence interval: sample estimates: cor

60

61

62 Asocjacja tabele liczności korelacja na kategoriach Tabele krzyżowe Liczba przypadków (nie wartości pomiarów!) w każdym okienku

63 Asocjacja -przykład Cel: sprawdzić czy przypadki rozkładają się losowo w grupach

64 Rozkład teoretyczny Rozkład teoretyczny przy braku asocjacji: 10*10/20= Sprawdzamy jak duża (czy istotna) jest różnica między rozkładami testem Chi-kwadrat (χ2)

65 Asocjacja -przykład Czy płeć wpływa na preferencję środowiskową saren? table(sarny2$pop,sarny2$sex) f m las pole

66 Asocjacja -przykład chisq.test(table(sarny2$pop,sarny2$sex)) Pearson's Chi-squared test data: table(sarny2$pop, sarny2$sex) X-squared = , df = 1, p-value = 1.53e-08

67 Stopnie swobody Chi=4.0, df=1 istotny Chi=4.0, df=1 istotny Chi=4.0, df=6 nieistotny

68 uwagi

69 t.test Test t jak nierówne wariancje: t.test(a,b,var.equal=f, paired=f) Ustawienia domyślne: brak paired=f w kodzie nic nie zmienia

70 korelacja

71 boxplotvs. plotmeans 1.5*box 50% rekordów median

72 Wyniki nieistotne Brak różnic Słaby test Wnioskiem nie jest brak różnic (!) tylko brak dowodu na różnice Problem wielkości próby (Power analysis!)