KORELACJE I REGRESJA LINIOWA

Transkrypt

1 KORELACJE I REGRESJA LINIOWA

2 Korelacje i regresja liniowa Analiza korelacji: Badanie, czy pomiędzy dwoma zmiennymi istnieje zależność Obie analizy się wzajemnie przeplatają Analiza regresji: Opisanie modelem matematycznym zależności pomiędzy dwoma zmiennymi

3 Korelacje i regresja liniowa Badamy [%] wyciek soków tkankowych z tkanki mięśniowej ryb w czasie chłodniczego przechowywania przez 2, 4, 6, 8 i 10 dni. Chcemy określić wpływ długości przechowywania na wielkość wycieku. X Zmienna niezależna Y Zmienna zależna Czas Wyciek 2 1,7 4 2,2 6 3,2 8 3,6 10 4,5 n=5 L-ba par zmiennych X i Y

4 Korelacje i regresja liniowa ,5 3 2,5 2 1,5 1 0, ,5 4, ,5 3 1,5 2, ,5 1 0,5 0,

5 Korelacje i regresja liniowa ,5 3 2,5 2 1,5 1 0, ,5 4, ,5 3 1,5 2, ,5 1 0,5 0,

6 Korelacje i regresja liniowa 5 4,5 4 3,5 3 2,5 2 1,5 1 0,

7 Analiza korelacji Metoda graficzna Kowariancja Współczynnik korelacji rang Spearmana Współczynnik korelacji liniowej Pearsona

8 Analiza korelacji Metoda graficzna Kowariancja Współczynnik korelacji rang Spearmana Współczynnik korelacji liniowej Pearsona

9 Metoda graficzna Do wykrycia zależności (korelacji) służą wykresy rozrzutu Wyniki układają się wzdłuż linii Jest zależność! Wyniki układają się w rozmytą chmurę punktów Brak zależności!

10 Metoda graficzna Do wykrycia zależności (korelacji) służą wykresy rozrzutu Zależność wprosproporcjonalna Zależność odwrotnie proporcjonalna

11 Analiza korelacji Metoda graficzna Kowariancja Współczynnik korelacji rang Spearmana Współczynnik korelacji liniowej Pearsona

12 Kowariancja Liczbowa miara zależności dwóch zmiennych X i Y cov X, Y = 1 n n i=1 x i x 2 y i y Zmienne X i Y są niezależne jeśli cov(x,y)=0

13 Kowariancja Cov(X,Y) > 0 Cov(X,Y) < 0 zależność wprostproporcjonalna (ze wzrostem x rośnie y) zależność odwrotnie proporcjonalna (ze wzrostem x maleje y) Możemy ocenić kierunek zależności, ale nie możemy ocenić jej siły!

14 Analiza korelacji Metoda graficzna Kowariancja Współczynnik korelacji rang Spearmana Współczynnik korelacji liniowej Pearsona

15 Współczynnik korelacji liniowej Pearsona Między zmiennymi X i Y istnieje zależność liniowa, jeżeli najlepszym przybliżeniem obserwowanego związku jest linia prosta obliczając r Pearsona mierzymy, jak blisko linii prostej najlepiej opisującej ich związek liniowy leżą punkty

16 Współczynnik korelacji liniowej Pearsona Dla populacji generalnej: r = r cov(x, Y) σ X σ(y)

17 Dla próby: Współczynnik korelacji liniowej Pearsona r = n i=1 n i=1 x i x y i y n i=1 x i x 2 y i y 2

18 Współczynnik korelacji liniowej Pearsona Właściwości: r przyjmuje wartości z przedziału od -1 do +1 Znak r wskazuje, czy zależność jest wprostproporcjonalna (dodatni r) czy odwrotnie proporcjonalna (ujemny r) Wielkość r wskazuje, jak blisko linii prostej znajdują się punkty X i Y można zamieniać miejscami bez wpływu na wartość r Korelacja między X i Y niekoniecznie oznacza związek przyczynowy

19 Współczynnik korelacji liniowej Pearsona r = 1 Idealna zależność liniowa wprostproporcjonalna r = -1 Idealna zależność liniowa odwrotnie proporcjonalna

20 Współczynnik korelacji liniowej Pearsona r = 0,90 r = -0,90 Silna zależność liniowa wprostproporcjonalna Silna zależność liniowa odwrotnie proporcjonalna

21 Współczynnik korelacji liniowej Pearsona r = 0 r = -0,5 Brak zależności Umiarkowana zależność liniowa odwrotnie proporcjonalna

22 Współczynnik korelacji liniowej Pearsona Na podstawie wartości r oceniamy siłę zależności: r = 0 zmienne nieskorelowane 0 < r 0,3 korelacja niska 0,3 < r 0,5 korelacja przeciętna (średnia) 0,5 < r 0,7 korelacja wysoka 0,7 < r 0,9 korelacja bardzo wysoka 0,9 < r < 1 korelacja prawie pełna

23 Współczynnik korelacji liniowej Pearsona Aby ocenić korelację pomiędzy zmiennymi należy znać: poziom istotności p współczynnika r (określa, czy korelacje jest/nie jest statystycznie istotna) wartość r (siła korelacji) znak +/- przy r (zależność wprost/odwrotnie proporcjonalna)

24 Współczynnik korelacji liniowej Pearsona Jak ocenić czy r jest istotny? Hipoteza zerowa: Hipoteza alternatywna: H 0 : r =0 H 1 : r 0 1) Korzystamy z tablic wartości krytycznych r kr ( =0,05, n) 2) Wykorzystujemy funkcję testową t-studenta

25 Współczynnik korelacji liniowej Pearsona Jak ocenić czy r jest istotny? Hipoteza zerowa: Hipoteza alternatywna: H 0 : r =0 H 1 : r 0 1) Korzystamy z tablic wartości krytycznych r kr ( =0,05, n)

26

27 Współczynnik korelacji liniowej Pearsona Jak ocenić czy r jest istotny? Hipoteza zerowa: Hipoteza alternatywna: H 0 : r =0 H 1 : r 0 1) Korzystamy z tablic wartości krytycznych r kr ( =0,05, n) r<r kr - przyjmujemy hipotezę H 0 r>r kr - przyjmujemy hipotezę H 1

28 Współczynnik korelacji liniowej Pearsona Jak ocenić czy r jest istotny? Hipoteza zerowa: H 0 : r =0 Hipoteza alternatywna: H 1 : r 0 2) Wykorzystujemy funkcję testową t-studenta t = r (1 r 2 ) n 2 t kr (, f=n-2) Z tablic rozkładu t-studenta

29 Współczynnik korelacji liniowej Pearsona Jak ocenić czy r jest istotny? Hipoteza zerowa: H 0 : r =0 Hipoteza alternatywna: H 1 : r 0 2) Wykorzystujemy funkcję testową t-studenta t<t kr - przyjmujemy hipotezę H 0 t>t kr - przyjmujemy hipotezę H 1

30 Współczynnik korelacji liniowej Pearsona Stosujemy gdy: zmienne mają rozkład normalny ORAZ zależność ma charakter liniowy

31 Współczynnik korelacji liniowej Pearsona Kiedy nie należy obliczać r: istnieje nieliniowy związek między dwoma zmiennymi (np. związek kwadratowy

32 Współczynnik korelacji liniowej Pearsona Kiedy nie należy obliczać r: występuje jedna lub więcej wartości odstających

33 Współczynnik korelacji liniowej Pearsona Kiedy nie należy obliczać r: dane zawierają podgrupy, dla których średnie poziomy wartości dla co najmniej jednej zmiennej są różne

34 Analiza korelacji Metoda graficzna Kowariancja Współczynnik korelacji rang Spearmana Współczynnik korelacji liniowej Pearsona

35 Współczynnik korelacji rang Spearmana Alternatywa dla współczynnika korelacji liniowej Pearsona. Nadaje się również do analizy zależności nieliniowych. Stosujemy, gdy: zmienne nie mają rozkładu normalnego ORAZ/LUB zależność ma charakter nieliniowy

36 Współczynnik korelacji rang Spearmana Uporządkowanym od najmniejszej do największej wartości zmiennym nadaje się rangi i wylicza R Spearmana: R = 1 6 n i=1 D 2 n(n 2 1) n ilość pomiarów D - różnica rang Przyjmuje wartości od -1 do +1 interpretacja taka jaka dla r Pearsona

37 Współczynnik korelacji rang Spearmana R = 1 6 n i=1 D 2 n(n 2 1) X Y ranga X ranga Y D D^ ,5 1 1,5 2, ,5 4, ,5 1,5 2,25 suma 11,5

38 Współczynnik korelacji rang Spearmana Jak ocenić czy R jest istotny? Hipoteza zerowa: Hipoteza alternatywna: H 0 : R =0 H 1 : R 0 Korzystamy z tablic wartości krytycznych R kr ( =0,05, n)

39

40 Współczynnik korelacji rang Spearmana Jak ocenić czy R jest istotny? Hipoteza zerowa: Hipoteza alternatywna: H 0 : R =0 H 1 : R 0 Korzystamy z tablic wartości krytycznych R kr ( =0,05, n) R<R kr - przyjmujemy hipotezę H 0 R>R kr - przyjmujemy hipotezę H 1

41 Istotność różnic między wsp. korelacji Gdy wykonujemy dwie serie niezależnych pomiarów (dwie pary zmiennych X i Y), dla każdej pary możemy uzyskać różny współczynnik korelacji. Aby ocenić, czy istotnie się między sobą różnią, wykorzystujemy funkcję t-studenta.

42 Istotność różnic między wsp. korelacji Hipoteza zerowa: H 0 : r 1 = r 2 Hipoteza alternatywna: H 1 : r 1 r 2 t r = 1 2 ln 1 + r 1 (1 r 2 ) 1 r 1 (1 + r 2 ) n 1 3 (n 2 3) n 1 + n 2 6 t kr ( =0,05, f=n 1 +n 2-4) t r <t kr - przyjmujemy hipotezę H 0 t r >t kr - przyjmujemy hipotezę H 1

43 Analiza regresji liniowej

44 Analiza regresji liniowej Regresja liniowa jest rozszerzeniem korelacji liniowej i pozwala na: graficzną prezentację linii prostej dopasowanej do wykresu rozrzutu określenie równania opisujące zależność dwóch zmiennych w postaci y = a + b* x zmienna zależna wyraz wolny współczynnik kierunkowy prostej zmienna niezależna

45 Wynik testu Analiza regresji liniowej Iloraz inteligencji

46 Wynik testu Analiza regresji liniowej y = a + b* x Iloraz inteligencji

47 Analiza regresji liniowej W jaki sposób wyznaczana jest linia regresji liniowej? przez minimalizację sumy kwadratów odchyleń punktów doświadczalnych od linii regresji tzw. metoda najmniejszych kwadratów (y i y i obl ) 2 = min y i wartości doświadczalne y i obl wartości obliczone z równania regresji

48 Analiza regresji liniowej

49 Analiza regresji liniowej W jaki sposób wyznaczana jest linia regresji liniowej y=a+b*x? Sprowadza się to do obliczenia współczynników a i b b = n x i y i x i y i n x i 2 x i 2 a = y i b x i n = y b x

50 Analiza regresji liniowej y = a + b*x a i b wyznaczamy na podstawie danych empirycznych ; a i b pewnym oszacowaniem rzeczywistych wartości i b a i b obarczone są błędem! Obliczamy go na podstawie wariancji resztowej σ r 2 = y i y i obl 2 n 2

51 Analiza regresji liniowej Dla współczynnika b: σ b 2 = n σ r 2 n x i 2 x i 2 Dla współczynnika a: σ a 2 = σ b 2 n x i 2

52 Analiza regresji liniowej Dokładność wyznaczenia współczynników: = a t(p, f=n-2) a b = b t(p, f=n-2) b

53 Analiza regresji liniowej Sprawdzamy, czy a i b istotnie różnią się od 0: Hipoteza zerowa: H 0 : a=0 H 0 : b=0 Hipoteza alternatywna: H 1 : a 0 H 1 : b 0 t a = a 0 σ a = a σ a t b = b 0 σ b = b σ b t kr (, f=n-2) t a (t b ) <t kr - przyjmujemy hipotezę H 0 t a (t b ) >t kr - przyjmujemy hipotezę H 1

54 Analiza regresji liniowej y = a+ b*x Współczynniki a i b muszą istotnie różnić się od 0 aby były uwzględnione w równaniu. Jeśli b=0 wartości y są stałe (równe a) Jeśli a=0 równanie upraszcza się do y=b*x

55 Analiza regresji liniowej Jeśli chcemy sprawdzić, czy a i b są zgodne z wartościami literaturowymi (sens fizyko-chem): Hipoteza zerowa: H 0 : a=a 0 H 0 : b=b 0 Hipoteza alternatywna: H 1 : a a 0 H 1 : b b 0 t a = a a 0 σ a t b = b b 0 σ b t kr (, f=n-2) t a (t b ) <t kr - przyjmujemy hipotezę H 0 t a (t b ) >t kr - przyjmujemy hipotezę H 1

56 Analiza regresji liniowej Do czego służy wyznaczone równanie? 1) Na podstawie znanych x obliczamy y 2) Na podstawie znanych y obliczamy x

57 Analiza regresji liniowej Do czego służy wyznaczone równanie? 1) Na podstawie znanych x obliczamy y y k =a+b*x k Błąd wyznaczenia y k σ yk = σ r 2 n + x k x 2 σ b 2 y = y k t(,f=n-2) yk Im x k jest bardziej oddalony od wartości średniej, tym większy błąd oszacowania

58 Analiza regresji liniowej Wynik testu Im x k jest bardziej oddalony od wartości średniej, tym przedział ufności jest szerszy x IQ

59 Analiza regresji liniowej Do czego służy wyznaczone równanie? 2) Na podstawie znanych y obliczamy x Błąd wyznaczenia x k x k =(y k -a)/b σ xk = 1 b σ r 2 n + y k y 2 b 2 σ b 2 x = x k t(,f=n-2) xk Im y k jest bardziej oddalony od wartości średniej, tym większy błąd oszacowania

60 Analiza regresji liniowej Wynik testu 60 y Im y k jest bardziej oddalony od wartości średniej, tym przedział ufności jest szerszy IQ

61 Analiza regresji liniowej Ocena dobroci dopasowania Współczynnik korelacji liniowej Pearsona Współczynnik determinacji Współczynnik indeterminacji Analiza reszt

62 Analiza regresji liniowej Ocena dobroci dopasowania Współczynnik korelacji liniowej Pearsona Współczynnik determinacji Współczynnik indeterminacji Analiza reszt

63 Analiza regresji liniowej Ocena dobroci dopasowania Współczynnik korelacji liniowej Pearsona Im r bliższy 1 tym lepsza jakość modelu

64 Analiza regresji liniowej Ocena dobroci dopasowania Współczynnik korelacji liniowej Pearsona Współczynnik determinacji Współczynnik indeterminacji Analiza reszt

65 Analiza regresji liniowej Ocena dobroci dopasowania Współczynnik determinacji r 2 współczynnik korelacji liniowej Pearsona podniesiony do kwadratu Podawany w postaci: - ułamkowej [0,1] - procentowej 0-100% Im bliższy 1 tym lepsza jakość modelu

66 Analiza regresji liniowej Ocena dobroci dopasowania Współczynnik korelacji liniowej Pearsona Współczynnik determinacji Współczynnik indeterminacji Analiza reszt

67 Analiza regresji liniowej Ocena dobroci dopasowania Współczynnik indeterminacji 2 = 1- r 2 tzw. współczynnik rozbieżności Podawany w postaci: - ułamkowej [0,1] - procentowej 0-100% Im bliższy 0 tym lepsza jakość modelu

68 Analiza regresji liniowej Ocena dobroci dopasowania Współczynnik korelacji liniowej Pearsona Współczynnik determinacji Współczynnik indeterminacji Analiza reszt

69 Analiza regresji liniowej Ocena dobroci dopasowania Analiza reszt e i e i = y i y i obl Reszty powinny spełniać rozkład normalny, mieć charakter losowy i nie wykazywać autokorelacji Normalność reszt badamy testem chi-kwadrat lub testem Kołmogorowa-Smirnowa Losowość reszt oceniamy na wykresie

70 reszty Analiza regresji liniowej Reszty losowo znajdują się powyżej i poniżej 0