Zależności w danych. Korelacja i regresja Agnieszka Nowak Brzezińska SMAD w2
Korelacja Zależność korelacyjna pomiędzy cechami X i Y charakteryzuje sie tym, że wartościom jednej cechy są przyporządkowane ściśle określone wartości średnie drugiej cechy.
Ogólna postać miary korelacji: > cor( var1, var2, method = "method") Opcja domyślna to miara korelacji Pearsona cor(var1, var2) Gdy chcemy miary Rang Spearmana: cor(var1, var2, method = "spearman") gdy chcemy użyć zbioru danych zamiast osobnych zmiennych: cor(dataset, method = "pearson")
Istotność korelacji Jeśli chcemy poznać stopień istotności korelacji między badanymi zmiennymi musimy użyć dodatkowo funkcji do testowania korelacji: cor.test() > cor.test(var1, var2, method = "method") Domyślnie stosowana jest tu także miara pearsona. >cor.p = cor.test(var1, var2) Jeśli chcemy użyć innej musimy ją określić: >cor.s = cor.test(var1, var2, method = "spearman")
Wynik > cor.s Spearman's rank correlation rho data: y and x1 S = 147.713, p-value = 0.00175 alternative hypothesis: true rho is not equal to 0 sample estimates: rho 0.7362267 >
Reprezentacja graficzna korelacji. Funkcja plot() > plot(x.var, y.var) Gdy chcemy nadać tytuły osiom x i y > plot(x.var, y.var, xlab="x-axis", ylab="yaxis") Gdy chcemy ingerować w symbol punktu na wykresie > plot(x.var, y.var, pch=16) Chcąc dodać linię najlepszego dopasowania do rozrzutu punktów: > abline(lm(y.var ~ x.var)
Korelacja w R krok po kroku znaczenie Komenda w środowisku R Odczyt danych z wskazanej lokalizacji Podłączenie do danych spoza R Wybór miary korelacji. Domyślna jest pearson.inne możliwe to "kendal" oraz "spearman your.data = read.csv(file.choose()) attach(your.data) your.cor = cor(var1, var2, method = "pearson") Wyświetlenie wartości korelacji your.cor Korelacja parami cor.mat = cor(your.data, method = "pearson ) Określenie istotności korelacji cor.test(var1, var2, method="spearman") Wyświetlenie wykresu rozrzutu. Punkt jako otwarte kółko Dopasowanie linii regresji plot(x.var, y.var, xlab="x-label", ylab="ylabel", pch=21)) abline(lm(y.var ~ x.var)
korelogram Pakiet corrgram install.package(corrgram) on potrzebuje pakietów: seriation, TSP
> corrgram(mtcars, order=true, lower.panel=panel.shade,upper.panel=panel.pie, text.panel=panel.txt,main="car Milage Data in PC2/PC1 Order") > http://www.statmethods.net/advgraphs/correlograms.html
corrgram(x, order =, panel=, lower.panel=, upper.panel=, text.panel=, diag.panel=) x is a data frame with one observation per row. order=true will cause the variables to be ordered using principal component analysis of the correlation matrix. panel= refers to the off-diagonal panels. You can use lower.panel= and upper.panel= to choose different options below and above the main diagonal respectively. text.panel= and diag.panel= refer to the main diagnonal. Allowable parameters are given below. off diagonal panels panel.pie (the filled portion of the pie indicates the magnitude of the correlation) panel.shade (the depth of the shading indicates the magnitude of the correlation) panel.ellipse (confidence ellipse and smoothed line) panel.pts (scatterplot) main diagonal panels panel.minmax (min and max values of the variable) panel.txt (variable name).
Korelacja w zbiorze faithful > duration = faithful$eruptions # the eruption durations > waiting = faithful$waiting # the waiting period > cor(duration, waiting) # apply the cor function [1] 0.90081
Jeżeli obie cechy X i Y są mierzalne, to analizę zależności rozpoczynamy od sporządzenia korelogramu. Korelogram jest to wykres punktowy par {(x i, y i )}. W kartezjańskim układzie współrzędnych O(x,y) pary te odpowiadają punktom o współrzędnych (x,y). Jeżeli otrzymamy bezładny zbiór punktów, który nie przypomina kształtem wykresu znanego związku funkcyjnego, to powiemy że pomiędzy cechami X i Y nie ma zależności.
Zależność liniowa Na rysunkach smuga punktów układa się wzdłuż linii prostej. Powiemy zatem, że istnieje zależność pomiędzy cechami X i Y i jest to związek liniowy; zależność liniowa.
Błędy we wnioskowaniu o zależności cech X i Y Rysunek (z lewej) za mało danych. Zebrano dane (punkty obwiedzione kwadratem) i z korelogramu wynika brak zależności. W rzeczywistości jest zależność liniowa. Rysunek (z prawej) nietypowe dane. Trzy ostatnie punkty (odseparowane) to dane nietypowe. Sugerują zależność nieliniową (parabola). Po odrzuceniu tych nietypowych informacji widać, że jest wyraźna zależność liniowa.
Zależność nieliniowa Na rysunku widać, że smuga punktów układa sie w kształt paraboli. Powiemy zatem, że istnieje zależność pomiędzy cechami X i Y i jest to związek nieliniowy; zależność nieliniowa.
Różnie możemy wyrażać współczynnik korelacji Pearsona r = n xy - ( x)( y) sqrt[n( x 2 ) - ( x) 2 ] sqrt[n( y 2 ) - ( y) 2 ] r = xy sqrt( x 2 y 2 ) r = s xy s x s y
Korelacja dwóch zmiennych w zbiorze danych to ich kowariancja podzielona przez iloczyn odchyleń standardowych. Jest to znormalizowana miara tego jak dane są liniowo zależne. Formalnie, Dla s x i s y będących odchyleniami standardowymi zmiennych x i y w próbie oraz ich kowariancją s xy : Podobnie korelację populacji wyrazimy mając jako σ x oraz σ y odchylenia standardowe w populacji, zaś σ xy to kowariancja populacji Im bardziej wartość współczynnika korelacji jest bliska wartości 1, tym większa (dodatnia) zależność liniowa między zmiennymi x i y. Gdy współczynnik korelacji jest blisko wartości -1, oznacza to tzw. ujemną korelację liniową. Wartość bliska 0 oznacza brak zależności między badanymi zmiennymi.
. Niech x i y będą zmiennymi losowymi o ciągłych rozkładach. x i oraz y i oznaczają wartości prób losowych tych zmiennych (i=1,2,..,n), natomiast - wartości średnie z tych prób. Wówczas estymator współczynnika korelacji liniowej definiuje się następująco: Ogólnie współczynnik korelacji liniowej dwóch zmiennych jest ilorazem kowariancji i iloczynu odchyleń standardowych tych zmiennych:
INTERPRETACJA współczynnika korelacji r xy Znak współczynnika r xy mówi nam o kierunku zależności. I tak: znak plus zależność liniowa dodatnia, tzn. wraz ze wzrostem wartości jednej cechy rosną średnie wartości drugiej z cech, znak minus zależność liniowa ujemna, tzn. wraz ze wzrostem wartości jednej cechy maleją średnie wartości drugiej z cech. Wartosc bezwzględna współczynnika korelacji, czyli r xy, mówi nam o sile zależności. Jeżeli wartość bezwzględna r xy : jest mniejsza od 0,2, to praktycznie brak związku liniowego pomiędzy badanymi cechami, 0,2 0,4 - zależność liniowa wyraźna, lecz niska, 0,4 0,7 - zależność liniowa umiarkowana, 0,7 0,9 - zależność liniowa znacząca, powyżej 0,9 - zależność liniowa bardzo silna.
przykład W grupie 7 studentów badano zależność pomiędzy oceną z egzaminu z programowania (Y), a liczbą dni poświęconych na naukę (X).
Korelogram Wykres rozproszenia graficzne przedstawienie próbki w postaci punktów na płaszczyźnie O(x,y).
Widać tutaj wyraźną zależność liniową (dodatnią). Obliczamy współczynnik korelacji (Pearsona). UWAGA! Liczebność populacji jest mała (n=7). Użyjemy tak małego przykładu tylko dlatego, aby sprawnie zilustrować procedurę liczenia. Obliczanie średnich, wariancji oraz kowariancji.
INTERPRETACJA W badanej grupie studentów wystąpiła bardzo silna dodatnia (znak plus) zależność liniowa pomiędzy czasem nauki (cecha X), a uzyskaną oceną z egzaminu (cecha Y). Oznacza to, że wraz ze wzrostem czasu poświęconego na naukę rosła w tej grupie uzyskiwana ocena.
Współczynnik korelacji liniowej Pearsona Współczynnik ten (r xy ) jest miernikiem siły związku prostoliniowego między dwoma cechami mierzalnymi. Związkiem prostoliniowym nazywamy taką zależność, w której jednostkowym przyrostom jednej zmiennej (przyczyny) towarzyszy, średnio biorąc, stały przyrost drugiej zmiennej (skutku). Wzór na współczynnik korelacji liniowej Pearsona jest wyznaczany poprzez standaryzację kowariancji.
Kowariancja jest średnią arytmetyczną iloczynu odchyleń wartości zmiennych X i Y od ich średnich arytmetycznych: dla danych indywidualnych (w postaciszeregu korelacyjnego) n 1 cov( x, y) cov( y, x) ( x1 x)( y1 n i 1 y) xy x y dla danych ujęjętych formie tablicy korelacyjnej k r 1 cov( x, y) cov( y, x) ( x1 x)( y1 n i 1 j 1 y) n ij xy x y xy 1 n n i 1 x i y i dla danych indywidualnych xy 1 n k r i 1 j 1 x i y j n ij dla tablicy korelacyjnej
Kowariancja przekazuje następujące informacje o związku korelacyjnym: cov(x,y) = 0 brak zależności korelacyjnej; cov(x,y) < 0 ujemna zależność korelacyjna; cov(x,y) > 0 dodatnia zależność korelacyjna. Kowariancja przyjmuje wartości liczbowe z przedziału: [-s(x)s(y), +s s(x)s(y)], gdzie s(x) i s(y) są odchyleniami standardowymi odpowiednich zmiennych. Jeżeli cov(x,y) = -s(x)s(y), to między zmiennymi istnieje ujemny związek funkcyjny. Przy dodatnim związku funkcyjnym cov(x,y) = +s(x)s(y). Kowariancja charakteryzuje współzmienność badanych zmiennych, ale jej wartość zależy od rzędu wielkości, w jakich wyrażone są obydwie cechy, co powoduje, że nie można jej wykorzystać w sposób bezpośredni do porównań.
współczynnik korelacji linowej Pearsona, wyznaczony przez standaryzację kowariancji: To unormowany miernik natężenia i kierunku współzależności liniowej dwóch zmiennych mierzalnych X i Y : cov( x, y) rxy ryx s( x) s( y) Współczynnik korelacji liniowej Pearsona jest miarą unormowaną, przyjmującą wartości z przedziału: -1 < r xy <+1. Dodatni znak współczynnika korelacji wskazuje na istnienie współzależności pozytywnej (dodatniej), ujemny zaś oznacza współzależność negatywną (ujemną).
W pewnym Urzędzie Stanu Cywilnego pewnego dnia przeprowadzono badanie nowo zawartych małżeństw wg wieku żony i męża. Wyniki badania losowo pobranych par przedstawiono niżej. Określić siłę i kierunek zależności między badanymi zmiennymi. [Sobczyk str. 209-210, wyd.1991]
Na podstawie analizy diagramu punktowego (korelacyjnego) można stwierdzić, że zależność między badanymi zmiennymi ma charakter prostoliniowy. Dlatego też siłę i kierunek zależności można ocenić przy użyciu współczynnika korelacji liniowej Pearsona. Aby go obliczyć należy wykonać obliczenia pomocnicze:
Średni wiek kobiet zawierających w badanym dniu związek małżeński wynosi: x 235 :10 23,5 lat. Średni wiek mężczyzny wynosi: y 238 :10 23,8 lat. W celu obliczenia współczynnika korelacji liniowej Pearsona niezbędna jest znajomość odchyleń standardowych obydwu cech: s(x) Odchylenie standardowe wieku kobiet jest równe: Odchylenie standardowe wieku mężczyzn jest równe: s(y) Dysponując powyższymi informacjami możemy obliczyć współczynnik korelacji liniowej Pearsona: 134 rxy 0,86 10 3,8 4,1 r 2 xy 0,7396 n i 1 n i 1 ( ( x i y i n n x) 2 y) 2 142,5 10 169,6 10 3,8 4,1 lat lat
Zatem współczynnik korelacji liniowej Pearsona jest równy: r r xy 2 xy 120 65,7 2,7 0,4642. 0,68 Na tej podstawie można stwierdzić, że między liczbą izb a liczbą uczniów w szkole zachodzi dosyć silna dodatnia zależność korelacyjna. Zmienność jednej cechy jest w 46,42% wyjaśniona zmiennością drugiej
Dane jakościowe Często jest tak, że dane dla których chcemy mierzyć korelację, nie są danymi ilościowymi. Wtedy nie możemy użyć współczynnika korelacji liniowej Pearsona. Współczynnik korelacji rang Spearmana został opracowany właśnie dla takich przypadków.
WSPÓŁCZYNNIK KORELACJI RANG (Spearmana) Współczynnik korelacji rang (Spearmana) r S używamy w przypadku gdy: 1. choć jedna z badanych cech jest cecha jakościowa (niemierzalna), ale istnieje możliwość uporządkowania (ponumerowania) wariantów każdej z cech; 2. cechy maja charakter ilościowy (mierzalny), ale liczebność zbiorowości jest mała (n<30). Numery jakie nadajemy wariantom cech noszą nazwę rang. UWAGA! W procesie nadawania rang stymulanty porządkujemy malejąco, a destymulanty rosnąco. UWAGA! W procesie nadawania rang może zdarzyć sie więcej niż 1 jednostka o takiej samej wartości cechy (np. k jednostek). Wówczas należy na chwile nadać tym jednostkom kolejne rangi. Następnie należy zsumować takie rangi i podzielić przez k (otrzymamy w ten sposób średnią rangę dla tej grupy k jednostek). W ostateczności każda jednostka z tych k jednostek otrzyma identyczną rangę (średnia dla danej grupy k jednostek).
Wartość współczynnika korelacji rang (Spearmana) potwierdza bardzo silną, dodatnią (znak plus) zależność pomiędzy czasem nauki (X), a uzyskaną oceną (Y).
Współczynnik korelacji kolejnościowej (rang) Spearmana Współczynnik ten służy do opisu siły korelacji dwóch cech, szczególnie wtedy, gdy mają one charakter jakościowy i istnieje możliwość uporządkowania obserwacji w określonej kolejności. Miarę tę można stosować również do badania zależności między cechami ilościowymi w przypadku niewielkiej liczby obserwacji. Współczynnik rang Spearmana obliczamy ze wzoru: r s 6 n i 1 1 2 n( n d 2 i 1)
r s 6 n i 1 1 2 n( n d 2 i 1) Gdzie: d i różnice między rangami odpowiadających sobie wartości cechy x i i cechy y i (i=1, 2,..., n). Obliczenia rozpoczynamy zazwyczaj od uporządkowania wyjściowych informacji według rosnących (malejących) wariantów jednej z cech. Uporządkowanym wartościom nadajemy następnie numery kolejnych liczb naturalnych. Czynność ta nosi nazwę rangowania. Rangowanie może odbywać się od najmniejszej do wartości największej do najmniejszej i odwrotnie, przy czym sposób rangowania musi być jednakowy dla obydwu zmiennych. W przypadku, gdy występują jednakowe wartości realizacji zmiennych, przyporządkowujemy im średnią arytmetyczną obliczoną z ich kolejnych numerów. Mówi się wówczas o występowaniu węzłów. Jednakowe rangi wartości badanych zmiennych (lub na ogół jednakowe) świadczą o istnieniu dodatniej korelacji między zmiennymi. Natomiast przeciwstawna numeracja sugeruje istnienie korelacji ujemnej. Współczynnik rang przyjmuje wartości z przedziału 1 < r s < +1, a jego interpretacja jest identyczna jak współczynnika korelacji Pearsona.
Transformacja cech przedziałowych na porządkowe
Korelacja rang Spearman a r Osoba X Y X rank Y rank A 0 4 1 2 B 2 1 2 1 C 8 10 5 5 D 6 9 4 4 E 4 6 3 3
Korelacja rang Spearman a r Krok 2 Obliczenie wartości SP SP = XY - X Y/n
Korelacja rang Spearman a r Osoba X rank Y rank XY rank A 1 2 2 B 2 1 2 C 5 5 25 D 4 4 16 E 3 3 9 15 15 54
Korelacja rang Spearman a r Krok 2 Określenie wartości SP XY = 54 X = 15 Y = 15 n = 5 SP = XY - X Y/n = 54-15(15)/5 = 54-225/5 = 54-45 = 9
Korelacja rang Spearman a r Krok 3 Określenie SS (dla każdej zmiennej). X = 15 Y = 15 n = 5 SS X = X 2 ( X) 2 /n SS Y = Y 2 ( Y) 2 /n
Korelacja rang Spearman a r Osoba X X 2 Y Y 2 A 1 1 2 4 B 2 4 1 2 C 5 25 5 25 D 4 16 4 16 E 3 9 3 9 X 2 = 55 Y 2 = 55
Korelacja rang Spearman a r Krok 3 Obliczenie SS X = 15 X 2 = 55 Y = 15 Y 2 = 55 n = 5 SS X = X 2 ( X) 2 /n SS Y = Y 2 ( Y) 2 /n = 55 - (15) 2 /5 = 55-225/5 = 55-45 = 10 **Zauważ, że rangi dla X i Y są identyczne. Przez to SS X = SS Y
Korelacja rang Spearman a r Krok 4 SP = 9 SS X = 10 SS Y = 10 Spearman r s = SP (SS X )(SS Y ) = 9 (10)(10) = 9/10 = +0.9
Porównanie korelacji Pearson a i rang Spearman a Osoba X Y X rank Y rank A 0 4 1 2 B 2 1 2 1 C 8 10 5 5 D 6 9 4 4 E 4 6 3 3 Pearson r =.86 Spearman r =.90
przykład Na podstawie kontroli całokształtu pracy zawodowej i kwalifikacji nauczycieli dyrektor szkoły i wizytator wydali opinię o każdym z nauczycieli. Wyniki ujęto w punktach. Ustalić natężenie współzależności między opiniami o nauczycielach dyrektora i wizytatora [Sobczyk str. 214, wyd. z 1991]
Punktowym wynikom oceny nauczycieli nadajemy rangi, największej ilości punktów przypisujemy rangę 1. Wykorzystują wzór na współczynnik rang Spearmana otrzymujemy: r s 6 17 1 0,92 11(121 1) Otrzymany wynik wskazuje, że współzależność opinii dyrektora i wizytatora jest bardzo silna. Oceniający kierowali się podobnymi kryteriami. Współczynnik determinacji liniowej obydwu zmiennych wynosi 84,64% (wszak r s2 0, 8464 )
Współczynnik determinacji r = 0 r 2 = 0 r =.80 r 2 =.64 r = 1 r 2 = 1 Współczynnik korelacji r dostarcza miar stopnia zależności między danych Współczynnik determinacji r 2 dostarcza miary siły tej zależności.
Współczynnik determinacji R 2 r 2 jest często używany i nosi nazwę współczynnika determinacji. Jest to frakcja zmienności wartości Y, które można wytłumaczyć najmniejszych kwadratów regresji y na xi. Współczynniki korelacji, których wielkość wynosi od 0,9 i 1,0 wskazują zmienne, które można uznać za bardzo silnie skorelowane. Współczynniki korelacji, których wielkość wynosi od 0,7 i 0,9 wskazują zmienne, które można uznać za wysoce skorelowane. Współczynniki korelacji, których wielkość wynosi od 0,5 do 0,7 wskazać zmienne, które można uznać za umiarkowanie skorelowane. Współczynniki korelacji, których wielkość wynosi od 0,3 do 0,5 wskazać zmienne, które mają niską korelację. Współczynniki korelacji, których wielkość jest mniejsza niż 0,3 mają niewielkie lub wręcz żadne (liniowy). Możemy łatwo zauważyć, że 0,9 < r <1,0 odpowiada 0,81 <r2 <1,00; 0,7 < r <0,9 odpowiada 0,49 <r2 <0,81; 0,5 < r <0,7 odpowiada 0,25 <r2 <0,49; 0.3 < r <0,5 wiąże się z 0,09 <r2 <0,25 oraz 0,0 < r <0,3 odpowiada z 0,0 <r2 <0.09.
Współczynnik determinacji r =.93 r 2 = (.93) 2 r 2 =.86
Person X Y A 0 4 B 2 1 C 8 10 D 6 9 E 4 6 r =.86 r 2 =.74 Współczynnik determinacji
Typ danych a miara korelacji
Point-Biserial Współczynnik korelacji (RPB) jest szczególnym przypadkiem miary Pearsona, gdzie jedna zmienna jest ilościowa, a druga zmienna jest nominalna (dychotomiczna bądź posiadająca więcej niż 2 wartości wykluczające się, jak to jest w przypadku cech dychotomicznych). RPB = (Y1 - Y0) * sqrt (pq) / (Y) gdzie Y0 i Y1 są wartościami średnimi dla danych, które dla zmiennej X mają wartości nominalne. q = 1 - p oraz p są proporcjami par danych dla zmiennej X, (Y) to odchylenie standardowe Y w populacji.
Współczynnik Phi Jeśli obie analizowane zmienne są nominalne (bądź nawet dychotomiczne) można stosować uproszczoną miarę korelacji Pearsona. Użyjemy tzw. tablic kontyngencji. Jest to dwuwymiarowa tablica określająca częstość każdej kategorii. Jeśli dla obu analizowanych zmiennych mamy po 2 możliwe wartości tablica ta będzie miała wymiar: 2 x 2. phi = (25-100)/sqrt(15 15 15 15) = -75/225 = -0.33
Miary asocjacji: C, V, Lambda Są także miary specjalnie dla danych nominalnych ale takich które wcale nie muszą być dychotomiczne. Jedną z nich jest współczynnik kontyngencji Pearsona (nazywany C), jest także współczynnik V Cramer a. Obie miary stosują statystykę chi-kwadrat. Jest i trzecia miara Goodmana i Kruskala nazywana współczynnkiem lambda.
Biserial Correlation Coefficient Inna miara asocjacji (r b ) podobna do miary point biserial, z tym że dane ilościowe są traktowane jak dane porządkowe i np. dalej traktowane jak nominalne. Np. zamiast wynik jakiegoś pomiaru będzie określany tylko w kategoriach wysoki lub niski. Y1 i Y0 są tak traktowane jak w poprzednich miarach. Zaś Y to wysokość rozkładu normalnego w punkcie z gdzie P(z'<z)=q i P(z'>z)=p.
Tetrachoric Correlation Coefficient R tet miara ta dobrze pracuje dla obu zmiennych dychotomicznych ale musimy również założyć że obie zmienne są tak naprawdę ciągłymi zmiennymi i że mają rozkład normalny. Z tego względu miara jest użyta do danych porządkowych. r tet = cos (180/(1 + sqrt(bc/ad)).
Rank-Biserial Correlation Coefficient r rb stosowany dla nominalnych danych dychotomicznych oraz danych porządkowych. r rb = 2 (Y 1 - Y 0 )/n, Gdzie n to liczba par danych, Y 0 oraz Y 1, są wartościami średnimi dla zmiennej Y dla różnych klas zmiennej X.
Coefficient of Nonlinear Relationship (eta) Często stosowana miara dla pomiaru zależności między danymi (by stwierdzić czy to zależność liniowa, czy nie). Wskaźnik korelacji eta jest traktowana jak miara Pearsona, ale nigdy nie może być ujemna.
Współczynnik korelacji próbkowej Niech ( x, y1),( x2, y2),...,( x n, y próbką cechy dwuwymiarowej. 1 n Będziemy badać zależność Y od X. będzie X = zmienna niezależna (zmienna objaśniająca), Y = zmienna zależna ( zmienna objaśniana ), )
Własności współczynnika korelacji 1 r 1 próbkowej : 1. 2. Jeśli r =1, to wszystkie punkty wykresu rozproszenia leżą na prostej o dodatnim współczynniku kierunkowym, tzn. istnieje dodatnia zależność liniowa między zmiennymi x i y próbki. 3. Jeśli r=-1, to wszystkie punkty wykresu rozproszenia leżą na prostej o ujemnym współczynniku kierunkowym, tzn. istnieje ujemna zależność liniowa między zmiennymi x i y próbki. 4. Wartości r bliskie 1 lub 1 wskazują, że wykres rozproszenia jest skupiony wokół prostej.
Korelacja: założenia Współczynnik korelacji Pearsona jest miarą liniowego związku pomiędzy dwiema zmiennymi. Założenia: obie zmienne (często oznaczane jako X i Y) powinny być zmiennymi ciągłymi z normalnym rozkładem. Charakterystyka: współczynnik korelacji Pearsona zazwyczaj jest oznaczany jako r albo (ro), i może przyjmować wartości od -1 do 1. Znak współczynnika korelacji wskazuje na kierunek zależności (wraz ze wzrostem wartości na jednej zmiennej odpowiednio wzrastają bądź maleją wartości na drugiej). Wartość bezwzględna współczynnika korelacji wskazuje na siłę istniejącej korelacji. Im ta wartość wyższa tym korelacja jest silniejsza. -1 wskazuje na idealną ujemną korelację, 0 oznacza brak (liniowego) związku, a 1 jest idealną korelacją dodatnią.
Oto prosty przykład korelacji dodatniej:»im dłuższy czas uczenia się, tym wyższe oceny«. Przykładem korelacji ujemnej jest związek między tremą a oceną (»im większa trema, tym niższa ocena«i odwrotnie). Obydwa przykłady są uproszczone i służą tylko do łatwiejszego rozumienia kierunku oddziaływania. Niektóre wskaźniki korelacji informują o kierunku badanej zależności. Znak plus lub minus wskazuje, czy korelacja jest dodatnia, czy też ujemna. Inne wskaźniki korelacji natomiast nie mają znaku plus lub minus, więc nie informują o kierunku zależności. Wówczas konieczny jest przegląd wszystkich rezultatów, aby poprawnie interpretować kierunek korelacji.
Związek może być silny a mimo to nieistotny I odwrotnie, związek może być słaby albo istotny. Kluczowa jest wielkość próby. Dla małych zbiorów jest stosunkowo łatwo uzyskać silną korelację przez przypadek i trzeba zwrócić uwagę na poziom istotności zanim wyciągnie się ostateczne wnioski, by nie odrzucić prawdziwej hipotezy zerowej, czyli nie popełnić błędu I rodzaju. Dla większych zbiorów, jest bardzo łatwo osiągnąć istotność, ale trzeba zwrócić uwagę na siłę korelacji (wartość bezwzględna współczynnika), żeby mieć pewność, że mamy do czynienia z rzeczywistym związkiem.
Interpretacja wartości r Współczynnik korelacji ma wartości z przedziału [ -1,1]. Im korelacja jest bliższa +/-1, tym bliższa jest idealnemu liniowemu związkowi. Przykładowa interpretacja korelacji: -1 to -0,7 silny negatywny związek. -0,7 to -0,3 słaby negatywny związek. -0,3 to +0,3 bardzo słaby związek lub jego brak. +0,3 to +0,7 słaby pozytywny związek. +0,7 to +1 silny pozytywny związek. Oczywiście nie są to sztywne kryteria klasyfikacji podziałów. W niektórych sytuacjach możemy obniżyć poziom słabej wartej rozpatrywanej korelacji np. do 0,2 do 0,6 a w innych przesunąć z kolei przedział w gorę (od 0,4 do 0,8).
Korelacja nieliniowa jest trudniejsza do interpretacji. Czym charakteryzuje się nieliniowość lub liniowość korelacji (oprócz linii w diagramie)? W przypadku, gdy korelacja jest liniowa można stwierdzić, iż wartości y wzrastają lub opadają proporcjonalnie (współmiernie) do wzrostu lub spadku wartości x. Kierunek korelacji jest tylko jeden i nie zmienia się.
Przy korelacji nieliniowej istnieją przynajmniej dwie trudności w interpretacji. Pierwsza polega na nieproporcjonalnej przemianie y, podczas gdy x zmienia się równomiernie. Dlatego jest wyraźnie trudniej wyjaśnić zmiany y. Drugi problemem jest fakt, iż nieliniowa korelacja może być w jednej części dodatnia, a w drugiej ujemna. Proste do zrozumienia jest stwierdzenie: im więcej uczeń się uczy, tym wyższe są jego wyniki. Każdy rozumie też kolejną prawidłowość: im więcej sportowiec trenuje, tym lepsze są jego osiągnięcia. Ale wszystko nie jest tak proste: ostatni przykład może w sposób przejrzysty pokazać trudności w interpretacji korelacji nieliniowej. Osiągnięcia sportowca wzrastają tylko do pewnej granicy. Za tą granicą przedłużanie czasu treningu może spowodować zmniejszanie osiągnięć. Jest to znane zjawisko przetrenowania (sportowiec zbyt dużo trenował).
Do punktu A korelacja jest dodatnia, od tego punktu dalej ujemna (więcej treningu przynosi niższe wyniki). Przykład jest wprawdzie nieco uproszczony, bo celowo zaniedbane zostało doświadczenie, iż wzrost wyników ma swoje granice bez względu na trening (czyli: zarówno w przypadku liniowej, jak i dodatniej korelacji, wyniki nie wzrastałyby w nieskończoność). Jednak uproszczenie to nie zmienia istoty spostrzeżenia, iż nieliniową korelację interpretuję się o wiele trudniej niż liniową.
Siła zależności dwóch zmiennych Siłę współzależności dwóch zmiennych można wyrazić liczbowo za pomocą wielu mierników. Ich wybór jest uzależniony m.in. od rodzaju cech, między którymi badana jest zależność (mierzalne, niemierzalne, mieszane); liczby obserwacji (tablica korelacyjna, szeregi korelacyjne), kształtu zależności (regresja, prostoliniowa, krzywoliniowa). Zakładając, że współzależność badanych zmiennych losowych X i Y jest statystycznie istotna, możemy wyróżnić cztery rodzaje podstawowych miar sił korelacji tych zmiennych: współczynnik zbieżności Czuprowa; wskaźniki (stosunki) korelacyjne Pearsona; współczynnik korelacji liniowej Pearsona; współczynnik rang (korelacji kolejnościowej) Spearmana.
Współczynnik zbieżności Czuprowa Miernik ten oparty jest na teście chi kwadrat ( 2 ). Wielkość 2 jest podstawą do określenia unormowanej funkcji zależności cech zwanej współczynnikiem zbieżności Czuprowa. Określa go wzór: Współczynnik ten przyjmuje wartość z przedziału [0,1], gdy badane zmienne są stochastycznie niezależne. Przy zależności funkcyjnej zmiennych, T = 0. Im bardziej współczynnik zbieżności jest bliższy zeru, tym słabsza jest zależność między zmiennymi. 1)( k 1) Przy wyznaczaniu współczynnika zbieżności nie jest ważne, którą z cech traktuje się jako zależną a którą jako niezależną co jest istotne przy badaniu zależności w sensie korelacyjnym. Własność tę określa się mianem symetryczności: Zaletą współczynnika zbieżności jest to, że może być stosowany do mierzenia współzależności zarówno cech mierzalnych jak i niemierzalnych. Jego wadą jest natomiast to, że nie wskazuje kierunku korelacji (jest zawsze dodatni). T xy T Txy T yx yx n ( r 2
współczynnik determinacji Do oceny natężenia korelacji między zmiennymi X i Y wykorzystuje się również współczynnik determinacji. 2 100 Txy Miara ta wskazuje, w ilu procentach zmienność zmiennej zależnej jest określona zmiennością zmiennej niezależnej. Tak więc o ile z rachunkowego punktu widzenia T ocenia zarówno zależność cechy X od cechy Y jak i cechy Y od X, o tyle interpretacja współczynnika zbieżności musi jednoznacznie określać charakter zmiennych, tzn. która z nich jest zmienną zależną, a która niezależną. Z uwagi na to, że przy obliczaniu współczynnika zbieżności brane są pod uwagę jedynie liczebności odpowiednich rozkładów, a nie ich parametry, współczynnik zależności jest przede wszystkim miarą zależności stochastycznej dwóch zmiennych. Ponieważ zależność korelacyjna jest pojęciem węższym od zależności stochastycznej można go wykorzystać jako miarę siły związku korelacyjnego.
Wariancje międzygrupowe zmiennych X i Y są obliczane ze wzorów: Gdzie są odpowiednio średnimi warunkowymi zmiennych X i Y a są średnimi ogólnymi obliczonymi z rozkładów brzegowych. k i i i i k j j i j n y y n y s n x x n x s 1. 2 2 1. 2 2 ) ( 1 ) ( ) ( 1 ) ( j y i x oraz y x oraz
Wariancje wewnątrzgrupowe zmiennych X i Y są obliczane ze wzoru: k i i i i k j j j j n y s n y s n x s n x s 1. 2 2 1. 2 2 ) ( 1 ) ( ) ( 1 ) ( Wskaźnik korelacyjny zmiennej X względem zmiennej Y określa zatem wzór: Z czego wynika, że wskaźnik korelacyjny zmiennej Y względem zmiennej X określa wzór: ) ( ) ( x s x s e j xy ) ( ) ( y s y s e i yx 1 0 e Są one równe 0, gdy cechy są nieskorelowane, 1 gdy między badanymi zmiennymi zachodzi zależność funkcyjna.
Interpretacja Im wartość wskaźnika korelacyjnego jest bliższa 1, tym zależność korelacyjna jest silniejsza. e xy e yx Stosunki korelacyjne są niesymetryczne, z wyjątkiem dwóch przypadków: 1. gdy zmienne X i Y są niezależne stochastycznie; 2. gdy między zmiennymi X i Y zachodzi związek funkcyjny e xy e yx 1 Z powyższego wynika, że przy obliczaniu wskaźników korelacyjnych ważne jest ustalenie, która z cech jest zależna, a która niezależna. Wskaźniki korelacyjne nie wskazują kierunku korelacji badanych zmiennych, zawsze są dodatnie. Ich zaletą jest fakt, że nie zależą od kształtu regresji. Dzięki temu mogą być stosowane zarówno w przypadku zależności prostoliniowych, jak i krzywoliniowych. Dodatkowo wskaźniki korelacyjne mogą być wykorzystywane dwóch cech, z których jedna jest niemierzalna.
Współczynnik determinacji Równolegle do wskaźników korelacyjnych korzysta się ze współczynników determinacji: e xy i e yx 2 2 100 exy i 100 eyx, wyrażonych w procentach. Współczynnik determinacji informuje o tym, w ilu procentach zmiany zmiennej zależnej są spowodowane (zdeterminowane) zmianami zmiennej niezależnej.
przykład Wylosowano 100 rodzin i zbadano je pod względem liczby dzieci pozostających na całkowitym utrzymaniu i standardu ekonomicznego rodziny, określonego przez średni miesięczny dochód przypadający na członka rodziny. Za pomocą stosunku korelacyjnego określić siłę związku korelacyjnego standardu ekonomicznego względem liczny dzieci w rodzinie. [Sobczyk str. 205-207 wyd. z 1991 r.]
W pierwszej kolejności obliczamy średnią ogólną i wariancję ogólną cechy Y: y 1 10 2 15 3 50 4 25 100 2,9 s 2 ( y) (1 2,9) 2 10 (2 2,9) 2 15 (3 2,9) 100 Następnie obliczamy wartości średnich warunkowych rozkładów cechy Y: 2 50 (4 2,9)25 0,79 y y y y y 1/ x 0 2 / x 1 3 / x 2 4 / x 3 5 / x 4 3 5 4 15 3,75 20 3 30 4 10 3,25 40 2 11 3 14 2,56 25 1 6 2 3 3 1 1,5 10 1 4 2 1 1,2 5
Po zakończeniu kalkulacji obliczamy wariancję średnich warunkowych: s 2 ( y i ) (3,75 2,9) 2 20 (3,25 2,9) 2 40 (2,56 2,9) 100 2 25 (1,5 2,9) 2 10 (1,2 2,9) 2 5 0,56 Podstawiając obliczone wartości do wzoru na wskaźnik korelacyjny otrzymujemy: e yx 0,56 0,79 0,842 e 2 yx 0,709 Uzyskany wynik świadczy o silnej zależności standardu ekonomicznego rodziny od liczby dzieci. W niemal 71% przypadków zmiany standardu ekonomicznego rodziny mogą być wyjaśnione zmianami liczby posiadanych dzieci. Jest to zależność jednostronna liczba dzieci nie zależy od standardu ekonomicznego.
Wpływ zmiennej objaśniającej jest wpływem, który znajduje się w centrum uwagi. Rozproszenie z nim związane jest więc wyjaśnione. Wpływem pozostałych czynników badacz jest zainteresowany jedynie ubocznie. Dlatego też rozproszenie powiązane z nimi nazywa się rozproszeniem niewyjaśnionym. Poniższy rysunek ilustruje korelację między zmienną objaśniającą x i objaśnianą y.
Wariancja wyjaśniona i niewyjaśniona Podział wariancji na wyjaśnioną i niewyjaśnioną jest wyidealizowany. Przesłanką tego podziału jest niezależność x od pozostałych czynników. W praktyce zdarza się to jedynie incydentalnie. Takie uproszczenie bardzo ułatwia zrozumienie zasady pomiaru korelacji. Należy jednak pamiętać, iż procedura ta jest trochę nieścisła. W interpretacji należy uwzględniać różnicę między ideałem i realnością. Stosunek pomiędzy wariancją wyjaśnioną a wariancją całkowitą wskazuje z jaką silą x oddziałuje na y. Stosunek ten nazywa się indeksem korelacji. Oto wzór do obliczania indeksu korelacji:
Interpretacja Wartości indeksu wahają się od 0 do 1. Wartość zero oznacza brak korelacji między x i y (wyjaśniona wariancja równa się zeru, co oznacza, iż x nie oddziałuje na y). Wartość 1 oznacza, że korelacja jest najsilniejsza (niewyjaśniona wariancja równa się zeru, co oznacza, iż tylko x oddziałuje na y). Taka korelacja jest już funkcją. Należy jeszcze raz podkreślić, iż indeks korelacji nie może przekraczać wartości 1,00! Ta zasada odnosi się do wszystkich miar współzależności. Oznacza to, że jeżeli w trakcie obliczeń miar współzależności (indeksu korelacji, współczynników korelacji, współczynników zbieżności, itd.) otrzyma się wartość większą niż 1, jest to niewątpliwy znak, iż obliczenia są błędne!
Poniższe wykresy pokazują kilka możliwych przypadków korelacji
przykład
Interpretacja wartości korelacji
Wybór miary korelacji
http://zsi.tech.us.edu.pl/~nowak/smad/platki.txt
Korelacja Pearsona w excelu
rating Korelacja Pearsona w excelu 100 80 60 40 20 sugars 0-5 0 5 10 15 20 sugars
Korelacja Spearmana w excelu
The Spearman correlation, called Spearman s rho, is a special case of the Pearson correlation computed on ranked data.
http://zsi.tech.us.edu.pl/~nowak/smad/platki.txt
Porównanie miar korelacji Pearsona i Spearmana
Porównanie miar korelacji Pearsona i Spearmana
Laboratorium (zadanie domowe) Zadanie nr 1. Wykonaj operacje przedstawione w trakcie prezentacji. Zadanie nr 2. Spróbuj wczytać wybrany przez siebie zbiór danych z repozytorium http://archive.ics.uci.edu/ml/datasets.html I następnie spróbuj odnaleźć w danych zależności. Zadanie nr 3. Wykonaj zadania związane z analizą korelacji znajdujące się w dokumencie: http://zsi.tech.us.edu.pl/~nowak/smad/korreg_zadania.pdf
Zadanie nr 4. http://www.regentsprep.org/regents/math/algebra/ad4/pracplo t.htm Zadanie nr 5. http://www.maths.usyd.edu.au/u/ug/jm/math1005/quizzes/quiz3.h tml Zadanie nr 6. http://www.jhs14.business.msstate.edu/bqa9333/textbook_files/chapter%20quizzes/ Quiz010.html