WPROWADZENIE DO ANALIZY KORELACJI I REGRESJI

Transkrypt

1 WPROWADZENIE DO ANALIZY KORELACJI I REGRESJI dr Janusz Wątroba, StatSoft Polska Sp. z o.o. Prezentowany artykuł pośwęcony jest wybranym zagadnenom analzy korelacj regresj. Po przedstawenu najważnejszych nformacj potrzebnych do zrozumena de tych metod zaprezentowane zostaną przykłady ch zastosowań. Wszystke potrzebne oblczena oraz wykresy zostały wykonane za pomocą programu STATISTICA. Wprowadzene Poszczególne elementy wchodzące w skład badanej zborowośc jednostek są zazwyczaj opsywane za pomocą węcej nż jednej cechy (zmennej). W wększośc przypadków analzowane zmenne są w jakś sposób powązane ze sobą. W takch sytuacjach zachodz zatem potrzeba ch łącznego badana. Celem analzy jest węc stwerdzene, czy mędzy badanym zmennym zachodzą jakeś zależnośc, jaka jest ch sła, jaka jest ch postać kerunek. Współzależność mędzy zmennym może być dwojakego rodzaju: funkcyjna lub stochastyczna (probablstyczna). Istota zależnośc funkcyjnej polega na tym, że zmana wartośc jednej zmennej powoduje ścśle określoną zmanę wartośc drugej zmennej. W przypadku zależnośc funkcyjnej określonej wartośc jednej zmennej (X) odpowada jedna tylko jedna wartość drugej zmennej (Y). Symbolem X oznaczamy zmenną nezależną (objaśnającą), natomast symbolem Y - zmenną zależną (objaśnaną). Zależność stochastyczna występuje wtedy, gdy wraz ze zmaną wartośc jednej zmennej zmena sę rozkład prawdopodobeństwa drugej zmennej. Szczególnym przypadkem zależnośc stochastycznej jest zależność korelacyjna (statystyczna). Polega ona na tym, że określonym wartoścom jednej zmennej odpowadają ścśle określone średne wartośc drugej zmennej. Możemy zatem ustalć, jak zmen sę - średno borąc - wartość zmennej zależnej Y w zależnośc od wartośc zmennej nezależnej X. Na zameszczonym ponżej wykrese przedstawono przykładowe postace zwązków funkcyjnych statystycznych. Copyrght StatSoft Polska

2 Zwązek funkcyjny, lnowy Zwązek funkcyjny, nelnowy Y 34 Y X X Zwązek statystyczny, lnowy Zwązek statystyczny, nelnowy Y Y X X Zwązk typu statystycznego są możlwe do wykryca oraz loścowego opsu w przypadku, kedy mamy do czynena z weloma obserwacjam, opsującym badane obekty, zjawska czy też procesy. Opsywane w nnejszym artykule postace zwązków pomędzy zmennym zawęzmy do zwązków lnowych. Ogólne zwązk pomędzy zmennym mogą przyjmować postać krzywej drugego wyższych stopn lub też nne postace. Dlatego też, przy badanu danych, ważnym krokem jest sporządzene wykresu. Jeśl okaże sę, że badany zwązek ne jest lnowy, wówczas trzeba zastosować odpowedne rozwązane nelnowe. Odpowedne narzędza są dostępne w komercyjnych paketach do analz statystycznych, np. w pakece STATISTICA. Wykres rozrzutu Wykres rozrzutu pozwala w grafczny sposób zaprezentować postać zwązku pomędzy zmennym. Przy nterpretacj tego wykresu należy jednak zachować pewną ostrożność. Przede wszystkm należy pamętać, że wykres ne pozwala stwerdzć zwązku przyczynowo-skutkowego. Na przykład może sę okazać, że faza ksężyca wykazuje wpływ na proces, w przypadku którego występuje cykl mesęczny. Tworząc wykres rozrzutu, należy najperw jasno zdefnować zmenne. Następne trzeba zebrać przynajmnej 3 par lczb (lepej jest, jeśl danych jest węcej; 5 lub Copyrght StatSoft Polska

3 przypadków). Powszechne przyjęło sę na os pozomej umeszczać zmenną, która stanow przyczynę, a na os ponowej zmenną, która jest uważana za skutek. Współczynnk korelacj lnowej Statystyką, która opsuje słę lnowego zwązku pomędzy dwema zmennym, jest współczynnk korelacj z próby (r). Przyjmuje on wartośc z przedzału domknętego <-1; 1>. Wartość 1 oznacza występowane doskonałej korelacj ujemnej (to znaczy sytuację, w której punkty leżą dokładne na prostej, skerowanej w dół), a wartość 1 oznacza doskonałą korelację dodatną (punkty leżą dokładne na prostej, skerowanej w górę). Wartość oznacza brak korelacj lnowej. Wzór, za pomocą którego oblczamy współczynnk korelacj, ma postać: r ( x x)( y ( x y) x) ( y y) gdze x oraz y oznaczają odpowedno wartośc zmennych x y, a x oraz y oznaczają średne wartośc tych zmennych. Po oblczenu wartośc współczynnka korelacj zawsze zalecane jest utworzene wykresu rozrzutu. Chodz o to, aby wzualne stwerdzć, czy badany zwązek rzeczywśce najlepej opsuje funkcja lnowa. Może sę bowem okazać, że wylczona wartość współczynnka korelacj jest zblżona do zera, a mmo to pomędzy korelowanym zmennym występuje współzależność, tyle że nelnowa. Na zameszczonym powyżej rysunku przedstawono przykładowy wygląd wykresów przy określonych wartoścach współczynnka korelacj. Wykres umeszczony z lewej strony u góry pokazuje sytuację braku skorelowana zmennych. Z kole wykres umeszczony Copyrght StatSoft Polska

4 z prawej strony u góry przedstawa przypadek slnej korelacj dodatnej. Wykres umeszczony u dołu z lewej strony pokazuje neco słabszą korelację dodatną, a wykres umeszczony u dołu z prawej strony przedstawa przypadek korelacj ujemnej. Badane stotnośc korelacj Współczynnk korelacj r (z próby) stanow ocenę współczynnka korelacj w zborowośc generalnej w zwązku z tym jest obcążony pewnym błędem. Współczynnk korelacj jest statystyką, w zwązku z czym pownen być traktowany jako zmenna losowa. Jeśl zatem N-elementowa próba została pobrana ze zborowośc generalnej o dwuwymarowym rozkładze normalnym z parametrem =, a węc gdy zmenne X Y są neskorelowane zarazem nezależne, to zmenna losowa o postac: t r N 1 r ma rozkład t Studenta o N- stopnach swobody. W praktyce oznacza to, że formułujemy hpotezę zerową: H :, wobec hpotezy alternatywnej: H 1 :, a następne porównujemy wartość granczną t z wartoścą oblczoną t podejmujemy odpowedną decyzję odnośne H. Przykład analzy korelacj Prezentowany nżej przykład został zaczerpnęty z ksążk Breyfogle a [1]. Obserwacj poddano czas dostawy (x) 5 napojów bezalkoholowych oraz welkość dostawy (y). Fragment plku danych przedstawa zameszczony ponżej rysunek Copyrght StatSoft Polska

5 Umeszczony ponżej wykres rozrzutu, utworzony dla tych danych, pokazuje, że pomędzy analzowanym zmennym najprawdopodobnej występuje dość mocny zwązek typu lnowego. 9 Wykres rozrzutu Czas dostawy Lczba przypadków Oblczona w programe STATISTICA wartość współczynnka korelacj lnowej Pearsona wynosła tu,9646. Po zbadanu stotnośc współczynnka korelacj okazało sę, że jego wartość stotne różn sę od zera na pozome p<,1. Tak węc możemy stwerdzć, że pomędzy welkoścą dostaw a czasem dostaw stneje bardzo mocna, dodatna zależność, a węc wraz ze wzrostem welkośc dostaw, średno rzecz borąc, wydłuża sę czas dostawy. Wybrane elementy analzy regresj prostej Analza korelacj jest stosowana do pomaru stopna powązana pomędzy zmennym, natomast jej rozszerzene, jeśl chodz o metody badana współzależnośc, stanow analza regresj. Pozwala ona na loścowy ops zachodzących powązań. Pojęce funkcj w zastosowanu do badań emprycznych ne może być zazwyczaj stosowane bez pewnych zastrzeżeń. Elementarna matematyka żąda bowem, aby jednej wartośc zmennej nezależnej (objaśnającej, predyktora) była przyporządkowana dokładne jedna wartość zmennej zależnej (objaśnanej). Badacz natomast w praktyce ma zazwyczaj do czynena z sytuacją, w której przy klku powtórzenach dośwadczena, zachowując za każdym razem te same wartośc zmennej nezależnej, otrzymuje nne wartośc merzonej zmennej zależnej. Wartośc te zwykle leżą blsko sebe, ale ne są na ogół dentyczne. Tak węc rozsądek podpowada, żeby pojęce funkcj uczynć bardzej elastycznym, a termny zmenna nezależna zmenna zależna dostosować odpowedno do nowych potrzeb. Dla tego celu w statystyce matematycznej wprowadzono pojęce regresj, oznaczające oblczena wykorzystywane do loścowego opsu zależnośc jednej zmennej od drugej. Copyrght StatSoft Polska

6 Model regresj lnowej prostej (tzn. takej, w przypadku której występuje tylko jeden predyktor) przyjmuje postać: Y 1 x gdze oznacza wyraz wolny, współczynnk kerunkowy, a błąd. Jak to zostało już 1 wcześnej powedzane, zazwyczaj ne wszystke punkty układają sę dokładne na prostej modelu regresj. Źródłem błędu są wpływy nnych, neuwzględnonych w modelu zmennych, takch jak np. błędy pomarowe. Zakłada sę przy tym, że błędy mają średną wartość równą zero neznaną warancję, oraz że błędny ne są nawzajem skorelowane. W sytuacj gdy wartość współczynnka determnacj R (welkość ta oznacza kwadrat współczynnka korelacj) jest duża, to oznacza to, że błędy dla tego modelu są stosunkowo małe w zwązku z tym model jest dobrze dopasowany do rzeczywstych danych. Jeśl model regresj lnowej zawera tylko jedną zmenną nezależną, wtedy jest nazywany modelem regresj lnowej prostej. Natomast jeśl model regresj zawera wększą lczbę zmennych nezależnych, to wówczas odpowedn model nazywamy modelem regresj welorakej. Zasadnczy cel analzy regresj polega na ocene neznanych parametrów modelu regresj. Ocena ta jest dokonywana za pomocą metody najmnejszych kwadratów (MNK). Metoda ta sprowadza sę do mnmalzacj sum kwadratów odchyleń wartośc teoretycznych od wartośc rzeczywstych (czyl tzw. reszt modelu). Dopasowany model regresj prostej, który daje punktową ocenę średnej wartośc y dla określonej wartośc x, przyjmuje postać: yˆ b b1 x gdze ŷ oznacza teoretyczną wartość zmennej zależnej, a b o b 1 odpowedno oceny wyrazu wolnego współczynnka kerunkowego, uzyskane na podstawe wynków z próby. Jak to zostało wyżej powedzane, różnca pomędzy wartoścą obserwowaną y odpowadającą jej wartoścą teoretyczną (dopasowaną) ŷ jest nazywana resztą. Tak węc dla danej obserwacj można ją zapsać jako: e y yˆ Analza reszt stanow ważny element oceny adekwatnośc uzyskanego modelu regresj oraz oceny odchyleń występujących w stosunku do przyjmowanych założeń. Przy testowanu stotnośc współczynnków regresj korzystamy z rozkładu t Studenta, a przy przeprowadzanu analzy warancj (przeprowadzanej w celu oceny lnowośc modelu regresj) z rozkładu F. W perwszym przypadku jedna hpoteza zerowa zakłada, że ma wartość stałą (przecw alternatywnej, zakładającej, że ne jest wartoścą stałą), a druga przyjmuje, że ocena wynos zero (przecw alternatywnej, zakładającej, że ocena 1 różn sę od zera) Copyrght StatSoft Polska

7 W przypadku tabel analzy warancj, całkowta zmenność jest dzelona na dwe częśc, opsywane przez odpowedne sumy kwadratów (SK): gdze SKcała SKmodelu SKbłędu SKca ł a ( y y) SKmodelu ( yˆ y) SKb łę du ( y yˆ ) Każda z określonych wyżej sum kwadratów jest powązana z odpowednm lczbam stopn swobody, które wynoszą kolejno: n-1, 1 n-. Po podzelenu przez podane lczby stopn swobody odpowedne sumy kwadratów stanową dobre oceny odpowednch źródeł zmennośc. Uzyskane w ten sposób welkośc są nazywane w skróce średnm kwadratam (ŚK). Są one wykorzystywane do oceny lnowośc regresj. Wartość statystyk testowej jest wylczana ze wzoru: ŚK F ŚK modelu błędu Następne jest ona porównywana z wartoścą teoretyczną F, 1, n, po czym hpoteza o lnowośc regresj jest odpowedno weryfkowana. Kolejnym przeprowadzanym testem jest ocena adekwatnośc modelu. W tym celu sprawdzamy, czy ocena współczynnka determnacj SK R modelu SKcała stotne różn sę od zera. Po przemnożenu tej wartośc przez 1 otrzymujemy ocenę udzału warancj wyjaśnanej przez oszacowany model regresj. Analza reszt Jak to zostało już wcześnej wspomnane, analza reszt odgrywa ważną rolę przy badanu adekwatnośc dopasowanego modelu oraz ocene prawdzwośc przyjmowanych założeń. Zazwyczaj obejmuje ona następujące elementy: sprawdzene założena normalnośc rozkładu reszt, które jest przeprowadzane za pomocą oceny wykresu normalnośc reszt lub oceny hstogramu rozkładu reszt, ocenę skorelowana reszt poprzez wykreślene reszt w funkcj numeru obserwacj, Copyrght StatSoft Polska

8 ocenę poprawnośc modelu przez wykreślene wartośc reszt względem wartośc dopasowanych. Przykład analzy regresj prostej Przykład zostane przeprowadzony w oparcu o te same dane, które były wykorzystywane poprzedno przy analze korelacj. Tak jak poprzedno, wszystke potrzebne oblczena wykresy zostaną wykonane przy pomocy programu STATISTICA. W perwszej kolejnośc przeprowadzmy ocenę wyrazu wolnego współczynnka regresj. Odpowedne wynk zawera zameszczona ponżej tabela. Tak węc oszacowany model regresj przyjął postać: y = 3,31 +,176 x Na podstawe wynków zawartych w tabel możemy stwerdzć, że obydwe oceny stotne różną sę od zera. Śwadczą o tym wartośc prawdopodobeństw testowych odpowadające obydwu ocenom, które są nższe od,5. 9 Lczba przypadków vs. Czas dostawy Czas dostawy = 3,38 +,176 * Lczba przypadków Correlaton: r =,96461 Czas dostawy Lczba przypadków Na wykrese wdzmy oszacowany model w postac grafcznej wraz z 95% grancam przedzału ufnośc przedzału predykcj. Grance ufnośc odzwercedlają szerokość prze Copyrght StatSoft Polska

9 dzału ufnośc dla ocen parametrów modelu, a grance predykcj odzwercedlają szerokość przedzału ufnośc dla wartośc zmennej zależnej przy danym pozome zmennej nezależnej. Kolejne wynk analzy, pokazane na ponższym rysunku, mówą o tym, że oszacowany model wyjaśna około 93% orygnalnej zmennośc analzowanej zmennej zależnej. Standardowy błąd estymacj wynos 4,18. Jego wartość nformuje nas o tym, jak przecętne błąd popełnmy, przewdując czas dostawy na podstawe jej welkośc. W tym mejscu przeprowadzmy jeszcze analzę reszt. Po perwsze ocenmy, czy rozkład reszt jest rozkładem normalnym. W tym celu utworzymy wykres normalnośc reszt. Wykres ten został przedstawony ponżej. 3, Wykres normalnośc reszt Oczekwana wartość normalna,5, 1,5 1,,5, -,5-1, -1,5 -, -, Reszty Następne sprawdzmy, czy reszty są ze sobą skorelowane. Jak wdać na ponższym wykrese, sytuacja taka raczej ne występuje. Copyrght StatSoft Polska

10 1 Wykres reszt Reszta Nr obserwacj Ostatn z zameszczonych wykresów przedstawa wartośc reszt względem wartośc prognozowanych. 1 1 Wartośc przewdywane względem wartośc reszt 95% confdence Reszty Wartośc przewdywane Podsumowane W tym momence pownnśmy jeszcze raz powrócć do rzeczywstego celu przeprowadzanej analzy. Model pozwala dość dokładne oddać przebeg prawdzwych danych. Być może dalsza analza (np. budowa modelu opsującego zwązek odległośc dostawy lczby przypadków) pozwolłaby znaleźć lepszy model. Można byłoby równeż spróbować zastosować model regresj welorakej, tzn. model uwzględnający wększą lczbę zmennych nezależnych (np. dzeń tygodna, w którym była realzowana dostawa, operator lub stan pogody). Z drugej strony trzeba zdać sobe sprawę, że proces gromadzena analzy danych jest zazwyczaj czasochłonny, w zwązku z tym należy rozważyć ewentualne zysk straty Copyrght StatSoft Polska

11 Lteratura 1. Breyfogle III F. W., 1999, Implementng Sx Sgma. Smarter Solutons Usng Statstcal Methods. John Wley & Sons, Inc.. Czermńsk J. B., Iwasewcz A., Paszek Z., Skorsk A., 199, Metody statystyczne dla chemków, wyd. II, PWN Warszawa. 3. Montgomery D. C., 1997, Introducton to Statstcal Qualty Control, wyd. III, John Wley & Sons,Inc. Copyrght StatSoft Polska