Analiza regresji Konspekt do zaj : Statystyczne metody analizy danych

Transkrypt

1 Opis zaj Analiza regresji Konspekt do zaj : Statystyczne metody analizy danych Agnieszka Nowak-Brzezi«ska 28 pa¹dziernika 2009 Celem zaj jest realizacja praktyczna zagadnie«zwi zanych z analiz regresji, wykresami rezyduów oraz obliczeniem warto±ci korelacji, omówionych na wykªadzie Pana Profesora Jacka Koronackiego ( 2 Wprowadzenie Analiza regresji jest bardzo popularn i ch tnie stosowan technik statystyczn pozwalajac opisywa zwi zki zachodz ce pomi dzy zmiennymi wej±ciowymi (obja±niaj cymi) a wyj±ciowymi (obja±nianymi). Innymi sªowy dokonujemy estymacji jednych danych, korzystaj c z innych. Istnieje wiele ró»nych technik regresji. Niew tpliwie najpopularniejsza jest regresja liniowa. Zakªada ona,»e pomi dzy zmiennymi obja±niaj cymi i obja±nianymi istnieje mniej lub bardziej wyrazista zale»no± liniowa. Procedura liniowej regresji w R Szukamy równania ŷ = b 0 + b x.wiadomym jest,»e mi dzy danymi, które s rzeczywiste y i (które analizujemy) a tych, które by±my chcieli uzyska (oczekiwanymi) - ŷ i - istnieje zwykle pewna rozbie»no±. Wyra»amy j wzorem e i = y i ŷ i (rezydua, reszty). Precyzyjniej powiemy,»e gdy po wykonaniu wykresu rozrzutu obserwujemy,»e chmura punktów (x i, y i ) ukªada si wzdªu» prostej, mo»emy spróbowa wyznaczy jej równanie. Szukamy wtedy modelu regresji dla próbki i staramy si tak wyznaczy wspóªczynniki b i b 0 w ukªadzie równo±ci y i = b x i + b 0 + e i, dla i =,...N, by suma warto±ci bezwzgl dnych bª dów e i byªa jak najmniejsza. Mówimy wtedy to tzw. metodzie najmniejszych kwadratów (MNK). Metoda MNK polega na tym,»e szukamy takich warto±ci b 0 oraz b które minimalizuj sum kwadratów rezyduów: N (y i ŷ i ) 2 Dla takich danych: i= b = s xy s 2 x N i= = (x i x i )(y i y i ) N i= (x i x i ) 2

2 za± b 0 = ŷ b ˆx W ±rodowisku R ta procedura wykonuje si w krokach:. wyrysowanie punktów na wykresie rozrzutu: > plot(x,y) 2. znalezienie warto±ci b i b 0. dodanie linii do grafu: abline(lm(y ~ x)) Funkcja abline jest do± trudna w zrozumieniu. Drukuje ona linie na bie» - cym oknie gracznym. Wykorzystuje do tego znan z modelu liniowego funkcj lm. Wyra»enie y x mówi,»e chcemy znale¹ model dla zmiennej y w zale»no±ci od zmiennej x. Funkcja cor pomo»e obliczy wspóªczynnik korelacji Pearsona: R = (xi x)(y i ȳ) (xi x) 2 (y i ȳ) 2,, który pozwala stwierdzie jak jedna zmienna zale»y od zmian na drugiej zmiennej. Warto±ci R 2 bliskie ±wadcz o silnej korelacji, za± bliskie 0 o braku korelacji. W ±rodowisku R u»yjemy do tego funkcji cor > cor(x,y) # to find R [] 0.88 > cor(x,y)^2 # to find R^2 [] Musimy jawnie wywoªa summary(lm(y x)). Gdy chcemy wyznacza warto±ci zmiennej x w zale»no±ci od y to zamieniamy we wzorach x z y. Otrzymane proste pokrywaj si, gdy badana zale»no±ci jest zale»no±ci funkcyjn i nie ma losowo±ci. Przypadki odstaj ce i znacz ce: W celu wykluczenia z analizy przypadków odstaj cych, które mog na ni niekorzystnie wpªyn, nale»y zrobi wykresy skrzynkowe analizowanych zmiennych. Na wykresach tych kóªkiem i gwiazdk zaznaczone s przypadki odstaj ce, odpowiednio nietypowe i skrajne. Przypadki te sugeruje si usuwa, a w przypadku du»ej ich liczby analizowa osobno. Tutaj nale»y uwzgl dni uwagi Pana Profesora na temat zmiennych znacz cych i odstaj cych, pami taj c,»e nie ka»da zmienna odstaj ca jest nie znacz ca, i»e czasami zmienna znacz ca mo»e by równie» odstaj ca i wtedy sugeruje sie jej nie wyrzuca z analizy, a wr cz j uwzgl dnia po to by minimalizowa zadanie MNK Wspóªczynnik korelacji liniowej Pearsona (Karl Pearson (896)) r xy = (xi x)(y i ȳ) (n )s x s y,.przyjmuje warto±ci z przedziaªu [, ]. Dodatnia warto± tego wspóªczynnika oznacza,»e wzrost warto±ci jednej zmiennej generalnie poci ga za sob wzrost warto±ci drugiej zmiennej; ujemna spadek. r = 0, gdy nie ma zwi zku mi dzy zmiennymi, r, gdy zwi zek jest bardzo silny. Zwi zek regresji i wspóªczynnika Pearsona Wspóªczynnik korelacji jest miar dobroci dopasowania prostej regresji do danych. 2

3 Im bli»szy, tym dopasowanie lepsze. Interpretacja r 2 xy (tzw. wspóªczynnik determinacji): rxy 2 = s2 y x s 2, y gdzie s 2 y x jest bª dem kwadratowym regresji liniowej dla x i na y i danej równaniem y = a + bx. Wi c jest to: i s 2 y jest wariancj dla y: s 2 y x = n n (y i a bx i ) 2, i= s 2 y = n n (y i ȳ) 2. i= Je±li korelacja b dzie symetryczna dla x i i y i otrzymamy te same warto±ci dopasowania dla zmiennych y i i x i : rxy 2 = s2 x y s 2. x Wykonajmy analiz.... krok : wczytujemy dane > wiek<-c(8,9,20,2,22,2,24,25,26,27,28,29) > wzrost<-c(76.,77,78.,78.2,78.8,79.7,79.9,8.,8.2,8.8,82.8,8.5) 2. Chc c znale¹ równanie regresji dla zmiennych wzrost oraz wiek, gdzie zakªadamy,»e zmienn obja±nian (y) jest wzrost a obja±niaj c (x) jest wiek, powiemy,»e interesuje nas równanie: wzrost = b 0 + b wiek Oczywi±cie musimy wliczy w to jakie± zakªócenia, wi c powiemy,»e nasz model opiszemy równaniem: gdzie e b dzie bª dem resztowym. wzrost = b 0 + b wiek + e. Je±li u»yjemy polecenia: >lm.r = lm(formula = wzrost ~ wiek) to utworzony w ten sposób obiekt mo»e by u»yty do wywoªania innych polece«r. Je±li np u»yjemy teraz polecenia summary(lm.r) otrzymamy zestawienie:

4 > summary(lm.r) Call: lm(formula = wzrost ~ wiek) Residuals: Min Q Median Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) < 2e-6 *** wiek e- *** --- Signif. codes: 0 `***' 0.00 `**' 0.0 `*' 0.05 `.' 0. ` ' Residual standard error: on 0 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: 880 on and 0 DF, p-value: 4.428e- 4. Gdy u»yjemy polecenia coef(lm.r) otrzymamy zestawienie: (Intercept) wiek Powiemy wtedy,»e nasz model regresji przedstawia si nast puj co: wzrost = wiek 6. generujemy wykres > plot(lm.r) Waiting to confirm page change... Klikaj c enter dostajemy kolejne wykresy obliczenie korelacji > cor(wzrost,wiek) [] obliczenie korelacji R 2 > cor(wzrost,wiek)^2 [] wyrysowanie wykresów rezyduów dla konkretnych zmiennych > plot(wzrost,lm.r$residuals) > plot(wiek,lm.r$residuals) 4

5 lm.r$residuals wzrost Rysunek : wykres reszt dla zmiennej wzrost lm.r$residuals wiek Rysunek 2: wykres reszt dla zmiennej wiek 5

6 lm.r$residuals wiek Rysunek : dodanie linii poziomej Wówczas wynikiem b d odpowiednio rysunki: i dodaje poziom linie > abline(h = 0) Wówczas wynikiem b dzie rysunek.. Zastosujemy zwykª funkcje plot z argumentem b d cym rezultatem funkcji lm. Generuje ona 4 wykresy dla regresji. Zmieniaj c parametr mf row uzyskujemy wszystkie wykresy w jednym oknie > par(mfrow = c(2, 2));plot(lm.r);par(mfrow = c(, )) Wówczas wynikiem b dzie rysunek Gdy chcemy u»y R i regresji do predykcji: U»ywamy do tego funkcji predict, której ogólna formuªa jest nast puj ca: predict(model, data.frame(pred = new pred), level = 0.95, interval = ''confidence'') gdzie pred to zmienna dla której chcemy sprawdzi now warto± by poda jej warto± dla zmiennej obja±nianej. Podajemy tu tak»e odpowiedni przedziaª zaufania. Np chcemy przewidzie jaka b dzie warto± wzrostu dla wieku 28.5, to u»ywamy polecenia: predict(lm.r,data.frame(wiek = 28.5), level = 0.9, interval = "confidence") Po jej wywoªaniu otrzymujemy: 6

7 Residuals vs Fitted Normal Q Q Residuals Standardized residuals Fitted values Theoretical Quantiles Standardized residuals Scale Location 8 Standardized residuals 0 2 Residuals vs Leverage Cook s distance Fitted values Leverage Rysunek 4: rezultat funkcji lm - 4 wykresy na jednym lm.r lwr upr gdzie jak widzimy mamy podane dolne i górne zakresy przedziaªów ufno±ci. 4 Zadania do wykonania wiczenie 0: Dla zbioru: > liczbagodzin <-c(8,9,20,2,22,2,24,25,26,27,28,29,45,50,6,77) > wynagrodzenie <-c(76.,77,78.,78.2,78.8,79.7,79.9,8.,8.2,8.8, 82.8,8.5, 90,94,2,2) wykonaj polecenia: podaj równanie regresji dla zmiennych liczbagodzin oraz wynagrodzenie? predykcja: jaka b dzie warto± wynagrodzenia dla liczbygodzin równej 9? wiczenie. Wykonaj analiz regresji liniowej dla par zmiennych x i y z pliku anscombe dost pnego w pakiecie R. Porównaj wyniki otrzymane w tabelach oraz wykresy rozrzutu z zaznaczonymi prostymi regresji. Czy we wszystkich przypadkach prosta regresji dobrze oddaje zale»no± mi dzy zminnymi? wiczenie 2. Zaªó»my, ze sporzadzili±my krzyw kalibracyjn oznaczania pewnego zwi zku dla st»e«, 2,..., 9, 0 mg/ml. Ka»de oznaczenie powtarzano trzykrotnie. Wyniki zapisa nale»y w dwóch wektorach x i y: > x <-c(,,, 2, 2, 2,,,, 4, 4, 4, 5, 5, 5, 6, 6, 6, 7, 7, 7, 8, 8, 8, 9, 9, 9, 0, 0, 0) 7

8 > y <- c(2.00, 2.0, 2.00, 2.42, 2.42, 2.4, 2.72, 2.74, 2.74,.00,.00, 2.98,.2,.24,.2,.44,.44,.45,.66,.65,.62,.82,.85,.8, 4.00, 4.00, 4.00, 4.8, 4.6, 4.8). Wykonaj analiz regresji dla danego zbioru. 8