Regresja liniowa. Etapy analizy regresji. Założenia regresji. Kodowanie zmiennych jakościowych

Transkrypt

1 Etapy analizy regresji Regresja liniowa 1. zaproponowanie modelu, 2. sprawdzenie założeń dotyczących zmiennych, 3. wyszukanie wartości odstających, wpływających i dźwigni, 4. oszacowanie istotności modelu regresji i analiza reszt, 5. oszacowanie istotności współczynników i interpretacja wyniku. Dr Paweł Kleka /76 Założenia regresji 1 1. zmienna zależna i niezależne są ilościowe 2. zmienna zależna ma rozkład normalny 3. relacja niezależna - zależna jest liniowa 4. obserwacje są niezależne 5. liczba obserwacji n > 50 + k wariancja reszt jest homoskedastyczna 1 Zmienne niezależne nominalne i/lub porządkowe mogą być używane w regresji przy pomocy kodowania 0/1 Kodowanie zmiennych jakościowych wykształcenie <- factor(round(runif(10,1,3),0), levels=3:1, labels=c("wyższe", "średnie", "podstawowe")) (df <- cbind(wykształcenie, wyzsze=ifelse(wykształcenie=="wyższe",1,0), srednie=ifelse(wykształcenie=="średnie",1,0), podstawowe=ifelse(wykształcenie=="podstawowe",1,0))) wykształcenie wyzsze srednie podstawowe [1,] [2,] [3,] [4,] [5,] [6,] [7,] [8,] [9,] [10,] Aby opisać wykształcenie każdej z osób wystarczy o jedną mniej kolumnę, niż jest kategorii w zmiennej. 10/76 11/76

2 Normalność na oko ;-) Weźmy dwa zbiory 10 liczb wylosowanych o średniej 3: Skośność < 3 Kurtoza < 10 Brak obserwacji > 3SD Brak wartości odstających set.seed(1) # polecenie ustawia generator liczb pseudolosowych na # stałą wartość, aby możliwe było # powtórzenie losowania y <- runif(10,3,6) # 10 liczb losowych x <- runif(10,3,6) # kolejne 10 losowych liczb model1 <- lm(formula = y ~ x) # obliczenie parametrów regresji liniowej summary(model1) # wydruk parametrów regresji 12/76 13/76 Call: lm(formula = y ~ x) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) * x Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: on 8 degrees of freedom Multiple R-squared: 2.324e-05, Adjusted R-squared: F-statistic: on 1 and 8 DF, p-value: Dorysujemy linie regresji model1 <- lm(y~x) plot(y~x, ylim=c(1,10), xlim=c(1,10)) abline(model1) # linia regresji 14/76 15/76

3 x[11] <- 10; y[11] <- 10 # wartość wpływająca model2 <- lm(y~x); plot(y~x, ylim=c(1,10), xlim=c(1,10), pch=20) points(x[11],y[11], col="red", pch=15) # dodatkowy punkt abline(model1); abline(model2, col="red") Parametry modelu pierwszego summary(model1) Call: lm(formula = y ~ x) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) * x Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: on 8 degrees of freedom Multiple R-squared: 2.324e-05, Adjusted R-squared: F-statistic: on 1 and 8 DF, p-value: /76 17/76 Parametry modelu drugiego UWAGA summary(model2) Call: lm(formula = y ~ x) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) x ** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: on 9 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: 14.8 on 1 and 9 DF, p-value: model1 %>% summary() %>% coefficients() %>% round(.,4) Estimate Std. Error t value Pr(> t ) (Intercept) x round(summary(model2)$coefficients,4) Estimate Std. Error t value Pr(> t ) (Intercept) x Dane są losowe a drugi model jest istotny! 18/76 19/76

4 Wartości wpływające [R,B], odstające [G] i dźwignie [O] Progi dla obserwacji odstających Wskaźnik Oznaczenie i wartość krytyczna dźwignia dfbeta lev > 2 i x + 2 N dfbeta > 2 N diffit i diffit > 3 x N ix iloraz kowariancji abs[(1 co v. r)] > 3 N i x i x reszta studentyzowana abs( r st ) > 3 standaryzowana wartość przewidywana h at > 3 i x N odległość Cook a D > 4 N 20/76 N liczba obserwacji, i x liczba predyktorów 21/76 Dystans Cook a i wielkość wpływu Graficzna diagnostyka modelu plot(model2, which=6) plot(model, which=1:6) Więcej na ten temat:?plot.lm Lista modeli obsługiwanych przez plot: methods(plot) 22/76 23/76

5 # zbior danych Anscombe data(anscombe) head(anscombe) Liniowość x1 x2 x3 x4 y1 y2 y3 y /76 plot(x1~y1, data = anscombe) lm(y1~x1,anscombe) %>% summary %>% coefficients() %>% round(.,3) Estimate Std. Error t value Pr(> t ) (Intercept) x lm(y2~x2,anscombe) %>% summary %>% coefficients() %>% round(.,3) Estimate Std. Error t value Pr(> t ) (Intercept) x lm(y3~x3,anscombe) %>% summary %>% coefficients() %>% round(.,3) Estimate Std. Error t value Pr(> t ) (Intercept) x lm(y4~x4,anscombe) %>% summary %>% coefficients() %>% round(.,3) 26/76 Estimate Std. Error t value Pr(> t ) (Intercept) x /76

6 Podsumowanie Kwadratu Anscombe a Cztery regresje a 3 złe par(mfrow=c(2,2)) #ustawienie płótna for(i in 1:4){ model1 <- lm(anscombe[,i+4] ~ anscombe[,i]) plot(anscombe[,i], anscombe[,i+4], ylab=paste0("y",i), xlab=paste0("x",i)); abline(model1)} Te same średnie dla X oraz Y Identyczne korelacje (oraz R 2 ) Taka sama zależność linowa 28/76 29/76 Analiza reszt Model regresji można opisać wzorem: Y i = β 0 + β 1 X i + ϵ i gdzie rozkład ϵ i N(0, σ 2 ) Obserwowany i-ty wynik to Y i przy znanej wartości predyktora X i Przewidywany i-ty wynik to Y i przy znanej wartości predyktora X i i wynosi: Y i = β 0 + β 1X i Zatem reszta to różnica między przewidywaną a obserwowaną wartością e i = Y i Y i Estymacja regresji polega na minimalizacji sumy pionowych odległości między obserwowanymi wynikami a linią regresji Metoda najmniejszych kwadratów minimalizuje n i= 1 e2 i, dlatego przyjmuje się, że e i jest estymatorem ϵ i. 32/76 33/76

7 Właściwości reszt Reszty względem X Oczekiwana wartość n i= 1 e i = 0 Reszty, to ten kawałek Y, który nie został wyjaśniony przez X Wykres reszt pozwala zidentyfikować słaby model 34/76 35/76 Test normalności rozkładu reszt shapiro.test(fit.c$residuals) Shapiro-Wilk normality test data: fit.c$residuals W = , p-value = Heteroskedastyczność 36/76

8 38/76 39/76 y <- dane$ciśnienie; x <- dane$wiek # test heteroskedastyczności, porównanie reszt między dwoma połowami lmtest::gqtest(y ~ x, point =.5) Goldfeld-Quandt test data: y ~ x GQ = , df1 = 18, df2 = 18, p-value = alternative hypothesis: variance increases from segment 1 to 2 Jeżeli istnieje heteroskedastyczność to parametry modelu regresji są błędne (=obciążone systematycznym błędem) Albo istnieje czynnik, który trzeba uwzględnić w modelu, albo potrzebne są transformacje zmiennej Y Transformacje 40/76

9 Pierwiastkowa Logarytmiczna najsłabsza transformacja Y = Y skuteczna, gdy wariancja reszt jest proporcjonalna do średniej warunkowej z Y ze względu na wartości zmiennych objaśniających średnia transformacja Y = lo g Y pożyteczna, gdy waraiancja reszt jest w przybliżeniu proporcjonalna do kwadratu warunkowej średniej z Y 42/76 43/76 Odwrotnościowa bardzo silna Y = 1 Y pożyteczna, gdy wariancja reszt jest w przybliżeniu proporcjonalna do czwartej potęgi warunkowej średniej z Y Transformacja Box-Cox a George Box i David Cox zaproponowali uogólnioną procedurę transformacji opartą o szacowanie wartości współczynnika λ, który pozwala transformować dane do rozkładu normalnego w zależności od zniekształcenia rozkładu orginalnego. Wartości λ oznaczaja potęgę z zakresu -5 do +5, do której powinny być podniesione dane i dla której stwierdzono najniższe odchylenie danych od rozkładu normalnego. Uniwersalność tego podejścia polega na tym, że obejmuje ono i porównuje ze sobą wyniki różnych transformacji, także zerowej. 44/76 45/76

10 Transformacje Box-Cox a λ y nazwa transformacji -2 y 2 = y2 odwrotna potęgowa -1 y 1 = 1 y odwrotna 1 y = y odwrotna pierwiastkowa 0 lo g (y) logarytmowanie, ponieważ y 0 = y 1 2 = y 1 y = y brak pierwiastkowa 2 y = y 2 potęgowa Podsumowanie modelu Ograniczeniem metody Box-Coxa jest działanie tylko na wartościach dodatnich, co może być łatwo spełnione przez dodanie stałej wartości do wszystkich obserwacji w przypadku posiadania zmiennej z wartościami ujemnymi. 46/76 Szacowanie wariancji reszt Wariancja reszt wyrażona jest wzorem 1 σ 2 = e. n 2 2 i i= 1 n y <- dane$ciśnienie; x <- dane$wiek; n <- length(y) fit <- lm(y ~ x) sqrt(sum(resid(fit)^2) / (n - 2)) # obliczone ręcznie [1] summary(fit)$sigma # dostępne w obiekcie _fit_ Regresja hierarchiczna [1] /76

11 Regresja hierarchiczna polega na wprowadzaniu do kolejnych modeli poszczególnych zmiennych wg założeń badawczych i udowodnieniu, że wprowadzenie zmiennej przynosi istotny efekt. Metody wprowadzana predyktorów: wprowadzania - wszystkie zmienne jednocześnie krokowa- w każdej iteracji dodawana jest najlepsza wg F i/lub usuwana jest najgorsza zmienna X i usuwania - usuwające zmienne wg bloku eliminacji wstecznej - usuwanie wg kryterium najmniejszej korelacji cząstkowej selekcji postępującej - dodawane wg kryterium największej korelacji cząstkowej W R realizuje się to za pomocą instrukcji step() Przykład head(swiss) Fertility Agriculture Examination Education Catholic Courtelary Delemont Franches-Mnt Moutier Neuveville Porrentruy Infant.Mortality Courtelary 22.2 Delemont 22.2 Franches-Mnt 20.2 Moutier 20.3 Neuveville 20.6 Porrentruy /76 55/76 summary(lm1 <- lm(fertility ~., data = swiss)) slm1 <- step(lm1, direction = "both") Call: lm(formula = Fertility ~., data = swiss) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-07 *** Agriculture * Examination Education e-05 *** Catholic ** Infant.Mortality ** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: on 41 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 5 and 41 DF, p-value: 5.594e-10 Start: AIC= Fertility ~ Agriculture + Examination + Education + Catholic + Infant.Mortality Df Sum of Sq RSS AIC - Examination <none> Agriculture Infant.Mortality Catholic Education Step: AIC= Fertility ~ Agriculture + Education + Catholic + Infant.Mortality Df Sum of Sq RSS AIC <none> Examination Agriculture Infant.Mortality Catholic Education /76 57/76

12 summary(slm1) slm1$anova Call: lm(formula = Fertility ~ Agriculture + Education + Catholic + Infant.Mortality, data = swiss) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-08 *** Agriculture * Education e-08 *** Catholic e-05 *** Infant.Mortality ** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: on 42 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 4 and 42 DF, p-value: 1.717e-10 Step Df Deviance Resid. Df Resid. Dev AIC 1 NA NA Examination /76 59/76 Porównanie modeli konkurencyjnych Liniowość formula1 <- "Y ~ X1 + X2" formula2 <- "Y ~ X1 + poly(x2,2)" model <- glm(formula) summary(model) anova(model1,model2) Test Harvey a-collier a (harvtest) testuje liniowość zależności Y ~ X W analizie dopasowania krzywych pomocny jest pakiet lmtests 60/76 61/76

13 Interpretacja w zakresie obserwacji Podsumowując Sprawdzanie założeń regresji zmienna zależna jest ilościowa zmienne niezależne są ilościowe lub dwukategorialne liczba obserwacji n > 50 + k (5 15) zmienna zależna ma rozkład normalny (test K-S lub S-W) relacja niezależna - zależna jest liniowa (test Harvey-Collier) obserwacje są niezależne (test Durbina-Watsona) wariancja reszt jest homoskedastyczna (test Goldfelda-Quandta) 62/76 63/76 Graficzna interpretacja R 2 Wariancje w modelu regresji Wariancja całkowita = Wariancja regresji + Wariancja reszt n i= 1 n ( Y i Ȳ) 2 = ( Y i Ȳ) 2 + ( Y i Y i) 2 i= 1 i= 1 n Zatem możemy zdefiniować procent całkowitej wariancji modelu jako n R 2 i= 1( = Y i Ȳ) 2 n i= 1( = 1 Y i Y i) 2 n i= 1( Y i Ȳ) 2 n i= 1( Y i Ȳ) 2 64/76 65/76

14 Relacja między R 2 oraz r Co nam mówi R 2 Ponieważ A ponieważ ( Y i Ȳ) = β 1( X i X ) zatem n R 2 i= 1( = Y i Ȳ) 2 = β 2 n i= 1( X i X ) 2 = Co r(y, X n i= 1( Y i Ȳ) 2 1 n i= 1( Y ) 2 i Ȳ) 2 Zatem R 2 jest dosłownie r do kwadratu. Sd(Y) β 1 = Co r(y, X) Sd(X) R 2 jest procentem wyjaśnionej przez model wariancji zmiennej zależnej 0 R 2 1 R 2 jest kwadratem korelacji dla próby R 2 jest często nadinterpretowana jako dopasowanie modelu, ale: - Zmniejszanie liczby danych zawsze obniża R 2. - Dodawanie kolejnych predyktorów zawsze zwiększa R 2. Czasami R 2 opisuje się jako miarę dobroci dopasowania zakładając, że dopasowanie = 1 - błąd, ale jest to nadużycie pojęcia dopasowanie właściwego dla modeli strukturalnych i nie powinno się go używać w kontekście modeli regresyjnych. 66/76 67/76 Ale czy można ufać R 2? R 2 = 1 SS r SS c SS suma kwadratów c całkowita r regresji 68/76 69/76

15 R 2 nie można ufać, bo jest wrażliwe na wariancję predyktorów wyznacz_r2 <- function(war){ # zmienna zależna x <- seq(1,10,length.out = 100) # zmienna niezależna powiązana z y plus losowy błąd y < *x + rnorm(n = 100,mean = 0,sd = war) summary(lm(y ~ x))$r.squared # tutaj wyliczam R2 w modelu regresji Y ~ X } wariancje <- seq(0.5,20,length.out = 20) # seria 20-tu wariancji od 0.5 do 20 R2 <- sapply(wariancje, wyznacz_r2) # obliczam R2 dla każdej wartości wwariancji plot(r2 ~ wariancje, type="b", pch=20) 70/76 71/76 R 2 nie można ufać, bo jest wrażliwe na kształt zależności set.seed(3) x <- rexp(50,rate=0.005) y <- (x-1)^2 * runif(n = 50, min=0.8, max=1.2) r2 <- summary(lm(y ~ x))$r.squared plot(x,y, pch=20) abline(lm(y~x)) curve((x-1)^2, lty="dashed", add=t) text(50,600000,paste("r2 =",round(r2,3))) # predyktor z rozkładu wykładniczego # zmienna zależna jako funkcja kwadratowa X # plus mały błąd # rysunek punktów # linia regresji - ciągła # linia prawdziwej zależności - przerywana # wartość R2 72/76 73/76

16 R 2 nie można ufać, bo Co robić? Jak żyć? ;-) jest wrażliwe na zakres danych predyktorów Używać R 2 pred R kwadrat przewidywania x <- seq(1, 10, length.out = 100) # predyktor od 1 do 10 set.seed(3) y < *x + rnorm(n = 100, mean = 0, sd = 1) # zmienna wyjaśniana model1 <- lm(y ~ x) # model regresji summary(model1)$r.squared # wartość R2 x1 <- c(.05,.10,.39,.29,.62,.50,.45,.79,.96,.83,.99,.98) x2 <- c(.05,.15,.29,.49,.71,.82,.93,.95,.76,.85,.88,.91) y <- c(.33,.22,.22,.38,.34,.39,.56,.52,.55,.65,.67,.79) model <- lm(y ~ x1+x2) (r.squared <- summary(model)$r.squared) # R kwadrat [1] [1] x <- seq(1, 2, length.out = 100) # predyktor od 1 do 2 set.seed(3) y < *x + rnorm(n = 100, mean = 0, sd = 1) model2 <- lm(y ~ x) summary(model2)$r.squared # wartość R2 res.pred <- residuals(model)/(1-lm.influence(model)$hat) # przewidywane reszty PRESS <- sum(res.pred^2) # suma kwadratów przewidywanych reszt tss <- sum(anova(model)$'sum Sq') # suma kwadratów reszt (r.squared.pred <- 1 - (PRESS/tss)) # R kwadrat przewidywane [1] /76 [1] /76 par(mfrow=c(1,3)) plot(y~x1) plot(y~x2) plot(y~i(x1+x2)) 76/76