Regresja logistyczna. Regresja logistyczna. Wymagania. Przykłady DV

Transkrypt

1 Regresja logistyczna analiza relacji między zbiorem zmiennych niezależnych (ilościowych i dychotomicznych) a dychotomiczną zmienną zależną wyniki wyrażone są w prawdopodobieństwie przynależności do danej grupy prawdopodobieństwo losowej przynależności do jednej z dwóch grup wynosi 50% czyli 0,5 analiza regresji logistycznej odpowiada na pytanie: jak to prawdopodobieństwo jest kształtowane przez zmienne w modelu Regresja logistyczna Za pomocą metody najmniejszych kwadratów znajdowane są współczynniki, które minimalizują reszty, a istotność modelu jest określana w stosunku do modelu bez zmiennych Dr Paweł Kleka /31 Wymagania Przykłady DV DV dychotomiczna lubi / nie lubi IV ilościowe lub kategorialne chory / zdrowy brak założeń co do normalności, liniowości, homogeniczności wariancji kocha / nie kocha min 10 osób / zmienną min 20 dla analiz hierarchicznych min 50 dla krokowych 3/31 4/31

2 Pojęcia nie_uczył_się uczył_się prawdopodobieństwo szansa iloraz szans zdał nie zdał Szansa to prawdopodobieństwo zdarzenia w stosunku do prawdopodobieństwa braku zdarzenia szan sa = p 1 p Szansa na zdanie w grupie kontrolnej (bez nauki) to Szansa na zdanie w grupie badawczej to = 0.64 Zatem prawdopodobieństwo to p = szan sa 1 + szan sa = 1.88 OR to stosunek szans na zdanie egzaminu dzięki nauce 5/ OR = = /31 Jeśli OR wynosi 3 to prawdopodobieństwo =?.75 Zależność między prawdopodobieństwem a szansą Jeśli prawdopodobieństwo = 50%, to iloraz szans =? Szansa ma rozkład asymetryczny, więc na potrzeby analiz używany jest logarytm z szans. 1 Jeśli p = 100% to OR? #prawdopodobieństwo od 0 do 100% p <- seq(0,1,.01) możliwe dane #iloraz szans s <- p/(1-p) #logarytm z ilorazu szans log.s <- log(s) możliwe wyniki 7/31 8/31

3 Wzór na regresję logistyczną Regresja liniowa: Y = b 0 + b 1 X 1 + ϵ Regresja logistyczna: p ln ( ) = b 0 + b 1 X 1 + ϵ 1 p p = e b0+ b1 X1 1 + e b0+ b1 X1 9/31 10/31 Wyniki Przykład analizy regresji logistycznej Pseudo R2: Coxa i Snella, Nagelkerkego i inne służą tylko do szacowania jakości modelu. Istotność statystyczną modelu szacowano kiedyś w oparciu o wynik testu Hosmera- Lemshow a (różnica między danymi obserwowanymi a przewidywanymi przez model), ale test ten nie bierze on pod uwagę nadmiernego dopasowania, jest arbitralny w wyborze liczby bloków i metody obliczania kwantyli i często ma moc, która jest zbyt niska. Z tych powodów test Hosmer-Lemeshow nie jest już zalecany. Najlepszym wskaźnikiem jest poprawność klasyfikacji i przyrost poprawności predykcji o 20-25% i więcej. Czy decyzja o zakupie zależy od ceny i wyglądu komputera? # A tibble: 6 x 3 zakup cena wygląd <dbl> <dbl> <dbl> /31 12/31

4 Wizualizacja zmiennych Modelowanie ggplot(komputery, aes(x=cena, y=zakup)) + geom_jitter(height =.05) + stat_smooth(method="glm", method.args = list(family = "binomial"), se=false) + theme_bw() Model zerowy model0 <- glm(komputery$zakup ~ 1, family = "binomial") Model z predyktorem model1 <- glm(komputery$zakup ~ komputery$cena, family = "binomial") 13/31 14/31 Czy model ze zmienną jest lepszy od modelu zerowego? anova(model0,model1,test="chisq") Analysis of Deviance Table Model 1: komputery$zakup ~ 1 Model 2: komputery$zakup ~ komputery$cena Resid. Df Resid. Dev Df Deviance Pr(>Chi) * --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Test omnibusowy zakup_przewidywany <- predict(model1, type="response") DescTools::HosmerLemeshowTest(zakup_przewidywany, komputery$zakup, ngr=2)$h Hosmer-Lemeshow H statistic data: zakup_przewidywany and komputery$zakup X-squared = , df = 0, p-value < 2.2e-16 DescTools::HosmerLemeshowTest(zakup_przewidywany, komputery$zakup, ngr=5)$h Hosmer-Lemeshow H statistic data: zakup_przewidywany and komputery$zakup X-squared = , df = 3, p-value = /31 16/31

5 Podsumowanie modelu - pseudo R 2 Tabela klasyfikacji DescTools::PseudoR2(model1, "all") McFadden McFaddenAdj CoxSnell Nagelkerke AldrichNelson VeallZimmermann Effron McKelveyZavoina Tjur AIC BIC loglik loglik0 G #prawdopodobieństwo z modelu head(zakup_przewidywany) #próg <- 0.5 #domyślnie próg <- sum(komputery$zakup)/n #proporcjonalny do obserwacji #kategoryzacja prawdopodobieństwa zakup_przewidywany <- cut(zakup_przewidywany, breaks=c(-inf, próg, Inf), labels=c("nie kupi", "kupi")) 17/31 18/31 kupno zakup_przewidywany 15 1 kupi 16 1 kupi 17 1 kupi 18 1 kupi 19 1 kupi 20 1 nie kupi 21 1 nie kupi 22 0 nie kupi 23 0 nie kupi 24 0 nie kupi 25 1 nie kupi Tabela klasyfikacji #tabela kl_tab <- table(komputery$zakup, zakup_przewidywany) addmargins(kl_tab) zakup_przewidywany nie kupi kupi Sum Sum próg [1] 0.48 sum(diag(kl_tab)) / sum(kl_tab) # % poprawnych klasyfikacji 19/31 [1] /31

6 Współczynniki modelu Szanse - Odd Ratio summary(model1)$coefficient Estimate Std. Error z value Pr(> z ) (Intercept) komputery$cena mc <- model1$coefficients mc (Intercept) komputery$cena exp(mc) (Intercept) komputery$cena /31 22/31 Wyszukiwanie wartości odstających Model wynikowy car::outliertest(model1) Wzór: No Studentized residuals with Bonferonni p < 0.05 Largest rstudent : rstudent unadjusted p-value Bonferonni p NA Interpretacja: p = e b0+ b1 X 1 + e b0+ b1 X Przy zmianie postawy osoby badanej wobec ceny o 1 pkt szansa zakupu maleje 1-0,556 = 0,444 raza. Można stwierdzić, że jeśli ważność ceny wzrośnie o 1 punkt, iloraz szans w przewidywaniu zakupu zmaleje o 44%. 23/31 24/31

7 A prawdopodobieństwo Ocena skuteczności modelu P(zakup) = e 2,49 0,5868 cen a 1 + e 2,49 0,5868 cen a Prawdopodobieństwo zakupu dla poszczególnych ocen ważności ceny for(i in 1:7){ ei <- exp(mc[[1]]+mc[[2]]*i)/(1+exp(mc[[1]]+mc[[2]]*i)) print(paste(i,round(ei*100,1),sep=" -> ")) } [1] "1 -> 87" [1] "2 -> 78.9" [1] "3 -> 67.5" [1] "4 -> 53.6" [1] "5 -> 39.1" [1] "6 -> 26.3" [1] "7 -> 16.6" library(rocr) pred_val <-prediction(as.numeric(zakup_przewidywany), komputery$zakup) # Wyszukania punktu odcięcia dla maksymalnej dokładności acc.perf <- performance(pred_val, "acc") ind = which.max( slot(acc.perf, "y.values")[[1]]) acc = slot(acc.perf, "y.values")[[1]][ind] cutoff = slot(acc.perf, "x.values")[[1]][ind] # Wynik print(c(accuracy= acc, cutoff = cutoff)) accuracy cutoff /31 26/31 Krzywa szum-sygnał [ROC] Zwiastuny kłopotów plot(performance(pred_val, "tpr", "fpr"), col = "green", lwd = 2); abline(a=0,b=1, lty=2) 1. OR > SE > 2 27/31 28/31