WYKŁAD II: Klasyfikacja logistyczna. MiNI PW

Transkrypt

1 WYKŁAD II: Klasyfikacja logistyczna MiNI PW

2 Rozpatrywane dotąd metody klasyfikacji: LDA Fishera (liniowa reguła klasyfikacyjna); Reguła Bayesowska (jej wersja empiryczna dla rozkładów normalnych ze wspólną macierzą Σ pokrywa się z LDA). Inne metody liniowe? Klasyfikacja logistyczna oparta na modelu regresji logistycznej. Jedno z zastosowań: reklamy pojawiające się na stronie są dobierane na podstawie modelu regresji logistycznej/probitowej gdzie zmiennymi objaśniajacymi są słowa kluczowe.

3 Regresja logistyczna Bardzo częsta sytuacja: odpowiedź Y jest zerojedynkowa, chcemy stwierdzić, jak zależy od wektora zmiennych objaśniających x. Najczęstsza sytuacja Y : sukces (figuratywnie pojmowany) lub porażka Z reguły nie stosujemy bezpośrednio modelu regresji liniowej (Y w modelu regresji liniowej jest cechą ilościową): problem estymacji prawd. aposteriori, maskowania się klas. P(Y = 1 x) = π(x) = E(Y x) π(x) modelujemy zależność π od x, a nie Y od x. x R p

4 Regresja logistyczna Zamiast bezpośrednio modelować π(x) modelujemy logarytm szansy szansa = π(x) (1 π(x)) π(x) logit(π(x)) := log( 1 π(x) ) = β x, logarytm szansy jest kombinacją liniową predyktorów. π(x) = exp (β x) 1 + exp (β x) = exp ( β x)

5 Niech p = 1 i β = s, popatrzmy na zachowanie się funkcji 1/(1 + exp( sx)) Sigmoid Function sigma(s*x) y s=0.5 s=1 s= x Dla małych s główna część krzywej w przybliżeniu liniowa, dla dużych s - indykator zbioru (0, ).

6 Inna interpretacja modelu logistycznego lub gdzie ε ma rozkład logistyczny Y = I {X β ε 0} Y = I {X β + ε 0}, F ε (s) = exp ( s). Interpretacja współczynników Mamy (dla x = (1, x) ) logit(π(x + 1)) logit(π(x)) = β 0 + β 1 (x + 1) (β 0 + β 1 x) = β 1 exp(β 1 ) = exp(β 1 ) jest równa ilorazowi szans. π(x + 1) ( π(x) ) 1 1 π(x + 1) 1 π(x)

7 Metoda warunkowej największej wiarogodności Estymacja β Założenia: Y 1, Y 2,..., Y n niezależne, Y i Bin(1, π(x i )) f i (Y i ) = π Y i i (1 π i ) 1 Y i n n f i (Y i ) = π Y i i (1 π i ) 1 Y i =: L i=1 i=1 π i L = log L = Y i log( ) + log(1 π i ) = 1 π i Yi β x i log{1 + exp(β x i )} Iteracyjne szukanie 0 pochodnej L metodą Raphsona Newtona. L jest funkcją wklęsłą parametru β: w zerze pochodnej minimum.

8 Metoda Iterowanych Przeważonych Najmniejszych Kwadratów Metoda Iterowanych Przeważonych Najmniejszych Kwadratów (Iterated Reweighted Least Squares, IRLS) Potrzebne funkcja wynikowa i Hessjan log L β = n x i (Y i π(x i )) = X (Y π) i=1 gdzie 2 log L β β = n x i x iπ(x i )(1 π(x i )) = X WX, i=1 π = (π(x 1 ),..., π(x 1 )) W = diag(π(x 1 )(1 π(x 1 )),..., π(x n )(1 π(x n )))

9 Metoda Iterowanych Przeważonych Najmniejszych Kwadratów Metoda Raphsona-Newtona gdzie β new = β old + (X WX) 1 X (Y π)) = (X WX) 1 X W(Xβ old + W 1 (Y π)) = (X WX) 1 X Wz, z = Xβ old + W 1 (Y π) jest tak zwaną odpowiedzią dopasowaną. Każde dopasowanie: metoda ważonych najmniejszych kwadratów (ze zmieniającą się macierzą W i z). β (0) = 0 lub β (0) = β LS. Dla p > n nie działa ((X WX) 1 nie istnieje.)

10 Inne metody estymacji Estymator Blyth a zmniejszający obciążenie estymatora ˆβ NW ; regularyzowany estymator Lasso argmin b { 2 L λ p b i } i=1 i różne jego warianty. Więcej na wykładzie z uogólnionych modeli liniowych.

11 Dowolna dająca 0 π(x) 1 jest dobra. Inne możliwości: inaczej modelowana zależność π(x) od x. Regresja probitowa: Φ 1 (π(x)) = β x Φ dystrybuanta N(0, 1). Zbior danych bliss dane dotyczący skuteczności środka owadobójczego. Dopasowanie modelu regresji logistycznej procedura glm, opcja family= binomial. Uwaga: możliwe dane zagregowane/grupowane postaci: Przykład dane bliss wartość x liczba sukcesów liczba porażek

12 dead alive conc g <- glm(cbind(dead,alive) ~ conc, family=binomial, data=bliss) gp <- glm(cbind(dead,alive) ~ conc, family=binomial(link=probit), data=bliss) pl= g$fit ilogit(g$coef[1]+g$coef[2]*bliss$conc) # otrzymujemy to samo pp=gp$fit x <- seq(-2,8,0.2) plot(x,pl,type="l",ylab="probability",xlab="dose") lines(x,pp,lty=2)

13 Probability Dose Praktycznie bez różnicy dopasowania, poza ogonami.

14 Odchylenie modelu od modelu, testy istotności współczynników Niech ω będzie modelem regresji logistycznej o zmiennych x 1,..., x q. ω Ω, Ω - większy model zawierający dodatkowo zmienne x q+1,..., x p. Chcemy testować hipotezę, czy zmienne x q+1,..., x p wnoszą istotną wiedzę do modelu. H 0 : ω (model ω jest adekwatny) przeciwko H 1 : Ω (model Ω jest adekwatny, a ω nie jest). Testowanie hipotezy opiera się o statystykę odchylenia modelu Ω od ω wynoszącą { L( ˆβ Ω ) } D ω,ω = 2 ln 0, (L( ˆβ ω ) gdzie L( ˆβ Ω ) jest funkcją wiarogodności policzoną w estymatorze największej wiarogodności w modelu Ω.

15 Fakt Przy spełnieniu hipotezy H 0 zmienna D ma dla dużych liczności próby rozkład χ 2 z p q stopniami swobody. Typowe zastosowania: Istotność zestawu zmiennych: ω : y 1, Ω : y x x p. Istotność pojedynczej zmiennej dodanej do modelu: ω : y x x q, Ω : y x x q+1. Sprawdźmy, czy zmienna conc istotnie wpływa na prawdopodobieństwo, że środek jest skuteczny. Wystarczy odwołać się do obiektu g i wywołać jego statystyki zbiorcze (summary).

16 > summary(g) Call: glm(formula = cbind(dead, alive) ~ conc, family = binomial, data = bliss)... Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) e-08 *** conc e-10 *** --- Signif. codes: 0 *** ** 0.01 * Null deviance: on 4 degrees of freedom Residual deviance: on 3 degrees of freedom AIC:

17 Odchylenie obliczamy jako różnicę między null deviance i residual deviance, D = = 64.3, większe od kwantyla q 0.01 rozkładu χ 2 z jednym stopniem swobody (= 6.63). Odrzucamy hipotezę o nieistotności zmiennej conc. Sprawdźmy jeszcze, czy do modelu warto dołączyć kwadrat tej zmiennej. g2 <- glm(cbind(dead,alive) ~ conc +I(conc^2), family=binomial, data=bliss) > summary(g2)... Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) e-05 *** conc * I(conc^2) Null deviance: on 4 degrees of freedom Residual deviance: on 2 degrees of freedom

18 Odchylenie modelu z dwiema zmiennymi od modelu z jedną zmienną liczymy jako różnicę odchyleń resztowych (D = = 0.18), wartość jest nieistotna przy porównaniu z kwantylem rozkładu chi kwadrat z jednym stopniem swobody. Oba wyniki potwierdzane przez statystykę Walda t = ˆβ/SE( ˆβ) (wartość z-value, trzecia kolumna zbioru wynikowego). Uwaga: statystyka Walda traci stosowalność dla danych z liniowo separowalnymi grupami Y = 1 i Y = 0. Duża wariancja współczynników powoduje, ze wartości statystyki są małe i zmienne mające wpływ na Y są interpretowane jako nieistotne.

19 Uwaga Wartość residual deviance jest odchyleniem między rozpatrywanym modelem a tzw. modelem nasyconym, w którym liczba parametrów jest równa liczbie obserwacji (dla danych grupowanych: liczbie poziomów). Residual deviance jest czasami wykorzystywana do testowania adekwatności modelu w schemacie H 0 : ω vs H 1 : Ω nasycony. Statystyka D ma w przybliżeniu rozkład chi kwadrat z n p stopniami swobody, ale tylko dla danych grupowanych, takich jak dane bliss, gdy liczba poziomów jest stała i liczba obserwacji na każdym poziomie wynosi co najmniej 5. n oznacza wtedy liczbę poziomów predyktorów.

20 Model logistyczny dla Y o g wartościach Wbieramy populację referencyjną np. ostatnią (o numerze g) log log p(1 x) p(g x) = β 1x log p(2 x) p(g x) = β 2x p(g 1 x) p(g x) = β g 1x β i = (β i0, β i1,..., β ip ) Nieznane parametry: β 1,..., β g 1 R p+1, łacznie (g 1)(p + 1) parametrów jednowymiarowych. Uwaga W pakiecie R jako populacja referencyjna wybierana jest ta, której nazwa jest pierwsza w porządku leksykograficznym.

21 Estymacja parametrów metodą NW: ˆβ 1,..., ˆβ g 1 ˆp(1 x),..., ˆp(g x) ˆp(k x) = exp(ˆβ kx) 1 + g 1 i=1 exp(ˆβ ix) k = 1,..., g 1 ˆp(g x) = g 1 i=1 exp(ˆβ ix) Reguła dyskryminacyjna Reguła bayesowska oparta na estymatorach otrzymanych w modelu logistycznym: Klasyfikuj do populacji l gdzie l = argmax i ˆp(i x) Zauważmy, że w modelu logistycznym w naturalny sposób otrzymujemy oszacowania interesujących prawdopodobieństw aposteriori i nie ma potrzeby oddzielnej estymacji π i i p(x i).

22 Nota bene Jeśli p(x i): gęstość rozkładu N(m i, Σ) i = 1,..., k. to log p(k x) p(g x) = 1 2 (x m g ) Σ 1 (x m g ) 1 2 (x m k) Σ 1 (x m g )+log π k π g = 1 2 (m k m g ) Σ 1 x 1 2 (m k + m g ) Σ 1 (m k m g ) + log π k π g ma postać β kx. Ta zależność była również wykorzystywana w metodzie LDA. Czym zatem różnią się te dwie metody?

23 Sposobem estymacji parametrów. W regresji logistycznej maksymalizujemy (g = 2) L = n P(Y = 1 X = x i ) y i (1 P(Y = 1 X = x i )) 1 y i i=1 To jest warunkowa funkcja wiarogodności p(y 1,..., y n X = x) wykorzystująca jedynie warunkowy rozkład Y pod warunkiem X. (brzegowy rozkład X nie odgrywa tu roli, nic o nim nie zakładamy!) W przypadku LDA gęstość p(x = x, Y = k) ma postać p(x, k) = φ(x, µ k, Σ)π k Maksymalizacja pełnej funkcji wiarogodności o postaci L = n p(x i, y i ) i=1

24 prowadzi do rozpatrywanych poprzednio estymatorów ˆΣ = 1 n g ˆµ i = x i g (n k 1)S k k=1 ˆπ i = n i n Można spodziewać się, że regresja logistyczna nie jest tak czuła na duże odstępstwa od normalności i równość macierzy kowariancji jak LDA.

25 Wykres rozproszenia danych earthquake z obszarami klasyfikacji wyznaczonymi przy użyciu klasyfikacji logistycznej (linia ciągła) i LDA (linia przerywana) body surface X X X X X X X X X X X X X X X X X X

26 Dane earthquake Dopasujemy model logistyczny popn body + surface. Tworzymy nową ramkę danych z zero-jedynkową zmienną y zamiast popn. Dla dopasowania modelu logistycznego y body + surface wykorzystywana funkcja glm. glm (skrót od generalized linear model) pozwala na dopasowanie modelu z klasy uogólnionych modeli liniowych. Opcja family=binomial specyfikuje model logistyczny. earthquake = read.table("earthquake.txt", header=true) equake = data.frame(y=ifelse(earthquake$popn=="equake", 0, 1), body=earthquake$body, surface=earthquake$surface) g2 = glm(y~ body + surface, data=equake, family=binomial)

27 Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) body surface (Dispersion parameter for binomial family taken to be 1) Null deviance: e+01 on 28 degrees of freedom Residual deviance: e-09 on 26 degrees of freedom AIC: 6 Wartość odchylenia resztowego (residual deviance) jest bardzo mała i wskazuje na bardzo dobre dopasowanie, gdy jednocześnie wyniki testu t mówią o nieistotności obu zmiennych. Taka paradoksalna sytuacja występuje często przy liniowej separowalności klas, gdy estymatory współczynników w modelu regresji logistycznej i ich błędy standardowe zachowują się niestabilnie (p(1 x i ) 1, 0, i = 1,..., n ˆβ -duża).

28 Tabelka i procent poprawnych reklasyfikacji. Ypred =ifelse(g2$fitted.values < 0.5, 0, 1) # klasyfikacja do klasy 1 dla prawd. aposteriori klasy 1 < 0,5. print(kl =table(equake$y, Ypred)) print(procent= sum(diag(kl)) / sum(kl)) Ypred [1] 1 Działanie klasyfikatora logistycznego różni się od klasyfikatora LDA: pierwszy z nich klasyfikuje bezbłędnie wszystkie elementy próby uczącej (sytuacja liniowo separowalnych klas). Nie należy wyciągać stąd wniosku, że klasyfikator logistyczny będzie działał lepiej dla nowych obserwacji.

29 Dane urine, wybór zmiennych w klasyfikacji. Zmienna presence jest zmienną grupującą, pozostałe atrybuty: wartości pomiarów fizyko-chemicznych moczu. Model logistyczny presence sg+ph+mosm+mmho+urea+calcium urine.glm=glm(presence ~., family = binomial, data = urine) Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) sg ph mosm mmho urea calcium (Dispersion parameter for binomial family taken to be 1) Null deviance: on 76 degrees of freedom Residual deviance: on 70 degrees of freedom AIC: 71.56

30 Dev null,ω = Dev null Dev resid. Duża różnica odchylenia zerowego (null deviance) i resztowego (residual deviance) wskazuje na występowanie istotnych zmiennych w modelu, odpowiednia p-wartość, uzyskana na podstawie rozkładu chi kwadrat z 6 stopniami swobody wynosi pchisq( ,7-1,lower=f). i jest mniejsza od Tabelka reklasyfikacji i procent poprawnej reklasyfikacji kl 0 1 no 40 4 yes 8 25 [1] Dokonajmy redukcji zmiennych w modelu metodą eliminacji wstecz, sprawdźmy, czy mniejszy model można uznać za adekwatny i jak wygląda reklasyfikacja.

31 urine.glm = glm(presence., data=urine, family=binomial) urine.step = step(urine.glm, direction= backward ) print(urine.step) Call: glm(formula = presence ~ sg + mmho + urea + calcium, family = binomial, data = urine) Coefficients: (Intercept) sg mmho urea calcium Degrees of Freedom: 76 Total (i.e. Null); 72 Residual Null Deviance: Residual Deviance: AIC: Otrzymany podzbiór zmiennych objaśniających: calcium, mmho, sg, urea uzyskuje się również stosując metodę dołączania. Przetestujmy teraz, czy model mniejszy jest adekwatny, przy użyciu statystyki równej różnicy odchyleń, która przy hipotezie H 0 (model mniejszy jest adekwatny) ma dla dużych liczności w przybliżeniu rozkład χ 2 z 7 5 = 2 stopniami swobody

32 print(anova(u2.glm, u.glm, test= Chi )) Analysis of Deviance Table Model 1: presence ~ sg + mmho + urea + calcium Model 2: presence ~ sg + ph + mosm + mmho + urea + calcium Resid. Df Resid. Dev Df Deviance P(> Chi ) Porównując model mniejszy i większy nie odrzucamy hipotezy, że model mniejszy jest adekwatny. Dopasowujemy mniejszy model i przeprowadzamy reklasyfikację. u2.glm = glm(presence sg + mmho + urea + calcium, data=urine, family=binomial) kl2 0 1 no 40 4 yes 8 25 [1] Otrzymaliśmy dokładnie takie same wyniki reklasyfikacji, jak dla większego zbioru atrybutów.

33 Podejście teoriodecyzyjne Zamieńmy indeksy klas na Y = ±1. Wtedy: dla Y = 1 log p(x, y) = y log( exp(β x) 1+exp(β x) ) = log(1 + exp( yβ x)) dla Y = 1 1 log p(x, y) = (1 y) log( 1+exp(β x ) = log(1 + exp( yβ x)) funkcja straty l(y, f (x)) = log(1 + exp( yf (x)) ˆβ ML = argmin β n l(y i, β x i ) i=1

34 Classification loss functions Regression loss functions L binomial hinge square/4 prediction error L square eps insensitive Huber Margin y*f y f

35 Model proporcjonalnych szans Przypuśćmy, że zmienna Y jest zmienną nominalną o g uporządkowanych kategoriach (np. kategorie wiekowe, kategorie klienta: spłaty terminowe, spłaty z opóźnieniem, brak spłat). Informacja o uporządkowaniu klas powinna być wykorzystana w modelu. Oznaczmy kategorie jako 1, 2,..., g. W modelu proporcjonalnych szans dla j = 1, 2,..., g 1 log Pr(y j x) 1 Pr(y j x) = α j β x, ( ) gdzie x = (x 1,..., x p ) jest wektorem predyktorów. Funkcja logitowa log(p/(1 p)) dla p i Pr(y j x) gdy j α 1 α 2 α g 1. Dla ustalonego j model ( ) jest modelem logistycznej regresji dla odpowiedzi binarnej 1 gdy {y j}, i 0 gdy {y > j}. Dla g = 2 otrzymujemy model regresji logistycznej.

36 Waz ze zmianą j in ( ) wyraz wolny α j się zmienia, podczas gdy wektor β pozostaje taki sam. Dla γ j (x)= Pr(y j x) założenie modelowe oznacza, że funkcja γ j ( ) jest przesunięciem funkcji γ k ( ). Mianowicie, np. dla jednowymiarowego predyktora mamy γ k (x) = exp(α j β(x (α k α j )/β) 1 + exp(α j β(x (α k α j )/β) = γ j (x (α k α j )/β). prawdopodobienstwo P(y<3) P(y<2) P(y<1) x

37 Nazwa model proporcjonalnych szans ( proportional odds) związana z faktem, że założenie modelowe implikuje: γ i (x 1 )/(1 γ i (x 1 )) γ i (x 2 )/(1 γ i (x 2 )) = exp( β (x 1 x 2 )). Tak więc powyższy iloraz szans nie zależy od i. Konwencja znków β: dla x 1 < x 2 przy β > 0 chcemy, aby powyższy stosunek był > 1 ( Uwaga: procedura GENMOD (SAS) używa β zamiast β w ( ). Parametry modelu estymowane przy użyciu metody największej wiarogodności. Procedury: polr w R i Genmod w SAS. Inne modele: model proporcjonalnych hazardów log( log(1 γ j (x)) = α j + β x Założenie implikuje, że P(Y > j x 1 ) = P(Y > j x 2 ) exp(β (x 1 x 2)).

38 Inne metody dyskryminacji liniowej: perceptron Rosenblatta (sieci neuronowe); metoda oparta na regresji wielowymiarowej. Druga metoda: etykieta klasy kodowana jest jako wektor g wymiarowy y = (y (1),..., y (g) ) dla klasy k, y = (0, 0,..., 0, 1, 0,..., 0) (1 na k tym miejscu)

39 X macierz eksperymentu n (p + 1) Y macierz odpowiedzi y (1) 1 y (g) 1.. y n (1) y n (g) Szukamy macierzy ˆB (p+1) g minimalizującej n y i [1, x i]b 2 i=1 równoważne rozwiązaniu g problemów regresji wielokrotnej oddzielnie. Macierz ˆB składa się z kolumn parametrów dla kolejnych problemów regresji.

40 Okazuje się, że prognoza ŷ(x) = [1, x ]B ma własność Reguła klasyfikacyjna n ŷ (k) (x) = 1 i=1 δ(x) = argmax ŷ (k) (x) k=1,2,...,g Komentarz: δ( ) dopuszcza uogólnienie nieliniowe dyskryminacja giętka (flexible discrimination)

41 Kwestia skal pomiarowych atrybutów Dotąd milcząco zakładaliśmy, że atrybuty przyjmują wartości rzeczywiste. Nie ma problemu dla zmiennych ilościowych dyskretnych ze stosowaniem LDA, dyskryminacji logistycznej, empirycznej metody bayesowskiej. Wartości nominalne x przyjmuje r wartości i ta wartość (0, 0,..., 0, 1, 0,..., 0) (1 na i tym miejscu) musimy mieć dane zawierające obserwacje dla każdego układu atrybutów, aby metoda była stabilna wartości nominalne na skali porządkowej: metoda ad hoc i ta wartość (i 1)/n Inna metoda postępowania dla atrybutów nominalnych oparta na naiwnej metodzie bayesowskiej(zakładającej niezależność atrybutów) x = (x (1),..., x (p) ) p(2 x) p(1 x) = π 2 π 1 p(x 2) p(x 1) = π 2 π 1 p i=1 p(x (i) 2) p(x (i) 1)

42 log p(2 x) p(1 x) = log π 2 π 1 + atrybut x (i) poziomy l = 1,..., m i p i=1 ˆP(x (i) = l k) = n ik(l) n k log p(x (i) 2) p(x (i) 1) n ik (l) # elementów klasy k, dla których i ty atrybut jest równy l p(x (i) = l 2) p(x (i) = l 1) estymujemy przez n i2(l) n i1 (l) n1 n 2 Uwaga(i) Naiwna metoda bayesowska działa często dobrze nawet w przypadku, gdy atrybuty są zależne! (ii) Poprawka Laplace a λ = 0.5, 1. ˆP(x (i) n ik (l) + λ = l k) = w (n ik(w) + λ)