Jądrowe klasyfikatory liniowe

Transkrypt

1 Jądrowe klasyfikatory liniowe Waldemar Wołyński Wydział Matematyki i Informatyki UAM Poznań Wisła, 9 grudnia 2009 Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia / 19

2 Zagadnienie klasyfikacyjne Binarnym zagadnieniem klasyfikacyjnym nazywamy problem przyporządkowania obiektu opisanego przez p-wymiarowy wektor obserwowanych cech X = (X 1, X 2,..., X p ) do jednej z dwóch populacji (grup,klas) G 0, G 1. O populacjach zakładamy, że mają p-wymiarowe rozkłady prawdopodobieństwa z nieznanymi wektorami wartości oczekiwanych µ 0 i µ 1 oraz nieznanymi macierzami kowariancji Σ 0 i Σ 1. Rozwiązanie zagadnienia klasyfikacyjnego polega na podaniu reguły klasyfikacyjnej (klasyfikatora) pozwalającego na przyporządkowanie obiektu do jednej z klas: d : X {0, 1}. Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia / 19

3 Zagadnienie klasyfikacyjne Poszukujemy klasyfikatora liniowego postaci d(x) = I (a x > m) = I (< a, x >> m), spełniającego warunek a = arg max w R p J(w). Klasyfikator wyznaczamy przy użyciu n-elementowej próby uczącej L n, przy czym L n = L 0 L 1 = {x 1, x 2,..., x n }, gdzie L 0 = {x 0 1,..., x 0 n 0 }, L 1 = {x 1 1,..., x 1 n 1 }. Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia / 19

4 Zagadnienie klasyfikacyjne Jako estymatory nieznanych parametrów przyjmujemy Ponadto, niech ˆΣ i = S i = 1 n i 1 ˆµ i = x i = 1 n i x L i x, i = 0, 1, x L i (x x i )(x x i ), i = 0, 1. S B = ( x 1 x 0 )( x 1 x 0 ), S W = 1 n 2 [(n 0 1)S 0 + (n 1 1)S 1 ]. Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia / 19

5 Przypadek Σ 0 = Σ 1 (Fisher,1936) Jako miarę odległości pomiędzy grupami G 0 i G 1 przyjmujemy J(w) = w S B w w S W w. W wyniku maksymalizacji miary J(w) otrzymujemy klasyfikator liniowy, dla którego a = S 1 W ( x 1 x 0 ), m = 1 2 ( x 1 x 0 ) S 1 W ( x 1 + x 0 ). Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia / 19

6 Przypadek Σ 0 Σ 1 (Anderson i Bahadur,1962) Twierdzenie Przy dodatkowym założeniu normalności rozkładów populacji, dla dowolnego θ takiego, że macierz Σ 1 + θσ 0 jest dodatnio określona, klasyfikator liniowy, dla którego a = (Σ 1 + θσ 0 ) 1 (µ 1 µ 0 ), m = a µ 0 + θa Σ 0 a jest dopuszczalny Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia / 19

7 Przypadek Σ 0 Σ 1 Kryteria maksymalizujące odległości probabilistyczne (Schumway i Unger, 1974 oraz Krzyśko i Wołyński, 1997) odległość Chernoffa: J 1 (w) = 1 w S B w s(1 s) 2 (1 s)w S 1 w + sw S 0 w ln[(1 s)w S 1 w + sw S 0 w] 1 2 (1 s) ln(w S 1 w) 1 2 s ln(w S 0 w), s [0, 1]. odległość Morisity: J 2 (w) = 1 w S B w 2 w (S 1 + S 0 )w ln[w (S 1 + S 0 )w] + ln[(w S 1 w) (w S 0 w) 1 2 ] 1 2 ln[(w S 1 w)(w S 0 w)] ln(2 2). Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia / 19

8 Przypadek Σ 0 Σ 1 Wszystkie rozważane miary odległości pomiędzy grupami J(w) są funkcjami wektora w jedynie poprzez wyrażenia: w S B w, w S i w, i = 0, 1. Zauważmy, że oraz w S B w = w S i w = 1 n i 1 ( 1 n 1 n 1 k=1 < w, x 1 k > 1 n 0 n 0 k=1 < w, x 0 k > ) 2 ( n i < w, x i k > 1 n i 2 < w, x i k >), i = 0, 1. n i k=1 k=1 Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia / 19

9 Przykład µ 0 = [ 0 0 ], Σ 0 = [ ], µ 1 = [ 6 0 ], Σ 1 = [ ]. LDA: e R = 0.074, e CV = θ LDA: e R = dla θ = 3.83, e CV = Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia / 19

10 Klasyfikatory jądrowe Niech Zatem oraz gdzie x Φ(x) = x H. L H n = L H 0 L H 1 = {Φ(x 1 ), Φ(x 2 ),..., Φ(x n )} d(x) = I (< a, Φ(x) >> m), a = arg max J(w). w Lin(L H n ) Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia / 19

11 Kernel trick Mamy a = Zatem n α j Φ(x j ). j=1 n n < a, Φ(x) > = < α j Φ(x j ), Φ(x) >= α j < Φ(x j ), Φ(x) > j=1 j=1 n = α j K(x j, x), j=1 gdzie K jest jądrem. Typy jąder: wielomianowe K(x, y) = (1 + x y) c, c > 0, normalne K(x, y) = exp( x y 2 /c), c > 0. Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia / 19

12 Własności Niech x H i = 1 Φ(x), S H i = 1 (Φ(x) x H i )(Φ(x) x H i ), i = 0, 1. n i n x L i 1 i x L i Wtedy gdzie oraz gdzie w S H B w = α Mα, M = (M 1 M 0 )(M 1 M 0 ), (M i ) j = 1 n i K(x j, x i n k) i w S H i w = α N i α, k=1 N i = 1 n i 1 K i(i 1 n i 11 )K i, (K i ) kl = K(x k, x i l), i = 0, 1. Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia / 19

13 Przypadek Σ 0 = Σ 1 (Mika, Rätsch, Weston, Schölkopf, Müller,1999) Niech Wtedy J(w) = w Mw w Nw, N = 1 n 2 [(n 0 1)N 0 + (n 1 1)N 1 ]. a = N 1 (M 1 M 0 ), m = 1 2 (M 1 M 0 ) N 1 (M 1 + M 0 ). Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia / 19

14 Przypadek Σ 0 Σ 1 Dla odległości Chernoffa: J 1 (w) = 1 w Mw s(1 s) 2 (1 s)w N 1 w + sw N 0 w ln[(1 s)w N 1 w + sw N 0 w] 1 2 (1 s) ln(w N 1 w) 1 2 s ln(w N 0 w), s [0, 1]. Otrzymujemy a = (N 1 + θn 0 ) 1 (M 1 M 0 ), m = a M 0 + θa N 0 a. Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia / 19

15 Przykład c.d. µ 0 = [ 0 0 ], Σ 0 = [ ], µ 1 = [ 6 0 ], Σ 1 = [ ]. KLDA: e R = 0.027, e CV = θ KLDA: e R = dla θ = 5.64, e CV = Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia / 19

16 Zagadnienie wieloklasowe Niech liczba klas K > 2. Oznaczmy p ij (x) = P(X G i X G i G j, x), i, j = 1,..., K, i j. Przyjmujemy p ij (x) = 1/(1 + exp(a ij x m ij)), i, j = 1,..., K, i j. Ponadto p i (x) = P(X G i x), i = 1,..., K. Wtedy p ij (x) = p i (x) p i (x) + p j (x), i < j, (p ji(x) = 1 p ij (x)). Układ K(K 1)/2 równań z K niewiadomymi (zazwyczaj sprzeczny). Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia / 19

17 Metoda PWC (Hastie i Tibshirani, 1998) Oszacowanie prawdopodobieństw a posteriori p i (x) poprzez minimalizację odległości Kullbacka-Leiblera postaci: ρ KL (ˆp 1 (x),..., ˆp K (x)) = [ n ij ˆp ij (x) log ˆp ] ij(x), p j i ij (x) gdzie liczebności n ij = n i + n j pełnią rolę wag. Do wyznaczenia tych oszacowań wykorzystujemy algorytm Bradley a-terry ego. Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia / 19

18 Ważona metoda PWC Niech q ij (x) = p i (x) + p j (x). Do oszacowania prawdopodobieństwa q ij (x) wykorzystujemy klasyfikatory binarne uczone na próbie zawierającej tylko dwie klasy. Do pierwszej z nich zaliczamy obserwacje z klas i-tej i j-tej, a do drugiej pozostałe obserwacje. Ważona procedura sumacyjna: ˆp i (x) = 1 ˆq ij (x)ˆp ij (x), i = 1, 2,..., K. K 1 j i ˆd(x) = arg max 1 i K Ważona procedura iloczynowa: ˆq ij (x)ˆp ij (x). j i ˆp i (x) = K 1 ˆq ij (x)ˆp ij (x), i = 1, 2,..., K. j i ˆd(x) = arg max ˆq ij (x)ˆp ij (x). 1 i K j i Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia / 19

19 Literatura 1 Anderson T.W., Bahadur R.R. (1962), Classification into two multivariate normal distributions with different covariance matrices, Ann. Math. Statist. 33, Krzyśko M., Wołyński W. (1997), Linear discriminant functions for stationary time series, Biometrical Journal 39, Mika S., Rätsch G., Weston J., Schölkopf B., Müller K.R. (1999), Fisher discriminant analysis with kernels, In Y.-H. Hu, J. Larsen, E. Wilson, and S. Douglas, editors, Neural Networks for Signal Processing IX, T. Hastie, R. Tibshirani (1998), Classification by pairwise coupling, The Annals of Statistics 26, M. Krzyśko, W. Wołyński (2009), New variants of pairwise classification, European Journal of Operational Research 199, Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia / 19