WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 1 / 26 Wykorzystanie lokalnej geometrii danych w Maszynie Wektorów No±nych Wojciech Marian Czarnecki Jacek Tabor GMUM Grupa Metod Uczenia Maszynowego Instytut Informatyki Wydziaª Matematyki i Informatyki Uniwersytet Jagiello«ski 13 Listopada 2013
GMUM WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 2 / 26
5 Podsumowanie WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 3 / 26 1 Gªówna idea 2 uogólnione j dro Gaussa 3 Budowanie j dra 4 Ewaluacja
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 3 / 26 Wst p Nasze podej±cie: Nowa metoda budowy j dra Lepsze dopasowanie si do geometrii danych Wyniki: Nieco zwi kszona jako± kalsykacji Zwiekszona stabilno± modelu Prosta metoda dziaªaj ca z ka»d implementacj SVM
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 4 / 26 Gªówna idea Maszyna Wektorów No±nych
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 5 / 26 Gªówna idea Maszyna Wektorów No±nych
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 6 / 26 Gªówna idea Maszyna Wektorów No±nych - j dro Gaussa
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 7 / 26 Gªówna idea Intuicja geometryczna
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 8 / 26 Gªówna idea Intuicja geometryczna
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 9 / 26 Gªówna idea Zanurzenie w przestrzeni cech j dro Gaussa φ(x) = N (x, I ) j dro Mahalanobisa (mrbf) φ(x) = N (x, cov(x )) uogólniony przypadek φ(x) = N (x, Σ x ) gdzie Σ x jest warto±ci pewnej transformacji x'a ( f (x) = Σ x )
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 10 / 26 uogólnione j dro Gaussa uogólnione j dro Gaussa Funkcja K(, ) jest j drem wtedy i tylko wtedy gdy jest poprawnym iloczynem skalarnym w pewnej przestrzeni. N (m 1, Σ 1 )(x) N (m 2, Σ 2 )(x)dx = 1 = 1 (2π)d det(σ 1 +Σ 2 ) e 2 m 1 m 2 2 Σ 1 +Σ 2.
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 11 / 26 uogólnione j dro Gaussa uogólnione j dro Gaussa 1 K γ (x, y) = det(σx +Σ y ) e γ x y 2 Σ x +Σ y.
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 12 / 26 Gªówny algorytm Budowanie j dra 1 Ustal pewien podziaª Voronoi W 1,..., W k 2 Przypisz Σ x = cov(x W i ), gdzie x W i 3 Stwórz j dro K dla danych N (x, Σ x ), x X
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 13 / 26 Gªówny algorytm Budowanie j dra 1 Wykonaj klastrowanie metod k-±rednich na X 1,..., X k 2 Policz kowariancj Σ i ka»dego podzbioru X i 3 Je±li które± kowariancje s nieodwracalne - zastap je kombinacj wypukª z kowariancj caªego zbioru (u»ywaj c pewnej maªej staªej ε) 4 Policz czynniki normalizuj ce dla ka»dej pary (i, j) i zapisz je w n ij 5 Policz odwrotno±ci sum macierzy kowariancji dla ka»dej pary (i, j) i zapisz je w S ij 6 Zwró funkcj j dra K γ (x, y) := n v(x),v(y) exp( γ(x T S v(x),v(y) y)), gdzie v(x) zwraca numer klastra do którego nale»y x
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 14 / 26 Budowanie j dra Gªówny algorytm - uwaga Aby unikn ci ªych przelicze«odwrotno±ci macierzy/wyznaczników podczas poszukiwania parametrów, mo»na wykorzysta Kˆγ (x, y) = n v(x),v(y) exp(ln(k γ (x, y)/n v(x),v(y) ) ˆγ γ ).
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 15 / 26 Ewaluacja - UCI Ewaluacja Tablica: Najlepszy wynik wg. accuracy liczony u»ywaj c walidacji krzy»owej z k = 5. RBF mrbf V 2 RBF Splice 0.867 0.878 0.883 Diabetes 0.765 0.763 0.769 Australian 0.858 0.861 0.868 Breast-cancer 0.971 0.975 0.975 Liver-disorders 0.722 0.730 0.722
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 16 / 26 Ewaluacja - UCI Ewaluacja Tablica: Najlepszy wynik wg. accuracy liczony u»ywaj c walidacji krzy»owej z k = 5. rozmiar RBF mrbf V 2 RBF 1000 Splice 0.867 0.878 0.883 768 Diabetes 0.765 0.763 0.769 690 Australian 0.858 0.861 0.868 683 Breast-cancer 0.971 0.975 0.975 345 Liver-disorders 0.722 0.730 0.722
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 17 / 26 Ewaluacja Diabetes - grid search dla miary accuracy
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 18 / 26 Ewaluacja Stabilno± j der Gaussowskich w SVM P f (α) := prob{f (C, γ) α : (C, γ) G}.
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 19 / 26 Ewaluacja Stabilno± j der Gaussowskich w SVM
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 20 / 26 Ewaluacja Dlaczego k-±rednich? Przetestowali±my metody oparte o opodziaª Voronoi: k-±rednich z metryk Euklidesa k-±rednich z metryk Mahalanobisa ±rodki cie»ko±ci klas oraz nie u»ywaj ce podziaªu Voronoi: Gaussian Mixture Models
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 21 / 26 Ewaluacja Dlaczego k-±rednich? Tablica: Najlepszy wynik wg. accuracy liczony u»ywaj c walidacji krzy»owej z k = 5, algorytmy klastruj ce dzieliªy dane na dwa klastry. metoda accuracy V k RBF 0.975 V k RBF + class centers 0.973 V k RBF + GMM 0.968 V k RBF + Mahalanobis k-means 0.966
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 22 / 26 Ewaluacja Czym to si ró»ni of k-±rednich + SVM? k-±rednich + SVM Uczenie 1 Poklastruj przestrze«u»ywaj c k-±rednich 2 Dla ka»dego klastra naucz niezale»ny SVM: SVM 1,..., SVM k Testowanie x 1 Przypisz x do klastra c(x) 2 Zwró wynik SVM c(x)
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 23 / 26 Ewaluacja Czym to si ró»ni of k-±rednich + SVM? Tablica: Najlepszy wynik wg. accuracy liczony u»ywaj c walidacji krzy»owej z k = 5, algorytmy klastruj ce dzieliªy dane na dwa klastry. metoda accuracy V k RBF 0.975 mrbf + k-±rednich 0.963 RBF + k±rednich 0.963
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 24 / 26 Dlaczego k = 2? Ewaluacja
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 25 / 26 Nasz wkªad Podsumowanie 1 Proste uogólnienie j dra Gaussa o zªo»ono±ci obliczeniowej j dra Mahalanobisa mo»liwe do u»ycia z ka»d implementacj SVM 2 Dodaje nowy typ informacji do denicji j dra 3 Poprawia wyniki klaskacji 4 Wzrasta stabilno± modelu 5 Proces tworzenia j dra nie wymaga znajomo±ci etykiet wi c mo»e korzysta z niepoetykietowanego zbioru (np. w scenariuszu uczenia aktywnego) 6 Empiryczna analiza alternatywnych podej±
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 26 / 26 Dzi kuj za uwag Podsumowanie Pytania? http://czarnecki.gmum.ii.uj.edu.pl wojciech.czarnecki@uj.edu.pl Mog udost pni : Artykuª (prosz o email) Podobny (ideologicznie) artykuª pracuj cy z liniowym SVM (równie» prosz o email)