Wykorzystanie lokalnej geometrii danych w Maszynie Wektorów No±nych

Transkrypt

1 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Wykorzystanie lokalnej geometrii danych w Maszynie Wektorów No±nych Wojciech Marian Czarnecki Jacek Tabor GMUM Grupa Metod Uczenia Maszynowego Instytut Informatyki Wydziaª Matematyki i Informatyki Uniwersytet Jagiello«ski 13 Listopada 2013

2 GMUM WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26

3 5 Podsumowanie WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 1 Gªówna idea 2 uogólnione j dro Gaussa 3 Budowanie j dra 4 Ewaluacja

4 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Wst p Nasze podej±cie: Nowa metoda budowy j dra Lepsze dopasowanie si do geometrii danych Wyniki: Nieco zwi kszona jako± kalsykacji Zwiekszona stabilno± modelu Prosta metoda dziaªaj ca z ka»d implementacj SVM

5 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Gªówna idea Maszyna Wektorów No±nych

6 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Gªówna idea Maszyna Wektorów No±nych

7 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Gªówna idea Maszyna Wektorów No±nych - j dro Gaussa

8 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Gªówna idea Intuicja geometryczna

9 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Gªówna idea Intuicja geometryczna

10 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Gªówna idea Zanurzenie w przestrzeni cech j dro Gaussa φ(x) = N (x, I ) j dro Mahalanobisa (mrbf) φ(x) = N (x, cov(x )) uogólniony przypadek φ(x) = N (x, Σ x ) gdzie Σ x jest warto±ci pewnej transformacji x'a ( f (x) = Σ x )

11 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 uogólnione j dro Gaussa uogólnione j dro Gaussa Funkcja K(, ) jest j drem wtedy i tylko wtedy gdy jest poprawnym iloczynem skalarnym w pewnej przestrzeni. N (m 1, Σ 1 )(x) N (m 2, Σ 2 )(x)dx = 1 = 1 (2π)d det(σ 1 +Σ 2 ) e 2 m 1 m 2 2 Σ 1 +Σ 2.

12 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 uogólnione j dro Gaussa uogólnione j dro Gaussa 1 K γ (x, y) = det(σx +Σ y ) e γ x y 2 Σ x +Σ y.

13 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Gªówny algorytm Budowanie j dra 1 Ustal pewien podziaª Voronoi W 1,..., W k 2 Przypisz Σ x = cov(x W i ), gdzie x W i 3 Stwórz j dro K dla danych N (x, Σ x ), x X

14 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Gªówny algorytm Budowanie j dra 1 Wykonaj klastrowanie metod k-±rednich na X 1,..., X k 2 Policz kowariancj Σ i ka»dego podzbioru X i 3 Je±li które± kowariancje s nieodwracalne - zastap je kombinacj wypukª z kowariancj caªego zbioru (u»ywaj c pewnej maªej staªej ε) 4 Policz czynniki normalizuj ce dla ka»dej pary (i, j) i zapisz je w n ij 5 Policz odwrotno±ci sum macierzy kowariancji dla ka»dej pary (i, j) i zapisz je w S ij 6 Zwró funkcj j dra K γ (x, y) := n v(x),v(y) exp( γ(x T S v(x),v(y) y)), gdzie v(x) zwraca numer klastra do którego nale»y x

15 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Budowanie j dra Gªówny algorytm - uwaga Aby unikn ci ªych przelicze«odwrotno±ci macierzy/wyznaczników podczas poszukiwania parametrów, mo»na wykorzysta Kˆγ (x, y) = n v(x),v(y) exp(ln(k γ (x, y)/n v(x),v(y) ) ˆγ γ ).

16 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Ewaluacja - UCI Ewaluacja Tablica: Najlepszy wynik wg. accuracy liczony u»ywaj c walidacji krzy»owej z k = 5. RBF mrbf V 2 RBF Splice Diabetes Australian Breast-cancer Liver-disorders

17 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Ewaluacja - UCI Ewaluacja Tablica: Najlepszy wynik wg. accuracy liczony u»ywaj c walidacji krzy»owej z k = 5. rozmiar RBF mrbf V 2 RBF 1000 Splice Diabetes Australian Breast-cancer Liver-disorders

18 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Ewaluacja Diabetes - grid search dla miary accuracy

19 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Ewaluacja Stabilno± j der Gaussowskich w SVM P f (α) := prob{f (C, γ) α : (C, γ) G}.

20 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Ewaluacja Stabilno± j der Gaussowskich w SVM

21 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Ewaluacja Dlaczego k-±rednich? Przetestowali±my metody oparte o opodziaª Voronoi: k-±rednich z metryk Euklidesa k-±rednich z metryk Mahalanobisa ±rodki cie»ko±ci klas oraz nie u»ywaj ce podziaªu Voronoi: Gaussian Mixture Models

22 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Ewaluacja Dlaczego k-±rednich? Tablica: Najlepszy wynik wg. accuracy liczony u»ywaj c walidacji krzy»owej z k = 5, algorytmy klastruj ce dzieliªy dane na dwa klastry. metoda accuracy V k RBF V k RBF + class centers V k RBF + GMM V k RBF + Mahalanobis k-means 0.966

23 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Ewaluacja Czym to si ró»ni of k-±rednich + SVM? k-±rednich + SVM Uczenie 1 Poklastruj przestrze«u»ywaj c k-±rednich 2 Dla ka»dego klastra naucz niezale»ny SVM: SVM 1,..., SVM k Testowanie x 1 Przypisz x do klastra c(x) 2 Zwró wynik SVM c(x)

24 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Ewaluacja Czym to si ró»ni of k-±rednich + SVM? Tablica: Najlepszy wynik wg. accuracy liczony u»ywaj c walidacji krzy»owej z k = 5, algorytmy klastruj ce dzieliªy dane na dwa klastry. metoda accuracy V k RBF mrbf + k-±rednich RBF + k±rednich 0.963

25 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Dlaczego k = 2? Ewaluacja

26 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Nasz wkªad Podsumowanie 1 Proste uogólnienie j dra Gaussa o zªo»ono±ci obliczeniowej j dra Mahalanobisa mo»liwe do u»ycia z ka»d implementacj SVM 2 Dodaje nowy typ informacji do denicji j dra 3 Poprawia wyniki klaskacji 4 Wzrasta stabilno± modelu 5 Proces tworzenia j dra nie wymaga znajomo±ci etykiet wi c mo»e korzysta z niepoetykietowanego zbioru (np. w scenariuszu uczenia aktywnego) 6 Empiryczna analiza alternatywnych podej±

27 WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada / 26 Dzi kuj za uwag Podsumowanie Pytania? wojciech.czarnecki@uj.edu.pl Mog udost pni : Artykuª (prosz o ) Podobny (ideologicznie) artykuª pracuj cy z liniowym SVM (równie» prosz o )