Wykorzystanie lokalnej geometrii danych w Maszynie Wektorów No±nych

Podobne dokumenty
Nieklasyczna analiza skªadowych gªównych

Algorytmy metaheurystyczne Wykład 11. Piotr Syga

Przeksztaªcenia liniowe

W poprzednim odcinku... Podstawy matematyki dla informatyków. Relacje równowa»no±ci. Zbiór (typ) ilorazowy. Klasy abstrakcji

Uczenie sieci radialnych (RBF)

Macierze i Wyznaczniki

Ekonometria - wykªad 8

Wstęp do przetwarzania języka naturalnego. Wykład 11 Maszyna Wektorów Nośnych

1 Bª dy i arytmetyka zmiennopozycyjna

Twierdzenie Wainera. Marek Czarnecki. Warszawa, 3 lipca Wydziaª Filozoi i Socjologii Uniwersytet Warszawski

Macierze i Wyznaczniki

Lab. 02: Algorytm Schrage

Aproksymacja funkcji metod najmniejszych kwadratów

Ukªady równa«liniowych

Macierze. 1 Podstawowe denicje. 2 Rodzaje macierzy. Denicja

Listy i operacje pytania

Ontogeniczne sieci neuronowe. O sieciach zmieniających swoją strukturę

EGZAMIN MAGISTERSKI, r Matematyka w ekonomii i ubezpieczeniach

Mierzalne liczby kardynalne

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta

Informacje pomocnicze

Ekonometria. wiczenia 8 Modele zmiennej jako±ciowej. Andrzej Torój. Instytut Ekonometrii Zakªad Ekonometrii Stosowanej

Dynamiczne wªasno±ci algorytmu propagacji przekona«

PRZYPOMNIENIE Ka»d przestrze«wektorow V, o wymiarze dim V = n < nad ciaªem F mo»na jednoznacznie odwzorowa na przestrze«f n n-ek uporz dkowanych:

Janusz Adamowski METODY OBLICZENIOWE FIZYKI Zastosowanie eliptycznych równa«ró»niczkowych

Stacjonarne procesy gaussowskie, czyli o zwiazkach pomiędzy zwykła

1 0 Je»eli wybierzemy baz A = ((1, 1), (2, 1)) to M(f) A A =. 0 2 Daje to znacznie lepszy opis endomorzmu f.

Wstęp do sieci neuronowych, wykład 8 Uczenie nienadzorowane.

Systemy Wyszukiwania Informacji: Metoda list inwersyjnych

Rozpoznawanie obrazów

Matematyka wykªad 1. Macierze (1) Andrzej Torój. 17 wrze±nia Wy»sza Szkoªa Zarz dzania i Prawa im. H. Chodkowskiej

Wektory w przestrzeni

dr Mariusz Grządziel 15,29 kwietnia 2014 Przestrzeń R k R k = R R... R k razy Elementy R k wektory;

Przetwarzanie sygnaªów

Ekonometria. wiczenia 2 Werykacja modelu liniowego. Andrzej Torój. Instytut Ekonometrii Zakªad Ekonometrii Stosowanej

Ekonometria Bayesowska

SVM: Maszyny Wektorów Podpieraja cych

Podstawy matematyki dla informatyków. Funkcje. Funkcje caªkowite i cz ±ciowe. Deniowanie funkcji. Wykªad pa¹dziernika 2012

Uczenie Wielowarstwowych Sieci Neuronów o

Metody systemowe i decyzyjne w informatyce

MiASI. Modelowanie analityczne. Piotr Fulma«ski. 18 stycznia Wydziaª Matematyki i Informatyki, Uniwersytet Šódzki, Polska

Wst p do ekonometrii II

Przykªady problemów optymalizacji kombinatorycznej

UCZENIE MASZYNOWE III - SVM. mgr inż. Adam Kupryjanow

x y x y x y x + y x y

Metody bioinformatyki (MBI)

Modele wielorównaniowe. Estymacja parametrów

WYKŁAD: Szeregi czasowe I. Zaawansowane Metody Uczenia Maszynowego

2. L(a u) = al( u) dla dowolnych u U i a R. Uwaga 1. Warunki 1., 2. mo»na zast pi jednym warunkiem: L(a u + b v) = al( u) + bl( v)

Zadania z z matematyki dla studentów gospodarki przestrzennej UŠ. Marek Majewski Aktualizacja: 31 pa¹dziernika 2006

Lekcja 9 Liczby losowe, zmienne, staªe

Relacj binarn okre±lon w zbiorze X nazywamy podzbiór ϱ X X.

Prawdopodobieństwo i statystyka

AUTO-ENKODER JAKO SKŠADNIK ARCHITEKTURY DEEP LEARNING

Matematyka stosowana i metody numeryczne

przewidywania zapotrzebowania na moc elektryczn

Liniowe zadania najmniejszych kwadratów

Stacjonarne szeregi czasowe

Przykład implementacji przeciażeń operatorów problem kolizji

Rozpoznawanie obrazów

Dodatek 3. Wielowymiarowe modele GARCH model DCC-GARCH

Ekonometria. wiczenia 1 Regresja liniowa i MNK. Andrzej Torój. Instytut Ekonometrii Zakªad Ekonometrii Stosowanej

Rachunek zda«. Relacje. 2018/2019

Entropia Renyi ego, estymacja gęstości i klasyfikacja

Wnioskowanie Boolowskie i teoria zbiorów przybli»onych

5. (8 punktów) EGZAMIN MAGISTERSKI, r Matematyka w ekonomii i ubezpieczeniach

Metody systemowe i decyzyjne w informatyce

a) f : R R R: f(x, y) = x 2 y 2 ; f(x, y) = 3xy; f(x, y) = max(xy, xy); b) g : R 2 R 2 R: g((x 1, y 1 ), (x 2, y 2 )) = 2x 1 y 1 x 2 y 2 ;

Metody systemowe i decyzyjne w informatyce

Lekcja 9 - LICZBY LOSOWE, ZMIENNE

MODEL HAHNFELDTA I IN. ANGIOGENEZY NOWOTWOROWEJ Z UWZGL DNIENIEM LEKOOPORNO CI KOMÓREK NOWOTWOROWYCH

Estymacja parametru gªadko±ci przy u»yciu falek splajnowych

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Funkcje powi za«, miary zale»no±ci i grube ogony, czyli kilka sªów o zale»no±ci w statystyce i matematyce nansowej

Zdzisªaw Dzedzej, Katedra Analizy Nieliniowej pok. 611 Kontakt:

Lokalne transformacje obrazów

ANALIZA MATEMATYCZNA Z ALGEBR

Rozpoznawanie obrazów

Wst p do sieci neuronowych, wykªad 14 Zespolone sieci neuronowe

WYKŁAD 6. Witold Bednorz, Paweł Wolff. Rachunek Prawdopodobieństwa, WNE, Uniwersytet Warszawski. 1 Instytut Matematyki

Indeksowane rodziny zbiorów

Podstawy statystycznego modelowania danych - Wykªad 7

Maªgorzata Murat. Modele matematyczne.

Podziaª pracy. Cz ± II. 1 Tablica sortuj ca. Rozwi zanie

Macierze. Dziaªania na macierzach. 1. Niech b d dane macierze , D = , C = , B = 4 12 A = , F = , G = , H = E = a) Obliczy A + B, 2A 3B,

Listy Inne przykªady Rozwi zywanie problemów. Listy w Mathematice. Marcin Karcz. Wydziaª Matematyki, Fizyki i Informatyki.

Entropia Renyi ego, estymacja gęstości i klasyfikacja #2

Protokoªy komunikacyjne

Liczenie podziaªów liczby: algorytm Eulera

Temat: Problem najkrótszych cieek w grafach waonych, cz. I: Algorytmy typu label - setting.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Ekstremalnie maªe zbiory

Wzorce projektowe kreacyjne

Wstęp do sieci neuronowych, wykład 07 Uczenie nienadzorowane.

Modele liniowe i mieszane na przykªadzie analizy danych biologicznych - Wykªad 1

Podstawy logiki i teorii zbiorów wiczenia

DREAM5 Challenges. Metody i rezultaty. Praktyki wakacyjne 2010 sesja sprawozdawcza

Wstęp do sieci neuronowych, wykład 07 Uczenie nienadzorowane.

Dodatek 2. Wielowymiarowe modele GARCH model GoGarch

Diagonalizacja macierzy i jej zastosowania

Transkrypt:

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 1 / 26 Wykorzystanie lokalnej geometrii danych w Maszynie Wektorów No±nych Wojciech Marian Czarnecki Jacek Tabor GMUM Grupa Metod Uczenia Maszynowego Instytut Informatyki Wydziaª Matematyki i Informatyki Uniwersytet Jagiello«ski 13 Listopada 2013

GMUM WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 2 / 26

5 Podsumowanie WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 3 / 26 1 Gªówna idea 2 uogólnione j dro Gaussa 3 Budowanie j dra 4 Ewaluacja

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 3 / 26 Wst p Nasze podej±cie: Nowa metoda budowy j dra Lepsze dopasowanie si do geometrii danych Wyniki: Nieco zwi kszona jako± kalsykacji Zwiekszona stabilno± modelu Prosta metoda dziaªaj ca z ka»d implementacj SVM

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 4 / 26 Gªówna idea Maszyna Wektorów No±nych

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 5 / 26 Gªówna idea Maszyna Wektorów No±nych

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 6 / 26 Gªówna idea Maszyna Wektorów No±nych - j dro Gaussa

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 7 / 26 Gªówna idea Intuicja geometryczna

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 8 / 26 Gªówna idea Intuicja geometryczna

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 9 / 26 Gªówna idea Zanurzenie w przestrzeni cech j dro Gaussa φ(x) = N (x, I ) j dro Mahalanobisa (mrbf) φ(x) = N (x, cov(x )) uogólniony przypadek φ(x) = N (x, Σ x ) gdzie Σ x jest warto±ci pewnej transformacji x'a ( f (x) = Σ x )

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 10 / 26 uogólnione j dro Gaussa uogólnione j dro Gaussa Funkcja K(, ) jest j drem wtedy i tylko wtedy gdy jest poprawnym iloczynem skalarnym w pewnej przestrzeni. N (m 1, Σ 1 )(x) N (m 2, Σ 2 )(x)dx = 1 = 1 (2π)d det(σ 1 +Σ 2 ) e 2 m 1 m 2 2 Σ 1 +Σ 2.

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 11 / 26 uogólnione j dro Gaussa uogólnione j dro Gaussa 1 K γ (x, y) = det(σx +Σ y ) e γ x y 2 Σ x +Σ y.

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 12 / 26 Gªówny algorytm Budowanie j dra 1 Ustal pewien podziaª Voronoi W 1,..., W k 2 Przypisz Σ x = cov(x W i ), gdzie x W i 3 Stwórz j dro K dla danych N (x, Σ x ), x X

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 13 / 26 Gªówny algorytm Budowanie j dra 1 Wykonaj klastrowanie metod k-±rednich na X 1,..., X k 2 Policz kowariancj Σ i ka»dego podzbioru X i 3 Je±li które± kowariancje s nieodwracalne - zastap je kombinacj wypukª z kowariancj caªego zbioru (u»ywaj c pewnej maªej staªej ε) 4 Policz czynniki normalizuj ce dla ka»dej pary (i, j) i zapisz je w n ij 5 Policz odwrotno±ci sum macierzy kowariancji dla ka»dej pary (i, j) i zapisz je w S ij 6 Zwró funkcj j dra K γ (x, y) := n v(x),v(y) exp( γ(x T S v(x),v(y) y)), gdzie v(x) zwraca numer klastra do którego nale»y x

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 14 / 26 Budowanie j dra Gªówny algorytm - uwaga Aby unikn ci ªych przelicze«odwrotno±ci macierzy/wyznaczników podczas poszukiwania parametrów, mo»na wykorzysta Kˆγ (x, y) = n v(x),v(y) exp(ln(k γ (x, y)/n v(x),v(y) ) ˆγ γ ).

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 15 / 26 Ewaluacja - UCI Ewaluacja Tablica: Najlepszy wynik wg. accuracy liczony u»ywaj c walidacji krzy»owej z k = 5. RBF mrbf V 2 RBF Splice 0.867 0.878 0.883 Diabetes 0.765 0.763 0.769 Australian 0.858 0.861 0.868 Breast-cancer 0.971 0.975 0.975 Liver-disorders 0.722 0.730 0.722

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 16 / 26 Ewaluacja - UCI Ewaluacja Tablica: Najlepszy wynik wg. accuracy liczony u»ywaj c walidacji krzy»owej z k = 5. rozmiar RBF mrbf V 2 RBF 1000 Splice 0.867 0.878 0.883 768 Diabetes 0.765 0.763 0.769 690 Australian 0.858 0.861 0.868 683 Breast-cancer 0.971 0.975 0.975 345 Liver-disorders 0.722 0.730 0.722

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 17 / 26 Ewaluacja Diabetes - grid search dla miary accuracy

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 18 / 26 Ewaluacja Stabilno± j der Gaussowskich w SVM P f (α) := prob{f (C, γ) α : (C, γ) G}.

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 19 / 26 Ewaluacja Stabilno± j der Gaussowskich w SVM

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 20 / 26 Ewaluacja Dlaczego k-±rednich? Przetestowali±my metody oparte o opodziaª Voronoi: k-±rednich z metryk Euklidesa k-±rednich z metryk Mahalanobisa ±rodki cie»ko±ci klas oraz nie u»ywaj ce podziaªu Voronoi: Gaussian Mixture Models

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 21 / 26 Ewaluacja Dlaczego k-±rednich? Tablica: Najlepszy wynik wg. accuracy liczony u»ywaj c walidacji krzy»owej z k = 5, algorytmy klastruj ce dzieliªy dane na dwa klastry. metoda accuracy V k RBF 0.975 V k RBF + class centers 0.973 V k RBF + GMM 0.968 V k RBF + Mahalanobis k-means 0.966

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 22 / 26 Ewaluacja Czym to si ró»ni of k-±rednich + SVM? k-±rednich + SVM Uczenie 1 Poklastruj przestrze«u»ywaj c k-±rednich 2 Dla ka»dego klastra naucz niezale»ny SVM: SVM 1,..., SVM k Testowanie x 1 Przypisz x do klastra c(x) 2 Zwró wynik SVM c(x)

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 23 / 26 Ewaluacja Czym to si ró»ni of k-±rednich + SVM? Tablica: Najlepszy wynik wg. accuracy liczony u»ywaj c walidacji krzy»owej z k = 5, algorytmy klastruj ce dzieliªy dane na dwa klastry. metoda accuracy V k RBF 0.975 mrbf + k-±rednich 0.963 RBF + k±rednich 0.963

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 24 / 26 Dlaczego k = 2? Ewaluacja

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 25 / 26 Nasz wkªad Podsumowanie 1 Proste uogólnienie j dra Gaussa o zªo»ono±ci obliczeniowej j dra Mahalanobisa mo»liwe do u»ycia z ka»d implementacj SVM 2 Dodaje nowy typ informacji do denicji j dra 3 Poprawia wyniki klaskacji 4 Wzrasta stabilno± modelu 5 Proces tworzenia j dra nie wymaga znajomo±ci etykiet wi c mo»e korzysta z niepoetykietowanego zbioru (np. w scenariuszu uczenia aktywnego) 6 Empiryczna analiza alternatywnych podej±

WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 26 / 26 Dzi kuj za uwag Podsumowanie Pytania? http://czarnecki.gmum.ii.uj.edu.pl wojciech.czarnecki@uj.edu.pl Mog udost pni : Artykuª (prosz o email) Podobny (ideologicznie) artykuª pracuj cy z liniowym SVM (równie» prosz o email)