Uniwersalne Maszyny Ucz ce. Tomasz Maszczyk. opiekun naukowy: prof. Wªodzisªaw Duch

Transkrypt

1 opiekun naukowy: prof. Wªodzisªaw Duch Katedra Informatyki Stosowanej Wydziaª Fizyki Astronomii i Informatyki Stosowanej Uniwersytet Mikoªaja Kopernika w Toruniu 29 Pa¹dziernik 2009, IPIPAN, Warszawa

2 Plan Ogólna idea Inspiracje Stan obecny Plan prezentacji Ogólna idea i motywacje Zasada dziaªania UMU Uzyskane wyniki Mo»liwo±ci udoskonalenia Konkluzje Stan zaawansowania pracy Dotychczasowy dorobek naukowy

3 Plan Ogólna idea Inspiracje Stan obecny Ogólna idea Pomimo post pu, systemy CI daleko w tyle za systemami biologicznymi. Algorytmy s zwykle do± wyranowane, ale klucz do sukcesu mo»e si kry w ltrach informacji i mechanizmach porcjowania. Motywacje biologiczne neurony w korze asocjacyjnej silnie si ze sob ª cz tworz c minikolumny, które rezonuj na ró»nych cz stotliwo±ciach perceptron obserwuj c minikolumny uczy si reagowa na specyczne sygnaªy o okre±lonej cz stotliwo±ci rezonatory nie wzbudzaj si kiedy ogólna aktywno± jest wysoka, ale raczej kiedy osi gni ty zostaje pewien poziom aktywno±ci je±li te sygnaªy s skorelowane z jak ± istotn aktywno±ci, wówczas s brane pod uwag, w przeciwnym wypadku sygnaª nie jest u»ywany

4 Plan Ogólna idea Inspiracje Stan obecny Inspiracje Motywacje biologiczne test: nowy przypadek aktywuje du» liczb ukªadów neuronów w korze, ale wzajemna konkurencja i lokalne hamowanie zostawia tylko niewielk liczb najbardziej aktywnych neuron progowy odczytuje poziom aktywno±ci specycznych ukªadów neuronów i ocenia podobie«stwo do jednej z kategorii Wnioski z motywacji biologicznych wiele spojrze«na ten sam obiekt; ltrowanie nowych cech przez lokalne funkcje liczba cech nie ustalona, ale dynamicznie generowana a» uzyska si wystarczaj co du»o informacji do podj cia prawidªowej decyzji wi ksza uwaga na generacj nowych cech; systematyczna konstrukcja i selekcja przed uczeniem (proste i dobre modele)

5 Plan Ogólna idea Inspiracje Stan obecny Stan obecny Ograniczenia metod CI Reguªa no free lunch". Zwykªe drzewa i systemy reguªowe dobre gdy prosta i logiczna struktura (ostre granice decyzji); zªe tam gdzie najlepsze rozwi zanie daje liniowa dyskryminacja. SVM wraz z ró»nymi kernelami dobre, gdy wymagana jest zªo»ona topologia, ale pomija proste rozwi zania. Nie dziaªa dobrze dla zªo»onych funkcji Boolowskich lub gdy wymagane s ostre granice.

6 Plan Ogólna idea Inspiracje Stan obecny Stan obecny Szukanie dobrego modelu Ka»dy system posiada pewn specyk, która czyni go dobrym jedynie dla pewnej klasy problemów. Odkrycie tej specyki i znalezienie odpowiedniego modelu nie jest zadaniem prostym i zazwyczaj realizowane jest poprzez eksperymenty oparte o pre-processing, ltry i selekcj, klasteryzacj, klasykacj (aproksymacj ) oraz poª czone jest z takimi elementami meta-uczenia jak stacking, boosting czy komitety. St d liczba mo»liwo±ci przy u»yciu automatycznego szukania jest bardzo du»a, czasochªonna i zdarza si,»e nie warta oczekiwania.

7 Plan Ogólna idea Inspiracje Stan obecny Dwa podej±cia Pierwszy sposób Pierwszym podej±ciem wydaje si by znalezienie ogólnej charakterystyki danych i porównanie jej z danymi referencyjnymi, dla których ranking rezultatów otrzymanych z ró»nych systemów jest w miar stabilny. Jednak nawet niewielka zmiana w rozkªadzie danych mo»e spowodowa konieczno± caªkowitej zmiany granicy decyzji. Drugi sposób Drugie podej±cie to kombinacja rozmaitych transformacji danych, a nast pnie u»ycie meta-szukania w takiej przestrzeni cech.

8 Podstawy Algorytm Konstrukcja cech UMU jako sie Zasada dziaªania UMU bazuje na systematycznym generowaniu i selekcji cech; rosn ca komplikacja modeli. Cel: najprostsze, dobre modele dla wszystkich rodzajów zada«. To kolejny krok do budowy systemów meta-ucz cych opartych raczej na konstrukcji cech ni» tworzeniu skomplikowanych modeli. Nawi zanie do meta-uczenia Rozwi zanie oparte o transformacje oferuje nam stworzenie systemu, który ma szans sta si odpowiednim dla wszystkich rodzajów zada«. Jednak»e sukces meta-poszukiwania optymalnego zestawienia transformacji le»y w mo»liwo±ciach transformacji, które wydobywaj u»yteczne cechy i radz sobie z rozmaitymi specycznymi problemami.

9 Podstawy Algorytm Konstrukcja cech UMU jako sie Algorytm Algorytm UMU bazuj na bardzo ogólnym algorytmie: stwórz nowe cechy (wygeneruj transformacje) sprawd¹ czy pomagaj one w uczeniu (wygeneruj rezultaty i wybierz) Moje podej±cie do UMU Uczenie z u»yciem schematów, ale ja skupiam si na konstrukcji cech. Mo»na posortowa i przeltrowa wedªug jednego ze znanych kryteriów lub sukcesywnie dodawa.

10 Podstawy Algorytm Konstrukcja cech UMU jako sie Lista mo»liwych nowych cech B1: binarna cecha globalna B2: binarna cecha lokalna, ograniczona przez inne cechy binarne B3: binarna cecha lokalna, ograniczona przez odlegªo± ; b = 0 r 1 [r1, r 1 + ]... r k [r, r + ]; szukanie jest wykonywane k k oddzielnie dla ka»dej warto±ci cechy binarnej; b - warto± cechy binarnej [r, r + ] - przedziaª akceptowanych warto±ci k-tej cechy k k N1: nominalna cecha lokalna, ograniczona podobnie jak cechy B2 i B3 R1: liniowa cecha globalna; rzut danych na prost ; progi lub interwaªy mog zmienia j w cech B1

11 Podstawy Algorytm Konstrukcja cech UMU jako sie Lista mo»liwych nowych cech R2: liniowa cecha lokalna, tak jak R1, ale ograniczona przez inne cechy R3: liniowa cecha lokalna, tak jak R1, ale ograniczona przez odlegªo± R4: liniowa cecha globalna; liniowa kombinacja cech oryginalnych (PCA, ICA,...) P: oparte na prototypach cechy lokalne q i = exp( x i r ) M: motywy bazuj ce na korelacjach pomi dzy elementami T: nieliniowe transformacje radialne, separuj ce, itp.

12 Podstawy Algorytm Konstrukcja cech UMU jako sie Rodzaje cech Cechy oryginalne Zbiór takich cech mo»e by u»yty do cz ±ciowego rozwi zania problemu; niektóre mog by bezpo±rednio u»yteczne wi c powinny by wybrane i przetestowane pod tym k tem. Kolejne cechy mog zosta utworzone przez rozmaite transformacje i szablony ltrów w celu wydobycia u»ytecznej informacji. Hierarchia cech powinna by z góry zaªo»ona, w oparciu o rodzaj granic decyzji jakie dana cecha dostarcza.

13 Podstawy Algorytm Konstrukcja cech UMU jako sie Rodzaje cech Globalne (nieograniczone) cechy binarne Najprostsze cechy to cechy binarne. Mog by zarówno nieograniczone (kiedy u»ywamy caªych danych) tworz c cechy globalne lub ograniczone tworz c cechy lokalne. Surowe cechy binarne powinny by traktowane jako globalne. Mog by wytworzone z innych cech poprzez podziaª cech nominalnych na podzbiory lub podziaª cech rzeczywistych na interwaªy. Lokalne (ograniczone) cechy binarne Mo»na je uzyska przez naªo»enie rozmaitych ogranicze«. Dla binarnych cech prowadzi to do zespoªu cech lokalnych, które pomagaj rozró»ni interesuj ce regiony w przestrzeni. Ograniczenia mog by tworzone przy u»yciu drzew decyzyjnych, np. je±li istnieje taki gªówny podziaª,»e: z = (x 1 < t 1 ) (x 2 t 2 ), wówczas z b dzie cech binarn utworzon przez projekcj na x 2 ograniczon przez x 1 < t 1 (lub odwrotnie).

14 Podstawy Algorytm Konstrukcja cech UMU jako sie Rodzaje cech Cechy rzeczywiste Cechy rzeczywiste okazuj si cz sto istotne w procesie uczenia. Pojedyncze cechy mog tak»e pokaza interesuj ce rozkªady p(x C), np. k du»ych grup warto±ci, gdzie ka»da z grup odpowiada temu samemu typowi obiektów (metoda arpm). Takie k separowalne rozwi zania s bardzo u»yteczne przy uczeniu zªo»onych funkcji Boolowskich.

15 Podstawy Algorytm Konstrukcja cech UMU jako sie Rodzaje cech Liniowa kombinacja cech pierwotnych Cz sto liniowa kombinacja cech oryginalnych daje lepsze cechy od nich samych. Najprostsza i najta«sza metoda: wyliczy centra klas m i i znormalizowane rzuty na kierunki w ij = (m i m j )/ m i m j. Je±li prawdopodobie«stwa warunkowe p(x C) maj rozkªady Gauss, wówczas z(x; w) = w x zawiera wi kszo± u»ytecznych informacji dla procesu klasykacji. Rysuj c p(z C) mo»na zobaczy obszary mocnego nakrywania si, pozwala to na wyznaczenie wektorów granicznych, czyli tych blisko progu p(z C i ) = p(z C j ).

16 Podstawy Algorytm Konstrukcja cech UMU jako sie Rodzaje cech Cechy oparte o kernele Kernele oceniaj podobie«stwo w odniesieniu do referencyjnych wektorów, tworz zatem nowe cechy z i = K(x (i), x). Najbardziej popularne s kernele Gaussowskie, tworz cechy mówi ce jak daleko wektor x znajduje si od referencyjnego wektora wsparcia x (i). Kwadratow optymalizacj w SVM mo»na zast pi przez jedn z liniowych technik dyskryminacyjnych posiadaj cych szeroki margines. Jasno sprecyzowane generowanie cech bazuj cych na ró»nych miarach podobie«stwa, niweluje w skie gardªo SVM, umo»liwiaj c w procesie optymalizacji u»ycie ró»nej rozdzielczo±ci w ró»nych cz ±ciach przestrzeni cech.

17 Podstawy Algorytm Konstrukcja cech UMU jako sie Adaptacyjna regularyzacja Prosta regularyzacja bazuje na minimalizacji unormowanego wektora wag w (SVM). Wymusza wygªadzenie granic decyzji, obni»a zªo»ono± modelu, a co za tym idzie, cz sto nie jest w stanie znale¹ najprostszego rozwi zania. Generowanie cech kernelowych powinno zatem przebiega od najbardziej ogólnych, daj c prawie hiperpªaszczyznow granic decyzji z centrami daleko od granic decyzji (wyznaczonych przez patrzenie na rozkªad z = w x dla kierunku w = (m 1 m 2 )/ m 1 m 2 ) a» do bardziej dokªadnego, wysoko nieliniowego jedynie w pobli»u granicy.

18 Podstawy Algorytm Konstrukcja cech UMU jako sie Rodzaje cech Lokalne cechy bazuj ce na prototypach Tworzone s przy u»yciu wektorów wsparcia w pobli»u granic decyzji. Proces tworzenia: wykonaj rzut na kierunek z i = w i x wyznaczony przez ±rednie dla ka»dej z klas (kierunki mog by te» wyznaczone przez centra klastrów dla ka»dej z klas) wybierz wektory, które po projekcji znajd si w przedziale: z i [θ i r, θ i + r], gdzie r = 0.05 max(z i ) min(z i ), a próg p(z i C = θ i ) = p(z i C ) policz odlegªo±ci pomi dzy wybranymi wektorami i zostaw te, które posiadaj [0.5 + ɛ, 1 ɛ] s siadów z tej samej klasy (np. ɛ = 0.1) w promieniu σ zrób klasteryzacj tak wybranych wektorów otrzymuje si wygªadzone, lokalne cechy q(x) = exp( x p /σ)

19 Podstawy Algorytm Konstrukcja cech UMU jako sie Sie konstruktywistyczna W zªy reprezentuj transformacje i procedury wykorzystywane do wydobycia u»ytecznych cech; dodatkowe warstwy analizuj struktur danych w nowej przestrzeni cech. Kolejno± poszukiwania nowych cech oryginalne binarne nominalne rzeczywiste ograniczone bazuj ce na projekcjach oparte o prototypy Proces ten to poszukiwanie w przestrzeni rozmaitych cech, analogicznie do szukania w przestrzeni modeli.

20 Cechy binarne Rezultaty UMU Cechy binarne wyodr bnione z drzewa Dane Cechy B1 Australian F 8 < 0.5 F F Appendicitis F F 7 < F 4 < 12 Heart F 13 < 4.5 F 12 < 0.5 F F Diabetes F 2 < F Wisconsin F 2 < 2.5 F Hypothyroid F 17 < F F 21 <

21 Cechy binarne Rezultaty UMU Dane Klasykator SVM (#SV) SSV (#Li±ci) NB Australian 84.9±5.6 (203) 84.9±3.9 (4) 80.3±3.8 UMU 86.8±5.3(166) 87.1±2.5(4) 85.5±3.4 cechy B1(2)+P1(3) B1(2)+R1(1)+P1(3) B1(2) Appendicitis 87.8±8.7 (31) 88.0±7.4 (4) 86.7±6.6 UMU 91.4±8.2(18) 91.7±6.7(3) 91.4±8.2 cechy B1(2) B1(2) B1(2) Heart 82.1±6.7 (101) 76.8±9.6 (6) 84.2±6.1 UMU 83.4±3.5(98) 79.2±6.3(6) 84.5±6.8 cechy Data + R1(3) Data + R1(3) Data + B1(2) Diabetes 77.0±4.9 (361) 73.6±3.4 (4) 75.3±4.7 UMU 78.5±3.6(338) 75.0±3.3(3) 76.5±2.9 cechy Data + R1(3) + P1(4) B1(2) Data + B1(2) Wisconsin 96.6±1.6 (46) 95.2±1.5 (8) 96.0±1.5 UMU 97.2±1.8(45) 97.4±1.6(2) 97.2±2.0 cechy Data + R1(1) + P1(4) R1(1) R1(1) Hypothyroid 94.1±0.6 (918) 99.7±0.5 (12) 41.3±8.3 UMU 99.5±0.4(80) 99.6±0.4(8) 98.1±0.7 cechy Data + B1(2) Data + B1(2) Data + B1(2)

22 Ulepszenia arpm Konkluzje Usprawnienia Ulepszenia Inne konstruktory cech: transformacje redukuj ce wymiarowo± (PCA, ICA i inne) nowe cechy lokalne przy pomocy Almost Random Projection Machine (arpm)

23 Ulepszenia arpm Konkluzje arpm Ogólna idea algorytm wstecznej propagacji bª du u»ywany do uczenia sieci MLP: nieliniowe systemy, nieseparowalne problemy, powolny MLP jest znacznie prostsze ni» biologiczne sieci neuronowe wsteczna propagacja jest ci»ka do uzasadnienia z biologicznego punktu widzenia

24 Ulepszenia arpm Konkluzje Algorytm arpm 1: Oznacz wszystkie wektory X jako nowe". 2: for i = 0 to N rep do 3: Losowo wyznacz wagi W i, w i [ 1, 1]. 4: Wygeneruj now projekcj z i = W i X. 5: Przeanalizuj rozkªady p(z i C) aby wyznaczy interesuj ce klastry. 6: Dodaj je jako nowe cechy G(z i ; C), lub oznaczone klas neurony warstwy ukrytej. 7: Zsumuj aktywno± podgrup ukrytych neuronów dla ka»dej z klas aby wyznaczy wyj±cie sieci y(c X) = i G(z i; C). 8: Usu«oznaczenie nowe z tych wektorów, dla których y(c X) β 9: end for 10: Dokonaj walidacji sieci. 11: if dokªadno± nie wzrosªa then return sie 12: else goto 2

25 Ulepszenia arpm Konkluzje Architektura sieci

26 Ulepszenia arpm Konkluzje Ile potrzeba klastrów?

27 Ulepszenia arpm Konkluzje Przykªadowe wyj±cie sieci

28 Ulepszenia arpm Konkluzje Przykªadowe wyj±cie sieci

29 Ulepszenia arpm Konkluzje Przykªadowe wyj±cie sieci

30 Ulepszenia arpm Konkluzje arpm Dane Metoda C4.5 knn MLP SVM arpm Parity ± 1.3 (1) 100 ± 0 (17) 94.1 ± 2.1 (17) 32.4 ± 4.4 (230) 99.2 ± 1.6 (12) Parity ± 1.6 (1) 100 ± 0 (21) 89.2 ± 12.3 (21) 39.1 ± 6.5 (920) 99.5 ± 0.9 (12) Leukemia 82.6 ± 8.3 (5) 97.2 ± 1.6 (2) 95.8 ± 3.6 (52) 98.7 ± 3.9 (15) 96.1 ± 8.6 (19) Heart 77.8 ± 2.1 (33) 81.8 ± 6.6 (45) 79.5 ± 1.3 (8) 81.5 ± 1.3 (94) 78.3 ± 4.2 (43) Wisconsin 94.7 ± 2.0 (21) 97.0 ± 1.7 (5) 94.2 ± 0.2 (6) 96.3 ± 2.1 (49) 97.9 ± 1.6 (30) Liver 65.8 ± 2.2 (51) 62.0 ± 1.1 (44) 67.5 ± 3.1 (5) 69.2 ± 10.3 (236) 61.1 ± 5.1 (47)

31 Ulepszenia arpm Konkluzje Konkluzje systematyczna eksploracja cech umo»liwia odkrywanie prostych modeli, które bardziej wyszukane systemy uczenia pomijaj dotychczasowe rezultaty nadziej na uniwersalny system cechy kernelowe atrakcyjn alternatyw dla obecnych rozwi za«(adaptacyjna regularyzacja) UMU to nowe mo»liwo±ci w kierunku tworzenia prostych, zrozumiaªych i dokªadnych modeli

32 Ulepszenia arpm Konkluzje Informacje dodatkowe Stan zaawansowania pracy... Publikacje: T. Maszczyk and W. Duch. Comparison of Shannon, Renyi and Tsallis entropy used in decision trees. Lecture Notes in Computer Science, 5097: , T. Maszczyk and W. Duch. Support vector machines for visualization and dimensionality reduction. Lecture Notes in Computer Science, 5163: , W. Duch and T. Maszczyk. Almost random projection machine. Lecture Notes in Computer Science, 5768: , W. Duch, T. Maszczyk. Universal Learning Machines. Lecture Notes in Computer Science, 5864: , T. Maszczyk, M. Grochowski, W. Duch. Discovering Data Structures using Meta-learning, Visualization and Constructive Neural Networks., Advances in Machine Learning (ed. J. Koronacki), 2010 (rozdziaª w ksi»ce)

33 Ulepszenia arpm Konkluzje Informacje dodatkowe Udziaª w konferencjach i szkoªach: The 19th International Conference on Articial Neural Networks, Limassol, Cyprus, The 18th International Conference on Articial Neural Networks, Prague, Czech Republic, The Ninth International Conference on Articial Intelligence and Soft Computing, Zakopane, Summer School on Neural Networks in Classication, Regression and Data Mining, Porto, Summer School in Statistical Learning, Data mining and Regression Tools, Terra Murata,

34 Ulepszenia arpm Konkluzje Informacje dodatkowe Inne osi gni cia: Trzecie miejsce w konkursie: Metalurgical Process Regression Modelling", czerwiec Wspóªpraca naukowa z Gªównym Instytutem Górnictwa. Wspóªpraca naukowa z Politechnik l sk.

35 Ulepszenia arpm Konkluzje Dzi kuj za uwag!