Support Vector Machines for Text Categorization and Face Detection. Piotr Cybart Marcin Kluczyński Uniwersytet Wrocławski

Transkrypt

1 Support Vector Machnes for Text Categorzaton and Face Detecton Potr Cybart Marcn Kluczyńsk Unwersytet Wrocławsk

2 Support Vector Machnes Vapnk(1979) S dany zbór N punktów, dla x x R Każdy należy do jednej z dwóch klas: -1 lub 1 x Dla każdego dane jest, tzw. label Emprcal rsk vs. Structural rsk d { 1} y 1, = 1,2,..., N CEL: wyznaczyć optymalną hperpłaszczyznę dzelącą S: Punkty jednej klasy po tej samej strone hperpłaszczyzny Maksymalny margnes dystans pomędzy klasam a hperpłaszczyzną

3 Optmal Separatng hyperplane Zbór S jest lnowo separowalny jeśl stneje oraz take że: dla = 1,2,..., ( w,b) N y ( < w, x > + b) 1 w R Para defnuje hperpłaszczyznę o równanu < w, x > + b = 0 d b R

4 Separatng hyperplane

5 Optmal Separatng Hyperplane

6 OSH w d - norma x ( w,b) - odległość punktu od hperpłaszczyzny : d = < w, x > + b w Stąd otrzymujemy 1 y d w Węc 1 w - najmnejsza odległość mędzy punktem z S a ( w,b)

7 OSH S zbór lnowo separowalny ( w,b) Przeskalowane do postac kanoncznej Hperpłaszczyzna jest w postac kanoncznej, jeśl { y ( < w, x > + b) } 1 mn = S Odległość najblższego punktu z S do wynos jest nazywana margnesem (margn) x ( w,b) 1 w

8 OSH

9 Rozwązane dla problemów lnowo separowalnych ( w,b) Funkcją klasyfkującą jest hperpłaszczyzna, będąca rozwązanem problemu optymalzacyjnego polegającym na: zmnmalzowanu przy warunku 1 2 < w, w > y ( < w, x > + b) 1 dla = 1,2,..., N Mnmalzacja daje hperpłaszczyznę o maksymalnym margnese

10 Klasyfkator o maksymalnym margnese Rozwązanem będze problem) gdze L α ( w,b) N 1 = 2 maksymalzujące wyrażene (prmal ( w, b, α ) < w, w > [ y ( < w, x > + b) 1] 0 = 1 α Dual problem (quadratc programmng) N N 1 L( α) = α α α y = 1 2, j= 1 j y j < x, x j >

11 Rozwązane Rozwązanem optymalzacj jest α, Rozwązana spełnają równane α N w = y α x ( w,b ) = 1 Support vectors punkty o nezerowych leżące w odległośc 1 ( od w, b ) N Klasyfkator - [ ( ) ] y < w, x > + b 1 = 0 f ( x) = yα = 1 < x α, x > + b

12 Rozwązane dla problemów lnowo neseparowalnych Wprowadzene zmennych rozluźnających (slack varables) mnmalzacja przy warunkach y y 1 2 ( < w, x > + b) 1 < w, w > + C N = 1 ξ ( < w, x > + b) 1 ξ 0 ξ ξ ξ

13 Dual problem Maksymalzacja wyrażena Przy warunkach = = > < = N N j j j j x x y y L 1 1,, 2 1 ) ( α α α α = = N y 1 0 α 0 α C

14 Rozwązane Rozwązanem optymalzacj jest α, Rozwązana spełnają równane α N w = y α x ( w,b ) = 1 [ ( ) ] y < w, x > + b 1+ ξ = 0 Support vectors punkty o nezerowych α C margn vector α =C msclassfed f ξ > 1,correctly 0< ξ 1, margn f =0 ξ ( ) C α ξ = 0 α

15 Funkcje jądrowe przestrzeń cech Przestrzeń cech nelnowe przekształcene przestrzen danych w przestrzeń (feature space), której wymar jest wększy od wymaru przestrzen danych Φ : R d F < x, y > k( x, y) =< Φ( x), Φ( y) Użyce funkcj jądrowych (kernel functons) pozwala na konstrukcję OSH bez mapowana danych wejścowych do przestrzen cech, np. k ( x, y) = ( < x, y > + z) m > Klasyfkator: f N ( x) = yα k( x = 1, x) + b

16 Feature space

17 Kernel functons

18 Archtektura SVM

19 Usng SVMs for text categorzaton

20 Text categorzaton Ogromna lość tekstów (reportaże, sprawozdana, male) Zapotrzebowane na sprawne wynajdowane, fltrowane oraz zarządzane tekstem (bazam) Próba segregacj tematycznej przypsane danego tekstu do jednej bądź welu kategor JAK? : Human classfers Yahoo, Dewey, MeSH hand-crafted - CONSTRUE Learnng technques (sem)automatc classfcaton: Multratve regresson Probablstc Bayesan Nearest-neghbor Decson trees Neural networks

21 Text Classfcaton Process text fles Index Server word counts per fle Fnd smlar data set Feature selecton Learnng Methods Decson tree Nave Bayes Bayes nets Support vector machne test classfer

22 Learnng Methods Klasyfkator to funkcja: f(x) = confdence(class) z wektora atrybutów x=(x 1,x 2, x d ) do wartośc celu confdence(class) Przykłady klasyfkacj If (nterest AND rate) OR (quarterly),then confdence( nterest category) = 0.9 Confdence( nterest category) = 0.3*nterest + 0.4*rate + 0.7*quarterly; f score >.8, then nterest category SVM podobny do drugego przykładu (wektor wag), lnowy (bez użyca funkcj jądrowych )

23 Reprezentacja dokumentu Dokument jest reprezentowany jako wektor: słowo1 słowo2 słowo3 słowo4... Doc 1 = <1, 0, 3, 0, > Doc 2 = <0, 1, 0, 0, > Doc 3 = <0, 0, 0, 5, > Najczęścej używane kodowane: bnary weghts, frequency weghts Text może osągać 10 7 lub węcej wymarów

24 Feature Selecton Word dstrbuton -usunęce najczęścej najrzadzej występujących słów redukcja wymarowośc Wybór słów najlepej opsujących kategore (jednocześne rozróżnających je wzajemne, ) Zpf s law: frequency * rank ~ constant # Words (f) m Words by rank order (r)

25 Reuters Data Set ( ModApte splt) testcollectons/reuters21578/ artykuły, format SGML 9603 (75%) artykuły uczące; 3299 (25%) artykuły testujące 118 kategor (0 12, średno 1.2 klasyfkacj na artykuł) różnych słów Średna welkość artykułu: 200 słów (1-3964) Wymar wektora słów: 300 Wektor bnarny (bnary classfcaton) Możlwe zaklasyfkowane artykułu do węcej nż jednaj kategor

26 Przykład artykułu kategor nterest 2-APR :35:19.50 west-germany b f BC-BUNDESBANK-LEAVES-CRE FRANKFURT, March 2 The Bundesbank left credt polces unchanged after today's regular meetng of ts councl, a spokesman sad n answer to enqures. The West German dscount rate remans at 3.0 pct, and the Lombard emergency fnancng rate at 5.0 pct. REUTER

27 Reuters Data Set ( ModApte splt) Najbardzej popularne kategore (#tran, #test) Earn (2877, 1087) Acqustons (1650, 179) Money-fx (538, 179) Gran (433, 149) Crude (389, 189) Trade (369,119) Interest (347, 131) Shp (197, 89) Wheat (212, 71) Corn (182, 56)

28 Kategora: nterest Przykład wektora wag - w r 0.70 prme 0.67 rate 0.63 nterest 0.60 rates 0.46 dscount 0.43 bundesbank 0.43 baker dlrs world sees year group dlr january

29 Efektywność Truth: Yes Truth: No System: Yes a b System: No c d Mary efektywnośc dla bnary classfcaton error rate = (b+c)/n accuracy = 1 - error rate precson (P) = a/(a+b) recall (R) = a/(a+c) break-even = (P+R)/2 F measure = 2PR/(P+R)

30 Reuters - Accuracy ((R+P)/2)

31 Reuters ROC kategora gran Recall LSVM Decson Tree Naïve Bayes Fnd Smlar Precson Recall: % labeled n category among those stores that are really n category Precson: % really n category among those stores labeled n category

32 ROC acqustons Recall LSVM Decson Tree Naïve Bayes Fnd Smlar Precson

33 ROC earn Recall LSVM Decson Tree Naïve Bayes Fnd Smlar Precson

34 ROC money-fx Recall LSVM Decson Tree Naïve Bayes Fnd Smlar Precson

35 ROC nterest Recall LSVM Decson Tree Naïve Bayes Fnd Smlar Precson

36 Reuters - Sample Sze (SVM) 100% 10% 5% 1% category samp sz (p+r)/2 samp sz (p+r)/2 samp sz (p+r)/2 samp sz (p+r)/2 0-acq % % % % 1-earn % % % % 3-money-fx % % % % 4-gran % % % % 5-crude % % % 3?? 6-trade % % % % 7-nterest % % % % 8-shp % % % 2?? 9-wheat % % % % 10-corn % % % % mcrotop % 89.7% 86.0% 70.3%

37 Reuters Summary Accurate classfers can be learned automatcally from tranng examples Lnear SVMs provde very good classfcaton accuracy Better than best prevously reported results for ths test collecton Wdely applcable, flexble, and adaptable representatons

38

39 Reuters Elmnacja kategor o małej lczbe dokumentów (<10) Elmnacja dokumentów ne przypsanych do żadnej kategor Elmnacja dokumentów źle przypsanych Pozostało dokumantów, 63 kategore KSS Knowledge System Server IQ - Informaton Quotent (współczynnk nformacj - próg)

40 Artfcal Neural Network

41 Test

42 MacroAveragng Recall precson oddzelne dla każdej kategor Uśrednene wynków

43 McroAveragng Recall precson dla wszystkch kategor razem

44 Combned measure F = P*R/(P + R)

45 Face Detecton

46 Zagadnene Rozpoznawane twarzy na statycznym zdjęcu Twarze zwrócone na wprost Twarze zorentowane ponowo

47 Aplkacja Zdjęca w skal szarośc Różne warunk ośwetlenowe Różna skala Odporna na cene

48 Problemy Różne pochodzene zdjęć: - vdeo - zeskanowane - aparat cyfrowy Czy na zdjęcu są twarze? W którym mejscu? Jak je lokalzować? Jak sparametryzować twarz?

49 Zastosowana Metoda może znaleźć zastosowane w nnych problemach: - Defekty w strukturze częśc - Wykrywane guzów w MRI rezonanse magnetycznym - Inne problemy odnajdowane cech

50 Dotychczasowe prace Rowley, Satka połączonych sec neuronowych różne dane do nauk tak aby otrzymać różne wag sec Sung Poggo, skupane łączene róznych systemów mar: Mahalanobs Dstance - opera sę na użycu macerzy kowarancj Eukldesowa olog.uo.no/fellesavdelnger/fnse/spatalstats/mahalano bs%2520dstance.ppt+mahalanobs+dstance&hl=pl

51 Dzałane System znajduje twarze poprzez wyczerpujące skanowane zdjęca w poszukwanu face-lke fragmentów, dzeląc przy tym obraz na nakładające sę zdjęca przeprowadzając klasyfkację wykorzystując SVM by przydzelć do jednej z klas twarz lub ne-twarz

52 Baza danych składa sę z wzorców 19*19 pksel przypsanych do klasy Jednorodne welomanowe (drugego stopna) funkcje jądrowe

53 Przygotowane danych Maskng: usunęce pksel blsko okna zmnejszene wymarowośc danych z 361 do 283 punktów. Zmnejszene nepotrzebnych zakłóceń pochodzących z tła Illumnaton gradent correcton: redukcja cen lub za dużej jasnośc Hstogram equalzaton: wyrównywane różnc we wzorcach różnca jasnośc ośwetlena, różna czułość kamer

54 System przechowuje przykłady obektów z klasy ne-twarz, obekty błędne sklasyfkowane, drzewa, budynk, skały. - Pommo obftośc takch przykładów, warto je przechowywać bo są trudne do scharakteryzowana zdefnowana

55 Przykładowy podzał zdjęca na fragmenty. System przechowuje równeż obekty źle sklasyfkowane

56 Geometryczna nterpretacja jak SVM rozdzela dwe klasy

57 Przebeg dzałana systemu

58 Wynk Zbór A 313 wysokej jakośc zdjęć z taką samą loścą twarzy na każdym - 4,669,960 wyróżnonych obszarów Zbór B 23 zdjęca różnej jakośc zawerających 155 twarzy - 5,383,682 wyróżnonych obszarów

59

60 Wynk porównano z pracą Sunga Poggo

61 System czasu rzeczywstego Kod w C Pentum 200 Matrox RGB frame grabber System osągnął wydajność 4-5 klatek/s

62

63

64 Implementacja SVM

65 Programowane kwadratowe Q macerz N*N, welkość zależy od lośc wektorów trenngowych Mnmalzowana funkcja zależy kwadratowo od α podczas gdy α występuje lnowo Problem KKT (Karush-Kuhn-Tucker) problem stnena α spełnających powyższe warunk

66 W rzeczywstych problemach macerz Q może być bardzo duża. Dla próbek, macerz Q składa sę z 3,600,000,000 elementów. Zbyt duża welkość by zmeścła sę w pamęc komputera Zbyt duży czas oblczeń

67 Metody odwołujące sę do pojedynczych werzy kolumn wykonujące pojedyncze operacje na dodatkowych wyszukanych strukturach danych Metody dzelące macerz Q problem QP na mnejsze podproblemy

68 Chunkng by Vapnk Usuwane werszy kolumn macerzy Q odpowadających zerowym α Znalezene wszystkch nezerowych α W każdym kroku brane są pod uwagę wszystke nezerowe α oraz te, które najbardzej naruszyły warunek mnmalnośc Rozmar macerzy zwększa sę z każdym krokem W ostatnm kroku otrzymujemy rozwązane problemu QP Jednak należy pamętać, że kolejne krok dzałają na dużej macerzy, która może sę ne zmeścć w pamęc

69 Edgard Osuna Podzał problemu SVM QP na mnejsze podproblemy Za każdym razem dodawana jest jedna α naruszająca warunek KKT Stała welkość macerzy dla każdego podproblemu QP Dodawane usuwane tej samej lczby przykładów Take podejśce gwarantuje zbegane do optymalnego wynku Algorytm ne jest najszybszy, Osuna zaleca dodawane usuwane po jednym przykładze W praktyce każdy używa swojej, nepublkowanej heurystyk

70 Powyższe dwa podejśca wymagają posadane paketu QP Jest to drog paket Napsane go samemu wymaga soldnych podstaw numerycznych matematycznych

71 SMO sequental mnmal optmzaton Ne potrzebuje dodatkowej pamęc Ne korzysta z paketu QP SMO podobne jak poprzedno rozbja problem na mnejsze SMO rozwązuje najmnejsze możlwe poproblemy QP czyl te składające sę z dwóch α Następne uaktualna SVM o znalezone wartośc Znalezene dwóch α ne wymaga użyca paketu QP może być rozwązane analtyczne Można napsać kawałek kodu w C co znaczne przyspeszy ogólny czas dzałana po co używać całych bblotek QP do małego zadana

72

73