Montoroane Dagnostka Sstemach Steroana Katedra Inżner Sstemó Steroana Dr nż. Mchał Grochosk
Montoroane Dagnostka Sstemach Steroana na studach II stopna specjalnośc: Sstem Steroana Podejmoana Deczj Maszn Wektoró ośnch Support Vector Machnes - SVM na podstae: Alpadn E. Introducton to Machne Learnng. he MI Press Cambrdge Massachusetts London England 00. Hakn S. eural etorks and Machne Learnng. Pearson Prentce Hall 009. Opracoał: dr nż. Mchał Grochosk kss.pg.mg@gmal.com mchal.grochosk@pg.gda.pl
Charakterstka problemu Jak rozdzelć dane?? eskończene ele możlośc!!!
Charakterstka problemu Któr margnes jest najlepsz?? Która z ln maksmalzuje ten margnes??
Charakterstka problemu ech: oznacza zbór danch gdze jest zorcem ejścom a oznacza prznależność -tego ejśca do danej klas + lub -. Załóżm na chlę że punkt są lnoo separoalne. Lna płaszczzna hperpłaszczzna deczjna opsana jest zależnoścą: b 0 b 0 gdze jest ektorem ejścom jest nastaalnm ektorem np. ag b jest progem.
Charakterstka problemu Możem zapsać: b b 0 0 dla dla ρ Optmalna lna płaszczzna hperpłaszczzna deczjna maksmalzująca margnes ρ opsana jest zależnoścą: o b 0 0 o b 0 0 3
eco podstaoch przekształceń Wem że z : b 0 Możem ęc przjąć że normalzacja: ρ 4 b 5 Możem ęc zapsać: o o b b o o dla dla o b 0 0 6 lub: b o o
eco podstaoch przekształceń Odległość od płaszczzn deczjnej ech będze punktem leżącm najblżej płaszczzn: oraz: b b 0 Wektor jest prostopadł do płaszczzn S przestrzen ejść X. S Doolne punkt oraz należące do płaszczzn S spełnają jej rónane ęc: b 0 b 0 ęc: 0 Stąd jest ortogonaln do jakegokolek ektora na płaszczźne S b 0
eco podstaoch przekształceń Odległość od płaszczzn deczjnej Odległość pomędz płaszczzną: eźm jakkolek punkt należąc do płaszczzn utórzm ektor - dokonajm jego projekcj na S
eco podstaoch przekształceń Odległość od płaszczzn deczjnej Odległość pomędz płaszczzną L: eźm jakkolek punkt należąc do płaszczzn utórzm ektor - dokonajm jego projekcj na Matematka ˆ ŵ - ektor jednostko ŵ S odległość L: L ˆ L b b poneaż: b 0 oraz b
Problem optmalzacjn Zmaksmalzoać odległość L = ρ ma Zadane optmalzacj: mn ρ mn g R prz ogranczenach z rónana 6: b dla... o b 0 0 gdze: d R b R
Problem optmalzacjn Problem optmalzacj kadratoej z ogranczenam - lnoo kadrato Zadane optmalzacj kadratoej g jest pukła: mn g R prz ogranczenach lnoch zględem : b dla... ak sformułoan problem jest prmalnm zagadnenem optmalzacjnm. Możem go rozązać stosując metodę mnożnkó Lagranga oraz arunkó Kukna uckera lub Karush Kukna uckera skróce KK.
Problem optmalzacjn Sformułoane prmalne Funkcja Lagranga: λ - mnożnk Lagranga b b L Warunk optmalnośc: 0 0 b b L b L Mnmalzujem zględem oraz b a jednocześne maksmalzujem zględem λ λ 0!!! stąd: 0 oraz
Problem optmalzacjn Sformułoane dualne Możem podstać: b b L do: 0 oraz otrzmując Q=Lb: j j j j Q Którego szukam maksmum po prz ogranczenach: 0... 0 oraz
Problem optmalzacjn ech: Sformułoane dualne oznacza zbór danch trenngoch Znajdź spółcznnk Lagranga które mnmalzują funkcję: mn Q j j j j prz ogranczenach: 0... 0
Problem optmalzacjn Sformułoane dualne mn Q prz ogranczenach: 0 0
Problem optmalzacjn Uag: Sformułoane dualne problem dualn opart jest całkoce o dane ejścoe trenngoe pomaroe; funkcja optmalzoana zależ łączne od locznu skalarnego ejść. j j
Cech ektoró nośnch Rozązane: Sformułoane dualne o o o λ o optmalne mnożnk Lagranga Z arunkó KK: b 0 Wszstke nezeroe mnożnk Lagranga λ o określają ektor nośne podtrzmujące. akch ektoró jest S 0 ektor nośne podtrzmujące SV
Cech ektoró nośnch Rozązane: Sformułoane dualne leżące najblżej optmalnej ln płaszczzn hperpłaszczzna deczjnej są ektoram nośnm podtrzmującm. dotkają margnesu ρ. Wektor nośne spełnają: b o b 0 0
Cech ektoró nośnch Rozązane: Sformułoane dualne Wznaczam optmaln ektor o : o s o S lość nezeroch λ o Wznaczam optmaln ektor b o : o b 0 0 b 0 o S dla S b 0 s o S
Problem lnoo neseparoalne ransformacja do nnej przestrzen przestrzen X Z mn Q j j j j przestrzeń X przestrzeń Z X mn Q j j z z j j
Problem lnoo neseparoalne Cech ektoró nośnch Wektor nośne leżą przestrzen Z!!! przestrzeń X W przestrzen X możem jedne obseroać ch obraz!!! Róneż margnes określane są przestrzen Z!!!
Problem lnoo neseparoalne Co potrzebujem z przestrzen Z? mn Q j j z z j j Uaga: e potrzebujem ektoró z z j a jedne ch locznó skalarnch!!! Ogranczena: 0... Otrzmujem: f 0 sgn o z bo gdze: o s o z potrzebujem: z z j S b0 : o z b o potrzebujem: z z j
Problem lnoo neseparoalne Oblczena przestrzen Z kernel trck Dla doolne punktó oraz należącch do X chcem polczć z z ech: z z k Będze jądrem kernel loczn skalarn oraz p: Gaussa:
Problem lnoo neseparoalne mn Q mn k k k k k k k k k Q X Oblczena przestrzen Z kernel trck
Problem lnoo neseparoalne Oblczena przestrzen Z kernel trck Wraźm f prz pomoc K--: z z k f sgn o z bo o s o z to: f sgn K b s o gdze: s b0 K dla każdego nezeroego : 0
Dzękuję za uagę