Pattern Classfcaton All materals n these sldes ere taken from Pattern Classfcaton nd ed by R. O. Duda, P. E. Hart and D. G. Stork, John Wley & Sons, 000 th the permsson of the authors and the publsher
Chapter 5: Lnoe funkcje dyskrymnujące Sectons 5.-5- Wproadzene Lnoe funkcje dyskrymnujące poerzchne decyzyjne Funkcje dyskrymnujące lnoe ze zględu na parametry
Wproadzene Poprzedno zakładalśmy znajomość rozkładó pradopodobeństa Obseracje z cągu uczącego były użyte do estymacj parametró tych rozkładó metoda najększej arygodnośc, maksmum a posteror Teraz zakładamy znajomość jedyne postac funkcj dyskrymnujących, podobne jak technkach neparametrycznych Lnoe funkcje dyskrymnujące są bardzo ygodne do oblczeń
Lnoe funkcje dyskrymnujące poerzchne decyzyjne Defncja Lnoa funkcja decyzyjna to taka, która jest lnoą kombnacją o postac: g T 0 gdze jest ektorem spółczynnkó agoych a 0 nazyamy progem Klasyfkator bnarny rozpoznający de klasy z funkcją dyskrymnującą o postac korzysta z reguły decyzyjnej: Wyberz ω jeżel g > 0 ω jeżel g < 0 Wyberz ω jeżel T > - 0 ω przecnym przyp. Jeżel g 0 ynk rozpoznaana jest neokreślony
5 Rónane g 0 defnuje poerzchnę decyzyjną separującą punkty należące do klasy ω od punktó należących do klasy ω Dla lnoej funkcj g poerzchna decyzyjna to hperpoerzchna Funkcja dyskrymnująca g daje marę odległośc od hperpoerzchn
6
p r poneaż ektor z ektorem jest spółlnoy oraz - p 7 g 0 Poneaż to W szczególnośc d T 0 0,H r g Lnoa funkcja dyskrymnująca dzel przestrzeń cech hperpoerzchną decyzyjną Orentację tej poerzchn yznacza ektor normalny a jej położene zależy od progu
Przypadek elu klas 8 Defnujemy c lnoych funkcj dyskrymnujących T g 0,...,c przypsujemy do klasy ω jeżel g > g j j ; Tak klasyfkator nazyamy maszyną lnoą Maszyna lnoa dzel przestrzeń cech na c obszaró decyzyjnych, przy czym g przyjmuje artość najększą dla należącego do obszaru R Dla dóch przyległych obszaró R, R j, granca mędzy nm jest fragmentem hperpłaszczyzny H j zdefnoanej jako: g g j j T 0 j0 0 j jest normalny do H j d, H j g g j j
9
Można łato pokazać, że obszary decyzyjne generoane przez maszynę lnoą są ypukłe. Nakłada to pene ogranczene na elastyczność dokładność klasyfkatora 0
Funkcje dyskrymnujące lnoe ze zględu na parametry Grance obszaró decyzyjnych na ogół ne są lnoe Złożony kształt granc obszaró decyzyjnych ymaga użyca slne nelnoych funkcj Najczęścej rozażana jest ogólnejsza postać lnoych funkcj dyskrymnujących: g f f N f N N gdze f, N są jednoymaroym funkcjam ektora, R n przestrzeń eukldesoa
Wstaając f n, otrzymujemy: g N gdze f T,,..., N, N T f,f,...,f N,f N T Ten zaps funkcj g skazuje na fakt, że każda funkcja dyskrymnująca postac może być traktoana jako lnoa N ymaroej przestrzen N > n g mantans ts non-lnearty characterstcs n R n
Częstym yborem funkcj g, dla których f N są elomany g T gdze jest noym ektorem parametró agoych yznaczonym na podstae orygnalnego ektora oraz f, N Kadratoe funkcje dyskrymnujące dla -ymaroej przestrzen cech: g,,..., 6 T,, 5,,, 6 T,
Dla obrazó R n, najogólnejsza postać kadratoych funkcj dyskrymnujących jest następująca: g n j j n n j n n Lczba elementó po praej strone yrażena jest róna: l N n n n n n n Jest to całkota lczba sobodnych parametró agoych, przykładoo: Dla n, ektor Dla n 0, ektor ma 0 ymaró ma 65 ymaró
5 W przypadku funkcj dyskrymnujących będących elomanam m-tego rzędu, typoa f ma postać: f e gdze e,... e m,..., m m n oraz e to 0 lub. Jest to eloman, którego rząd jest z przedzału od 0 do m. Aby unknąć potórzeń ymagamy, aby m g m n n n m m,... m m...... g m m gdze g 0 n jest najogólnejszą funkcją dyskrymnującą postac elomanu rzędu m
Przykład : Nech n m, to óczas: Przykład : Nech n m, to óczas: g gdze g g g g g 6
7 Najczęścej użyaną kadratoą funkcją dyskrymnującą można reprezentoać jako n-ymaroą poerzchnę kadratoą : g T A T b c gdze macerz A a j, ektor b b, b,, b n T c, zależą od ag, j, z rónana Jeżel A jest dodatno określona to funkcja dyskrymnująca jest hperelpsodą z osam skeroanym kerunkach zgodnych z ektoram łasnym macerzy A W szczególnośc: jeżel A I n macerz jednostkoa, to funkcja dyskrymnująca jest n-ymaroą hpersferą
8 Jeżel A jest ujemne określona, to funkcja dyskrymnująca opsuje hperhperbolodę Wnosek: macerz A pełn determnuje kształt charakterystykę funkcj dyskrymnującej
Przykładoy problem: Rozażmy -ymaroą przestrzeń funkcję dyskrymnującą postac elomanu trzecego rzędu 9. Ile elementó zaera yrażene reprezentujące funkcję dyskrymnującą jeżel tylko sześcenna lnoa funkcja chodzą skład yrażena?. Przedsta ogólne yrażene opsujące funkcję dyskrymnującą postac elomany -tego rzędu dla -ymaroej przestrzen obrazó. Nech R będze orygnalną przestrzeną obrazó a funkcja dyskrymnująca zązana z klasam ω ω ma postać: g dla której g > 0 jeżel ω g < 0 jeżel ω a Zapsz g jako g T A T b c b Wyznacz klasy następujących obrazó:,,,,0,0, 0,/,0
0 Macerze dodatno określone. Kadratoa macerz A jest dodatno określona jeżel T A>0 dla szystkch nezeroych ektoró kolumnoych.. Kadratoa macerz A jest ujemne określona jeżel T A < 0 dla szystkch nezeroych.. Kadratoa macerz A jest dodatno pół-określona jeżel T A 0.. Kadratoa macerz A jest ujemne pół-określona jeżel T A 0 dla szystkch. Poyższe arunk trudno jest spradzać bezpośredno na podstae defncj. W praktyce potrzebne są arunk mnej ymagające oblczenoo.
Bardzej przydatne praktyce są następujące łasnośc, zachodzące óczas gdy macerz A jest symetryczna. -ty mnor głóny macerzy A to macerz A utorzona z perszych erszy kolumn macerzy A. Np., perszy głóny mnor macerzy A jest macerzą A a, drug mnor głóny jest macerzą: A a a a a tak dalej
Macerz A jest dodatno określona jeżel szystke jej głóne mnory A, A,, A n mają yznacznk ększe od zera Jeżel te yznacznk są nezeroe a znak kolejnych yznacznkó mają przecne znak, począszy od deta <0, to macerz A jest ujemne określona Jeżel szystke te yznacznk są neujemne, to macerz jest dodatno pół-określona Jeżel znak kolejnych yznacznkó mają przecne znak, począszy od deta 0, to macerz jest ujemne pół-określona
Dla przykładu, rozażmy macerz symetryczną o ymarach : A a a a a Macerz jest dodatno określona, jeżel: a deta a > 0 b deta a a a a > 0 Macerz jest ujemne określona, jeżel: a deta a < 0 b deta a a a a > 0 Macerz jest dodatno pół-określona, jeżel: a deta a 0 b deta a a a a 0 Macerz jest ujemne pół-określona, jeżel: a deta a 0 b deta a a a a 0.
Ćczene : Spradź, czy ponższe macerze są dodatno-, ujemne- określone, dodatno-, ujemne- pół-określone lub ne należą do żadnej z tych grup. 8 A A A A d c b a
Rozązana ćczena : 5 A >0 A 8 7 >0 postve defnte A - A - 8 6 0 A - A 8 >0 A >0 A 6 6-0 <0 A jest dodatno określona A jest ujemne pół-określona A jest ujemne określona A ne należy do żadnej z grup
Ćczene : 6 Nech A. Wyznacz grance obszaró decyzyjnych odpoadających macerzy A g T A T b c przypadku, gdy b T, c -. Roząż deta-λi 0 określ kształt charakterystykę grancy obszaró decyzyjnych oddzelających de klasy ω ω. Przypsz klasy następującym punktom: T 0, - T,
Rozązane ćczena :.. Ostatne rónane opsuje lnę prostą spółlnoą z ektorem:,,, g 0 0 0 otrzymujemy 0 oraz Dla - - :, -λ - λ T V, 7
Dla λ oraz -λλ -λ 0, otrzymujemy: 8 0 0 0 Ostatne rónane opsuje lnę prostą spółlnoą z ektorem: V, Elpsa będąca grancą obszaró decyzyjnych ma de ose spółlnoe odpoedno z ektoram V V T. X 0, - T g0, - - < 0 ω X, T g, 8 > 0 ω