SYSTEMY UCZĄCE SIĘ WYKŁAD 5. LINIOWE METODY KLASYFIKACJI. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska.

Wielkość: px

Rozpocząć pokaz od strony:

Download "SYSTEMY UCZĄCE SIĘ WYKŁAD 5. LINIOWE METODY KLASYFIKACJI. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska."

Witold Klimek
5 lat temu
Przeglądów:

1 SYSEMY UCZĄCE SIĘ WYKŁAD 5. LINIOWE MEODY KLASYFIKACJI Częstochowa 4 Dr hab. nż. Grzegorz Dude Wydzał Eletryczny Poltechna Częstochowsa

2 FUNKCJE FISHEROWSKA DYSKRYMINACYJNE DYSKRYMINACJA I MASZYNA LINIOWA Cel lasyfac lnowe Wyznaczyć w przestrzen przyładów X powerzchnę dysrymnacyną (lnową) rozdzelaącą przyłady z różnych las. Powerzchne dysrymnacyne można oreślć pośredno na podstawe porównań wartośc K func dysrymnacynych g (), g (),..., g K () zdefnowanych dla ażde lasy. Funca dysrymnacyna g () ma tę własność, że dla wszystch przyładów należących do lasy zachodz: g() - g ( ) > g ( ),, =,,..., K, - - -

3 FUNKCJE DYSKRYMINACYJNE I MASZYNA LINIOWA Funce dysrymnacyne g () g () przyległych obszarów decyzynych defnuą powerzchnę dysrymnacyną rozdzelaąca te obszary: g ( ) = g ( ) Przymmy, że ażda lasa reprezentowana est przez punt prototypowy P = [p, p,... p,n ], np. środe lasy: N m = l, =,,..., K (numer lasy) N l= gdze N est lczbą przyladów z lasy ; lczbę wszystch przyładów oznaczmy N. Maszyna lnowa oblcza odległość pomędzy przyładem, a ażdym puntem prototypowym. Przyład zostae zalczony do te lasy, tórą reprezentue nablższy punt prototypowy. Nech marą odległośc będze wadrat odległośc euldesowe: ( ( P ) ( P ) ) = P P P P = + 3

4 FUNKCJE DYSKRYMINACYJNE I MASZYNA LINIOWA Nezależny od lasy sładn można pomnąć przyąć, że pozostałość ze znaem przecwnym podzelona przez będze pełnć rolę func dysrymnacyne: g ( ) = P. 5P Jest to funca lnowa ze współczynnem erunowym a = P wyrazem wolnym a, =..5P P Powerzchnę dysrymnacyną rozdzelaącą dwa przyległe obszary opsue równane: P P.5P P = P. 5P P W przypadu przyładów dwuwymarowych = [, ] lna decyzyna pomędzy lasą ma postać: p, + p,.5( p, + p, ) = p, + p,.5( p, + p, ) ( p =, p, ) +.5( p p,, p + p,, p, p, ) 4

5 MASZYNA LINIOWA a, a, g () a, n a, a n,k a n,k a,k a, a, K g () g () K Seletor masmum Klasa Lnowa separowalność Jeśl stnee K lnowych func dysrymnacynych g () o postac a + a, tach że: g ( ) > g ( ) dla ażdego lasy,, =,,..., K, to obszary zaweraące wyłączne punty z edne lasy (tzw. obszary decyzyne) są lnowo separowalne. 5

6 MASZYNA LINIOWA PRZYKŁAD Dane są punty prototypowe: P = [, ], P = [ 5, ], P 3 = [5, 5]. Zaproetu maszynę lnową. Wag func dysrymnacynych: a, =, a, =, a, =.5P P = 5 g ) = + 5 ( a, = 5, a, =, a, =.5P P = 4.5 g ) = ( a 3, = 5, a 3, = 5, a 3, =.5P 3 P3 = 5 g ) = ( Lne decyzyne: S : g( ) g ( ) = = S 3 = g( ) g3( ) = = S 3 = g ( ) g3( ) = = Klasyfaca nowego przyładu * = [, ]: 5-5 Kl. Kl. Kl. 3 g ( *) = 3, g ( *) =. 5, g ( *) = 35 lasy

7 REGUŁA PERCEPRONOWA Parametry maszyny lnowe wyznacza sę na podstawe puntów prototypowych w sposób analtyczny. W regule perceptronowe wartośc współczynnów hperpłaszczyzny dysrymnacyne uzysue sę w procese uczena z nauczycelem na podstawe zboru trenuącego. Reguła lasyfac w przypadu dwóch las ma postać (tzw. dychotomzator): a > a < lasy lasy gdze: = [,,..., n, ], a = [a, a,..., a n, a ] Szuamy tach współczynnów, tóre mnmalzuą ryterum: J ( a) = Z gdze: Z podzbór przyładów nepoprawne lasyfowanych, δ =, eśl lasy δ = +, eśl lasy. 7 δ a

8 REGUŁA PERCEPRONOWA Do znalezena mnmum można zastosować algorytm nawęszego spadu gradentu. W olenych teracach tego algorytmu modyfuemy współczynn, do momentu osągnęca mnmum ryterum (poprawne lasyfac wszystch przyładów uczących). J J J Gradent J ( a ) =,,..., ze znaem uemnym wsazue erune "przesunęca" a a a współczynnów: a a η J (a) gdze η > współczynnem uczena..8 Poneważ J ( a) = δ perceptronową regułę Z uczena możemy zapsać: J E.6.4. a a η Z δ.5.5 w -.5 a w a - - 8

9 REGUŁA PERCEPRONOWA ALGORYM. Wyberz losowo a, ustal η.. Powtarza.. Z =.. Powtarza dla =,,..., N... Jeśl δ, to Z = Z { } a.3. Jeśl Z =, to zaończ.4. a a η δ Z Algorytm przerywa dzałane, gdy znadze aąolwe płaszczyznę separuącą lasy. Jeśl przyłady są lnowo separowalne, algorytm zawsze znadue rozwązane w sończone lczbe roów (est zbeżny). 9

10 REGUŁA PERCEPRONOWA REGUŁA PERCEPRONOWA ALGORYM DLA WIELU KLAS W przypadu K las lnowo separowalnych oczeuemy: a > a dla ażdego lasy,, =,,..., K,. Wyberz losowo a dla =,,..., K, ustal η.. Powtarza.. Powtarza dla =,,..., N... Jeśl ma lasę dla pewnych l zachodz l a a (błędna lasyfaca), to: a a l a a l + η η.. Jeśl w pętl. ne nastąpła modyfaca żadnych współczynnów a, to zaończ.

11 REGUŁA PERCEPRONOWA PRZYKŁAD Przeprowadź trenng perceptronu dla przyładów należących do trzech las: = [,, ], = [, -5, ], 3 = [-5, 5, ]. Przym η = współczynn startowe a = [, -, ], a = [, -, -], a 3 = [, 3, ]. Przedstaw decyze perceptronu współczynn w olenych teracach. Przedstaw lne dysrymnacyne. Zobrazu rozwązane na wyrese.

12 FISHEROWSKA DYSKRYMINACJA LINIOWA Idea lasyfac Fshera Znadź erune a w przestrzen przyładów X, tóry po zrzutowanu na nego przyładów pozwala nalepe rozdzelć przyłady obu las. Mara separowalnośc uwzględna odległośc mędzy lasam rozrzut przyładów wewnątrz las. m m Kerune a to wetor współczynnów stoących przy zmennych w równanu proste w postac ogólne. Prosta dysrymnacyna est prostopadła do tego erunu. (, ) a prosta dysrymnacyna a +a =

13 FISHEROWSKA DYSKRYMINACJA LINIOWA o potępowana Metoda wymaga podzału zboru trenuącego na dwa podzbory: A przyłady z lasy, B przyłady z lasy. Zbór przyładów należących do dane lasy reprezentue środe lasy m macerz owaranc S nformuąca o ch rozrzutach w różnych erunach.. Wyznaczamy środ las ao średne wetorowe przyładów należących do poszczególnych las: m N = N l= l, =, (numer lasy) gdze N est lczbą przyladów z lasy ; lczbę wszystch przyładów oznaczmy N.. Jao mary rozrzutu przyładów w lasach wyznaczamy macerze owaranc: S = N ( N l=, l m )(, l m ), =, 3

14 FISHEROWSKA DYSKRYMINACJA LINIOWA 3. Wyznaczamy macerz owaranc wspólne dla obu las: W = ( N ) S + ( N ) S N Marą rozproszena przyładów wzdłuż erunu a est welość: a Wa. 4. Znadź erune a ~, dla tórego wyrażene ( a m a m) a Wa (*) osąga wartość masymalną. Zachodz to wtedy, gdy wadrat odległośc pomędzy średnm las m m zrzutowanym na ten erune (lczn) est a nawęszy, a rozrzut przyładów wzdłuż tego erunu (manown) est a namneszy. 5. Reguła lasyfac: zrzutu średne m m oraz nowy przyład na erune ~ a, zmerz odległośc pomędzy środam m wzdłuż erunu ~ a : ~ ~ a a m zalasyfu do te lasy, tóre środe leży blże. 4

15 FISHEROWSKA DYSKRYMINACJA LINIOWA Prosta (płaszczyzna, hperpłaszczyzna) dysrymnacyna wyna z p. 5 est to płaszczyzna prostopadła do erunu ~ a, przechodząca przez środe odcna łączącego ~ a m ~ a m. Wyznacza ą równość: ~ ~ a a m ~ ~ = a a m Przyrównuąc pochodne ryterum (*) do zera można znaleźć erune optymalny: ~ a = W ( m m ), wobec czego równane płaszczyzny dysrymnacyne można zapsać: ( m m) W [.5( m + m )] = Czyl eśl dla naszego przyładu zachodz: m m ) W [.5( m + m )] lasyfuemy go ( > do lasy. Gdy zachodz nerówność odwrotna przyład lasyfuemy do lasy. Równane proste dysrymnacyne w przypadu dwuwymarowym (prosta o współczynnach ~ a, przechodząca przez środe odcna łączącego m m ): a~ + a~ = a~, gdze = ~ a m + m ~ a 5

16 FISHEROWSKA DYSKRYMINACJA LINIOWA Problem welu las Dla wszystch możlwych zestawów par las tworzy sę odrębną płaszczyznę dysrymnacyną. W oblczenach przymue sę wspólną dla wszystch las macerz owaranc wewnątrzgrupowe: W = K N K = ( N ) S gdze K to lczba las. Każda hperpłaszczyzna lasyfue przyład do edne lasy. Jao lasę przyładu wybera sę lasę węszoścową. 6

17 FISHEROWSKA DYSKRYMINACJA LINIOWA Ogranczena Metoda Fshera załada, że macerze owaranc wewnątrz las są dentyczne, a rozłady las są gaussowse ednomodalne: Metoda zawodz, gdy węce nformac o położenu las zawartych est ne w ch środach, ale w waranc: 7

Podobne dokumenty

Nieliniowe zadanie optymalizacji bez ograniczeń numeryczne metody iteracyjne optymalizacji

Nieliniowe zadanie optymalizacji bez ograniczeń numeryczne metody iteracyjne optymalizacji Nelnowe zadane optymalzacj bez ogranczeń numeryczne metody teracyjne optymalzacj mn R n f ( ) = f Algorytmy poszuwana mnmum loalnego zadana programowana nelnowego: Bez ogranczeń Z ogranczenam Algorytmy