Plan wykładu. Sztuczne sieci neuronowe. Problem dwuklasowy (N=1) Problem klasyfikacji. Wykład 6: Ocena jakoci sieci neuronowej Sieci RBF KLASYFIKATOR

Wielkość: px

Rozpocząć pokaz od strony:

Download "Plan wykładu. Sztuczne sieci neuronowe. Problem dwuklasowy (N=1) Problem klasyfikacji. Wykład 6: Ocena jakoci sieci neuronowej Sieci RBF KLASYFIKATOR"

Grażyna Sawicka
7 lat temu
Przeglądów:

1 Plan wykładu Wykład 6: Ocena jakoc sec neuronowej Sec RBF Małgorzata Krtowska Katedra Orogramowana e-mal: Metody oceny jakoc sec neuronowych roblem klasyfkacj metody szacowana jakoc klasyfkacj ocena jakoc klasyfkacj Sec o radalnych funkcjach bazowych Wrowadzene do sec RBF Porównane sec welowarstwowych sec RBF Teoretyczne odstawy dzałane sec RBF Problem klasyfkacj Problem dwuklasowy (N=) Przyorzdkowane danego wektora cech do jednej z M klas: K, K,.., K M 0. (/K ) (/K ) {,,..., n } KLASYFIKATOR 0. K c

2 Problem dwuklasowy (N=) Metody oceny jakoc klasyfkacj Zbór uczcy zbór testowy Waldacja krzyowa (ang. crossvaldaton) Metoda leave-one-out (Jackknfe) 5 6 Waldacja krzyowa (k-unktowa) Leave-one-out zbór danych: Przyadek szczególny waldacj krzyowej Jeel zbór uczcy zawera wektorów cech wówczas metoda leave-one-out jest równowana -unktowej waldacj krzyowej losowy odzał zboru danych na k odzborów zbór danych: odzbór testowy W raktyce : k=0 7 8

3 Ocena jakoc klasyfkacj Ocena jakoc klasyfkacj ( klasy) Jako klasyfkacj = Lczba orawne sklasyfkowanych rzyadków / Lczba wszystkch analzowanych rzyadków Klasa => Decyzja K K... K M Klasa (0, ) n. choroba (tak, ne) Tak Ne K n n n M K n n n M... Wynk klasyfkacj Tak Ne True ostve (TP) False negatve (FN) False Postve (FP) True negatve (TN) TP+FP FN+TN K M n M n M n MM TP+FN FP+TN Lczno n n... n M Czy jako klasyfkacj 0,95 jest dobra? 9 0 Ocena jakoc klasyfkacj ( klasy) Ocena jakoc klasyfkacj ( klasy) 0. (/K ) (/K 0 ) Efektywno = TP+TN / TP+FP+FN+TN - frakcja orawne sklasyfkowanych rzyadków TP TN FP FN 0 5 c 0 5 Czuło = TP / TP+FN - frakcja orawne sklasyfkowanych rzyadków choroby Secyfczno = TN / FP+TN - frakcja orawne sklasyfkowanych rzyadków osób zdrowych (ang. accuracy, senstvty, secfcty)

4 Krzywa ROC (ang. Recever Oeratng Characterstcs) Sec o radalnych funkcjach bazowych (RBF; ang. Radal Bass Functons) Krzywa ROC - obrazuje zaleno omdzy czułoc metody a wartoc -secyfczno dla rónych wartoc rogowych Porównane jakoc dwóch metod klasyfkacj => orównane welkoc obszaru od krzyw ROC Sec dwuwarstwowe ( warstwa ukryta) Przeływ nformacj od wejca w kerunku warstwy wyjcowej Brak wymany nformacj mdzy neuronam w jednej warstwe 3 4 Sec welowarstwowe a sec RBF Sec welowarstwowe a sec RBF Sec neuronowe welowarstwowe neurony w warstwach ukrytych sełnały rol sumatorów mulsów dochodzcych do nch z orzednej warstwy rezultat sumowana był nastne rzetwarzany rzez tzw. funkcj aktywacj owodował obudzene neuronu na okrelonym ozome neuron rzekazywał swoj aktywacj - jako bodzec numeryczny do warstwy nastnej lub na wyjce Sec RBF wyznaczene aktywacj, w neuronach warstwy ukrytej, odbywa s na zasadze wyznaczena wartoc tzw. radalnej funkcj bazowej (argumentem jest odległo -c ) Warstwa wyjcowa sumuje aktywacje neuronów warstwy ukrytej (osługujc s swom wagam) Wynk sumowana jest odawany jako wynk dzałana sec Sec welowarstwowe neuron rerezentuje herłaszczyzn moe by wele warstw ukrytych Sec RBF neuron rerezentuje hersfer, dokonujc odzału kołowego wokół unktu centralnego jedna warstwa ukryta => uroszczene uczena sec 5 6

5 Radalne funkcje bazowe Radaln funkcj bazow (tyu RBF) nazywany funkcj ( ) ostac: Przykłady radalnych funkcj bazowych r Funkcja aussa ( r) = e σ (; c) = (r(,c)), gdze r(,c)= -c ={(-c) T (-c)} / oznacza to, e wartoc funkcj - dla danego argumentu - zale tylko od odległoc jej argumentu od centrum c bdcym arametrem tej funkcj. (ojedyncza funkcja radalna jest czasem nazywana jdrem (ang. kernel) a arametr σ szerokoc jdra). 7 8 Przykłady radalnych funkcj bazowych Przykłady radalnych funkcj bazowych α Funkcje otgowe ( r) = ( σ + r ), α > 0 Funkcja sklejana ( r) = ( σr) ln( σr) α=

6 Dzałane sec RBF Teoretyczne odstawy sec RBF (aroksymacja) W secach RBF neurony erwszej warstwy oblczaj - na odstawe odanego na wejce wektora cech, swoje aktywacje jako warto: ()=(, c ); ()=(, c );...; H ()=(,c H ) gdze h - oznacza funkcj radaln oblczon wzgldem centrum c h. Oblczone w ten sosób wartoc,.., H słu jako dane wejcowe dla warstwy wyjcowej, która oblcza z nch waon sum. Przy załoenu jednego neuronu w warstwe wyjcowej otrzymujemy: y()=w 0 +w () +w () w H H () Se RBF dzała na zasadze welowymarowej nterolacj, której zadanem jest odwzorowane rónych wektorów wejcowych (=,,.., ) z N wymarowej rzestrzen wejcowej w zbór lczb rzeczywstych d. Jest to równowane okrelenu funkcj radalnej F(), dla której s sełnone warunk nterolacj: F( ) = d rzy czym funkcja F() okrelona jest wzorem: F( ) = = w ( ) Przy danych centrach c, c,..., c H arametrze σ ozostaj nam tylko do wyznaczena wartoc wag. gdze - wartoc wektorów centra funkcj radalnej. Wybór rodzaju normy moe by dowolny, w raktyce najczcej norma eukldesowa. Teoretyczne odstawy sec RBF Se RBF - odstawy teoretyczne Zakładajc unktów nterolacyjnych mona otrzyma układ równa lnowych: gdze j =( j - ) dotyczy funkcj radalnej w centrum. W ostac macerzowej: Rozwzane: W=d W= - d W d W d = W d Wrowadzone załoene dotyczce stnena neuronów ukrytych rowadz do uzyskana sec o złych własnocach uogólnajcych. Przy duej lczbe danych uczcych równej m lczbe funkcj radalnych se bdze s doasowywała do rónego rodzaju szumów neregularnoc wystujcych w danych. Wrowadzene czynnka regularyzacj (roblem otymalzacj): L( F ) = ( F ( ) d ) + λ PF = gdze λ wsółczynnk regularyzacj, PF - czynnk stablzujcy karzcy za brak gładkoc funkcj F (due czsto owtarzajce s zmany nachyle funkcj aroksymujcej) 3 4

7 Regularyzacja Se RBF - odstawy teoretyczne (klasyfkacja) Twerdzene Covera (965) Złoony roblem klasyfkacyjny zrzutowany nelnowo na rzestrze welowymarow moe by rozdzelony za omoc searatora lnowego z wkszym rawdoodobestwem n rzy rzutowanu na rzestrze o mnejszej lczbe wymarów. Wływ regularyzacj na odwzorowane danych rzy nadwymarowej lczbe funkcj bazowych: a) brak regularyzacj; b) wynk z regularyzacj Udowodnono, e kady zbór wzorców losowo rozmeszczony w rzestrzen welowymarowej jest ϕ-searowalny z rawdoodobestwem równym jeden, od warunkem zastosowana odowedno duego wymaru, na który rzutowana jest ta rzestrze, tj. rzestrze generowana rzez funkcje bazowe ϕ. 5 6 Se RBF - odstawy teoretyczne Se RBF Zatem stneje tak wektor w, e: w T ϕ() 0 dla A w T ϕ() < 0 dla B gdze w T ϕ()=0 rerezentuje granc omdzy klasam. W raktyce oznacza to, e zastosowane dwu warstw sec, jednej zawerajcej funkcje radalne wyjcowej warstwy lnowej zaewna rozwzane roblemu klasyfkacj nelnowej. y m = H = 0 ( ) w m 7 8

8 Rodzaje sec RBF Sec HRBF Sec RBF (ang. eneralzed Radal Bass Functon)- mnejsza lczba wzłów n danych. Sec HRBF (ang. Hyer Radal Bass Functon)- ełna macerz obrotów skalowana Q (wsółczynnk wagowy, ze wzgldu na rón zmenno w kadej os; Q róne dla rónych centrów): Sec RBF Sec HRBF T = ( Q) ( Q) = Q T Q T Q Oznaczajc loczyn macerzy Q T Q jako macerz C otrzymujemy: Q = = j= C W szczególnoc, jeel macerz Q jest dagonalna Q=, wówczas wagowa norma Eukldesowa srowadza s do normy klasycznej: j = = Q = j 9 30 Uczene sec RBF Eta I - wybór centrów funkcj bazowych Uczene sec RBF odbywa s w trybe nadzorowanym. Mona tu wyrón dwa etay: Losowy wybór centrów funkcj bazowych dobór arametrów funkcj bazowych (centra + dysersje) Zastosowane rocesu samoorganzacj Wykorzystane dendrogramów Algorytm robablstyczny (HRBF) dobór wag neuronów warstwy wyjcowej 3 3

9 Losowy wybór centrów funkcj bazowych Zastosowane rocesu samoorganzacj rozwzane najrostsze, wykorzystywane dla klasycznych sec radalnych losowy wybór centrów: w obszarze zmennoc wzorców uczcych losowy wybór centrów soród wzorców uczcych (rosty daje dobre rezultaty) arametr dysersj jest jednakowy dla wszystkch funkcj bazowych jest okrelany jako: d σ = gdze M M - jest lczb wszystkch neuronów warstwe ukrytej; d jest maksymaln odległoc omdzy wybranym centram aussowska funkcja bazowa rzyjmuje osta: ( ) c c = e d K 33 Proces samoorganzacj stosowany do danych uczcych automatyczne dzel rzestrze na obszary Voronoa, rerezentujce oddzelne gruy danych centrum klastra jest utosamane z centrum odowednej funkcj radalnej lczba tych funkcj równa jest lczbe klastrów moe by korygowana rzez algorytm samoorganzacj Proces odzału danych na klastry moe by rzerowadzony rzy uycu jednej z wersj algorytmu k-rednch Proces ncjalzacj centrów: odbywa s najczcej losowo, rzy załoenu rozkładu równomernego w rocese doboru odowednch wektorów ze zboru danych uczcych, jako centrów. 34 Zastosowane rocesu samoorganzacj Zastosowane rocesu samoorganzacj w rzyadku danych uczcych rerezentujcych funkcj cgła: wstne wartoc centrów umeszcza s w unktach odowadajcych wartocom maksymalnym mnmalnym funkcj. Dane odowadajce tym centrom oraz ch najblszemu otoczenu s usuwane ze zboru, a ozostałe centra s lokowane równomerne w obszarze utworzonym rzez dane ozostajce w zborze. o zarezentowanu k-tego wzorca (k) ze zboru uczcego jest wyberane najblsze centrum, które nastne odlega aktualzacj: wsółczynnk uczena η(k) maleje w mar wzrostu k, n. (T - stała l. eok) η( k ) =η0 ( + k T ) kady wektor uczcy jest rezentowany klkunastokrotne, a do ustalena wartoc centrów. c ( k + ) = c ( k) + η( k)[( ( k) c ( k)] 35 Dobór arametru dysersj funkcj radalnych: Aby odwzorowane funkcj realzowane rzez sec radalne było stosunkowo gładke: ola rececyjne wszystkch funkcj radalnych ownny okrywa cały obszar danych wejcowych dwa ola mog okrywa s tylko w neznacznym stonu. Proonowane rozwzana za warto σ j j-tej funkcj radalnej rzyjmuje s odległo eukldesow centrum c j od jego najblszego ssada (tzn. nnego centrum) na warto σ j wływa odległo j-tego centrum od jego P najblszych ssadów (zwykle ne rzekracza trzech): P σ = c c j P k = j k 36

Podobne dokumenty

Plan wykładu. Sztuczne sieci neuronowe. Problem dwuklasowy (N=1) Problem klasyfikacji. Wykład 4-5: Ocena jakości sieci neuronowej Sieci RBF

Plan wykładu. Sztuczne sieci neuronowe. Problem dwuklasowy (N=1) Problem klasyfikacji. Wykład 4-5: Ocena jakości sieci neuronowej Sieci RBF Plan wyładu Wyład 4-5: Ocena jaośc sec neuronowej Sec RBF Małgorzata Krętowsa Wydzał Informaty PB Metody oceny jaośc sec neuronowych roblem lasyfacj metody szacowana jaośc lasyfacj ocena jaośc lasyfacj