Unwersytet Mkoaja Kopernka Wydza Fzyk, Astronom Informatyk Stosowanej IS Helena Jurkewcz numer albumu: 177622 Praca magsterska na kerunku Fzyka Komputerowa Neeukldesowe sec neuronowe Opekun pracy dyplomowej prof. dr hab. Wodzsaw Duch Unwersytet Mkoaja Kopernka Toruń 2009 Przyjmuj akceptuj Potwerdzam złożene pracy dyplomowej data podps opekuna pracy data podps pracownka dzekanatu
UMK zastrzega sobe prawo własnośc nnejszej pracy magsterskej w celu udostępnana dla potrzeb dzałalnośc naukowo-badawczej lub dydaktycznej 2
Sps treśc 1 Wstęp 4 1.1 Cel pracy........................................... 4 1.2 Sec neuronowe - nformacje ogólne............................. 4 2 Sec MLP 5 2.1 Neuron............................................. 5 2.2 Funkcje transferu....................................... 6 2.3 Sec jedno welowarstwowe................................ 8 2.4 Uczene sec neuronowych.................................. 8 2.5 Metoda propagacj wstecznej błedu............................. 8 2.5.1 Reguła delta..................................... 8 2.5.2 Algorytm propagacj wstecznej błędu........................ 9 3 DMLP Neeukldesowe sec neuronowe 11 3.1 DMLP............................................. 11 3.2 Implementacja neeukldesowych sec neuronowych przez renormalzację........ 11 3.3 coś jeszcze........................................... 12 4 Robota 13 4.1 Coś o programe???..................................... 13 4.2 Dane,ch przygotowane, coś jeszcze?............................ 13 4.3 Rezultaty........................................... 13 5 Podsumowane wnosk,zakonczene 13 3
1 Wstęp 1.1 Cel pracy Wstęp cel opszę jak reszta pracy będze gotowa. 1.2 Sec neuronowe - nformacje ogólne Coś o tym że sec bologczne były nspracją dla sztucznych sec neuronowych. Jakeś zastosowana td. 4
2 Sec MLP Seć MLP (Mult Layer Perceptron) to welowarstwowa, sprzężona do przodu(?? a może lepej jednokerunkowa)(feedforward) seć neuronowa. Sec MLP nadają sę do rozwązywana zagadneń klasyfkacyjnych... Podstawową jednostką sztucznej sec neuronowej jest neuron. 2.1 Neuron Wykorzystany w pracy model neuronu można najogólnej przedstawć na ponższym rysunku:(psać coś o modelu MacCullocha-Pttsa?) Rysunek 1: Neuron Powyższy model neuronu ma wele wejść jedno wyjśce. Dane wchodzące na wejśca (x), mnożone są przez pewne współczynnk (wag) sumowane, tworząc sygnał pobudzający, oznaczony jako net: net = N w x (1) Gdze N oznacza lczbę wejść neuronu, uzależnoną od wymaru wektora danych wejścowych. =0 To właśne wag zmenają swą wartość podczas procesu uczena sec są analogą do czułośc bologcznego neuronu na mpulsy, pochodzące z poszczególnych wejść. Do aktywacj neuronu może zostać dodany tzw próg (bas) oznaczony jako θ, pobudzene ma wtedy postać: net = N w x + θ (2) =0 Przepyw sygnałów odbywa sę w jednym kerunku: od wejść do wyjśca. W cele neuronu net jest przetwarzany, dając w rezultace sygnał wyjścowy. Do przetwarzana net wykorzystywana jest pewna funkcja, zwana funkcją transferu: y = f(net) (3) W najprostszym przypadku funkcja może być tożsamoścowa dawać na wyjśce net,częścej jednak wykorzystywane są bardzej skomplkowane funkcje. 5
2.2 Funkcje transferu Funkcja transferu to funkcja określająca zazwyczaj nelnową zależność mędzy pobudzenem neuronu net, a jego wyjścem y. W klasycznych modelach sec neuronowych wykorzystywana była funkcja bnarna o postac: { 1, gdy net > 0 f(net) = (4) 0, gdy net 0 Jak wdać jest to funkcja skokowa przyjmująca wartośc 0 1. Bardzej nteresujące są funkcje cągłe, przyjmujące też wartośc pośredne. Jedną z klas funkcj transferu są funkcje o kształce sgmody. Funkcje te, lczone od aktywacj w postac sumy ważonej wejść, są dość powszechne używane w secach MLP zalczane są do tzw. funkcj nelokalnych, (czyl funkcj, których wartość jest różna od zera dla danych wejścowych, leżących na neskończonym obszarze wejścowym). W mojej pracy korzystam z trzech funkcj transferu:(na raze tylko wzory wykresy, potem coś jeszcze dopszę) Funkcja logstyczna : f 1 (net) = 1 1 + e β net (5) Rysunek 2: Wykres funkcj logstycznej (5) β jest parametrem określającym skos funkcj, tym nemnej skos może być też regulowany wartoścam wag progu. Funkcja troj? 0, x < a x 1 2 f 2 (x a, x) = + (x a)(2 x+x a) 2( x), x [a x, a) 2 1 2 + (x a)(2 x x+a) 2( x), x [a, a + x] 2 1, x > a + x (6) 6
Rysunek 3: Wykres funkcj tr x jest odpowednkem szerokośc (nepewnośc x) f 3 (x a, b) = 1 [ ] 1 + e x a+b 2b ln 1 + e x a b (7) Rysunek 4: Wykres funkcj log 7
Funkcje f 2 f 3 pochodzą z (tu będze przypsa do pracy prof Ducha) 2.3 Sec jedno welowarstwowe Połączone ze sobą neurony tworzą seć. Jej budowa określona jest poprzez lczbę sposób połączena neuronów. Najprostszym przykładem sec neuronowej jest seć utworzona tylko z jednej warstwy. Każdy z neuronów danej warstwy ma ten sam wektor danych wejścowych, wag są jednak ndywdualne dla każdego neuronu. Szczególnym przypadkem sec jednowarstwowej jest seć złożna z jednego neuronu, która pozwala jedyne na odzelene dwóch separowalnych lnowo klas.(zał aktywacja funkcje transferu z powyższych sekcj) Wększe możlwośc dają sec welowarstowe, gdze wyjśca neuronów jednej warstwy połączone są z wejścam neuronów warstwy następnej. Zazwyczaj rozróżna sę warstwy : Wejścową - do neuronów tej warstwy dochodzą dane zewnętrzne. Wewnętrzną - może zawerać jedną lub węcej warstw, każdą o lośc neuronów zależnej od problemu. Zewnętrzną - zazwyczaj lość neuronów tej warstwy odpowada lośc klas rozpoznawanych w danym zadanu. Każdy neuron odpowada jednej klase danych. W zależnośc od lczby warst neuronów sec take mogą tworzyć różne, skomplkowane obszary decyzyjne. 2.4 Uczene sec neuronowych Nauka sec polega na modyfkacj wag neuronów, której celem jest mnmalzacja funkcj błędu (funkcj kosztu). W zależnośc od wymagań, można używać różnych funkcj błędu. Powszechne stosowaną wykorzystaną w nnejszej pracy funkcją kosztu, jest funkcja sumująca kwadraty różnc pomędzy wartoścam wyjścowym oblczonym przez seć, a wartoścam wzorcowym. Podczas uczena, w każdej teracj redukowana jest funkcja błędu dla kolejnych, poszczególnych obrazów wejścowych. Łączny błąd dla całego zboru danych uczących można przedstawć jako: E = 1 2 n =1 j=0 m (d j y j (x )) 2 (8) Gdze n jest lczbą obrazów ( wektorów wejścowych) uczących seć, m lczbą wyjść sec, y j (x ) oznacza odpowedż oblczoną przez seć na j-tym wyjścu od wektora wejścowego x, natomast d j to oczekwana odpowedż neuronu. Zbór danych uczących seć oprócz wektorów wejścowych, pownen zawerać także nformację do jakej klasy należy dany wektor danych. Tak sposób nauk określany jest jako uczene nadzorowane. Do nauk sec najczęścej wykorzystywane są różne procedury oparte na metodach gradentowych. Podstawową metodą nauk dla MLP jest metoda propagacj wstecznej błędu. 2.5 Metoda propagacj wstecznej błedu Metoda wstecznej propagacj błędu zalczana jest do metod gradentowych. Mnmalzacja funkcj błędu wąże sę z lczenem gradentów po parametrach adaptacyjnych (wagach) zmane wag w kerunku przecwnym do oblczonego gradentu. Oblczane gradentu wymaga aby funkcja błędu, a co za tym dze także funkcje transferu dla neuronów były różnczkowalne. 2.5.1 Reguła delta Ponżej wyjaśnono sposób nauk oparty na tzw regule delta, dla sec jednowarstwowej. Wag w procese uczena modyfkowane są zazwyczaj teracyjne. Wzór na współczynnk o jak dokonuje sę korekcja wag ma postać: w = η E l (w ) (9) 8
Gdze E l to błąd jednego (l-tego) obrazu wejścowego, w to wektor wag dla -tego neuronu. Rozpsując k-tą składową gradentu uwzględnając, to że błąd zależy od wag poprzez aktywację można dojść do ponższego wzoru: E l = E l net (10) w k net w k Gdze w k jest wagą k-tego wejśca, -tego neuronu w danej warstwe, a net to aktywacja -tego neuronu. Błąd jest zależny od aktywacj poprzez funkcję transferu, rozwjając perwszą część prawej strony wzoru (10), dostaje sę wyrażene określane jako δ: δ l = E l = 1 (d l f l ) 2 = (d l f l )f (net ) (11) net 2 net Indeks l przy d l f l ma podkreślać, że są to wartośc dla l-tego obrazu wejścowego. f (net ) oznacza pochodną funkcj aktywacj po pobudzenu -tego neuronu. Ne jest to zaznaczone wprost, ale oczywśce pobudzene jest w tym wypadku lczone od wartośc l-tego obrazu. Drug człon prawej stronu równana (10) równy jest wartośc k-tej składowej wektora wejścowego (do tego neuronu?): net w k = x k (12) Podsumowując wzór na korekcję k-tej wag, -tego neuronu, w j-tym kroku, dla jednego wektora wejścowego, w jednej warstwe można zapsać: w (j+1) k = w (j) k + η (d f ) f (net )x k (13) Powyższy przykład można łatwo uogólnć dla bardzej rozbudowanej sec. Na regule delta bazuje, mający zastosowane dla sec welowarstwowych, algorytm propagacj wstecznej. 2.5.2 Algorytm propagacj wstecznej błędu Wzory dla sec welowarstwowej są analogczne do wzorów dla sec jednowarstwowej. Różnca polega na tym, że funkcja błędu lczona jest tylko dla ostatnej warstwy, gdyż wzorcowe wartośc sygnału znane są tylko dla wyjśca sec, ne zaś dla wyjść poszczególnych warstw wewnętrznych. Nazwa propagacja wsteczna błędu oznacza, że do oblczena błędu (w sense δ) danej warstwy musmy najperw oblczyć błąd warstwy, która znajduje sę przed ną. Czyl najperw lczy sę wartośc na wyjścu sec, na ch podstawe określa błędy warstw, cofając sę aż do warstwy wejścowej. Nech δ (s) oznacza sygnał delty dla -tego neuronu s-tej warstwy, a cała seć kończy sę na warstwe o numerze s+1, wzory są odpowedne dla jednego, danego wektora wejścowego(w poprzednej sekcj zaznaczał to ndeks l, teraz dla czytelnośc pomnęty mn. dla E (a może lepej dać ten ndeks jednak?)): f (s) δ (s) = E net = E f (s) f (s) net = E f (s) f (net ) (14) określa wartość wyjśca tego neuronu s-tej warstwy jest tym samym jedną ze składowych wektora wejśca f (s) dla warstwy s+1. E f (s) = 1 2 f (s) m j=0 [ ( )] 2 m d j f (s+1) net j (f (s) ) = j=0 [ (d j f (s+1) j )f (net j ) net j f (s) ] = m j=0 δ (s+1) j w j (15) Delta używana do oblczana poprawk dla warstwy s wykorzystuje deltę lczoną w warstwe s+1, tak samo delta dla warstwy s-1 korzysta z delty warstwy s td. Ostateczne delta dla -tego neuronu warstwy s wynos: δ (s) = f (net ) m j=0 δ (s+1) w (s+1) j (16) 9
Zmana wag k-tego wejśca tego neuronu: w (s) k = ηf (s 1) k δ (s) (17) Algorytm nauk polega na teracyjnym poprawanu wag dla neuronów sec przy pomocy powyższych wzorów. W jednej teracj do nauk wykorzystywane są wszystke obrazy zboru uczącego, dobrze jest gdy wektory danych podawane są na wejśce w kolejnośc losowej. Po wykonanej teracj aby można oblczyć błąd całoścowy ze wzoru (8). Istneją różne krytera określające moment zakończena nauk sec,np.: Nauka jest przerywana, gdy wartość całoścowej funkcj błędu osągne wartość mnejszą od wcześnej zadanego parametru: E < ɛ Nauka jest przerywana gdy zmana całoścowej funkcj błędu jest mnejsza od zadanego parametru: E < ɛ Wadam tej metody są wolna zbeżność możlwość utykana na mnmach lokanych. Opracowano wele modyfkacj tego algorytmu. (Psać coś o nnych algorytmach uczena, albo o ulepszenach typu metoda momentu?) 10
3 DMLP Neeukldesowe sec neuronowe Jako aktywacj neuronu w sec, poza omówonym w poprzednm rozdzale loczynem skalarnym wektora wag wektora wejścowego, można stosować aktywację opartą na merze odlegóśc. Aktywacj opartej na odegłośc używa sę mędzy nnym w secach z radalnym funkcjam bazowym (sec RBF wykorzystujące jako aktywację odległość od centrum funkcj bazowej).także w secach MLP aktywację w fome kombnacj lnowej wag wejśca, da sę zastąpć aktywacją opartą o odlegóść. Sec MLP, uzywające jako pobudzena funkcj opartej o odległość, nazwać można (ref) D-MLP(Dstance-based MLP). Sec D-MLP w których wykorzystana została mara odłegłośc nna nż eukldesowa noszą mano (tak obektywne są nazywane?) neeukldesowych sec MLP. Zastąpene ważonej aktywacj funkcją bazującą na odległośc, powoduje znaczną zmanę kształtów obszarów decyzyjnych wyznaczanych przez seć. Korzyścą z (?) użyca neeukldesowych sec neuronowych jest możlwość uzyskana podobnych, złożonych obszarów decyzyjnych jak przy zwykłej sec MLP, jednak przy nższej złożonośc sec neeukldesowej w porównanu do zwykłej sec welowarstwowej. 3.1 DMLP Funkcję aktywacj neuronu, da sę przekształcć tak, aby stała sę sę funkcją zawerającą odlegóść : (jakeśc referencje do pracy prof Ducha,Dr Adamczaka Dercksena) w x = w 2 + x 2 w x 2 (18) W ogólnośc funkcję transferu lczyć można od aktywacj w postac: net = d 0 D(w, x) (19) Gdze d 0 ma wartość ustaloną( np dla d 0 = w 2 + x 2, jeśl wektory x w są unormowane), bądź jest parametrem adaptacyjnym, a D(w, x) to funkcja odległośc. Norma eukldesowa może zostać zastąpona przez nny rodzaj normy. Np przez dowolną normę Mnkowskego w postac: D M (w, x, α) = ( N =1 w x α ) 1 α Dla α = 2 dostaje sę zwykła odległość eukldesową. Dla oblczeń symbolcznych możlwe jest użyce metryk opartej na:... Implementację neeukldesowej sec MLP można wykonać na dwa sposoby. Prezentowana w nnejszej pracy metoda polega na zastąpenu aktywacj net poprzez net wymusza małą modyfkację w algorytme nauk. Algorytm propagacj wtecznej błędu zakłada stnene pochodnej funkcj aktywacj, a co za tym dze mus stneć pochodna funkcj odległośc.jest to spełnone dla mary Mnkowskego. Bez problemu da sę dla nej wyznaczyć gradent: ( N ) D M (w, x, α) 1 α 1 = w x α w k x k α 1 w k x k (21) w k w =1 k Możlwe jest też zamplementowane neeukldesowej secl MLP bez zman w algorytme nauk, a tylko poprzez odpowedną transformację danych wejścowych. Metoda została opsana w artykule (Duch Adamczak nn). Krótko omówę ją w następnej sekcj: 3.2 Implementacja neeukldesowych sec neuronowych przez renormalzację Zakłada sę stałą normę wektorów wejścowych x. Aby ustalene stałej normy ne łączyło sę ze stratą nformacj wymagane jest dodane jednej, lub węcej cech do wektorów uczących. Dodatkową składową wektora uczącego może być wartość x r = R 2 x 2 gdze R max x x. Powyższe dzałana skutkują umeszczenem danych na półsferze o promenu R. Wektor typu (x, x R ) może zostać znormalzowany do (x, x R ) D = 1 przy użycu norm opartych o różne funkcje odległośc, np normy Mnkowskego. Węcej szczegółów w artykule (fer do art) coś jeszcze dopsać (20) 11
3.3 coś jeszcze 12
4 Robota 4.1 Coś o programe??? 4.2 Dane,ch przygotowane, coś jeszcze? 4.3 Rezultaty 5 Podsumowane wnosk,zakonczene 13