Wykład 2: Uczenie nadzorowane sieci neuronowych - I

Wielkość: px

Rozpocząć pokaz od strony:

Download "Wykład 2: Uczenie nadzorowane sieci neuronowych - I"

Maksymilian Michalak
6 lat temu
Przeglądów:

1 Wykład 2: Uczene nadzorowane sec neuronowych - I Algorytmy uczena sec neuronowych Na sposób dzałana sec ma wpływ e topologa oraz funkconowane poszczególnych neuronów. Z reguły topologę sec uznae sę za e nezmenny składnk aby wpływać na e dzałane modelue sę edyne dzałane poszczególnych neuronów, w szczególnośc zmenaąc wartośc wag e łączących. Dwe metodologe uczena: nadzorowane (supervsed): algorytm uczący adaptue seć stosowne do wymuszeń zewnętrznych, staraąc sę możlwe werne (t. z ak namneszym błędem) zrealzować zadaną funkcę; nenadzorowane (unsupervsed): neurony ne są "skrępowane" żadnym zewnętrznym kryterum (funkcą błedu), zadanem sec est wykryce pewnego "porządku" w danych podawanych na e weśce (np. - w ednym z prostszych przypadków - analza skupeń przykładów w przestrzen cech) Z punktu wdzena Uczena Maszynowego: w uczenu nadzorowanym seć "zna" przynależność do klas obektów podawanych na e weśce, w uczenu nenadzorowanym nformaca ta est dla ne nedostępna. Copyrght Jerzy Stefanowsk & Krzysztof Krawec Wyk³ad "Sec Neuronowe Uczene Maszynowe" Instytut Informatyk Poltechnk Poznañske 995 Wyk³. 0 Strona

2 Nadzorowane uczene poedynczego lnowego neuronu na przykładze reguły delta. Cel: nauczene neuronu możlwe werne realzac pewnego odwzorowana ( x) z F (2.) o naczęśce neznane postac analtyczne, danego w postac zboru uczącego, zaweraącego przykłady w postac par ( ) KN x, z F x, (2.2) Różnca pomędzy oczekwaną wartoścą wyśca neuronu z a wartoścą otrzymaną y stanow błąd popełnony przez neuron przy prezentac -tego przykładu z y (2.3) δ Zadanem algorytmu uczącego est mnmalzaca tego błędu dla wszystkch przykładów zboru uczącego. Błędy popełnone przez neuron dla poszczególnych przykładów da sę zagregować w edną welkość przy pomocy błędu średnokwadratowego: N 2 ( ), ( δ ) N Q z y Q Q (2.4) Copyrght Jerzy Stefanowsk & Krzysztof Krawec Wyk³ad "Sec Neuronowe Uczene Maszynowe" Instytut Informatyk Poltechnk Poznañske 995 Wyk³. 0 Strona 2

3 Metoda (nawększego) spadku gradentu Posługuąc sę metodą nawększego spadku gradentu (ang. gradent descent) dostaemy zależność pomędzy modyfkacą -te wag neuronu a zmaną wartośc błędu przezeń popełnanego przy prezentac -tego przykładu: w Q η w (2.5) Q η Q w Copyrght Jerzy Stefanowsk & Krzysztof Krawec Wyk³ad "Sec Neuronowe Uczene Maszynowe" Instytut Informatyk Poltechnk Poznañske 995 Wyk³. 0 Strona 3

4 Funkca Q est funkcą złożoną, zatem e pochodną cząstkową po w można przedstawć ako loczyn dwóch pochodnych: (2.6) co da sę dale rozwnąć (patrz wzory ): ( z y ) δ (2.7) oraz, pamętaąc o lnowym charakterze funkc yf(x): x (2.8) Ostateczne zatem, edną z możlwośc mnmalzac błędu popełnanego przez neuron est modyfkaca ego wag przy prezentac kolenych przykładów zgodna z formułą: w ηδ x (2.9) Jest to tzw. reguła delta (delta rule), zaproponowana w [Wdr60], stanowąca eden z perwszych algorytmów uczących poedynczy neuron. Copyrght Jerzy Stefanowsk & Krzysztof Krawec Wyk³ad "Sec Neuronowe Uczene Maszynowe" Instytut Informatyk Poltechnk Poznañske 995 Wyk³. 0 Strona 4

5 Wady neuronu lnowego: est w stane skuteczne oddzelć od sebe tylko te klasy, które są lnowo separowalne; nestety, nawet proste problemy rzeczywste do te klasy ne należą, np.: problem różncy symetryczne (XOR); w szczególnośc dla przypadku dwuwymarowego: x x2 yxor(x,x2) y x 2 x Seć złożona z neuronów lnowych Tworzene sec welowarstwowych z neuronów lnowych ne ma sensu: ne dae żadne nowe akośc; kombnacę dowolne lośc warstwowo połączonych ze sobą neuronów lnowych da sę zastąpć ednym neuronem lnowym: ( e) ( w x ) ( w w x ) y f K w x W zwązku z lcznym ogranczenam neuron lnowy ne znadue welu zastosowań. Bardze obecuące okazały sę neurony z nelnową funkcą aktywac. Copyrght Jerzy Stefanowsk & Krzysztof Krawec Wyk³ad "Sec Neuronowe Uczene Maszynowe" Instytut Informatyk Poltechnk Poznañske 995 Wyk³. 0 Strona 5

6 Neuron nelnowy Funkca przenosząca neuronu zwana est często w tym przypadku funkcą "ścskaącą" (squeezng functon), ako że e zadanem est odwzorować (w ogólnośc neogranczony) zakres możlwych wartośc pobudzena neuronu e w ogranczony przedzał, z reguły [0,] lub [-,]. Naczęśce stosowane funkce aktywac neuronów nelnowych: funkca sgmodalna ( ) f e β - współczynnk stromośc + exp 2β ( e) f(e) e tangens hperbolczny ( ) tanh( β e) f e funkca progowa (skoku ednostkowego) f ( e), 0, dla e Θ dla e < Θ Copyrght Jerzy Stefanowsk & Krzysztof Krawec Wyk³ad "Sec Neuronowe Uczene Maszynowe" Instytut Informatyk Poltechnk Poznañske 995 Wyk³. 0 Strona 6

7 Uczene poedynczego nelnowego neuronu Podobne ak w przypadku neuronu lnowego możemy wykorzystać metodę nawększego spadku gradentu (wzór (2.5)): w Q η w (2.0) Pochodną błędu popełnanego przez neuron da sę przedstawć ako loczyn dwóch pochodnych: (2.) Wartość perwszego czynnka pozostae bez zman w porównanu ze wzorem (2.7): δ (2.2) Natomast prawy wyraz zmen postać, z rac nelnowośc funkc aktywac; w ogólnośc: e e (2.3) Oczywśce: e x (2.4) Copyrght Jerzy Stefanowsk & Krzysztof Krawec Wyk³ad "Sec Neuronowe Uczene Maszynowe" Instytut Informatyk Poltechnk Poznañske 995 Wyk³. 0 Strona 7

8 y e natomast postać pochodne zależy od zastosowane funkc aktywac. Copyrght Jerzy Stefanowsk & Krzysztof Krawec Wyk³ad "Sec Neuronowe Uczene Maszynowe" Instytut Informatyk Poltechnk Poznañske 995 Wyk³. 0 Strona 8

9 Zaletą stosowana funkc sgmodalne est dogodna postać e pochodne ( e) f ( e) ( f ( e) ) f (2.5) Jak wdać, da sę ą wyrazć przy pomocy wartośc funkc aktywac - upraszcza to znaczne oblczena (podobne est w przypadku tangensa hperbolcznego). W takm przypadku e ( y ) y (2.6) Co ostateczne prowadz do następuące formuły określaące wartość modyfkac -te wag w x y ( y ) ηδ (2.7) Copyrght Jerzy Stefanowsk & Krzysztof Krawec Wyk³ad "Sec Neuronowe Uczene Maszynowe" Instytut Informatyk Poltechnk Poznañske 995 Wyk³. 0 Strona 9

10 Analza formuły defnuące modyfkacę wag Formuła (2.7) ηδ w x y ( y ) mów, że poprawka -te wag est proporconalna przez współczynnk prędkośc uczena η do: δ - błędu popełnanego przez neuron; neuron ne popełnaący żadnego błędu ne będze ulegał modyfkacom x - sygnału podawanego na -te weśce neuronu; synapsę "obarcza sę wną" za błędne dzałane neuronu w takm stopnu, w akm przyczynła sę do ego pobudzena y ( y ) - pochodne funkc aktywac; w przypadku funkc sgmodalne ma ona następuący kształt: f'(e) f(e) e W konsekwenc poprawk dokonywane przez formułę są slnesze, gdy tzw. punkt pracy neuronu znadue sę blsko punktu przegęca funkc f(e), t. gdy e Θ. Copyrght Jerzy Stefanowsk & Krzysztof Krawec Wyk³ad "Sec Neuronowe Uczene Maszynowe" Instytut Informatyk Poltechnk Poznañske 995 Wyk³. 0 Strona 0

Podobne dokumenty

Wykład 2: Uczenie nadzorowane sieci neuronowych - I

Wykład 2: Uczenie nadzorowane sieci neuronowych - I Wykład 2: Uczene nadzorowane sec neuronowych - I Algorytmy uczena sec neuronowych Na sposób dzałana sec ma wpływ e topologa oraz funkconowane poszczególnych neuronów. Z reguły topologę sec uznae sę za