Wykład 2: Uczenie nadzorowane sieci neuronowych - I

HTML
DOWNLOAD

Wielkość: px

Rozpocząć pokaz od strony:

Download "Wykład 2: Uczenie nadzorowane sieci neuronowych - I"

Eleonora Klimek
6 lat temu
Przeglądów:

1 Wykład 2: Uczene nadzorowane sec neuronowych - I Algorytmy uczena sec neuronowych Na sposób dzałana sec ma wpływ e topologa oraz funkconowane poszczególnych neuronów. Z reguły topologę sec uznae sę za e nezmenny składnk aby wpływać na e dzałane modelue sę edyne dzałane poszczególnych neuronów, w szczególnośc zmenaąc wartośc wag e łączących. Dwe metodologe uczena: - nadzorowane (supervsed): algorytm uczący adaptue seć stosowne do wymuszeń zewnętrznych, staraąc sę możlwe werne (t. z ak namneszym błędem) zrealzować zadaną funkcę; - nenadzorowane (unsupervsed): neurony ne są "skrępowane" żadnym zewnętrznym kryterum (funkcą błedu), zadanem sec est wykryce pewnego "porządku" w danych podawanych na e weśce (np. - w ednym z prostszych przypadków - analza skupeń przykładów w przestrzen cech) Z punktu wdzena Uczena Maszynowego: w uczenu nadzorowanym seć "zna" przynależność do klas obektów podawanych na e weśce, w uczenu nenadzorowanym nformaca ta est dla ne nedostępna.

2 Nadzorowane uczene poedynczego lnowego neuronu na przykładze reguły delta. Cel: nauczene neuronu możlwe werne realzac pewnego odwzorowana z F x o naczęśce neznane postac analtyczne, danego w postac zboru uczącego, zaweraącego przykłady w postac par x, z F x, N Różnca pomędzy oczekwaną wartoścą wyśca neuronu z a wartoścą otrzymaną y stanow błąd popełnony przez neuron przy prezentac -tego przykładu z y - Zadanem algorytmu uczącego est mnmalzaca tego błędu dla wszystkch przykładów zboru uczącego. Błędy popełnone przez neuron dla poszczególnych przykładów da sę zagregować w edną welkość przy pomocy błędu średnokwadratowego: N N 2 Q z - y Q Q 2 2 2,

3 Metoda spadku gradentu Posługuąc sę metodą nawększego spadku gradentu (ang. gradent descent) dostaemy zależność pomędzy modyfkacą -te wag neuronu a zmaną wartośc błędu przezeń popełnanego przy prezentac -tego przykładu: w Q - w Q Q w - Q w w

4 Funkca Q est funkcą złożoną, zatem e pochodną cząstkową po przedstawć ako loczyn dwóch pochodnych: w można Q w Q y y w co da sę dale rozwnąć (patrz wzory ): Q y - z - y - oraz, pamętaąc o lnowym charakterze funkc y=f(x): y w x Ostateczne zatem, edną z możlwośc mnmalzac błędu popełnanego przez neuron est modyfkaca ego wag przy prezentac kolenych przykładów zgodna z formułą: w x Jest to tzw. reguła delta (delta rule), zaproponowana w [Wdr60], stanowąca eden z perwszych algorytmów uczących poedynczy neuron.

5 Wady neuronu lnowego: est w stane skuteczne oddzelć od sebe tylko te klasy, które są lnowo separowalne; nestety, nawet proste problemy rzeczywste do te klasy ne należą, np.: problem różncy symetryczne (XOR); w szczególnośc dla przypadku dwuwymarowego: x x2 y=xor(x,x2) y x 2 x Seć złożona z neuronów lnowych Tworzene sec welowarstwowych z neuronów lnowych ne ma sensu: ne dae żadne nowe akośc; kombnacę dowolne lośc warstwowo połączonych ze sobą neuronów lnowych da sę zastąpć ednym neuronem lnowym: y f e w x w w x wx W zwązku z lcznym ogranczenam neuron lnowy ne znadue welu zastosowań. Bardze obecuące okazały sę neurony z nelnową funkcą aktywac.

6 Neuron nelnowy Funkca przenosząca neuronu zwana est często w tym przypadku funkcą "ścskaącą" ( squeezng functon ), ako że e zadanem est odwzorować (w ogólnośc neogranczony) zakres możlwych wartośc pobudzena neuronu e w ogranczony przedzał, z reguły [0,] lub [-,]. Naczęśce stosowane funkce aktywac neuronów nelnowych: funkca sgmodalna f e exp - 2e - współczynnk stromośc f(e) e tangens hperbolczny tanh e f e funkca progowa (skoku ednostkowego) f e, 0, dla e dla e

7 Uczene poedynczego nelnowego neuronu Podobne ak w przypadku neuronu lnowego możemy wykorzystać metodę nawększego spadku gradentu (wzór (2.5)): w Q - w Pochodną błędu popełnanego przez neuron da sę przedstawć ako loczyn dwóch pochodnych: Q w Q y y w Wartość perwszego czynnka pozostae bez zman w porównanu ze wzorem (2.7): Q y - Natomast prawy wyraz zmen postać, z rac nelnowośc funkc aktywac; w ogólnośc: y w y e e w Oczywśce: e w x y natomast postać pochodne zależy od zastosowane funkc aktywac. e

8 Zaletą stosowana funkc sgmodalne est dogodna postać e pochodne e f e f e f - Jak wdać, da sę ą wyrazć przy pomocy wartośc funkc aktywac - upraszcza to znaczne oblczena (podobne est w przypadku tangensa hperbolcznego). W takm przypadku y e y - y Co ostateczne prowadz do następuące formuły określaące wartość modyfkac -te wag w - x y y

9 Analza formuły defnuące modyfkacę wag Formuła (2.7) w x y - y mów, że poprawka -te wag est proporconalna przez współczynnk prędkośc uczena do: - błędu popełnanego przez neuron; neuron ne popełnaący żadnego błędu ne będze ulegał modyfkacom x - sygnału podawanego na -te weśce neuronu; synapsę "obarcza sę wną" za błędne dzałane neuronu w takm stopnu, w akm przyczynła sę do ego pobudzena y y - - pochodne funkc aktywac; w przypadku funkc sgmodalne ma ona następuący kształt: f'(e) f(e) W konsekwenc poprawk dokonywane przez formułę są slnesze, gdy tzw. punkt pracy neuronu znadue sę blsko punktu przegęca funkc f(e). e

Podobne dokumenty

Wykład 2: Uczenie nadzorowane sieci neuronowych - I

Wykład 2: Uczenie nadzorowane sieci neuronowych - I Wykład 2: Uczene nadzorowane sec neuronowych - I Algorytmy uczena sec neuronowych Na sposób dzałana sec ma wpływ e topologa oraz funkconowane poszczególnych neuronów. Z reguły topologę sec uznae sę za