Plan wykładu. Sztuczne sieci neuronowe. Neuronu dyskretny. Neuron dyskretny (perceptron prosty)

HTML
DOWNLOAD

Wielkość: px

Rozpocząć pokaz od strony:

Download "Plan wykładu. Sztuczne sieci neuronowe. Neuronu dyskretny. Neuron dyskretny (perceptron prosty)"

Henryka Cichoń
7 lat temu
Przeglądów:

nauczycelem Rodzae funkc celu Algorytm wsteczne propagac błędu x Neuronu dyskretny w -θ Neuron dyskretny (perceptron prosty x w y w N Cel: klasyfkaca wektorów weścowych x, =,,, p do edne z

1 Plan wykładu Dzałane neuronu dyskretnego warstwy neuronów dyskretnych Wykład : Reguły uczena sec neuronowych. Sec neuronowe ednokerunkowe. Reguła perceptronowa Reguła Wdrowa-Hoffa Reguła delta ałgorzata Krętowska Wydzał Informatyk Poltechnka Bałostocka Ops dzałana sec welowarstwowe Sposoby rozwązana problemu XOR Uczene z nauczycelem Rodzae funkc celu Algorytm wsteczne propagac błędu x Neuronu dyskretny w -θ Neuron dyskretny (perceptron prosty x w y w N Cel: klasyfkaca wektorów weścowych x, =,,, p do edne z dwóch klas A, A. W przypadku neuronu dyskretnego n-wymarowa przestrzeń cech est dzelona na dwe podprzestrzene przy pomocy hperpłaszczyzny: T { x : w x = 0} N H ( w = = x : w x = θ gdze w= [-θ, w,, w N ] T = -wymarowa przestrzeń cech 3-wymarowa przestrzeń cech 3 4

-wymarowe wykresy podstawowych funkc logcznych Warstwa neuronów dyskretnych x x w w w 0 y y y 3 y 4 W przypadku warstwy neuronów dyskretnych n-wymarowa przestrzeń cech est dzelona na rozłączne

2 -wymarowe wykresy podstawowych funkc logcznych Warstwa neuronów dyskretnych x x w w w 0 y y y 3 y 4 W przypadku warstwy neuronów dyskretnych n-wymarowa przestrzeń cech est dzelona na rozłączne obszary przy pomocy hperpłaszczyzn: T { x : w x = 0} N H ( w = = x : w x = θ = 5 6 Dzałane warstwy neuronów dyskretnych Ops symbol x x Hperpłaszczyzna H Hperpłaszczyzna H Hperpłaszczyzna H3 Neurony formalne r ( x = ( r x = 0 r3 ( x = 0 Pola aktywne Wektor wyścowy r=[,0,0] x x w 0 w w y y y 3 y x = [, x,, ] T - wektor weścowy d = [d,, d ] T - zadana postać wektora wyścowego (x, d,,(x p,d p - lczba par wektorów uczących (wzorców uczących w = [-θ, w,, w N ] T w - waga połączena neuronu -tego warstwy k+ -tego warstwy k x(k, w(k - ogólne wektor weścowy wag w k-tym kroku uczena f - funkca aktywac y=[y,, y,,y ] T - sygnał wyścowy sec ( neuronów w warstwe wyścowe 7 8

3 Proces uczena Reguła perceptronowa Seć posada zdolność uczena: dobór struktury sec parametrów sec (wag do wykonana określonego zadana Zbór uczący: (x, d, =,,,p Adaptaca wag odbywa sę w kolenych krokach uczena może być zapsana ako: W (k+=w (k + W (k Dla każdego wektora weścowego x(k można zdefnować funkcę błędu postac: e(k = d(k - y(k Rodzae uczena: z nauczycelem bez nauczycela gdze y(k - odpowedź sec na wymuszene w postac wektora weścowego x(k (przymue wartośc - Cel: modyfkaca wag w tak sposób, aby dla wszystkch wektorów weścowych e(k = 0, k =,, 9 0 Zasada dzałana reguły perceptronowe Reguła perceptronowa e(k = d(k - y(k gdy d(k < y(k, e(k < 0 => osłabamy wag neuronu gdy d(k > y(k, e(k > 0 => wzmacnamy wag neuronu Incalzaca wag w Na weśce sec podawany est wektor uczący x wyznaczana wartość sygnału wyścowego y. Korekca wag wektora w wg wzoru: d(k y(k e(k wag bez zman 0 bez zman - wzmacnamy wag - - osłabamy wag w ( k gdy y( k = d( k w ( k + = w ( k + x( k gdy y( k = ; d( k = w ( k x( k gdy y( k = ; d( k = prezentaca nowego wektora uczącego x ponowna aktualzaca wag Proces powtarza sę welokrotne dla wszystkch danych uczących, aż uzyska sę mnmalzacę różnc pomędzy wartoścam d y.

4 Przykład amy dane 3 punkty x =[, -], x =[, ], x 3 =[, ], dla których d =, d = d 3 =-. Wartośc początkowe wektora wag są następuące: w =[0.8; -0,]. - Rozszerzona przestrzen cech Rozszerzona przestrzen wag 4 x x x 0 x 4 3 w x w x x 3 w(0=[0.8; -0,] Przykład (cd Prezentowany wzorzec Wartość net odyfkaca wag ========================(======================== x =[, -] net(=0.8+0.= > 0 - f(net = =d ========================(========================= x =[, ] net(=0.8-0.=0.6 > 0 - f(net==d ========================(3========================= x 3 =[, ] net(3= =0.4 > 0 w(3=[0.8-; -0.-] f(net= d 3 w(3=[-0.; -.] 4 Przykład (cd Neuron cągły Rozszerzona przestrzen wag a w(=[.8; -.] 4 w 3 x w(0 w w( x x -4 zmany wag x x w w w N f f (net λ = 0.5 λ =.0 λ = b.0 f (net net net - 0 λ = λ = 5 tanh 5 6

sygnału wyścowego wartośc żądane na wyścu sec ze względu na necągłość funkc nelnowe perceptronu ne można wykorzystać nformac o zmanach wartośc y (pochodne mnmalzaca różnc pomędzy wartoścam y d

5 Reguła Wdrowa-Hoffa Reguła Wdrowa-Hoffa Uogólnene reguły perceptronowe. Dobór wag neuronu dowolnego typu (dyskretny lub cągły Korekca wag odbywa sę według wzoru: w ( k + = w ( k + w ( k Cechy charakterystyczne: W uczenu wykorzystue sę edyne nformacę o aktualne wartośc sygnału wyścowego wartośc żądane na wyścu sec ze względu na necągłość funkc nelnowe perceptronu ne można wykorzystać nformac o zmanach wartośc y (pochodne mnmalzaca różnc pomędzy wartoścam y d odpowada mnmalzac kwadratowe funkc celu: w ( k = x ( k( d ( k y ( k p ( y ( k d ( k k = gdze p - lczba prezentowanych wzorców efektywność metody est newelka, a lczba cykl czas uczena wzrasta przy duże lczbe neuronów wzorców 7 8 Reguła delta Dzałane neuronu dyskretnego Uogólnene reguły perceptronowe dla neuronów o cągłe funkc aktywac: w ( k + = w ( k + c( d y f '( net x x w -θ dae sę wyprowadzć ako wynk mnmalzac błędu kwadratowego x w y w N 9 0

6 Dzałane warstwy neuronów formalnych Dzałane sec welowarstwowe x x w w w 0 y y y=[,0,0] y 3 y 4 Problem XOR (podeśce I Problem XOR (podeśce II

7 Uczene z nauczycelem nmalzaca funkc celu E Zakładaąc cągłą funkcę aktywac, mnmalzaca odbywa sę metodam gradentowym, wykorzystuącym nformace o gradence funkc celu T E E E,, L, W W W n W każdym kroku uczena wyznacza sę tzw. kerunek mnmalzac p(w(k (naprostsza metoda p(w=- E(W - algorytm nawększego spadku Korekca wag odbywa sę według wzoru: Błąd średnokwadratowy dla poedynczego wzorca dla zboru uczącego Funkca wykorzystuąca normę L Funkce celu = y d ( y d = p = ( y d Funkca celu dla układu, którego zadanem est mnmalzaca nawększego odchylena odpowedz od welkośc żądane (K> = W ( k + = W ( k + ηp( W ( k gdze η est współczynnkem uczena z przedzału [0, ]. ( y d = K 5 6 Funkce celu Funkce celu Funkca celu Karayannsa gdze E( W = λ φ = ( y d + ( λ ( y d λ - współczynnk zmenaący sę w przedzale [0; ] φ - cągła, wypukła, róznczkowalna, dodatno określona, dobrana w tak sposób, aby w końcowe faze uczena była realzowana mnmalzaca wartośc absolutne błędu, np = φ ( x = ln[cosh( βx] β dla dużych wartośc β funkca est zbeżna do x. logarytmczna (e =y -d log( + e e e E = + e W dla błędu średnokwadratowego: e E = e W e =r 7 8

8 Funkce celu Funkce celu Funkca Hampela = E φ( e a funkca Hampela; b pochodna funkc Hampela 9 Błąd kros-entrop (ang. cross-entropy error - dla wartośc wzorcowych bnarnych p ( d log y + ( d log[ y ] = = Wartość mnmum funkca E osąga dla y =d, czyl p ( ( d log d + ( d log [ d ] E mn = mn = = gdy d będze z przedzału (0, wówczas wartość E mn będze zależała do analzowanych danych. Odemuąc od E wartość funkcę E mn, otrzymuemy: p ( y y d + log d log = = d d które wartość mnmalna est równa 0. Jest to odległość Kullback- Lebler a 30 Uczene sec welowarstwowe Algorytm wsteczne propagac błędu Problem: ne znamy odpowedz dla neuronów warstw ukrytych 3 3

9 Wsteczna propagaca błędu w praktyce Algorytm wsteczne propagac błędu Dla każdego wzorca uczącego wymagane est wykonane następuących czynnośc: Poda wektor uczący (x na weśce sec Wyznacz wartośc wyść (v, y każdego elementu dla kolenych warstw sec, od perwsze warstwy ukryte do warstwy wyścowe Oblcz wartośc błędów δ ( dla warstwy wyścowe Dokona propagac wsteczne błędu wyścowego do poszczególnych elementów warstw ukrytych wyznaczaąc δ ( Dokona aktualzac wag koleno pomędzy warstwą wyścową ukrytą, a następne pomędzy warstwam ukrytym przesuwaąc sę w kerunku warstwy weścowe. Propagaca sygnału uczącego Propagaca błędu x x W ( w N ( W ( y v w ( δ ( W ( δ ( w ( y y (y -d (y -d (y -d Uaktualnane wag nmalzaca funkc celu - problemy Przyrostowe uaktualnane wag - korekty wag dokonue sę każdorazowo po podanu kolenego wektora uczącego zgodne z funkcą celu: ( y d = Kumulacyne uaktualnane wag - korekty wag dokonue sę raz na eden cykl tzn. po podanu wszystkch obrazów uczących p = ( y d = wówczas korekta wag (gradent błędu łącznego est sumą gradentów błędów dla poszczególnych obrazów: w = p = w 35 36

10 Problemy Wag początkowe mnma lokalne modyfkace podstawowego algorytmu - dodawane do wartośc wag małych przypadkowych wartośc dodawane newelkego losowego zakłócena do wektorów uczących uaktualnane przyrostowe wag z wzorcam podawanym w losowe kolenośc (substytut dodawana zakłóceń - elmnaca cyklcznośc poawana sę wzorców co może prowadzć do znoszena sę korekt wag klkakrotne powtarzane procesu uczena rozpoczynaąc od różnych wartośc początkowych wag Duże wag początkowe - powoduą nasycene sgmodalnych funkc aktywac proces uczena może być bardzo wolno zbeżny lub zatrzyma sę w mnmum lokalnym Wag blske zeru - dla neuronów bpolarnych zerowe wag ne zmenaą sę w procese uczena. Dla tych neuronów, gdy suma wartośc bezwzględnych początkowych wag est blska zeru wówczas często wag zbegaą do wartośc zerowych lub proces zbeżnośc est bardzo powolny. dobór współczynnka uczena dobór zależy od aktualnego problemu w lteraturze wartośc od 0-3 do 0 (mnesze wartośc algorytm stablny lecz bardzo powolny stały lub zmenny 37 Zalecane: losowy wybór wag, aby pobudzene łączne net było neco mnesze od ednośc. 38 etoda momentu etoda momentu W sytuac gdy gradent współczynnk uczena są newelke zmneszane sę błędu est bardzo powolne, gdy obe te wartośc są duże mogą wystąpć oscylace wokół mnmum => metoda momentu przyspesza zbeżność algorytmu Korekta wag: w( k = η E ( k + α w( k gdze α - współczynnk momentu (0; Dzałane: eżel w kolenych krokach gradenty wskazuą ten sam kerunek, ch dzałane sę kumulue przyrosty staą sę coraz wększe (płaske obszary gdy wykazuą przecwny kerunek ch dzałane sę częścowo znos, ruch punktu est hamowany, następue łagodne ześce (bez momentu występuą często oscylace W praktyce często przymue sę wartośc α = 0.; η=0.9 Kolene krok mnmalzac funkc celu przy zastosowanu metody gradentowe metody momentu 39 40

11 Krytera stopu algorytm dotarł do takego punktu, w którym wartość bezwzględna zmany funkc kosztu est mnesza od pewnego mnmalnego progu algorytm dotarł do punktu, w którym zaczyna wzrastać błąd lczony na zborze testowym 4

Podobne dokumenty

Wykład 2: Uczenie nadzorowane sieci neuronowych - I

Wykład 2: Uczenie nadzorowane sieci neuronowych - I Wykład 2: Uczene nadzorowane sec neuronowych - I Algorytmy uczena sec neuronowych Na sposób dzałana sec ma wpływ e topologa oraz funkconowane poszczególnych neuronów. Z reguły topologę sec uznae sę za