Wst p do sieci neuronowych, wykªad 4 Algorytm wstecznej propagacji bª du, cz. 1

Transkrypt

1 Wst p do sieci neuronowych, wykªad 4, cz. 1 M. Czoków, J. Piersa, A. Rutkowski Wydziaª Matematyki i Informatyki, Uniwersytet Mikoªaja Kopernika w Toruniu Projekt pn. Wzmocnienie potencjaªu dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych realizowany w ramach Poddziaªania Programu Operacyjnego Kapitaª Ludzki

2 1 Architektury sieci Dlaczego MLP? 2 3 Normalizacja danych Problemy ze zbie»no±ci Modykacje algorytmu

3 Architektury sieci Dlaczego MLP? 1 Architektury sieci Dlaczego MLP? 2 3 Normalizacja danych Problemy ze zbie»no±ci Modykacje algorytmu

4 Architektury sieci Dlaczego MLP? Architektury sieci W sieciach skªadaj cych si z przynajmniej dwóch neuronów wyniki zwracane przez jedne neurony mog by wej±ciami dla innych neuronów. Takie sieci dziel si na: skierowane (ang. feed-forward) rekurencyjne (ang. recurrent)

5 Architektury sieci Dlaczego MLP? Architektury sieci skierowane (ang. feed-forward) - niedopuszczane s cykle skierowane, w takiej sieci przepªyw informacji jest ustalony w jednym kierunku; sie skierowana charakteryzuje si synchroniczn dynamik, to jest ka»dy neuron, przed obliczeniem swojej aktywacji, czeka a» wszystkie jego wej±cia zostan obliczone, rekurencyjne (recurrent) - dopuszczane s cykle skierowane, wysªany impuls mo»e kiedy± do neuronu powróci, w ogólnym przypadku dopuszczalne jest, aby wej±ciem neuronu byªo jego wªasne wyj±cie.

6 Architektury sieci Dlaczego MLP? Ogólna architektura MLP

7 Architektury sieci Dlaczego MLP? Ogólna architektura MLP Perceptrony wielowarstwowe (MLP - MultiLayer Perceptron) Szczególnym typem sieci skierowanych s sieci warstwowe. Wszystkie perceptrony podzielone s na kolejno wyst puj ce po sobie warstwy rozª czne. Warstwa L + 1-sza za wej±cia przyjmuje wyniki z warstwy L-tej i tylko te. W sieciach MLP nie s dopuszczane bezpo±rednie poª czenia wewn trz tej samej warstwy ani poª czenia przeskakuj ce warstw tj. z warstwy L do L + 2, z L do L + 3 itd. Taka sie skªada si z trzech typów warstw: warstwa pierwsza wej±ciowa (jednostki w tej warstwie s to jednostki wej±ciowe), warstwa ostatnia wyj±ciowa (jednostki w tej warstwie s to jednostki wyj±ciowe), warstwy pomi dzy wej±ciow a wyj±ciow ukryte (jednostki w tych warstwach s to jednostki ukryte).

8 Architektury sieci Dlaczego MLP? Ogólna architektura MLP Warstwa wej±ciowa sieci, prezentowanej na rysunku, posiada I jednostek i dodatkowo jednostk peªni c funkcj progu, J jednostek w warstwie ukrytej oraz K jednostek wyj±ciowych. Sie o takiej architekturze b dzie sªu»yªa jako przykªad w caªej prezentacji.

9 Architektury sieci Dlaczego MLP? Algorytmy uczenia i konstrukcji sieci skierowanych algorytmy konstrukcyjne architektura sieci zale»y gªównie od: algorytmu, zbioru ucz cego, dokªadno±ci jak chcemy osi gn,

10 Architektury sieci Dlaczego MLP? Algorytmy uczenia i konstrukcji sieci skierowanych algorytmy konstrukcyjne architektura sieci zale»y gªównie od: algorytmu, zbioru ucz cego, dokªadno±ci jak chcemy osi gn, algorytm wstecznej propagacji bª du algorytm uczenia dla sieci wielowarstwowych (MLP), architektura jest z góry zadana, zanim przejdziemy do procesu uczenia, wiemy ile sie b dzie mie : warstw ukrytych, neuronów w ka»dej warstwie ukrytej, jednostek wej±ciowych i wyj±ciowych.

11 Architektury sieci Dlaczego MLP? Wyj±cie neuronu z warstwy ukrytej a j = w t j x y j = φ(a j )

12 Architektury sieci Dlaczego MLP? Wyj±cie neuronu z warstwy wyj±ciowej warstwa wejściowa x1 x2 warstwa ukryta y1 y 2 warstwa wyjściowa z1 b k = w t k y z k = φ(b k ) xi yj zk x0=1 (bias) y0=1 (bias)

13 Architektury sieci Dlaczego MLP? Zalety MLP jest w stanie przybli»y dowolnie zªo»one i skomplikowane odwzorowanie, u»ytkownik nie musi zna lub zakªada z góry»adnej formy wyst puj cych w poszukiwanym modelu zale»no±ci, nie musi nawet zadawa sobie pytania, czy jakiekolwiek mo»liwe do matematycznego modelowania zale»no±ci w ogóle wyst puj, wygodne narz dzie do wszelkiego rodzaju zastosowa«zwi zanych z prognozowaniem, klasykacj lub automatycznym sterowaniem,

14 1 Architektury sieci Dlaczego MLP? 2 3 Normalizacja danych Problemy ze zbie»no±ci Modykacje algorytmu

15 : Cel

16 : Algorytm warstwa wejściowa x 1 x 2 warstwa ukryta y 1 y 2 warstwa wyjściowa z x i y j z k x 0 =1 (próg) y 0 =1 (próg) = wagi

17 Przykªady ucz ce Niech dana b dzie lista N przykªadów ((x (1), t (1) ),..., (x (N), t (N) )). Za cel stawiamy sobie dobranie takiego ukªadu wag, by sie otrzymuj ca na wej±ciu x (n) = (1, x (n) (n) 1,.., x i,.., x (n) I ) dawaªa na wyj±ciu t (n) = (t (n) 1,.., t(n),.., t(n) ), gdzie n 1,.., N. k K

18 Przykªady ucz ce Niech dana b dzie lista N przykªadów ((x (1), t (1) ),..., (x (N), t (N) )). Za cel stawiamy sobie dobranie takiego ukªadu wag, by sie otrzymuj ca na wej±ciu x (n) = (1, x (n) (n) 1,.., x i,.., x (n) I ) dawaªa na wyj±ciu t (n) = (t (n) 1,.., t(n),.., t(n) ), gdzie n 1,.., N. k K Zamiast progów stosujemy rozszerzony wektor wej±ciowy i rozszerzony wektor wag, mianowicie ka»da jednostka licz ca dostaje na wej±ciu dodatkowo 1. Wagi mi dzy jednostkami a dodatkowymi wej±ciami pomno»one przez -1 odpowiadaj progom.

19 Funkcja bª du Inaczej ujmuj c problem, naszym celem jest zminimalizowanie nast puj cej funkcji bª du: ERROR(w) = 1 2 N K (z (n) k n=1 k=1 (w) t (n) k )2. Warto± powy»szej funkcji zale»y od warto±ci wag (w wektor opisuj cy wszystkie wagi sieci). Aby znale¹ jej minimum b dziemy modykowa wagi, za pomoc algorytmu gradientu prostego.

20

21 Niech dana b dzie funkcja f : R d R ci gªa i ró»niczkowalna (istniej pochodne cz stkowe f x 1... f x d ); Chcemy wyznaczy minimum (lokalne) funkcji tj. x R d, takie»e f (x) f (y) dla y nale» cych do pewnego otoczenia x; Dodatkowo dany niech b dzie pewien punkt startowy a (0) R d ;

22 Niech dana b dzie funkcja f : R d R ci gªa i ró»niczkowalna (istniej pochodne cz stkowe f x 1... f x d ); Chcemy wyznaczy minimum (lokalne) funkcji tj. x R d, takie»e f (x) f (y) dla y nale» cych do pewnego otoczenia x; Dodatkowo dany niech b dzie pewien punkt startowy a (0) R d ; Czym jest f x 1 (a (0) )?

23 Przy kilku zaªo»eniach f x 1 (a (0) ) intuicyjnie mo»e by interpretowana jako kierunek, w któr stron funkcja ro±nie zmieniaj c pierwsz wspóªrz dn, przy pozostaªych ustalonych. Maj c caªy zestaw pochodnych cz stkowych (gradient) mamy dokªadny kierunek, w którym funkcja najszybciej ro±nie. Zatem: szukaj c maksimum nale»y wykona krok w tym»e kierunku, szukaj c minimum nale»y znale¹ kierunek najszybszego wzrostu... i wykona krok w drug stron.

24 1 rozpocznij w losowym/wybranym a (0) : 2 dla ka»dej wspóªrz dnej g = 1..d: a (m+1) g = a g (m) f η (a (m) ), x g gdzie η jest bliskim zeru, dodatnim wspóªczynnikiem uczenia, 3 powtarzaj krok 2,

25

26 Sigmoida Aby±my mogli minimalizowa funkcj ERROR za pomoc algorytmu gradientu prostego, musi ona by ci gªa i ró»niczkowalna. eby warunek ten byª speªniony, funkcje aktywuj ce jednostek nale» cych do MLP musz by równie» ci gªe i ró»niczkowalne. Takie wªasno±ci speªniaj na przykªad sigmoidy. 1 sigmoida: 2 symetryczna sigmoida: φ(s) = σ(s) = exp( s), φ(s) = 2σ(s) 1 = 1 exp( s) 1 + exp( s),

27 Sigmoida φ(s) = σ(s) = exp( s),

28 Pochodna sigmoidy Wa»na obserwacja: σ (s) = s (1 + e s ) 1 = (1 + e s ) 2 e s ( 1) = e s (1 1 ) = σ(s)(1 σ(s)). 1 + e s

29 Sigmoida i jej pochodna

30 Nieci gªa funkcja bª du

31 Ci gªa funkcja bª du

32 Funkcja bª du Cel zmodykowa wagi, u»ywaj c algorytmu spadku gradientowego tak,»eby zminimalizowa bª d ERROR. ERROR = 1 2 N K (z (n) k n=1 k=1 t (n) k )2 Oznaczmy przez E (n) dla n 1,.., N funkcj bª du dla jednego przykªadu ucz cego. Zatem: E (n) = 1 2 K (z (n) k k=1 ERROR = t (n) k )2, N E (n). n=1

33 Funkcja bª du Dodatkowo funkcj bª du dla jednego przykªadu E (n) rozbijmy na sum wyra»e«e (n) k. Przez E (n) k b dziemy oznacza bª d kwadratowy dla n-tego przykªadu dla k-tego wyj±cia sieci. A wi c: E (n) k = 1 2 (z(n) k E (n) = K k=1 t (n) k )2, E (n) k.

34 Koncepcja algorytmu Aby minimalizowa bª d u±redniony po przykªadach ERROR, minimalizujemy bª d E dla poszczególnych przykªadów. Dla wszystkich wag g = 1..d wykonujemy: w (m+1) g = w (m) g η E w g (w (m) ) Koncepcja algorytmu wstecznej propagacji bª du propagowanie gradientu bª du od wyj± z powrotem do wej±cia.

35 Koncepcja algorytmu warstwa wejściowa x 1 x 2 warstwa ukryta y 1 y 2 warstwa wyjściowa z x i y j z k x 0 =1 (próg) y 0 =1 (próg) = wagi

36 Dowód poprawno±ci z k = φ(b k ), b k = w t k y E = K (z h t h ) 2 = h=1 K (φ(b h ) t h ) 2 h=1 E w kj = 1 w kj 2 K (φ(b h ) t h ) 2 = h=1 w kj 1 2 (φ(b k) t k ) 2 = E k w kj

37 Dowód poprawno±ci E w kj = E k w kj = w kj 1 2 (φ(b k) t k ) 2 E k b k = δ k y j b k w kj E k = δ k = (z k t k )φ (b k ) b k b k = (w k1 y 1 + w k2 y w kj y j w kj y J ) = y j w kj w kj

38 Dowód poprawno±ci E w ji = E a j a j w ji = δ j x i E a j = δ j =? a j w ji = w ji (w j1 x 1 + w j2 x w ji x i w ji x I ) = x i

39 Dowód poprawno±ci a j = w t j x y j = φ(a j ) b k = w t k y δ j = E a j = δ j = K h=1 1 a j 2 E h b h b h a j = K (φ(b h ) t h ) 2 = h=1 K h=1 δ h b h a j K h=1 a j 1 2 (φ(b h) t h ) 2 = K h=1 E h a j

40 Dowód poprawno±ci b h a j = a j (w h1 y 1 + w h2 y w hj y j w hj y J ) = a j (w h1 φ(a 1 ) + w h2 φ(a 2 ) w hj φ(a j ) w hj φ(a J )) = δ j = w hj φ(a j ) a j = w hj φ(a j ) a j = w hj φ (a j ) K K δ h w hj φ (a j ) = ( δ h w hj )φ (a j ) h=1 h=1

41 1 wybieramy maªe wagi pocz tkowe. Wybieramy te» niewielki wspóªczynnik uczenia η > 0, 2 iterujemy, póki bª d ERROR si zmniejsza (ewentualne du»e odchylenia dla pojedynczych przykªadów nale»y traktowa raczej jako przejaw zaszumienia danych wej±ciowych ni» niedoskonaªo±ci sieci): 1 losujemy przykªad x z wyj±ciem t, 2 przebiegamy sie w przód, dla ka»dej jednostki zapami tuj c sum wej±ciow i jej wyj±cie (warto± funkcji aktywuj cej na sumie wej±ciowej), 3 przebiegamy sie wstecz, liczymy δ dla ka»dej jednostki wyj±ciowej, a nast pnie dla ukrytych 4 zmieniamy wagi,

42 Schemat pojedynczej iteracji teaching/wsn2012/avi/animacja.swf

43 Adnotacja do 2.2 Przebiegamy sie w przód, dla ka»dej jednostki zapami tuj c sum wej±ciow i jej wyj±cie. Suma wej±ciowa dla jednostek ukrytych ma warto± : a j = w t j x, natomiast dla jednostek wyj±ciowych: b k = w t k y. Wyj±cie jednostki ukrytej (warto± funkcji aktywuj cej) ma warto± : natomiast dla jednostki wyj±ciowej: y j = φ(a j ), z k = φ(b k ).

44 Adnotacja do Przebiegamy sie wstecz, liczymy δ dla ka»dej jednostki. δ dla jednostek wyj±ciowych: δ dla jednostek ukrytych: δ k = (z k t k )φ (b k ). K δ j = ( δ k w kj )φ (a j ). k=1

45 Adnotacja do 2.3 Przebiegamy sie wstecz, liczymy δ dla ka»dej jednostki. Pami tajmy,»e dla jednostek wyj±ciowych: natomiast dla jednostek ukrytych: φ (b k ) = z k (1 z k ), φ (a j ) = y j (1 y j ), gdzie φ jest funkcj sigmoidaln. Zatem dla jedostek wyj±ciowych: δ k = (z k t k )φ (b k ) = (z k t k )z k (1 z k ), natomiast dla jednostek ukrytych: K K δ j = ( δ k w kj )φ (a j ) = ( δ k w kj )y j (1 y j ). k=1 k=1

46 u»ywana we wstecznej propagacji bª du mo»e mie, a nawet powinna mie, wi cej ni» jedn warstw ukryt. δ dla wszystkich jednostek z warstw ukrytych jest liczona w taki sam sposób. Musimy pami ta o tym,»e najpierw liczymy δ dla jednostek z ostatniej warstwy ukrytej, potem dla jednostek z przedostatniej warstwy ukrytej, potem dla jednostek z przed przedostatniej warstwy ukrytej itd.

47 Adnotacja do 2.4 zmieniamy wagi. Dla warstwy wyj±ciowej: Dla warstw ukrytych: w (m+1) kj w (m+1) ji = w (m) kj ηδ k y j. = w (m) ji ηδ j x i. Staªa uczenia η powinna mie dodatni warto± blisk zeru np. η = 0.01.

48 Przebieg algorytmu: przykªad 1 click

49 Przebieg algorytmu: przykªad 2 click

50 Normalizacja danych Problemy ze zbie»no±ci Modykacje algorytmu 1 Architektury sieci Dlaczego MLP? 2 3 Normalizacja danych Problemy ze zbie»no±ci Modykacje algorytmu

51 Normalizacja danych Problemy ze zbie»no±ci Modykacje algorytmu Normalizacja danych Wa»ne! Korzystaj c z sieci neuronowej typu MLP wyposa»onej w sigmoidalne funkcje aktywacji, koniecznie staje si przeprowadzenie skalowania lub normalizacji danych podawanych na wej±ciach i wyj±ciu sieci. Brak odpowiedniej transformacji powoduje powa»ne zakªócenia w procesie uczenia oraz gorsze wªa±ciwo±ci nauczonej sieci.

52 Normalizacja danych Problemy ze zbie»no±ci Modykacje algorytmu Normalizacja danych Oczekiwane warto±ci wyj± nie powinny przyjmowa kresu górnego ani dolnego funkcji aktywacji, to jest warto±ci 1 i 0 odpowiednio. Przykªadowo dla sigmoidy mo»e by to przedziaª [0.1; 0.9] [0; 1]. Odpowiednio dla sigmoidy symetrycznej np. [ 0.9; 0.9]. Dla wej± nie ma tak ±cisªych ogranicze«, mog by skalowane do takich samych warto±ci co wej±cia. Wa»ne,»eby byªy bliskie zeru i miaªy maª amplitud.

53 Normalizacja danych Problemy ze zbie»no±ci Modykacje algorytmu Sigmoida i jej pochodna

54 Normalizacja danych Problemy ze zbie»no±ci Modykacje algorytmu Normalizacja danych Dlaczego skalujemy do przedziaªu np. [0.1; 0.9] a nie (0; 1) (dla sigmoidy niesymetrycznej)? Zaªó»my,»e mamy dwie zmienne v 1 i v 2. Obie s do± du»e i maj taki sam znak, np. v 1 = 10 v 2 = 5. Mimo tego,»e ró»nica mi dzy nimi jest znaczna (50%), gdy policzymy dla nich σ(v 1 ) = oraz σ(v 2 ) = , otrzymamy wyniki bardzo bliskie sobie (ró»nica rz du 0.7%). Z drugiej strony pochodna sigmoidy w x = 5 oraz x = 10 b dzie bardzo maªa, zatem i zmiana wag równie» maªa, co wydªu»y dziaªanie algorytmu.

55 Normalizacja danych Problemy ze zbie»no±ci Modykacje algorytmu Normalizacja danych Wyst powanie du»ych ró»nic w zakresach warto±ci przyjmowanych przez zmienne mo»e ¹le wpªywa na dziaªanie neuronu, zaburzaj c wpªyw poszczególnych wej±. Sieci uczone w oparciu o zmienne o du»ych zakresach s równie» bardziej podatne na utkwienie w minimach lokalnych. Du»e warto±ci zmiennych wej±ciowych prowadz tak»e do nasycenia sigmoidalnej funkcji aktywacji, której pochodna w takim przypadku zbiega do warto±ci 0, blokuj c tym samym proces uczenia.

56 Normalizacja danych Problemy ze zbie»no±ci Modykacje algorytmu Minima lokalne mo»e, przy niesprzyjaj cych okoliczno±ciach, utkn w minimum lokalnym. Co gorsza, zazwyczaj nie jeste±my w stanie stwierdzi, czy zwrócony wynik jest minimum globalnym czy lokalnym. W takich sytuacjach najprostszym (i jednym z najlepszych) rozwi zaniem jest restart algorytmu z losowego rozwi zania pocz tkowego i wybranie najlepszego ze zwróconych wyników.

57 Normalizacja danych Problemy ze zbie»no±ci Modykacje algorytmu Wady algorytmu wymaga du»ej liczby iteracji, by osi gn zbie»no±, mo»e si okaza zbyt wolny, je»eli przyjmie si za maªy wspóªczynnik uczenia, z kolei zbyt du»a warto± η grozi wyst pieniem oscylacji wokóª minimum, algorytm jest wra»liwy na wyst powanie minimów lokalnych, Jak sobie z tym poradzi? Czy mo»na sobie z tymi problemami poradzi efektywnie?

58 Normalizacja danych Problemy ze zbie»no±ci Modykacje algorytmu Adaptacyjny dobór wspóªczynnika uczenia Dzi ki odpowiednim modykacjom wspóªczynnika uczenia mo»emy przy±pieszy nauk sieci i poprawi jej zbie»no±. { η (m+1) iη (m) ERROR = (m+1) p ERROR (m) ERROR (m+1) > p ERROR (m) dη (m) gdzie: p dopuszczalny wspóªczynnik wzrostu bª du (np. p = 1.05), i wspóªczynnik zwi kszania warto±ci, i 1 (np. i = 1.2), d wspóªczynnik zmniejszania warto±ci, d < 1 (np. d = 0.2).

59 Normalizacja danych Problemy ze zbie»no±ci Modykacje algorytmu Metoda momentu Do procesu uaktualniania wag wprowadza si tzw. moment (p d, bezwªadno± ), który jest proporcjonalny do zmiany tej wagi w poprzedniej iteracji. w (m+1) ji = w (m) ji ηδ j x i + α w (m) ji w (m+1) kj = w (m) kj w (m) ji w (m) kj ηδ k y j + α w (m) kj = w (m) ji = w (m) kj α [0, 1), sugerowana warto± 0.1. w (m 1) ji w (m 1) kj

60 Normalizacja danych Problemy ze zbie»no±ci Modykacje algorytmu Metoda momentu Skªadnik momentu nie powinien caªkowicie zdominowa procesu uczenia, poniewa» grozi to niestabilno±ci procesu uczenia. Aby temu zapobiec, kontroluje si warto± funkcji bª du w trakcie uczenia, doprowadzaj c do jej wzrostu jedynie w ograniczonym zakresie np. o p procent. Je±li w kolejnych iteracjach jest speªniona relacja ERROR (m+1) < ( p)ERROR (m), to krok jest akceptowany i nast puje aktualizacja wag. W przeciwnym razie zmiany s pomijane i przyjmuje si w (m+1) = 0. W takim przypadku skªadnik gradientowy odzyskuje przewag nad skªadnikiem momentu i proces uczenia przebiega zgodnie z kierunkiem minimalizacji wyznaczonym przez aktualny wektor gradientu.

61 Normalizacja danych Problemy ze zbie»no±ci Modykacje algorytmu Jak dziaªa metoda momentu? Dla pªaskich odcinków funkcji bª du, moment i gradient maj ten sam kierunek, ich dziaªanie kumuluje si i algorytm przy±piesza, dla α = 0.9 krok na takim odcinku mo»e by 10 razy dªu»szy. W pobli»u minimum, skªadnik momentu nie b d c zwi zany z aktualn warto±ci gradientu, mo»e spowodowa zmian wag prowadz c do chwilowego wzrostu warto±ci funkcji bª du i w efekcie opuszczenia strefy przyci gania tego minimum.