Sztuczne sieci neuronowe

Transkrypt

1 Sztuczne sec neuronoe model konekconstyczny 2 Plan ykładu Geneza modelu konekconstycznego Głóne cechy Model sztucznego neuronu Archtektury sec neuronoych Proces uczena sę sec Uczene poedynczego neuronu Właścośc poedynczego neuronu

2 3 Ludzk mózg komórek 3 2 km połączeń ( 4 ) połączeń ~,5 kg ag ~,5 l obętośc ~2 W poboru energ 4 Ludzk mózg a komputer Jednostk oblczenoe Pamęć Czas operac Czas transms Lczba aktyac/s Komputer - 4 CPU 9 btó RAM 2 btó dysk -8 s 9 bt/s 5 Mózg 5 - neuronó neuronó 4 połączeń -3 s 4 bt/s 4 2

3 Głóne cechy model konekconstycznych 5 DuŜa lczba prostych ednostek przetarzana (neuronó) Subsymbolczna reprezentaca edzy - kodoane edzy za pomocą ag na połączenach Przetarzane rónoległe rozproszone Kluczoe znaczene ma seć połączeń, e gęstość stopeń komplkac a ne budoa neuronu Nastotneszy problem to automatyzaca procesu uczena sę sec 6 Budoa neuronu eśce yśce ZłoŜone dzałane błony komórk neroe - model błony synaptyczne (Hodgkn-Huxley, Nagroda Nobla 963) Jądro - centrum oblczenoe neuronu, gdze zachodzą procesy kluczoe dla ego funkconoana 3

4 7 Sztuczny neuron x x e f() y x k k eśca ag pobudzene f aktyac yśce 8 Sztuczny neuron - budoa eśca - reprezentuą sygnały zenętrzne, które płyaą do neuronu (ymuszena) x ag - determnuą zględną aŝność poszczególnych eść pobudzene (łączne) e - ypadkoa artość skalarna odzercedlaąca aktyność neuronu; zaleŝne od funkc act(), która określa sposób oblczana pobudzena na podstae eść oraz ag yśce y - artość sygnału yścoego neuronu funkca aktyac f - determnue stan yśca na podstae pobudzena; określa charakterystykę neuronu 4

5 9 Sztuczny neuron x x e f() y x k k Podstaoe zaleŝnośc opsuące sztuczny neuron: e = act(x,,x k,,, k ) y = f(e) Prosty perceptron x x e f() y x k k ZaleŜnośc dla prostego perceptronu: k e = act = x ( x, ) y( x, ) = f ( e) = = gdy gdy e θ e< θ 5

6 Prosty perceptron: próg aktyac θ ako aga 2 x - x x 3 x k` =θ 2 3 k e f() ZaleŜnośc dla prostego perceptronu: k e = act = x ( x, ) y( x, ) = = gdy gdy y e e< 3 Funkce aktyac neuronu Sgmodalna f ( e) = + exp( βe) Tangens hperbolczny f ( e) = tanh( βe) Progoa (skokoa Heavsde a) gdy e f ( e) = gdy e< 6

7 4 Wpły parametru β Funkca sgmodalna,9,8,7,6,5 f ( e) =,4 + exp( βe),3,2, ,5, 2, Im ększa artość β, tym ększa stromość funkc aktyac W grancy β funkca zblŝa sę do skoku ednostkoego Przecdzedzna meśc sę przedzale [; ] - funkca est ednobegunoa (unpolarna) 5 Wpły parametru β Tangens hperbolczny,8,6 f ( e) = tanh( βe),4, , ,4 -,6 -,8 -,5, 2, Im ększa artość β, tym ększa stromość funkc aktyac W grancy β funkca zblŝa sę do skoku ednostkoego Przecdzedzna meśc sę przedzale [-; ] - funkca est dubegunoa (bpolarna) 7

8 Archtektura sztucznych sec neuronoych 6 Sztuczną seć neuronoą uzyskuemy łącząc ze sobą arsty ele neuronó e f() x x 3 x k e f() e e f() f() y y 2 x e e f() f() e f() e f() Seć bez sprzęŝeń (ang feedforarded) x 3 Seć ze sprzęŝenam zrotnym (ang feedback) 7 Sec bez sprzęŝeń Połączena medzy neuronam ne mogą torzyć cykl Sygnał podany na eśce propague sę przez seć skończonym czase Koleność krokó ustalaących artość pobudzena oraz stany yść neuronó zaleŝy od topolog sec MoŜna uznać e za układy pozbaone pamęc Sygnał propagoany est ednym kerunku stąd ch druga naza - ednokerunkoe Mogę być ułoŝone edną lub ęce arst 8

9 8 Sec ze sprzęŝenam Pomędzy neuronam mus poać sę co namne edno sprzęŝene zrotne (sygnał z yśca poraca na eśce) W skranym przypadku sygnał podany na eśce moŝe propagoać sę przez seć neskończonym czase ngdy ne osągnąć stanu stablnego Charakteryzue e skomplkoana dynamka, ymagaąca złoŝone aparatury poęcoe (teora chaosu, teora złoŝonośc) Zachouą sę ak układy z pamęcą Seć ednoarstoa z eloma yścam 2 Sztuczną seć neuronoą est mplementacą złoŝone funkc elu zmennych Naczęśce est to rónoczesna realzaca tylu funkc le yść posada cała seć x e f() y x 3 e f() y 2 e f() y 3 x k macerz ag 9

10 Uczene sec neuronoych 2 Proces uczena polega na modyfkoanu ag sec Naczęśce realzoane est uczene sę z przykładó Uczene nadzoroane - przykłady opsane są zaróno atrybutam arunkoym, ak decyzynym Uczene nenadzoroane - dane opsane są tylko atrybutam arunkoym Cel uczena - rozązane penego problemu klasyfkac (decyze nomnalne), problemu regres (decyze numeryczne) lub problemu grupoana Uczene sec neuronoych 22 Algorytmy uczena sec modyfkuą ag neuronó bez zmany archtektury sec, która mus być zaproektoana cześne Proces uczena na zborze przykładó D moŝna sproadzć do problemu optymalzac (mnmalzac) cągłe przestrzen ag pene funkc błędu E: W opt = arg mn E( W, D) W gdze: W - macerz ag sec W opt - macerz optymalnych artośc ag sec, odpoadaąca sec o namneszym moŝlym błędze ak moŝna osągnąć dla zboru danych D

11 Uczene nadzoroane sec neuronoych 23 W uczenu nadzoroanym funkca błędu E est peną marą rozbeŝnośc mędzy rzeczystym stanam yść sec a artoścam podanym ako decyze zborze danych D Naczęśce stosoaną marą est błąd średnokadratoy: E MSE = D k k [ y( x) z( x) ] x D = gdze: k - lczba yść sec, x - przykład ze zboru D (ektor atrybutó arunkoych), y (x) - artość -tego yśca sec dla przykładu x, z (x) - artość poŝądana dla przykładu x na yścu (atrybut decyzyny) 2 Uczene poedynczego prostego perceptronu 24 Celem uczena nadzoroanego est realzaca penego odzoroana: z = F(x) gdze: x est ektorem atrybutó (zmennych) nezaleŝnych, z est poŝądanym yścem neuronu, a odzoroane F est neznane zadane edyne postac zboru n przykładó (zbór D) postac: x, z = F( x ), = Kn

12 Uczene poedynczego prostego perceptronu 25 Błąd generoany przez neuron po podanu -tego przykładu na eśca est yraŝany róŝncą: δ = z - y Agregaca szystkch błędó popełnonych przez neuron dla poszczególnych przykładó do błędu średnokadratoego neuronu przebega następuąco: n n 2 E= ( z y ) = E 2 = =, E = ( δ ) 2 Mnmalzaca tego błędu następue naczęśce z zastosoanem heurystycznego algorytmu naększego spadku gradentu 2 Uczene poedynczego prostego perceptronu 26 W poedynczym kroku uczena yznaczana est artość o aką zmenona ma zostać określona aga sec zana popraką ag Modyfkaca -te ag na podstae błędu E popełnanego przezeń podczas propagac sygnału dla -tego przykładu odbya sę g zaleŝnośc: E = η gdze: η est elkoścą, która kontrolue pły gradentu na stosoaną poprakę określana est manem spółczynnka prędkośc uczena 2

13 Algorytm naększego spadku gradentu 27 Interpretaca grafczna na płaszczyźne heurystyk naększego spadku gradentu: E ' Uczene poedynczego prostego perceptronu 28 Funkca błędu ako funkca złoŝona ymaga dalszych zabegó: E E = y y Z defnc poedynczego błędu E oraz δ = z - y mamy: E y = ( z y ) = δ A lnoy charakter funkc y dla perceptronu proadz do: y = x 3

14 29 Reguła delta Ostateczne heurystyka spadku gradentu nakazue mnmalzacę błędu zgodne z formułą: = ηδ x PoyŜsza formuła określana est manem reguły delta albo regułą ADELINE - popraka -te ag est prost proporconalna do błędu popełnonego przez neuron oraz do elkośc sygnału płyaącego -tym eścem do neuronu Pełny krok uczena ymaga yznaczena zastosoana poprak na szystkch agach danego neuronu (róneŝ ) Algorytm uczena perceptronu 3 Ustaamy artość spół prędkośc uczena η 2 Wyberamy losoo ag początkoe perceptronu 3 Na eśca podaemy ektor uczący x 4 Oblczamy artość yścoą perceptronu zgodne ze zorem: k y = x = 5 Porónuemy artość yścoą z poŝądaną z 6 Modyfkuemy ag zgodne z zaleŝnoścą: = + ηδ x gdze δ = z y 7 Jeśl ne konec epok uczena, racamy do kroku 3 8 Jeśl błąd całe epok est ększy od załoŝonego, racamy do kroku 3 4

15 Reguła delta - podsumoane 3 Cechy algorytmu uczena opartego na regule delta: Stosoana metoda spadku gradentu est heurystyką ne garantue znalezena optymalne konfgurac ag sec (lokalne mnma!) Współczynnk prędkośc uczena η ma znaczący pły na przebeg procesu uczena Losoe artośc początkoe ag róneŝ płyaą na przebeg procesu uczena Poprak oblczane są dla kaŝde ag nezaleŝne Uczene sę przebega elu krokach ymaga elokrotnego propagoana przez seć danych z poszczególnych przykładó Własnośc prostego perceptronu - klasyfkaca 32 Interpretaca grafczna prostego perceptronu o dóch eścach: y = + x + 2 = 2 y> y< W probleme bnarne klasyfkac poedynczy neuron mplementue grancę mędzy klasam decyzynym postac (hper)płaszczyzny opsane rónanem: n = x = x 5

16 Proces uczena sę klasyfkac 33 W trakce uczena sę prosty perceptron manerue płaszczyzną celu oddzelena od sebe przykładó z róŝnych klas = = =3 =647 x Podstay teoretyczne sec neuronoych 34 Terdzene Rosenblatta: Proces uczena perceptronu est zbeŝny Perceptron moŝe nauczyć sę doolnego lnoo separoalnego problemu klasyfkac 6

17 35 Problemy klasyfkac Praktyczne problemy uczena mogą meć róŝną charakterystykę: x Problem lnoo separoalny x Problem lnoo neseparoalny Poedynczy neuron moŝe oddzelć od sebe tylko take klasy decyzyne, mędzy którym moŝle est poproadzene grancy postac (hper)płaszczyzny 36 Znaczene basu Bas - aga przypsana progo aktyac θ tgα b= α = y = + x + 2 = 2 2 x = -( / 2 )x - ( / 2 ) y = a*x +b a = -( / 2 ) b=-( / 2 ) dla = zasze b= Istnene basu est koneczne, eśl moŝly ma być podzał dóch całkoce doolnych klas lnoo separoalnych 7

18 Uczene poedynczego neuronu nelnoego 37 Proces uczena neuronu nelnoego róneŝ opera sę na regule spadku gradentu: E E E y = η, = y ale pochodna yśca po adze zmena są postać z poodu nelnoego charakteru funkc aktyac: y y e = e Wemy, Ŝe z defnc błędu E oraz pobudzena e mamy: E y = δ e = x Reszta zaleŝy od ybrane funkc aktyac y=f (e) Uczene poedynczego neuronu nelnoego 38 Pochodna funkc sgmodalne zględem pobudzena: y= f ( e) = = (+ exp( e)) + exp( e) y 2 = ( )(+ exp( e)) *exp( e)*( ) e exp( e) exp( e) = = * 2 (+ exp( e)) (+ exp( e)) (+ exp( e)) + exp( e) = * ( exp( e)) ( exp( e)) ( exp( e)) y = y ( y ) e 8

19 Uczene poedynczego neuronu nelnoego 39 Ostateczne reguła spadku gradentu nakazue poprakę ag neuronu nelnoego (sgmodalnego) zgodne z formułą: y e = ηδ x = ηδ x y ( y ) Reguła delta neuronu nelnoego róŝn sę członem y(-y), ynkaącym z proadzone nelnoośc, który zększa poprak tym mocne m blŝe przykład znadue sę płaszczyzny decyzyne realzoane przez neuron 4 Problem XOR, x XOR(x, ), x Funkc XOR ne moŝe zostać odzoroana za pomocą poedynczego lnoego neuronu, gdyŝ potrzebna est ęce nŝ edna płaszczyzna decyzyna by oddzelć od sebe de klasy ynkoe 9

20 Układy logczne a sec neuronoe 4 Implementaca podstaoych funkc logcznych za pomocą neuronó prostych z funkcą skokoą aktyac: - =5 = x 2 = AND _ y - =-49 NOT _ =- x y y = x y = -x =5 x = OR 2 = y = x _ y x AND OR x NOT Seć eloarstoa dla funkc XOR 42 Problem odzoroana funkc XOR moŝna rozązać edyne stosuąc ęce nŝ edną arstę sec: y = x XOR = ((x AND NOT ) OR ( AND NOT x )) - =5 x 2 =- 3 =- = 4 = - =5 y = x AND NOT AND NOT y 5 = 6 = y 2 y 2 = -x =5 y = y + y 2-5 OR y x y y 2 XOR 2

21 Problem XOR: rozązane 43, AND NOT x y 2 = -x + - 5,,, x y = x x AND NOT Odzoroane funkc XOR est połączenem prostych odzoroań z arsty persze bardze złoŝone odzoroane zrealzoane dzęk arste druge 44 Seć eloarstoa x x 3 x k arsty ukryte arsta eścoa arsta yścoa W ramach edne arsty neurony ne komunkuą sę ze sobą Pomędzy arstam oboązue zasada kaŝdy z kaŝdym 2

22 Uczene sec eloarstoe 45 Zastosoane reguły delta: y = ηδ x δ = z y e obec neuronó arsty, która ne est yścoa (ukryte) ymaga następuące zmany sposobu oblczana błędu przy prezentac -tego przykładu: δ N l = + ( k, l ) k ( p, l+ ) δ ( p, l+ ) p= gdze ndeksy (k,l) dotyczą k-tego neuronu arste l-te, zaś N l+ to lczba neuronó l+-te arste sec Uczene sec eloarstoe 46 Reguła yznaczana błędu neuronu sec eloarstoe: Interpretaca: δ N l = + ( k, l ) k ( p, l+ ) δ ( p, l+ ) p= Błąd neuronu arste l-te est róny sume błędó popełnonych przez neurony z arsty l+-te, aŝonych agam ake łączą dany neuron z neuronam arsty l+-te 22

23 Uczene sec eloarstoe 47 Ilustraca grafczna reguły yznaczana błędu : δ N l = + ( k, l ) k ( p, l+ ) δ ( p, l+ ) p= δ (,l ) (, l+ ) (2, l+ ) δ (, l + ) δ (2,l ) δ ( 2, l + ) δ (3,l ) δ ( 3, l + ) arsta l arsta l+ Algorytm steczne propagac błędu 48 procedure backpropagaton(zbór przykładó D) begn ncalzaca ag sec małym artoścam losoym; repeat for each x D propagaca x przez seć aŝ do yśca; porónane ektora yść y z poŝądanym ynkem z oraz yznaczene błędó δ ; steczna propagaca błędu przez arsty ukryte t do arsty ostatne, przedostatne td; modyfkaca ag kaŝdego neuronu sec stosoane do popełnonego błędu; endfor Wyznaczene błędu średnokadratoego E po szystkch przykładach untl E < E stop or nny_ar_stopu 23

24 Uczene sec eloarstoe 49 x x k h h 2 h N2 - ( p,2) - arsta eścoa arsta ukryta ( p,3) y y 2 y N3 arsta yścoa z z 2 z N3 Uczene sec eloarstoe 5 x x k h h 2 h N2 - ( p,2) - Dany est zbór D przykładó: x,z Losuemy ag (małe artośc) Wyberamy koleną parę ze zboru D Oblczamy artośc arste ukryte: h p = + exp k = ( p,2), p= KN 2 x y y 2 y N3 ( p,3) z z 2 z N3 24

25 Uczene sec eloarstoe 5 x x k h h 2 y y 2 h N2 y N3 z z 2 z N3 - ( p,2) - ( p,3) Dany est zbór D przykładó: x,z Losuemy ag (małe artośc) Wyberamy koleną parę ze zboru D Oblczamy artośc arste ukryte: h p = + exp k = ( p,2), p= KN 2 x Oblczamy artośc arste yścoe: y p = N 2 + exp = ( p,3), p= K N3 h Uczene sec eloarstoe 52 x x k h h 2 y y 2 h N2 y N3 - ( p,2) - ( p,3) Dany est zbór D przykładó: x,z Losuemy ag (małe artośc) Wyberamy koleną parę ze zboru D Oblczamy artośc arste ukryte: h p Oblczamy artośc arste yścoe: y p Oblczamy błąd arste yścoe: δ ( p,3) = z p y p p=, KN 3 z z 2 z N3 25

26 Uczene sec eloarstoe 53 x x k h h 2 y y 2 h N2 y N3 z z 2 z N3 - ( p,2) - ( p,3) Dany est zbór D przykładó: x,z Losuemy ag (małe artośc) Wyberamy koleną parę ze zboru D Oblczamy artośc arste ukryte: h p Oblczamy artośc arste yścoe: y p Oblczamy błąd arste yścoe: δ ( p,3) = z p y p p=, KN Oblczamy błąd arste ukryte: δ = N3 (,2) ( p,3) δ ( p,3), = p= 3 KN 2 Uczene sec eloarstoe 54 x x k h h 2 y y 2 h N2 y N3 - ( p,2) - ( p,3) Dany est zbór D przykładó: x,z Losuemy ag (małe artośc) Wyberamy koleną parę ze zboru D Oblczamy artośc arste ukryte: h p Oblczamy artośc arste yścoe: y p Oblczamy błąd arste yścoe: δ ( p,3) Oblczamy błąd arste ukryte: δ (,2) Korekta ag dla arsty yścoe: =ηδ h y ( y ) ( p,3) ( p,3) p p 26

27 Uczene sec eloarstoe 55 Dany est zbór D przykładó: x,z Losuemy ag (małe artośc) Wyberamy koleną parę ze zboru D Oblczamy artośc arste x x k - ukryte: h p Oblczamy artośc arste yścoe: h h 2 y y 2 h N2 y N3 ( p,2) - ( p,3) y p Oblczamy błąd arste yścoe: δ ( p,3) Oblczamy błąd arste ukryte: δ (,2) Korekta ag dla arsty yścoe: ( p,3) Korekta ag dla arsty ukryte: =ηδ x h ( h ) ( p,2) (,2) p p Uczene sec eloarstoe 56 Dany est zbór D przykładó: x,z Losuemy ag (małe artośc) Wyberamy koleną parę ze zboru D Oblczamy artośc arste x x k - ukryte: h p Oblczamy artośc arste yścoe: h h 2 y y 2 h N2 y N3 ( p,2) - ( p,3) y p Oblczamy błąd arste yścoe: δ ( p,3) Oblczamy błąd arste ukryte: δ (,2) Korekta ag dla arsty yścoe: ( p,3) Korekta ag dla arsty ukryte: ( p Konec epok,2) 27

28 Cechy algorytmu steczne propagac błędu 57 Błędne dobrane artośc początkoe ag mogą utrudnać bądź unemoŝlać zbeŝność algorytmu Modyfkaca ag zasze poprzedzona est propagacą błędu do arsty poprzedne Błąd popełnany przez neuron ne ma płyu na ego sąsadó z te same arsty Proces uczena ma charakter teracyny - eden przebeg po zborze uczącym nazyamy epoką DuŜa złoŝoność oblczenoa - przy m agach oraz n przykładach mamy do polczena m*n popraek Cechy algorytmu steczne propagac błędu 58 Zmany ag maą lokalny charakter - algorytm kaŝdym kroku dostraa e do ednego przykładu Uczene ma charakter przyrostoy - zasze stnee moŝlość douczena sec na noych przykładach Algorytm est raŝly na koleność prezentoana przykładó Istnee ele arantó algorytmu steczne propagac, które maą za zadane przyśpeszyć proces uczena lub poprać ego efekty (np steczna propagaca z członem momentum, algorytm zmenne metryk, algorytm Levenberga-Marquardta n) 28

29 Efekt przeuczena sec neuronoych - przyczyny 59 Zbór przykładó D, choć (z załoŝena) reprezentatyny ngdy ne zaera pełne nformac o uczone funkc Istnee neskończene ele macerzy ag W, dla których artość błędu E(W,D) osąga globalne mnmum Tylko nelczne konfgurace ag odpoadaą mnmum błędu całe dzedzne uczone funkc dla przykładó spoza zboru uczącego otrzymany ynk cale ne mus być optymalny (nny zbór testuący) Efekt przeuczena sec neuronoych 6 błąd E zbór testuący zbór uczący epok Zasko przeuczena moŝe być spoodoane zbyt długm uczenem sec Zatrzymane procesu uczena odpoednm momence pozala zachoać e zdolność do generalzac edzy 29

30 Uczene nenadzoroane sec 6 Celem uczena nenadzoroanego est ykryane penych regularnośc danych uczących Dane prezentoane są ako ektory atrybutó (zmennych) nezaleŝnych x, ale pozbaone są nformac o poŝądanym yścu sec Formalne mamy zatem zbór n przykładó (zbór D), lecz bez atrybutu decyzynego postac: x, = K n Z punktu dzena analzy danych mamy do czynena z zadanem grupoana (analzy skupeń) Uczene nenadzoroane sec 62 Reguła Hebba: JeŜel przesyłane sygnałó mędzy doma połączonym neuronam poodue ch spólną aktyność, to naleŝy zększyć artość ag mędzy nm g zasady: h y h 2 y 2 h M y N k = ηh k Welkość zmany ag ponna być proporconalna do loczynu sygnału chodzącego do neuronu (z tą agą) sygnału ychodzącego z neuronu Reguła Hebba moŝe przyąć róŝną postać róŝnych secach k y 3

31 63 Sec Hopfelda Seć ednoarstoa z lczbą neuronó róną lczbe składoych ektora eścoego Seć rekurencyna Pełne połączena neuronó kaŝdy z kaŝdym Wszystke neurony sec pełną rolę zaróno eść, ak yść Neurony przetarzaą sygnały bpolarne {-;} Skokoa funkca aktyac Rodza autoasocacyne pamęc - słuŝy do rozpoznaana yuczonych cześne zorcó 64 Sec Hopfelda: algorytm Faza nauczana: yznaczene a pror artośc ag sec oparcu o zbór przykładó (zorcó) Faza rozpoznaana (odtarzana): cyklczna propagaca sygnałó przez seć dla noych danych eścoych aŝ do uzyskana stanu stablnego 3

32 65 Uczene sec Hopfelda x x 3 y y 2 y 3 Wag sec torzą macerz kadratoą o boku k rónym lczbe składoych zorca Macerz est symetryczna z yzeroanym agam na głóne przekątne, czyl: mn = nm oraz nn = Dla zboru N przykładó (zorcó) uczene ag opera sę na formule: N mn = = (2x m )(2x n ) m n 66 Uczene sec Hopfelda Przykład Wzorzec 5-elementoy x =( ) Dla ednego zorca N oblczena macerzy: = (2x )(2x ) oraz = mn = 2 = (2x - )(2 - ) = ( - )(2 - ) = (-)() = - 3 = (2x - )(2x 3 - ) = ( - )(2 - ) = (-)() = - 4 = (2x - )(2x 4 - ) = ( - )( - ) = (-)(-) = 5 = (2x - )(2x 5 - ) = ( - )(2 - ) = (-)() = - 23 = (2 - )(2x 3 - ) = (2 - )(2 - ) = ()() = 24 = (2 - )(2x 4 - ) = (2 - )( - ) = ()(-) = - 25 = (2 - )(2x 5 - ) = (2 - )(2 - ) = ()() = 34 = (2x 3 - )(2x 4 - ) = (2 - )( - ) = ()(-) = - 35 = (2x 3 - )(2x 5 - ) = (2 - )(2 - ) = ()() = 45 = (2x 4 - )(2x 5 - ) = ( - )(2 - ) = (-)() = - m n W= sproadzą sę do postac: ( 2x )(2x ) mn = m n 32

33 67 Uczene sec Hopfelda Przykład cd Koleny zorzec =( ) Zamast yznaczać kolene yrazy mn macerzy W po szystkch zorcach od razu, moŝna yznaczyć naper nezaleŝne dla kaŝdego przykładu macerz W a następne szystke macerze zorcó zsumoać ze sobą: 2 W = 2 W + W 2 = Faza odtarzana: aktualzaca sec Hopfelda x x 3 y y 2 y 3 Propagaca sygnału przez seć dla noych danych przypomna zasadę znaną z prostego perceptronu: x m k gdy < = n= mnxn n m przecnym przypadku Ze zględu na rekurencyną topologę sec zmana yołana przez dane na e eścu moŝe ymagać elu cykl oblczeń zanm osągne ona stan stablny 33

34 Faza odtarzana: aktualzaca sec Hopfelda 69 Aktualzaca stanu sec zapoczątkoana noym ektorem eścoym odbya sę synchronczne albo asynchronczne Synchronczna aktualzaca: oblczamy rónocześne stany yścoe szystkch neuronó dla ne zmenaącego sę chloo stanu eścoego Asynchronczna aktualzaca: yznaczamy sekencyne stany yścoe neuronó edług losoe kolenośc, propaguąc kaŝdorazoo zmanę na eśce sec Seć osąga stan stablny kedy propagaca sygnału przez seć ne spoodue zmany na yścu stosunku do eśca dla Ŝadnego z neuronó Faza odtarzana: aktualzaca synchronczna 7 Przykład cd Zbór zorcó: x =( ) =( ) Wektor eścoy: v=( ) 2 W + W 2 = 2 2 Wyśca sec (teraca ): x = Σ k n= n v n =*+(-2)*+*+*+*=-2 f skok (-2)= = Σ k n= 2n v n =(-2)*+*+*+*+*= f skok ()= x 3 = Σ k n= 3n v n =*+*+*+(-2)*+2*= f skok ()= x 4 = Σ k n= 4n v n =*+*+(-2)*+*+(-2)*=-4 f skok (-4)= x 5 = Σ k n= 5n v n =*+*+2*+(-2)*+*= f skok ()= Noym stanem na eścu będze: x=( ) zmana!

35 Faza odtarzana: aktualzaca synchronczna 7 Przykład cd W + W = Wektor eścoy (noy): v =( ) 2 2 Wyśca sec (teraca 2): x = Σ k n= n v n =*+(-2)*+*+*+*=-2 f skok (-2)= = Σ k n= 2n v n =(-2)*+*+*+*+*= f skok ()= x 3 = Σ k n= 3n v n =*+*+*+(-2)*+2*=2 f skok (2)= x 4 = Σ k n= 4n v n =*+*+(-2)*+*+(-2)*=-4 f skok (-4)= x 5 = Σ k n= 5n v n =*+*+2*+(-2)*+*=2 f skok (2)= Potórzene stanu ( ) - konec oblczeń! Faza odtarzana: aktualzaca asynchronczna 73 Przykład cd 2 Inny ektor eścoy: 2 2 v=( ) W + W = 2 2 Losoe permutace neuronó: 2,4,3,5,, 2,4,3,5,, 2,4,3,5,, Wyśca sec: =Σ k n= 2n x n =-2 f skok (-2)= noy stan: ( ) zmana! x 4 =Σ k n= 4n x n =-4 f skok (-4)= noy stan: ( ) zmana! x 3 =Σ k n= 3n x n =2 f skok (2)= noy stan: ( ) x 5 =Σ k n= 5n x n =2 f skok (2)= noy stan: ( ) x =Σ k n= n x n = f skok ()= noy stan: ( ) =Σ k n= 2n x n =-2 f skok (-2)= noy stan: ( ) x 4 =Σ k n= 4n x n =-4 f skok (-4)= noy stan: ( ) konec (brak zman!) 35

36 Przykład zastosoana sec Hopfelda 74 Problem: Rozpoznaane zorcó obrazó cyfr dzesętnych rozdzelczośc: pksel Parametry sec: Lczba neuronó: Lczba połączeń: 495 Wynk dla 4 zorcó: poprane rozpoznaane obrazó zaszumonych % PoyŜe 2% szumu nełaśce rozpoznaane Przykład zastosoana sec Hopfelda 75 Parametry sec: ta sama seć Wynk dla zorcó szystkch cyfr: nepoprane rozpoznaane obrazó zaszumonych uŝ % 36

37 Seć Hopfelda ako pamęć asocacyna 76 stan eścoy x x 3 zorce Dzałane sec o charakterze pamęc autoasocacyne opera sę na podanu sygnału eścoego (mpulsoo) sobodne relaksac sec do stanu stablnego nablŝszego stano ncuącemu Osągnęty stan nterpretuemy ako skoarzony z eścoym bodźcem yuczony zorzec z pamęc Seć Hopfelda ako pamęć asocacyna 77 Przykład x 3-2 x Aktyaca asynchronczna kaŝdego neuronu poodue albo pozostane tym samym stane albo prześce do stanu oddalonego o (g odległośc Hammnga) Nr x Stan Wektor x 3 Nr stanu po aktyac neuronu:

38 Seć Hopfelda ako pamęć asocacyna 78 Dynamka sec - dagram prześć stanó NezaleŜne od stanu początkoego dzałane sec zbegne sę do stanu stablnego reprezentuącego eden z zapamętanych zorcó (3 lub 6) 79 Własnośc sec Hopfelda Pamęć asocacyna nformace zareestroane pamęc są dostępne po podanu na eśce nformac skoarzone, selekconuące eden z zapamętanych zorcó na drodze asocac Brak ścsłe lokalzac zareestroane nformac rozproszona reprezentaca postac zorca aktyac całe sec Rozproszone asynchronczne steroane kaŝdy element sec dzała oparcu o lokalne dane DuŜa toleranca na błędy nełaśce funkconoane nektórych elementó sec ne degradue e dzałana Ogranczona poemność pamęc dla N neuronó max N/(2logN) zorcó 38

39 Uczene nenadzoroane sec 8 Nebezpeczeństa uczena nenadzoroanego: Wolneszy proces uczena porónanu z algorytmam nadzoroanym Trudno skazać, który neuron yspecalzue sę rozpoznaanu które klasy danych Nełata nterpretaca ynkó dzałana sec Brak penośc co do faktu czy seć rozpoznała szystke zorce prezentoane poprzez dane Potrzeba stosoana zdecydoane bardze złoŝone budoy sec nŝ metodach nadzoroanych (mne ęce trzykrotne ęce neuronó arsty yścoe nŝ spodzeane lczby klas) Sec radalne - RBF (ang Radal Bass Functon) 8 c x Neuron sgmodalny: Podzał przestrzen na de klasy zdłuŝ ln proste x Neuron radalny: Podzał sferyczny przestrzen okół punktu centralnego c 39

40 82 Sec radalne - budoa Prosta topologa: x ϕ ϕ 2 2 Σ y 3 x 3 ϕ 3 x 3 neuron lnoy arsta funkc radalnych arsta eścoa 83 Sec radalne- budoa Warsta ukryta: x x 3 ϕ ϕ 2 ϕ Σ y Funkce radalne ϕ o symetr kołoe zaleŝne od odległośc r mędzy punktam x oraz c : ϕ(x,c) = ϕ(r(x,c)) gdze: c R k to centrum neuronu radalnego x 3 Brak ag! Naczęśce odległość to norma eukldesoa: r(x,c) = x-c x R k 4

41 Aproksymaca za pomocą sec radalnych 84 Problem aproksymac funkc F opsane przez zbór: d k = F( x ), x R d R = K n realzoane za pomocą funkc f będące lnoym odzoroanem p = ( x ) f ( x) = ϕ c Wybór normy dla x-c doolny - naczęśce est to norma eukldesoa Funkce radalne to tz funkce ądra (ang kernels) naczęśce z dodatkoym parametrem σ zanym szerokoścą ądra Próba analtycznego ustalena ag 85 Zgodne z budoą sec dla n róŝnych przykładó realzue ona układ rónań postac: ϕ M ϕ n L L L ϕ p d M M = M, ϕ n ϕ np p d ϕ( x, c ) Φ= [ ϕ ] eŝel przymemy p=n tzn eden neuron radalny na eden przykład zadane będze rozązyalne ale: seć będze modeloać szumy neregularnośc danych efekt przeuczena słaba generalzaca yznaczane macerzy =Φ - d est neefektyne (neygodne) oblczenoo 4

42 Podstay teoretyczne sec RBF 86 Terdzene Covera (965) ZłoŜony problem klasyfkacyny zrzutoany nelnoo na przestrzeń eloymaroą moŝe być rozdzelony za pomocą separatora lnoego z ększym pradopodobeństem nŝ przy rzutoanu na przestrzeń o mnesze lczbe ymaró Udoodnono, Ŝe kaŝdy zbór zorcó losoo rozmeszczony przestrzen eloymaroe est ϕ-separoalny z pradopodobeństem rónym eden, pod arunkem zastosoana odpoedno duŝego ymaru przestrzen, na którą est rzutoany, t przestrzen generoane przez funkce bazoe ϕ Podstay teoretyczne sec RBF 87 Z terdzena Covera ynka Ŝe dla zboru przykładó x R k stnee ektor =(, 2,, p ) gdy p>k tak, Ŝe: T Φ(x ) dla x A T Φ(x ) < dla x B gdze T Φ(x )= yznacza grancę mędzy klasam A B Praktyczny nosek płynący z te obserac oznacza, Ŝ zastosoane sec duarstoe z edną arstą zaeraącą odpoedne funkce radalne arstą yścoą lnoą zapena rozązane doolnego problemu klasyfkac nelnoe 42

43 Przykłady radalnych funkc bazoych 88 Funkca Gaussa ϕ 2 exp r 2 2 σ ( r) = r= x c σ > Przykłady radalnych funkc bazoych 89 Funkca elomanoe (elokadratoe): ϕ 2 2 β ( r) = ( r + σ ) < β < β = 2 43

44 Przykłady radalnych funkc bazoych 9 Funkca potęgoe (elokadratoe odrócone): ϕ 2 2 α ( r) = ( r + σ ) α > np funkca Hardy ego: ϕ( r) = r σ Przykłady radalnych funkc bazoych 9 Funkca spółrzędne radalne (lnoa): ϕ ( r) = r= x c 44

45 Przykłady radalnych funkc bazoych 92 Funkca skleana (cenke płytk): ϕ ( r) = ( σr) 2 ln( σr) 93 Konstruoane sec RBF Proces uczena sec przebega trybe nadzoroanym składa sę z dóch etapó: Dobór parametró arsty radalne: Lczba funkc bazoych (emy, Ŝe ponna być duŝo mnesza nŝ lczba przykładó) PołoŜene centró funkc bazoych Szerokość funkc bazoych (dyspersa funkc) Dobór parametró arsty yścoe: Ustalene artośc ag Ustalene artośc eentualnego progu 45

46 94 Etap I budoy sec RBF Wybór centró: Losoy obszarze ogranczonym zmennoścą danych eścoych Losoy ale spośród reprezentatynych zorcó uczących Rozmeszczene ęzłach regularne satk Rozmeszczene z ykorzystanem algorytmó uczena nenadzoroanego (np metoda k-średnch, mapy Kohonena) Inne metody np probablstyczne 95 Etap I budoy sec RBF Ustalene szerokośc funkc: Stała dla szystkch funkc: σ = 2 p (d maksymalna odległość mędzy centram funkc bazoych; p lczba funkc) Róna odległośc centrum funkc radalne ϕ od centrum c e nablŝszego sąsada σ = mn c c Uśrednona odległość od d nablŝszych sąsadó (zazycza 3) d 2 σ = c c d = d 46

47 96 Etap II budoy sec RBF Uczene neuronu yścoego: Celem est mnmalzaca błędu: 2 n p E= ϕ( x c ) d 2 = = Wektor ag mnmalzuący E poszukany est metodam: Rozązyana układó rónań lnoych np pseudonersa macerzy Gradentoym np reguła delta Inne np hybrydoe połączene uczena nenadzoroanego arste radalne z nadzoroanym arste yścoe Uczene ag metodą pseudoners 97 Zgodne z budoą sec RBF dla n róŝnych przykładó realzue ona układ rónań postac: ϕ M ϕ n L L L ϕ p d M M = M, ϕ n ϕ np p d ϕ( x, c ) Φ= [ ϕ ] Wemy uŝ, Ŝe mus zachodzć k<p<<n, a to oznacza, Ŝ macerz Φ est macerzą prostokątną Przy ustalonych parametrach funkc radalnych, optymalzaca błędu E sproadza sę do rozązana układu rónań lnoych zględem ag: Φ=d Przy macerzy prostokątne Φ, ektor ag yznacza sę stosuąc pseudonersę macerzy Φ: zakładaąc, Ŝe Φ + = (Φ T Φ) - Φ T,mamy =Φ + d 47

48 99 Sec MLP a RBF Wele arst ukrytych nelnoych Jednorodne neurony arste ukryte Wszystke neurony nelnoe Globalna aproksymaca Uczene edyne ag na eścu neuronó Uczene skomplkoane dla elu arst Trudna ncalzaca Jedna arsta ukryta nelnoa ZróŜncoane parametry neuronó arste ukryte Neurony yścoe lnoe Torzy lokalne odzoroana przestrzen RóŜne typy uczonych parametró Szybke uczene dzęk arste Prosta ncalzaca Czego ne potrafą sec neuronoe Przetarzane symbolczne: Operace edytorske na tekstach Procesory yraŝeń algebracznych Przetarzane numeryczne z ysokm ymagana odnośne precyz oblczeń: Rachunkoość, ksęgoość,bankoość Oblczena nŝynerske (konstrukcyne) Weloetapoe procesy o charakterze mentalnym Pradzość/fałszyość sekenc sterdzeń logcznych Doodzene terdzeń Wnoskoane eloetapoe (systemy ekspercke) Planoane dzałań 48