Sztuczne sieci neuronowe

Transkrypt

1 Sztuczne sec neuronoe model konekconstyczny 2 Plan ykładu Geneza modelu konekconstycznego Głóne cechy Model sztucznego neuronu Archtektury sec neuronoych Proces uczena sę sec Uczene poedynczego neuronu Właścośc poedynczego neuronu

2 3 Ludzk mózgm komórek 3 2 km połą łączeń ( 4 ) połą łączeń ~,5 kg ag ~,5 l obęto tośc ~2 W poboru energ 4 Ludzk mózg m a komputer Jednostk oblczenoe Pamęć Czas operac Czas transms Lczba aktyac/s Komputer - 4 CPU 9 btó RAM 2 btó dysk - 8 s 9 bt/s 5 Mózg 5 - neuronó neuronó 4-3 s 4 bt/s 4 połączeń 4 po 2

3 Głóne cechy model konekconstycznych 5 Duża a lczba prostych ednostek przetarzana (neuronó) Subsymbolczna reprezentaca edzy - kodoane edzy za pomocą ag na połą łączenach Przetarzane rónolegr noległe e rozproszone Kluczoe znaczene ma seć połą łączeń,, e gęstog stość stopeń komplkac a ne budoa neuronu Nastotneszy problem to automatyzaca procesu uczena sę sec 6 Budoa neuronu eśce yśce Złożone one dzałane ane błony b komórk neroe - model błony synaptyczne (Hodgkn-Huxley,, Nagroda Nobla 963) Jądro - centrum oblczenoe neuronu, gdze zachodzą procesy kluczoe dla ego funkconoana 3

4 7 Sztuczny neuron x x e f() y x k k eśca ag pobudzene f aktyac yśce 8 Sztuczny neuron - budoa eśca - reprezentuą sygnały y zenętrzne, które płya yaą do neuronu (ymuszena) x ag - determnuą zględn dną ażno ność poszczególnych eść pobudzene (łączne) e - ypadkoa artość skalarna odzercedlaąca ca aktyność neuronu; zależne od funkc act() (),, która określa sposób b oblczana pobudzena na podstae eść oraz ag yśce y - artość sygnału u yścoego neuronu funkca aktyac f - determnue stan yśca na podstae pobudzena; określa charakterystykę neuronu 4

5 9 Sztuczny neuron x x e f() y x k k Podstaoe zależno nośc opsuące sztuczny neuron: e = act(x,,x k,,, k ) y = f(e) Prosty perceptron x x e f() y x k k Zależno nośc dla prostego perceptronu: k e act x ( x, ) y( x, ) gdy gdy f ( e) f ( e) 5

6 Prosty perceptron: próg g aktyac ako aga 2 x - x x 3 x k` = 2 3 k Zależno nośc dla prostego perceptronu: k e act x ( x, ) y( x, ) e f() gdy gdy y f ( e) f ( e) 3 Funkce aktyac neuronu Sgmodalna f ( e) exp( e) Tangens hperbolczny f ( e) tanh( e) Progoa (skokoa Heavsde a) f ( e) gdy gdy e e 6

7 4 Wpły parametru Funkca sgmodalna,9,8,7,6,5 f ( e),4 exp( e),3,2, ,5, 2, Im ększa artość, tym ększa stromość funkc aktyac W grancy funkca zblża a sę do skoku ednostkoego Przecdzedzna meśc sę przedzale [; ] - funkca est ednobegunoa (unpolarna) 5 Wpły parametru Tangens hperbolczny,8,6 f ( e) tanh( e),4, , ,4 -,6 -,8 -,5, 2, Im ększa artość, tym ększa stromość funkc aktyac W grancy funkca zblża a sę do skoku ednostkoego Przecdzedzna meśc sę przedzale [-;[ ] - funkca est dubegunoa (bpolarna) 7

8 Archtektura sztucznych sec neuronoych 6 Sztuczną seć neuronoą uzyskuemy łącz cząc c ze sobą arsty ele neuronó e f() x x 3 x k e f() e e f() f() y y 2 x e e f() f() e f() e f() Seć bez sprzęż ężeń (ang feedforarded) x 3 Seć ze sprzęż ężenam zrotnym (ang feedback) 7 Sec bez sprzęż ężeń Połą łączena medzy neuronam ne mogą torzyć cykl Sygnał podany na eśce propague sę przez seć skończonym czase Koleność krokó ustalaących artość pobudzena oraz stany yść neuronó zależy y od topolog sec Można uznać e za układy pozbaone pamęc Sygnał propagoany est ednym kerunku stąd d ch druga naza - ednokerunkoe Mogę być ułożone one edną lub ęce arst 8

9 8 Sec ze sprzęż ężenam Pomędzy neuronam mus poać sę co namne edno sprzęż ężene zrotne (sygnał z yśca poraca na eśce) W skranym przypadku sygnał podany na eśce może e propagoać sę przez seć neskończonym czase ngdy ne osągn gnąć stanu stablnego Charakteryzue e skomplkoana dynamka, ymagaąca złożone z one aparatury poęcoe (teora chaosu, teora złożonoz onośc) Zachouą sę ak układy z pamęc cą Seć ednoarstoa z eloma yścam 2 Sztuczną seć neuronoą est mplementacą złożone one funkc elu zmennych Naczęś ęśce est to rónoczesna realzaca tylu funkc le yść posada cała a seć x e f() y x 3 e f() y 2 e f() y 3 x k macerz ag 9

10 2 Uczene sec neuronoych Proces uczena polega na modyfkoanu ag sec Naczęś ęśce realzoane est uczene sę z przykład adó Uczene nadzoroane - przykłady opsane sąs zaróno atrybutam arunkoym, ak decyzynym Uczene nenadzoroane - dane opsane sąs tylko atrybutam arunkoym Cel uczena - rozązane zane penego problemu klasyfkac (decyze nomnalne), problemu regres (decyze numeryczne) lub problemu grupoana 22 Uczene sec neuronoych Algorytmy uczena sec modyfkuą ag neuronó bez zmany archtektury sec, która mus być zaproektoana cześne Proces uczena na zborze przykład adó D można sproadzć do problemu optymalzac (mnmalzac) cągłe przestrzen ag pene funkc błędu E: W opt argmn E( W, D) W gdze: W - macerz ag sec W opt - macerz optymalnych artośc ag sec, odpoadaąca sec o namneszym możlym błędze ak można osągn gnąć dla zboru danych D

11 Uczene nadzoroane sec neuronoych 23 W uczenu nadzoroanym funkca błęb łędu E est peną marą rozbeżno nośc mędzy rzeczystym stanam yść sec a artoścam podanym ako decyze zborze danych D Naczęś ęśce stosoaną marą est błąd średnokadratoy: k 2 EMSE y x z x D xd k gdze: k - lczba yść sec, x - przykład ze zboru D (ektor atrybutó arunkoych), y (x) - artość -tego yśca sec dla przykładu x, z (x) - artość pożądana dla przykładu x na yścu (atrybut decyzyny) Uczene poedynczego prostego perceptronu 24 Celem uczena nadzoroanego est realzaca penego odzoroana: z = F(x) gdze: x est ektorem atrybutó (zmennych) nezależnych, nych, z est pożą żądanym yścem neuronu, a odzoroane F est neznane zadane edyne postac zboru n przykład adó (zbór D) ) postac: x, z F( x ), n

12 Uczene poedynczego prostego perceptronu 25 Błąd d generoany przez neuron po podanu -tego przykładu na eśca est yrażany any różncr ncą: = z - y Agregaca szystkch błęb łędó popełnonych przez neuron dla poszczególnych przykład adó do błęb łędu średnokadratoego neuronu przebega następu puąco: E 2 n n 2 ( z y ) E, E ( ) 2 Mnmalzaca tego błęb łędu następue naczęś ęśce z zastosoanem heurystycznego algorytmu naększego spadku gradentu 2 Uczene poedynczego prostego perceptronu 26 W poedynczym kroku uczena yznaczana est artość o aką zmenona ma zostać określona aga sec zana popraką ag Modyfkaca -te ag na podstae błędu E popełnanego przezeń podczas propagac sygnału u dla -tego przykładu odbya sę g zależno nośc: E gdze: est elkośc cą,, która kontrolue pły gradentu na stosoaną poprakę określana est manem spółczynnka prędko dkośc uczena 2

13 Algorytm naększego spadku gradentu 27 Interpretaca grafczna na płaszczyp aszczyźne heurystyk naększego spadku gradentu: E ' Uczene poedynczego prostego perceptronu 28 Funkca błęb łędu ako funkca złożona z ona ymaga dalszych zabegó: E E y y Z defnc poedynczego błęb łędu E oraz = z - y mamy: E y ( z y ) A lnoy charakter funkc y do: y x dla perceptronu proadz 3

14 29 Reguła a delta Ostateczne heurystyka spadku gradentu nakazue mnmalzacę błędu zgodne z formułą łą: Δ x Poyższa formuła a określana est manem reguły y delta albo regułą ADELINE - popraka -te ag est prost proporconalna do błęb łędu popełnonego przez neuron oraz do elkośc sygnału u płya yaącego -tym eścem do neuronu Pełny krok uczena ymaga yznaczena zastosoana poprak na szystkch agach danego neuronu (róne neż ) 3 Algorytm uczena perceptronu Ustaamy artość spół prędko dkośc uczena 2 Wyberamy losoo ag początkoe perceptronu 3 Na eśca podaemy ektor uczący cy x 4 Oblczamy artość yśco coą perceptronu zgodne ze zorem: k y x 5 Porónuemy artość yśco coą z pożą żądaną z 6 Modyfkuemy ag zgodne z zależno noścą: x gdze z y 7 Jeśl ne konec epok uczena, racamy do kroku 3 8 Jeśl błąb łąd d całe epok est ększy od założonego, onego, racamy do kroku 3 4

15 3 Reguła a delta - podsumoane Cechy algorytmu uczena opartego na regule delta: Stosoana metoda spadku gradentu est heurystyką ne garantue znalezena optymalne konfgurac ag sec (lokalne mnma!) Współczynnk prędko dkośc uczena ma znaczący cy pły na przebeg procesu uczena Losoe artośc początkoe ag róner neż płya yaą na przebeg procesu uczena Poprak oblczane sąs dla każde ag nezależne Uczene sę przebega elu krokach ymaga elokrotnego propagoana przez seć danych z poszczególnych przykład adó Własnośc prostego perceptronu - klasyfkaca 32 Interpretaca grafczna prostego perceptronu o dóch eścach: y = + x + 2 = 2 y> y< W probleme bnarne klasyfkac poedynczy neuron mplementue grancę mędzy klasam decyzynym postac (hper)p( hper)płaszczyzny opsane rónanem: r n x x 5

16 33 Proces uczena sę klasyfkac W trakce uczena sę prosty perceptron manerue płaszczyzną celu oddzelena od sebe przykład adó z różnych klas = = =3 =647 x Podstay teoretyczne sec neuronoych 34 Terdzene Rosenblatta: Proces uczena perceptronu est zbeżny Perceptron może e nauczyć sę doolnego lnoo separoalnego problemu klasyfkac 6

17 35 Problemy klasyfkac Praktyczne problemy uczena mogą meć różną charakterystykę: x Problem lnoo separoalny x Problem lnoo neseparoalny Poedynczy neuron może e oddzelć od sebe tylko take klasy decyzyne, mędzy którym możle est poproadzene grancy postac (hper)p( hper)płaszczyzny 36 Znaczene basu Bas - aga przypsana progo aktyac tg b y = + x + 2 = 2 2 x = -( / 2 )x - ( / 2 ) y = a*x +b a = -( / 2 ) b=-( / 2 ) dla = zasze b= Istnene basu est koneczne, eśl możly ma być podzał dóch całkoce doolnych klas lnoo separoalnych 7

18 Uczene poedynczego neuronu nelnoego 37 Proces uczena neuronu nelnoego róner neż opera sę na regule spadku gradentu: E E E y Δ, y ale pochodna yśca po adze zmena są postać z poodu nelnoego charakteru funkc aktyac: y y e e Wemy, że e z defnc błęb łędu E oraz pobudzena e mamy: E y e x Reszta zależy y od ybrane funkc aktyac y=f (e) Uczene poedynczego neuronu nelnoego 38 Pochodna funkc sgmodalne zględem pobudzena: y f ( e) ( exp( e)) exp( e) y 2 ( )( exp( e)) *exp( e)*( ) e exp( e) exp( e) * 2 ( exp( e)) ( exp( e)) ( exp( e)) exp( e) * ( exp( e)) ( exp( e)) ( exp( e)) y y ( y ) e 8

19 Uczene poedynczego neuronu nelnoego 39 Ostateczne reguła a spadku gradentu nakazue poprakę ag neuronu nelnoego (sgmodalnego( sgmodalnego) ) zgodne z formułą łą: y Δ x x y ( y ) e Reguła a delta neuronu nelnoego różn sę członem y(-y),, ynkaącym z proadzone nelnoośc, który zększa poprak tym mocne m blże przykład znadue sę płaszczyzny decyzyne realzoane przez neuron 4 Problem XOR, x XOR(x, ), x Funkc XOR ne może e zostać odzoroana za pomocą poedynczego lnoego neuronu, gdyż potrzebna est ęce nż edna płaszczyzna p decyzyna by oddzelć od sebe de klasy ynkoe 9

20 Układy logczne a sec neuronoe 4 Implementaca podstaoych funkc logcznych za pomocą neuronó prostych z funkcą skokoą aktyac: - =5 = x 2 = AND _ y - =-49 x =- NOT _ y y = x y = -x =5 x = OR 2 = y = x _ y x AND OR x NOT Seć eloarstoa dla funkc XOR 42 Problem odzoroana funkc XOR można roząza zać edyne stosuąc c ęce nż edną arstę sec: y = x XOR = ((x AND NOT ) OR ( AND NOT x )) - =5 x 2 =- 3 =- = 4 = - =5 y = x AND NOT AND NOT y 5 = 6 = y 2 y 2 = -x =5 y = y + y 2-5 OR y x y y 2 XOR 2

21 Problem XOR: rozązane zane 43, AND NOT x y 2 = -x + - 5,,, x y = x x AND NOT Odzoroane funkc XOR est połą łączenem prostych odzoroań z arsty persze bardze złożone z one odzoroane zrealzoane dzęk arste druge 44 Seć eloarstoa x x 3 x k arsty ukryte arsta eścoa arsta yścoa W ramach edne arsty neurony ne komunkuą sę ze sobą Pomędzy arstam oboązue zasada każdy z każdym dym 2

22 45 Uczene sec eloarstoe Zastosoane reguły y delta: y Δ x z y e obec neuronó arsty, która ne est yścoa (ukryte) ymaga następu puące zmany sposobu oblczana błęb łędu przy prezentac -tego przykładu: N l ( k, l ) k ( p, l) ( p, l) p gdze ndeksy (k,l) dotyczą k-tego neuronu arste l-te, zaś N l+ to lczba neuronó l+-te arste sec 46 Uczene sec eloarstoe Reguła a yznaczana błęb łędu neuronu sec eloarstoe: Interpretaca: N l ( k, l ) k ( p, l) ( p, l) p Błąd d neuronu arste l-te est róny r sume błęb łędó popełnonych przez neurony z arsty l+-te, ażonych agam ake łącz czą dany neuron z neuronam arsty l+-te 22

23 47 Uczene sec eloarstoe Ilustraca grafczna reguły y yznaczana błęb łędu : N l ( k, l ) k ( p, l) ( p, l) p (,l ) (, l) (2, l) (, l ) (2,l ) ( 2, l ) (3,l ) ( 3, l ) arsta l arsta l+ Algorytm steczne propagac błędu 48 procedure backpropagaton(zbór przykład adó D) begn ncalzaca ag sec małym artoścam losoym; repeat for each xd propagaca x przez seć aż do yśca; porónane ektora yść y z pożą żądanym ynkem z oraz yznaczene błęb łędó ; steczna propagaca błęb łędu przez arsty ukryte t do arsty ostatne, przedostatne td; modyfkaca ag każdego neuronu sec stosoane do popełnonego błęb łędu; endfor Wyznaczene błęb łędu średnokadratoego E po szystkch przykładach untl E < E stop or nny_ar_stopu 23

24 49 Uczene sec eloarstoe x x k h h 2 h N2 - ( p,2) - arsta eścoa arsta ukryta ( p,3) y y 2 y N3 arsta yścoa z z 2 z N3 5 Uczene sec eloarstoe x x k h h 2 h N2 - ( p,2) - Dany est zbór D przykład adó: x,z Losuemy ag (małe e artośc) Wyberamy koleną parę ze zboru D Oblczamy artośc arste ukryte: hp, p N k 2 exp ( p,2) x y y 2 y N3 ( p,3) z z 2 z N3 24

25 5 Uczene sec eloarstoe x x k h h 2 y y 2 h N2 y N3 z z 2 z N3 - ( p,2) - ( p,3) Dany est zbór D przykład adó: x,z Losuemy ag (małe e artośc) Wyberamy koleną parę ze zboru D Oblczamy artośc arste ukryte: hp, p N k 2 exp ( p,2) x Oblczamy artośc arste yścoe: y p N2 exp ( p,3), p N3 h 52 Uczene sec eloarstoe x x k h h 2 y y 2 h N2 y N3 - ( p,2) ( p,3) Dany est zbór D przykład adó: x,z Losuemy ag (małe e artośc) Wyberamy koleną parę ze zboru D Oblczamy artośc arste ukryte: h p Oblczamy artośc arste yścoe: y p - Oblczamy błąb łąd d arste yścoe: ( p,3) z p y p p, N 3 z z 2 z N3 25

26 53 Uczene sec eloarstoe x x k h h 2 y y 2 h N2 y N3 z z 2 z N3 - ( p,2) ( p,3) Dany est zbór D przykład adó: x,z Losuemy ag (małe e artośc) Wyberamy koleną parę ze zboru D Oblczamy artośc arste ukryte: h p Oblczamy artośc arste yścoe: y p - Oblczamy błąb łąd d arste yścoe: ( p,3) z p y p p, N Oblczamy błąb łąd d arste ukryte: N3 (,2) ( p,3) ( p,3), p 3 N 2 54 Uczene sec eloarstoe x x k h h 2 y y 2 h N2 y N3 - ( p,2) - ( p,3) Dany est zbór D przykład adó: x,z Losuemy ag (małe e artośc) Wyberamy koleną parę ze zboru D Oblczamy artośc arste ukryte: h p Oblczamy artośc arste yścoe: y p Oblczamy błąb łąd d arste yścoe: ( p,3) Oblczamy błąb łąd d arste ukryte: (,2) Korekta ag dla arsty yścoe: h y ( y ) Δ ( p,3) ( p,3) p p 26

27 55 Uczene sec eloarstoe Dany est zbór D przykład adó: x,z Losuemy ag (małe e artośc) Wyberamy koleną parę ze zboru D Oblczamy artośc arste x x k - ukryte: h p Oblczamy artośc arste yścoe: h y h 2 y 2 h N2 y N3 ( p,2) - ( p,3) y p Oblczamy błąb łąd d arste yścoe: ( p,3) Oblczamy błąb łąd d arste ukryte: (,2) Korekta ag dla arsty yścoe: Δ ( p,3) Korekta ag dla arsty ukryte: x h ( h ) Δ ( p,2) (,2) p p 56 Uczene sec eloarstoe Dany est zbór D przykład adó: x,z Losuemy ag (małe e artośc) Wyberamy koleną parę ze zboru D Oblczamy artośc arste x x k - ukryte: h p Oblczamy artośc arste yścoe: h y h 2 y 2 h N2 y N3 ( p,2) - ( p,3) y p Oblczamy błąb łąd d arste yścoe: ( p,3) Oblczamy błąb łąd d arste ukryte: (,2) Korekta ag dla arsty yścoe: Δ ( p,3) Korekta ag dla arsty ukryte: Δ ( p Konec epok,2) 27

28 Cechy algorytmu steczne propagac błędu 57 Błędne dobrane artośc początkoe ag mogą utrudnać bądź unemożla lać zbeżno ność algorytmu Modyfkaca ag zasze poprzedzona est propagacą błędu do arsty poprzedne Błąd d popełnany przez neuron ne ma płyu na ego sąsadó z te same arsty Proces uczena ma charakter teracyny - eden przebeg po zborze uczącym cym nazyamy epoką Duża a złożonoz oność oblczenoa - przy m agach oraz n przykładach mamy do polczena m*n popraek Cechy algorytmu steczne propagac błędu 58 Zmany ag maą lokalny charakter - algorytm każdym kroku dostraa e do ednego przykładu Uczene ma charakter przyrostoy - zasze stnee możlo lość douczena sec na noych przykładach Algorytm est rażly na koleność prezentoana przykład adó Istnee ele arantó algorytmu steczne propagac, które maą za zadane przyśpeszy peszyć proces uczena lub poprać ego efekty (np( np steczna propagaca z członem momentum,, algorytm zmenne metryk, algorytm Levenberga-Marquardta n) 28

29 Efekt przeuczena sec neuronoych - przyczyny 59 Zbór r przykład adó D,, choć (z założena) reprezentatyny ngdy ne zaera pełne nformac o uczone funkc Istnee neskończene ele macerzy ag W,, dla których artość błędu E(W,D) osąga globalne mnmum Tylko nelczne konfgurace ag odpoadaą mnmum błęb łędu całe dzedzne uczone funkc dla przykład adó spoza zboru uczącego cego otrzymany ynk cale ne mus być optymalny (nny zbór r testuący) 6 Efekt przeuczena sec neuronoych błąd d E zbór r testuący zbór r uczący cy epok Zasko przeuczena może e być spoodoane zbyt długm uczenem sec Zatrzymane procesu uczena odpoednm momence pozala zachoać e zdolność do generalzac edzy 29

30 6 Uczene nenadzoroane sec Celem uczena nenadzoroanego est ykryane penych regularnośc danych uczących cych Dane prezentoane sąs ako ektory atrybutó (zmennych) nezależnych nych x,, ale pozbaone sąs nformac o pożą żądanym yścu sec Formalne mamy zatem zbór n przykład adó (zbór D), lecz bez atrybutu decyzynego postac: x, n Z punktu dzena analzy danych mamy do czynena z zadanem grupoana (analzy skupeń) 62 Uczene nenadzoroane sec Reguła Hebba: Jeżel el przesyłane sygnałó mędzy doma połą łączonym neuronam poodue ch spóln lną aktyność ść,, to należy zększy kszyć artość ag mędzy nm g zasady: h y h 2 y 2 h M y N k Δ h k Welkość zmany ag ponna być proporconalna do loczynu sygnału u chodzącego cego do neuronu (z tąt agą) ) sygnału ychodzącego cego z neuronu Reguła Hebba może e przyąć różną postać różnych r secach k y 3

31 63 Sec Hopfelda Seć ednoarstoa z lczbą neuronó rónr ną lczbe składoych ektora eścoego Seć rekurencyna Pełne połą łączena neuronó każdy z każdym dym Wszystke neurony sec pełn ną rolę zaróno eść ść, ak yść Neurony przetarzaą sygnały y bpolarne {-;}{ Skokoa funkca aktyac Rodza autoasocacyne pamęc - służy y do rozpoznaana yuczonych cześne zorcó 64 Sec Hopfelda: : algorytm Faza nauczana: yznaczene a pror artośc ag sec oparcu o zbór r przykład adó (zorcó) ) Faza rozpoznaana (odtarzana): cyklczna propagaca sygnałó przez seć dla noych danych eścoych aża do uzyskana stanu stablnego 3

32 65 Uczene sec Hopfelda x x 3 y y 2 y 3 Wag sec torzą macerz kadratoą o boku k rónym lczbe składoych zorca Macerz est symetryczna z yzeroanym agam na głóne przekątne, czyl: mn = nm oraz nn = Dla zboru N przykład adó (zorcó) ) uczene ag opera sę na formule: mn N (2x m )(2 x n ) m n 66 Uczene sec Hopfelda Przykład Wzorzec 5-elementoy 5 x =( ) Dla ednego zorca oblczena macerzy: mn N (2x 2 = (2x - )(2 - ) = ( - )(2 - ) = (-)()( = - 3 = (2x - )(2x 3 - ) = ( - )(2 - ) = (-)()( = - 4 = (2x - )(2x 4 - ) = ( - )( - ) = (-)(( )(-) = 5 = (2x - )(2x 5 - ) = ( - )(2 - ) = (-)()( = = (2 - )(2x 3 - ) = (2 - )(2 - ) = ()() = 24 = (2 - )(2x 4 - ) = (2 - )( - ) = ()(-) = - 25 = (2 - )(2x 5 - ) = (2 - )(2 - ) = ()() = = (2x 3 - )(2x 4 - ) = (2 - )( - ) = ()(-) = - 35 = (2x 3 - )(2x 5 - ) = (2 - )(2 - ) = ()() = 45 = (2x 4 - )(2x 5 - ) = ( - )(2 - ) = (-)()( = - m )(2 x n ) W oraz sproadzą sę do postac: ( 2x )(2 x ) mn m n 32

33 67 Uczene sec Hopfelda Przykład cd Koleny zorzec =( ) Zamast yznaczać kolene yrazy mn macerzy W po szystkch zorcach od razu, można yznaczyć naper nezależne dla każdego przykładu macerz W a następne szystke macerze zorcó zsumoać ze sobą: 2 W 2 W W Faza odtarzana: aktualzaca sec Hopfelda x x 3 y y 2 y 3 Propagaca sygnału u przez seć dla noych danych przypomna zasadę znaną z prostego perceptronu: k gdy n mnxn x n m m przecnym przypadku Ze zględu na rekurencyną topologę sec zmana yołana przez dane na e eścu może e ymagać elu cykl oblczeń zanm osągne ona stan stablny 33

34 Faza odtarzana: aktualzaca sec Hopfelda 69 Aktualzaca stanu sec zapoczątkoana noym ektorem eścoym odbya sę synchronczne albo asynchronczne Synchronczna aktualzaca: oblczamy rónoczer nocześne ne stany yścoe szystkch neuronó dla ne zmenaącego sę chloo stanu eścoego Asynchronczna aktualzaca: yznaczamy sekencyne stany yścoe neuronó edług losoe kolenośc, propaguąc c każdorazoo zmanę na eśce sec Seć osąga stan stablny kedy propagaca sygnału przez seć ne spoodue zmany na yścu stosunku do eśca dla żadnego z neuronó Faza odtarzana: aktualzaca synchronczna 7 Przykład cd 2 Zbór r zorcó: : 2 x =( ) 2 =( ) W W 2 2 Wektor eścoy: v=( ) Wyśca sec (teraca ): x = k n= n v n =*+(-2)*+*+*+*= 2)*+*+*+*=-2 f skok (-2)= = k n= 2n v n =(-2)*+*+*+*+*= f skok ()= x 3 = k n= 3n v n =*+*+*+(-2)*+2*= f skok ()= x 4 = k n= 4n v n =*+*+(-2)*+*+( 2)*+*+(-2)*= 2)*=-4 f skok (-4)= x 5 = k n= 5n v n =*+*+2*+(-2)*+*= 2)*+*= f skok ()= Noym stanem na eścu będze: b x=( ) zmana! 34

35 Faza odtarzana: aktualzaca synchronczna 7 Przykład cd W W Wektor eścoy (noy): v =( ) 2 2 Wyśca sec (teraca 2): x = k n= n v n =*+(-2)*+*+*+*= 2)*+*+*+*=-2 f skok (-2)= = k n= 2n v n =(-2)*+*+*+*+*= f skok ()= x 3 = k n= 3n v n =*+*+*+(-2)*+2*=2 f skok (2)= x 4 = k n= 4n v n =*+*+(-2)*+*+( 2)*+*+(-2)*= 2)*=-4 f skok (-4)= x 5 = k n= 5n v n =*+*+2*+(-2)*+*=2 2)*+*=2 f skok (2)= Potórzene stanu ( ) - konec oblczeń! Faza odtarzana: aktualzaca asynchronczna 73 Przykład cd 2 Inny ektor eścoy: 2 2 v=( ) W W 2 2 Losoe permutace neuronó: 2,4,3,5,, 2,4,3,5,, 2,4,3,5,, Wyśca sec: = k n= 2n x n =-2 f skok (-2)= noy stan: ( ) zmana! x 4 = k n= 4n x n =-4 f skok (-4)= noy stan: ( ) zmana! x 3 = k n= 3n x n =2 f skok (2)= noy stan: ( ) x 5 = k n= 5n x n =2 f skok (2)= noy stan: ( ) x = k n= n x n = f skok ()= noy stan: ( ) = k n= 2n x n =-2 f skok (-2)= noy stan: ( ) x 4 = k n= 4n x n =-4 f skok (-4)= noy stan: ( ) konec (brak zman!) 35

36 Przykład zastosoana sec Hopfelda 74 Problem: Rozpoznaane zorcó obrazó cyfr dzesętnych rozdzelczośc: c: pksel Parametry sec: Lczba neuronó: Lczba połą łączeń: : 495 Wynk dla 4 zorcó: : poprane rozpoznaane obrazó zaszumonych % Poyże 2% szumu nełaśce rozpoznaane Przykład zastosoana sec Hopfelda 75 Parametry sec: ta sama seć Wynk dla zorcó szystkch cyfr: nepoprane rozpoznaane obrazó zaszumonych uż % 36

37 Seć Hopfelda ako pamęć asocacyna 76 stan eścoy x x 3 zorce Dzałane ane sec o charakterze pamęc autoasocacyne opera sę na podanu sygnału u eścoego (mpulsoo) sobodne relaksac sec do stanu stablnego nablższego stano ncuącemu cemu Osągn gnęty stan nterpretuemy ako skoarzony z eścoym bodźcem yuczony zorzec z pamęc Seć Hopfelda ako pamęć asocacyna 77 Przykład x 3-2 x Aktyaca asynchronczna każdego neuronu poodue albo pozostane tym samym stane albo prześce do stanu oddalonego o (g odległośc Hammnga) Nr x Stan Wektor x 3 Nr stanu po aktyac neuronu:

38 Seć Hopfelda ako pamęć asocacyna 78 Dynamka sec - dagram prześć stanó Nezależne od stanu początkoego dzałane ane sec zbegne sę do stanu stablnego reprezentuącego eden z zapamętanych zorcó (3 lub 6) 79 Własnośc sec Hopfelda Pamęć asocacyna nformace zareestroane pamęc sąs dostępne po podanu na eśce nformac skoarzone, selekconuące ce eden z zapamętanych zorcó na drodze asocac Brak ścsłe lokalzac zareestroane nformac rozproszona reprezentaca postac zorca aktyac całe sec Rozproszone asynchronczne steroane każdy element sec dzała a oparcu o lokalne dane Duża a toleranca na błęb łędy nełaśce funkconoane nektórych elementó sec ne degradue e dzałana ana Ogranczona poemność pamęc dla N neuronó max N/(2logN) zorcó 38

39 8 Uczene nenadzoroane sec Nebezpeczeństa uczena nenadzoroanego: Wolneszy proces uczena porónanu z algorytmam nadzoroanym Trudno skazać,, który neuron yspecalzue sę rozpoznaanu które klasy danych Nełata nterpretaca ynkó dzałana ana sec Brak penośc co do faktu czy seć rozpoznała szystke zorce prezentoane poprzez dane Potrzeba stosoana zdecydoane bardze złożone z one budoy sec nż metodach nadzoroanych (mne ęce trzykrotne ęce neuronó arsty yścoe nż spodzeane lczby klas) Czego ne potrafą sec neuronoe Przetarzane symbolczne: Operace edytorske na tekstach Procesory yrażeń algebracznych Przetarzane numeryczne z ysokm ymagana odnośne ne precyz oblczeń: Rachunkoość ść,, ksęgoo goość,bankoość Oblczena nżynerske (konstrukcyne) Weloetapoe procesy o charakterze mentalnym Pradzość ść/fałszyość sekenc sterdzeń logcznych Doodzene terdzeń Wnoskoane eloetapoe (systemy ekspercke) Planoane dzałań 39