Pla wkładu Sec rekurece: Wkład 9: Sec rekurece Se Hammga Se tpu BAM Se RRN Se Elmaa Małgorzata Krtowska Katedra Oprogramowaa e-mal: mmac@.pb.balstok.pl Se Hopfelda Włacwoc: weca to wca ch euroów brak własego sprzea zwrotego smetrcze wag (W W rb prac uczea odtwarzaa pam asocaca Sec Hopfelda w praktce Fukca eerg zadaa optmalzac 3 4
Se Hammga Se Hammga Rozwce sec Hopfelda Struktura trówarstwowa: warstwa perwsza: edokerukowa z przepłwem sgałów od weca do wca warstwa druga: MAXNE - euro połczoe sprzeem zwrotm kad z kadm ISNIEJE NIEZEROWE SPRZENIE NEURONU Z WŁASNYM WYJCIEM wag eurou w warstwe MAXNE s stałe warstwa trzeca: edokerukowa Zasada dzałaa ako asfkatora wektorowego: mmalzaca odległoc Hammga wektora testowego podaego a wece sec od wektorów reprezetucch wzorce uczce, zakodowae w strukturze sec Reprezetue pam heteroasocac: pamta par (,, prz czm est wektorem wecowm, a - wektorem wcowm [- - - ] [ - - ] 5 6 Pam heteroasocaca Heteroasoscaca - se zapamtue koarz par obrazów awet zekształco obraz wecow moe wwoła włacw heteroasocac a wcu (heteroasocaca obemue problem asfkac Se Hammga - zasada dzałaa zbór dach uczcch ( (, (,,,..,p; M - wzorców wcowch warstwa I: 3 p euro warstw I okrela odległo Hammga pomdz podam wektorem wecowm a kadm z p zakodowach wzorców (. MAXNE: 3 p euro w warstwe MAXNE wkrwa wektor o amesze odległoc Hammga, ustalac as, do które ale wektor wecow ( warstwa III: 3 M euro warstw wcowe odtwarza wektor stowarzszo z dam wektorem wecowm 7 8
Se Hammga -calzaca wag zbór dach uczcch ( (, (,,,..,p; M - wzorców wcowch N ( ( ( w w w N w,,,..., p warstwa I: p ε ε ε ε ( m MAXNE: w ε (; p p ( w w w ε ε M warstwa III: ( ( M w,,,..., M 9 Se Hammga - dzałae wartoc sgałów we wszstkch wzłach układu s rówe, za wtkem wzłów wecowch, do którch został poda wektor testuc wartoc sgałów wecowch s dostarczae poprzez wag w ( do euroów warstw perwsze oblczace odległoc Hammga od odpowedch wektorów wzorcowch (,,,..,p. wartoc sgałów wcowch euroów warstw I s wlczae ako: ˆ w ( + d H ( (, gdze d H ( (, - odległo Hammga mdz wektorem a (, czl lczb btów, o które ró s oba wektor. ˆ (; ( ( w p. p. Se Hammga - dzałae ŷ po okreleu wartoc wektor wecow zostae usut z weca sec, a sta euroów ŷ sta s staam pocztkowm ( euroów warstw MAXNE Se Hammga - dzałae euro aktw stae s zwczc poprzez wag w ( euroów warstw wcowe odtworz wektor ( stowarzszo z wektor ( uzam przez MAXNE za ablsz wektorow wecowemu. Zadaem euroów warstw MAXNE est włoee zwczc, czl eurou, którego pobudzee est ablsze wartoc. Neuro tak wskazue a wektor wzorcow o amesze odległoc Hammga od wektora wecowego. Rekurec proces właaa zwczc: ( m ( k f w ( k f ( proces terac ko cz s gd sta euroów przestae ulega zmaom tlko ede euro est aktw dla dla < WNIOSKI: se Hammga dae lepsze rezultat se Hopfelda zalet sec Hammga est dua oszczdo połcze wagowch mdz euroam: p. dla sec o wecach koduce róch as wektorów, se Hopfelda wmaga połcze. Se Hammga ( wag w warstwe perwsze wag w MAXNE, warstwa wcowa e wstpue, poewa se Hopfelda est autoasocaca
Zbór uczc [,,,,-,-,,,] Przkład Elemet testow Se Hammga: 3 elemet w warstwe wecowe 3 euro w warstwe MAXNE ε. < / Przkład [-,,-,-,,-,-,,-] [,,,,,,,,] Dzałae: warstwa perwsza d H 6 4,777 ŷ,333,555 3 [,,, -,,-,-,,-],46 dla k3 ( 4 3 otrzmuem: Wosek: se stwerdzła amesz odległo Hammga obrazu testowego od 3 wzorca 4 Se tpu BAM (ag. Bdrectoal Assocatve Memor Cech charakterstcze: Uogólee sec Hopfelda a dwuwarstwow struktur rekurec Umolwa zakodowae zborów wektorów wzaeme stowarzszoch dwukerukow przepłw sgałów: od weca do wca z powrotem schrocz trb prac: w edm cu przepłw sgałów astpue w ed stro, okrelae s sta euroów odborczch, po czm w astpm cu euro te sta s ródłem wsłacm sgał w stro przecw c powtarza s, a do ustalea stau rówowag fukca aktwac euroów est tpu skokowego 5 Se tpu BAM - dzałae Zakładam, e wecowe dae uczce, s dae w postac m par bpolarch (,, - wmar wektora, m - wmar wektora RYB UCZENIA: Według Kosko, macerz wag est wzaczaa ze wzoru ( macerz korelac: RYB ODWARZANIA: w p zakładam, e sta pocztkow sec bł zada w postac par (,. proces dwukerukowego przetwarzaa sgałów: f( w -> f( w -> f( w -> f( w 3 ->... f( f w f ->f( f w f w wku procesu geerowae s dwe stable welkoc f f, staowce sta ustalo sec. 6
Se tpu BAM - dzałae Przkład dzałaa sec kademu puktow poredemu procesu ( k, k moa przporzdkowa fukc eergetcz E k zdefowa ako: E w k udowodoo, e kolea zmaa stau w procese eustalom powodue zmeszae s wartoc fukc eerg, a do osgca e mmum lokalego, w aszm przpadku: k czl kade e rozwzae odległe awet o w sese mar Hammga od ( f, f bdze s charakterzowało zwkszo wartoc eerg k E f w f m prz spełeu pewch dodatkowch waruków para ( f, f est edz par uczcch, abardze podob w sese mar Hammga do zadae par (, 7 Przkład dzałae sec BAM: a zapamtae asocace; b czter krok odtwarzaa par (a (4, b (4 (d H odpowedo ; 4;; 4 8 Poemo pamc BAM: p Se tpu BAM - poemo m(, m Lczba zbech procesów odcztu pamc BAM w zaleoc od zekształce wektorów wecowch dla róch lczb wektorów wzorcowch (5; m9 9 Modfkace sec BAM wkazao, e el eerga stowarzszoa z -t par uczc e tworz mmum lokalego to para uczca (, e moe b odtworzoa przez se awet wówczas, gd wartoc startowe s rówe (, BAM geerue złe wk, eel w procese uczea uczestcz par dach epodobe do sebe p. gd podobe wektor s stowarzszoe z epodobm wektoram, czl e est speło waruek: d H (, dh (, Modfkaca reguł Kosko umolwaca odtworzee wektorów (,, ezalee od tego cz tworz oe mmum: W p + ( q modfkaca ta est rówowaa zwelokroteu ((q- raz udzału par (, w procese uczea (dobór q est uczow. Modfkaca dotcz par e spełacch waruku mmum fukc eergetcze.
Modfkace sec BAM Se euroowa tpu RRN (ag. Real me Recurret Network se przetwarzaca sgał w czase rzeczwstm Lczba stablch wektorów zapamtach w pamc dwukerukowe w zaleoc od ch lczb: kodowae kowecoale; wektor upolare; kodowae welokrote; upolare; 3 kowecoale; bpolare; 4 welokrote; bpolare Cech charakterstcze: lczba euroów w sec m ( M euroów wcowch Km-M ukrtch kad euro tworz sprzee zwrote, prz czm sgał zwrote s opóoe o ede takt zegara N we zewtrzch Se RRN - zasada dzałaa Se RRN - algortm uczea Nech ( ozacza N-elemetow zewtrz wektor wmuszac poda w chwl, a (+ - odpowadac mu wektor sgałów wcowch wszstkch euroów w chwl (+ wektor ( opóo o ede c wektor ( tworz wektor wmuszac v( staowc pobudzee dla euroów v([ (,..., N (, (,..., m (] w chwl -t euro wtwarza sum wagow: w astpe chwl est oblcza sgał wcow eurou ako (+f(u ( f - fukca aktwac eurou ( z reguł sgmodala ZAŁOENIE: sta euroów zmea s w takt zegara est przesuce w faze mdz pobudzeem eurou a sgałem wcowm t. pobudzee ( e ma wpłwu a sta euroów a do chwl (+. u w v 3 algortm gradetow mmalzuc warto błdu kwadratowego mdz wartocam dam a wcu d ( a wartocam aktualm ( wgeerowam przez se. Błd chwlow celem uczea est tak dobór wag sec, któr zmmalzue warto fukc celu E t zdefowa ako suma błdów chwlowch po wszstkch chwlach E( M e d dla,,.., M e w p. p. t E E( 4
Se RRN - algortm uczea Rekureca se Elmaa Dla kade chwl (,,,.. ale okrel sta wszstkch m euroów. Na te podstawe moa wzacz wektor v( staowc pobudzee dla euroów w chwl. Wartoc pocztkowe wag przmue s losowo zakładac rozkład rówomer. Okrel wartoc R dla odpowedch wskaków k,l, gdze R (, B - zbór deksów, dla którch pobudzeem est sta poprzed, δ, gd k w p.p. Uaktualee wag odbwa s według zaleoc: M w ( + w + η e R powrót do pkt. dla astpe wartoc. R ( + f ' ( u w ( R + δ vl B 5 Se Elmaa: a posta ogóla; b układ połcze se czcowo rekureca o strukturze dwuwarstwowe sprzee zwrote dotcz tlko warstw ukrte euro warstw wcowe s połczoe tlko z euroam warstw ukrte (przepłw sgałów edokerukow kad euro ukrt ma swego odpowedka w tzw. warstwe kotekstowe 6 Se Elmaa - damka Ozaczac: - wektor wmuszac (R N v - sta euroów ukrtch (R k - sgał wcowe (R M ogóle rówae elowe sstemu moa przedstaw w postac: v( + f ( w ( vv v(, w ( prz czm f( - wektor fukc aktwac euroów, w ( - macerz wag warstw wcowe, w ( - macerze wag warstw ukrte skoarzoe odpowedo z wektoram v oraz. ( v ( ( + f ( w v( + Wkorzstae: w skomplkowach problemach ak przetwarzae szeregów czasowch, w tm dwków mow. 7