Sieci rekurencyjne. Jacek Bartman

HTML
DOWNLOAD

Wielkość: px

Rozpocząć pokaz od strony:

Download "Sieci rekurencyjne. Jacek Bartman"

Amelia Kaczmarczyk
6 lat temu
Przeglądów:

1 Sec rekurencyne

2 Sec rekurencyne Charakteryzu s: stnenem sprze zwrotnych mdzy wecem, a wycem, dwukerunkowym nformac, przepywem wystpowanem w ch pracy przebe dynamczne Do naczce spotykanych sec rekurencynych nale sec Hopfelda, maszyna Boltzmana, sec BAM (Bdrectonxl Assocxtve Memory), sec ART (Adaptve Resonance Theory).

3 Sec rekurencyne ednowarstwowa W ukadach bolocznych neurony ma slne sprzena zwrotne. Zamknce ptl sprzena zwrotneo powodue, e se stae s dynamczna synay na e wycu zale od: aktualneo stanu we stanu sec (który zaley od we wczeneszych) lub nnym sowy welowarstwowa stanu pocztkoweo podanych pó3ne pobudze

4 Sec rekurencyne znadu zastosowane do rozwzywana problemów optymalzacynych oraz ako pamc skoarzenowe (asocacyne). Pam skoarzenowa (asocacyna) est ednym z podstawowych atrybutów ludzkeo mózu. Ma dwe stotne cechy: nformace zareestrowane w pamc asocacyne mo by dostpne poprzez podane na we$cu systemu nformac skoarzone, $lad pamcowy, zwany enramem, ne ma w pamc asocacyne $c$le lokalzac - ka'da zareestrowana nformaca zlokalzowana est w stoce w ca(e pamc, na zasadze kolektywneo dza(ana wszystkch e elementów.

5 Pam asocacyna pe(n funkc uk(adu reprezentuceo wzaemne skoarzena wektorów. W przypadku, dy skoarzone wektory dotycz tych samych sk(adnków teo sameo wektora, mówmy o pamc autoasocacyne (se Hopfelda). Gdy skoarzone s dwa ró'ne wektory mo'na mów o pamc typu heteroasocacyneo (se Hammna, se BAM). Podstawowym zadanem pamc asocacyne est zapamtane zboru próbek we$cowych (uczcych) w tak sposób, aby przy prezentac nowe próbk uk(ad mó( wyenerowa odpowed., która dotyczy bdze edne z zapamtanych wcze$ne próbek, po(o'one nabl'e próbk testuce.

6 Nabardze znanym secam rekurencynym s: se Hopfelda, se BAM (Bdrectonal Assocxtve Memory) rzadze spotyka s: se Hammna se RTRN (Real Tme Recurrent Network), se Elmana (o uproszczone strukturze rekurenc), se RCC (Recurrent Cascade Correlaton)

7 Se Hopfelda Za(o'ena: wszystke neurony s ze sob po(czone (fully connected network) waam synaps w. macerz wa po(cze7 est symetryczna, W W. - symetra est wyodna z teoretyczneo p. wdzena, pozwala wprowadz f. ener; est nerealstyczna z boloczneo p. wdzena. wy$ce neuronu ne est kerowane na eo we$ce W Brak podza(u na warstwy.

8 Alorytm dzaana sec Hopfelda Wyberamy losowo neuron. Oblczamy wa'on sum po(cze7 do aktywnych ssadów. ( k ) w x ( k ) Je'el suma est dodatna to neuron s aktywue, w przecwnym przypadku dezaktywue. dy u k > dy u lub y ( k + ) y ( k ) dy u ( k ) y ( k + ) y k dy u dy u ( k ) < dy u Losuemy koleny neuron postpuemy wed(u alorytmu, a' do uzyskana stanu stablneo. Proces nazywa s równole( relaksac. u ( ) N b ( k ) ( ) ( k ) ( k ) > <

9 Funkca ener Podczas pracy w dane chwl aktualzue s wy$ce tylko edneo neuronu Aktualzaca zawsze prowadz do obn'ena funkc ener (f. Lapunowa): E N N ( x) w + yy N b y w dane chwl zmena s stan tylko edneo neuronu (np.: p-teo): E N ( y ) w p y p y + b p y p Zmana warto$c funkc ener wynos E k E y k + E y k y k ( ) ( ( )) ( ( )) ( ) u ( k ) e$l u p to y p ne mo'e zmale, wc enera zmalee; e$l u p < to y p <, enera równe' zmalee. Osnce mnmum funkc ener oznacza, 'e se znalaz(a s w stane stablnym (ne mus to by mnmum lobalne) p p

10 Atraktory Stany stablne, odpowadace mnmum funkc ener, nazywa s atraktoram. Atraktory mo'na porówna do nan'szych punktów w dolne, a doln nazwa necka przycana atraktora (atraktory punktowe - tylko dla symetrycznych po(cze7). O lczbe rodzau atraktorów oraz charakterze funkc ener decydue dobór wa po(cze7 mdzy neuronam Stany stablne: mnma lokalne E(W) odpowadace pamtanym wzorcom

11 Sec ART (Adaptve Resonance Theory) Jedn z wacwoc mózu est umetno zapamtywana nowych obrazów bez zanku zdolnoc rozpoznawana obrazów poznanych wczene. Wkszo przedstawonych metod uczena sec neuronowych maa t wad, e wprowadzene do nauczone u sec nowych obrazów wymaa powtórzena procesu uczena s przy pomocy wzorów poprzednch nowych. Oranczane s edyne do nowych wzorów powodue zapomnene wzorów poprzednch Problem ten rozwzany zosta w secach ART. Autoram prac dotyczcych Adaptacyne Teor Rezonansu, które s podstaw dzaana sec rezonansowych ART s Carpenter Grossber.

12 Rodzae sec ART ART - operu na obrazach bnarnych ART - na obrazach cych ART3 - zapewna wksz stablno w porównanu z sec ART

13 Budowa sec rezonansowych Sec rezonansowe ART skada s z: dwóch warstw: dolne (we$cowo-porównuce) órne wy$cowo-rozpoznawcze) warstwa órna wa óra dó( wa dó(-óra warstwa dolna uk(adu orentac, uk(adu kontrolneo Obe warstwy s poczone dwoma ukadam pocze ednokerunkowych: od warstwy dolne do órne o waach o waach w (na rysunku na czarno) od warstwy órne do dolne o waach v (na rysunku na czerwono)

14 Dzaane sec rezonansowe W perwsze, wecowe warstwe (dolne), przechowywany est obraz wecowy. Drua warstwa, wycowa (órna) odpowada za wskazane klasy, do które klasyfkue s ksztat wecowy. W warstwe te tylko eden z neuronów ma stan edynk. Natomast wszystke pozostae s wyzerowane. Jeel zwrócony syna dokadne odpowada wzorcow to klasyfkaca est zakoczona Jel natomast syna odpowedz w znaczcy sposób rón s od synau wecoweo wówczas dokonu s odpowedne modyfkace wa pocze, a proces ten powtarza s a do osnca maksymalneo podobestwa. Poszczeólne warstwy komunku s w ór w dó, czyl rezonu, dopasowuc wa, a proces ten powtarza s, a do osnca maksymalneo podobestwa.

15 Uczene sec ART Se ART est sec uczc s w czase rzeczywstym. Uczene to polea ówne na rozpoznawanu ksztatów, które znaczne rón s od przechowywanych wzorców oraz ch zapamtywanu ako nowych wzorców. Przy newelkch róncach stwerdzonych przy porównywanu we z zapamtanym wzorcam dokonue s "douczene" poleace na poprawenu wzorców zodne z obserwowanym odchylenam. Nad uaktywnenem lub wyaszenem odpowednch decyz w sec czuwa ukady orentucy ukad kontrolny.

16 Wady sec rezonansowe dwuwarstwowe nebezpeczestwo powstana przypadkoweo procesu dynamczneo wzaemnych pobudze warstw przy zerowym obraze wecowym. Tak proces moe da bardzo nepodane rezultaty. trudno w ustalenu poprawnych proów aktywac dla neuronów warstwy dolne: pownny by nske, aby obraz wecowy mó wyenerowa odpowedne wyce, pownny by na tyle wysoke aby w przypadku poprawneo rozpoznana wzorca, obraz z warstwy órne ne zaburza wektora wecoweo warstwy dolne - co bdze doprowadzo do utraty rezonansu.

Uk(ad kontrolny Ukad kontrolny skada s z dwóch podukadów, które maa za zadane elmnac podanych wad: podukad G pen rol elementu prooweo uaktywnaceo s w chwl poawena s synau wecoweo dzk czemu umolwa

17 Uk(ad kontrolny Ukad kontrolny skada s z dwóch podukadów, które maa za zadane elmnac podanych wad: podukad G pen rol elementu prooweo uaktywnaceo s w chwl poawena s synau wecoweo dzk czemu umolwa zablokowane reakc warstwy dolne na bod3ce pochodzce z warstwy órne, eel brak est synaów wecowych. podukad G odbera pobudzace mpulsy wecowe oraz hamuce z warstwy órne podae dodatkowy syna dla neuronów warstwy dolne (przesuwa pró tych neuronów).

18 Weca sec Wyca warstwy órne Realzaca uk(adu kontrolneo Ukad kontrolny mona zamodelowa przy pomocy trzech nelnowych neuronów > dla dla > k k y dla y dla > n n x dla x dla

19 Uk(ad orentac Zwany równe detektorem nowych danych Ukad orentac est pobudzany przez syna wecowy hamowany przez syna wycowy z warstwy perwsze

20 Poawene s obrazu na wecu sec powodue wybór neuronu zwycskeo w warstwe órne przekazane odpowedz do warstwy dolne. Obraz wecowy wraz z odpowedz warstwy órne podane na warstw doln eneru w ne nowy obraz. Jeel obraz wecowy zostae rozpoznany powstae rezonans a synay podane na ukad orentacyny wzaemne s znosz Jeel obraz naley do klasy nezdentyfkowane, ukad orentac uaktywna s elmnue z rywalzac zwyczc z warstwy órne. Umolwa to rywalzac eel nowy zwyczca est neobsadzony to zostae zaakceptowany ako reprezentant nowe klasy

21 Wyce neuronu warstwy dolne Weca sec Wyca warstwy dolne + + > + + y v x dla y v x dla y d > k n k n y x dla y x dla r

22 Pe(ny schemat sec ART Struktura sec ART.-

23 Uczene sec ART. Warant I dla pocze dó-óra w ( k + ) w w w ( k ) +, dy y ( k ) ( k ), dy ( ) ( k ), dy ( ) ( ) ( y ( k ) ) ( y k ) ( y k ) ( y ( k ) ) mo by stae ale lepsze wynk uzyskue s dy: n ( ( )) ( ) d w k w k y w ( k ) dla pocze óra-dó v ( k + ), v, dy ( k ), dy y ( k ) dy ( y ( k ) ) y ( k ) n d y ( ) ( ) ( y ( k ) ) ( y ( k ) )

24 Warant II dla pocze dó-óra w ( k + ) + w, n y, dy ( k ), dy y ( k ) dy ( y ( k ) ) y ( k ) ( ) ( ) ( y ( k ) ) y ( k ) ( ) dla pocze óra-dó v ( k + ), v, dy ( k ), dy y ( k ) dy ( y ( k ) ) y ( k ) ( ) ( ) ( y ( k ) ) ( y ( k ) )

25 Uczene ncue s waam: w losue s z rozkadem równomernym z przedzau [, /n] v

26 Fazy dza(ana sec ART Faza - Incalzaca Polea na wstpnym ustawenu wa pocze oraz prou zadzaana ukadu orentuceo. Wa pocztkowe v pocze "z óry na dó" ustawamy, przypsuc m wartoc równe eden v dze,...,k;,...,n. Wa pocztkowe w "z dou do óry" ustawa s ednakowo w nastpucy sposób w /n, dze n to lczba neuronów dolne warstwy. Czuo ukadu orentuceo p est lczba z przedzau (,).

27 Zasada dza(ana sec ART. krok po kroku. wprowadz obraz na we$ce perwsze warstwy sec na wy$cu otrzymamy eo kop, w warstwe órne (konkurencyne) pobudzenu ulea tylko eden neuron, obraz powsta(y w warstwe órne est nastpne wstecz przekazywany do warstwy dolne, obraz z warstwy órne wraz z obrazem we$cowym powodu ponowna aktywac warstwy dolne, e'el nowa aktywaca warstwy dolne harmonzue z zewntrznym obrazem we$cowym to mówmy o rezonanse adaptacynym. oznacza to, 'e obraz we$cowy zosta( rozpoznany zakwalfkowany do klasy reprezentowane przez wzbudzony element warstwy órne.

Podobne dokumenty

Plan wykładu. Sztuczne sieci neuronowe. Sieci rekurencyjne. Sieci rekurencyjne. Wykład 8: Sieci rekurencyjne: sie Hopfielda. Sieci rekurencyjne

Plan wykładu. Sztuczne sieci neuronowe. Sieci rekurencyjne. Sieci rekurencyjne. Wykład 8: Sieci rekurencyjne: sie Hopfielda. Sieci rekurencyjne Plan wykładu Wykład 8: Sec rekurencyne: se Hopfelda Małgorzata Krtowska Katedra Oprogramowana e-mal: mmac@.pb.balystok.pl Sec rekurencyne Se Hopfelda tryb odtwarzana funkca energ dynamka zman stanu wykorzystane