Systemy Inteligentnego Przetwarzania wykład 3: sieci rekurencyjne, sieci samoorganizujące się

HTML
DOWNLOAD

Wielkość: px

Rozpocząć pokaz od strony:

Download "Systemy Inteligentnego Przetwarzania wykład 3: sieci rekurencyjne, sieci samoorganizujące się"

Patrycja Urbańska
6 lat temu
Przeglądów:

1 Systemy Intelgentnego Przetwarzana wykład 3: sec rekurencyne, sec samoorganzuące sę Dr nż. Jacek Mazurkewcz Katedra Informatyk Technczne e-mal:

2 Sec neuronowe ze sprzężenem Sprzężena zwrotne mędzy neuronam Dynamczne relace występuące w sec Poedyncza zmana stanu propagowana w całe sec Stan stablny wynkem prześca przez tymczasowe Stan stablny wynka z wag w sec ukształtowanych Sec rekurencyne maą symetryczne zestawy wag

3 Pamęć asocacyna Pamęć skoarzenowa ak w mózgu ludzkm Pamęć asocacyna gromadz obrazy Procedura uczena wdrukowane obrazów w wag Generowane odpowedz - prezentaca obrazu nablższego temu, który na weścu auto-asocaca: hetero-asocaca: Smoth Smth Smth cecha Smtha

4 Seć Hopfelda (1) Odległość Hammnga bnarny sygnał w d H = n = 1 [ x (1 y ) + (1 x ) y ] x 1 v 1 y 1 Jeśl odległość zero, to: y = x x 2 v 2 y 2 Odległość Hammnga to lczba różnących sę btów x N-1 x N v N-1 v N y N-1 y N neuron

5 Generowane odpowedz (1) Neuron wykonue dwe operace: w lczy sumę ważoną: p N wpv k = 1 ( k+ 1) ( ) = p x 1 v 1 y 1 aktualzue stan: ( + 1) v p k gdze: w p v (k) p = 1 for ( k+ 1) p 0 v p( k) for ( k+ 1) = p 0 1 for ( k+ 1) 0 waga sprzężene zwrotne sygnał sprzężena zwrotnego bas p x 2 x N-1 x N v 2 v N-1 v N neuron y 2 y N-1 y N

6 Generowane odpowedz (2) warunek początkowy: v ( 0) = x p p p w proces powtarzany do uzyskana zbeżnośc - brak zman w każdym neurone x 1 v 1 y 1 v ( k+ 1) = v ( k) = y p p p p uzyskane zbeżnośc osągnęce lokalnego mnmum funkc energetyczne, funkc Lapunova: 1 N N E( x) = w x x + x 2 = 1 = 1 = 1 N x 2 x N-1 v 2 v N-1 y 2 y N E x x T T ( ) = W x + x x N v N y N neuron

7 Uczene regułą Hebba ednokrotna prezentaca każdego wzorca uczącego w dane wędruą medzy wszystkm neuronam w sec x 1 v 1 y 1 w 1 = N 0 M ( m) ( m) x x dla m= 1 dla = x 2 v 2 y 2 warunek zbeżnośc: w = 0 w = w p pp p p p x N-1 v N-1 y N-1 algorytm: łatwy, szybk, mała poemność sec M = max N x N v N y N neuron

8 Pseudonwersa prawdłowe wag to: sygnały weścowe dostępne na wyścu stan stablny natychmast: W X = X x 1 v 1 w y 1 rozwązane równana macerzowego: x 2 v 2 y 2 ( T ) 1 W = X X X X T algorytm: złożony, duża poemność sec x N-1 v N-1 y N-1 M max = N x N v N y N neuron

9 Reguła Delta stroene wag krok po kroku z wyznaczanem beżące wartośc błędu: = + ( ) ( ) ( ) N W W x W x x , stała uczena T x 1 x 2 v 1 v 2 w y 1 y 2 podobny do metod gradentowych - ak w perceptrone welowarstwowym x N-1 v N-1 y N-1 algorytm: złożony, duża poemność sec M max = N x N v N y N neuron

10 Faza odtworzenowa Sygnały mocno uszkodzone mogą prowadzć do neznanych odpowedz stan sec est dalek od wypracowanego w procese uczena Wartość funkc energetyczne est dentyczna dla symetrycznych pobudzeń (+1,+1,-1) == (-1,-1,+1) oba rozwązana są tak samo dobre Procedura uczena może tworzyć dodatkowe lokalne mnma ako lnowe złożene wzorców uczących Dodatkowe mnma lokalne ne są zwązane ze wzorcam szczególne ważne przy duże lczbe wzorców uczących

11 Przykład praktyczny 10 cyfr, 7x7 pksel Reguła Hebba: 1 prawdłowa odpowedź Pseudonwersa delta: 7 prawdłowych odpowedz 9 odpowedz 1 zły pksel 4 odpowedz 2 złe pksele

12 Seć Hammnga (1)

13 Seć Hammnga (2) Seć Hammnga klasyfkator maksymalnego podobeństwa bnarne pobudzena zaszumone Lower Sub Net wyznacza N mnus odległość Hammnga względem M wzorców Upper Sub Net wybera węzeł o maksymalne odpowedz Węzły z progowanem nelnowym wyśca sę ne nasycaą Prog w wag Maxnet-u są stałe Prog zerowe, wag ustawone na 1 Wag o właścwoścach zbegana odpowedz

14 Seć Hammnga (3) dla Lower Sub Neta: w x = = N 2 2 wag w Maxnet-ce: for 0 N 1 and 0 M 1 wlk = 1 f f k k = 1 1 for 0 l, k M and 1 M a prog w Maxnet-ce zerowe

15 Seć Hammnga (4) wyśce Lower Sub Net-a to: = N 1 w x = 0 dla stałych wag Maxnet-a: y Maxnet wykonue co następue: ( ) f ( ) t for 0 N 1 and 0 M 1 0 = for 0 M 1 t t t y + = f y y ( ) ( ) ( ) t k k 1 for 0, k M 1 proces prowadzony est aż do uzyskana zbeżnośc

16 Samoorganzaca Uczene bez nauczycela przez obftość danych Uczene nenadzorowane gdze sensowne(?): znadowane podobeństwa algorytmy PCA klasyfkaca archetypy mapy cech

17 Eksperyment Pavlova POKARM (UCS) ŚLINOTOK (UCR) POKARM+DZWONEK (UCS + CS) ŚLINOTOK (CR) DZWONEK (CS) ŚLINOTOK (CR) CS CR UCS UCR pobudzene warunkowe warunkowa reakca pobudzene bezwarunkowe bezwarunkowa reakca

18 Zastosowana szukane podobeństw ednowyścowe sec ak blsko est sygnał weścowy do mary średne PCA seć welowyścowa edno wyśce eden element PCA elementy PCA odpowedzalne na podobeństwo wektor wyścowy mara korelac klasyfkaca bnarna seć welowyścowa kod 1 z n odnadywane pamętanych wzorców pamęć asocacyna kodowane kompresa danych

19 Reguła Hebba (1949) Neuron A pobudzany cyklczne przez neuron B stae sę coraz bardze podatny na pobudzene od neuronu B f(a) funkca aktywac może być lnowa X 1 W 1 w ( k + 1) = w( k) + w( k ) X 2 W 2 u f(a ) y w = x ( k) y ( k) W m X m

20 Idea reguły Hebba Problem: brak lmtów dla wag w = F( x, y ) Rozwązane: zestaw ogranczeń(lnsker) reguła Oa Ogranczena: Reguła Oa : reguła Hebba + normalzaca dodatkowe ogranczena: w w [ w, w + ] y ( k) = 0; m = 0 w = x ( k) = y ( k)[ x ( k) y ( k) w ( k)] x y w x ( k) y 0; w ( k) ( k) 0

21 Prncpal Component Analyss - PCA Lnearna konwersa do zredukowane przestrzen zachowuemy nastotnesze cechy procesu stochastycznego x Czynnk główny wektor wag według Oa : Kolene czynk reguła Sangera: y = Wx N K R x N N K K R W R y + ) ( ) ( ) ( k x W k x W k y N T = = = = = N k W x k y 0 ) ( ) (

22 Seć Rubnera & Tavana 1989 (1) Poedyncza warstwa ednokerunkowość wag: warstwa weścowa zgodne z regułą Hebba: w = x y Połączena wewnętrzne zgodne z regułą anty-hebb-ową: v = y y

23 Seć Rubnera & Tavana 1989 (2) y 1 y 2 y 3 y 4 v 41 v v v 21 v 32 v 43 w 11 w 45 x 1 x 2 x 3 x 4 x 5

24 Kompresa obrazu PCA Nadmar danych weścowych zastąpony przez małą lczbę kombnac wektora y w Stopeń kompres lczba komponentów PCA czynnk odpowedzalny za akość odtworzenową Węce czynnków: lepsza akość nższy współczynnk kompres Obraz odtworzony poprzez: 2 czynnk główne stopeń kompres: 28

25 Samoorganzuące sec neuronowe Akce nter-neuronowe Cel: weśce mapowane na wyśce Grupowane danych podobnych Separowane grup Seć Kohonena T. Kohonen z Fnland!

26 Uczene rywalzacyne WTA Wnner Takes All WTM Wnner Takes Most W X Y

27 WTA (1) Poedyncza warstwa neuronów przetwarzaących Komponenty sygnału weścowego x ładowane do wszystkch neuronów rywalzuących Start wartośc wag losowy Każdy neuron wyznacza sumę ważoną: Neuron zwycęzca to ten co maksymalną odpowedź ma! Neuron zwycęzca fnalne odpowedź równa 1 Odpowedz nnych neuronów równe 0 u = w x

28 WTA (2) Perwsza prezentaca wzorców by znaleźć neurony będące potencalnym zwycęzcam Modyfkaca wag zgodne z regułą Grossberga Jeśl sygnały uczące są zblżone do wektora wag neuronu zwycęzcy to wag tego neuronu reprezentuą wartość średną W X

29 WTM (1) Szukane zwycęzcy ak w WTA Wyśce neuronu zwycęzcy maksymalna Neuron zwycęzca aktywzue sąsadów swych Dystans mędzy neuronam warunkue stopeń aktywzac Stopeń aktywzac fragmentem procedury uczena Wszystke wag produktem procedury uczena

30 Sąsedztwo neuronów (1) Neurony w regularne satce Neuron centralny w centrum regonu Sąsedz w kolumnach werszach sąsedztwo proste sąsedztwo złożone

31 Sąsedztwo neuronów (2) funkca sąsedztwa h(r) funkca odległośc mędzy neuronam wprowadza wartośc nezbędne w procese kształtowana wag h( r) = 1 r lub h( r) = e r 2 sąsedztwo 2-D r dystans mędzy neuronem zwycęzcą a neuronem danym sąsedztwo 1-D

32 Reguła Grossberga sąsedztwo wokół neuronu zwycęzcy, welkość sąsedztwa malee wraz z postępem uczena, modulaca funkcyna stałe uczena. Reguła Grossberga: w l w w ( k + 1) = w ( k) + ( k) h(,,, )( x w ( k)) l k nr terac, - funkca parametru uczena, x l składowa wektora weścowego w l waga danego połączena, h funkca sąsedztwa, ( w, w ) ndeks neuronu zwycęzcy, (, ) ndeksy danego neuronu l l Funkca sąsedztwa = Mexcan Hat: a parametr sąsedztwa, r dystans od zwycęzcy do danego neuronu h( w, w,, ) 1 sn( ar) = ar 0 for for for r = 0 2 r (0, ) a other values r

33 Proces adaptac wektor weścowy neuron zwycęzca neurony z sąsedztwa

34 Welobok Voronoa Zbór danych dzelony na fragmenty Wektor Voronoa koordynaty neuronu weścowego powązane z wagam Ksązka kodowa zbór neuronów zwycęzców Welobok Voronoa regony tworzone według klucza sąsedztwa Słowa kodowe elementy poedynczego weloboku Voronoa x2 x1

35 Mary dystansu Eukldesowa: welobok Voronoa d(x,w) = X - W = N ( ( ) x ) w = 1 2 skalarna: d(x,w) = X W = X W cos Norma Manhattan L 1 : Norma L :

36 Normalzaca wektora weścowego Normalzaca wektora: X = 1 przed uczenem ~ x ( ) = n v = 1 mały wymar wektora uczącego normalzaca koneczne duży wymar wektora uczącego normalzaca pownna być x ( ) ( x ( ) v ) 2 x n wektor weścowy przed normalzacą ndeks wektora weścowego składnk wektora weścowego lczba składowych wektora weścowego

37 Algorytm uczena sec Kohonena 1. Losowa ncalzaca wag 2. Znalezene neuronu zwycęzcy dla każdego wzorca 3. Modyfkaca wag według reguły Grossberga 4. Modyfkaca stałe uczena, parametru a, 5. Jeśl stała uczena wększa od zera to powrót do kroku 3 z kolenym wzorcem uczącym.

38 Generowane odpowedz sec Kohonena Wyznaczene odległośc Eukldesowe mędzy wagam a sygnałem weścowym, Neuron zwycęzca posada odległość mnmalną, Każdy neuron lczy sumę ważoną: Out(, ) = N 1 l= 0 x l w l Out(, ) x l w l wyśce neuronu o ndekse (, ), komponenty N-elementowego wektora weścowego, waga zwązana z połączenem

Podobne dokumenty

Wykład 2: Uczenie nadzorowane sieci neuronowych - I

Wykład 2: Uczenie nadzorowane sieci neuronowych - I Wykład 2: Uczene nadzorowane sec neuronowych - I Algorytmy uczena sec neuronowych Na sposób dzałana sec ma wpływ e topologa oraz funkconowane poszczególnych neuronów. Z reguły topologę sec uznae sę za