Literatura SZTUCZNE SIECI NEURONOWE. Mózg/komputer jak to działa? MÓZG WZORZEC DOSKONAŁY KOMPUTER TWÓR DOSKONALONY SSN niekonwencjonalne przetwarzanie

Transkrypt

1 SZTUCZNE SIECI NEURONOWE Archtektura Tp Przeznaczene Procedur uczena Zastosoana Lteratura. J. śurada, M. Barsk, W. Jędruch, Sztuczne sec neuronoe, PWN 996. R. Tadeusecz, Sec neuronoe, AOW J. Korbcz, et al.., SSN, AOW R. Tadeusecz, Elementarne proadzene do technk sec neuronoch, AOW 998 Mózg/komputer ak to dzała? MÓZG WZORZEC DOSKONAŁY KOMPUTER TWÓR DOSKONALONY SSN nekonenconalne przetarzane N L E V 0 4 snaps 0-6 m 30 W 00 Hz 0 8 tranzstoró 0-6 m 30 W (CPU) 0 9 Hz Metoda oblczeń Rónoległa rozproszona Szeregoa centralna Toleran ca na błęd TAK Uc ze ne T A K NIE? Intelgenca zazcza tak ne (naraze) Programoane Dzałane sekencne Pamęc ROM/RAM (algortm + dane) Podatne na uszkodzena Wsoka PRECYZJA oblczeń UCZENIE RÓWNOLEGŁOŚĆ ARCHITEKTURA + WAGI POŁĄCZEŃ ODPORNE NA DEFEKTY Oblczena JAKOŚCIOWE

2 Problem rozpoznana gdze tu est pes? PRZEZNACZENIE SSN Klasfkaca (grupoane, dentfkaca/us Nav + General Dnamcs, Unv. of Penslvana+TRW) Aproksmaca (nelnoa, elomaroa) Pamęc asocacne (rozpoznaane obrazó) Optmalzaca (szeregoane zadań, planoane) Prognozoane procesó (energetka, gełda, medcna-ekg/eeg ) Automatka, robotka (steroane adaptacne/ NASA, seć ALVINN) Problem: rozpoznane negatu, nestablność uczene arst ukrtch, archtektura sposób kodoana Rozpoznane znakó kodoanch matrc 8x kod znaku alfanumercznego śca arst pośredne (ukrte) eśca Schemat sztucznego neuronu (Mc Cullocha-Pttsa: =, e > θ; = 0, e < θ) x x x n n spółcznnk ag - -t sgnał eśco x - łączne pobudzene neuronu ϕ - charakterstka neuronu x e= sumator n = e Σ ϕ( e) - sgnał śco aktaca

3 Elementarne układ logczne modelu neuronu McC-P zadane!!! neuron ( = ±, próg θ = 0 OR ) 3 θ UłóŜ schemat bramk NAND (x, x, x 3 ) UłóŜ schemat bramk NOR(x, x, x 3 ) Komórka pamęc - θ = k + = x k x x x n Neuron lno (Adalne/seć-Madalne: = α e, α = const ) n spółcznnk ag - ektor ϕ e sumator e Σ ϕ( e) n = = r Tr x = x aktaca lnoa - lnoa charakterstka neuronu = α e - sgnał śco x x x n Neuron nelno (element perceptrono (F. Rosenblatt): charakterstka unpolarna lub bpolarna) n spółcznnk ag - ektor - -t sgnał eśco x - łączne pobudzene neuronu ϕ - nelnoa charakterstka neuronu x e= sumator n = e Σ ϕ( e) - sgnał śco aktaca nelnoa Nelnoe charakterstk neuronu (net = e θ, gdze θ próg aktac neuronu) Funkca sgmodalna = β f-ca Heavsde a Funkca tangensodalna = α ϕ( net) ϕ( net) = + exp exp = + exp ( β net) ( α net) ( α net) f-ca sgnum / - 0 θ e 0 θ e 3

4 Seć neuronoa układ neuronó Seć ednoarstoa k sgnałó x R k eśca podane na n nepołączonch neuronó z uzględnenem nxk ag x Seć neuronoa eloarstoa Seć eloarstoa kaskada -arst przekazuąca sgnał od eśca do śca z uzględnenem ag pośrednch (p) x x k k x k nk n = k x = = Wx = ϕ( Wx) Seć eloarstoa problem lczb neuronó arst ukrte Struktura sec: 36 nu 5 analza błędu epokach uczena => optmalna lczba nu = 9 neuronó Archtektura sec neuronoch Sec ednokerunkoe (feedforard netorks) eden kerunek przepłu sgnałó od eść do ść Sec rekurencne (feedback netorks) sec ze sprzęŝenem zrotnm (Hopfelda) Sec komórkoe Sec rezonansoe (ART-; ART-) Sec hbrdoe tpu Counter-Propagaton 4

5 Metod uczena sec modfkaca ag Uczene nadzoroane (delta, steczne propagac błędu) Uczene nenadzorane (korelacne) reguła Hebba, reguła Oa, nstar, outstar Uczene konkurencne (WTA, WTM) Metod mękke selekc algortm genetczne smuloane odpręŝane x x x n Perceptron prost (element perceptrono (F. Rosenblatt): charakterstka unpolarna lub bpolarna) n - ektor ag θ sumator aktaca necągła e Σ ϕ( e) rozszerzon ektor eść: ~ x= x, x,..., xn, rozszerzon ektor ag: = ~ [,,..., n,θ] e n = + = T T = ~ ~ x = x x θ [ ] Co potraf element perceptrono? = 0 x α = hperpłaszczzna dzeląca przestrzeń obrazó x na półprzestrzene deczne: = 0 oraz = x T - θ = 0 Dla określonego ektora ag perceptron ocena soko te eśca x, dla którch kąt α z ektorem est mał, bo óczas pobudzene est duŝe: x T = cos(α) dla unormoanch ektoró ag eść x Co to znacz uczć seć? Uczene sec to modfkaca ag: ~ tak, ab sgnał eśco x daał na ścu sec obraz poŝądan: z =ϕ ( ~ x T) zamast obrazu perotnego: T =ϕ( x ) Błąd uczena: δ = z 5

6 Reguła perceptronoa (algortm uczena z nadzorem). Poda stępn ektor ag (0), =. Poda zorzec u znacz obraz (dla (-) ) 3. Gd obraz est zgodn z poŝądanm z => (5) 4. Gd δ = 0 => () = (-) + η u = z 0 Gd δ = => () = (-) = z 0 - η u 5. = + => () () Jak dobrać strategę prezentac zorcó bór ag stępnch? () Warunek zbeŝnośc uczena LINIOWA SEPARACJA {u }!!! x x Perceptron -arsto (rozązue zadane XOR) - - θ θ Σ Σ ϕ( e) ϕ( e) - v θ 0 v Σ ϕ( e) arsta ścoa: = H(v x T θ 0 ) arsta ukrta: x k = H( k x T θ k ) dzel przestrzeń eść k-raz na -półpłaszczzn, ęc cała arsta ukrta dzel ą na podzbor, z którch eden est pukł tu neuron są zapalone u k = x ektor obrazu z przestrzen maru n -arstoe klasfkator (mnmalno-odległoścoe maszn lnoe) R + + g (x) g (x) + g R(x) selektor max g (x)=( ) T.x funkce deczne klasa x x = dla x P P zorzec klas Cel: podzał przestrzen obrazó na obszar deczne prznaleŝne kaŝde klase zorcó P ( R) g. mnmum odległośc: mn x P = x T x (P T.x P T. P /) =P oraz n+= P T P / s : g (x) - g (x) = 0 lne deczne Przkład: maszna lnoa dla 3 klas (metoda analtczna) x obszar klas P P P x 3 obszar klas obszar klas 3 lne rozdzelaące (hperpłaszczzn): s : 3x - x = 0 s 3 : 8x + 3x + 3 = 0 s 3 : 5x - 4x 5 = zorce: P = ; P = ; P3 = 4 4 funkce dskrmnacne: g (x)=( ) T.x = 8x +x - 34 g (x)=( ) T.x = x +4x 0 g (x)=( ) T.x = -8x - 4x = ; 34 = 4 ; =

7 Seć klasfkuąca 3 obszar g uczena Uczene dchotomzatora ( klas) klasa : T x > 0 (x P ) oraz klasa : T x < 0 (x P ) x + g (x) + g (x) + g 3(x) 3 3 rozproszone lub lokalne kodoane klas Zgodne z regułą delta modfkace ag następuą przez +/-ηx k : ( k+ ) ( k) k k = ± ( d ) x k ( k+ ) ( k) k k = ± ( d ) x k gdze + dla x P, a - dla x P (aktaca bpolarna - sgnum) (aktaca unpolarna skok 0/) zakończene procesu, gd od penego czasu t modfkace zankną: (t+) = (t+) =... = * Uczene dchotomzatora (c.d.) (3) = (4) = * () = (3) = * x () x = ; x = () x () ( ) 3 ( ) 3 = ; x = x [ ] ; d= ; = sgn 3 = = + x = 3 ( 3) 0 x = x [ ] ; d= ; = sgn 3 = = x = = 3 4 Klasfkator cągł uczene (algortm gradento naększego spadku) r η E ( ) ( k+ ) ( k) ( k) = Cągła funkca błędu: E = ½ (d ) = ½ (d φ( T x)) Dla bpolarne aktac: Dla unpolarne aktac: ( k + ) ( k ) ( )( ) k = tanh β = = + η d x ( k + ) ( k ) ( ) ( ) k = (k czas dskretn) ( net) = ( + exp( β net) ) = ( ) + η d x Uaga: est to rozszerzene poznane reguł delta dla cągłe funkc aktac 7

8 Algortm gradento naększego spadku Poerzchna błędu kadratoego Uczene samo-organzuące (reguła Hebba + e modfkace) Wnk obserac neurobologó (efekt Pałoa): zmocnene połączena snaptcznego k następue, gd oba połączone neuron oraz k są zapalone, tzn. aktne. ( k+) = ( k) + ( k) ( k) = η x ( k) ( k) ( k) = η x ( k) d( k) uczene bez nadzoru Reguła Hebba to reguła korelacna (często rozbeŝna!!!) proadzaąca zrost sł połączena neuronó prz skoreloanu sgnałó pre- post- snaptcznch uczene z nadzorem reguła Hebba - modfkace reguł tpu Hebba modfkace c.d.// () spółcznnk zapomnana γ zapobega stałemu nascanu neuronó prz elokrotnm muszenu zorcem x : ( k) = η x ( k) ( k) γ ( k) ( k) = η ( x ( k) γ ( k) ) ( k) () Reguła O: ścoe sgnał modfkuą sgnał eśco x (rodza sprzęŝena zrotnego) ( k) = η ( x ( k) ( k) ) ( k) (3) Reguła ant-hebba: uemne spolarzoane modfkace ag ne proadzą do rozbeŝnośc procesu uczena (neoptmalne) ( k) = η x ( k) ( k) (4) Popraa efektnośc samouczena samoorganzac neuronó często osągana est prz uczenu przrostom: ( k) = η ( x ( k) x ( k ) )( ( k) ( k ) ) (5) Reguła gazd eść (nstar tranng): tlko bran -t neuron est uczon rozpoznana aktualnego sgnału x ( k) = η ( k) ( x ( k) ( k) ) η( k) = 0. λ k > 0 (6) Reguła gazd ść (outstar tranng): tlko ag branego -tego eśca podlegaą uczenu zorca dla obrazu x ( k) = η ( k) ( ( k) ( k) ) η( k) = λ k > 0 8

9 reguł uczena modfkace c.d.// (7) tłumene neaktnch, a zmocnene aktnch ść neuronó prz aktnch eścach x dae tz. reguła Hebba/AntHebba (prz dskrmnac sgnałó x, > ε): ( k) = η x& ( k) ( & ( k) ) Analza błędu procesu uczena sec eloarstoe dla róŝnch parametró: spółcznnk uczena (η) momentum (α) (8) przspeszane oraz lepszą stablność uczena (ęc ększe η) duŝch secach osąga sę przez uzględnene bezładnośc procesu stosuąc poprakę metod momentu, np.: ( k) = η ( d( k) ( k) ) x( k) + η [ ( k) ( k ) ] Uaga: optmalne arunk dla η = 0.9 η = 0.6 (zmenne prz η /η = const) Poszukue sę stablnego szbkego procesu uczena Uczene z nadzorem sec eloarstoch steczna propagaca błędu (backprop) x arsta eścoa δ (m) (m) δ (m+) (m+) u (m-) u (m) m- m m+ arsta ukrta ( m) ( m) ( m ) u = f u = 0 ( m) ( m) δ = f ϕ = arsta ścoa ( m+ ) ( m+ ) ( ) δ ( M) ( M) δ = f ϕ d ( )( ) Algortm steczne propagac błędu. poda ektor ucząc u na eśce sec. znacz artośc ść u (m) kaŝdego elementu sec (*) 3. oblcz artośc błędó δ (M) dla arst ścoe (*) 4. oblcz błąd uczena sec dla zorca u (suma kadrató δ (M) ) 5. dokona propagac steczne błędu z p. (4) => znacz δ (m) (*) 6. dokona aktualzac ag od śca do arst eścoe ( )( ) ( m) ( m) ( m ) u = f u ( M) ( M) δ = f ϕ d = 0 δ ( m+ ) ( m+ ) ( ) δ ( m) ( m) = f ϕ = 9

10 Aktualzaca ag g uogólnone reguł delta Sec samoorganzuące sę (bez nadzoru + WTA) ( m ( ) ) ( m ( ) ) k = η δ k u ( k) Uaga: artośc błędó elementó dane arst ukrte są znaczane przed aktualzacą ag arste następne Uogólnoną regułę delta często uzupełna sę przęcem poprak momentum celu przspeszena stablzac uczena sec Seć Hammnga MaxNet (rozpoznaane obrazó) seć Kohonena (grupoane ektoró uczącch - clusterng) seć ART- (adaptve resonance theor) stablne grupoane adaptacne Uczene stosuąc marę podobeństa zorcó poprzez. loczn skalarn ektora eścoego ektora ag lub. sąsedzto topologczne, tzn. odległość neuronó sec pobudzonch danm obrazem eścom Sec Hammnga () MaxNet () (klasfkaca zaszumonego obrazu do nablŝsze klas zorcó g. odległośc Hammnga ag ne podlegaą uczenu!) Lczba p neuronó arst () est zgodna z loścą klas, tzn. Ŝe kaŝd neuron reprezentue edną z dopuszczonch grup: ( ) [ ] p ( ) WH = s net= [ n HD( x, s )] p = = Macerz ag arst (H) złoŝona z p zorcó po erszach W H Łączne pobudzene arst (H) merzone spólnm btam x s Sec Hammnga MaxNet/cd. Warsta () elmnue rekurencne szstke śca z () prócz maksmalnego k skazane numeru grup k Macerz ag arst () złoŝona z autopobudzaącch połączeń oraz hamuącch połączeń lateralnch o sle -ε [ W ] = oraz[ W ] = ε ( 0< ε < p) M M Lnoa aktaca = f(net) neuronó (H) normue sgnał eśco do arst () do przedzału (0, ) f(net) 0 n net Aktaca f arste () est róneŝ lnoa, ale (0, ) elmnaca koleno namneszego -tego sgnału przez f (net ) = 0 k-tm kroku rekurenc, gd net < 0 0

11 Sec Hammnga MaxNet schemat sec x x x 3 x 4 = s () n/ (0) n/ (0) (k+) (k+) n/ 3 (0) 3 (k+) 3 3 n = 4; p = 3 klas ε = 0. < /3 Wada sec: załoŝona lość klas (uczene neadaptacne => ART-) Sec Hammnga MaxNet przkład W matrc n = 3x3 zdefnoano p = zorce zakodoane bnarne: - klasa klasa - - s () = ( - - ) s () = ( ) Seć ma zadane zaklasfkoać obraz : x = x = x 3 = WH Sec Hammnga MaxNet przkład/cd. = WM = 4 4 dla 0< ε=/4 </p Dla obrazu x 3 =(----) => H,3 = [5/9 5/9] seć ne rozstrzga o klasfkac (!) H, 9 HD( x, s = 9 9 HD( x, s () () ( k+ ) ( k) M = f ( WM M ) Dla obrazu x =() => H, = [7/9 5/9] mam rekurencne aktnośc: f f f f = Dla obrazu x =( ) => H, = [/9 4/9] f f f = ) ) klasa - U klasa - T Seć Kohonena grupoane obrazó Seć -arstoa + uczene z ralzacą, tzn. modfkac ulega ektor ag nablŝsz danemu zorco (ag są normoane): x ˆ m = mn x ˆ =,,..., Warunek ten zapena reguła gazd eść: Po zakończenu uczena ektor ag skazuą środk cęŝkośc krtch grup obrazó (lość grup est neznana a pror) choć gęste zorce ścągaą ektor ag (ada) + kalbraca sec () przechtane ag => x = q x + (- q) 0, q () Sumene g DeSeno często graąc neuron zamera p ˆ = η( x ˆ ) m m

12 Seć Kohonena clusterng/przkład Seć ART- adaptacne grupoane obrazó zorce grup ag początkoe ag końcoe Grossberg: sec Madalne cz Perceptron są nestablne trakce procesu uczena, tzn. neuron raz nauczon rozpoznaana zorca moŝe trakce dalsze nauk przestać sę na rozpoznane nnego zorca. Seć stae sę neprzedalna. Grossberg: seć ucząca sę bez nadzoru ale z podanem sgnałó ścoch znó na eśca, tak ab zcęsk neuron zmacnał soe łasne pobudzene ponna bć stablna zasada zbudzena rezonansu mędz arstam We-W Wag końcoe osągnęte procese uczena sec mogą bć róŝne dla tch samch zorcó zaleŝnośc od podanch ag początkoch: ch lczb artośc Zasada adaptac: persz zorzec torz perszą grupę, zorce kolene są dołączane do stneące grup lub torzą noą grupę reprezentoaną przez kolen oln neuron Seć ART- schemat Seć ART- algortm przetarzana dół-góra-dół M v, v,..., v n, v, v,..., v n v M, v M,..., v nm,... M,... M n, n... nm x x x n. Poda próg czułośc: 0 < r < ; ag = /( + n) oraz v =. Poda obraz bnarn oblcz mar dopasoana = (x, W ) 3. Wberz dopasoaną kategorę m = max( ) dla =,,...,M 4. Wkona test podobeństa dla neuronu m-tego: p m = (x, V m )/(x, ) > r If (~4): m = 0 =>(3) lub noa grupa 5. IF (4) => skorgu ag g. Relac v m (k+) = v m (t) x & m = v m (k+)/{0.5+(x, V m )} V ako czarn belee trakce uczena - neodracalne 6. => ()

13 Seć ART- ad dzałana. Prmtn test podobeństa ne est stane rozróŝnć (tzn. poprane sklasfkoać) zaszumonch zorcó. obnŝane progu czułośc ponŝe granczne artośc zaburz klasfkace orgnałó zbudue mneszą lczbę klas 3. Ab zapamętać odtarzać kolene zorce gd brak uŝ olnch neuronó do klasfkac naleŝ uŝć schemató bardze złoŝonch (Pao, Addson-Wesle, 989 sec Pao) 4. Archtektura sec ART est neefektna z rac lczb ag 5. Mała poemność Sec pamęc skoarzenoe pamęc adresoane zaartoścą, szukane nformac, analza mo seć Hntona (naprostsza statczna pamęć ednoarstoa) -kerunkoa seć BAM (Bdrectonal Assocatv Memor) seć Hopfelda (optmalzace kombnatorczne, rozpoznaane obrazu, analza procesó chaotcznch, rozązane problemu komoaŝera, automatka adaptacna fltr Kalmana) Rola zorcó ortogonalnch lnoo nezaleŝnch pamęć absolutna Seć Hntona -arstoa pamęć asocacna Seć BAM -arstoa pamęć -kerunkoa Proces zapsu = reguła Hebba z agam (0) = 0 = (k-) + f s dla s = [s ] f = [f ] Proces zapsu = reguła Hebba z agam (0) = 0, η = = (k-) + f s dla s = [s ] f = [f ] W mn s f Seć nterpolacna (ne progoa) heteroasocacna dealna dla zorcó ortogonalnch nezaleŝnch lnoo s f Energa sec: W nm E(s, f) = -s T Wf dąŝ do mnmum globalnego 3

14 Seć Hopfelda asnchronczna -arstoa pamęć rekurencna (hetero/autoasocacna) Proces zapsu = reguła Hebba z agam = 0, η =? = (k-) + f s dla s = [s ] f = [f ] W mn s W nm f Energa sec: E(s) = -s T Ws dąŝ do mnmum globalnego 4