Sztuczne sieci neuronowe. Reguła perceptronowa. Nadzorowany proces nauki. Zasada uczenia. Zasada uczenia. dr inŝ. Stefan Brock 2007/2008 1

HTML
DOWNLOAD

Wielkość: px

Rozpocząć pokaz od strony:

Download "Sztuczne sieci neuronowe. Reguła perceptronowa. Nadzorowany proces nauki. Zasada uczenia. Zasada uczenia. dr inŝ. Stefan Brock 2007/2008 1"

Irena Orłowska
8 lat temu
Przeglądów:

1 Sztuczne sec neuronoe.stefanbroc.neostrada.pl dr nŝ. Stefan Broc Plan ładó. Wproadzene, modele neuronó, uład perceptronoe, uczene neuronó. Uczene sec neuronoch, metoda steczne propagac błędó, nne metod uczena. 3. Zastosoane sec neuronoch uładach steroana, modeloane sec neuronoch Matlabe 4. Sec las ANFIS, spółdzałane sec neuronoch nnch metod ntelgenc oblczenoe Nadzoroan proces nau Reguła perceptronoa - Wberz losoo ag początoe - Podaa losoo brane olenosc zorce x 3 - Modfu ag stosuąc regułę delta: (t+) (t) + η*err * x gdze err (śce_zorcoe - śce_atualne ) 0<η < - spólcznn szbosc uczena 4 - Potarza ro 3 aŝ do osągnęca rterum ońca (zbeŝność, masmalna lość terac) Zasada uczena Ogólna zasada nau dla sec neuronoch: Wetor ag [... n ] rośne proporconalne do locznu sgnału eścoego x uczącego r Zasada uczena + + η * r(, x, d ) * Dla reguł perceptronoe: def r d x Sgnał ucząc rr(,x,d ) dr nŝ. Stefan Broc 007/008

2 Cągła reguła perceptronoa - reguła delta Dla neuronó o cągłe róŝnczoalne func atac: r def [ d f ( x)]* f ( x) η *( d )* f ( net )* x t t Oblczane pochodne func atac Dla bpolarne func atac: f ( net) f ( net) + e λ * net ( ) Reguła delta dla arst neuronó Seć sładaąca sę z cągłch neuronó: z Γ[ W] [ z [ z z ] z J ] W M M O J J M J Inputs p p p 3 p R, S, R aer of S Neurons n f Σ b n Σ f b b S n S Σ f a a a S a f(wp + b) f ( ) 0 Γ( ) M 0 0 f ( ) M 0 PoŜądan sgnał śco: [ d dd O d ] 0 0 M f ( ) Błąd lasfac ednego obrazu eścoego E l ( d z ) l l Wartośc ag mnmalzuące błąd E l Sgnał błędu -tego neuronu z d l z η * l dr nŝ. Stefan Broc 007/008

3 PoneaŜ: net * Węc raŝene na orecę ag ma postać: +η z W W +η,,...,,,...,j t z z Błąd -tego neuronu net z z ( d z ) net ( d ( d ( d z ) * f ( net ) z ) *( z ) z z ) net Dla bpolarne, sgmodalne func atac Algortm uczena arst neuronó Dane - zesta par uczącch: {,d,,d,..., p,d p } (J*) d (*). Wbór η>0, E max >0. oso bór macerz W (*J) 3. l:0 E:0 4. : l d:d l z :f ( *) 5. +/* η*(d -z )(-z ) 6. Algortm uczena arst neuronó E : E + ( d z ) 7. Jezel l<p to l:l+, so do rou Zaonczene clu uczena (epo). Gd E<E max to onec, gd ne, to so do rou 3. Uogólnona reguła delta Seć duarstoa: arsta urta arsta ścoa. z Γ[ W] Γ[ WΓ[ Vx]] x ] [ x xx I V M J M J O I I M JI dr nŝ. Stefan Broc 007/008 3

4 Analogczna metoda gradentoa η * +η x Sgnał błędu neuronu arst urte Wśce -tego neuronu arst urte pła na błęd szstch neuronó arst ścoe f net ) ( V V +η x t Sgnał błędu neuronu arst urte ( d z ) z ( d z ) f [ net ( )] Wzór steczne propagac błędu + η * f ( net ) * x * z Ilustraca - nndsd.m dr nŝ. Stefan Broc 007/008 4

Wsteczna propagaca Matlabe % metoda steczne propagac bledu x[- - ;0 5 0 5]; % esca d[- - ]; % artosc oczeane net neff(mnmax(x),[3,],{'tansg','pureln'},'trangd'); net.tranparam.

5 Wsteczna propagaca Matlabe % metoda steczne propagac bledu x[- - ; ]; % esca d[- - ]; % artosc oczeane net neff(mnmax(x),[3,],{'tansg','pureln'},'trangd'); net.tranparam.sho50; % setlana trace nau net.tranparam.lr0.05; % spolczn szbosc nau net.tranparam.epochs300; % masmalna losc epo net.tranparam.goale-5; % zadana doladnosc [net,tr]tran(net,x,d); % uczene sec asm(net,x) Wsteczna propagaca Matlabe >> nn_sb_ RAINGD, Epoch 0/300, MSE.5943/e-005, Gradent.76799/e- 00 RAINGD, Epoch 50/300, MSE /e-005, Gradent /e-00 RAINGD, Epoch 00/300, MSE /e-005, Gradent 0.060/e-00 RAINGD, Epoch 50/300, MSE e-005/e-005, Gradent /e-00 RAINGD, Epoch 00/300, MSE.4504e-005/e-005, Gradent /e-00 RAINGD, Epoch /300, MSE e-006/e-005, Gradent /e-00 RAINGD, Performance goal met. a Wsteczna propagaca Matlabe Metod popra procesu uczena Metod heurstczne metoda momentum metoda zmennego spółcznna szbośc nau metoda podatne steczne propagac Metod optmalzacne metoda gradentó sprzęŝonch metod quas-netonose Metoda momentum Nadane punto reprezentuącemu ag mas (bezładnośc) +η z Wpł spółcznna momentum α η ro n η z 0 < α < + α n Ilustraca - nndmo.m dr nŝ. Stefan Broc 007/008 5

6 Wpł spółcznna momentum % metoda steczne propagac bledu + metoda momentum x[- - ; ]; % esca d[- - ]; % artosc oczeane net neff(mnmax(x),[3,],{'tansg','pureln'},'trangdm'); net.tranparam.sho50; % setlana trace nau net.tranparam.lr0.05; % spolczn szbosc nau net.tranparam.epochs300; % masmalna losc epo net.tranparam.goale-5; % zadana doladnosc Wpł spółcznna momentum net.tranparam.mc0.9; % spolczn momentum [net,tr]tran(net,x,d); % uczene sec asm(net,x) Metoda zmennego spółcznna szbośc nau Adaptacna zmana spółcznn szbośc uczena a b uzsać moŝle duŝ spółcznn stabln proces nau Gd błąd olene epoce est ęsz nŝ poprzedno o ęce nz zdefnoana artość, spółcznn szbośc est zmneszan. Metoda zmennego spółcznna szbośc nau % metoda steczne propagac bledu z adaptacna zmana spolcznna x[- - ; ]; % esca d[- - ]; % artosc oczeane net neff(mnmax(x),[3,],{'tansg','pureln'},'trangda'); net.tranparam.sho50; % setlana trace nau net.tranparam.lr0.05; % spolczn szbosc nau net.tranparam.epochs300; % masmalna losc epo net.tranparam.goale-5; % zadana doladnosc net.tranparam.lr_nc.05; % spolczn zman szbosc nau [net,tr]tran(net,x,d); % uczene sec asm(net,x) Metoda zmennego spółcznna szbośc nau Metoda podatne steczne propagac Funca sgmodalna daleo od zera ma bardzo małe nachlene W efece tam przpadu naua przebega olno W metodze podatne pochodna func atac decdue tlo o znau zman etora ag. Wartość zman est ustaana adaptacne, ta b zapenć stablność. dr nŝ. Stefan Broc 007/008 6

7 Metoda podatne steczne propagac % metoda podatne steczne propagac bledu x[- - ; ]; % esca d[- - ]; % artosc oczeane net neff(mnmax(x),[3,],{'tansg','pureln'},'tranrp'); net.tranparam.sho0; % setlana trace nau net.tranparam.epochs300; % masmalna losc epo net.tranparam.goale-5; % zadana doladnosc [net,tr]tran(net,x,d); % uczene sec Metoda podatne steczne propagac asm(net,x) Metoda gradentó sprzęŝonch Metoda delta est metodą gradentoą - znacza sę erune poszuań porusza tm erunu (strom anon) Metod gradentó sprzęŝonch ntelgentne beraą erune poszuań. Jedna z nalepszch - metoda Polaa-Rbere a Metoda Polaa- Rbere a W sróce: orzon est cąg etoró g erunó poszuań h, ta Ŝe h są zaemne sprzęŝone. Gd optmalzoana funca n-maroa moŝe bć przedstaona ao forma adratoa, to mnmalzaca zdłuŝ n erunó h proadz do mnmum. Metoda Polaa- Rbere a % metoda gradentó sprzezonch Polaa-Rbre'a x[- - ; ]; % esca d[- - ]; % artosc oczeane net neff(mnmax(x),[3,],{'tansg','pureln'},'trancgp'); net.tranparam.sho0; % setlana trace nau net.tranparam.epochs300; % masmalna losc epo net.tranparam.goale-5; % zadana doladnosc [net,tr]tran(net,x,d); % uczene sec Metoda Polaa- Rbere a asm(net,x) dr nŝ. Stefan Broc 007/008 7

8 Metod quas-netonose Metoda optmalzac Netona - efetna, lecz maga lczena hesanu (macerz drugch pochodnch) func atac. Metod quas-netonose -bez lczena hesanu Napopularnesza - metoda BFGS Metod quas-netonose % metoda quas Netonosa BFGS x[- - ; ]; % esca d[- - ]; % artosc oczeane net neff(mnmax(x),[3,],{'tansg','pureln'},'tranbfg'); net.tranparam.sho0; % setlana trace nau net.tranparam.epochs300; % masmalna losc epo net.tranparam.goale-5; % zadana doladnosc [net,tr]tran(net,x,d); % uczene sec asm(net,x) Metoda quas-netonosa -BFGS Metoda aenberga-marquadta Aprosmaca hesanu poprzez aoban HJ *J Jest to naszbsz algortm uczena przedstaanch sec o średnm rozmarze (do luset ag) bardzo efetna mplementaca Matlabe Ilustraca - nndm.m Metoda aenberga-marquadta % metoda aenberga - Marquardta x[- - ; ]; % esca d[- - ]; % artosc oczeane net neff(mnmax(x),[3,],{'tansg','pureln'},'tranlm'); net.tranparam.sho0; % setlana trace nau net.tranparam.epochs300; % masmalna losc epo net.tranparam.goale-5; % zadana doladnosc [net,tr]tran(net,x,d); % uczene sec Metoda aenberga-marquadta asm(net,x) dr nŝ. Stefan Broc 007/008 8

9 Unane mnmó loalnch Potarzane testó Smuloane Ŝarzane Optmalzaca genetczna dr nŝ. Stefan Broc 007/008 9

Podobne dokumenty

Literatura SZTUCZNE SIECI NEURONOWE. Mózg/komputer jak to działa? MÓZG WZORZEC DOSKONAŁY KOMPUTER TWÓR DOSKONALONY SSN niekonwencjonalne przetwarzanie

Literatura SZTUCZNE SIECI NEURONOWE. Mózg/komputer jak to działa? MÓZG WZORZEC DOSKONAŁY KOMPUTER TWÓR DOSKONALONY SSN niekonwencjonalne przetwarzanie 007--06 SZTUCZNE SIECI NEURONOWE Archtektura Tp Przeznaczene Procedur uczena Zastosoana Lteratura. J. śurada, M. Barsk, W. Jędruch, Sztuczne sec neuronoe, PWN 996. R. Tadeusecz, Sec neuronoe, AOW 993 3.