Plan wykładu. Sztuczne sieci neuronowe. Uczenie nienadzorowane (bez nauczyciela) Uczenie nienadzorowane - przykłady

Wielkość: px

Rozpocząć pokaz od strony:

Download "Plan wykładu. Sztuczne sieci neuronowe. Uczenie nienadzorowane (bez nauczyciela) Uczenie nienadzorowane - przykłady"

Patryk Kaczmarczyk
8 lat temu
Przeglądów:

1 Plan yładu Wyład 10: Sec samoorganzuce s na zasadze spółzaodncta Sec samoorganzuace s na zasadze spółzaodncta: uczene nenadzoroane uczene onurencyne reguła WTA reguła WTM antoane etoroe mapa cech Kohonena Małgorzata Krtosa Katedra Oprogramoana e-mal: mmac@.pb.balysto.pl Uczene nenadzoroane (bez nauczycela) W te lase metod uczena sztucznych sec neuronoych (zane uczenem bez nadzoru lub bez nauczycela) se bez nformac zrotne oryguce e dzałane z zentrz (t. oceny dzałana sec) sama ypracoue funce przetarzana danych, np. uporzdoyana, yryana regularnoc danych, ch lasyfac, odoana td. Metody uczena nenadzoroanego s anym narzdzem przetarzana danych sytuacach gdy ne mona zorganzoa nadzoroanego procesu uczena. Uczene nenadzoroane - przyłady Przyładoe zadana, tóre mog by realzoane przez sec samoorganzuce s: yryane podobesta - ocena stopna podobesta pomdzy zorcam (g ybranego ryterum), analza sładoych głónych - est to metoda reduc ymarooc danych, tóre etory zorcó ecoych s rzutoane na nastotnesze erun ch zman przestrzen o zreduoane lczbe ymaró, lasyfaca - deteca danych, tórych cechy grupu s (s podobne) g ybranego ryterum, 3 4

pl Uczene nenadzoroane (bez nauczycela) W te lase metod uczena sztucznych sec neuronoych (zane uczenem bez nadzoru lub bez nauczycela) se bez nformac zrotne oryguce e dzałane z zentrz (t.

2 Uczene nenadzoroane - przyłady Przyładoe zadana, tóre mog by realzoane przez sec samoorganzuce s: orelane prototypu - sazane typoego reprezentanta grupy, tz. prototypu, odoane - yznaczane zboru prototypó o lcznoc znaczne mnesze n cały zbór danych ecoych nalepe e reprezentucych (uzysue s efet ompres stratne danych), torzene map cech - porzdoane danych edług ybranego ryterum podobesta. Uczene onurencyne Jednym z podstaoych sposobó uczena nenadzoroanego est tz. uczene onurencyne (ang. compettve learnng). W te metodze uczena sec, poszczególne neurony onuru ze soo prao do reprezentac danych ecoych. Cechy charaterystyczne: zyle sec ednoarstoe ady neuron est połczony ze szystm sładoym etora ecoego x neurony lnoe 5 6 Uczene onurencyne W onurencyne metodze uczena sec, tylo eden element ycoy moe znadoa s stane atynym. azyany est on zyczc, a schemat tae reguły atyac neuronó orelany est manem zyczca berze szysto (ang. Wnner Taes All - WTA). Uczene onurencyne Kada omóra tae arste est połczona ze szystm elementam x zorca ecoego za pomoc połcze agoych (1,,..., M; 1,,..., ). W ynu zastosoana tae strutury połcze -ty neuron arsty ycoe sec otrzymue sygnał pobudzena: 1 T y x 1,,, M Komóra zycsa arsty ycoe sec, oznaczona ndesem *, est to neuron otrzymucy naslneszy sygnał pobudzena y.. Zatem dla omór zycse spełnona est neróno: T T x > 1, * M 7 8

edług ybranego ryterum podobesta. Uczene onurencyne Jednym z podstaoych sposobó uczena nenadzoroanego est tz. uczene onurencyne (ang. compettve learnng).

3 Uczene onurencyne Uczene onurencyne Z rónana: T T x > 1, * yna, e etor ag * łczcy zycs neuron z elementam etora ecoego est etorem nabardze "podobnym", sense loczynu salarnego etoró, do zorca x atualne podanego na ece sec. Jeel przy, e etory oraz x znormalzoano do ednostoe długoc to szuan omór zyczcy est neuron, dla tórego rónca: M Inne mary odległoc medzy etoram: mara Euldesoa: loczyn salarny: d( ) x 1 ( x d ( ) x cos( ) ) osga arto mnmaln d( *) mn d( ), 1, Dla znormalzoanych etoró x o artoc ch loczynu salarnego decydue edyne zgodno ch erunó a ne dodatoo ch długo. d( ) x ( x ), 1,, M 1, M 9 mara edług normy L 1 (Manhattan): mara edług normy L : d( ) 1 d( ) max x x 10 Strefy płyó Strefy płyó - lustraca a onec procesu uczena cała przestrze cech est podzelona na rozdzelne strefy płyó poszczególnych neuronó. Jednoczene mona zaobseroa pogrupoane danych. Cały zbór danych został podzelony na supsa reprezentoane przez poszczególne neurony. Zastosoane rónych mar odległoc pomdzy etoram ształtue podzał stref płyó nacze. W szczególnoc zastosoane loczynu salarnego bez normalzac etoró moe proadz do nespónego podzału przestrzen cech, tórym ystpue la neuronó ednym obszarze, a nnym ne ma adnego. 11 Rozład obszaró atrac przy rónych marach odległoc mdzy etoram neznormalzoanym: a) mara euldesoa; b) loczyn salarny; c) norma L 1 ; d) norma L. 1

Jeel przy, e etory oraz x znormalzoano do ednostoe długoc to szuan omór zyczcy est neuron, dla tórego rónca: M Inne mary odległoc medzy etoram: mara Euldesoa: loczyn salarny: d( ) x 1 ( x d ( ) x

4 ormalzaca etoró Uczene onurencyne - adaptaca ag Wyazano, e proces samoorganzac proadz zasze do spónego podzału przestrzen cech, gdy cho eden z etoró x lub podlega normalzac. Jeel etory x s znormalzoane to etory ag sta s róne automatyczne znormalzoane. Badana esperymentalne poterdzły potrzeb normalzac etoró dla małych ymaró n,3 Dla n>00 normalzaca ne odgrya sze rol. Metody normalzac: x redefnca sładoych etora x x zszene ymaru przestrzen o eden (do +1), przy tam yborze (+1)- sze sładoe, aby x 1 1 (Zachodz tu z reguły oneczno czeneszego przesaloana sładoych etora x przestrzen R. umolacego spełnene te rónoc) 13 1 x W ade terac uczena, prezentoane s olene zorce ecoe, a yłonony neuron zycs ta adaptue soe ag aby dodatoo popra "dopasoane (orelac), sense loczynu salarnego, do atualne podanego na ece sec zorca. Dopasoane to mona osgn stosuc tz. standardo onurencyn reguł uczena: Uczene dotyczy tylo neuronu zycsego, std orelene "zyczca berze szysto" (ang. nner-taes-all). η * ( x * ) 14 Interpretaca geometryczna Reguła uczena onurencynego poodue stopno zman erunu etora ag poszczególnych ednoste ycoych sec stron statystyczne naczce ystpucych e. Uczene onurencyne Reguczena onurencynego m na zaps postac uzgdnace olene terace uczena, +1, +,... ( + η ( [ x ( + 1) ( ( ] * * W standardoe regule uczena onurencynego ne uzgdna sefetu hamoana obocznego neuronó saducych z neuronem zycsm

Metody normalzac: x redefnca sładoych etora x x zszene ymaru przestrzen o eden (do +1), przy tam yborze (+1)- sze sładoe, aby x 1 1 (Zachodz tu z reguły oneczno czeneszego przesaloana sładoych etora

5 Zyczca berze szo - WTM Przyład adaptac ag (WTM) Algorytmy WTA, tórych tylo eden neuron moe podlega adaptac ade terac, s algorytmam słabo zbenym, szczególne przy due lczbe neuronó W pratyce zostały one zastpone algorytmam WTM (ang. Wnner Taes Most), tórych oprócz zyczcy uatualna soe ag róne neurony z ego ssedzta: + η G, x)[ x ] ( dla szystch neuronó nalecych do ssedzta S * zyczcy. Defnuc G(,x) postac: 1 G(, x) 0 * * otrzymuemy algorytm WTA. 17 Ilustraca procesu adaptac ag 18 Kantoane etoroe danych Obszary Voronoa Jednym z naaneszych zastosoa uczena onurencynego est tz. antoane etoroe danych. Idea tae reprezentac danych pozala uzysa efet ch odoana z ompres. Zadane antoana etoroego realzue s przez podzał danych na ybran lczb M las. W ade z las defnue s tz. etor prototypoy lasy, tóry stae s reprezentantem (antue do soe artoc) szyste dane z lasy. Przynaleno do dane lasy znadue s przez znalezene nablszego prototypu (np. edług metry euldesoe). Przestrze danych podzelona est, efece stosoana tae reguły, tz. moza Voronoa yznaczac obszary las. 19 Obszary Voronoa. Krop reprezentu prototypy las. 0

Defnuc G(,x) postac: 1 G(, x) 0 * * otrzymuemy algorytm WTA. 17 Ilustraca procesu adaptac ag 18 Kantoane etoroe danych Obszary Voronoa Jednym z naaneszych zastosoa uczena onurencynego est tz.

6 Kantoane etoroe Kantoane etoroe Kantoane etoroe danych mona uzysa za pomoc reguły uczena onurencynego nastpucy sposób: orel załoon lczb M las utórz se ednoarsto o tae same lczbe M ednoste ycoych, zastosu reguł onurencyn zyczca berze szysto do uczena sec (stosu reguł uczena dla ade noe dane ecoe). Po nauczenu sec, ag poszczególnych ednoste reprezentu prototypy las, a o przynalenoc dane ecoe do lasy nformue zycse yce sec. Ilustraca antoana etoroego uzysanego za pomoc sec uczone reguł onurencyn 1 Mapa cech Kohonena Mapa cech Kohonena Kohonen zaproponoał reguł uczena onurencynego, tóre odrónenu od reguły standardoe, modyfac ag doonue s ne tylo dla neuronu zycsego, lecz róne dla pene lczby neuronó z ego otoczena. Cel: Idea: eurony połoone blso sebe ma pełn podobn func Modyfaca reguły WTA torzca obszary rale na podobne zorce Reguła ta ymaga proadzena tz. topologcznego uporzdoana neuronó arste ycoe (zane te map cech), dla tóre mona proadz poce otoczena neuronu zycsego np. przez zalczene do tego otoczena neuronó, tórych ndesy porzduce ne rón s o sz n załoona arto, tóra yznacza to otoczene. 3 4

Po nauczenu sec, ag poszczególnych ednoste reprezentu prototypy las, a o przynalenoc dane ecoe do lasy nformue zycse yce sec.

7 Mapa cech Kohonena Konurencyne uczene nenadzoroane Algorytm uczena onurencynego Kohonena est dany zaln c: ( + η( [ x ( + 1) ( ( ] Ω( Ω( tóre el c η( oraz Ω(, reprezentuce odpoedno spczynn uczena otoczene neuronu zyczcy, dodatnm, malecym funcam czasu (t. numeru terac uczena. 5 6 Dobór parametró spółczynn uczena - dobór esperymentalny z przedzału (0.1; 1) otoczene neuronu zyczcy - pocztoo ponno obemoa sz n połoa z ogólne lczby neuronó naley e zmnesza czase uczena ta by ocoe faze uczena, zaerało ono tylo neuron zycs (neurony ułoone sat hexagonaln prostotn) Algorytm uczena sec Kohonena 1. Przypsz agom sec o M neuronach arsty ycoe ecach neele lczby losoe. Ustal lczb neuronó nalecych do pocztoego otoczena neuronu (> M/). Dołcz noy etor uczcy x[x 1,..., x,..., x ] do eca. 3. Wyznacz odpoed adego neuronu arsty ycoe 4. Znad neuron zycs * (nasza arto odpoedz). 5. Wyznacz noe artoc ag dla neuronu zyczcy * ego ssedzta (t. ego otoczena) stosuc reguł Kohonena. 6. Zme odpoedno artoc spółczynna uczena otoczena 7. Potórz -6 dla nastpnych zorcó ecoych a do chl ustalena s odpoedz sec. 7 8

1; 1) otoczene neuronu zyczcy - pocztoo ponno obemoa sz n połoa z ogólne lczby neuronó naley e zmnesza czase uczena ta by ocoe faze uczena, zaerało ono tylo neuron zycs (neurony ułoone sat hexagonaln

8 Przyłady zastosoa Odzoroane poerzchn duymaroe na lno sat 50 ednoste ycoych; Odzoroane poerzchn adratoe na sat zaerac 10x10 ednoste ycoych 9

Podobne dokumenty

Plan wykładu. Sztuczne sieci neuronowe. Uczenie nienadzorowane (bez nauczyciela) Uczenie nienadzorowane - przykłady

Plan wykładu. Sztuczne sieci neuronowe. Uczenie nienadzorowane (bez nauczyciela) Uczenie nienadzorowane - przykłady Plan yładu Wyład 7: Sec samoorganzuące sę na zasadze spółzaodncta Sec samoorganzuace sę na zasadze spółzaodncta: uczene nenadzoroane uczene onurencyne reguła WTA reguła WTM antoane etoroe mapa cech Kohonena