Plan wykładu. Sztuczne sieci neuronowe. Uczenie nienadzorowane (bez nauczyciela) Uczenie nienadzorowane - przykłady

Wielkość: px

Rozpocząć pokaz od strony:

Download "Plan wykładu. Sztuczne sieci neuronowe. Uczenie nienadzorowane (bez nauczyciela) Uczenie nienadzorowane - przykłady"

Justyna Małgorzata Kwiatkowska
6 lat temu
Przeglądów:

1 Plan yładu Wyład 7: Sec samoorganzuące sę na zasadze spółzaodncta Sec samoorganzuace sę na zasadze spółzaodncta: uczene nenadzoroane uczene onurencyne reguła WTA reguła WTM antoane etoroe mapa cech Kohonena Małgorzata Krętosa Wydzał Informaty PB Uczene nenadzoroane bez nauczycela W te lase metod uczena sztucznych sec neuronoych zane uczenem bez nadzoru lub bez nauczycela seć bez nformac zrotne oryguące e dzałane z zenątrz t. oceny dzałana sec sama ypracoue funce przetarzana danych np. uporządoyana yryana regularnośc danych ch lasyfac odoana td. Metody uczena nenadzoroanego są ażnym narzędzem przetarzana danych sytuacach gdy ne można zorganzoać nadzoroanego procesu uczena. Uczene nenadzoroane - przyłady Przyładoe zadana tóre mogą być realzoane przez sec samoorganzuące sę: yryane podobeństa - ocena stopna podobeństa pomędzy zorcam g ybranego ryterum analza sładoych głónych - est to metoda reduc ymaroośc danych tóre etory zorcó eścoych są rzutoane na nastotnesze erun ch zman przestrzen o zreduoane lczbe ymaró lasyfaca - deteca danych tórych cechy grupuą sę są podobne g ybranego ryterum 3 4

Uczene nenadzoroane - przyłady Przyładoe zadana tóre mogą być realzoane przez sec samoorganzuące sę: Uczene nenadzoroane oreślane prototypu - sazane typoego reprezentanta grupy tz.

2 Uczene nenadzoroane - przyłady Przyładoe zadana tóre mogą być realzoane przez sec samoorganzuące sę: Uczene nenadzoroane oreślane prototypu - sazane typoego reprezentanta grupy tz. prototypu odoane - yznaczane zboru prototypó o lcznośc znaczne mnesze nż cały zbór danych eścoych nalepe e reprezentuących uzysue sę efet ompres stratne danych torzene map cech - porządoane danych edług ybranego ryterum podobeństa. Reguła uczena onurencynego Mapy cech Kohonena Reguła asocac Hebba Reguła uczena O Analza sładoych głónych 5 6 Uczene onurencyne Uczene onurencyne Jednym z podstaoych sposobó uczena nenadzoroanego est tz. uczene onurencyne ang. compettve learnng. W te metodze uczena sec poszczególne neurony onuruą ze sobą o prao do reprezentac danych eścoych. Cechy charaterystyczne: zyle sec ednoarstoe ażdy neuron est połączony ze szystm sładoym etora eścoego neurony lnoe W onurencyne metodze uczena sec tylo eden element yścoy może znadoać sę stane atynym. azyany est on zycęzcą a schemat tae reguły atyac neuronó oreślany est manem zycęzca berze szysto ang. Wnner Taes All - WTA. 7 8

3 Uczene onurencyne Każda omóra tae arste est połączona ze szystm elementam zorca eścoego za pomocą połączeń agoych 1... M; W ynu zastosoana tae strutury połączeń -ty neuron arsty yścoe sec otrzymue sygnał pobudzena: 1 T y 1 M Komóra zycęsa arsty yścoe sec oznaczona ndesem * est to neuron otrzymuący naslneszy sygnał pobudzena y.. Zatem dla omór zycęse spełnona est neróność: T T * > 1 M 9 Z rónana: Uczene onurencyne T T > 1 * yna że etor ag * łączący zycęs neuron z elementam etora eścoego est etorem nabardze "podobnym" sense loczynu salarnego etoró do zorca atualne podanego na eśce sec. Jeżel przyąć że etory oraz znormalzoano do ednostoe długośc to szuaną omórą zycęzcy est neuron dla tórego różnca: osąga artość mnmalną d * mn d 1 Dla znormalzoanych etoró o artośc ch loczynu salarnego decydue edyne zgodność ch erunó a ne dodatoo ch długość. d 1 M 1 M M 10 Uczene onurencyne Strefy płyó Inne mary odległośc medzy etoram: mara Euldesoa: d 1 a onec procesu uczena cała przestrzeń cech est podzelona na rozdzelne strefy płyó poszczególnych neuronó. Jednocześne można zaobseroać pogrupoane danych. Cały zbór danych został podzelony na supsa reprezentoane przez poszczególne neurony. loczyn salarny: d cos Zastosoane różnych mar odległośc pomędzy etoram ształtue podzał stref płyó nacze. mara edług normy L 1 Manhattan: mara edług normy L : d 1 d ma W szczególnośc zastosoane loczynu salarnego bez normalzac etoró może proadzć do nespónego podzału przestrzen cech tórym ystępue la neuronó ednym obszarze a nnym ne mażadnego. 11 1

Strefy płyó - lustraca ormalzaca etoró Rozład obszaró atrac przy różnych marach odległośc mędzy etoram neznormalzoanym: a mara euldesoa; b loczyn salarny; c norma L 1 ; d norma L.

Jeżel etory są znormalzoane to etory ag staą sę róneż automatyczne znormalzoane. Badana esperymentalne poterdzły potrzebę normalzac etoró dla małych ymaró n3 Dla n>00 normalzaca ne odgrya ęsze rol.

4 Strefy płyó - lustraca ormalzaca etoró Rozład obszaró atrac przy różnych marach odległośc mędzy etoram neznormalzoanym: a mara euldesoa; b loczyn salarny; c norma L 1 ; d norma L. 13 Wyazano że proces samoorganzac proadz zasze do spónego podzału przestrzen cech gdy choć eden z etoró lub podlega normalzac. Jeżel etory są znormalzoane to etory ag staą sę róneż automatyczne znormalzoane. Badana esperymentalne poterdzły potrzebę normalzac etoró dla małych ymaró n3 Dla n>00 normalzaca ne odgrya ęsze rol. Metody normalzac: redefnca sładoych etora zęszene ymaru przestrzen o eden do +1 przy tam yborze +1-sze sładoe aby 1 1 Zachodz tu z reguły oneczność cześneszego przesaloana sładoych etora przestrzen R. umożlaącego spełnene te rónośc 1 14 Uczene onurencyne - adaptaca ag Interpretaca geometryczna W ażde terac uczena prezentoane są olene zorce eścoe a yłonony neuron zycęs ta adaptue soe ag aby dodatoo poprać "dopasoane orelacę sense loczynu salarnego do atualne podanego na eśce sec zorca. Dopasoane to można osągnąć stosuąc tz. standardoą onurencyną regułę uczena: Reguła uczena onurencynego poodue stopnoą zmanę erunu etora ag poszczególnych ednoste yścoych sec stronę statystyczne naczęśce ystępuących eść. * η * Uczene dotyczy tylo neuronu zycęsego stąd oreślene "zycęzca berze szysto" ang. nner-taes-all

Uczene onurencyne Ilustraca grafczna uczena onurencynego Regułę uczena onurencynego można zapsać postac

.. + η [ ] + 1 * * W standardoe regule uczena onurencynego ne uzględna sę efetu hamoana obocznego neuronó

17 Wetory ag poszczególnych ednoste przemeszcza sę do obszaró ystępoana supeń zorcó eścoych.

adaptac ażde terac są algorytmam słabo zbeżnym szczególne przy duże lczbe neuronó W pratyce zostały one

5 Uczene onurencyne Ilustraca grafczna uczena onurencynego Regułę uczena onurencynego można zapsać postac uzględnaące olene terace uczena η [ ] + 1 * * W standardoe regule uczena onurencynego ne uzględna sę efetu hamoana obocznego neuronó sąsaduących z neuronem zycęsm. 17 Wetory ag poszczególnych ednoste przemeszcza sę do obszaró ystępoana supeń zorcó eścoych. 18 Zycęzca berze ęszość - WTM Przyład adaptac ag WTM Algorytmy WTA tórych tylo eden neuron może podlegać adaptac ażde terac są algorytmam słabo zbeżnym szczególne przy duże lczbe neuronó W pratyce zostały one zastąpone algorytmam WTM ang. Wnner Taes Most tórych oprócz zycęzcy uatualnaą soe ag róneż neurony z ego sąsedzta: + η G [ ] dla szystch neuronó należących do sąsedzta S * zycęzcy. Defnuąc G postac: 1 G 0 * * otrzymuemy algorytm WTA. 19 Ilustraca procesu adaptac ag 0

6 Problemy Występoane tz. ednoste martych: neuronó o agach dalech od etoró eścoych tóre mogą ngdy ne ygrać ngdy sę ne uczą. Sposoby zapobegana: ao początoy etor ag można przyąć eden z etoró uczących atualzaca ag szystch neuronó przegranych ale przy bardzo małym spółczynnu uczena od artośc atyac ażdego neuronu można odemoać tz. yraz obcążena a. Wartość progu ponna być ęsza dla neuronó często ygryaących mała dla ednoste przegryaących. Mechanzm ta est nazyany sumenem: naczęśce ygryaący czuą sę nn dlatego zmneszaą só spółczynn zycęsta proadzane potencału p dla ażdego neuronu tóry est modyfoany po ażde prezentac zorca uczącego na eśce sec: 1 p + dla * p p + 1 mn - mnmalny potencał n upoażnaący do udzału e p pmn dla * spółzaodncte Kantoane etoroe danych Jednym z naażneszych zastosoań uczena onurencynego est tz. antoane etoroe danych. Idea tae reprezentac danych pozala uzysać efet ch odoana z ompresą. Zadane antoana etoroego realzue sę przez podzał danych na ybraną lczbę M las. W ażde z las defnue sę tz. etor prototypoy lasy tóry stae sę reprezentantem antue do soe artośc szyste dane z lasy. Przynależność do dane lasy znadue sę przez znalezene nablższego prototypu np. edług metry euldesoe. Przestrzeń danych podzelona est efece stosoana tae reguły tz. mozaą Voronoa yznaczaąc obszary las. Obszary Voronoa Kantoane etoroe Kantoane etoroe danych można uzysać za pomocą reguły uczena onurencynego następuący sposób: oreśl założoną lczbę M las utórz seć ednoarstoą o tae same lczbe M ednoste yścoych zastosu regułę onurencyną zycęzca berze szysto do uczena sec stosu regułę uczena dla ażde noe dane eścoe. Obszary Voronoa. Krop reprezentuą prototypy las. 3 Po nauczenu sec ag poszczególnych ednoste reprezentuą prototypy las a o przynależnośc dane eścoe do lasy nformue zycęse yśce sec. 4

Kantoane etoroe Mapa cech Kohonena Kohonen zaproponoał regułę uczena onurencynego tóre odróżnenu od reguły standardoe

Ilustraca antoana etoroego uzysanego za pomocą sec uczone regułą onurencyną Reguła ta ymaga proadzena tz.

przez zalczene do tego otoczena neuronó tórych ndesy porząduące ne różną sę o ęszą nż założona artość tóra yznacza to

7 Kantoane etoroe Mapa cech Kohonena Kohonen zaproponoał regułę uczena onurencynego tóre odróżnenu od reguły standardoe modyfac ag doonue sę ne tylo dla neuronu zycęsego lecz róneż dla pene lczby neuronó z ego otoczena. Ilustraca antoana etoroego uzysanego za pomocą sec uczone regułą onurencyną Reguła ta ymaga proadzena tz. topologcznego uporządoana neuronó arste yścoe zane też mapą cech dla tóre można proadzć poęce otoczena neuronu zycęsego np. przez zalczene do tego otoczena neuronó tórych ndesy porząduące ne różną sę o ęszą nż założona artość tóra yznacza to otoczene. 5 6 Mapa cech Kohonena Mapa cech Kohonena Cel: Idea: eurony położone blso sebe maą pełnć podobną funcę Modyfaca reguły WTA torząca obszary rażle na podobne zorce 7 8

8 Mapa cech Kohonena Topologa duymaroa sata hesagonalna prostoątna Konurencyne uczene nenadzoroane Algorytm uczena onurencynego Kohonena est dany zależnoścą: + η [ + 1 ] Ω Ω tóre elośc η oraz Ω reprezentuące odpoedno spółczynn uczena otoczene neuronu zycęzcy są dodatnm maleącym funcam czasu t. numeru terac uczena. 30 Dobór parametró spółczynn uczena - dobór esperymentalny z przedzału 0.1; 1 otoczene neuronu zycęzcy - początoo ponno obemoać ęszą nż połoa z ogólne lczby neuronó należy e zmneszać czase uczena ta by ońcoe faze uczena zaerało ono tylo neuron zycęs Algorytm uczena sec Kohonena 1. Przypsz agom sec o M neuronach arsty yścoe eścach neele lczby losoe. Ustal lczbę neuronó należących do początoego otoczena neuronu > M/. Dołącz noy etor uczący [ ] do eśca. 3. Wyznacz odpoedź ażdego neuronu arsty yścoe 4. Znadź neuron zycęs * naęsza artość odpoedz. 5. Wyznacz noe artośc ag dla neuronu zycęzcy * ego sąsedzta t. ego otoczena stosuąc regułę Kohonena. 6. Zmeń odpoedno artośc spółczynna uczena otoczena 7. Potórz -6 dla następnych zorcó eścoych aż do chl ustalena sę odpoedz sec. 31 3

9 Przyłady zastosoań Przyłady zastosoań Problem omoażera Odzoroane poerzchn duymaroe na lnoą satę 50 ednoste yścoych; Odzoroane poerzchn adratoe na satę zaeraącą 1010 ednoste yścoych 33

Podobne dokumenty

Plan wykładu. Sztuczne sieci neuronowe. Uczenie nienadzorowane (bez nauczyciela) Uczenie nienadzorowane - przykłady

Plan wykładu. Sztuczne sieci neuronowe. Uczenie nienadzorowane (bez nauczyciela) Uczenie nienadzorowane - przykłady Plan yładu Wyład 10: Sec samoorganzuce s na zasadze spółzaodncta Sec samoorganzuace s na zasadze spółzaodncta: uczene nenadzoroane uczene onurencyne reguła WTA reguła WTM antoane etoroe mapa cech Kohonena