Wstęp do sieci neuronowych, wykład 8 Uczenie nienadzorowane.

Wstęp do sieci neuronowych, wykład 8. M. Czoków, J. Piersa, A. Rutkowski Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika w Toruniu 1-811-6 Projekt pn. Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych realizowany w ramach Poddziałania.1.1 Programu Operacyjnego Kapitał Ludzki

1 Uczenie z nauczycielem Uczenie bez nauczyciela 3 Przykład

Uczenie z nauczycielem Uczenie bez nauczyciela 1 Uczenie z nauczycielem Uczenie bez nauczyciela 3 Przykład

Uczenie z nauczycielem Uczenie bez nauczyciela Uczenie z nauczycielem (przyp.) Dane: zestaw przykładów uczących E k poprawne odpowiedzi C k Cel: znalezienie wartości wag w ij (które minimalizuje pewien błąd)

Uczenie z nauczycielem Uczenie bez nauczyciela Uczenie z nauczycielem (przyp.) Source: http://www.classicgaming.cc/classics/ spaceinvaders/wallpaper.php

Uczenie z nauczycielem Uczenie bez nauczyciela Uczenie bez nauczyciela Dane: zestaw przykładów uczących E k Cel: znalezienie wartości wag w ij (które minimalizuje pewien błąd)

Uczenie z nauczycielem Uczenie bez nauczyciela Uczenie bez nauczyciela

1 Uczenie z nauczycielem Uczenie bez nauczyciela 3 Przykład

Motywacja Neural Networks - A Systematic Introduction, Raul Rojas, Springer-Verlag, Berlin, New-York, 1996

Motywacja http://www.is.umk.pl/ duch/ref/1/1-plastic/motorsomato.gif

Motywacja Dane: dane uczące, numeryczne w przestrzeni R n graf G = (V, E)

Motywacja Cel: zmapować graf na dane uczące, tak aby był rozmieszczony równomiernie a sąsiednie wierzchołki leżały niedaleko alternatywne sformułowanie: zmapować dane uczące na graf, tak aby podobne były w tym samym lub sąsiednich wierzchołkach i przypisanie danych do wierzchołka było równomierne

Algorytm 1 przypisujemy neuronom małe losowe wagi (pozycje w R d ) p 1...p d dla t = 1..T wykonujemy: 1 losujemy przykład P, znajdujemy jednostkę v V, której zestaw wag π(v) leży najbliżej P, 3 dla neuronu zwycięzcy i wszystkich jego sąsiadów s(v) wykonujemy: π(w) = π(w) + α(t)(p π(w)), gdzie α(t) maleje od 1 do wraz z postępem algorytmu, np. α(t) = 1 t 1 T,

Topologie sieci

Przykład 15 - -3 15 1-1 5-1 5-5 -1-1 -5 5 1 3 1-5 -1-1 -5 5

Motywacja ograniczyć wzrost wag zwiększyć gładkość dopasowania zwiększyć specjalizację w obrębie klas

1 ustawiamy losowe wagi neuronom, dla t = 1..T wykonujemy: 1 losujemy przykład P, znajdujemy jednostkę v V, której zestaw wag π(v) leży najbliżej P, 3 dla neuronu zwycięzcy i wierzchołków odległych o co najwyżej λ krawędzi: gdzie G(w, v) = π(w) := π(w) + α(t)g(w, v)(p π(w)), { 1 w = v < 1 i malejąca wraz z ilością krawędzi między v i w

Kwadratowa funkcja sąsiedztwa G(w, v) = { 1 ρ(w, v) λ w p. p. 1.8.6.. 6 - - - - M. Czoków, J. Piersa, A. Rutkowski -6-6 WSN 18/19 Wykład 8 6

Gaussowska funkcja sąsiedztwa dla rosnącej λ G(w, v) = exp( ρ (w, v) λ ). click 1.5 1.5 6 6

Funkcja sąsiedztwa - mexican hat MH(v, w) = exp( ρ (v, w) λ 1 ) exp( ρ (v, w) λ ), λ 1 < λ 1.5 -.5-16 - - -6-6 - - 6

Przykład: RGB

Przykład kliknij Kohonen: G =siatka, E = sześcian.

Przykład kliknij Kohonen + Gauss: G =siatka, E = sześcian.

Przykład kliknij Kohonen: G =siatka, E = sfera d.

Przykład kliknij Kohonen+Gauss: G =siatka, E = sfera d.

Wizualizacja danych za pomocą danej struktury przestrzennej (zadanej przez graf) w innym wymiarze (przykłady są wtedy rozłożone jednostajnie na obszarze reprezentacji) przejście do wyższego wymiaru (np. krzywa wypełniająca przestrzeń), przejście do niższego wymiaru (wizualizacja skomplikowanych struktur z zachowaniem topologii, ale nie odległości).

Strefy wpływów 3 3 1 1-1 -1 - - -3-3 - -6 - - 6 - -6 - -

Odległość Minkowskiego Odległość Minkowskiego jest to uogólniona funkcja odległości między punktami przestrzeni euklidesowej. Nazywana jest również odległością L p. Wzór na tę funkcję w zależności od p ma postać: K d(x, y) = ( (x k y k ) p ) 1 p. k=1

Odległość Minkowskiego 1.5 m=.5 m=1 m=1.5 m= m= m=1 -.5-1 -1 -.5.5 1 1.5

Najbliższy punkt w różnych metrykach 6 6 - - - P = 1 - P = -6-6 - - 6-6 -6 - - 6

Najbliższy punkt w różnych metrykach 6 6 - - - P = 3 - P = 1-6 -6 - - 6-6 -6 - - 6

Przejście do wyższego wymiaru Rysunek za Stanisław Ossowski, Sieci neuronowe w ujęciu algorytmicznym.

Przykład 1 Uczenie z nauczycielem Uczenie bez nauczyciela 3 Przykład

Przykład Dane: Wynik: zbiór punktów w R n : { E = E (1),.., E (m)}, E (i) R n, oczekiwana liczba kategorii k m. podział zbioru E na klastry K 1... K k, każdy z klastrów powinien zawierać punkty, które leżą w pobliżu siebie, klastry są parami rozłączne i j K i K j =.

Środek ciężkości Przykład Środkiem ciężkości zbioru punktów { x (1),.., x (n)}, x (i) R n nazywamy punkt: i x (i) m (i) i m(i), gdzie: m (i) > masa (waga) i-tego punktu.

Przykład 1 ustal ilość kategorii k, przypisz przykłady kategoriom, 3 dla każdej kategorii oblicz jej środek ciężkości, powtarzaj wiele razy, wybierz przykład E, znajdź dla E kategorię o najbliższym środku ciężkości, jeżeli nie był do niej przypisany, to przypisz tam E, uaktualnij środki ciężkości w obu kategoriach (tj. wypisanej i wpisanej), zakończ, gdy stan się ustabilizuje,

Przykład działania 1/5 Przykład 1 1 8 6-6 - - 6

Przykład działania /5 Przykład 1 1 8 6-6 - - 6

Do czego wykorzystać Przykład 1 1 1.5 8 1 6.5-6 - - 6-6 - - 6 6 8 1 1

Do czego wykorzystać Przykład out 1.5 1.5 1 1.5.5-6 - - 6 6 8 1 1-6 - - 6 6 8 1 1

Przykład Inicjalizacja środków ciężkości w k-means++ 1 Przydziel losowemu przykładowi pierwszą kategorię. Dla każdego przykładu E (i), któremu nie została przypisana żadna kategoria, oblicz D(E (i) ) odległość pomiędzy przykładem, a najbliższym środkiem ciężkości. 3 Wylosuj przykład, któremu przydzielona zostanie kolejna kategoria; każdy przykład E (i) może zostać wylosowany z prawdopodobieństwem proporcjonalnym do D (E (i) ). Powtarzaj krok i 3, aż zostanie wyznaczonych k środków ciężkości.