Wstęp do sieci neuronowych, wykład 8 Uczenie nienadzorowane.

Transkrypt

1 Wstęp do sieci neuronowych, wykład 8. M. Czoków, J. Piersa, A. Rutkowski Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika w Toruniu Projekt pn. Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych realizowany w ramach Poddziałania.1.1 Programu Operacyjnego Kapitał Ludzki

2 1 Uczenie z nauczycielem Uczenie bez nauczyciela 3 Przykład

3 Uczenie z nauczycielem Uczenie bez nauczyciela 1 Uczenie z nauczycielem Uczenie bez nauczyciela 3 Przykład

4 Uczenie z nauczycielem Uczenie bez nauczyciela Uczenie z nauczycielem (przyp.) Dane: zestaw przykładów uczących E k poprawne odpowiedzi C k Cel: znalezienie wartości wag w ij (które minimalizuje pewien błąd)

5 Uczenie z nauczycielem Uczenie bez nauczyciela Uczenie z nauczycielem (przyp.) Source: spaceinvaders/wallpaper.php

6 Uczenie z nauczycielem Uczenie bez nauczyciela Uczenie bez nauczyciela Dane: zestaw przykładów uczących E k Cel: znalezienie wartości wag w ij (które minimalizuje pewien błąd)

7 Uczenie z nauczycielem Uczenie bez nauczyciela Uczenie bez nauczyciela

8 1 Uczenie z nauczycielem Uczenie bez nauczyciela 3 Przykład

9 Motywacja Neural Networks - A Systematic Introduction, Raul Rojas, Springer-Verlag, Berlin, New-York, 1996

10 Motywacja duch/ref/1/1-plastic/motorsomato.gif

11 Motywacja Dane: dane uczące, numeryczne w przestrzeni R n graf G = (V, E)

12 Motywacja Cel: zmapować graf na dane uczące, tak aby był rozmieszczony równomiernie a sąsiednie wierzchołki leżały niedaleko alternatywne sformułowanie: zmapować dane uczące na graf, tak aby podobne były w tym samym lub sąsiednich wierzchołkach i przypisanie danych do wierzchołka było równomierne

13 Algorytm 1 przypisujemy neuronom małe losowe wagi (pozycje w R d ) p 1...p d dla t = 1..T wykonujemy: 1 losujemy przykład P, znajdujemy jednostkę v V, której zestaw wag π(v) leży najbliżej P, 3 dla neuronu zwycięzcy i wszystkich jego sąsiadów s(v) wykonujemy: π(w) = π(w) + α(t)(p π(w)), gdzie α(t) maleje od 1 do wraz z postępem algorytmu, np. α(t) = 1 t 1 T,

14 Topologie sieci

15 Przykład

16 Motywacja ograniczyć wzrost wag zwiększyć gładkość dopasowania zwiększyć specjalizację w obrębie klas

17 1 ustawiamy losowe wagi neuronom, dla t = 1..T wykonujemy: 1 losujemy przykład P, znajdujemy jednostkę v V, której zestaw wag π(v) leży najbliżej P, 3 dla neuronu zwycięzcy i wierzchołków odległych o co najwyżej λ krawędzi: gdzie G(w, v) = π(w) := π(w) + α(t)g(w, v)(p π(w)), { 1 w = v < 1 i malejąca wraz z ilością krawędzi między v i w

18 Kwadratowa funkcja sąsiedztwa G(w, v) = { 1 ρ(w, v) λ w p. p M. Czoków, J. Piersa, A. Rutkowski -6-6 WSN 18/19 Wykład 8 6

19 Gaussowska funkcja sąsiedztwa dla rosnącej λ G(w, v) = exp( ρ (w, v) λ ). click

20 Funkcja sąsiedztwa - mexican hat MH(v, w) = exp( ρ (v, w) λ 1 ) exp( ρ (v, w) λ ), λ 1 < λ

21 Przykład: RGB

22 Przykład: RGB

23 Przykład kliknij Kohonen: G =siatka, E = sześcian.

24 Przykład kliknij Kohonen + Gauss: G =siatka, E = sześcian.

25 Przykład kliknij Kohonen: G =siatka, E = sfera d.

26 Przykład kliknij Kohonen+Gauss: G =siatka, E = sfera d.

27 Wizualizacja danych za pomocą danej struktury przestrzennej (zadanej przez graf) w innym wymiarze (przykłady są wtedy rozłożone jednostajnie na obszarze reprezentacji) przejście do wyższego wymiaru (np. krzywa wypełniająca przestrzeń), przejście do niższego wymiaru (wizualizacja skomplikowanych struktur z zachowaniem topologii, ale nie odległości).

28 Strefy wpływów

29 Odległość Minkowskiego Odległość Minkowskiego jest to uogólniona funkcja odległości między punktami przestrzeni euklidesowej. Nazywana jest również odległością L p. Wzór na tę funkcję w zależności od p ma postać: K d(x, y) = ( (x k y k ) p ) 1 p. k=1

30 Odległość Minkowskiego 1.5 m=.5 m=1 m=1.5 m= m= m=

31 Najbliższy punkt w różnych metrykach P = 1 - P =

32 Najbliższy punkt w różnych metrykach P = 3 - P =

33 Przejście do wyższego wymiaru Rysunek za Stanisław Ossowski, Sieci neuronowe w ujęciu algorytmicznym.

34 Przykład 1 Uczenie z nauczycielem Uczenie bez nauczyciela 3 Przykład

35 Przykład Dane: Wynik: zbiór punktów w R n : { E = E (1),.., E (m)}, E (i) R n, oczekiwana liczba kategorii k m. podział zbioru E na klastry K 1... K k, każdy z klastrów powinien zawierać punkty, które leżą w pobliżu siebie, klastry są parami rozłączne i j K i K j =.

36 Środek ciężkości Przykład Środkiem ciężkości zbioru punktów { x (1),.., x (n)}, x (i) R n nazywamy punkt: i x (i) m (i) i m(i), gdzie: m (i) > masa (waga) i-tego punktu.

37 Przykład 1 ustal ilość kategorii k, przypisz przykłady kategoriom, 3 dla każdej kategorii oblicz jej środek ciężkości, powtarzaj wiele razy, wybierz przykład E, znajdź dla E kategorię o najbliższym środku ciężkości, jeżeli nie był do niej przypisany, to przypisz tam E, uaktualnij środki ciężkości w obu kategoriach (tj. wypisanej i wpisanej), zakończ, gdy stan się ustabilizuje,

38 Przykład działania 1/5 Przykład

39 Przykład działania /5 Przykład

40 Przykład działania 3/5 Przykład

41 Przykład działania /5 Przykład

42 Przykład działania 5/5 Przykład

43 Do czego wykorzystać Przykład

44 Do czego wykorzystać Przykład out

45 Przykład Inicjalizacja środków ciężkości w k-means++ 1 Przydziel losowemu przykładowi pierwszą kategorię. Dla każdego przykładu E (i), któremu nie została przypisana żadna kategoria, oblicz D(E (i) ) odległość pomiędzy przykładem, a najbliższym środkiem ciężkości. 3 Wylosuj przykład, któremu przydzielona zostanie kolejna kategoria; każdy przykład E (i) może zostać wylosowany z prawdopodobieństwem proporcjonalnym do D (E (i) ). Powtarzaj krok i 3, aż zostanie wyznaczonych k środków ciężkości.