Wstęp do sieci neuronowych, wykład 07 Uczenie nienadzorowane.

Transkrypt

1 Wstęp do sieci neuronowych, wykład 7. M. Czoków, J. Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika w Toruniu Projekt pn. Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych realizowany w ramach Poddziałania Programu Operacyjnego Kapitał Ludzki

2 1 Uczenie z nauczycielem Uczenie bez nauczyciela 2 dla danych symbolicznych

3 Uczenie z nauczycielem Uczenie bez nauczyciela 1 Uczenie z nauczycielem Uczenie bez nauczyciela 2 dla danych symbolicznych

4 Uczenie z nauczycielem Uczenie bez nauczyciela Uczenie z nauczycielem (przyp.) Dane: zestaw przykładów uczących E k poprawne odpowiedzi C k Cel: znalezienie wartości wag w ij (które minimalizuje pewien błąd)

5 Uczenie z nauczycielem Uczenie bez nauczyciela Uczenie z nauczycielem (przyp.) Source: spaceinvaders/wallpaper.php

6 Uczenie z nauczycielem Uczenie bez nauczyciela Uczenie bez nauczyciela Dane: zestaw przykładów uczących E k Cel: znalezienie wartości wag w ij (które minimalizuje pewien błąd)

7 Uczenie z nauczycielem Uczenie bez nauczyciela Uczenie bez nauczyciela

8 dla danych symbolicznych 1 Uczenie z nauczycielem Uczenie bez nauczyciela 2 dla danych symbolicznych

9 Motywacja dla danych symbolicznych Dane: dane uczące, numeryczne w przestrzeni R n graf G = (V, E)

10 Motywacja dla danych symbolicznych Cel: zmapować graf na dane uczące, tak aby był rozmieszczony równomiernie a sąsiednie wierzchołki leżały niedaleko (alternatywne sformułowanie zmapować dane uczące uczące na graf, tak aby podobne były w tym samym lub sąsiednich wierzchołkach i przypisanie danych do wierzchołka było równomierne

11 Algorytm dla danych symbolicznych 1 przypisujemy neuronom małe losowe wagi (pozycje w R d ) p 1...p d 2 dla t = 1..T wykonujemy: 1 losujemy przykład P, 2 znajdujemy jednostkę v V, której zestaw wag π(v) leży najbliżej P, 3 dla neuronu zwycięzcy i wszystkich jego sąsiadów s(v) wykonujemy: π(w) = π(w) + α(t)(p π(w)), gdzie α(t) maleje od 1 do wraz z postępem algorytmu, np. α(t) = 1 t 1 T,

12 Topologie sieci dla danych symbolicznych

13 Przykład dla danych symbolicznych

14 Motywacja dla danych symbolicznych ograniczyć wzrost wag zwiększyć gładkość dopasowania zwiększyć specjalizację w obrębie klas

15 dla danych symbolicznych 1 ustawiamy losowe wagi neuronom, 2 dla t = 1..T wykonujemy: 1 losujemy przykład P, 2 znajdujemy jednostkę v V, której zestaw wag π(v) leży najbliżej P, 3 dla neuronu zwycięzcy i wierzchołków odległych o co najwyżej λ krawędzi: gdzie G(w, v) = π(w) := π(w) + α(t)g(w, v)(p π(w)), { 1 w = v < 1 i malejąca wraz z ilością krawędzi między v i w

16 Kwadratowa funkcja sąsiedztwa dla danych symbolicznych G(w, v) = { 1 ρ(w, v) λ w p. p M. Czoków, J. Piersa -4-6 WSN 212/213 Wykład 7 6

17 dla danych symbolicznych Gaussowska funkcja sąsiedztwa dla rosnącej λ G(w, v) = exp( ρ2 (w, v) 2λ 2 ). click

18 Funkcja sąsiedztwa - mexican hat dla danych symbolicznych MH(v, w) = 2exp( ρ2 (v, w) 2λ 2 1 ) exp( ρ2 (v, w) 2λ 2 ), λ 1 < λ

19 Przykład dla danych symbolicznych

20 Przykład dla danych symbolicznych kliknij Kohonen: G =siatka, E = sześcian.

21 Przykład dla danych symbolicznych kliknij Kohonen + Gauss: G =siatka, E = sześcian.

22 Przykład dla danych symbolicznych kliknij Kohonen: G =siatka, E = sfera 2d.

23 Przykład dla danych symbolicznych kliknij Kohonen+Gauss: G =siatka, E = sfera 2d.

24 dla danych symbolicznych Wizualizacja danych za pomocą danej struktury przestrzennej (zadanej przez graf) w innym wymiarze (przykłady są wtedy rozłożone jednostajnie na obszarze reprezentacji) przejście do wyższego wymiaru (np. krzywa wypełniająca przestrzeń), przejście do niższego wymiaru (wizualizacja skomplikowanych struktur z zachowaniem topologii, ale nie odległości).

25 Strefy wpływów dla danych symbolicznych

26 Odległość Minkowskiego dla danych symbolicznych Odległość Minkowskiego jest to uogólniona funkcja odległości między punktami przestrzeni euklidesowej. Nazywana jest również odległością L p. Wzór na tę funkcję w zależności od p ma postać: K d(x, y) = ( (x k y k ) p ) 1 p. k=1

27 Odległość Minkowskiego 1.5 dla danych symbolicznych m=.5 m=1 m=1.5 m=2 m=4 m=

28 Najbliższy punkt w różnych metrykach dla danych symbolicznych P = 1-4 P =

29 Najbliższy punkt w różnych metrykach dla danych symbolicznych P = 3-4 P =

30 Motywacja dla danych symbolicznych Chcemy dostosować algorytm Kohonena, dla wejść, które mają współrzędne symboliczne (opisane wektorem zerojedynkowym - prawda lub fałsz) Zał. dla danych symbolicznych dana jest funkcją odległości d. d(x, x) = d(x, y) = d(y, x)

31 dla danych symbolicznych dla wejść symbolicznych 1 każdy węzeł w grafie otrzymuje prototyp (typowy przedstawiciel klasy) oraz listę przykładów (klasę którą reprezentuje prototyp) 2 przypisz węzłom losowe startowe prototypy, 3 powtarzaj wiele razy: wyczyść listy klasyfikacyjne, każdemu wierzchołkowi w przypisz listę takich przykładów, że prototyp p(w) jest do nich najbliższy, każdemu wierzchołkowi w przypisz nowy prototyp medianę uogólnioną z listy klasyfikacyjnej w i list sąsiadów w, 4 zwróć sieć.

32 Mediana uogólniona dla danych symbolicznych Mediana uogólniona zbioru {a 1,..., a n } element a i, który minimalizuje j d 2 (a i, a j ).