Wstęp do Sieci Neuronowych

Wstęp do Sieci Neuronowych T. Schreiber, M. Czoków, J. Piersa 9 listopada 1 Streszczenie Dokument poniższy nie jest skryptem do wykładu w roku akademickim 1/11. Co najwyżej podsumowanim najważniejszych z poruszanych zagadnień. Nie zwalnia on z obowiązku myślenia i chodzenia na zajęcia. 1 Organizacja przedmiotu 1.1 Organizacja przedmiotu przedmiot: Wprowadzenie do sieci neuronowych w sem. zimowym 1/11, prowadzący: mgr Maja Czoków, mgr Jarosław Piersa (po 15h wykładu), forma: wykład + laboratoria (3h + 3h), wymagania programowe: umiejętność logicznego i samodzielnego muślenia, umiejętność programowania np. Kurs Programowania I oraz II, Algorytmy i Struktury Danych, podstawowa wiedza z algebry, analizy matematycznej, rachunku prawdopodobieństwa, egzamin: po semestrze zimowym, forma pisemna (z sytuacji, gdy będzie mało zdających egzamin ustny), dla ambitnych: wybitna praca na laboratoriach i uzyskanie oceny bdb+ do dnia 11--16 jest podstawą do zwolnienia z egzaminu. 1. Literatura 1. R. Rojas Neural Networks, A Systematic Introduction, Springer 1996,. P. Peretto, Introduction to Modeling Neural Networks, Cambridge University Press 199, 3. C. Bishop, Neural Networks for Pattern Recognition, Oxford University Press 1995. 1.3 Program 1. Informacje o przedmiocie, warunki zaliczenia,. Pojedynczy neuron. Model perceptronu prostego, dynamika i uczenie,maszyna liniowa, dynamika i uczenie, 3. Sieci skierowane. Toplogie, algorytmy konstrukcyjne, algorytmy uczenia,algorytm Wstecznej propagacji błędu,. Uczenie bez nauczyciela, samoorganizacja, alg. Kohonena, k-means, ART, 5. Analiza składowych głównych PCA, 6. Sieci rekurencyjne, podstawowe informacje, 7. Sieć Hopfielda, model, dynamika, zastosowania w optymalizacji grafowej i graficznej, 8. Maszyny Boltzmanna i symulowane wyżarzanie, 1

9. (?) Łańcuchy Markowa, informacje, własności, zastosowania, 1. (?) Regresja liniowa, walidacja danych, 11. (?) Wielowartościowe sieci neuronowe, sieci zespolone, SVM. 1. Wymagania na bdb+ na laboratoriach zadania za 6 punktów, oddane przynajmniej jedno do końca października, dwa zadania do końca listopada, trzy zaadania w styczniu, zadania z pięciu działów: perceptrony proste i maszyny liniowe, algorytmy konstrukcyjne dla sieci sierowanych, propagacja wsteczna, samoorganizacja i PCA, sieci Hopfielda i maszyny Boltzmanna,

Spis treści 1 Organizacja przedmiotu 1 1.1 Organizacja przedmiotu......................................... 1 1. Literatura................................................. 1 1.3 Program.................................................. 1 1. Wymagania na bdb+ na laboratoriach................................. Perceptron Prosty.1 Neuron biologiczny............................................. Perceptron prosty...............................................1 Postacie funkcji aktywującej................................... 5.. Dynamika działania....................................... 6..3 Interpretacja geometryczna................................... 6.3 Ograniczenia perceptronu prostego................................... 6. Uczenie perceptronu........................................... 8..1 Simple perceptron learning algorithm (SPLA)......................... 8.. Pocket learning algorithm (PLA)................................ 8..3 Pocket algorithm with ratchet.................................. 9.. Poprawność algorytmów..................................... 9.5 Zagadnienia klasyfikacyjne........................................ 1.5.1 Konstrukcja Kesslera....................................... 11.6 Inne.................................................... 1.6.1 Radialne Funkcje Bazowe / Radial Basis Functions RBF................. 1.6. Adaline.............................................. 1.6.3 Algorytm Spadku Gradientowego................................ 15 3 Sieci skierowane 15 3.1 Algorytmy konstukcyjne......................................... 16 3.1.1 Algorytm wieżowy........................................ 16 3.1. Aglorytm piramidalny...................................... 18 3.1.3 Algorytm kafelkowy....................................... 18 3.1. Algorytm upstart......................................... 19 Ciąg dalszy nastąpi... 3

Perceptron Prosty.1 Neuron biologiczny Dendryty Jądro neuronu Ciało komórki Przewężenie Ranviera Komórka Schwanna Otoczka mielinowa Akson Zakończenia aksonów Rysunek 1: Schemat komórki neuronowej. Rysunek za http://pl.wikipedia.org/. Krótkie wprowadzenie nie objęte egzaminem informacje o neuronach jako podstawowych jednostkach obliczeniowych mózgu, budowa anatomiczna neuronu (rys. 1), przybliżona dynamika neuronu jako integratora, który zbiera spływający prąd jonowy i po przkroczeniu progu sam wysyła impuls elektryczny, żadnych układów równań różniczkowych nie będzie (na razie) informacje o masowym paraleizmie (1 11 neuronów, 1 15 połączeń synaptycznych), angdotki historyczne.... Perceptron prosty Perceptronem prostym nazywamy następujący model składający się z: określonej liczby wejść n, wagi stowarzyszonej z każdym wejściem w i R, i = 1..n funkcji aktywującej φ : R R Dynamika perceptronu prostego. Mając n wejść x 1...x n liczbowych perceptron zwraca wartość n out = φ( x i w i ) (1) i=1

out Rysunek : Schemat działania perceptronu..1 Postacie funkcji aktywującej Identyczność φ(s) = s taka jednostka liczy po prostu sumę ważoną wejść, Afiniczna φ(s) = c 1 s + c, Funkcja progowa (bipolarna) φ(s) = { s < p 1 s p Wartość p jest w tym przypadku dodatkowym parametrem opisującym perceptron. Ten typ funkcji modeluje wysyłanie impulsu po przekroczeniu pewnego progu, które to zachowanie z pewnym przybliżeniem charakteryzuje komórki neuronowe. funkcja znakowa (polarna) φ(s) = { 1 s < p +1 s p Funkcja podobna do poprzedniej z tą różnicą, że wartość 1 nie jest elementem neutralnym dodawania i odpowiedź negatywna może mieć pewien wpływ. 1.5 1.5 -.5-1 -1.5-3 - -1 1 3 Rysunek 3: Funkcja znakowa. Sigmoida φ(s) = σ(s) = 1 1 + exp( βs) Funkcja sigmoidalna może tu dziwić. Wymaga dzielenia i potęgowania, czyli więcej obliczeń, co nie powinno być wskazane przy wielokrotnym wykonywaniu. Jednakże jest ciągła i różniczkowalna co ma zasadnicze znaczenie przy algorytmach uczenia i przybliża funkcją bipolarną. Ponadto zachodzi Symetryczna sigmoida (lim x φ = 1) σ (s) = σ(s) (1 σ(s)) φ(s) = 1 exp( βs) 1 + exp( βs) 5

-1.5 1.5 1.5 -.5-1 - - Rysunek : Funkcja sigmoidalna z parametrami β = 1, β = 3, β = 1... Dynamika działania Mając dany punkt x R n perceptron prosty z progową funkcją aktywacji zwraca wartość +1 albo. Naturalną interpretacją jest przypisanie jednej z dwóch klas do danego punktu. Perceptron zwróci +1 dokładnie wtedy, gdy zachodzi n x i w i p i=1 Czasami przyjmuje się inną interpretację perseptronu progowego. Przyjmowane jest dodatkowe sztuczne wejście, które jest zawsze aktywne x = 1 wraz z wagą w = p. Wówczas perceptron zwraca +1, gdy: n x i w i i= co jest równoważne n x i w i w = p i=1..3 Interpretacja geometryczna Przyjmijmy n =. W tej sytuacji, zbiorem punktów, dla których preceptron zwróci +1, jest cała półpłaszczyzna po jednej stronie prostej x 1 w 1 + x w = p. Dla n = 3 zauważamy, że zborór rozdzielający jest płaszczyzną R w przestrzeni R 3. w 1 x 1 + w x + w 3 x 3 p = Przechodząc z n do wyższych wymiarów zauważamy, podział również przebiega wzdłuż pewnej hiperprzestrzeni opisanej przez równanie n x i w i p = i=1 W wypadku stosowania funkcji polarnych, efekt jest ten sam, z tym że klasyfikacja jest oznaczana poprzez +1 i 1. Dla funkcji ciągych (sigmoida), uzyskamy klasyfikację rozmytą na linii separującej. Z punktu widzenia wektora wag w = (w 1..w n ) t zbiór separujący jest hiperpłaszczyzną (podprzestrzenią), która jest prostopadła do wektora wag oraz dodatkowo przesunięta o.3 Ograniczenia perceptronu prostego Z powodu wyżej wymienionej dynamiki perceptron prosty jest w stanie klasyfikować tylko zbiory, które dają się rozdzielić od siebie poprzez prostą na R, płaszczyznę na R 3 oraz hiperpłaszczyznę w wyższych wymiarach. Takie problemy nazywamy liniowo separowalnymi. p w. 6

6 - - -6-6 - - 6 Rysunek 5: Zbiór uczący na R z dwiema kategoriami oraz prosta rozdzielająca. Parametry perceptronu: w 1 =.5, w = 1, p = w = 1 Definicja Dwa zbiory punktów A oraz B w R n nazywamy liniowo separowalnymi jeżeli istnieje n + 1 liczb w 1...w n, p R, które spełniają: dla każdego (x 1..x n ) A zachodzi n i=1 x i, w i p oraz dla każdego (x 1..x n ) B zachodzi n i=1 x i, w i < p Jeżeli podział zbioru nie jest liniowo separowalny, to nie istnieje perceptron (tj. układ wag i progu), który będzie w stanie zwrócić poprawną klasyfikację. W niskich wymiarach jest to dość duże ograniczenie. Ale w wyższych okazuje się, że pozwala na tworzenie dość dobrych klasyfikatorów. Przykład Prostym przykładem problemu nieseparowalnego liniowo jest XOR. 1.5 1.5 -.5-1 -1 -.5.5 1 1.5 Rysunek 6: Problem XOR. Kiedy stosować perceptrony? W wypadku przestrzeni wysoko-wymiarowych, gdy chcemy uzyskać pewną generalizację klasyfikacji (intuicynie: podobne dane dają podobne wyniki), gdy chcemy uzyskać pewną odporoność na szum. Kiedy nie stosować perceptronów Perceptrony źle sobie radzą z uczeniem się funkcji logicznych, kiedy dane uczące różnią się na jednym bicie np. czy liczba zapisana binarnie jest podzielna przez 3? 7

. Uczenie perceptronu Zagadnienie Niech dana będzie pewna ilość przykładów ((E (1), C (1) ),..., (E (N), C (N) )). Za cel stawiamy sobie dobranie takiego układu wag i progu, by perceptron otrzymujący na wejściu E (i) dawał na wyjściu C (i)...1 Simple perceptron learning algorithm (SPLA) Jest to podstawowy algorytm uczenia. 1. Przypisujemy wagom i progowi małe losowe wartości wokół,. Przebiegamy kolejno przykłady (albo jeden po drugim, albo (zalecane) losując z listy), 3. Dla wybranego przykładu E sprawdzamy, czy E jest dobrze klasyfikowany, Jesli tak, to wracamy do, Jesli nie, to korygujemu wartości wag oraz progu w i := w i + CE i θ := θ C,. Wracamy do kroku. Iteracje kończymy, jeśli wszystkie przykłady są dobrze sklasyfikowane (w przypadku wyborów zgodnych z kolejnością odpowiada to przebiegnieciu calej listy bez wprowadzania zmian, w przypadku doboru losowego odpowiednio długiej serii iteracji bez zmian wag). Uwaga. Jesli problem jest liniowo speparowalny, a więc istnieje odpowiedni zestaw wag oraz progu, to SPA go znajdzie. Uwaga. Algorytm modyfikuje wagi i próg, jeśli przykład E jest źle sklasyfikowany, czyli sign(< E, w > θ) C. Niech najpierw C = 1, wtedy < E, w > θ <. Kładąc w = w + E mamy sprawdzić, czy < E, w + E > (θ 1) > θ 1 < E, w + E > (θ 1) = < E, w > + < E, E > θ + 1 = < E, w > θ+ < E, E > +1 Podobnie dla C = 1 i < E, w > θ < Uwaga. Jesli dane uczące nie są liniowo separowalne, to SPLA zapętla się bez zwrocenia sensownego wyniku... Pocket learning algorithm (PLA) Często rozkład przykladów jest na tyle skomplikowany, że ich idealna klasyfikacja przez perceptron prosty jest niemożliwa. Dążymy wówczas do tego, by sklasyfikować poprwnie jak największą ilość przykładów. Sluży do tego następujacy algorytm. 1. Przypisujemy wagom i progowi małe losowe wartości wokół, przypisujemy takiemu układowi wag zerowy czas życia, kopie wag, progu i czasu życia zapamiętujemy jako rekordzistę,. Przebiegamy przykłady losujac z listy, 3. Dla lylosowanego przykładu E sprawdzamy, czy E jest dobrze klasyfikowany, 8

Jeśli tak, to zwiekszamy mu czas życia o jeden. Jeżeli jest to wynik lepszy niż u dotychczasowego rekordzisty, zapominamy dotychczasowego rekordziste i zapisujemy bieżacy uklad wag (i próg) jako nowego rekordzistę. W każdym z wypadków wracamy do, Jeśli nie, to przypisujemy w i := w i + CE i oraz θ := θ C, nowo powstałemu układowi przypisujemy zerowy czas życia,. Wracamy do. Algorytm kończymy po odpowiednio dużej ilości iteracji. Uwaga. Algorytm może zmienić dobre wagi rekordzisty na gorsze, skoro tylko informacja z ostatnio użytego przykładu jest wykorzystana (nie ma tego w algorytmie z zapadka). Prawdopodoieństwo, że się to stanie jest maleje wraz ze wzrostem ilości iteracji. Jeśli zbiór przykładów jest skończony i wagi sa wymierne, to można pokazać, że algorytm z prawdopodobienstwem 1 zbiega do optymalnego rozwiazania...3 Pocket algorithm with ratchet Jest to modyfikacja powyżeszgo algorytmu. Jeśli ma nastapić zmiana rekordzisty, to sprawdzamy czy istotnie nowy kandydat na rekordzistę klasyfikuje poprawnie wiecej przykładow niż dotychczasowy rekordzista. Jeśli tak, to dokonujemy zmiany. Jesli nie, to zmianę blokujemy. Czasem może to minimalnie poprawić wydajność. 1. Przypisujemy wagom i progowi małe losowe wartości wokół, przypisujemy takiemu ukladowi wag zerowy czas życia, kopie wag, progu i czasu życia zapamiętujemy jako rekordzistę,. Przebiegamy przykłady, losując z listy, 3. Dla wybranego przykładu E sprawdzamy, czy E jest poprawnie klasyfikowany, Jesli tak, to zwiększamy mu czas życia o jeden. Jeżeli jest to wynik lepszy niż u dotychczasowego rekordzisty i jeżeli dotychczasowy rekordzista klasyfikował poprawnie nie więcej przykladów niż bieżacy układ, zapominamy go (dotychczasowego rekordziesę) i zapisujemy bieżacy układ wag jako nowego rekordzistę. Wracamy do punktu, Jeśli nie, to korygujemy wagi w i := w i + CE i oraz próg θ := θ C, nowo powstałemu układowi przypisujemy zerowy czas życia,. Wracamy do. Algorytm kończymy po odpowiedniej ilości iteracji. Uwaga. Wydajnosc algorytmow PLA i PAwR jest porównywalna, ponieważ plusem PAwR jest brak błędnych uaktualnień rekordzisty, natomiast minusem czas realizacji modyfikacji (dodatkowy koszt obliczeń)... Poprawność algorytmów W algorytmach pocket i pocket with ratchet zachodzi zbiezność wedłóg prawdopodobieństwa ilości dobrze sklasyfikowanych przykładow do wartości optymalnej (na podstawie pracy Marco Muselli On Convergence Properties of Pocket Algorithm). lim P (ε(w(t)) ε min < η) = 1, t Dla każdej η >, gdzie ε jest to funkcja błędu (ilość źle klasyfikowanych przykladów dla perceptronu z bipolarną funkcją aktywacji, por rys. 7), natomiast w(t) to wagi w t-tej iteracji algorytmu) W przypadku prostej nauki mamy Twierdzenie Rozważmy separowalny zbiór przykładów ((E (n), C (n) )) N n=1 i załóżmy, że istnieje układ wag (w1,..., wk ) i prłg θ oraz σ > takie, że wj E j θ > σ dla wszystkich przykładów. Niech ponadto długość przykładów bedzie wspólnie ograniczona przez K. Wówczas algorytm prosty osiagnie cel po wykonaniu najwyżej K ( (wi ) + (θ ) )/σ iteracji. 9

Dowód Możemy bez straty ogólności wyzerować próg wydłużajac o jeden przykłady (dopisując im na początku 1 i traktując próg jako dodatkową wagę). Ponadto, ewentualnie zmieniając znaki, możemy uznać, że C(n) = +1 dla wszystkich n. Wtedy nasz perceptron zwraca znak iloczynu skalarnego < w, E >. Policzmy < w, w t+1 >=< w, w t + E (n) > < w, w t > +σ Z kolei Stąd Z drugiej strony < w, w t+1 > < w, w t 1 + E (n) > +σ < w, w t 1 > +σ < w, w t+1 > tσ w t+1 =< w t + E(k), w t + E(k) >= w t + < w t, E(k) > + E(k) w t + E(k) w t + K Stąd Zestawiając te dwie nierówności dostajemy w t tk co, po prostych przekształceniach, kończy dowód. tσ w K (t) theta =.5 3.5 3.5 Error 1.5 1.5 - - w - w 1 - Rysunek 7: Profil funkcji błędu (ilość błędnie klasyfikowanych przykładów) dla danych OR w zależności od wag (w 1, w ). Wartość progu jest ustalona na p=.5..5 Zagadnienia klasyfikacyjne Załóżmy teraz, że dany jest pewien zestaw przykładów ((E (n), C (n) )) N n=1, gdzie C (n) nie są już w zbiorze 1, +1, ale należą do pewnego liczniejszego zbioru kategorii. Do rozwiązania takiego problemu używamy tzw. maszyn liniowych (winner-take-all groups). Każdej kategorii odpowiada jedna jednostka o identycznościowych aktywacjach. Przyklad jest klasyfikowany do tej kategorii, której jednostka osiągnęła najwyższą aktywację. Jak się uczy takie maszyny? Algorytm 1. Losujemy wagi, pamiętajac, by były w pobliżu (progów nie ma!),. Wybieramy przykład E (losowo lub wg kolejności), 3. Dla wybranego przykładu E sprawdzamy, czy E jest dobrze klasyfikowany, Jeśli tak, to wracamy do, 1

Jeżeli przyklad jest źle klasyfikowany: niech i bedzie numerem prawdziwej kategorii C, zaś j kategorii wygrywajacej. Wtedy dodajemy E do wag kategorii i oraz odejmujemy E od wag kategorii j (nie wolno odejmować od innych, to zaburzyłoby stabilność algorytmu). Wracamy do. Oczywiscie, ten algorytm ma swoje odmiany (simple, pocket, pocket with ratchet) analogiczne do odpowiednich odmian dla perceptronu prostego..5.1 Konstrukcja Kesslera Okazuje się, że wszystkie twierdzenia o zbieżnosci i o zapętleniu sformułowane powyżej mają swoje odpowiedniki dla maszyn liniowych. Wykazaniu tego służy konstrukcja Kesslera, zamieniająca każdy przykład klasyfikacyjny dla n wejść i k kategorii na k 1 przykladów dla k n wejść (parujemy wygrywającą kategorię i po kolei z wszystkimi innymi kategoriami j tworząc wektory (,..., E j,..., E i,..., ), które mają być sklasyfikowane pozytywnie. Po przeniesieniu algorytmu uczenia maszyny liniowej przez konstrukcję Kesslera otrzymujemy algorytm uczenia perceptronu z wyborem zawsze najgorszego źle klasyfikowanego przykładu przebijającego poprawną kategorię. Ale w dowodzie tw. o zbieżnosci nie było mowy o kolejności. Przykłd Rozważmy maszynę liniową z 3-ma wejściami (u 1, u, u 3 ) i z 3-ma wyjściami (u a, u b, u c ) (3 kategorie, 3 perceptrony). Skonstruujemy równoważną jednostkę jednokomórkowę składającą się z 9-u wejść (u 1,..., u 9 ) i jednego wyjścia u 1. 9 wag jednostki odpowiada poszczególnym wagom maszyny liniowej. Konstrukcja przykladow uczacych. Załóżmy, ze dla przykładu E = [E 1, E, E 3 ] najwyższą wartość powinna zwrócić jednostka u b Wtedy dla zmodyfikowanego problemu dla pojedynczej jednostki mamy dwa przykłady uczące E = [ E 1, E, E 3, E 1, E, E 3,,, ], C 1 = 1 E = [,,, E 1, E, E 3, E 1, E, E 3 ], C 1 = 1 E będzie dobrze sklasyfikowany wtedy i tylko wtedy, gdy [w 1,, w 1,5, w 1,6 ]E > [w 1,1, w 1,, w 1,3 ]E natomiast E bedzie dobrze sklasyfikowany wtedy i tylko wtedy, gdy Wagi dla problu z jedną jednostką [w 1,, w 1,5, w 1,6 ]E > [w 1,7, w 1,8, w 1,9 ]E [w 1,1, w 1,, w 1,3, w 1,, w 1,5, w 1,6, w 1,7, w 1,8, w 1,9 ] mogą zostać przekształcone na wagi dla trzech jednostek wyjściowych w orginalnej maszynie liniowej w nastepujący sposób w a,1 = w 1,1 w a, = w 1, w a,3 = w 1,3 w b,1 = w 1, w b, = w 1,5 w b,3 = w 1,6 w c,1 = w 1,7 w c, = w 1,8 w c,3 = w 1,9 Patrz książka Gallant, Neural Network learning and Exper Systems. 11

.6 Inne.6.1 Radialne Funkcje Bazowe / Radial Basis Functions RBF Idea polega na dodaniu pewnej liczby jednostek ukrytych U 1,..., U m. Każda z jednostek przyjmuje jako wejścia wszystkie dane wejściowe x 1,..., x n oraz ma przypisane na stałe losowe wagi oraz funkcje radialne: φ(x) = f( x ) Zazwyczaj korzystamy z normy euklidesowej tj: x = n i=1 x i Taka jednostka zwraca wartość: n out(x) = w i φ(x) i=1 Przykłady RBF φ(x) = x x φ(x) = exp( x x c ) φ(x) = ( x x + c ) d, gdzie < d < 1 φ(x) = ( x x + c ) d, gdzie d < φ(x) = c x x ln(c x x ), gdzie c > 1 5 5 RBF 15 1 5 y -5-1 -5 x 5 1-1 -5 y 5 1-1 -1-5 5 1 x Rysunek 8: Wykres funkcji f(x) = 1/(x 1) + (y 1) + 1 Główny perceptron jako wejścia przyjmuje wszystkie dane wejściowe x 1,..., x n oraz m wyników z jednostek ukrytych U 1,..., U m. Łącznie ma m + n wejść, tyleż wag oraz próg. Wagi jednostki głównej oraz próg podlegają uczeniu algorytmem kieszonkowym (z zapadką). Dodanie do sieci ukrytych jednostek o wyżej opisanej dynamice i z losowymi wagami przenosi nieseparowalne dane uczące do wyższego wymiaru, gdzie dzięki losowości mogą stać się separowalne. Jednostki ukryte stanowią tzw. warstwę ukrytą lub warstwę rozproszoną..6. Adaline Maszyna Adaline (Adaptive Linear Network) składa się z n wejść x 1,.., x n (w ogólności rzeczywistych) oraz stowarzyszonych z każdym wejściem wag w 1,.., w n. Przyjmujemy, że funkcja aktywująca ma postać identycznościową, tj. odpowiedź jednostki: n S(x 1,.., x n ) = w i x i 1 i=1

f(x) = exp(- (x - x ) / ( sigma )) f(x) = exp(- (x - x ) / ( sigma )) 3 1.8 1 RBF.6 y. -1. - - -3 - -1 x 1 3 - -3 - -1 1 y 3-3 - - -3 - -1 1 3 x Rysunek 9: Wykres funkcji f(x) = exp x (,1) out Rysunek 1: Przykładowa warstwa ukryta. Jednostka zwraca odpowiedź rzeczywistą, co za tym idzie pozwala na aproksymację funkcji ciągłych. Zagadnienie uczenia Adaline. Dane: Lista m danych wejściowych E i = (e i 1,.., e i n), gdzie i = 1..m oraz odpowiadających im poprawnych odpowiedzi C i R. Wynik: Wartości wag w j maszyny, która będzie minimalizowała funkcję błędu: m ERROR = (S(e i 1,.., e i n) C i ) i=1 Algorytm: 1. Przypisz wagi losowo małe wokół zera.. Losowo wybierz przykład E oraz poprawną odpowiedź C uczący z listy. 3. Oblicz aktywację jednostki na przykładzie E n S = w i e i i=1 13

. Przypisz gdzie ρ > jest małą stałą uczenia. w j := w j + ρ(c S) e j 5. Jeżeli algorytm przebiegł określoną liczbę iteracji lub osiągnął odpowiednio niski błąd, to zakończ. W przeciwnym wypadku wróć do. Poprawność algorytmu. Zauważmy, że jest to algorytm spadku gradientowego. Określona jest funkcja błędu ERROR : R n R na przestrzenie wag. m n ERROR(w 1,..., w n ) = ( w i e j i Cj ) Chcemy znaleźć wagi, które minimalizują wartość tej funkcji. Policzmy pochodne cząstkowe funkcji błędu po wagach, przy ustalonym przykładzie (S, C): j=1 i=1 w j (S C) = w j ( i w i e i C) = ( i w i e i C) w j ( i w i e i C) Zauważmy, że w j ( i w i e i C) = i w i e i C = e j w j w j Czyli pochodna cząskowa upraszcza się do: w j (S C) = ( i w i e i C)e j = (S C)e j Gradient pochodnych cząstkowych wskazuje kierunek największego wzrostu funkcji błędu. największy spadek, należy odwrócić zwrot (przemnożyć przez 1). Aby uzyskać Wielkość stałej uczenia ρ. Z jednej strony musi być ρ >. Przyjmijmy oznaczenia: w wektor wag przed zmianą, E przykład uczący, C oczekiwana odpowiedź, S = we uzyskana odpowiedź, w = w + ρ(c S)E wektor wag po zmianie. Enariga układu E() po zmianie (błąd, który chcemy zmniejszać): = E(w ) = (w E C) = ((w + ρ(c S)E)E C) = ( (we C) + ρ(c S) E ) = ( E(w) 1/ ρe(w) 1/ E ) = ( E(w) ρe(w) E + ρ E(w) E ) = E(w) ( 1 ρ E + ρ E ) = = E(w) ( 1 + ρ E (ρ E ) ) Chcemy aby energia zmalała tj. E(w ) < E(w) Zatem musimy otrzymać: ( 1 + ρ E (ρ E ) ) < 1 ρ E (ρ E ) < Z naszych założeń mamy ρ > oraz norma E, zatem upraszczamy nierówność: ρ E < < ρ < E 1

.6.3 Algorytm Spadku Gradientowego Dana niech będzie funkcja f : R n R ciągła i różniczkowalna (istnieją pochodne cząstkowe f x 1... f x n ). Chcemy wyznaczyć minimum (lokalne) funkcji tj. x R n, takie że dla f(x) f(y) dla y należących do pewnego otoczenia x. Dodatkowo dany niech będzie pewien punkt startowy a R n. Przypomnijmy definicję pochodnych cząstowych f f(x 1,.., x i 1, x i + h, x i+1,...x n ) f(x 1,..., x n ) (x 1,..., x n ) = lim x i h h Czym jest f x 1 (a )? Przy kilku założeniach, intuicyjnie może być interpretowana jako kierunek, w którą stronę funkcja rośnie zmieniając pierwszą współrzędną, przy pozostałych ustalonych. Mając cały zestaw pochodnych cząstkowych (gradient) mamy dokładny kierunek, w którym funkcja najszybciej rośnie. Szukając maksimum należy zatem wykonać krok w tymże kierunku. Szukając minimum należy znaleźć kierunek najszybszego wzrostu... i wykonać krok w przeciwną stronę rys. 11. 1. Rozpocznij w losowym / wybranym a () (). Dla każdej współrzędnej i = 1..n 3. Powtarzaj krok a (k+1) i = a (k) i η f x i (a (k) ) Uwaga! Algorytm spadku gradientowego może przy niesprzyjających okolicznościach utknąć w minimum lokalnym. Co gorsza, zazwyczaj nie jesteśmy w stanie stwierdzić czy zwrócony wynik jest minimum globalnym, czy lokalnym. W takich sytuacjach najprostszym (i jednym z najlepszych) rozwiązaniem jest restart algorytmu z losowego rozwiązania początkowego i wybranie najlepszego ze zwróconych wyników. 5 3 1 6 - - -6-6 - - 6 Rysunek 11: Postęp GDA do obliczania minimum funkcji. 3 Sieci skierowane Ograniczenia, o których mowa była w poprzednim rozdziale, spowodowały zastój w badaniach nad sztucznymi neuronami, ale na szczęście nie ich porzucenie. Okazauje się, że problemy nie do przeskoczenia dla pojedynczego neuronu może rozwiązać sieć współpracujących ze sobą perceptronów. W takiej sieci wyniki zwracane przez jedne neurony są wejściami do innych jednostek. Wyróżniamy podzbiór neuronów akceptujących impulsy z zewnątrz są to jednostki wejściowe, podzbiór neuronów, których wyjście jest również wyjściem, lub częścią wyjścia, całej sieci jednostki wyjściowe. Pozostałe neurony zwykło się określać mianem ukrytych. Wyróżniane są dwa typy sieci neuronowych: 15

skierowane (ang. feed-forward) nie dopuszczane są cykle skierowane, w takiej sieci przepływ informacji jest ustalony w jednym kierunku. Zauważmy, że opawiany perceptron prosty jest (prymitywnym) przykładem sieci skierowanej, rekurencyjne (ang. recurrent) dopuszczane są cykle skierowane, wysłany impuls może kiedyś do neuronu powrócić, w ogólnym przypadku możliwe jest aby wejściem neuronu było jego własne wyjście. W bieżącej sekcji skupimy się na sieciach skierowanych. Sieci rekurencyjne opawiane będą później (sek. -5). out Rysunek 1: Sieć składająca się z trzech perceptronów, która rozwiązuje problem XOR (aktywacje binarne tj., 1). Dynamika Sieć skierowana charakteryzuje się synchroniczną dynamiką, to jest każdy neuron, przed obliczeniem swojej aktywacji, czeka aż wszystkie jego wejścia zostaną obliczone. Ponieważ nie występują cykle skierowane mamy gwarancję, że nie dynamika nie ulegnie zakleszczeniu. Programistycznie można obliczać funkcje aktywacji w neuronach po kolei według porządku nadanego przez algorytm sortowania topologicznego (jeżeli istnieje krawędź A B to A będze przed B na posortowanej liście). Jednostki wejściowe nie mają dochodzących krawędzi, więc będą na początku, jednostki wyjściowe na końcu. Sieci warstwowe (Multi Layer Perceptron) Szczególnym typem sieci skierowanych są sieci warstwowe. Wszystkie perceptrony podzielone są na rozłączne warstwy 1. Warstwa wejściowa jest określana jako pierwsza. Warstwa L + 1-sza za wejścia przyjmuje wyniki z warstwy L-tej i tylko te. Warstwa wyjściowa jest ostatnia. W sieciach MLP nie są dopuszczane bezpośrednie połączenia wewnątrz tej samej warstwy, ani połączenia przeskakujące warstwę tj. z warstwy L do L +, z L do L + 3 itd. Propagacja sygnałów może następować jednocześnie w całej bieżącej warstwie, co ułatwia programowanie wielowątkowe. 3.1 Algorytmy konstukcyjne Zagadnienie: mając zadany zestaw uczący E = (E 1,.., E m ), gdzie E j = (E j 1,.., Ej n) oraz odpowiadający im zestaw oczekiwanych odpowiedzi C 1,..., C m chcemy znaleźć sieć o zgrubsza zadanej architekturze oraz wagi neuronów tejże sieci, tak aby poprawnie klasyfikowała ona wszystkie / możliwie najwięcej z przykładów uczących. 3.1.1 Algorytm wieżowy Algorytm konstrukcyjny patrz również rys. 13(a). 1. Rozpocznij od sieci składającej się z pojedynczego perceptronu z progową funkcją aktywacji,. Naucz jedyny preceptron algorytmem kieszonkowym (z zapadką), 3. Powtarzaj aż do uzyskania zadowalającego rezultatu (tj. zadowalający poziom klasyfikacji, limit czasowy itp.) Na szczyt wieży dodaj kolejny neuron. neuronu leżącego bezpośrednio niżej, Jego wejściami będą dane uczące E 1,.., E n oraz wyjście Naucz szczytowy neuron algorytmem kieszonkowym (z zapadką), za n+1-sze wejścia przyjmij wyniki z neuronu niższego, 16

......... (a) Sieć wieżowa.... (b) Sieć piramidalna. Rysunek 13: Porównanie sieci wieżowej i poramidalnej, w tej drugiej dodatkowo dochodzą połączenia od pośrednich neuronów do wszystkich wyższych Jako wynik całej sieci zwracany będzie wynik nowo-dodanego perceptronu,. Zwróć wynikową sieć. Uzasadnienie działania Pokażemy, że da się tak dobrać wagi, aby nowo-dodany neuron klasyfikował poprawnie o (przynajmniej) jeden przykład uczący niż poprzedni. Przyjmijmy oznaczenia: O j jednostka j-ta, O j+1 jednostka +1j-ta, tą będziemy uczyli, E k k-ty przykład uczący, źle klasyfikowany przez O j, n ilość wejść (wymiar danych), θ j+1 próg jednostki O j+1, < ε 1 mała stała dodatnia, w i,j+1 wagi neuronu O j+1 stowarzyszone z danymi wejściowymi, w j,j+1 waga neuronu O j+1 stowarzyszona wejściem pochodzącym z jednostki O j, Przypiszmy: w i,j+1 :=C k Ei k w j,j+1 :=p ε θ j+1 := 1 Ck Obliczmy wynik na wejściu E k (ε klasyfikowane przez O j ): I j+1 = i C k E k i E k i + (p ε)o j = C k p + p( C k ) ε( C k ) = εc k Zauważmy, że ten wynik w połączeniu z progiem da poprawną klasyfikację przykładu E k. Jak zadziała sieć na innych przykładach E l (l k)? I j+1 (E l ) = (p ε)o j + i C k E k i E l i Zauważmy, że i Ck Ei kel i = Ck i Ek i El i = ±p, jeżeli iei k = ±Ek l. Jeżeli Ek = E l oraz C k = C l to są, to te same przykłady i E l będzie klasyfikowany poprawnie. Jeżeli E k = E l oraz C k = C l to są, to dane są sprzeczne. W pozostałych wypadkach mamy C k i Ek i El i p 1 17

3.1. Aglorytm piramidalny Algorytm konstrukcyjny patrz również rys. 13(b). 1. Rozpocznij od sieci składającej się z pojedynczego perceptronu z progową funkcją aktywacji,. Naucz jedyny preceptron algorytmem kieszonkowym (z zapadką), 3. Powtarzaj aż do uzyskania zadowalającego rezultatu (tj. zadowalający poziom klasyfikacji, limit czasowy itp.) Na szczyt wieży dodaj kolejny neuron. Jego wejściami będą dane uczące E 1,.., E n oraz wyszstkie wyjścia neuronów leżących poniżej, Naucz szczytowy neuron algorytmem kieszonkowym (z zapadką), Jako wynik całej sieci zwracany będzie wynik nowo-dodanego perceptronu,. Zwróć wynikową sieć. 3.1.3 Algorytm kafelkowy Algorytm konstrukcyjny, por. rys 1. out Rysunek 1: Sieć kafelkowa 1. Rozpocznij od sieci składającej się z warstwy wejściowej L = 1,. Dodaj do sieci L + 1 kafel, na razie składający się tylko z jednego neuronu. Dodany neuron za wejścia przyjmuje wszystkie wyjścia zkafla L, Za wyjście sieci przyjmij wyjście z nowego neuronu. 3. Naucz dodaną jednostkę algorytmem kieszonkowym z zapadką. Jeżeli sieć klasyfikuje poprawnie wszystkie przykłady, to zakończ zwracając wynikową sieć,. Jeżeli nie, to dodaj do L + 1-go kafla kolejny neuron. Naucz go algorytmem kieszonkowym z zapadką, ale tylko na takim zbiorze, że: poprzednie neurony w L + 1 kaflu dają na tych przykładach tę samą kombinację odpowiedzi (tj. z punktu widzenia sieci jest to ta sama klasa), oczekujemy, że mają być to przykłady z różnych klas, spośród wszystkich podzbiorów spełniających dwa powyższe wybrany powinien być najliczniejszy, Zauważmy, że ilość podzbiorów na jakie zestaw uczący jest dzielony będzie się zwiększała wykładniczo wraz z dodawaniem neuronów do kafla. Ale tym samym podzbiory będą coraz mniej liczne. W najgorszym przypadku każdy z nich będzie liczył po jednym przykładzie uczącym taki podzestaw uczący jest już wiernie reprezentowany przez sieć tj. nie ma w niem dwóch przykładów o różnych oczekiwanych odpowiedziach. 18

5. Jeżeli kafel poprawnie klasyfikuje wszystkie przykłady (tj. różnym kategoriom przypisuje różne zestawy odpowiedzi), to wróć do (dodaj nowy kafel), jeżeli nie to wróć do (dodaj nową jednostkę w tym samym kaflu), 6. Zwróć wynikową sieć (oczekujemy odpowiedzi binarnej, więc ostatni kafel powinien liczyć tylko jedną jednostkę). 6 - - -6-8 -1-5 5 1 6 - - -6-8 -1-5 5 1 6 - - -6 6 - - -6-8 -8-1 -5 5 1-1 -5 5 1 (a) Podział danych przez neurony w kaflu ( 1 1) (1 1 1) ( 1) (1 1) ( 1 ) (1 1 ) ( ) (1 ) (b) Problem po przekształceniu przez pierwszy kafel Rysunek 15: Działanie algorytmu na przykładach. (a) Etap 1: klasa jest niepoprawnie reprezentowana (tj. są w niej + oraz o). Etap : dodajemy nowy neuron separujący, klasa jest już poprawnie reprezentowana, klasa 1 jeszcze nie. Etam 3: dodany trzeni neuron. Wszytkie klasy są wiernie reprezentowane. Klasa 1 została podzielona na 1 i 11, ale to nie jest problemem. (b) Problem po przekształceniu przez pierwszy kafel został przeniesiony do R 3 na separowalne odwzorowanie na hiperkostce. 3.1. Algorytm upstart Algorytm: 19

Rysunek 16: Architektura upstart 1. Tworzymy pojedynczą jednostkę U, która widzi wszystkie wejścia. Jej wyjście jest wyjściem całej sieci.. Odkładamy U na stos wraz ze wszystkimi przykładami uczącymi. 3. Dopóki stos jest niepusty, powtarzamy: zdejmujemy ze stosu jednostkę U i i zbiór stowarzyszonych z nią przykładów uczących, uczymy U i na jej przykładach algorytmem zapadkowym, jeżeli klasyfikacja U i jest w pełni zgodna, to rozpocznij następną iterację pętli (continue), jeżeli istnieją źle sklasyfikowane przykłady z oczekiwaną odpowiedzią +1 dla jednostki U i, to tworzymy nową jednostkę U i+, jej wejściami są wszystkie wejścia, jej wyjście wchodzi do U i z dużą wagą dodatnią, odkładamy U i+ na stos z następującym zbiorem uczącym: { E k : U k i = 1, C k U i = +1 } { E k : C k U i = 1 }, to jest przykłady, które są klasyfikowane przez U i jako 1, a powinny +1 oraz przykłady, która powinny być klasyfikowane przez U i jako 1, Zbiór uczący dla U i+ jest mniejszy od U i o przykłady dodatnie, które są dobrze klasyfikowane, jeżeli istnieją źle sklasyfikowane przykłady z oczekiwaną odpowiedzią 1 dla U i, to tworzymy nową jednostkę U i, jej wejściami są wszystkie wejścia, jej wyjście wchodzi do U i z dużą wagą ujemną, odkładamy U i na stos z następującym zbiorem uczącym: { E k : U k i = +1, C k U i = 1 } { E k : C k U i = +1 }, to jest przykłady, które są klasyfikowane przez U i jako +1, a powinny 1 oraz przykłady, która powinny być klasyfikowane przez U i jako +1, zdejmij ze stosu następny neuron (continue),. Zwróć uzyskaną sieć. Ciąg dalszy nastąpi...