Spis treści 1. Wstęp... 3 2. Od neuronów biologicznych po sztuczne sieci neuronowe... 4 2.1. Budowa neuronu biologicznego... 4 2.2. Sztuczny neuron... 5 2.3. Funkcje aktywacji... 6 2.4. Ogólny opis sieci neuronowej... 8 3. Algorytm wstecznej propagacji błędu... 9 3.1. Ogólny opis... 9 3.2. Funkcja celu... 9 3.3. Uczenie... 10 4. Algorytm Leabra... 12 4.1. Wstęp... 12 4.2. Uczenie Hebbowskie... 12 4.3. kwta... 16 4.4. Uczenie metodą korekcji błędów... 17 4.5. Leabra... 18 4.6. Rozpoznawanie linii... 19 5. Testy sieci oraz zbieranie wyników... 22 5.1. Opis... 22 6. Problem parzystości wielowymiarowej... 24 6.1. Wstęp... 24 6.2. Parzystość wielowymiarowa w sieciach Backprop... 26 6.2.1. XOR 2D... 26 6.2.2. XOR 3D... 28 6.2.3. XOR 4D... 31 6.2.4. XOR 5D... 33 6.2.5. Próba poprawy wyników... 37
6.3. Parzystość wielowymiarowa w sieciach Leabra... 38 6.3.1. XOR 2D... 38 6.3.2. XOR 3D... 40 6.3.3. XOR 4D... 43 6.3.4. XOR 5D... 45 6.3.5. Próba poprawy wyników... 48 6.4. Wnioski... 49 7. Problem rzeczywistych danych spam... 51 7.1. Opis zbioru danych... 51 7.2. Wyniki wstecznej propagacji... 51 7.3. Wyniki Leabry... 53 7.4. Wnioski... 56 8. Wnioski końcowe... 57 9. Literatura... 58 10. Dodatek... 63 10.1. Opis załączonych plików... 63 10.2. Program do generowania danych wejściowych dla problemu parzystości... 63 10.3. Program do analizy danych zebranych w trakcie uczenia... 63 2
1. Wstęp Niniejsza praca poświęcona jest tematyce sztucznych sieci neuronowych. W szczególności skupia się na algorytmie Leabra, który jest używany w środowisku Emergent (następca PDP++), służącym do modelowania zachowania mózgu oraz procesów poznawczych. Chciałbym przedstawić główne mechanizmy rządzące algorytmem Leabra, sprawdzić jak zachowuje się w przypadku klasycznych problemów klasyfikacyjnych stawianych przed sieciami neuronowymi oraz porównać go z algorytmem wstecznej propagacji poprzez analizę wewnętrznych reprezentacji wytworzonych przez obie sieci dla tych samych zestawów danych. Na początku chciałbym przybliżyć ogólne podstawy funkcjonowania sztucznych neuronów i ich analogii do neuronów biologicznych, pokazać jak sztuczne neurony są łączone w sieci, po czym przybliżyć wspomniane algorytmy. Następnie przedstawić krótko zachowanie algorytmu w typowych dla niego problemach, a dalej sprawdzić jak zachowuje się w problemach klasyfikacji parzystości wielowymiarowej oraz identyfikacji maili ze spamem i porównać wyniki z algorytmem wstecznej propagacji. Wszystkie testy przeprowadzane zostały w środowisku Emergent (wersja 6.0.1), ze względu na implementację obu algorytmów i duże możliwości manipulowania parametrami sieci neuronowej. 3
2. Od neuronów biologicznych po sztuczne sieci neuronowe 2.1. Budowa neuronu biologicznego Komórka nerwowa, zwana w skrócie neuronem, stanowi podstawę układu nerwowego. Biorąc pod uwagę niewielkie rozmiary neuronów - od 4-150µm, mają one stosunkowo złożoną budowę. Poniżej można zobaczyć schematyczny rysunek pojedynczego neuronu: Rys. 1. Schemat budowy neuronu Z punktu widzenia algorytmu Leabra, najważniejsze dla nas jest to, co zachodzi wewnątrz neuronu oraz miejscu połączeń międzyneuronowych synapsach, dlatego warto pokrótce zapoznać się z jego budową i działaniem. W ciele neuronu (soma) (2) znajduje się jądro. Liczne i krótkie wypustki zwane dendrytami (1) służą do doprowadzania sygnałów wejściowych do neuronów. Pojedynczy, długi akson (3) rozgałęzia się na liczne kolaterale (4), które docierają do somy i dendrytów innych neuronów, tworząc kolejne synapsy. W dużym uproszczeniu rolą neuronu jest gromadzenie substancji chemicznej generowanej przez przychodzące sygnały zwanej neuromediatorem, która oddziałuje na synaptyczną błonę komórki prowadząc do zmiany potencjału elektrycznego. Zmiana jest proporcjonalna do ilości neuromediatora wydzielonego sumarycznie we wszystkich synapsach. Synapsy różnią się między sobą budową a co za tym idzie czułością, przez co różnie reagują na takie same bodźce. Gdy sumaryczny sygnał odebrany przez synapsy przekroczy pewną wartość krytyczną, zwaną progiem aktywacji, następuje wzbudzenie 4
neuronu, czyli gwałtowna emisja neuromediatora we wszystkich synapsach łączących się z aksonem danego neuronu generowany jest impuls nerwowy. 2.2. Sztuczny neuron Modele sztucznych neuronów powstały w wyniku inspiracji działaniem i budową neuronów biologicznych. Typowe sztuczne neurony posiadają wiele wejść będących analogią dendrytów oraz jedno wyjście reprezentujące biologiczny akson. Siłę danego połączenia określa się wagą, która zmienia się w trakcie procesu uczenia, pozwalając na wzmacnianie bądź hamowanie połączeń między określonymi neuronami. W dużym uproszczeniu sztuczny neuron zachowuje się jak procesor sumuje sygnały wejściowe i liczy wartość wyjścia używając pewnej funkcji aktywacji. Główną cechą odziedziczoną z neuronów biologicznych jest zdolność uczenia się. Wartość wyjścia i-tego neuronu przyjmującego sygnały od n-neuronów wejściowych można opisać równaniem: (1) reprezentuje wagę połączeń synaptycznych, sygnał przepływa od neuronu i do j, wartość dodatnia oznacza synapsę pobudzającą, ujemna hamującą, f() określa funkcję aktywacji, której dokładny opis znajduje się w rozdziale 2.3. Suma liczona jest od 0, ponieważ pierwsze połączenie oznacza bias reprezentujący próg aktywacji neuronu. Przyjmuje się, że jest to pojedynczy stały sygnał o wartości 1, dla którego zmieniając wagę połączenia ( ) mamy możliwość manipulowania aktywacją neuronu. Jest to szczególnie przydatne w przypadkach, gdy sumaryczny sygnał wejściowy jest bardzo duży, bądź bardzo mały i chcielibyśmy przesunąć go w obszar dużej zmienności funkcji aktywacji. Dla uproszczenia można wprowadzić sumaryczny sygnał wejściowy dany przez: (2) 5
Wartość wyjściowa dla takiego sygnału: (3) Mimo swojej prymitywnej architektury, sztuczne neurony potrafiły realizować wiele zadań z dziedziny klasyfikacji i przewidywania. 2.3. Funkcje aktywacji W zależności od modelu, funkcje aktywacji mogą być bardzo proste bądź skomplikowane. Najprostsze są nieliniowe funkcje skokowe zwracające 0 bądź 1 w zależności od tego, czy sygnał wejściowy przekroczył próg aktywacji δ czy nie. { (4) Jak to zostało wspomniane wcześniej, progiem aktywacji jest miejsce, powyżej którego przyjmuje się, że neuron przechodzi w stan wzbudzony i generuje impuls wyjściowy. W przypadku modeli sieci neuronowych jest to kwestia umowna, ponieważ zwykle nie nakłada się takich ograniczeń, tylko propaguje aktualne wyjście z neuronu niezależnie od tego, jakie ono jest. Funkcja skokowa jest nieciągła, przez co nie można stosować różniczkowych metod uczenia. W przypadku liniowych funkcji aktywacji mamy ciągłość, różniczkowalność w ograniczonym zakresie (można wyliczyć pierwszą pochodną, która w zasadzie sprowadza się do wyznaczenia znaku kierunku zmiany wag): (5) Z reguły parametry charakteryzują się następującymi własnościami: 0 < α < 1, a β = 0. Dodatkowo zwykle stosuje się ograniczenie by wartości funkcji mieściły się w przedziale [-1, 1] bądź [0, 1]. 6
Znacznie częściej stosuje się funkcje ciągłe, gładkie, które można różniczkować oraz łatwo modelować ich charakterystykę funkcje sigmoidalne. Ich dodatkową zaletą jest asymptotyczna zbieżność do określonych wartości najczęściej [0, 1] lub [-1, 1], przez co nie trzeba nakładać dodatkowych ograniczeń na proces wyznaczania wartości aktywacji. Jest wiele rodzajów funkcji sigmoidalnych, które mają różną charakterystykę przebiegu czy zbiór wartości. Poniżej zaprezentowana typowa unipolarna funkcja sigmoidalna: ( ) (6) Parametrem α regulujemy kat nachylenia krzywej, natomiast zawarty w członie pozwala na dopasowanie funkcji do zbioru argumentów. bias 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 funkcja sigmoidalna funkcja skokowa 0-5 -4-3 -2-1 0 1 2 3 4 5 Rys. 2. Wykres funkcji aktywacji skokowej i sigmoidalnej Wybór funkcji aktywacji i jej parametrów ma duży wpływ na proces uczenia jak i samo zachowanie neuronów oraz całej sieci. Ostatnia z prezentowanych funkcji daje spore możliwości, ze względu na to, że największą dynamikę zmian ma w pobliżu 0 (w tym konkretnym przypadku, za przesuwanie funkcji względem tego punktu odpowiada bias), co pozwala na przyspieszenie procesu uczenia. Dodatkowo nie ma problemów z wyznaczaniem pochodnych wyższych rzędów, co mocno przydaje się przy wstecznej propagacji błędów w głąb sieci. 7
2.4. Ogólny opis sieci neuronowej Samotny, pojedynczy neuron nie jest w stanie zbyt wiele zrobić, dlatego używa się neuronów najczęściej pogrupowanych w połączonych ze sobą warstwach, które łączy się tworząc sieć. Są różne metody budowania sieci, warstw jednak w przypadku tematu niniejszej pracy wyróżniamy trzy grupy neuronów umieszczone w trzech warstwach. Warstwa wejściowa odpowiada za przekazywanie sygnału w głąb sieci, nie podlega uczeniu. Następnie umieszczona jest warstwa ukryta, której celem jest wytworzenie reprezentacji mającej uprościć nauczenie się problemu warstwie ukrytej. Ostatnia warstwa zwana wyjściową zawiera neurony, których zadaniem jest wygenerowanie finalnej odpowiedzi sieci bazując na reprezentacji otrzymanej z warstwy ukrytej. W przypadku uczenia nadzorowanego, po wyznaczeniu aktualnego sygnału wyjściowego sieci, do neuronów wyjściowych podłączany jest oczekiwany rezultat na dany bodziec, co pozwala na wyznaczenie błędu rozbieżności między wartością otrzymaną a oczekiwaną oraz dalszą jego propagację w głąb sieci. warstwa i w ij warstwa j w jk warstwa k Rys. 3. Schemat trzywarstwowej sieci jednokierunkowej W badanych w pracy sieciach, wszystkie połączenia międzyneuronowe są połączeniami dwukierunkowymi symetrycznymi (waga jest taka sama niezależnie od kierunku przesyłania informacji). 8
3. Algorytm wstecznej propagacji błędu 3.1. Ogólny opis Algorytm wstecznej propagacji jest jednym ze skuteczniejszych algorytmów uczenia sieci wielowarstwowych dzięki wykorzystaniu gradientowych metod uczenia. Schemat jego działania wygląda następująco po ustawieniu wektora danych wejściowych propagujemy sygnał przez sieć, wyznaczając aktywację kolejnych warstw. Po dotarciu do warstwy wyjściowej, porównujemy otrzymany rezultat z wartością oczekiwaną, po czym wyznaczamy wartość funkcji celu. Następnie stosując wsteczną propagację przesyłamy informacje o błędach do neuronów warstwy wyjściowej oraz kolejno do warstw ukrytych, po czym następuje proces aktualizacji wag. Ponieważ wagi aktualizowane są w zależności od wartości różniczki (bardzo małe wartości przez większość czasu, dynamiczne zmiany na krótkich odcinkach), jest to algorytm wolno zbieżny mija wiele epok, zanim wartość błędu osiągnie minimum. 3.2. Funkcja celu Funkcja celu (zwana także funkcją kosztu, funkcją błędu) ma za zadanie określić na ile poprawnie sieć dopasowała sygnały wyjściowe do wejściowych, czyli wyznaczyć jak dobrze poradziła sobie z problemem. W standardowym algorytmie wstecznej propagacji stosuje się średniokwadratową miarę błędu SSE 1, dla pojedynczego wektora uczącego zadaną w postaci: (7) gdzie k określa liczbę neuronów wyjściowych, t k wartość oczekiwaną na wyjściu k-tego neuronu, a jest wprowadzoną wcześniej aktualną wartością na wyjściu neuronu. W przypadku, gdy mamy więcej próbek (p) musimy posumować błędy otrzymane dla każdej próbki z osobna: (8) 1 Summed Squared Error 9
Mając określoną miarę błędu, możemy zdefiniować funkcję celu, która będzie podlegała minimalizacji. Stosując wyżej wprowadzony błąd SSE definiujemy ją następująco: (9) Czynnik ma na celu eliminację stałej o wartości 2, która pojawi się w wyniku różniczkowania powyższego równania. 3.3. Uczenie W przypadku uczenia nadzorowanego (z nauczycielem) gdy wiemy jaki rezultat chcemy osiągnąć na wyjściu sieci dla konkretnego wzorca, uczenie polega na minimalizacji funkcji błędu. Błąd E(w) jest funkcją, której jedynym modyfikowalnym parametrem są wagi połączeń międzyneuronowych. Ze względu na ciągłość i różniczkowalność funkcji możemy stosować iteracyjną metodę gradientową największego spadku. W tym celu należy wyznaczyć gradient: ( ) (10) Wagi połączeń musimy modyfikować w kierunku malejącego gradientu funkcji błędu, w związku z czym otrzymujemy: (11) η oznacza współczynnik uczenia, dla którego najczęściej stosuje się wartości z przedziału [0.001; 0.3]. Szukając minimum stosuje się różne kryteria końca procesu może to być np.: (12) co jest tożsame z ograniczeniem wielkości zmiany pomiędzy dwoma kolejnymi krokami: (13) 10
Powyższe warunki nie gwarantują znalezienia minimum globalnego, dlatego częściej stosuje się kryteria dotyczące samej wartości błędu: (14) z dodatkowym zaznaczeniem, by powyższy warunek był spełniony przez k-kolejnych epok (z reguły 5-10). Rozwijając funkcję błędu korzystając z wcześniej przedstawionych zależności otrzymujemy: ( ) ( ( ) ) (15) Korzystając z reguły łańcuchowej liczenia pochodnych dla warstwy wyjściowej mamy: ( ) (16) Równanie (16) prowadzi do reguły delty: ( ) (17) Dla warstwy ukrytej natomiast otrzymujemy: ( ) ( ) (18) Zastosowany w programie Emergent algorytm wstecznej propagacji implementuje jeszcze jeden dodatkowy czynnik tzw. bezwładność, uwzględniający wartość ostatniej zmiany wag, co pozwala na przyspieszenie uczenia na płaskich odcinkach gradientów funkcji celu, czy też w pobliżu minimum lokalnego gdzie wartości gradientów są bliskie zeru: ( ) (19) 11
4. Algorytm Leabra 4.1. Wstęp Algorytm Leabra (Local, Error-driven and Associative, Biologically Realistic Algorithm) w uproszczeniu jest algorytmem łączącym uczenie metodą Hebba oraz wsteczną propagację błędów (opisaną w poprzednim rozdziale) wzbogacone o mechanizmy hamujące. 4.2. Uczenie Hebbowskie Hebb w trakcie badań nad komórkami nerwowymi (1949r.), zauważył, że jeśli dwa neurony są pobudzane w tym samym czasie, następuje wzmocnienie wiązania pomiędzy nimi: (20) Ma to uzasadnienie biologiczne, zgodnie z odkrytym w 1966r. długotrwałym wzmocnieniu synaptycznym (LTP) 2 - stymulacje neuronu prądem o częstotliwości ~ 100Hz przez około 1 sekundy zwiększają sprawność synaptyczną o 50-100% i jest to efekt długotrwały. Analogicznie odkryto długotrwałe osłabienie synaptyczne (LTD) 3. Zaobserwowane w korze mózgowej LTP/LTD mają postać asocjacyjną (Hebbowską), zależną od aktywności pre- i postsynaptycznej neuronu. (21) Zgodnie z powyższą zależnością, wagi mogłyby rosnąć do nieskończoności, dlatego chcąc to ograniczyć, często stosuje się normalizacje. W najprostszym przypadku może to być [6]: ( ) (22) Erikki Oja zaproponował zmodyfikowaną wersję [2],[3], dzięki której wektor wag samoczynnie dąży do : ( ) (23) 2 Long-Term Potential 3 Long-Term Depression 12
W uczeniu Hebbowskim głównym rezultatem jest dobry, wewnętrzny model najważniejszych w statystycznym ujęciu cech struktury prezentowanego środowiska. Jest to uczenie oparte o samoorganizację i odbywa się bez nadzoru. Dzięki właściwości wzmacniania połączeń w dla wzajemnych pobudzeń, wykrywają się korelacje pomiędzy sygnałami. Hebbian PCA Analiza głównych składowych (PCA 4 ) jest statystyczną metodą analizy czynnikowej, która pozwala pomóc opisać jak neurony specjalizują się w wykrywaniu korelacji. PCA jest procedurą przekształcającą zbiór domniemanie liniowo zależnych parametrów w zbiór zmiennych liniowo niezależnych. Zmienne zbioru wyjściowego nazywane są głównymi składowymi. Ich liczba jest mniejsza bądź równa liczbie oryginalnych parametrów. Po transformacji parametry uszeregowane są względem malejącej wariancji. Poniżej można zobaczyć, jak pojedynczy liniowy neuron, przyjmujący sygnały od szeregu wejść, przy użyciu uczenia Hebbowskiego realizuje PCA, a dokładniej znajduje najsilniejszą główną składową. Zbiorem wejściowym składającym się z 25 neuronów będzie pojedynczy wektor opisujacy linię biegnącą po przekątnej kwadratu (5x5). Ponieważ neuron realizuje liniową funkcję aktywacji, jego wartością wyjściową jest ważona suma sygnałów wejściowych: (24) Wagi zmieniają się po każdym wektorze t używając prostej reguły Hebbowskiej: Sumując powyższe równanie po wszystkich wektorach uczących t: (25) (26) Gdy dodatkowo przyjmiemy, że stała uczenia równa jest, gdzie N jest liczbą wektorów uczących t, suma zmienia się w średnią: (27) 4 Principal Component Analysis 13
Następnie rozwijając powyższe równanie otrzymujemy: (28) jest elementem macierzy korelacji pomiędzy między wejściami i i k, gdzie korelacja zdefiniowana jest jako ich średnia aktywność względem czasu. Dla porównania, standardowa miara korelacji określona jest następująco: (29) Gdzie oznacza wartość średnią, a wariancję. Głównym rezultatem wynikającym z powyższych równań jest to, że najsilniej zmieniają się wagi dla najbardziej skorelowanych ze sobą wejść, poniżej kilka kolejnych epok uczenia powyższym algorytmem: Można zauważyć, jak skorelowane jednostki dominują w procesie uczenia, decydując o kierunku i wartości zmiany wag. Gdyby kontynuować proces uczenia, wagi dwóch pierwszych połączeń cały czas by się zwiększały, podczas gdy ostatniego utrzymywała by się na relatywnie niskim poziomie nie mając wpływu na osiągane rezultaty. W dotychczasowym rozważaniu był brany pod uwagę jedynie jeden neuron ukryty. W przypadku, gdybyśmy zastosowali kilka neuronów ukrytych o takich samych parametrach (funkcja aktywacji i metoda uczenia) osiągnęlibyśmy dla wszystkich taki sam 14
rezultat, ponieważ zwykle dominuje jedna składowa. Aby zmusić sieć do wykrywania także cech kolejnych rzędów potrzebne były zmiany. Jednym rozwiązaniem byłoby zmuszenie neuronów do używania kolejnych słabszych elementów macierzy korelacji [Sanger 1989, Oja 1989], co prowadziłoby do sekwencyjnej metody PCA - SPCA 5. Jednak metoda ta zakłada hierarchizację cech dominujących w strukturach wejściowych. Alternatywą jest postrzeganie heterarchii cech, dzielących się na odrębne kategorie na tym samym poziomie jest to także analogiczna metoda dostrzeżona przez porównanie reprezentacji wytworzonych przez różne algorytmy uczące (m.in. SPCA) oraz podstawowe reprezentacje kory wzrokowej. W ten sposób doprowadzono do powstania uczenia Hebbowskiego realizującego warunkowe PCA (CPCA 6 ), które wykonywane jest dla ograniczonego zbioru wejść. W tym celu wprowadzona została funkcja warunkująca, której zadaniem jest określenie, kiedy neuron powinien wykonać PCA. Ponieważ PCA wykonywane jest automatyczne, w zasadzie ogranicza się to do włączania/wyłączania aktywności neuronu. Hebbowskie CPCA Metoda uczenia CPCA dosłownie interpretuje pomysł warunkowania uczenia. Zakłada, że dla danego wektora uczącego, można interpretować wartość wagi wejściowe, jako warunkowe prawdopodobieństwo tego, że neuron z którego pochodzi sygnał był aktywny gdy neuron docelowy także był aktywny. ( ) ( ) (30) Reguła uczenia prowadząca do takich wag jest nazywana algorytmem CPCA. Prawdopodobieństwo warunkowe wynoszące 0.5 oznacza brak korelacji aktywność danego neuronu wejściowego nie wpływa na aktywność neuronu docelowego. Gdy jest większe od 0.5, mamy korelację dodatnią, czyli najprawdopodobniej gdy aktywny jest neuron docelowy, neuron wejściowy także będzie aktywny. W przypadku wartości mniejszej od 0.5 jest większa szansa, że dla aktywnego neuronu docelowego neuron wejściowy będzie nieaktywny. Należy zauważyć, że w ogólności, a korelacje zostają takie same niezaleznie od kierunku propagacji sygnału. 5 Sequential Principal Component Analysis 6 Conditional Principal Component Analysis 15
Poniższa reguła aktualizacji wag spełnia warunki prawdopodobieństwa warunkowego CPCA z poprzedniego równania: [ ] ( ) (31) Oznaczając ( ) prawdopodobieństwo aktywacji neuronu bodźcem dla wektora t, oraz analogiczne prawdopodobieństwo aktywacji neuronu. Wstawiając do równania (30) otrzymujemy: co prowadzi do: [ ( ) ( ) ], (32) ( ( ) ( ) ) (33) Aby z powyższego wyznaczyć wartość wagi, musimy przyjąć, że stan równowagi osiągnięty jest, gdy waga się nie zmienia, czyli : ( ) ( ) ( ) ( ) ( ) (34) Powyższa równość doprowadza do początkowego założenia CPCA - równanie (30) 4.3. kwta W przypadku, gdy mamy wiele neuronów istnieje duże prawdopodobieństwo, że będą uczyć się tych samych korelacji. Dlatego często dodaje się mechanizmy hamujące czy też wymuszające konkurencję a zarazem większą specjalizację neuronów. Jednym z takich mechanizmów jest kwta 7 w dosłownym tłumaczeniu k-zwycięzców bierze wszystko. Polega to na ograniczeniu liczby neuronów, którym pozwala się zmieniać wagi, do k neuronów najsilniej reagujących na dany bodziec. Powoduje to jeszcze lepsze 7 k-winners Takes All 16
dostosowanie się tych neuronów do bodźca. Czasem stosuje się dodatkowe mechanizmy, ponieważ mogą zdarzyć się sytuacje, że pewna grupa neuronów będzie ciągle przegrywać i nie będzie miała możliwości modyfikacji swoich wag. W tym celu stosuje się np. karanie za zbyt dużą liczbę zwycięstw - po której następuje określona liczba epok, w której neuron nie może aktualizować swoich wag. kwta powoduje zawężenie badanej przestrzeni rozwiązań. Emergent pozwala na określenie hamowania różnego typu możemy określać procentowo udział neuronów podlegających uczeniu, podać konkretną ich liczbę czy też w ramach warstwy podzielić neurony na grupy, w ramach której następuje inhibicja. 4.4. Uczenie metodą korekcji błędów W przeciwieństwie do uczenia Hebbowskiego - modelowego, gdzie głównym zadaniem jest odzwierciedlenie ogólnej struktury środowiska, potrzebna jest też metoda, która pozwala generować odpowiednie wyjście na zadany wzorzec, która daje kontrolę nad osiąganymi rezultatami. Wielowarstwowym uogólnieniem reguły delty jest wsteczna propagacja opisana w rozdziale 3, jednak jest to metoda nieodzwierciedlająca biologicznej natury tego procesu. Metoda zwana GeneRec 8 oddaje właśności LTP/D i w ogólności lepiej reprezentuje procesy zachodzące w korze mózgowej. GeneRec Generalized Recirculation; approximates Almeida-Pineda recurrent backprop. Symmetric, midpoint version of GeneRec is used, which is equivalent to the contrastive Hebbian Learning (CHL) [O Reilly Neural Computation] [( ) [ ] ( ) ] (35) Miara błędu entropii skrośnej 9 8 GeneRec Generalised Recurculation 9 CE Cross Entropy 17
Pochodna CE 4.5. Leabra Ponieważ nie mamy wpływu na rezultat uczenia metodą Hebba, z drugiej strony reguła delty dobra do nauki warstwy wyjściowej, nie do końca sprawdza się w warstwach ukrytych ze względu na konieczność wskazania celu, Leabra używa kombinacji metody Hebba, hamowania wewnątrz warstw oraz korekcji błędów. Jest to uczenie zorientowane zadaniowo. Uczenie Hebbowskie połączone z konkurencją opartą na hamowaniu ograniczają korekcję błędów tak, by tworzyły się sensowne wewnętrzne reprezentacje. Mechanizm uczący jest kombinacją metody Hebba (CPCA) i oraz korekcji błędów poprzez wersję CHL algorytmu GeneRec w postaci: (36) Co po podstawieniu odpowiednich równań daje: [ ( ) ( )] (37) 18
Połączenie obu algorytmów można podsumować przez sześć podstawowych zasad, które doprowadziły do jego sformułowania: 1) Realizm biologiczny 2) Rozproszona reprezentacje wiele aktywnych neuronów 3) Hamowanie współzawodnictwem (kwta) powoduje ograniczenie aktywnych neuronów a zarazem lepszą ich specjalizację 4) Dwukierunkowa propagacja sygnału 5) Uczenie propagacją błędów (GeneRec) wpływa na reprezentację przekazując różnicę między spodziewanym wynikiem i aktualnie otrzymanym (człon błędu ) 6) Uczenie Hebbowskie kształtuje własne reprezentacje w nawiązaniu do korelacji pomiędzy danymi wejściowymi, wyszukuje wspólne cechy 4.6. Rozpoznawanie linii Przykładowy projekt 04 self_org.proj z pakietu symulacji Emergenta pokazuje wpływ członu Hebbowskiego - CPCA oraz kwta w algorytmie Leabra. Jest to uczenie bez nauczyciela, gdzie warstwie wejściowej przedstawiane są linie pionowe, poziome oraz ich kombinacje, a warstwa ukryta tworzy swoją ich reprezentację. Sieć składająca się z 25 neuronów wejściowych oraz 20 neuronów ukrytych była początkowo uczona zestawem danych zawierającym kombinację 2 linii poziomych bądź pionowych, a następnie przetestowana zbiorem składającym się z linii pojedynczych: 19
Oraz wynik testowania zbiorem linii pojedynczych: 20
Na powyższych rysunkach na dole jest warstwa wejściowa, powyżej warstwa ukryta. Widać wyraźnie, że mimo uczenia sieci zbiorem składającym się z kombinacji linii, sieć wyspecjalizowała neurony w rozpoznawaniu poszczególnych linii. Ponieważ wsteczna propagacja jest uczeniem z nauczycielem, nie jesteśmy w stanie przeprowadzić analogicznego testu. Gdyby jednak chcieć wymusić na sieci określone reakcje w zależności od rodzaju prezentowanych linii na pewno nie byłyby one tak jednoznaczne jak w przypadku uczenia Hebbowskiego z hamowaniem kwta. 21
5. Testy sieci oraz zbieranie wyników 5.1. Opis Wszystkie eksperymenty zostały przeprowadzone w programie Emergent w wersji 6.0.1 64-bit na komputerze z procesorem Intel Core i5 M520, 8GB pamięci RAM w systemie operacyjnym Microsoft Windows 7. Część testów została powtórzona na tym samym komputerze i systemie Linux Fedora 17 Desktop Edition oraz Ubuntu 12.04, jednak otrzymane wyniki oraz szybkość nie różniły się od wcześniej otrzymanych. Domyślnie program Emergent w trakcie uczenia nie zapisuje żadnych informacji, co więcej, nie wszystkie parametry podlegają monitorowaniu. W celu przeprowadzenia badań i zebrania danych zostały wprowadzone poniżej opisane zmiany. Do standardowo monitorowanych przez program danych, które trafiają do tabel TrialOutputData oraz EpochOutputData zostało dodane rejestrowanie aktywności warstwy ukrytej, we wstecznej propagacji znajdujące się w parametrze act a w Leabrze w act_m. Dane te trafiają do tabeli TrialOutputData, która jest aktualizowana po prezentacji każdego wektora uczącego. Rejestrowane są parametry takie jak prezentowany wektor, numer epoki, błąd sieci dla danego wektora i inne. EpochOutputData jest aktualizowana po każdej epoce, czyli po prezentacji wszystkich wektorów należących do zbioru uczącego. Zawiera informacje o średnim błędzie SSE, liczbie źle sklasyfikowanych wektorów, średniej liczbie cykli (faz plus/minus dla Leabry) dla wektora oraz całkowitym czasie, jaki potrzebny był na przetworzenie epoki. Po każdej epoce tabela TrialOutputData jest resetowana i wypełniana od nowa. Aby uniknąć ręcznego zapisywania danych z tabeli konieczna była zmiana w programach uczących. Dodany został program o nazwie SaveTrialOutputData, który wykonywany jest na końcu każdej epoki. Jego parametrami są katalog docelowy, do którego zapisywane będą dane, monitorowana sieć oraz interwał, z jakim zapisywane będą dane. W przypadku wstecznej propagacji było to co kilka-kilkadziesiąt epok ze względu na małą zmienność i wolną zbieżność algorytmu, dla Leabry zwykle dane zapisywane były co epokę. 22
Poniżej skrypt programu: // SaveTrialOutputData // args: global script parameters (arguments) trial_mon_data = TrialOutputData (DataTable) network = XOR_5D (Network) // vars: global (non-parameter) variables fname = data\tod_0001.dat (String) epoch = 0001 (String) // data\\ folder = data\ (String) save_interval = 1 (int) is_active = true (bool) // init_code: code to initialize the program epoch=network->epoch fname="tod"->cat(epoch)->cat(".dat") // prog_code: main code to run program if (is_active) epoch=tamisc::leadingzeros(network.epoch, 4) fname=folder+"tod_"+epoch+".dat" if ((network->epoch % save_interval) == 0) trial_mon_data->savedata(fname,,, ) Wynikowe pliki automatycznie były numerowane aktualną liczbą epok. 23
6. Problem parzystości wielowymiarowej 6.1. Wstęp Problem wielowymiarowej parzystości nie jest liniowy, przez co stwarza spore problemy w trakcie uczenia. W ramach projektu badana była parzystość n-wymiarowa ( ) zrezygnowano z analizy wyższych wymiarów ze względu na słabe wyniki we wspomnianym przedziale. W programie Emergent zostały stworzone dwa projekty o takiej samej strukturze warstw, liczbie neuronów jeden dla sieci z algorytmem wstecznej propagacji, drugi dla sieci Leabra. Przyjęto następującą strukturę sieci: 5 neuronów wejściowych w warstwie wejściowej 25 neuronów ukrytych w jednej warstwie ukrytej 2 neurony wyjściowe w warstwie wyjściowej Wektor wejściowy był 5-bitowy dla wszystkich wymiarów. Obie sieci były uczone takimi samymi danymi wejściowymi. W przypadku badania parzystości o niższej liczbie wymiarów pierwsze pozycje wektora były zerowane. Poniżej przykład jeden z przykładowych wektorów dla trzech wymiarów: Rys. 4. Graficzna prezentacja zbioru danych dla problemu XOR w 3 wymiarach Jest to minimalny wektor dla problemu trójwymiarowego XOR. Dla każdego wymiaru było przygotowanych kilka zbiorów danych wejściowych z różną liczbą wektorów. Poniżej przykład dla XOR dwuwymiarowego, który składa się z 40 wektorów. Na każdy z 24
czterech możliwych punktów problemu przypada 10 wektorów, które zostały losowo rozmieszczone w ich pobliżu. 1 XOR 2D 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 Class 1 Class 2 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Rys. 5. Rozmieszczenie danych dwuwymiarowego problemu XOR na płaszczyźnie Aby wykluczyć możliwość wpływu struktury wektora wejściowego przez wypełnienie zerami nieużywanych pozycji, analizowane były także projekty o sieciach konstruowanych pod konkretne problemy. Wszystkie miały taką samą ilość neuronów ukrytych oraz wyjściowych (odpowiednio 25 i 2) i różniły się liczbą neuronów wejściowych w zależności od ilości wymiarów analizowanego problemu. Jednak różnic w wynikach nie było, dlatego w finalnej wersji zastosowano projekt bardziej uniwersalny. Obie sieci były uczone takimi samymi zbiorami danych, były to odpowiednio wersje dokładne, gdzie punkty wypadały w rogach wielowymiarowych kwadratów i zawierały następujące liczby wektorów dla poszczególnych wymiarów: Liczba wymiarów Liczba wektorów dokładnych Liczba wektorów rozmytych 2 4 40 3 8 40 4 16 48 5 32 64 25
W przypadku wstecznej propagacji kryterium zatrzymania uczenia było osiągnięcie średniego błędu SSE na poziome nieprzekraczającym 0.1 przez co najmniej 10 kolejnych epok. Dla sieci Leabra nie było możliwości warunkowania średniej wartości błędu, można było jedynie określić ilość błędnie sklasyfikowanych wektorów (aby wektor można było uznać za poprawnie sklasyfikowany błąd SSE musiał być równy 0). 6.2. Parzystość wielowymiarowa w sieciach Backprop 6.2.1. XOR 2D Pierwszym badanym przypadkiem jest parzystość dwuwymiarowa, w przypadku której praktycznie zawsze można osiągnąć sukces. Do nauczenia tego problemu teoretycznie jak i praktycznie wystarczy 1 neuron ukryty oraz 1 neuron wyjściowy, więc w przypadku sieci zbudowanej z 25 neuronów ukrytych i 2 wejściowych tym bardziej nie ma problemu z uczeniem. Poniżej umieszczony jest wykres błędu (SSE) dla uczenia sieci o wspomnianej strukturze: Rys. 6. Wykres błędu SSE dla problemu XOR 2D w sieci wstecznej propagacji Oś pionowa oznacza aktualną wartość błędu w danej epoce, której numer charakteryzuje oś pozioma. Jest to konwencja stosowana dla wszystkich tego typu wykresów. Oraz MDS wartości aktywacji neuronów warstwy ukrytej w epoce 1300: 26
Rys. 7. MDS aktywacji warstwy ukrytej w epoce 1300 Poniżej zsumowane i znormalizowane aktywacje neuronów warstwy ukrytej względem klas. Dane zostały wygenerowane na podstawie aktywacji pochodzącej od wszystkich neuronów danej klasy a następnie znormalizowane do 1. Wyniki dla każdej klasy normalizowane były osobno. Rys. 8. Sumaryczna znormalizowana aktywacja neuronów warstwy ukrytej w podziale na klasy Intensywność koloru odwzorowuje wartość aktywacji biały oznacza brak wzbudzenia, czarny najsilniejsze wzbudzenie. Każdy kwadrat reprezentuje pojedynczy neuron, neurony pogrupowane są w warstwy, patrząc od dołu są to kolejno warstwa wejściowa, ukryta i wyjściowa. Taka konwencja stosowana jest we wszystkich rysunkach tego typu. 27
6.2.2. XOR 3D W porównaniu do XOR2D, ten problem można powiedzieć, że jest optymalny do testowania sieci ze względu na to, że nie jest już taki prosty, ale z drugiej strony nie jest też nadmiernie skomplikowany jak wyższe wymiary parzystości. Poniżej wykresy uczenia sieci, w której było 6 neuronów ukrytych, zbiorem podstawowym XOR3D składającym się z 8 wektorów: Rys. 9. Wykres błędu SSE, sieć BP, problem XOR 3D Oraz poniżej MDS aktywacji neuronów warstwy ukrytej z epoki 14725: Rys. 10. MDS aktywacji neuronów warstwy ukrytej, sieć BP, problem XOR 3D, epoka 14725 28
Oraz aktywność neuronów: Rys. 11. Aktywność neuronów dla poszczególnych wektorów uczących w epoce 14725 Rys. 12. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 14725 Poniżej analogiczne wykresy dla sieci o standardowej strukturze opisanej w rozdziale 6.1, uczonej lekko rozmytym problemem XOR 3D składającym się z 80 punktów. Rys. 13. Wykres błędu SSE, sieć BP, problem XOR 3D 29
Rys. 14. MDS aktywacji warstwy ukrytej, sieć BP, problem XOR 3D, epoka 1500 Zwiększenie liczby wektorów uczących pozytywnie wpłynęło na zmniejszenie liczby epok potrzebnych do nauczenia problemu. Jednak wzrost liczby neuronów ukrytych a zarazem brak mechanizmów współzawodnictwa wpływa negatywnie na zbieżność procesu uczenia widać wyraźnie sporą liczbę skoków na wykresie błędów. Rys. 15. Średnia aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 1650 Przy takiej liczbie neuronów ukrytych Emergent wielokrotnie nie potrafił znaleźć rozwiązania bądź z niego wypadał poniżej kilka przykładów wykresy błędów SSE: 30
Poniższy przykład jest dla takiej samej sieci tyle, że do parametrów został dodany czynnik bezwładności o wartości 0.1. 6.2.3. XOR 4D Każdy kolejny wymiar stawał się coraz bardziej czasochłonny i trudny. Poniżej wykres funkcji błędu udanego uczenia sieci zbiorem 48 wektorów opisujących problem XOR 4D (rozmyty wokół punktów): 31
Rys. 16. Wykres błędu SSE, sieć BP, problem XOR 4D Poniżej grafiki prezentująca MDS a następnie aktywację poszczególnych warstw dla powyższego zbioru danych w epoce 7150, dla której wartość błędu SSE wyniosła 0.052: Rys. 17. MDS aktywności warstwy ukrytej, sieć BP, problem XOR 4D, epoka 7150 32
Rys. 18. Sumaryczna wartość aktywacji neuronów warstwy ukrytej w podziale na klasy, epoka 7150 Na wykresie MDS widać separację klas, jednak można zauważyć po lewej stronie u dołu jak dwie grupy wektorów należących do różnych klas prawie się przecinają, skutkuje to tym, że sieć próbując się uczyć często błędnie klasyfikuje wektory należące do tej właśnie grupy. Na Rys. 18 widać wyraźną dominację dwóch neuronów warstwy ukrytej dla obu klas. Prawdopodobnie dominującą rolę w klasyfikacji odegrały dwa neurony słabiej aktywujące się dla każdej z klas z osobna, widoczne przy prawej krawędzi rysunku. W przypadku XOR 4D, podobnie jak we wcześniejszym wiele prób nauczenia sieci kończyło się wypadaniem z rozwiązań. Dane dokumentujące te przypadki można znaleźć w zbiorach dołączonych do pracy. 6.2.4. XOR 5D Problem z pięcioma wymiarami sprawiał już całkiem sporo problemów, co można zaobserwować na poniższym wykresie wartości funkcji błędu: 33
Rys. 19. Wykres wartości błędów SSE Poniżej MDS aktywacji warstwy ukrytej gdzie znowu widać separację, ale widać też na środku po lewej stronie miejsce sprawiające problemy. Na następnej grafice pokazującej aktywację neuronów poszczególnych warstw zaznaczone są 2 wzorce, które zostały nieprawidłowo sklasyfikowane. Należą one właśnie do tego miejsca. 34
Rys. 20. MDS wartości aktywacji neuronów warstwy ukrytej, sieć BP, problem XOR5D, epoka 11060 35
Rys. 21. Wykres wartości aktywacji neuronów wszystkich warstw w zależności od wektora uczącego, epoka 11060 36
Rys. 22. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, sieć BP, problem XOR 5D, epoka 11060 Można zauważyć, że przy 5 wymiarach problem ten angażuje wiele neuronów ukrytych i mimo upływu wielu epok wciąż nie udało się osiągnąć stuprocentowej skuteczności. Powyższy przykład jest jedną z niewielu udanych prób nauczenia sieci danymi XOR 5D. W przypadku, gdy jako dane wejściowe stosowany był zbiór dokładny, składający się z 32 wzorców wyniki były jeszcze gorsze i ani razu nie udało się osiągnąć (i utrzymać) zakładanego pułapu błędu. Z Rys. 22 wynika, że dla obu klas dominowały te same neurony warstwy ukrytej, więc rozróżnianie przynależności do klas zależało od słabiej bądź rzadziej aktywnych neuronów. 6.2.5. Próba poprawy wyników W celu spróbowania poprawienia otrzymanych rezultatów chodzi o liczbę epok potrzebnych do nauczenia jak i sam fakt znalezienia rozwiązania w przypadku wstecznej propagacji modyfikowano głównie współczynnik uczenia. Domyślnie przyjmuje wartość 0.2, w przypadku zmniejszenia tej wartości do poziomu 0.1 czy 0.005 pogorszyła się jedynie szybkość, z jaką sieć znajdywała rozwiązanie, zmian jakościowych nie było. Dodanie członu z czynnikiem bezwładności także nie wpłynęło pozytywnie na proces uczenia. 37
6.3. Parzystość wielowymiarowa w sieciach Leabra W przypadku uczenia sieci Leabra, trzeba zwrócić uwagę na inne kryterium kończenia uczenia. Dla wstecznej propagacji jest to osiągnięcie pewnego progu błędu SSE i utrzymanie go przez określoną liczbę epok. W Leabrze tym kryterium jest parametr cnt_err określający liczbę wektorów, dla których błąd wynosi 0.00, czyli jest to dużo bardziej restrykcyjne kryterium. 6.3.1. XOR 2D Wyniki uczenia sieci problemem dwuwymiarowym wykres błędu oraz MDS aktywności warstwy ukrytej dla epoki 130: Rys. 23. Aktywacje neuronów poszczególnych warstw w epoce 130 Jak widać, problem dwuwymiarowy raczej nie stwarzał problemów i sieć bardzo szybko uczyła się go uczyła. Niepokojące jest, że mimo znalezienia rozwiązania sieć potrafiła gwałtownie z niego wypaść o czym świadczą ostre piki na wykresie błędów. 38
Rys. 24. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 130 Poniżej przykłady uczenia większym zestawem danych (MDS dla wyników epoki 91): I jeszcze jeden rezultat dla takiego samego zestawu (MDS dla wyników epoki 261): W przypadku wczesnych wersji Emergenta z serii 5.0 były problemy nawet z XOR 2D, przykładowy wykres błędów: 39
Jak widać z powyższych testów zwiększenie liczby wektorów uczących w przeciwieństwie do wstecznej propagacji skutkuje pogorszeniem i wydłużeniem procesu uczenia. 6.3.2. XOR 3D Wyniki uczenia zbiorem opisującym problem trójwymiarowy wykres błędów oraz MDS wartości aktywacji neuronów warstwy ukrytej w epoce 220: Rys. 25. Wartość aktywacji neuronów na poszczególne wzorce, epoka 220 40
Rys. 26. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 220 Powtórny test dla współczynnika uczenia zmniejszonego o połowę, do 0.005 wykres błędów oraz MDS wartości aktywacji neuronów warstwy ukrytej w epoce 349: Rys. 27. Wartość aktywacji neuronów, epoka 349 41
Rys. 28. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 349 Kolejny rezultat, dla współczynnika uczenia 0.005 i rozszerzonego zbioru uczącego wykres błędów oraz MDS wartości aktywacji neuronów warstwy ukrytej w epoce 875: Rys. 29. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 875 Można zauważyć, że zwiększenie liczby neuronów ukrytych spowodowało większe skoki wartości błędów, jednak patrząc na aktywność neuronów wytworzone reprezentacje 42
są bardziej wyraziste. Jest to także zapewne efekt dłuższego procesu uczenia większy zbiór wydłużył ten czas ponad dwukrotnie. 6.3.3. XOR 4D Wyniki uczenia zbiorem czterowymiarowym zbiorem danych poniżej wykres błędu, MDS wartości aktywacji neuronów warstwy ukrytej w epoce 2100: Rys. 30. Aktywność neuronów względem poszczególnych wzorców uczących, epoka 2100 43
Rys. 31. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 2100 Inny przypadek wykres błędu oraz MDS wartości aktywacji neuronów warstwy ukrytej w epoce 2990: Rys. 32. Wizualizacja aktywności neuronów w zależności od wektora uczącego, epoka 2990 44
Rys. 33. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 2990 6.3.4. XOR 5D Poniżej wyniki jednej z nielicznych prawie udanych prób uczenia tego problemu. Kryterium końca zostało jednak zmienione na to, by w ciągu 5 kolejnych epok liczba wektorów, dla których sieć generowała niezerowy błąd była równa 0. Widać dużą zmienność wartości funkcji błędów. Warto zauważyć, że między epokami 3000-3500 sieć wielokrotnie osiągała bezbłędny poziom. Rys. 34. Wykres błędu SSE, sieć Leabra, problem XOR 5D 45
Rys. 35. MDS aktywności neuronów warstwy ukrytej, sieć Leabra, problem XOR 5D, epoka 3470 46
Rys. 36. Aktywność neuronów dla poszczególnych wektorów uczących, sieć Leabra, problem XOR 5D, epoka 3470 Rys. 37. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 3470 Oraz drugi przypadek gdzie uczono większym zestawem danych poniżej wykres błędu oraz MDS wartości aktywacji neuronów warstwy ukrytej w epoce 669: 47
Rys. 38. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 669 6.3.5. Próba poprawy wyników W celu poprawy rezultatów modyfikowana była cała gama parametrów sieci, neuronów jak i parametrów uczących. Podstawowymi parametrami mającymi wpływ na proces uczenia były współczynnik uczenia jak i kwta. Współczynnik uczenia, domyślnie dla Leabry wynoszący 0.01 ustawiano na wartości od 0.0001 do 0.2. Stosowano także mechanizmy Emergenta pozwalające na zmniejszenie wartości współczynnika uczenia co określoną liczbę epok (lrate schedule), gdzie próbowano zmieniać wartości logarytmicznie od 0.1 do 0.0001 co 25 bądź 50 epok, albo z 0.2 do 0.005 w takich samych interwałach. W celu poprawy stabilizacji w trakcie normalnego procesu uczenia, po osiągnięcia błędu na poziomie 0, próbowano także ręcznie zmniejszyć współczynnik uczenia np. 100- bądź 1000-krotnie tak, by sieć nie wypadała ze znalezionego rozwiązania. Jednak nie przyniosło to spodziewanych efektów, a stabilizacja była pozorna i chwilowa. 48
Następnym modyfikowanym parametrem była wartość kwta części hamującej. Domyślnie wynosi ona 25%, co oznacza, że jedynie 25% neuronów warstwy ukrytej osiągającej najlepsze wyniki podlega dalszemu uczeniu. Ponieważ w części problemów problemem była nadmierna aktywacja (gdzie całe grupy neuronów reagowały maksymalnym pobudzeniem na różne grupy sygnałów), poprzez zmniejszenie kwta próbowano wpłynąć na aktywację. Sprawdzone były wartości 10% oraz sztywne ograniczenie do 2,3 i 5 neuronów. Mimo, że aktywność neuronów warstwy ukrytej zmalała, nie wpłynęło to na poprawę wyników. Dlatego, w kolejnym kroku zmniejszono udział części Hebbowskiej (parametr k_hebb) odpowiedzialnej za samoorganizację z 0.001 do 0.0001, a nawet do 0.00001 jednak to także nie poprawiło rezultatów. Ostatnimi z modyfikowanych parametrów były te, modelujące kształt funkcji aktywacji. Poprzez zmianę w_gain została ona rozciągnięta i wygładzona, dzięki czemu powinna lepiej reagować w szerszym zakresie danych wejściowych. Wykres (Rys. 41) zmiany kształtu funkcji znajduje się w rozdziale 7.3. Mimo zastosowania zmian wielu parametrów nie udało się rozwiązać kluczowych problemów dotykających sieci Leabra w przypadku problemu parzystości. 6.4. Wnioski Z przedstawionych wyżej wyników nie można powiedzieć, by którakolwiek implementacja dobrze radziła sobie z problemem parzystości wielowymiarowej. W badanych przy innych okolicznościach projektach, wsteczna propagacja po wielu cyklach uczących z reguły osiągała zadowalające rezultaty. Tutaj oba algorytmy cechowały się dużą zmiennością. Na pewno można zauważyć znaczne przyspieszenie procesu uczenia w algorytmie Leabra, jednak jego niestabilność w obecnej implementacji nie pozwala jednoznacznie potwierdzić skuteczności. Duże wahania błędu pomiędzy kolejnymi epokami, wypadanie daleko poza rozwiązanie nawet przy ograniczeniu współczynnika uczenia do poziomu 1e-6 raczej zniechęcają do używania. Nie sposób jednak nie zauważyć wpływu wszystkich zastosowanych do konstrukcji algorytmu elementów, które kilkusetkrotnie przyspieszają proces uczenia, a otrzymane w ich wyniku reprezentacje dzięki stosowaniu inhibicji są bardzo spójne. Dodatkowo w warstwie ukrytej możemy zaobserwować wyraźne aktywacje, których brak w przypadku wstecznej propagacji gdzie większość neuronów jest aktywna a ich aktywności nieznacznie się od siebie różnią. Potrzeba wielu tysięcy epok by to zmienić. 49
Zastanawiający jest fakt, że dla problemów parzystości Emergent bardzo źle zachowuje się w przypadku przeuczenia sieci. Gdybyśmy zatrzymali się przy z góry ustalonym kryterium można by próbować opisywać ten stan, jednak po przeuczeniu nawet wsteczna propagacja cechuje się dużymi skokami i nieuzasadnionym wypadaniem z rozwiązania, by wpaść w odległe minimum lokalne, z którego nie potrafi wybrnąć. Analogicznie w przypadku Leabry z reguły wartości błędu stopniowo maleją, by po osiągnięciu i trwaniu w minimum przez kilka epok gwałtownie z niego wypaść. Dlatego spore wątpliwości budzi implementacja algorytmu wstecznej propagacji oraz CHL, które w dużej mierze odpowiadają za zmierzanie w kierunku malejącego błędu. Nie ma żadnych zastrzeżeń do implementacji części uczenia Hebbowskiego jak i hamowania kwta, co oddaje przykład reprezentacji wytworzonej po uczeniu zbiorem linii. Co do wstecznej propagacji, należy zauważyć, że brak mechanizmu konkurencji (np. kwta) powodował, że neurony wyjściowe dostawały bardzo dużo sygnałów z warstwy ukrytej. Mogło to utrudniać znajdywanie odpowiedniego kierunku poszukiwania rozwiązania. W przypadkach, gdy liczba neuronów ukrytych została odgórnie ograniczona do np. 6 wykres błędu był o wiele bardziej spójny i nie zawierał nagłych skoków. Algorytm Leabry, czy też pomijając część Hebbowską CHL wydaje się być obiecującym ze względu na szybkość osiągania wyników. Plusem jest także analogia do neuronów biologicznych, jednak spowodowane tym skomplikowanie procesu uczenia jak i samej budowy neuronów, może być powodem, dla którego trudno osiągnąć zadowalającą zbieżność. 50
7.1. Opis zbioru danych 7. Problem rzeczywistych danych spam Spam jest zbiorem 4601 wektorów, zebranym i opracowanym przez Hewlett- Packard Labs, które opisują e-maile oznaczone jako spam bądź nie spam. Dane opisane są poprzez 57 parametrów opisujących występowanie określonych słów bądź znaków w mailu. 2788 wektorów opisuje maile nie będące spamem, a pozostałe 1813 będące. Docelowym przeznaczeniem była konstrukcja filtrów antyspamowych. W celu zastosowania danych w programie Emergent zostały one poddane procesowi normalizacji względem kolumn, tak, by wartości przedstawiane neuronom wejściowym należały do przedziału [0,1]. 7.2. Wyniki wstecznej propagacji Do badania została skonstruowana sieć o 19x3 = 57 neuronów wejściowych, 6x6 = 36 neuronów ukrytych oraz 2 neurony wyjściowe. Żadne pozostałe parametry nie były modyfikowane współczynnik uczenia pozostawiono na wartości 0.2. Rys. 39. Wykres błędu uczenia sieci BP problemem Spam 51
Oraz seria wykresów aktywacji neuronów warstwy ukrytej po transformacji MDS w epokach 0, 1, 5 i 100 (są to dane zebrane po epoce, czyli w przypadku epoki 0 nastąpił jeden pełen cykl uczący). Oraz finalny dla epoki 999: 52
Rys. 40. MDS aktywacji neuronów warstwy ukrytej dla problemu Spam w sieci BP, epoka 999 Wyraźnie widać stopniowo postępującą coraz wyraźniejszą separację klas. Dla ostatniego wykresu błąd SSE wynosił 0.067. Jak można zaobserwować, wsteczna propagacja od samego początku bardzo sprawnie radziła sobie z problemem, by osiągnąć całkiem zadowalający wynik końcowy dla tak złożonego problemu. 7.3. Wyniki Leabry Do badania Leabry została zbudowana analogiczna sieć jak we wstecznej propagacji, o takiej samej liczbie neuronów i ich rozmieszczeniu. Jednak w tym przypadku ze względu na niezadowalające wyniki modyfikowanych było kilka parametrów. W celu poprawy zbieżności modyfikowane były parametry dotyczące kwta wartość została zmniejszona z 25% do 10% oraz sprawdzono także dla wartości 2 oraz 5 neuronów. Wartość współczynnika uczenia zredukowano z 0.01 do 0.005. Poniżej wykresy błędów SSE: 53
W pierwszym przypadku (co zdarzało się dość często przy ponownych próbach) sieć całkowicie wypadła z rozwiązania, w drugim natomiast nie potrafiła spaść poniżej wartości 0.35, co w porównaniu z wsteczną propagacją nie jest zbyt zadowalającym rezultatem. Próbowano także zmniejszyć wpływ części Hebbowskiej z 0.001 do 0.0001 oraz 0.00001, jednak to także nie przyniosło żadnych rezultatów. Ostatnim z modyfikowanych parametrów były kształt funkcji aktywacji jak i parametry połączeń neuronów. Zmieniając parametr gain w LeabraUnitSpec ze 100 na 4 (co powoduje wygładzenie funkcji aktywacji), oraz wt sig gain w LeabraConSpec z 6 na 3 i stosując wcześniej opisane metody odnośnie kwta, wpływu części Hebbowskiej udało się nieznacznie poprawić wyniki Leabry. Rys. 41. Wygładzona funkcja aktywacji po zmianie parametrów Poniżej rezultaty uczenia dla tak ustawionej sieci na początek wykres błędów: 54
MDSy aktywacji neuronów warstwy ukrytej po 0 i 1 epoce: Oraz analogiczny wykres dla epoki 999, której SSE wynosiło 0.229: 55
Rys. 42. MDS wartości aktywacji neuronów warstwy ukrytej dla problemu Spam w sieci Leabra, epoka 999 Trudno mówić tu o diametralnej poprawie, jednak pozwoliło to nieco ustabilizować proces uczenia i z wartościami błędów SSE osiągnąć poziom o ponad 0.1 niższy niż poprzednio. 7.4. Wnioski W powyższych rezultatach nie został ujęty czas uczenia, ograniczone zostało to tylko do liczby epok, natomiast czas trwania jednej epoki w przypadku tego problemu nie był jednoznaczny dla obu algorytmów. Uczenie 1000 epok wsteczną propagacją trwało niecałą godzinę, natomiast w przypadku Leabry i takiej samej konfiguracji sprzętowosystemowej zajęło to ponad dobę (około 28h). Co więcej, mimo znacznie większego nakładu obliczeniowego wyniki Leabry nie były wcale zadowalające, wręcz przeciwnie. Sieć wstecznej propagacji osiągała zdecydowanie lepsze rezultaty po kilku epokach niż Leabra po całym cyklu. Ponadto algorytm cechował się wypadaniem z dobrego kierunku poszukiwania rozwiązania podobnie, jak to miało miejsce w przypadku problemów parzystości. 56
8. Wnioski końcowe Z wcześniej przedstawionych badań można zaobserwować, że skuteczność Leabry w przypadku realnych problemów klasyfikacyjno-obliczeniowych jest niewielka. O tyle, o ile w przypadku parzystości wielowymiarowej Leabra bardzo szybko znajdywała rozwiązanie, martwiące było nagłe i nieuzasadnione wypadanie z niego by ostatecznie osiągnąć całkowicie błędny stan. Leabra lepiej radziła sobie na małych zbiorach danych, gdy liczba wektorów uczących była niewielka, niż gdy prezentowano wiele bardzo podobnych wektorów należących do danej klasy. Jest to zachowanie całkiem przeciwne od rezultatów osiąganych przez wsteczną propagację, gdzie duży zbiór uczący znacznie poprawiał szybkość znajdywania rozwiązania. Jak pokazał problem spamu, dodatkowo w przypadku dużych zbiorów danych czas uczenia był wielokrotnie dłuższy niż to samo zadanie w sieci wstecznej propagacji. W związku z tym, można stwierdzić, że Leabra w dobry sposób modeluje wybrane zagadnienia z dziedziny psychologii, neurologii czy neuropsychologii, których nie sposób byłoby przedstawić wsteczną propagacją, jednak w obecnym stanie nie nadaje się do rozwiązywania rzeczywistych problemów klasyfikacyjnych. 57