Spis treści 1. Wstęp... 3 2. Od neuronów biologicznych po sztuczne sieci neuronowe... 4 2.1. Budowa neuronu biologicznego... 4 2.2. Sztuczny neuron... 5 2.3. Funkcje aktywacji... 6 2.4. Ogólny opis sieci neuronowej... 8 3. Algorytm wstecznej propagacji błędu... 9 3.1. Ogólny opis... 9 3.2. Funkcja celu... 9 3.3. Uczenie... 10 4. Algorytm Leabra... 12 4.1. Wstęp... 12 4.2. Uczenie Hebbowskie... 12 4.3. kwta... 16 4.4. Uczenie metodą korekcji błędów... 17 4.5. Leabra... 20 4.6. Rozpoznawanie linii... 21 5. Testy sieci oraz zbieranie wyników... 24 5.1. Opis... 24 6. Problem parzystości wielowymiarowej... 26 6.1. Wstęp... 26 6.2. Parzystość wielowymiarowa w sieciach Backprop... 28 6.2.1. XOR 2D... 28 6.2.2. XOR 3D... 30 6.2.3. XOR 4D... 34 6.2.4. XOR 5D... 36 6.2.5. Próba poprawy wyników... 39
6.3. Parzystość wielowymiarowa w sieciach Leabra... 40 6.3.1. XOR 2D... 40 6.3.2. XOR 3D... 42 6.3.3. XOR 4D... 45 6.3.4. XOR 5D... 47 6.3.5. Próba poprawy wyników... 50 6.4. Wnioski... 51 7. Problem rzeczywistych danych spam... 53 7.1. Opis zbioru danych... 53 7.2. Wyniki wstecznej propagacji... 53 7.3. Wyniki Leabry... 55 7.4. Wnioski... 58 8. Wnioski końcowe... 59 9. Literatura... 60 10. Dodatek... 61 10.1. Opis załączonych plików... 61 10.2. Program do generowania danych wejściowych dla problemu parzystości... 61 10.3. Program do analizy danych zebranych w trakcie uczenia... 61 2
1. Wstęp Niniejsza praca poświęcona jest tematyce sztucznych sieci neuronowych. W szczególności skupia się na algorytmie Leabra, który jest używany w środowisku Emergent (następca PDP++), służącym do modelowania zachowania mózgu oraz procesów poznawczych. Chciałbym przedstawić główne mechanizmy rządzące algorytmem Leabra, sprawdzić jak zachowuje się w przypadku klasycznych problemów klasyfikacyjnych stawianych przed sieciami neuronowymi oraz porównać go z algorytmem wstecznej propagacji poprzez analizę wewnętrznych reprezentacji wytworzonych przez obie sieci dla tych samych zestawów danych. Na początku chciałbym przybliżyć ogólne podstawy funkcjonowania sztucznych neuronów i ich analogii do neuronów biologicznych, pokazać jak sztuczne neurony są łączone w sieci, po czym przybliżyć wspomniane algorytmy. Następnie przedstawić krótko zachowanie algorytmu w typowych dla niego problemach, a dalej sprawdzić jak zachowuje się w problemach klasyfikacji parzystości wielowymiarowej oraz identyfikacji maili ze spamem i porównać wyniki z algorytmem wstecznej propagacji. Wszystkie testy przeprowadzane zostały w środowisku Emergent (wersja 6.0.1), ze względu na implementację obu algorytmów i duże możliwości manipulowania parametrami sieci neuronowej. 3
2. Od neuronów biologicznych po sztuczne sieci neuronowe 2.1. Budowa neuronu biologicznego Komórka nerwowa, zwana w skrócie neuronem, stanowi podstawę układu nerwowego. Biorąc pod uwagę niewielkie rozmiary neuronów - od 4-150µm, mają one stosunkowo złożoną budowę. Poniżej można zobaczyć schematyczny rysunek pojedynczego neuronu: Rys. 1. Schemat budowy neuronu Z punktu widzenia algorytmu Leabra, najważniejsze dla nas jest to, co zachodzi wewnątrz neuronu oraz miejscu połączeń międzyneuronowych synapsach, dlatego warto pokrótce zapoznać się z jego budową i działaniem. W ciele neuronu (soma) (2) znajduje się jądro. Liczne i krótkie wypustki zwane dendrytami (1) służą do doprowadzania sygnałów wejściowych do neuronów. Pojedynczy, długi akson (3) rozgałęzia się na liczne kolaterale (4), które docierają do somy i dendrytów innych neuronów, tworząc kolejne synapsy [2]. W dużym uproszczeniu rolą neuronu jest gromadzenie substancji chemicznej generowanej przez przychodzące sygnały zwanej neuromediatorem, która oddziałuje na synaptyczną błonę komórki prowadząc do zmiany potencjału elektrycznego. Zmiana jest proporcjonalna do ilości neuromediatora wydzielonego sumarycznie we wszystkich synapsach. Synapsy różnią się między sobą budową a co za tym idzie czułością, przez co różnie reagują na takie same bodźce. Gdy sumaryczny sygnał odebrany przez synapsy przekroczy pewną wartość krytyczną, zwaną progiem aktywacji, następuje wzbudzenie 4
neuronu, czyli gwałtowna emisja neuromediatora we wszystkich synapsach łączących się z aksonem danego neuronu generowany jest impuls nerwowy [1], [8]. 2.2. Sztuczny neuron Modele sztucznych neuronów powstały w wyniku inspiracji działaniem i budową neuronów biologicznych. Typowe sztuczne neurony posiadają wiele wejść będących analogią dendrytów oraz jedno wyjście reprezentujące biologiczny akson. Siłę danego połączenia określa się wagą, która zmienia się w trakcie procesu uczenia, pozwalając na wzmacnianie bądź hamowanie połączeń między określonymi neuronami. W dużym uproszczeniu sztuczny neuron zachowuje się jak procesor sumuje sygnały wejściowe i liczy wartość wyjścia używając pewnej funkcji aktywacji. Główną cechą odziedziczoną z neuronów biologicznych jest zdolność uczenia się [2], [1]. Wartość wyjścia j-tego neuronu przyjmującego sygnały od n-neuronów wejściowych można opisać równaniem: (1) reprezentuje wagę połączeń synaptycznych, sygnał przepływa od neuronu i do j, wartość dodatnia oznacza synapsę pobudzającą, ujemna hamującą, f() określa funkcję aktywacji, której dokładny opis znajduje się w rozdziale 2.3. Suma liczona jest od 0, ponieważ pierwsze połączenie oznacza bias reprezentujący próg aktywacji neuronu. Przyjmuje się, że jest to pojedynczy stały sygnał o wartości 1, dla którego zmieniając wagę połączenia ( ) mamy możliwość manipulowania aktywacją neuronu. Jest to szczególnie przydatne w przypadkach, gdy sumaryczny sygnał wejściowy jest bardzo duży, bądź bardzo mały i chcielibyśmy przesunąć go w obszar dużej zmienności funkcji aktywacji [2], [9]. Dla uproszczenia można wprowadzić sumaryczny sygnał wejściowy dany przez: (2) 5
Wartość wyjściowa dla takiego sygnału: (3) Mimo swojej prymitywnej architektury, sztuczne neurony potrafiły realizować wiele zadań z dziedziny klasyfikacji i przewidywania. 2.3. Funkcje aktywacji W zależności od modelu, funkcje aktywacji mogą być bardzo proste bądź skomplikowane. Najprostsze są nieliniowe funkcje skokowe zwracające 0 bądź 1 w zależności od tego, czy sygnał wejściowy przekroczył próg aktywacji δ czy nie. { (4) Jak to zostało wspomniane wcześniej, progiem aktywacji jest miejsce, powyżej którego przyjmuje się, że neuron przechodzi w stan wzbudzony i generuje impuls wyjściowy. W przypadku modeli sieci neuronowych jest to kwestia umowna, ponieważ zwykle nie nakłada się takich ograniczeń, tylko propaguje aktualne wyjście z neuronu niezależnie od tego, jakie ono jest [2], [8]. Funkcja skokowa jest nieciągła, przez co nie można stosować różniczkowych metod uczenia. W przypadku liniowych funkcji aktywacji mamy ciągłość, różniczkowalność w ograniczonym zakresie (można wyliczyć pierwszą pochodną, która w zasadzie sprowadza się do wyznaczenia znaku kierunku zmiany wag): (5) Z reguły parametry charakteryzują się następującymi własnościami: 0 < α < 1, a β = 0. Dodatkowo zwykle stosuje się ograniczenie by wartości funkcji mieściły się w przedziale [-1, 1] bądź [0, 1]. 6
Znacznie częściej stosuje się funkcje ciągłe, gładkie, które można różniczkować oraz łatwo modelować ich charakterystykę funkcje sigmoidalne. Ich dodatkową zaletą jest asymptotyczna zbieżność do określonych wartości najczęściej [0, 1] lub [-1, 1], przez co nie trzeba nakładać dodatkowych ograniczeń na proces wyznaczania wartości aktywacji. Jest wiele rodzajów funkcji sigmoidalnych, które mają różną charakterystykę przebiegu czy zbiór wartości. Poniżej zaprezentowana typowa unipolarna funkcja sigmoidalna: ( ) (6) Parametrem α regulujemy kat nachylenia krzywej, natomiast zawarty w członie pozwala na dopasowanie funkcji do zbioru argumentów. bias 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 funkcja sigmoidalna funkcja skokowa 0-5 -4-3 -2-1 0 1 2 3 4 5 Rys. 2. Wykres funkcji aktywacji skokowej i sigmoidalnej Wybór funkcji aktywacji i jej parametrów ma duży wpływ na proces uczenia jak i samo zachowanie neuronów oraz całej sieci. Ostatnia z prezentowanych funkcji daje spore możliwości, ze względu na to, że największą dynamikę zmian ma w pobliżu 0 (w tym konkretnym przypadku, za przesuwanie funkcji względem tego punktu odpowiada bias), co pozwala na przyspieszenie procesu uczenia. Dodatkowo nie ma problemów z wyznaczaniem pochodnych wyższych rzędów, co mocno przydaje się przy wstecznej propagacji błędów w głąb sieci [2], [8], [9]. 7
2.4. Ogólny opis sieci neuronowej Samotny, pojedynczy neuron nie jest w stanie zbyt wiele zrobić, dlatego zwykle używa się neuronów pogrupowanych w połączonych ze sobą warstwach, które łączy się tworząc sieć. Łącząc ze sobą warstwy najczęściej wszystkie neurony jednej warstwy podłączane są do wszystkich neuronów drugiej. Są różne metody budowania sieci, warstw jednak w przypadku tematu niniejszej pracy wyróżniamy trzy grupy neuronów umieszczone w trzech warstwach. Warstwa wejściowa odpowiada za przekazywanie sygnału w głąb sieci, nie podlega uczeniu. Następnie umieszczona jest warstwa ukryta, której celem jest wytworzenie reprezentacji mającej uprościć nauczenie się problemu warstwie ukrytej. Ostatnia warstwa zwana wyjściową zawiera neurony, których zadaniem jest wygenerowanie finalnej odpowiedzi sieci bazując na reprezentacji otrzymanej z warstwy ukrytej. W przypadku uczenia nadzorowanego, po wyznaczeniu aktualnego sygnału wyjściowego sieci, do neuronów wyjściowych podłączany jest oczekiwany rezultat na dany bodziec, co pozwala na wyznaczenie błędu rozbieżności między wartością otrzymaną a oczekiwaną oraz dalszą jego propagację w głąb sieci [2], [8]. warstwa i w ij warstwa j w jk warstwa k Rys. 3. Schemat trzywarstwowej sieci jednokierunkowej W badanych w pracy sieciach, wszystkie połączenia międzyneuronowe są połączeniami dwukierunkowymi symetrycznymi (waga jest taka sama niezależnie od kierunku przesyłania informacji). 8
3. Algorytm wstecznej propagacji błędu 3.1. Ogólny opis Algorytm wstecznej propagacji jest jednym ze skuteczniejszych algorytmów uczenia sieci wielowarstwowych dzięki wykorzystaniu gradientowych metod uczenia. Schemat jego działania wygląda następująco po ustawieniu wektora danych wejściowych propagujemy sygnał przez sieć, wyznaczając aktywację kolejnych warstw. Po dotarciu do warstwy wyjściowej, porównujemy otrzymany rezultat z wartością oczekiwaną, wyznaczając wartość funkcji celu. Następnie stosując wsteczną propagację przesyłamy informacje o błędach do neuronów warstwy wyjściowej oraz kolejno do warstw ukrytych, po czym następuje proces aktualizacji wag. Ponieważ wagi aktualizowane są w zależności od wartości różniczki jak i samej wagi danego połączenia (bardzo małe wartości przez większość czasu, dynamiczne zmiany na krótkich odcinkach), jest to algorytm wolno zbieżny mija wiele epok, zanim wartość błędu osiągnie minimum [7]. [8]. 3.2. Funkcja celu Funkcja celu (zwana także funkcją kosztu, funkcją błędu) ma za zadanie określić na ile poprawnie sieć dopasowała sygnały wyjściowe do żądanych, czyli wyznaczyć jak dobrze poradziła sobie z problemem. W standardowym algorytmie wstecznej propagacji stosuje się średniokwadratową miarę błędu SSE 1, dla pojedynczego wektora uczącego zadaną w postaci: (7) gdzie k określa liczbę neuronów wyjściowych, t k wartość oczekiwaną na wyjściu k-tego neuronu, a jest wprowadzoną wcześniej aktualną wartością na wyjściu neuronu [2], [9], [1]. W przypadku, gdy mamy więcej próbek (p) musimy posumować błędy otrzymane dla każdej próbki z osobna: (8) 1 Summed Squared Error 9
Mając określoną miarę błędu, możemy zdefiniować funkcję celu, która będzie podlegała minimalizacji. Stosując wyżej wprowadzony błąd SSE definiujemy ją następująco: (9) Czynnik ma na celu eliminację stałej o wartości 2, która pojawi się w wyniku różniczkowania powyższego równania. 3.3. Uczenie W przypadku uczenia nadzorowanego (z nauczycielem) gdy wiemy jaki rezultat chcemy osiągnąć na wyjściu sieci dla konkretnego wzorca, uczenie polega na minimalizacji funkcji błędu. Błąd E(w) jest funkcją, której jedynym modyfikowalnym parametrem z naszego punktu widzenia, są wagi połączeń międzyneuronowych. Ze względu na ciągłość i różniczkowalność funkcji możemy stosować iteracyjną metodę gradientową największego spadku. W tym celu należy wyznaczyć gradient: ( ) (10) Wagi połączeń musimy modyfikować w kierunku malejącego gradientu funkcji błędu, w związku z czym otrzymujemy: (11) ε oznacza współczynnik uczenia, dla którego najczęściej stosuje się wartości z przedziału [0.001; 0.3]. Szukając minimum stosuje się różne kryteria końca procesu może to być np.: (12) co jest tożsame z ograniczeniem wielkości zmiany pomiędzy dwoma kolejnymi krokami: (13) 10
Powyższe warunki nie gwarantują znalezienia minimum globalnego, dlatego częściej stosuje się kryteria dotyczące samej wartości błędu: (14) z dodatkowym zaznaczeniem, by powyższy warunek był spełniony przez k-kolejnych epok (z reguły 5-10). Rozwijając funkcję błędu korzystając z wcześniej przedstawionych zależności otrzymujemy [2], [7], [6]: ( ) ( ( ) ) (15) Korzystając z reguły łańcuchowej liczenia pochodnych dla warstwy wyjściowej mamy: ( ) (16) Równanie (16) prowadzi do tzw. reguły delty: ( ) (17) Dla warstwy ukrytej natomiast otrzymujemy: ( ) ( ) (18) Zastosowany w programie Emergent algorytm wstecznej propagacji implementuje jeszcze jeden dodatkowy czynnik tzw. bezwładność, uwzględniający wartość ostatniej zmiany wag, co pozwala na przyspieszenie uczenia na płaskich odcinkach gradientów funkcji celu, czy też w pobliżu minimum lokalnego gdzie wartości gradientów są bliskie zeru: ( ) (19) 11
4. Algorytm Leabra 4.1. Wstęp Algorytm Leabra (Local, Error-driven and Associative, Biologically Realistic Algorithm) w uproszczeniu jest algorytmem łączącym uczenie metodą Hebba oraz wsteczną propagację błędów (opisaną w poprzednim rozdziale) wzbogacone o mechanizmy hamujące. 4.2. Uczenie Hebbowskie Hebb w trakcie badań nad komórkami nerwowymi (1949r.), zauważył, że jeśli dwa neurony są pobudzane w tym samym czasie, następuje wzmocnienie wiązania pomiędzy nimi: ε (20) Ma to uzasadnienie biologiczne, zgodnie z odkrytym w 1966r. długotrwałym wzmocnieniu synaptycznym (LTP) 2 - stymulacje neuronu prądem o częstotliwości ~ 100Hz przez około 1 sekundy zwiększają sprawność synaptyczną o 50-100% i jest to efekt długotrwały [2]. Analogicznie odkryto długotrwałe osłabienie synaptyczne (LTD) 3. Zaobserwowane w korze mózgowej LTP/LTD mają postać asocjacyjną (Hebbowską), zależną od aktywności pre- i postsynaptycznej neuronu [1]. ε (21) Zgodnie z powyższą zależnością, wagi mogłyby rosnąć do nieskończoności, dlatego chcąc to ograniczyć, często stosuje się normalizacje. W najprostszym przypadku może to być [6]: ε( ) (22) Erikki Oja zaproponował zmodyfikowaną wersję [2],[3], dzięki której wektor wag samoczynnie dąży do : ε( ) (23) 2 Long-Term Potential 3 Long-Term Depression 12
W uczeniu Hebbowskim głównym rezultatem jest dobry, wewnętrzny model najważniejszych w statystycznym ujęciu cech struktury prezentowanego środowiska. Jest to uczenie oparte o samoorganizację i odbywa się bez nadzoru. Dzięki właściwości wzmacniania połączeń w dla wzajemnych pobudzeń, wykrywają się korelacje pomiędzy sygnałami. Hebbian PCA Analiza głównych składowych (PCA 4 ) jest statystyczną metodą analizy czynnikowej, która pozwala pomóc opisać jak neurony specjalizują się w wykrywaniu korelacji. PCA jest procedurą przekształcającą zbiór domniemanie liniowo zależnych parametrów w zbiór zmiennych liniowo niezależnych. Zmienne zbioru wyjściowego nazywane są głównymi składowymi. Ich liczba jest mniejsza bądź równa liczbie oryginalnych parametrów. Po transformacji parametry uszeregowane są względem malejącej wariancji. Poniżej można zobaczyć, jak pojedynczy liniowy neuron, przyjmujący sygnały od szeregu wejść, przy użyciu uczenia Hebbowskiego realizuje PCA, a dokładniej znajduje najsilniejszą główną składową [1], [4], [5]. Zbiorem wejściowym składającym się z 25 neuronów będzie pojedynczy wektor opisujacy linię biegnącą po przekątnej kwadratu (5x5). Ponieważ neuron realizuje liniową funkcję aktywacji, jego wartością wyjściową jest ważona suma sygnałów wejściowych: (24) Wagi zmieniają się po każdym wektorze t używając prostej reguły Hebbowskiej: Sumując powyższe równanie po wszystkich wektorach uczących t: (25) (26) 4 Principal Component Analysis 13
Gdy dodatkowo przyjmiemy, że stała uczenia równa jest, gdzie N jest liczbą wektorów uczących t, suma zmienia się w średnią: (27) Następnie rozwijając powyższe równanie otrzymujemy: (28) jest elementem macierzy korelacji pomiędzy między wejściami i i k, gdzie korelacja zdefiniowana jest jako ich średnia aktywność względem czasu. Dla porównania, standardowa miara korelacji określona jest następująco: (29) Gdzie oznacza wartość średnią, a wariancję. Głównym rezultatem wynikającym z powyższych równań jest to, że najsilniej zmieniają się wagi dla najbardziej skorelowanych ze sobą wejść, poniżej kilka kolejnych epok uczenia powyższym algorytmem [1], [5]: Można zauważyć, jak skorelowane jednostki dominują w procesie uczenia, decydując o kierunku i wartości zmiany wag. Gdyby kontynuować proces uczenia, wagi dwóch pierwszych połączeń cały czas by się zwiększały, podczas gdy ostatniego utrzymywałaby się na relatywnie niskim poziomie nie mając wpływu na osiągane rezultaty. 14
W dotychczasowym rozważaniu był brany pod uwagę jedynie jeden neuron ukryty. W przypadku, gdybyśmy zastosowali kilka neuronów ukrytych o takich samych parametrach (funkcja aktywacji i metoda uczenia) osiągnęlibyśmy dla wszystkich taki sam rezultat, ponieważ zwykle dominuje jedna składowa. Aby zmusić sieć do wykrywania także cech kolejnych rzędów potrzebne były zmiany. Jednym rozwiązaniem byłoby zmuszenie neuronów do używania kolejnych słabszych elementów macierzy korelacji [Sanger 1989, Oja 1989], co prowadziłoby do sekwencyjnej metody PCA - SPCA 5. Jednak metoda ta zakłada hierarchizację cech dominujących w strukturach wejściowych. Alternatywą jest postrzeganie heterarchii cech, dzielących się na odrębne kategorie na tym samym poziomie jest to także analogiczna metoda dostrzeżona przez porównanie reprezentacji wytworzonych przez różne algorytmy uczące (m.in. SPCA) oraz podstawowe reprezentacje kory wzrokowej. W ten sposób doprowadzono do powstania uczenia Hebbowskiego realizującego warunkowe PCA (CPCA 6 ), które wykonywane jest dla ograniczonego zbioru wejść. W tym celu wprowadzona została funkcja warunkująca, której zadaniem jest określenie, kiedy neuron powinien wykonać PCA. Ponieważ PCA wykonywane jest automatyczne, w zasadzie ogranicza się to do włączania/wyłączania aktywności neuronu. Hebbowskie CPCA Metoda uczenia CPCA dosłownie interpretuje pomysł warunkowania uczenia. Zakłada, że dla danego wektora uczącego, można interpretować wartość wagi wejściowe, jako warunkowe prawdopodobieństwo tego, że neuron z którego pochodzi sygnał był aktywny, gdy neuron docelowy także był aktywny [1]. ( ) ( ) (30) Reguła uczenia prowadząca do takich wag jest nazywana algorytmem CPCA. Prawdopodobieństwo warunkowe wynoszące 0.5 oznacza brak korelacji aktywność danego neuronu wejściowego nie wpływa na aktywność neuronu docelowego. Gdy jest większe od 0.5, mamy korelację dodatnią, czyli najprawdopodobniej gdy aktywny jest neuron docelowy, neuron wejściowy także będzie aktywny. W przypadku wartości 5 Sequential Principal Component Analysis 6 Conditional Principal Component Analysis 15
mniejszej od 0.5 jest większa szansa, że dla aktywnego neuronu docelowego neuron wejściowy będzie nieaktywny. Należy zauważyć, że w ogólności korelacje zostają takie same niezaleznie od kierunku propagacji sygnału., a Poniższa reguła aktualizacji wag spełnia warunki prawdopodobieństwa warunkowego CPCA z poprzedniego równania: [ ] ( ) (31) Oznaczając ( ) prawdopodobieństwo aktywacji neuronu bodźcem dla wektora t, oraz analogiczne prawdopodobieństwo aktywacji neuronu. Wstawiając do równania (30) otrzymujemy: co prowadzi do: [ ( ) ( ) ], (32) ( ( ) ( ) ) (33) Aby z powyższego wyznaczyć wartość wagi, musimy przyjąć, że stan równowagi osiągnięty jest, gdy waga się nie zmienia, czyli : ( ) ( ) ( ) ( ) ( ) (34) Powyższa równość doprowadza do początkowego założenia CPCA - równanie (30). 4.3. kwta W przypadku, gdy mamy wiele neuronów istnieje duże prawdopodobieństwo, że będą uczyć się tych samych korelacji. Dlatego często dodaje się mechanizmy hamujące czy też wymuszające konkurencję a zarazem większą specjalizację neuronów. Jednym z 16
takich mechanizmów jest kwta 7 w dosłownym tłumaczeniu k-zwycięzców bierze wszystko. Polega to na ograniczeniu liczby neuronów, którym pozwala się zmieniać wagi, do k neuronów najsilniej reagujących na dany bodziec. [2], [9], [1]. Powoduje to jeszcze lepsze dostosowanie się tych neuronów do bodźca. Czasem stosuje się dodatkowe mechanizmy, ponieważ mogą zdarzyć się sytuacje, że pewna grupa neuronów będzie ciągle przegrywać i nie będzie miała możliwości modyfikacji swoich wag. W tym celu stosuje się np. karanie za zbyt dużą liczbę zwycięstw - po której następuje określona liczba epok, w której neuron nie może aktualizować swoich wag. kwta powoduje zawężenie badanej przestrzeni rozwiązań. Emergent pozwala na określenie hamowania różnego typu możemy określać procentowo udział neuronów podlegających uczeniu, podać konkretną ich liczbę czy też w ramach warstwy podzielić neurony na grupy, w ramach której następuje inhibicja. 4.4. Uczenie metodą korekcji błędów W przeciwieństwie do uczenia Hebbowskiego - modelowego, gdzie głównym zadaniem jest odzwierciedlenie ogólnej struktury środowiska, potrzebna jest też metoda, która pozwala generować odpowiednie wyjście na zadany wzorzec, która daje kontrolę nad osiąganymi rezultatami. Takie możliwości daje opisana wcześniej metoda wstecznej propagacji, będąca wielowarstwowym uogólnieniem reguły delty. Jest to jednak metoda odkryta czysto matematycznie, która nie ma odzwierciedlenia w mechanizmach biologicznych. Metoda zwana GeneRec 8 oddaje własności LTP/D i w ogólności lepiej reprezentuje procesy zachodzące w korze mózgowej [1], [4], [6]. W przeciwieństwie do funkcji błędu SSE wprowadza się bardziej probabilistyczną funkcję miary błędu funkcję błędu entropii skrośnej oznaczanej CE 9 danej zależnością: (35) Parametry oraz muszą mieć charakter zmiennych probabilistycznych z wartościami należącymi do przedziału 0-1 (przy czym definiuje się jako 7 k-winners Takes All 8 GeneRec Generalised Recirculation 9 CE Cross Entropy 17 powinno być 0 lub 1). Entropię zmiennej x, stąd funkcja CE reprezentuje entropię skrośną między
zmiennymi i. Funkcja ta używa jednocześnie prawdopodobieństwa tego, że neuron będzie aktywny w pierwszej części równania, oraz tego, że będzie nieaktywny (np. ) w drugiej części. Funkcja CE cechuje się większą zmiennością w stosunku do błędu SSE, co widać na następującym wykresie: Rys. 4. Porównanie wykresów funkcji błędów SSE oraz CE [1] W celu minimalizacji funkcji błędu należy policzyć jej pochodną, ze względu na złożoność której, zostanie zastosowana reguła łańcucha liczenia pochodnych. Wyznaczając osobno kolejne człony powyższej pochodnej (36) (37) (38) (39) otrzymujemy po złączeniu taki sam rezultat jak dla reguły delty: 18
(40) Ponieważ w przyrodzie nie ma wag z ujemną wartością a musimy potrafić rozróżnić pobudzanie od hamowania używamy następującego mechanizmu: [ ] [ ], (41) przy czym jest wartością zmiany wag obliczoną za pomocą dowolnego mechanizmu (np. Równania (17)), a operator [ ] zwraca x, gdy x>0, bądź 0 w przeciwnym razie, a operator [ ] odwrotnie: x, gdy x<0 i 0 w przeciwnym wypadku. W celu rozróżnienia tego, co się dzieje w neuronach wprowadza się pojęcie faz aktywacji. Aktualną odpowiedzią sieci na zadany bodziec nazywamy fazą minus, a gdy na wyjściu prezentowana jest żądana odpowiedź od sieci fazą plus. Obrazuje to poniższy rysunek: Rys. 5. Fazy aktywacji [5] Stosując taka notację możemy zapisać regułę delty w następujący sposób: (42) Równanie (42) można ulepszyć stosując, a zarazem łącząc dwie metody. Pierwsza polega na użyciu metody punktu średniego, która zamiast stosowania jedynie aktywacji fazy minus neuronu wysyłającego uśrednia aktywację z obu faz, co prowadzi do: 19
(43) Pochodna funkcji błędu zależy od symetryczności wag, co nie jest gwarantowane przez GeneRec (nawet, jeśli początkowo ustawi się wagi symetrycznie w trakcie uczenia najprawdopodobniej się to zmieni). Sposobem zachowania symetrii jest uśrednienie aktualizacji wag względem kierunku propagacji sygnału, co jest drugą metodą. W połączeniu z pierwszą otrzymujemy finalnie: [( ) [ ] ( ) ] (44) Powyższe równanie jest identyczne jak dla algorytmu CHL 10 - kontrastującego uczenia Hebbowskiego, którego nazwa pochodzi od różnicy członów Hebbowsko-podobnych, a wywodzi się z deterministycznej maszyny Boltzmanna (Hinton, 1989). 4.5. Leabra Ponieważ nie mamy wpływu na rezultat uczenia metodą Hebba, z drugiej strony reguła delty dobra do nauki warstwy wyjściowej, nie do końca sprawdza się w warstwach ukrytych ze względu na konieczność wskazania celu, Leabra używa kombinacji metody Hebba, hamowania wewnątrz warstw oraz korekcji błędów. Jest to uczenie zorientowane zadaniowo [1], [6], [4]. Uczenie Hebbowskie połączone z konkurencją opartą na hamowaniu ograniczają korekcję błędów tak, by tworzyły się sensowne wewnętrzne reprezentacje. Mechanizm uczący jest kombinacją metody Hebba (CPCA) i oraz korekcji błędów poprzez wersję CHL algorytmu GeneRec w postaci: (45) Co po podstawieniu odpowiednich równań (22 i 44) z poprzednich rozdziałów daje: ε[ ( ) ( )] (46) 10 CHL Contrastive Hebbian Learning 20
Połączenie obu algorytmów można podsumować przez sześć podstawowych zasad, które doprowadziły do jego sformułowania [1]: 1) Realizm biologiczny 2) Rozproszona reprezentacje wiele aktywnych neuronów 3) Hamowanie współzawodnictwem (kwta) powoduje ograniczenie aktywnych neuronów a zarazem lepszą ich specjalizację 4) Dwukierunkowa propagacja sygnału 5) Uczenie propagacją błędów (GeneRec) wpływa na reprezentację przekazując różnicę między spodziewanym wynikiem i aktualnie otrzymanym 6) Uczenie Hebbowskie kształtuje własne reprezentacje w nawiązaniu do korelacji pomiędzy danymi wejściowymi, wyszukuje wspólne cechy (CPCA) 4.6. Rozpoznawanie linii Przykładowy projekt 04 self_org.proj z pakietu symulacji Emergenta pokazuje wpływ członu Hebbowskiego - CPCA oraz kwta w algorytmie Leabra. Jest to uczenie bez nauczyciela, gdzie warstwie wejściowej przedstawiane są linie pionowe, poziome oraz ich kombinacje, a warstwa ukryta tworzy swoją ich reprezentację. Sieć składająca się z 25 neuronów wejściowych oraz 20 neuronów ukrytych była początkowo uczona zestawem danych zawierającym kombinację 2 linii poziomych bądź pionowych, a następnie przetestowana zbiorem składającym się z linii pojedynczych: 21
22
Oraz wynik testowania zbiorem linii pojedynczych: Na powyższych rysunkach na dole jest warstwa wejściowa, powyżej warstwa ukryta. Widać wyraźnie, że mimo uczenia sieci zbiorem składającym się z kombinacji linii, sieć wyspecjalizowała neurony w rozpoznawaniu poszczególnych linii. Ponieważ wsteczna propagacja jest uczeniem z nauczycielem, nie jesteśmy w stanie przeprowadzić analogicznego testu. Gdyby jednak chcieć wymusić na sieci określone reakcje w zależności od rodzaju prezentowanych linii na pewno nie byłyby one tak jednoznaczne jak w przypadku uczenia Hebbowskiego z hamowaniem kwta. 23
5. Testy sieci oraz zbieranie wyników 5.1. Opis Wszystkie eksperymenty zostały przeprowadzone w programie Emergent w wersji 6.0.1 64-bit na komputerze z procesorem Intel Core i5 M520, 8GB pamięci RAM w systemie operacyjnym Microsoft Windows 7. Część testów została powtórzona na tym samym komputerze i systemie Linux Fedora 17 Desktop Edition oraz Ubuntu 12.04, jednak otrzymane wyniki oraz szybkość nie różniły się od wcześniej otrzymanych. Domyślnie program Emergent w trakcie uczenia nie zapisuje żadnych informacji, co więcej, nie wszystkie parametry podlegają monitorowaniu. W celu przeprowadzenia badań i zebrania danych zostały wprowadzone poniżej opisane zmiany. Do standardowo monitorowanych przez program danych, które trafiają do tabel TrialOutputData oraz EpochOutputData zostało dodane rejestrowanie aktywności warstwy ukrytej, we wstecznej propagacji znajdujące się w parametrze act a w Leabrze w act_m. Dane te trafiają do tabeli TrialOutputData, która jest aktualizowana po prezentacji każdego wektora uczącego. Rejestrowane są parametry takie jak prezentowany wektor, numer epoki, błąd sieci dla danego wektora i inne. EpochOutputData jest aktualizowana po każdej epoce, czyli po prezentacji wszystkich wektorów należących do zbioru uczącego. Zawiera informacje o średnim błędzie SSE, liczbie źle sklasyfikowanych wektorów, średniej liczbie cykli (faz plus/minus dla Leabry) dla wektora oraz całkowitym czasie, jaki potrzebny był na przetworzenie epoki. Po każdej epoce tabela TrialOutputData jest resetowana i wypełniana od nowa. Aby uniknąć ręcznego zapisywania danych z tabeli konieczna była zmiana w programach uczących. Dodany został program o nazwie SaveTrialOutputData, który wykonywany jest na końcu każdej epoki. Jego parametrami są katalog docelowy, do którego zapisywane będą dane, monitorowana sieć oraz interwał, z jakim zapisywane będą dane. W przypadku wstecznej propagacji było to co kilka-kilkadziesiąt epok ze względu na małą zmienność i wolną zbieżność algorytmu, dla Leabry zwykle dane zapisywane były co epokę. 24
Poniżej skrypt programu: // SaveTrialOutputData // args: global script parameters (arguments) trial_mon_data = TrialOutputData (DataTable) network = XOR_5D (Network) // vars: global (non-parameter) variables fname = data\tod_0001.dat (String) epoch = 0001 (String) // data\\ folder = data\ (String) save_interval = 1 (int) is_active = true (bool) // init_code: code to initialize the program epoch=network->epoch fname="tod"->cat(epoch)->cat(".dat") // prog_code: main code to run program if (is_active) epoch=tamisc::leadingzeros(network.epoch, 4) fname=folder+"tod_"+epoch+".dat" if ((network->epoch % save_interval) == 0) trial_mon_data->savedata(fname,,, ) Wynikowe pliki automatycznie były numerowane aktualną liczbą epok. 25
6. Problem parzystości wielowymiarowej 6.1. Wstęp Problem wielowymiarowej parzystości nie jest liniowy, przez co stwarza spore problemy w trakcie uczenia. W ramach projektu badana była parzystość n-wymiarowa ( [ ]) zrezygnowano z analizy wyższych wymiarów ze względu na słabe wyniki we wspomnianym przedziale. W programie Emergent zostały stworzone dwa projekty o takiej samej strukturze warstw, liczbie neuronów jeden dla sieci z algorytmem wstecznej propagacji, drugi dla sieci Leabra. Przyjęto następującą strukturę sieci: 5 neuronów wejściowych w warstwie wejściowej 25 neuronów ukrytych w jednej warstwie ukrytej 2 neurony wyjściowe w warstwie wyjściowej Wektor wejściowy był 5-bitowy dla wszystkich wymiarów. Obie sieci były uczone takimi samymi danymi wejściowymi. W przypadku badania parzystości o niższej liczbie wymiarów pierwsze pozycje wektora były zerowane. Poniżej przykład jeden z przykładowych wektorów dla trzech wymiarów: Rys. 6. Graficzna prezentacja zbioru danych dla problemu XOR w 3 wymiarach Jest to minimalny wektor dla problemu trójwymiarowego XOR. Dla każdego wymiaru było przygotowanych kilka zbiorów danych wejściowych z różną liczbą wektorów. Poniżej przykład dla XOR dwuwymiarowego, który składa się z 40 wektorów. Na każdy z 26
czterech możliwych punktów problemu przypada 10 wektorów, które zostały losowo rozmieszczone w ich pobliżu. 1 XOR 2D 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 Class 1 Class 2 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Rys. 7. Rozmieszczenie danych dwuwymiarowego problemu XOR na płaszczyźnie Aby wykluczyć możliwość wpływu struktury wektora wejściowego przez wypełnienie zerami nieużywanych pozycji, analizowane były także projekty o sieciach konstruowanych pod konkretne problemy. Wszystkie miały taką samą ilość neuronów ukrytych oraz wyjściowych (odpowiednio 25 i 2) i różniły się liczbą neuronów wejściowych w zależności od ilości wymiarów analizowanego problemu. Jednak różnic w wynikach nie było, dlatego w finalnej wersji zastosowano projekt bardziej uniwersalny. Obie sieci były uczone takimi samymi zbiorami danych, były to odpowiednio wersje dokładne, gdzie punkty wypadały w rogach wielowymiarowych kwadratów i zawierały następujące liczby wektorów dla poszczególnych wymiarów: Liczba wymiarów Liczba wektorów dokładnych Liczba wektorów rozmytych 2 4 40 3 8 40 4 16 48 5 32 64 27
W przypadku wstecznej propagacji kryterium zatrzymania uczenia było osiągnięcie średniego błędu SSE na poziome nieprzekraczającym 0.1 przez co najmniej 10 kolejnych epok. Dla sieci Leabra nie było możliwości warunkowania średniej wartości błędu, można było jedynie określić ilość błędnie sklasyfikowanych wektorów (aby wektor można było uznać za poprawnie sklasyfikowany błąd SSE musiał być równy 0). 6.2. Parzystość wielowymiarowa w sieciach Backprop 6.2.1. XOR 2D Pierwszym badanym przypadkiem jest parzystość dwuwymiarowa, w przypadku której, praktycznie zawsze można osiągnąć sukces. Do nauczenia tego problemu teoretycznie jak i praktycznie wystarczy 1 neuron ukryty oraz 1 neuron wyjściowy, więc w gdy mamy sieć zbudowaną z 25 neuronów ukrytych i 2 wejściowych tym bardziej nie ma problemu z uczeniem. Poniżej umieszczony jest wykres błędu (SSE) dla uczenia sieci o wspomnianej strukturze: Rys. 8. Wykres błędu SSE dla problemu XOR 2D w sieci wstecznej propagacji Oś pionowa oznacza aktualną wartość błędu w danej epoce, której numer charakteryzuje oś pozioma. Jest to konwencja stosowana dla wszystkich tego typu wykresów. 28
Oraz MDS 11 wartości aktywacji neuronów warstwy ukrytej w epoce 1300: Rys. 9. MDS aktywacji warstwy ukrytej w epoce 1300 Poniżej zsumowane i znormalizowane aktywacje neuronów warstwy ukrytej względem klas. Dane zostały wygenerowane na podstawie aktywacji pochodzącej od wszystkich neuronów danej klasy a następnie znormalizowane do 1. Wyniki dla każdej klasy normalizowane były osobno. Rys. 10. Sumaryczna znormalizowana aktywacja neuronów warstwy ukrytej w podziale na klasy Intensywność koloru odwzorowuje wartość aktywacji biały oznacza brak wzbudzenia, czarny najsilniejsze wzbudzenie. Każdy kwadrat reprezentuje pojedynczy neuron, 11 MDS Multi Dimensional Scalling metoda skalowania danych wielowymiarowych do przestrzeni n- wymiarowej (w tym przypadku n=2), polegająca na rozmieszczaniu danych w przestrzeni o mniejszej liczbie wymiarów względem podobieństwa (tu miarą jest odległość euklidesowa) tak, by obiekty podobne znajdowały się bliżej siebie 29
neurony pogrupowane są w warstwy, patrząc od dołu są to kolejno warstwa wejściowa, ukryta i wyjściowa. Taka konwencja stosowana jest we wszystkich rysunkach tego typu. 6.2.2. XOR 3D W porównaniu do XOR2D, ten problem można powiedzieć, że jest optymalny do testowania sieci ze względu na to, że nie jest już taki prosty, ale z drugiej strony nie jest też nadmiernie skomplikowany jak wyższe wymiary parzystości. Poniżej wykresy uczenia sieci, w której było 6 neuronów ukrytych, zbiorem podstawowym XOR3D składającym się z 8 wektorów: Rys. 11. Wykres błędu SSE, sieć BP, problem XOR 3D 30
Oraz MDS aktywacji neuronów warstwy ukrytej z epoki 14725: Rys. 12. MDS aktywacji neuronów warstwy ukrytej, sieć BP, problem XOR 3D, epoka 14725 Aktywność neuronów: Rys. 13. Aktywność neuronów dla poszczególnych wektorów uczących w epoce 14725 Rys. 14. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 14725 Poniżej analogiczne wykresy dla sieci o standardowej strukturze opisanej w rozdziale 6.1, uczonej lekko rozmytym problemem XOR 3D składającym się z 80 punktów. 31
Rys. 15. Wykres błędu SSE, sieć BP, problem XOR 3D Rys. 16. MDS aktywacji warstwy ukrytej, sieć BP, problem XOR 3D, epoka 1500 Zwiększenie liczby wektorów uczących pozytywnie wpłynęło na zmniejszenie liczby epok potrzebnych do nauczenia problemu. Jednak wzrost liczby neuronów ukrytych a zarazem brak mechanizmów współzawodnictwa wpływa negatywnie na zbieżność procesu uczenia widać wyraźnie sporą liczbę skoków na wykresie błędów. 32
Rys. 17. Średnia aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 1650 Powyżej widać, że wszystkie neurony sieci były aktywne, a dominowały po 2 neurony dla każdej z klas. Przy takiej liczbie neuronów ukrytych Emergent wielokrotnie nie potrafił znaleźć rozwiązania bądź z niego wypadał poniżej kilka przykładów wykresy błędów SSE: 33
Poniższy przykład jest dla takiej samej sieci tyle, że do parametrów został dodany czynnik bezwładności o wartości 0.1. 6.2.3. XOR 4D Każdy kolejny wymiar stawał się coraz bardziej czasochłonny i trudny. Poniżej wykres funkcji błędu udanego uczenia sieci zbiorem 48 wektorów opisujących problem XOR 4D (rozmyty wokół punktów): Rys. 18. Wykres błędu SSE, sieć BP, problem XOR 4D 34
Poniższe rezultaty są wygenerowane dla danych zebranych w epoce 7150, dla której wartość błędu SSE wyniosła 0.052: Rys. 19. MDS aktywności warstwy ukrytej, sieć BP, problem XOR 4D, epoka 7150 Rys. 20. Sumaryczna wartość aktywacji neuronów warstwy ukrytej w podziale na klasy, epoka 7150 Na wykresie MDS widać separację klas, jednak można zauważyć po lewej stronie u dołu jak dwie grupy wektorów należących do różnych klas prawie się przecinają, skutkuje to tym, że sieć próbując się uczyć często błędnie klasyfikuje wektory należące do tej właśnie grupy. Na Rys. 20 widać wyraźną dominację dwóch neuronów warstwy ukrytej dla obu klas. Prawdopodobnie dominującą rolę w klasyfikacji odegrały dwa neurony słabiej aktywujące się dla każdej z klas z osobna, widoczne przy prawej krawędzi rysunku. 35
W przypadku XOR 4D, podobnie jak we wcześniejszym wiele prób nauczenia sieci kończyło się wypadaniem z rozwiązań. Dane dokumentujące te przypadki można znaleźć w zbiorach dołączonych do pracy. 6.2.4. XOR 5D Problem z pięcioma wymiarami sprawiał już całkiem sporo problemów, co można zaobserwować na poniższym wykresie wartości funkcji błędu: Rys. 21. Wykres wartości błędów SSE MDS aktywacji warstwy ukrytej pokazuje znaczną separację klas, ale widać też na środku po lewej stronie miejsce sprawiające problemy. Na następnej grafice pokazującej aktywację neuronów poszczególnych warstw zaznaczone są 2 wzorce, które zostały nieprawidłowo sklasyfikowane. Należą one właśnie do tego miejsca. 36
Rys. 22. MDS wartości aktywacji neuronów warstwy ukrytej, sieć BP, problem XOR5D, epoka 11060 37
Rys. 23. Wykres wartości aktywacji neuronów wszystkich warstw w zależności od wektora uczącego, epoka 11060 38
Rys. 24. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, sieć BP, problem XOR 5D, epoka 11060 Można zauważyć, że przy 5 wymiarach problem ten angażuje wiele neuronów ukrytych i mimo upływu wielu epok wciąż nie udało się osiągnąć stuprocentowej skuteczności. Powyższy przykład jest jedną z niewielu udanych prób nauczenia sieci danymi XOR 5D. W przypadku, gdy jako dane wejściowe stosowany był zbiór dokładny, składający się z 32 wzorców wyniki były jeszcze gorsze i ani razu nie udało się osiągnąć (i utrzymać) zakładanego pułapu błędu. Z Rys. 24 wynika, że dla obu klas dominowały te same neurony warstwy ukrytej, więc rozróżnianie przynależności do klas zależało głównie od słabiej bądź rzadziej aktywnych neuronów. 6.2.5. Próba poprawy wyników W celu spróbowania poprawienia otrzymanych rezultatów chodzi o liczbę epok potrzebnych do nauczenia jak i sam fakt znalezienia rozwiązania w przypadku wstecznej propagacji modyfikowano głównie współczynnik uczenia. Domyślnie przyjmuje wartość 0.2, w przypadku zmniejszenia tej wartości do poziomu 0.1 czy 0.005 pogorszyła się jedynie szybkość, z jaką sieć znajdywała rozwiązanie, zmian jakościowych nie było. Dodanie członu z czynnikiem bezwładności także nie wpłynęło pozytywnie na proces uczenia. 39
6.3. Parzystość wielowymiarowa w sieciach Leabra W przypadku uczenia sieci Leabra, trzeba zwrócić uwagę na inne kryterium kończenia uczenia. Dla wstecznej propagacji było to osiągnięcie pewnego progu błędu SSE i utrzymanie go przez określoną liczbę epok. W Leabrze tym kryterium jest parametr cnt_err określający liczbę wektorów, dla których błąd wynosi 0.00, czyli jest to dużo bardziej restrykcyjne kryterium. 6.3.1. XOR 2D Wyniki uczenia sieci problemem dwuwymiarowym wykres błędu oraz MDS aktywności warstwy ukrytej dla epoki 130: Rys. 25. Aktywacje neuronów poszczególnych warstw w epoce 130 Jak widać, problem dwuwymiarowy raczej nie stwarzał problemów i sieć bardzo szybko uczyła się go uczyła. Niepokojące jest, że mimo znalezienia rozwiązania sieć potrafiła gwałtownie z niego wypaść o czym świadczą ostre piki na wykresie błędów. 40
Rys. 26. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 130 Grafika sumarycznej aktywności pokazuje, że za rozpoznawanie każdej z klas w zasadzie odpowiadały inne neurony ukryte. Poniżej przykłady uczenia większym zestawem danych (MDS dla wyników epoki 91): I jeszcze jeden rezultat dla takiego samego zestawu (MDS dla wyników epoki 261): W przypadku wczesnych wersji Emergenta z serii 5.0 były problemy nawet z XOR 2D, przykładowy wykres błędów: 41
Co można zaobserwować z powyższych testów, to zwiększenie liczby wektorów uczących w przeciwieństwie do wstecznej propagacji skutkuje pogorszeniem i wydłużeniem procesu uczenia. 6.3.2. XOR 3D Wyniki uczenia zbiorem opisującym problem trójwymiarowy wykres błędów oraz MDS wartości aktywacji neuronów warstwy ukrytej w epoce 220: Rys. 27. Wartość aktywacji neuronów na poszczególne wzorce, epoka 220 42
Rys. 28. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 220 Powtórny test dla współczynnika uczenia zmniejszonego o połowę, do 0.005 wykres błędów oraz MDS wartości aktywacji neuronów warstwy ukrytej w epoce 349: Rys. 29. Wartość aktywacji neuronów, epoka 349 43
Rys. 30. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 349 Kolejny rezultat, dla współczynnika uczenia 0.005 i rozszerzonego zbioru uczącego wykres błędów oraz MDS wartości aktywacji neuronów warstwy ukrytej w epoce 875: Rys. 31. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 875 Można zauważyć, że zwiększenie liczby neuronów ukrytych spowodowało większe skoki wartości błędów, jednak patrząc na aktywność neuronów wytworzone reprezentacje 44
są bardziej wyraziste. Jest to także zapewne efekt dłuższego procesu uczenia większy zbiór wydłużył ten czas ponad dwukrotnie. Na grafikach prezentujących sumaryczną aktywność neuronów warstwy ukrytej w podziale na klasy można zauważyć, że dla tego problemu dla każdej klasy aktywuje się inna grupa neuronów ukrytych. 6.3.3. XOR 4D Wyniki uczenia zbiorem czterowymiarowym zbiorem danych poniżej wykres błędu, MDS wartości aktywacji neuronów warstwy ukrytej w epoce 2100: Rys. 32. Aktywność neuronów względem poszczególnych wzorców uczących, epoka 2100 45
Rys. 33. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 2100 Inny przypadek wykres błędu oraz MDS wartości aktywacji neuronów warstwy ukrytej w epoce 2990: Rys. 34. Wizualizacja aktywności neuronów w zależności od wektora uczącego, epoka 2990 46
Rys. 35. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 2990 6.3.4. XOR 5D Poniżej wyniki jednej z nielicznych prawie udanych prób uczenia tego problemu. Kryterium końca zostało jednak zmienione na to, by w ciągu 5 kolejnych epok liczba wektorów, dla których sieć generowała niezerowy błąd była równa 0. Widać dużą zmienność wartości funkcji błędów. Warto zauważyć, że między epokami 3000-3500 sieć wielokrotnie osiągała bezbłędny poziom, by później całkowicie z niego wypaść. Rys. 36. Wykres błędu SSE, sieć Leabra, problem XOR 5D 47
Rys. 37. MDS aktywności neuronów warstwy ukrytej, sieć Leabra, problem XOR 5D, epoka 3470 Rys. 38. Aktywność neuronów dla poszczególnych wektorów uczących, sieć Leabra, problem XOR 5D, epoka 3470 48
Rys. 39. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 3470 Drugi przypadek gdzie uczono większym zestawem danych poniżej wykres błędu oraz MDS wartości aktywacji neuronów warstwy ukrytej w epoce 669: Rys. 40. Sumaryczna aktywność neuronów warstwy ukrytej w podziale na klasy, epoka 669 49
6.3.5. Próba poprawy wyników W celu poprawy rezultatów modyfikowana była cała gama parametrów sieci, neuronów jak i parametrów uczących. Podstawowymi parametrami mającymi wpływ na proces uczenia były współczynnik uczenia jak i kwta. Współczynnik uczenia, domyślnie dla Leabry wynoszący 0.01 ustawiano na wartości od 0.0001 do 0.2. Stosowano także mechanizmy Emergenta pozwalające na zmniejszenie wartości współczynnika uczenia co określoną liczbę epok (lrate schedule), gdzie próbowano zmieniać wartości logarytmicznie od 0.1 do 0.0001 co 25 bądź 50 epok, albo z 0.2 do 0.005 w takich samych interwałach. W celu poprawy stabilizacji w trakcie normalnego procesu uczenia, po osiągnięcia błędu na poziomie 0, próbowano także ręcznie zmniejszyć współczynnik uczenia np. 100- bądź 1000-krotnie tak, by sieć nie wypadała ze znalezionego rozwiązania. Jednak nie przyniosło to spodziewanych efektów, a stabilizacja była pozorna i chwilowa. Następnym modyfikowanym parametrem była wartość kwta części hamującej. Domyślnie wynosi ona 25%, co oznacza, że jedynie 25% neuronów warstwy ukrytej osiągającej najlepsze wyniki podlega dalszemu uczeniu. Ponieważ w części problemów problemem była nadmierna aktywacja (gdzie całe grupy neuronów reagowały maksymalnym pobudzeniem na różne grupy sygnałów), poprzez zmniejszenie kwta próbowano wpłynąć na aktywację. Sprawdzone były wartości 10% oraz sztywne ograniczenie do 2,3 i 5 neuronów. Mimo, że aktywność neuronów warstwy ukrytej zmalała, nie wpłynęło to na poprawę wyników. Dlatego, w kolejnym kroku zmniejszono udział części Hebbowskiej (parametr k_hebb) odpowiedzialnej za samoorganizację z 0.001 do 0.0001, a nawet do 0.00001 jednak to także nie poprawiło rezultatów. Ostatnimi z modyfikowanych parametrów były te, modelujące kształt funkcji aktywacji. Poprzez zmianę w_gain została ona rozciągnięta i wygładzona, dzięki czemu powinna lepiej reagować w szerszym zakresie danych wejściowych. Wykres (Rys. 43) zmiany kształtu funkcji znajduje się w rozdziale 7.3. Mimo zastosowania zmian wielu parametrów nie udało się rozwiązać kluczowych problemów dotykających sieci Leabra w przypadku problemu parzystości. 50
6.4. Wnioski Z przedstawionych wyżej wyników nie można powiedzieć, by którakolwiek implementacja dobrze radziła sobie z problemem parzystości wielowymiarowej. W badanych przy innych okolicznościach projektach, wsteczna propagacja po wielu cyklach uczących z reguły osiągała zadowalające rezultaty. Tutaj oba algorytmy cechowały się dużą zmiennością. Na pewno można zauważyć znaczne przyspieszenie procesu uczenia w algorytmie Leabra, jednak jego niestabilność w obecnej implementacji nie pozwala jednoznacznie potwierdzić skuteczności. Duże wahania błędu pomiędzy kolejnymi epokami, wypadanie daleko poza rozwiązanie nawet przy ograniczeniu współczynnika uczenia do poziomu 1e-6 raczej zniechęcają do używania. Nie sposób jednak nie zauważyć wpływu wszystkich zastosowanych do konstrukcji algorytmu elementów, które kilkusetkrotnie przyspieszają proces uczenia, a otrzymane w ich wyniku reprezentacje dzięki stosowaniu inhibicji są bardzo spójne. Dodatkowo w warstwie ukrytej możemy zaobserwować wyraźne aktywacje, których brak w przypadku wstecznej propagacji gdzie większość neuronów jest aktywna a ich aktywności nieznacznie się od siebie różnią. Potrzeba wielu tysięcy epok by to zmienić. Zastanawiający jest fakt, że dla problemów parzystości Emergent bardzo źle zachowuje się w przypadku przeuczenia sieci. Gdybyśmy zatrzymali się przy z góry ustalonym kryterium można by próbować opisywać ten stan, jednak po przeuczeniu nawet wsteczna propagacja cechuje się dużymi skokami i nieuzasadnionym wypadaniem z rozwiązania, by wpaść w odległe minimum lokalne, z którego nie potrafi wybrnąć. Analogicznie w przypadku Leabry z reguły wartości błędu stopniowo maleją, by po osiągnięciu i trwaniu w minimum przez kilka epok gwałtownie z niego wypaść. Dlatego spore wątpliwości budzi implementacja algorytmu wstecznej propagacji oraz CHL, które w dużej mierze odpowiadają za zmierzanie w kierunku malejącego błędu. Nie ma żadnych zastrzeżeń do implementacji części uczenia Hebbowskiego jak i hamowania kwta, co oddaje przykład reprezentacji wytworzonej po uczeniu zbiorem linii. Co do wstecznej propagacji, należy zauważyć, że brak mechanizmu konkurencji (np. kwta) powodował, że neurony wyjściowe dostawały bardzo dużo sygnałów z warstwy ukrytej. Mogło to utrudniać znajdywanie odpowiedniego kierunku poszukiwania rozwiązania. W przypadkach, gdy liczba neuronów ukrytych została odgórnie ograniczona do np. 6 wykres błędu był o wiele bardziej spójny i nie zawierał nagłych skoków. 51
Algorytm Leabry wydaje się być obiecującym ze względu na szybkość osiągania wyników. Plusem jest także analogia do neuronów biologicznych, jednak spowodowane tym skomplikowanie procesu uczenia jak i samej budowy neuronów, może być powodem, dla którego trudno osiągnąć zadowalającą zbieżność. 52
7.1. Opis zbioru danych 7. Problem rzeczywistych danych spam Spam jest zbiorem 4601 wektorów, zebranym i opracowanym przez Hewlett- Packard Labs, które opisują e-maile oznaczone jako spam bądź nie spam. Dane opisane są poprzez 57 parametrów opisujących występowanie określonych słów bądź znaków w mailu. 2788 wektorów opisuje maile nie będące spamem, a pozostałe 1813 będące. Docelowym przeznaczeniem była konstrukcja filtrów antyspamowych [10]. W celu zastosowania danych w programie Emergent zostały one poddane procesowi normalizacji względem kolumn, tak, by wartości przedstawiane neuronom wejściowym należały do przedziału [0,1]. 7.2. Wyniki wstecznej propagacji Do badania została skonstruowana sieć o 19x3 = 57 neuronów wejściowych, 6x6 = 36 neuronów ukrytych oraz 2 neurony wyjściowe. Żadne pozostałe parametry nie były modyfikowane współczynnik uczenia pozostawiono na wartości 0.2. Rys. 41. Wykres błędu uczenia sieci BP problemem Spam 53
Oraz seria wykresów aktywacji neuronów warstwy ukrytej po transformacji MDS w epokach 0, 1, 5 i 100 (są to dane zebrane po epoce, czyli w przypadku epoki 0 nastąpił jeden pełen cykl uczący). Rys. 42. MDS aktywacji neuronów warstwy ukrytej dla problemu Spam w sieci BP, epoka 999 54