Metody Informatyki Stosowanej

Transkrypt

1 Polska Akademia Nauk Oddział w Gdańsku Komisja Informatyki Metody Informatyki Stosowanej Nr 3/2009 (20) Szczecin 2009

2 Metody Informatyki Stosowanej Kwartalnik Komisji Informatyki Polskiej Akademii Nauk Oddział w Gdańsku Komitet Naukowy: Przewodniczący: prof. dr hab. inż. Henryk Krawczyk, czł. koresp. PAN, Politechnika Gdańska Członkowie: prof. dr hab. inż. Michał Białko, czł. rzecz. PAN, Politechnika Koszalińska prof. dr hab. inż. Ludosław Drelichowski, Uniwersytet Technologiczno-Przyrodniczy w Bydgoszczy prof. dr hab. inż. Janusz Kacprzyk, czł. koresp. PAN, Instytut Badań Systemowych PAN prof. dr hab. Jan Madey, Uniwersytet Warszawski prof. dr hab. inż. Leszek Rutkowski, czł. koresp. PAN, Politechnika Częstochowska prof. dr hab. inż. Piotr Sienkiewicz, Akademia Obrony Narodowej prof. dr inż. Jerzy Sołdek, Zachodniopomorska Szkoła Biznesu w Szczecinie prof. dr hab. inż. Andrzej Straszak, Instytut Badań Systemowych PAN prof. dr hab. Maciej M. Sysło, Uniwersytet Wrocławski Recenzenci współpracujący z redakcją: Marian Adamski, Zbigniew Banaszak, Alexander Barkalov, Włodzimierz Bielecki, Janusz Bobulski, Piotr Bubacz, Ryszard Budziński, Henryk Budzisz, Dariusz Burak, Jacek Czarnecki, Andrzej Czyżewski, Ludosław Drelichowski, Piotr Dziurzański, Witold Dzwinel, Imed El Frey, Mykhaylo Fedorov, Paweł Forczmański, Dariusz Frejlichowski, Krzysztof Giaro, Larysa Globa, Zbigniew Gmyrek, Janusz Górski, Stanisław Grzegórski, Volodymyr Harbarchuk, Volodymyr Hrytsyk, Wojciech Jędruch, Aleksander Katkow, Przemysław Klęsk, Shinya Kobayashi, Leonid Kompanets, Józef Korbicz, Jerzy Korostil, Marcin Korzeń, Georgy Kukharev, Mieczysław Kula, Eugeniusz Kuriata, Emma Kusztina, Małgorzata Łatuszyńska, Wiesław Madej, Wojciech Maleika, Oleg Mashkov, Oleg Maslennikow, Karol Myszkowski, Evgeny Ochin, Krzysztof Okarma, Piotr Pechmann, Jerzy Pejaś, Andrzej Pieczyński, Andrzej Piegat, Mateusz Piwowarski, Marcin Pluciński, Jacek Pomykała, Orest Popov, Remigiusz Rak, Valeriy Rogoza, Leszek Rutkowski, Khalid Saeed, Jerzy Sołdek, Boris Sovetov, Marek Stabrowski, Andrzej Stateczny, Janusz Stokłosa, Alexander Ţariov, Leszek Trybus, Andrzej Tujaka, Zenon Ulman, Andrzej Walczak, Jarosław Wątróbski, Sławomir Wiak, Antoni Wiliński, Waldemar Wolski, Waldemar Wójcik, Oleg Zaikin, Zenon Zwierzewicz Redaktor Naczelny: Antoni Wiliński Sekretarz redakcji: Piotr Czapiewski ISSN Wydawnictwo: Polska Akademia Nauk Oddział w Gdańsku, Komisja Informatyki Adres kontaktowy: ul. Żołnierska 49 p. 104, Szczecin, pan@wi.zut.edu.pl Druk: Pracownia Poligraficzna Wydziału Informatyki Zachodniopomorskiego Uniwersytetu Technologicznego w Szczecinie Nakład 510 egz.

3 Spis treści Jacek Bartman REGUŁA PID UCZENIA SZTUCZNYCH NEURONÓW... 5 Piotr Byszewski, Anna Tomaszewska REALISTYCZNA ORAZ SZYBKA WIZUALIZACJA ALGORYTMU ZACHOWANIA SIĘ TŁUMU W OBLICZU PANIKI Luiza Fabisiak EKSPLORACJA DANYCH W SERWISACH INTERNETOWYCH Mykhailo Fedorov ON PARALLEL IMPLEMENTATION OF A STEADY STATE THERMAL AND HYDRAULIC ANALYSIS OF PIPE NETWORKS IN OPENMP Włodzimierz Filipowicz STRUKTURY PRZEKONAŃ I ICH ZASTOSOWANIE W NAWIGACJI Dariusz Frejlichowski REPREZENTACJA KSZTAŁTU 3D OPARTA NA DESKRYPTORZE EGI NA POTRZEBY INDEKSOWANIA Sławomir Jaszczak, Mariusz Dramski, Mariusz Matejski SYMULACJA I TESTOWANIE UKŁADU STEROWANIA RUCHEM POJAZDU PODWODNEGO METODĄ HIL Georgy Kukharev, Ekaterina Kamenskaya TWO-DIMENSIONAL CANONICAL CORRELATION ANALYSIS FOR FACE IMAGE PROCESSING AND RECOGNITION Krzysztof Małecki, Jarosław Wątróbski THE EFFECTIVENESS OF LANE SELECTION IN ROUNDABOUT Wojciech Maleika SEMANTIC DATA DESCRIPTION IN CONTENT MANAGEMENT SYSTEMS Marcin W. Mastalerz, Zygmund Drążek PROCEDURA WYBORU WARIANTU E-LEARNINGU W SZKOLE WYŻSZEJ W OPARCIU O HIERARCHICZNĄ ANALIZĘ PROBLEMU Leszek Misztal WYKORZYSTANIE NAIWNEGO ALGORYTMU BAYES A W ZADANIU KLASYFIKACJI PODATNIKÓW Antoni Nowakowski, Tomasz Klasa EVALUATION OF INFORMATION SYSTEMS RISK TREATMENT EFFICIENCY PROPOSAL Łukasz Nozdrzykowski ANALIZA ISTOTNOŚCI MIAR OBRAZU WPŁYWAJĄCYCH NA ZMNIEJSZENIE ZNIEKSZTAŁCEŃ SPOWODOWANYCH STEGANOGRAFICZNYM UKRYWANIEM WIADOMOŚCI W OBRAZACH W OPARCIU O FUNKCJĘ CSF Andrzej Piegat, Marcin Olchowy CZY ISTNIEJE OPTYMALNA FORMA EKSPERCKIEGO MODELU ROZMYTEGO? Marcin Pluciński MODULAR FUZZY SYSTEMS THE COMPARISON OF TWO DIFFERENT APPROACHES

4 Edward Półrolniczak SEGMENTACJA ELEMENTÓW ZNAKÓW TABLIC REJESTRACYJNYCH Z WYKORZYSTANIEM STATYSTYCZNEGO ŁĄCZENIA REGIONÓW Artur Sosnówka RÓWNOLEGŁE PRZETWARZANIE NIEREGULARNYCH ZAGNIEŻDŻONYCH PĘTLI PROGRAMOWYCH Grzegorz Ulacha ZASTOSOWANIE GRADIENTOWO ZALEŻNEJ PREDYKCJI LINIOWEJ DO BEZSTRATNEJ KOMPRESJI OBRAZÓW Abdullah Zair WYBRANE ASPEKTY ZASTOSOWAŃ METOD OPTYMALIZACJI W SYSTEMACH WSPOMAGANIA DECYZJI NA PRZYKŁADZIE ODDZIAŁU CHIRURGII

5 Reguła PID uczenia sztucznych neuronów Jacek Bartman Uniwersytet Rzeszowski, Wydział Matematyczno-Przyrodniczy, Instytut Techniki Abstract: The training of artificial neural networks and strictly related with them artificial neurons are still interesting research areas. A new artificial neurons learning rule PID algorithm has been proposed in this paper. The rule presentation is preceded by brief analysis of the learning algorithms. Their mathematical formulas and short characteristics are presented. The paper compares neurons learning effectiveness of PID algorithm and widely used Delta algorithm. The first results have shown that the demonstrated rule can have better performance and can be less sensitive for choice of learning algorithms. It makes this method very promising for further research. Keywords: artificial neural net, learning rule, PID rule 1. Wprowadzenie Przebieg procesu uczenia sztucznej sieci neuronowej ma charakter stochastyczny, a więc w pewnym zakresie nieprzewidywalny, ta słabość jest jednocześnie największą siłą SSN siłą z której wynika bardzo ważna cecha: sieć może rozwiązywać zadania, których my sami nie potrafimy rozwiązać lub których nie potrafimy zapisać przy pomocy klasycznego aparatu matematycznego. Cała wiedza jaką posiada sieć neuronowa zgromadzona jest w wagach poszczególnych neuronów, a sam proces uczenia polega na modyfikacji wartości tych wag wg określonego algorytmu [2]. Czy jest różnica pomiędzy uczeniem sieci a uczeniem pojedynczego neuronu, czy jest możliwe rozdzielenie tych procesów i potraktowanie osobno? Wydaje się, że tak, warto jednak byłoby wprowadzić jednoznaczną nomenklaturę nazywając uczenie pojedynczych neuronów regułami uczenia, a uczenie całej sieci metodami uczenia. Oczywiście elementem uczenia sieci jest uczenie neuronów, a więc metoda uczenia wykorzystuje regułę bądź reguły uczenia. Reguły uczenia to po prostu opis w jaki sposób modyfikować wagi neuronu, a metody uczenia to opis jak korzystać z reguł uczenia neuronów, jak wyznaczyć wymagane przez nie parametry. Ze względu na rodzaj algorytmu (wzorów), według których w procesie uczenia dokonuje się modyfikacji wag synaptycznych, wyróżnia się szereg reguł uczenia. Niektóre z tych reguł odnoszą się do trybu uczenia z nauczycielem, a niektóre do uczenia bez nauczyciela [9] (rys. 1). Wartość wyjścia neuronu, można zapisać zależnością: y f ( u ) f n i0 w i x i f w T x (1) Metody Informatyki Stosowanej, nr 3/2009 (20), s ISSN Polska Akademia Nauk Oddział w Gdańsku, Komisja Informatyki

6 6 Jacek Bartman T gdzie: 1, x1,x2...xn x0,x1,x2... xn T T,w,w...w w,w,w... w T x wektor sygnałów wejściowych; w b 1 2 n n wektor wag synaptycznych; u potencjał membranowy neuronu. Analiza formuły (1) prowadzi do wniosku, że sztuczny neuron jest elementem realizującym funkcję dwóch zmiennych wektorowych przekształcającym sygnał z przestrzeni n- wymiarowej w przestrzeń jednowymiarową [1]. Przekształcenie wartości z przestrzeni n- wymiarowej w przestrzeń jednowymiarowa odbywa się w bloku sumującym, blok aktywacji nie zmienia wymiarowości a jedynie wartość sygnału. Funkcja przejścia f determinuje zachowanie neuronu, najczęściej stosuje się funkcje typu tangens hiperboliczny lub sinus hiperboliczny gdyż właśnie one najlepiej oddają działanie neuronów biologicznych. Rzadziej wykorzystywane są funkcje: liniowa, bipolarna czy unipolarna, a zastosowanie jeszcze innych funkcji przejścia jest zupełnie marginalne. 2. Uczenie pojedynczego sztucznego neuronu. Reguły uczenia Uczenie neuronu ma na celu dobór takich wartości wag, dla których odpowiedzi elementu są optymalne wedle pewnego przyjętego kryterium - określonego przez odpowiednio zdefiniowaną funkcję celu, której wartość ustala punkt stopu. Uczenie może odbywać się w trybie nadzorowanym (z nauczycielem) lub nienadzorowanym (bez nauczyciela). Uczenie nadzorowane może być stosowane tylko wtedy gdy znana jest oczekiwana odpowiedź neuronu (z), jeżeli oczekiwana odpowiedź nie jest znana wówczas można stosować tylko uczenie nienadzorowane (rys.1.). a) Sygnał wejściowy x Uczony neuron W Oczekiwana odpowiedź z Sygnał wyjściowy y ustalenie błędu =z-y Sygnał wejściowy x Uczony neuron W Sygnał wyjściowy y Rysunek 1. Schemat uczenia nadzorowanego (a) i nienadzorowanego (b) neuronu [9] Wielkość korekty wag zarówno dla uczenia nadzorowanego jak i uczenia nienadzorowanego można opisać zależnością: w( k 1 ) w( k ) w( k ) (2) gdzie wielkość w jest poszukiwaną wartością zmian wag, zaś parametr k wprowadzono w celu podkreśla, iż uczenie neuronu ma charakter iteracyjny. Ogólna zasada uczenia mówi, że korekta wag neuronu winna być proporcjonalna do iloczynu sygnału wejściowego x oraz sygnału uczącego r. Dla dowolnego neuronu regułę uczenia można zapisać wzorem: b) w( k ) r( k ) x( k ) (3)

7 Reguła PID uczenia sztucznych neuronów 7 gdzie: gdzie: współczynnik proporcjonalności (współczynnik uczenia), r sygnał uczący, zdefiniowany jako funkcja trzech zmiennych w - wektor wag neuronu; x - wektor wejściowy; z - sygnał nauczyciela (oczekiwana odpowiedź neuronu). r r w, x,z (4) Warto zauważyć, iż sygnał uczący r może być funkcją wektora wag neuronu, wektora wejściowego oraz sygnału będącego oczekiwaną odpowiedzią elementu. Nie jest wprost zaznaczone, że sygnał uczący może zależeć od odpowiedzi udzielonej przez uczony neuron, ale ponieważ odpowiedź neuronu jest funkcją wektora wag oraz wektora wejściowego (1) więc sygnał uczący również może być jego funkcją. Poniżej scharakteryzowano, znane podstawowe iteracyjne reguły uczenia (modyfikacji wag) sztucznych neuronów. W dalszej części pracy przedstawiono nową regułę uczenia neuronów tzw. regułę PID. Wszystkie przedstawione reguły różnią się jedynie sygnałem uczącym r() Reguła Hebba Reguła umożliwia uczenie w trybie nienadzorowanym i stanowi praktyczną realizację znanej obserwacji z zakresu neurologii odnotowanej przez Hebba [2]: Jeżeli akson komórki A bierze systematycznie udział w pobudzaniu komórki B powodującym jej aktywację, to wywołuje to zmianę metaboliczną w jednej lub w obu komórkach, prowadzącą do wzrostu skuteczności pobudzania komórki B przez komórkę A. Tak sformułowana zasada pozwala jako sygnał uczący przyjąć wyjście neuronu: r y f x (5) wówczas zgodnie z zależnością (3) przyrost wektora wag wynosi: w T t w y x f w xx (6) Analiza zależności (6) prowadzi do wniosku, iż wzmocnieniu ulegają te wagi, których wejścia są aktywne (mają duże x) i towarzyszy im duża wartość odpowiedzi neuronu (y). Występuje wówczas autoasocjacja jeżeli pewien wzór wzbudzenia jest sygnalizowany przez pewne wyjcie y, to w miarę upływu czasu ta sygnalizacja staje się coraz wyraźniejsza. W konsekwencji reguła prowadzi do uzyskania najlepszej korelacji pomiędzy sygnałami wejściowymi, a zapamiętanym w wagach wzorcem. Wadą reguły jest to, iż prowadzi ona do nieograniczonego wzrostu wag. Reguła wymaga wstępnego ustawienia wag na wartości przypadkowe z otoczenia 0 (zera) Reguła korelacyjna Reguła korelacyjna stosowana jest do uczenia nadzorowanego, neuronów z dowolną funkcją aktywacji. Można ją uważać za odpowiednik reguły Hebba wykorzystywanej w uczeniu nienadzorowanym w regule Hebba sygnałem uczącym jest odpowiedź neuronu, a w regule korelacyjnej oczekiwana odpowiedź neuronu:

8 8 Jacek Bartman Korektę wektora wag opisuje zależność: Reguła wymaga przyjęcia zerowych początkowych wartości wag Reguła perceptronowa r z (7) w zx (8) Reguła perceptronowa została zaproponowana przez Rosenblatta w 1958 roku, do uczenia neuronów dyskretnych metodą nadzorowaną [6]. Sygnałem uczącym jest błąd popełniany przez neuron: r z y (9) Dla tak określonego sygnału uczącego zgodnie z zależnością (3) korektę wag można opisać wzorem: Wartości początkowe wag powinny być losowe Reguła Delta w z yx (10) Reguła została opublikowana przez McClellanda i Rumelharta w 1986 roku. Stosuje się ją dla neuronów z ciągłymi funkcjami aktywacji, uczonych w trybie nadzorowanym (z nauczycielem) [4]. Sygnał uczący - uzyskany w wyniku minimalizacji sumy kwadratów błędów - zwany tu sygnałem Delta, zdefiniowany jest w tej regule jako: def z yf w x T r (11) gdzie: δ - sygnał uczący Delta, właściwie jest to przeskalowany błąd neuronu; f x - pierwsza pochodna funkcji aktywacji neuronu. w T W regule tej - zgodnie ze wzorem (3) - przyrost wektora wag wynosi: T z y f w xx w (12) Reguła stanowi odpowiednik reguły perceptronowej dla neuronów o ciągłej funkcji aktywacji i dlatego bywa nazywana ciągłą funkcją perceptronową. Reguła Delta jest najpopularniejszym sposobem uczenia z nauczycielem, jej wielką zaletą jest możliwość uogólnienia zapisu na sieci wielowarstwowe. W regule tej wartości początkowe wag powinny być losowe.

9 Reguła PID uczenia sztucznych neuronów Reguła Widrowa-Hoffa (reguła LMS) Reguła Widrowa-Hoffa została zaproponowana w 1960 roku i odnosi się do uczenia nadzorowanego neuronów o dowolnych funkcjach aktywacji (ciągłych i nieciągłych). Regułę uzyskuje się minimalizując błąd średniokwadratowy pomiędzy oczekiwaną odpowiedzią neuronu, a jego potencjałem membranowym, dlatego nosi też ona nazwę reguły LMS - od nazwy metody optymalizacji - metoda najmniejszych kwadratów (least mean square). Sygnał uczący jest zdefiniowany jako: def r z u z x (13) Podstawiając powyższą zależność do wzoru (3) uzyskujemy wzór pozwalający wyznaczyć wielkość korekty wag neuronu: T w T w z w xx (14) Dla neuronów z liniową funkcją aktywacji reguła Widrowa-Hoffa stanowi szczególny przypadek reguły Delta, w literaturze można nawet spotkać tę regułę pod nazwą reguła delta [3]. W regule Widrowa-Hoff wartości początkowe wag powinny być losowe Algorytm Resilient BackPropagation (RPROP) Algorytm Resilient BP zaproponowali w 1992 roku Riedmiller oraz Braun postuluje on aby przyrost wag był zależny jedynie od znaku gradientu miary błędu (bez uwzględniania jego wartości): E wi i sgn (15) wi gdzie: E funkcja określająca błąd popełniany przez neuron (miara błędu). Charakterystyczną cechą algorytmu jest indywidualne potraktowanie wag neuronów. Otóż dla każdej wagi przypisany jest oddzielny współczynnik uczenia i, który jest modyfikowany w każdym kroku, według następującej zasady: gdy znaki kolejnych gradientów pozostają zgodne - współczynnik uczenia jest zwiększany, natomiast gdy są różne, jest on zmniejszany [6]. 3. Reguła PID Reguła PID odwołuje się do ogólnej zasady uczenia nakazującej aby korekta wag była proporcjonalna do sygnału uczącego r oraz wektora wejściowego x (3). Proponuje się, aby sygnał uczący uwzględniał błąd popełniany przez neuron, szybkość i kierunek zmian tegoż błędu oraz historię uczenia. W celu uwzględnienia wymienionych elementów wprowadza się sygnał uczący składający się z trzech elementów: składnika uwzględniającego błąd popełniany przez neuron, składnika uwzględniającego szybkość i kierunek zmian błędu, składnika uwzględniającego historię zmian.

10 10 Jacek Bartman Prowadzi to do następującej zależności opisującej sygnał uczący r 1 d K p t t dt Td Ti dt t (16) przy czym t zt yt (17) Zaproponowana zależność (16) prowadzi do skojarzenia sposobu wyliczania sygnału uczącego r ze sposobem wyznaczania sterowania w układach automatycznej regulacji. Zasadę wyznaczania sygnału uczącego pokazano na rys. 2. Rysunek 2. Ogólny schemat wyliczania sygnału uczącego w regule PID Wielkości występujące we wzorze (16) mają znaczenie identyczne jak wcześniej, a ponadto (wykorzystano kontekst z automatyki): błąd popełniany przez neuron; K p wzmocnienie; T i stała całkowania określająca wpływ członu całkującego na sygnał uczący definiuje wpływ historii uczenia na wartość sygnału uczącego; T d stała różniczkowania określająca wpływ członu różniczkującego na sygnał uczący definiuje wpływ szybkości zmian błędu na wartość sygnału uczącego. Uwzględniając zależność (16) we wzorze na korektę wag (3) uzyskujemy stosowny wzór dla reguły PID: 1 d w K p t t dt Td Ti dt t x (18) 3.1. Dyskretyzacja algorytmu PID Parametr t występujący w zależności (18) ma charakter ciągły, dlatego bezpośrednie jej zastosowanie do uczenia neuronów nie jest możliwe - gdyż proces uczenia sztucznych neuronów ma charakter iteracyjny - dlatego koniczne jest przeprowadzenie dyskretyzacji reguły PID. W tym celu całkę zastąpimy sumą:

11 Reguła PID uczenia sztucznych neuronów 11 t n k 0 k dt (19) zaś pochodną z błędu popełnianego przez neuron przybliżymy ilorazem różnicowym pierwszego rzędu: T s d( t ) ( k ) ( k 1) dt T s (20) Parametr T s stanowi odpowiednik okresu próbkowania czyli odstępu czasu pomiędzy pobieraniem kolejnych próbek, w przypadku uczenia sieci neuronowej będzie to pojedynczy krok iteracji. Po uwzględnieniu zależności (19) oraz (20) we wzorze na korektę wag (18) uzyskujemy w T n s T d K p k x k k k 1 (21) Ti T k 0 s Podstawiając (zastosowano te same nazwy parametrów gdyż podstawienie prowadzi jedynie do przeskalowania wartości): Ti Td K p, Ti, Td (22) T T uzyskujemy końcowy wzór opisujący korektę wag pojedynczego neuronu wg reguły PID: s n w 1 k x k Td t k 1 (23) Ti k 0 Zaproponowana metoda może być stosowana do uczenia nadzorowanego sztucznych neuronów. Wartości początkowe wag powinny być przypadkowe. 4. Wyniki badań symulacyjnych W celu wstępnego sprawdzenia efektywności zaproponowanej metody przeprowadzono uczenie pojedynczego neuronu reguł bramki NOR oraz przeprowadzono uczenie dla prostego zadania klasyfikacji. Uzyskane rezultaty zestawiono z rezultatami uzyskanymi przy zastosowaniu klasycznej reguły Delta oraz reguły Resilient BP (RPROP). Klasyczna reguła Delty jest metodą bardzo wolną, ale stanowi dobry punkt odniesienia do ogólnej oceny proponowanej reguły PID. Natomiast reguła Resilient BP jest metodą, która w obszarach niewielkiego nachylenia funkcji celu daje bardzo duże przyspieszenie procesu uczenia i pomimo niewielkiej złożoności obliczeniowej zaliczana jest do szybszych metod uczenia. Symulacje wykonano dla losowych wartości początkowych wag. Zagwarantowano jednak, aby dla wszystkich reguł proces uczenia odbywał się z takimi samymi wartościami początkowymi wag zabezpiecza to pełną porównywalność metod. Dla żadnej z reguł nie s

12 12 Jacek Bartman optymalizowano wartości współczynników uczenia, (w przypadku reguły PID -, T i, T d, w przypadku reguły Delta oraz Resilient BP - ) przyjęto dla nich wartość 1. Uczyniono tak ponieważ brak jest metod analitycznego doboru ich wartości, a dokonuje się go w sposób heurystyczny. Zrealizowano po 1000 przebiegów uczenia dla wszystkich reguł Symulacja reguł bramki NOR Ponieważ brak jest metod, które pozwalałyby analitycznie określić punkt stopu dla algorytmów uczenia SSN dlatego badania przeprowadzono dla dwóch różnych wartości końcowych funkcji celu - 0,01 oraz 0,001 (uwzględniono, iż oczekujemy odpowiedzi o wartościach 0 lub 1) Efekty ucznia reguł bramki NOR dla wartości funkcji celu 0.01 W tabeli 1 pokazano tablicę bramki NOR oraz przykładowe odpowiedzi neuronu uczonego porównywanymi regułami (Delta, Resilient BP oraz PID). Uzyskane odpowiedzi różnią się od wartości oczekiwanej, ale nie ulega wątpliwości, iż neuron prawidłowo klasyfikuje sygnały wejściowe - tabela 1. Tabela 1. Zestawienie przykładowych odpowiedzi dla wartości funkcji celu MSE=0.01 Wejścia Odpowiedź oczekiwana Przykładowe odpowiedzi sieci Delta Resilent BP PID Przykładowy przebieg procesu uczenia porównywanych reguł pokazano na rysunku 3 rysunek b) stanowi powiększenie fragmentu rysunku a) w celu ułatwienia porównania przebiegu uczenia regułą PID i Resilient BP. a) b) Rysunek 3. Przykładowy przebieg procesu uczenia neuronu porównywanymi regułami (MSE=0.01) Zestawienie statystyczne wyników symulacji przedstawiono w tabeli 2. Analiza uzyskanych rezultatów prowadzi do wniosku, iż w przypadku końcowej wartości funkcji celu 0.01 uczenie najszybciej przebiegało w oparciu o regułę PID - oczekiwany rezultat uczenia dla

13 Reguła PID uczenia sztucznych neuronów 13 reguły Delta uzyskano średnio po 697 krokach, dla reguły Resilient BP po 18 a dla reguły PID po 7,7 krokach. Tabela 2. Wyniki uczenia poszczególnymi regułami w ujęciu statystycznym (MSE=0.01) Delta Resilient BP PID Wartość maksymalna Wartość minimalna Mediana Średnia ,0 7,7 Odchylenie standardowe 839 5,45 3, Efekty ucznia reguł bramki NOR dla wartości funkcji celu Kolejne badania wykonano zmniejszając dziesięciokrotnie wartość końcową funkcji celu (z 0.01 do 0.001). Przedstawione w tabeli 3 wyniki pokazują, że uzyskane odpowiedzi neuronu są obarczone mniejszym błędem. Tabela 3. Zestawienie przykładowych odpowiedzi dla MSE=0.001 Wejścia Odpowiedź oczekiwana Przykładowe odpowiedzi sieci Delta Resilient BP PID a) b) Rysunek 4. Przykładowy przebieg procesu uczenia neuronu porównywanymi regułami (MSE=0.001) Kolejna tabela zawiera zestawienie statystyczne uzyskanych wyników. Po zmniejszeniu końcowej wartości funkcji celu najszybsza okazała się reguła Resilient BP, która oczekiwany rezultat uczenia osiągała średnio po 20,3 epokach wobec 28,5 epok potrzebnych regule PID oraz 2884 regule Delta. Warto zauważyć, iż odchylenie standardowe w przypadku reguł Resilient BP oraz PID jest zdecydowanie mniejsze niż w przypadku uczenia klasyczną regułą Delta oznacza to, mniejszy rozrzut wyników, co można interpretować jako większa powtarzalność uczenia (w wymiarze liczby epok potrzebnych do nauczenia neuronu).

14 14 Jacek Bartman Tabela 4. Wyniki uczenia poszczególnymi regułami w ujęciu statystycznym (MSE=0.001) Delta Resilient BP PID Wartość maksymalna Wartość minimalna Mediana Średnia ważona ,3 28,5 Odchylenie standardowe 960 4,60 5, Wnioski i spostrzeżenia z badań symulacyjnych bramki NOR Szybkość uczenia regułą PID dla rozważanego przypadku jest porównywalna z szybkością uczenia regułą Resilient BP, reguła Delta jest zdecydowanie wolniejsza. Analiza przebiegów uczenia regułą PID i regułą Resilient BP (rys. 3, rys. 4) prowadzi do wniosku, że uczenie regułą PID powoduje w początkowym etapie szybszy postęp procesu uczenia, natomiast reguła Resilient BP w początkowym etapie uczy się wolniej a w końcowym bardzo szybko. Charakterystyczne dla uczenia regułą PID szarpnięcia (rys.3, rys. 4) (wzrost wartości funkcji celu) prawdopodobnie można wyeliminować odpowiednio dobierając wartości współczynników, T i, T d, w konsekwencji powinno to prowadzić do przyspieszenia procesu uczenia Zadanie klasyfikacji elementów dla danych wejściowych dwuwymiarowych Zadanie klasyfikacji elementów było kolejnym problemem służącym porównaniu efektywności reguł Delta, Resilinet BP oraz PID uczenia sztucznych neuronów. Zadaniem neuronu była klasyfikacja elementów rozmieszczonych na płaszczyźnie (rys. 5.): a1=(2, 11), a2=(7, 10), a3=(8, 16), a4=(10, -6), a5=(15, -10), b1=(-4, 6), b2=(0, 7), b3=(10, 15), b4=(-6, -7), b5=(-10,-4) do dwóch zbiorów A, B: A={a1, a2, a3, a4, a5}, B={b1, b2, b3, b4, b5} Tabela 5 zawiera statystyczne zestawienie uzyskanych rezultatów. Dla reguły Delta okazało się, że neuron nie nauczył się ani razu na 1000 przypadków konieczne jest właściwe dobranie współczynnika uczenia Rysunek 5. Rozkład klasyfikowanych elementów na płaszczyźnie Tabela 5. Wyniki uczenia klasyfikacji elementów w ujęciu statystycznym Resilient BP PID Wartość maksymalna Wartość minimalna Mediana Średnia ważona Odchylenie standardowe 51,5 45,6

15 Reguła PID uczenia sztucznych neuronów 15 Porównanie szybkości uczenia regułami Resilient BP oraz PID wypada na korzyść reguły PID dla której neuron nauczył się średnio po 131 epokach przy 147 epokach uczenia potrzebnych metodzie Resilent BP. Również odchylenie standardowe jest mniejsze dla metody PID. Rysunek 6 pokazuje przykładowy przebieg procesu uczenia neuronu. Kształt krzywej obrazującej uczenie regułą PID jest bardzo nietypowy początkowo praktycznie brak postępów w uczeniu (wartość funkcji celu na przemian wzrasta i maleje) a następnie następuje gwałtowna poprawa. Zachowanie w początkowym etapie uczenia sugeruje, iż parametry (, T i, T d ) są mocno nieoptymalne i właściwe ich dostrojenie winno spowodować poprawę efektywności metody. Wart podkreślenia jest fakt, iż w każdym przypadku (z 1000) sieć uczona regułą PID uzyskiwała zadaną wartość funkcji celu. Rysunek 6. Przykładowy przebieg procesu uczenia neuronu zadania klasyfikacji elementów Kolejne porównanie efektywności uczenia sztucznych neuronów regułami Delta, Resilinet BP oraz PID wykonano wykorzystując dane ze zbioru Baloon set umieszczone w UCI Machine Learning Repository [10]. Zbiór wejściowy składał się z 16 wektorów uczących, opisujących balony, a każdy wektor złożony był z czterech atrybutów: color {yellow, purple}; size {large, small}; act {stretch, dip}; age {adult, child}. Na podstawie danych sieć miała podjąć decyzję czy balon się uniesie czy nie. Zadanie zalicza się więc do problemów klasyfikacji jednak w odróżnieniu od zagadnień rozwiązywanych wcześniej, dane wejściowe nie mają charakteru dwuwymiarowego (łatwego do zaprezentowania na płaszczyźnie i stwierdzenia separowalności liniowej), a charakter wielowymiarowy. Dane z których złożone były wektory uczące posiadały charakter tekstowy, dlatego też konieczne było ich zakodowanie przyjęto bardzo prostą zasadę kodowania przypisując w zależności od wartości każdemu z atrybutów wartość 0 lub 1. W tabeli 6 pokazano dane przed kodowaniem, po zakodowaniu oraz przykładowe odpowiedzi sieci dla każdej z reguła uczenia. Przykładowy przebieg procesu uczenia porównywanych reguł pokazano na rysunku 7 rysunek b) stanowi powiększenie fragmentu rysunku a). Zwraca uwagę fakt, iż przebieg uczenia każdą z porównywanych metod ma charakter monotoniczny (funkcja miary błędu systematycznie maleje do zadanej wartości). W zaprezentowanych powyżej przykładach przebieg uczenia regułą PID miał charakter szarpany (miara błędu na przemian rosła i malała). W analizowanym przypadku zjawisko to nie występuje i w konsekwencji reguła PID osiąga zdecydowanie najszybciej zadaną wartość funkcji celu (miary błędu). Tabela 7 zawiera zestawienie statystyczne uzyskanych wyników. Porównanie szybkości uczenia metodami PID oraz Resilient, BP wypada zdecydowanie na korzyść reguły PID potrzebowały one średnio odpowiednio 20,8 oraz 2,47 epoki do nauczenia neuronu właściwej klasyfikacji elementów. Reguła Delta jest zdecydowanie wolniejsza.

16 16 Jacek Bartman Tabela 6. Zestawienie przykładowych odpowiedzi dla MSE=0.001 Dane z repozytorium Dane po zakodowaniu Przykładowe odpowiedzi sieci Dane wejściowe Odp. Dane wejściowe Odp. Delta ResilientBP PID Yellow Small Stretch Adult T Yellow Small Stretch Child F Yellow Small Dip Adult F Yellow Small Dip Child F Yellow Large Stretch Adult T Yellow Large Stretch Child F Yellow Large Dip Adult F Yellow Large Dip Child F Purple Small Stretch Adult T Purple Small Stretch Child F Purple Small Dip Adult F Purple Small Dip Child F Purple Large Stretch Adult T Purple Large Stretch Child F Purple Large Dip Adult F Purple Large Dip Child F a) b) Rysunek 7. Przykładowy przebieg procesu uczenia neuronu porównywanymi regułami Tabela.7. Wyniki uczenia klasyfikacji elementów w ujęciu statystycznym Delta Resilient BP PID Wartość maksymalna Wartość minimalna Mediana Średnia ważona ,8 2,47 Odchylenie standardowe 289 4,0 0,792

17 Reguła PID uczenia sztucznych neuronów Badania na danych eksperckich. Dane do kolejnych badań zaczerpnięto ze zbioru Acute Inflammations Data Set [11] umieszczonego w UCI Machine Learning Repository. Dane zostały stworzone przez eksperta medycznego w celu zbudowania systemu eksperckiego wykonującego diagnostykę dwóch domniemanych chorób układu moczowego - zapalenia pęcherza moczowego oraz zapalenia nerek. Każdy rekord reprezentuje potencjalnego pacjenta opisanego poprzez następujące atrybuty: temperaturę ciała {35C - 42C), złe samopoczucie, nudności {tak, nie}, ból lędźwiowy {tak, nie}, ciągłą potrzebę oddawania moczu {tak, nie}, ból podczas oddawania moczu {tak, nie}, obrzęk cewki moczowej {tak, nie}. Dane logiczne (tak/nie) wymagały odpowiedniego zakodowania w tym celu wartości tak przypisano 1, a wartości nie Klasyfikacja danych eksperckich W artykule przedstawiono przypadek uczenia sztucznej sieci neuronowej rozpoznawania zapalenia nerek na podstawie danych zawartych w wektorze wejściowym (rekordzie). Tak postawione zadanie jest zadaniem z dziedziny klasyfikacji. Uczenie przeprowadzono w oparciu o reguły PID oraz Resilient BP. Zrezygnowano z uczenia regułą Delta gdyż wymagała ona precyzyjnego doboru współczynnika uczenia. Na rys. 8. przedstawiono przykładowy przebieg uczenia dla obu porównywanych metod jak widać reguła PID jest wyraźnie szybsza. Spostrzeżenie to potwierdzają zawarte w tabeli 8 zestawienia statystyczne na 1000 wykonanych prób reguła PID średnio po 15,7 epokach uzyskiwała założoną dopuszczalną wartość błędu, a reguła Resilient BP po 57 epokach. Rysunek 8. Przebieg uczenia neuronów zadania klasyfikacji elementów eksperckich Tabela 8. Wyniki uczenia klasyfikacji elementów eksperckich w ujęciu statystycznym Resilient BP PID Wartość maksymalna Wartość minimalna 24 1 Mediana Średnia ważona 57,0 15,7 Odchylenie standardowe 15,3 6,07

18 18 Jacek Bartman Diagnostyka W kolejnym eksperymencie dane eksperckie podzielono na dwie grupy grupę danych uczących oraz grupę danych testowych. Do zbioru uczącego włączono 40 spośród 120 wektorów z danymi uczącymi. Przykładowy przebieg procesu uczenia pokazano na rysunku 9 a zestawienie statystyczne uzyskanych rezultatów (na podstawie 1000 powtórzeń) zebrano w tabeli 9. Uczenie skróconym zbiorem uczącym przebiegało nieco wolniej, ale w tym przypadku podobnie jak we wcześniejszym reguła PID okazała się szybsza od Resilient BP, uzyskując pożądany efekt uczenia po 43,5 epokach wobec 63,6 epok reguły Resilient BP. Rysunek 9. Przebieg uczenia neuronów zadania diagnostycznego Tabela 9. Wyniki uczenia skróconym zbiorem danych eksperckich w ujęciu statystycznym Resilient BP PID Wartość maksymalna Wartość minimalna 27 4 Mediana Średnia ważona 63,6 43,5 Odchylenie standardowe 18,0 16,2 Zasadniczym zadaniem w analizowanym przypadku było określenie jak reguła uczenia wpłynęła na zdolność do uogólniania. W zbiorze testowym (rozłącznym ze zbiorem uczącym) umieszczono 80 przypadków zdefiniowanych przez eksperta. Wykonano 100 krotnie uczenie neuronów po każdym sprawdzając poprawność jego odpowiedzi na dane testowe. Przyjęto, iż w przypadku oczekiwanej odpowiedzi 0 jako poprawną (nie budzącą wątpliwości) uznaje się odpowiedź nie przekraczającą 0,3 a w przypadku oczekiwanej odpowiedzi 1 za poprawną uznano wartości nie mniejsze niż 0,7. Uzyskane podczas badań wyniki zebrano w tabeli 10, należy podkreślić, iż liczba błędnych diagnoz była bardzo mała. Neuron uczony regułą PID 15 krotnie podał błędną odpowiedź na 800 prób a uczony regułą Resilient BP 10 krotnie wystawił błędną diagnozę w analogicznej liczbie prób. Dla pojedynczego uczenia neuron uczony regułą PID maksymalnie dla 1 przypadku udzielił błędnej odpowiedzi a dla reguły Resilient BP dla 2 przypadków. Tabela.10. Wyniki uczenia skróconym zbiorem danych eksperckich w ujęciu statystycznym Resilient BP PID Liczba błędnych diagnoz w 800 przypadkach Maksymalna liczba błędów dla 1 epoki danych testowych 2 1 Minimalna liczba błędów dla 1 epoki danych testowych 0 0

19 Reguła PID uczenia sztucznych neuronów Podsumowanie Uczenie sztucznych sieci neuronowych i bezpośrednio z nim związane uczenie sztucznych neuronów są ciągle interesującymi obszarami badawczymi pomimo, iż istnieje wiele reguł opisujących w jaki sposób korygować wagi neuronu, aby jego zachowanie było zgodne z oczekiwanym. W literaturze można znaleźć opisy reguł gradientowych jak i również charakteryzujących się większą złożonością obliczeniową reguł wykorzystujących macierz hesjanu funkcji celu. W pracy zaproponowano nowa regułę uczenia sztucznych neuronów regułę PID oraz dokonano porównania jej efektywności z klasyczną regułą Delty oraz regułą Resilient BP. Wstępne wyniki są zachęcające do podjęcia dalszych badań. W większości przebadanych przypadków reguła PID okazała się nieco szybsza od reguły Resilient BP oraz zdecydowanie szybsza od reguły Delty. Interesujące wydaje się być porównanie jej z innymi regułami uczenia oraz ustalenie wpływu współczynników (, T i, T d ) na jej szybkość oraz stabilność. Przebieg procesu uczenia regułą PID w wielu przypadkach miał bardzo nietypowy charakter (rys. 6, rys. 8, rys 9) wartość funkcji celu (będącej miarą błędu) przez długi czas pozostawała praktycznie niezmieniona, by następnie gwałtownie osiągnąć pożądaną wartość. Nieodzowne jest przeprowadzenie badań, które wyjaśnią czym jest to spowodowane niewłaściwym doborem współczynników uczenia(, T i, T d ), kolejnością podawania wzorców (była ona losowa), czy też jakimś innym czynnikiem. Przedstawione badania ograniczyły się do analizy uczenia pojedynczego neuronu intrygujące będzie wykorzystanie reguły w metodzie wstecznej propagacji błędu do uczenia całej sieci i zestawienie uzyskanych rezultatów z rezultatami jakie daje klasyczna metoda wstecznej propagacji błędu. Bibliografia [1] Bielecki A. Mathematical model of architecture and learning processes of artificial neural networks. TASK Quarterly 7 no 1/2003, s [2] Hebb D. The organization of behaviour. Wiley, New York, 1949 [3] Korbicz J., Obuchowicz A., Uciński D. Sztuczne sieci neuronowe. Podstawy i zastosowania, Akademicka Oficyna Wydawnicza PLJ, Warszawa [4] McClelland T.L., Rumelhart D.E., and the PDP Research Group. Paralell Distributed Processing. MIT Press, Cambridge, Mass [5] Osowski St. Sieci neuronowe w ujęciu algorytmicznym, WNT, Warszawa [6] Rosenblatt F. The perceptron: A probalistic model for information storage and organization in the brain. Psychology Review no 65/1958 s [7] Tadeusiewicz R. Sieci neuronowe, Akademicka Oficyna Wydawnicza RM, Warszawa [8] Widrow B., Hoff M. E. Adaptive switching circuits. New York IRE WESCON Conventional Record 1960, s [9] Żurada J., Barski M., Jędruch W. Sztuczne sieci neuronowe. Podstawa teorii i zastosowania. PWN, Warszawa [10] Asuncion, A., Newman, D.J. UCI Machine Learning Repository. Irvine, CA: University of California, School of Information and Computer Science, [ [11] Czerniak J., Zarzycki H., Application of rough sets in the presumptive diagnosis of urinary system diseases. Artificial Intelligence and Security in Computing Systems, ACS'2002 9th International Conference Proceedings, Kluwer Academic Publishers,2003, pp

20