Sieci neuropodobne
1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN Agenda
Trochę neurobiologii System nerwowy w organizmach żywych tworzą trzy podsystemy, które są wzajemnie niezależne ale czynnościowo powiązane: Centralny układ nerwowy, Obwodowy układ nerwowy, Autonomiczny system nerwowy.
Komórka nerwowa (neuron)
Sztuczny neuron Na podstawie powyższego schematu można opisać działanie pojedynczego neuronu: y=f(s) N gdzie s: s = j=0 N więc: y = f( j=0 x j w j x j w j )
Definicja Sieć neuronowa to zbiór połączonych ze sobą jednostek wejściwowyjściowych. Z każdym połączeniem skojarzona jest waga, która może zostać zmieniona w trakcie uczenia. Sztuczne sieci neuronowe są strukturami, które pod względem budowy i zasady działania zostały zaprojektowane w sposób odwzorowujący działanie naturalnego układu nerwowego.
Zasada działania SN SSN, podobnie jak naturalna sieć, składają się z neuronów, jednak sztuczne odpowiedniki neuronów nie są dokładnym odwzorowaniem naturalnych. Ich działanie można przedstawić w następujący sposób: Każdy sygnał docierający do neuronu poprzez dendryt ma swoją wagę (efektywność synaps) w neuronie obliczana jest ważona suma wejść i odejmowana wartość progowa a wynik tego podawany jest jako argument funkcji aktywacji. Wynik tejże funkcji podawany jest na wyjście neuronu (akson).
Funkcje aktywacji Funkcja aktywacji musi być ciągła i łatwo różniczkowalna, poza tym może mieć różne postacie. Wyjątkiem od tej reguły jest perceptron (pierwsza znana, opisana i działająca sieć neuronowa powstała w 1957 roku), którego funkcja aktywacji nie jest poddana takim ograniczeniom. Najczęściej stosowanymi funkcjami aktywacji są funkcje: signum, sinus, tangens hiperboliczny, logistyczna i liniowa.
Typy funkcji aktywacji: - Nieciągłe: - Progowa (unipolarna), - Signum (bipolarna), - Ciągłe: - Sigmoidalna (unipolarna), - tangensoidalna (bipolarna), - Liniowa, - Gaussa. Funkcje aktywacji
Funkcja progowa
Funkcja sigmoidalna
Funkcja signum
Uczenie sieci neuronowych Uczenie sieci polega na automatycznym (z wykorzystaniem odpowiedniego algorytmu) dobraniu takich wartości wag aby sieć mogła jak najlepiej rozwiązywać dany problem. Istnieją dwa rodzaje uczenia sieci: Z nauczycielem (nadzorowane) Bez nauczyciela (nienadzorowane) Ogólną zasadą nauki SSN jest: Wektor wag rośnie proporcjonalnie do iloczynu sygnału wejściowego x i uczącego r.
Uczenie nadzorowane Uczenie to stosuje się tylko wówczas gdy znany jest dla każdego wektora wejściowego wektor wyjściowy (preferowana odpowiedź). Poprawność odpowiedzi jest weryfikowalna. Schemat uczenia sieci: Na wejście podajemy wektor wejściowy Wyznaczamy błąd popełniany przez sieć Błąd wykorzystujemy do korekty wag w sieci
Uczenie nienadzorowane Uczenie to stosuje się wówczas gdy nie znamy oczekiwanej odpowiedzi na zadany wektor. Warunki: Sygnały wejściowe muszą być podobne do wzorców (atraktorów) Neuronów musi być wyraźnie więcej niż atraktorów Różnorodne początkowe preferencje poszczególnych neuronów (jest to konieczne aby sieć mogła się uczyć rozpoznawania różnych obiektów)
Klasyfikacja sieci neuropodobnych Warstwowe sieci liniowe Adaline/Madaline, Warstwowe sieci nieliniowe wielowarstwowa uczona algorytmem wstecznej propagacji błędów, sieci wielowarstwowe z modyfikacjami algorytmu wstecznej propagacji błędów, sieci z funkcjami o symetrii kołowej RBF. Sieci ze sprzężeniem zwrotnym sieci Hopfielda, dwukierunkowa pamięć asocjacyjna BAM,
Klasyfikacja sieci neuropodobnych Sieci uczone przez współzawodnictwo sieci Kohonena, LVQ, odwzorowanie cech istotnych oraz sieci samoorganizujące się SOM, Sieci rezonansowe ART oraz sieci z kontrpropagacją, Sieci neuronowe zintegrowane z algorytmami metaheurystycznymi symulowane wyżarzanie maszyna Boltzmana, algorytmy genetyczne, Metody hybrydowe wykorzystujące sieci neuronowe, Systemy rozmyto-neuronowe
medycynynie, fizyce w ekonomii Zastosowania SSN
Wady i zalety Zalety: Nie wymagają programowania, Potrafią uogólniać, Odporność na uszkodzenia. Wady: Brak możliwości rozumowania wieloetapowego, Mało precyzyjne. Długotrwałe uczenie
Bibliografia http://www.neurosoft.edu.pl/jbartman/nti1.pdf http://en.wikipedia.org/wiki/artificial_neural_network http://natureofcode.com/book/chapter-10-neural-networks/ http://www.cs.put.poznan.pl/jstefanowski/aed/tpdann.pdf http://fizyka.umk.pl/ftp/pub/publications/kmk/prace-pozostale/02szablowski-bam.doc Duch W., Korbicz J., Rutkowski L., Tadeusiewicz R.: Biocybernetyka i inżynieria biomedyczna 2000. Sieci neuronowe, Exit, Warszawa 2000. Gwiazda T.: Algorytmy genetyczne, WSPiZ, Warszawa 1998. Grad L.: Materiały do wykładów z przedmiotu Metody sztucznej inteligencji w zarządzaniu, WSISiZ (chyba dostepne są jeszcze na stronach studentów wsisiz) Goldberg D. E., Algorytmy genetyczne i ich zastosowanie, tłum. K. Grygiel, wyd. 2, Wydawnictwo Nauowo-Techniczne, Warszawa 1998. Tadeusiewicz R., Sieci neuronowe, Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie, 1993. Rutkowska D., Rutkowski L., Piliński M., Sieci neuronowe, algorytmy genetyczne i systemy rozmyte, Wydawnictwo Naukowe PWN, Warszawa 1999.
Dziękuję za uwagę