1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN. Agenda

Transkrypt

1 Sieci neuropodobne

2 1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN Agenda

3 Trochę neurobiologii System nerwowy w organizmach żywych tworzą trzy podsystemy, które są wzajemnie niezależne ale czynnościowo powiązane: Centralny układ nerwowy, Obwodowy układ nerwowy, Autonomiczny system nerwowy.

4 Komórka nerwowa (neuron)

5 Sztuczny neuron Na podstawie powyższego schematu można opisać działanie pojedynczego neuronu: y=f(s) N gdzie s: s = j=0 N więc: y = f( j=0 x j w j x j w j )

6 Definicja Sieć neuronowa to zbiór połączonych ze sobą jednostek wejściwowyjściowych. Z każdym połączeniem skojarzona jest waga, która może zostać zmieniona w trakcie uczenia. Sztuczne sieci neuronowe są strukturami, które pod względem budowy i zasady działania zostały zaprojektowane w sposób odwzorowujący działanie naturalnego układu nerwowego.

7 Zasada działania SN SSN, podobnie jak naturalna sieć, składają się z neuronów, jednak sztuczne odpowiedniki neuronów nie są dokładnym odwzorowaniem naturalnych. Ich działanie można przedstawić w następujący sposób: Każdy sygnał docierający do neuronu poprzez dendryt ma swoją wagę (efektywność synaps) w neuronie obliczana jest ważona suma wejść i odejmowana wartość progowa a wynik tego podawany jest jako argument funkcji aktywacji. Wynik tejże funkcji podawany jest na wyjście neuronu (akson).

8 Funkcje aktywacji Funkcja aktywacji musi być ciągła i łatwo różniczkowalna, poza tym może mieć różne postacie. Wyjątkiem od tej reguły jest perceptron (pierwsza znana, opisana i działająca sieć neuronowa powstała w 1957 roku), którego funkcja aktywacji nie jest poddana takim ograniczeniom. Najczęściej stosowanymi funkcjami aktywacji są funkcje: signum, sinus, tangens hiperboliczny, logistyczna i liniowa.

9 Typy funkcji aktywacji: - Nieciągłe: - Progowa (unipolarna), - Signum (bipolarna), - Ciągłe: - Sigmoidalna (unipolarna), - tangensoidalna (bipolarna), - Liniowa, - Gaussa. Funkcje aktywacji

10 Funkcja progowa

11 Funkcja sigmoidalna

12 Funkcja signum

13 Uczenie sieci neuronowych Uczenie sieci polega na automatycznym (z wykorzystaniem odpowiedniego algorytmu) dobraniu takich wartości wag aby sieć mogła jak najlepiej rozwiązywać dany problem. Istnieją dwa rodzaje uczenia sieci: Z nauczycielem (nadzorowane) Bez nauczyciela (nienadzorowane) Ogólną zasadą nauki SSN jest: Wektor wag rośnie proporcjonalnie do iloczynu sygnału wejściowego x i uczącego r.

14 Uczenie nadzorowane Uczenie to stosuje się tylko wówczas gdy znany jest dla każdego wektora wejściowego wektor wyjściowy (preferowana odpowiedź). Poprawność odpowiedzi jest weryfikowalna. Schemat uczenia sieci: Na wejście podajemy wektor wejściowy Wyznaczamy błąd popełniany przez sieć Błąd wykorzystujemy do korekty wag w sieci

15 Uczenie nienadzorowane Uczenie to stosuje się wówczas gdy nie znamy oczekiwanej odpowiedzi na zadany wektor. Warunki: Sygnały wejściowe muszą być podobne do wzorców (atraktorów) Neuronów musi być wyraźnie więcej niż atraktorów Różnorodne początkowe preferencje poszczególnych neuronów (jest to konieczne aby sieć mogła się uczyć rozpoznawania różnych obiektów)

16 Klasyfikacja sieci neuropodobnych Warstwowe sieci liniowe Adaline/Madaline, Warstwowe sieci nieliniowe wielowarstwowa uczona algorytmem wstecznej propagacji błędów, sieci wielowarstwowe z modyfikacjami algorytmu wstecznej propagacji błędów, sieci z funkcjami o symetrii kołowej RBF. Sieci ze sprzężeniem zwrotnym sieci Hopfielda, dwukierunkowa pamięć asocjacyjna BAM,

17 Klasyfikacja sieci neuropodobnych Sieci uczone przez współzawodnictwo sieci Kohonena, LVQ, odwzorowanie cech istotnych oraz sieci samoorganizujące się SOM, Sieci rezonansowe ART oraz sieci z kontrpropagacją, Sieci neuronowe zintegrowane z algorytmami metaheurystycznymi symulowane wyżarzanie maszyna Boltzmana, algorytmy genetyczne, Metody hybrydowe wykorzystujące sieci neuronowe, Systemy rozmyto-neuronowe

18 medycynynie, fizyce w ekonomii Zastosowania SSN

19 Wady i zalety Zalety: Nie wymagają programowania, Potrafią uogólniać, Odporność na uszkodzenia. Wady: Brak możliwości rozumowania wieloetapowego, Mało precyzyjne. Długotrwałe uczenie

20 Bibliografia Duch W., Korbicz J., Rutkowski L., Tadeusiewicz R.: Biocybernetyka i inżynieria biomedyczna Sieci neuronowe, Exit, Warszawa Gwiazda T.: Algorytmy genetyczne, WSPiZ, Warszawa Grad L.: Materiały do wykładów z przedmiotu Metody sztucznej inteligencji w zarządzaniu, WSISiZ (chyba dostepne są jeszcze na stronach studentów wsisiz) Goldberg D. E., Algorytmy genetyczne i ich zastosowanie, tłum. K. Grygiel, wyd. 2, Wydawnictwo Nauowo-Techniczne, Warszawa Tadeusiewicz R., Sieci neuronowe, Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie, Rutkowska D., Rutkowski L., Piliński M., Sieci neuronowe, algorytmy genetyczne i systemy rozmyte, Wydawnictwo Naukowe PWN, Warszawa 1999.

21 Dziękuję za uwagę