Neuron biologiczny. Źród lo: Korbicz i in. [4] Synapsa to po l aczenie nerwowymi.

HTML
DOWNLOAD

Wielkość: px

Rozpocząć pokaz od strony:

Download "17.12.2005 Neuron biologiczny. Źród lo: Korbicz i in. [4] Synapsa to po l aczenie nerwowymi."

Irena Niemiec
9 lat temu
Przeglądów:

1 Wyk lad Neuron biologiczny Źród lo: Korbicz i in. [4] Synapsa to po l aczenie miedzy dwoma komórkami nerwowymi. 1

2 neuron biologiczny A B C D Zakoñczenia przedsynaptyczne Akson Dendryt Cia³o komórkowe Zakoñczenie przedsynaptyczne Źród lo: A. Michajlik, W. Ramotowski, Anatomia i fizjologia cz lowieka, Wydawnictwa Lekarskie PZWL, Warszawa 1994, cytowane za: Kotula [3]. 2

3 Matematyczny model neuronu wg. McCullocha i Pittsa 1943 w i1 w i0 w i2... w ij Jest to model uproszczony w stosunku do rzeczywistego model neuronu do dzisiaj jest podstawa wiekszości modeli. 3

4 Model Cullocha-Pittsa z 1943r Centralny neuron o numerze i sumuje impulsy dochodzace do niego od neuronów 1, 2,..., j. Sumowanie odbywa si e z wagami w i1, w i2,..., w ij. Do otrzymanej sumy dodaje sie indywidualny (tj. w laściwy dla itego neuronu) Bias wyrażony waga w i0. Otrzymana suma ( aktywacja) jest transformowana przez funkcj e Heaviside a Θ. Wynik transformacji jest przekazywany dalej do nast epnych neuronów. 4

5 Model Cullocha-Pittsa Na rysunku tym mamy zaznaczony jeden neuron ma on umownie numer i. Do neuronu tego zbiegaja sie sygna ly (bodźce) - jest ich j. Neuron je sumuje z wagami w i1, w i2,..., w ij. Gdy obliczona wartość sumy przekroczy pewna wartość progowa w i0, specyficzna dla danego neuronu, nastepuje jego zap lon, inaczej mówiac, neuron ten znajdzie sie w stanie pobudzenia. Matematycznie stan pobudzenia neuronu wyraża sie dwiema wartościami: 0, gdy pobudzenie neuronu nie przekroczy lo jego specyficznej wartości progowej, i 1, gdy jest przeciwnie. 5

6 Model Cullocha-Pittsa Rozważamy neuron o numerze i ze specyficzna wartościa progowa w i0. Za lożymy, że stan pobudzenia neuronu jest zjawiskiem dyskretnym zmieniajacym sie w czasie τ w sta lych odstepach czasu τ. Wartość pobudzenia i-go neuronu w czasie τ oznaczmy symbolem z i (τ). Wartość neuronu w chwili τ + τ zależy od tego, jak by ly pobudzone (dostarczajace mu bodźce) neurony z jego otoczenia w momencie poprzedzajacym moment τ. Neuron oblicza sume ważona dostarczanych mu sygna lów. 6

7 Model Cullocha-Pittsa O ile po dodaniu do wyznaczonej przez neuron sumy wartości progowej otrzyma sie liczbe dodatnia, nastepuje zap lon. Wyrazić to można w sposób nastepuj acy: z i (τ + τ) = Θ( j w ij z j (τ) + w i0 ) (1) Zmienna z i (τ) może mieć wartość 1, gdy i-ty neuron znajduje sie w chwili τ w stanie zap lonu, lub 0, gdy tak nie jest. Wagi w ij wystepuj ace w powyższym wzorze odzwierciedlaja istotność synapsy l acz acej neuron i-ty i j-ty. Wagi moga przyjmować zarówno dodatnie jak i ujemne wartości: w ij > 0 : odpowiednik synapsy pobudzajacej = 0 : brak po l aczenia m. neuronami < 0 : odpowiednik synapsy hamujacej. 7

8 Model Cullocha-Pittsa Funkcja Θ(a) wystepuj aca we wzorze 1 to funkcja Heaviside a (hardlimit) określona nastepuj aco: Θ(a) = { 1 dla a 0 0 dla a < 0 McCulloch i Pitts wykazali, że przy odpowiednio dobranych wagach w ij synchroniczny zespó l takich neuronów może wykonać te same obliczenia, co uniwersalna maszyna liczaca. 8

9 Dalsze prace posz ly w kierunku: użycia innych funkcji aktywacji umożliwia to modelowanie procesów nieliniowych, przedstawienia sygna lu z i nie jako procesu dyskretnego, ale jako procesu ciag lego. 9

10 Uogólnienie modelu Cullocha-Pittsa z 1943r Stosuje sie nastepuj ace uogólnienie: z i = g( j w ij z j + w i0 ). (2) We wzorze tym nie uzależnia sie stanu pobudzenia neuronu od czasu τ. Funkcja Θ( ) oznaczajaca funkcje Heaviside a zosta la zastapiona przez ogólna funkcje g( ), zwana funkcja aktywacji (funkcja wyg ladzajac a, funkcja przejścia, funkcja wzmocnienia) umożliwiajac a nieliniowość transformacji. Wartość z i jest funkcja ciag la określajac a stan neuronu w chwili t może być aktualizowana w dowolnej chwili. 10

11 Dzisiaj: Perceptron f funkcja aktywacji, y k - wynik na wyjściu: y k = f(a k ) = f( d j=1 w kj x j + w k0 ) 11

12 Literatura i Źród la danych 1. Ch. M. Bishop, Neural Networks for Pattern Recognition. Clarendon Press, Oxford, Ian Nabney, Netlab: Algorithms for Pattern Recognition. Springer Seria: Advances in Pattern Recognition. ISBN Stanis law Osowski, Sieci neuronowe w uj eciu algorytmicznym. WNT W-wa Józef Korbicz, Andrzej Obuchowicz, Dariusz Uciński, Sztuczne sieci neuronowe. Podstawy i Zastosowania. Akademicka Oficyna Wydawnicza PLJ, Warszawa Rosaria Silipo, Neural Networks, Rozdzia l 7 ksiażki: M. Bertold, D.J. Hand (eds.) Intelligent Data Analysis, Springer Berlin 1999, pp Hertz J., Krogh A., Palmer R.G., Wst ep do teorii obliczeń neuronowych. T lum. z ang., wyd. II, WNT W-wa

13 Software i Dane 1. Netlab neural network software, Neural Computing Research Group, Division of Electric Engineering and Computer Science, Aston University, Birmingham UK, 2. Juha Vesanto, J. Himberg, E. Alhoniemi, J. Parhankangas, SOM Toolbox for Matlab 5. Som Toolbox team, Helsinki University of Technology, Finland, Libella Oy, Espoo 2000, Zbiory danych Univ. of California at Irvine, najpopularniejsze archiwum tzw. benchmarków do analizy danych baza MNIST, NIST i in. htpp://lib.stat.cmu.edu/datasets/ DASL data & story library historia notowań cen akcji. Szukać dla danego papieru historical prices i download. 13

14 Dodatkowa literatura 1. Ch. M. Bishop, Neural networks: a pattern recognition perspective. Technical Report NCRG/96/001, 2. Juha Vesanto, SOM-based data visualization methods. Intelligent Data Analysis, 3 (2) 1999, Anna Kotula, Sieci neuronowe i regresja na przyk ladzie pakietu Netlab. Praca magisterska, IInUWr Dawid Duda. Ewolucja sztucznych sieci neuronowych kodowanych za pomoca gramatyk atrybutowych. Praca magisterska IInUWr Ryszard Tadeusiewicz, Sieci neuronowe, Akademicka Oficyna Wydawnicza, Warszawa Tadeusiewicz R., Elementarne wprowadzenie do techniki sieci neuronowych z przyk ladowymi programami. Akademicka Oficyna Wydawnicza PLJ, Warszawa Jolliffe I.T., Principal Component Analysis, Springer, New York II wydanie: Żurada Dokumentacja Matlabowska... 14

Podobne dokumenty

1 ANN, Sztuczne Sieci Neuronowe, jak powstawa ly.

1 ANN, SZTUCZNE SIECI NEURONOWE, JAK POWSTAWA LY. 1 plik wk1.tex, 9 October 2008 1 ANN, Sztuczne Sieci Neuronowe, jak powstawa ly. 1.1 Neuron biologiczny i sztuczny. Komórka nerwowa i jej struktura Sztuczna