Wyk lad 1. 17.12.2005 Neuron biologiczny Źród lo: Korbicz i in. [4] Synapsa to po l aczenie miedzy dwoma komórkami nerwowymi. 1
neuron biologiczny A B C D Zakoñczenia przedsynaptyczne Akson Dendryt Cia³o komórkowe Zakoñczenie przedsynaptyczne Źród lo: A. Michajlik, W. Ramotowski, Anatomia i fizjologia cz lowieka, Wydawnictwa Lekarskie PZWL, Warszawa 1994, cytowane za: Kotula [3]. 2
Matematyczny model neuronu wg. McCullocha i Pittsa 1943 w i1 w i0 w i2... w ij Jest to model uproszczony w stosunku do rzeczywistego model neuronu do dzisiaj jest podstawa wiekszości modeli. 3
Model Cullocha-Pittsa z 1943r Centralny neuron o numerze i sumuje impulsy dochodzace do niego od neuronów 1, 2,..., j. Sumowanie odbywa si e z wagami w i1, w i2,..., w ij. Do otrzymanej sumy dodaje sie indywidualny (tj. w laściwy dla itego neuronu) Bias wyrażony waga w i0. Otrzymana suma ( aktywacja) jest transformowana przez funkcj e Heaviside a Θ. Wynik transformacji jest przekazywany dalej do nast epnych neuronów. 4
Model Cullocha-Pittsa Na rysunku tym mamy zaznaczony jeden neuron ma on umownie numer i. Do neuronu tego zbiegaja sie sygna ly (bodźce) - jest ich j. Neuron je sumuje z wagami w i1, w i2,..., w ij. Gdy obliczona wartość sumy przekroczy pewna wartość progowa w i0, specyficzna dla danego neuronu, nastepuje jego zap lon, inaczej mówiac, neuron ten znajdzie sie w stanie pobudzenia. Matematycznie stan pobudzenia neuronu wyraża sie dwiema wartościami: 0, gdy pobudzenie neuronu nie przekroczy lo jego specyficznej wartości progowej, i 1, gdy jest przeciwnie. 5
Model Cullocha-Pittsa Rozważamy neuron o numerze i ze specyficzna wartościa progowa w i0. Za lożymy, że stan pobudzenia neuronu jest zjawiskiem dyskretnym zmieniajacym sie w czasie τ w sta lych odstepach czasu τ. Wartość pobudzenia i-go neuronu w czasie τ oznaczmy symbolem z i (τ). Wartość neuronu w chwili τ + τ zależy od tego, jak by ly pobudzone (dostarczajace mu bodźce) neurony z jego otoczenia w momencie poprzedzajacym moment τ. Neuron oblicza sume ważona dostarczanych mu sygna lów. 6
Model Cullocha-Pittsa O ile po dodaniu do wyznaczonej przez neuron sumy wartości progowej otrzyma sie liczbe dodatnia, nastepuje zap lon. Wyrazić to można w sposób nastepuj acy: z i (τ + τ) = Θ( j w ij z j (τ) + w i0 ) (1) Zmienna z i (τ) może mieć wartość 1, gdy i-ty neuron znajduje sie w chwili τ w stanie zap lonu, lub 0, gdy tak nie jest. Wagi w ij wystepuj ace w powyższym wzorze odzwierciedlaja istotność synapsy l acz acej neuron i-ty i j-ty. Wagi moga przyjmować zarówno dodatnie jak i ujemne wartości: w ij > 0 : odpowiednik synapsy pobudzajacej = 0 : brak po l aczenia m. neuronami < 0 : odpowiednik synapsy hamujacej. 7
Model Cullocha-Pittsa Funkcja Θ(a) wystepuj aca we wzorze 1 to funkcja Heaviside a (hardlimit) określona nastepuj aco: Θ(a) = { 1 dla a 0 0 dla a < 0 McCulloch i Pitts wykazali, że przy odpowiednio dobranych wagach w ij synchroniczny zespó l takich neuronów może wykonać te same obliczenia, co uniwersalna maszyna liczaca. 8
Dalsze prace posz ly w kierunku: użycia innych funkcji aktywacji umożliwia to modelowanie procesów nieliniowych, przedstawienia sygna lu z i nie jako procesu dyskretnego, ale jako procesu ciag lego. 9
Uogólnienie modelu Cullocha-Pittsa z 1943r Stosuje sie nastepuj ace uogólnienie: z i = g( j w ij z j + w i0 ). (2) We wzorze tym nie uzależnia sie stanu pobudzenia neuronu od czasu τ. Funkcja Θ( ) oznaczajaca funkcje Heaviside a zosta la zastapiona przez ogólna funkcje g( ), zwana funkcja aktywacji (funkcja wyg ladzajac a, funkcja przejścia, funkcja wzmocnienia) umożliwiajac a nieliniowość transformacji. Wartość z i jest funkcja ciag la określajac a stan neuronu w chwili t może być aktualizowana w dowolnej chwili. 10
Dzisiaj: Perceptron f funkcja aktywacji, y k - wynik na wyjściu: y k = f(a k ) = f( d j=1 w kj x j + w k0 ) 11
Literatura i Źród la danych 1. Ch. M. Bishop, Neural Networks for Pattern Recognition. Clarendon Press, Oxford, 1996. 2. Ian Nabney, Netlab: Algorithms for Pattern Recognition. Springer 2001. Seria: Advances in Pattern Recognition. ISBN 1 85233 440 1. 3. Stanis law Osowski, Sieci neuronowe w uj eciu algorytmicznym. WNT W-wa 1996. 4. Józef Korbicz, Andrzej Obuchowicz, Dariusz Uciński, Sztuczne sieci neuronowe. Podstawy i Zastosowania. Akademicka Oficyna Wydawnicza PLJ, Warszawa 1994. 5. Rosaria Silipo, Neural Networks, Rozdzia l 7 ksiażki: M. Bertold, D.J. Hand (eds.) Intelligent Data Analysis, Springer Berlin 1999, pp. 217 268. 6. Hertz J., Krogh A., Palmer R.G., Wst ep do teorii obliczeń neuronowych. T lum. z ang., wyd. II, WNT W-wa 1993. 12
Software i Dane 1. Netlab neural network software, Neural Computing Research Group, Division of Electric Engineering and Computer Science, Aston University, Birmingham UK, http://www.ncrg.aston.ac.uk/ 2. Juha Vesanto, J. Himberg, E. Alhoniemi, J. Parhankangas, SOM Toolbox for Matlab 5. Som Toolbox team, Helsinki University of Technology, Finland, Libella Oy, Espoo 2000, 1 54. http://www.cis.hut.fi/projects/somtoolbox/ 3. Zbiory danych www.ics.uci.edu/pub/machine-learning-databases/ Univ. of California at Irvine, najpopularniejsze archiwum tzw. benchmarków do analizy danych http://www.kernel-machines.org/data.html baza MNIST, NIST i in. htpp://lib.stat.cmu.edu/datasets/ DASL http://lib.stat.cmu.edu/dasl/alltopics.html data & story library http://finance.yahoo.com, historia notowań cen akcji. Szukać dla danego papieru historical prices i download. 13
Dodatkowa literatura 1. Ch. M. Bishop, Neural networks: a pattern recognition perspective. Technical Report NCRG/96/001, http://www.ncrg.aston.ac.uk/ 2. Juha Vesanto, SOM-based data visualization methods. Intelligent Data Analysis, 3 (2) 1999, 111 126. 3. Anna Kotula, Sieci neuronowe i regresja na przyk ladzie pakietu Netlab. Praca magisterska, IInUWr 2001. 4. Dawid Duda. Ewolucja sztucznych sieci neuronowych kodowanych za pomoca gramatyk atrybutowych. Praca magisterska IInUWr 2005. 5. Ryszard Tadeusiewicz, Sieci neuronowe, Akademicka Oficyna Wydawnicza, Warszawa 1993. 6. Tadeusiewicz R., Elementarne wprowadzenie do techniki sieci neuronowych z przyk ladowymi programami. Akademicka Oficyna Wydawnicza PLJ, Warszawa 1998. 7. Jolliffe I.T., Principal Component Analysis, Springer, New York 1986. II wydanie: 2002. 8. Żurada... 9. Dokumentacja Matlabowska... 14