Wprowadzenie do pulsujących sieci neuronowych

Transkrypt

1 Zakład Algebry i Kombinatoryki Wydział Matematyki i Nauk Informacyjnych 31 maja 2017

2 Wstęp

3 Plan prezentacji Biologiczna inspiracja modeli neuronów. Modelowe neuronów naturalnych. Neurony trzeciej generacji dla sztucznych sieci neuronowych. Sieci pulsacyjne. Dynamika sieci neuronowych. Przykłady zastosowań.

4 Motywacje Mózg ludzki zawiera około 86 miliardów neuronów [5] i średnio 7000 synaps na neuron [4]. System masowo równoległy. Odporny na błędy i uszkodzenia. Elastyczny. Efektywny energetycznie.

5 Obliczenia inspirowane biologią Neurobiologia obliczeniowa. Badanie własności układu nerwowego w tym, na pewnym poziomie, zdolności obliczeniowych. Szukanie istotnych własności z punktu widzenia możliwości przetwarzania informacji. Wzorowanie sztucznych układów na układach biologicznych Biocybernetyka.

6 Budowa neuronów biologicznych Mechanizmy biofizyczne Biologiczna inspiracja modeli neuronów

7 Budowa neuronów biologicznych Mechanizmy biofizyczne Rysunek: Neuron piramidalny z kory mózgowej człowieka. Źródło:

8 Budowa neuronu bilogicznego Budowa neuronów biologicznych Mechanizmy biofizyczne Rysunek: Struktura typowego neuronu. Źródło:

9 Budowa neuronu bilogicznego Budowa neuronów biologicznych Mechanizmy biofizyczne Rysunek: Synapsa. Źródło:

10 Budowa neuronów biologicznych Mechanizmy biofizyczne Rysunek: Synapsa chemiczna. Źródło:

11 Błona komórkowa Budowa neuronów biologicznych Mechanizmy biofizyczne Rysunek: Membrana komórkowa i pompy jonowe. Źródło:

12 Potenciał Nernsta Budowa neuronów biologicznych Mechanizmy biofizyczne Ponieważ wymiana jonów przez błonę komórkową jest niewielka to możemy układ traktować jako znajdujący się w stanie równowagi termodynamicznej. Rozważmy problem znalezienia potencjału Nernsta dla jonów potasu K + [1] ( p 1 = exp U ) 2 U 1, (1) p 2 RT gdzie p 1 i p 2 to prawdopodobieństwa znalezienia układu w stanie 1 i 2 jeśli różnica pomiędzy energiami, w których znajduje się badany układ wynosi: U 2 U 1. T oznacza temperaturę bezwzględną w Kelwinach, a k b stałą Boltzmanna.

13 Budowa neuronów biologicznych Mechanizmy biofizyczne Możemy teraz zapisać potencjał Nernsta w postaci ( C 1 = exp U ) 2 U 1 C 2 RT (2) gdzie C 1 i C 2 oznacza koncentracje jonów potasu, a R to stała gazowa równa R = k B N. Ostatecznie otrzymujemy U 2 U 1 = RT ln ( C2 C 1 ). (3)

14 Budowa neuronów biologicznych Mechanizmy biofizyczne W naszym przypadku różnica energii U 2 U 1 jest różnicą potencjałów (Nernsta) błony komórkowej E 2 E 1 E s = E 2 E 1 = RT z s F ln ( C2 C 1 ), (4) bo U 2 U 1 = z s F (E 2 E 1 ), gdzie C 1 i C 2 oznacza jonów potasu, R to stała gazowa równa R = k B N, F to stała Faradaya, a z s to wartość ładunku jonu.

15 Budowa neuronów biologicznych Mechanizmy biofizyczne W stanie równowagi na zewnątrz na zewnątrz błony komórkowej znajdują się ładunki dodatnie a wewnątrz ujemnie. Różnicę tych potencjałów nazywamy potencjałem spoczynkowym. Potencjał spoczynkowy waha się mniej więcej od 90 mv do 146 mv. [?] Po przekroczeniu wartości progowej w neuronie następuje wygenerowanie potencjału czynnościowego.

16 Budowa neuronów biologicznych Mechanizmy biofizyczne Rysunek: Zmiany potencjału błony komórkowej podczas trwania potencjału czynnościowego. Źródło:

17 Budowa neuronów biologicznych Mechanizmy biofizyczne Rysunek: Potencjał czynnościowy. Źródło:

18 Budowa neuronów biologicznych Mechanizmy biofizyczne Modele neuronów pulsujących

19 Model Izhikevich Podstawowym modelem przy opisie komórek nerwowych jest model błony synaptycznej zaproponowany przez Alana Lloyda Hodgkina i Andrew Fieldinga Huxleya w (Nagroda Nobla w 1963 roku) Rysunek: Źródło: [3]

20 Model Izhikevich Badania prowadzone były na olbrzymim aksonie ośmiornicy, który ma długość do 10 cm i średnicę 1mm. Rysunek: Kamlar pospolity (Loligo vulgaris). Źródło:

21 Model Izhikevich Przy różnicy potencjałów V pomiędzy zewnętrzną i wewnętrzną stroną ściany komórkowej aksonu i dla ustalonego gradientu stężenia jonów, czyli dla potencjału Nernsta otrzymujemy potencjał wypadkowy (elektrochemiczny) (V E s ). Natężenie prądu dla danego typu jonów przyjmuje postać: I k = V E s R k, (5) gdzie R k to opór właściwy dla danego typu jonów. Ostatecznie oznaczając przez g k przewodność otrzymujemy I k = g k (V E s ). (6)

22 Model Izhikevich Błonę komórkową możemy traktować jako kondensator (dwie strony to okładki). Pojemność błony oznaczmy przez C = Q V, gdzie Q to ładunek, a V potencjał. Natężenie prądu natomiast to zmiana ładunku w czasie I = dq(t) dt. dv (t) Ostatecznie I = C dt.

23 Model Izhikevich Naszym celem jest na razie wyznaczenie całkowitego prądu płynącego przez błonę komórkową: dv (t) I (t) = C + I Na + I Ka + I Ca + I Cl, (7) dt gdzie I Na, I Ka, I Ca oraz I Cl to wartości prądów pochodzące od każdego z rodzajów jonów. Ostatecznie dv (t) C = I (t) I Na I K I Ca I Cl. (8) dt otrzymujemy równanie różniczkowe na zmianę potencjału błony komórkowej aksonu.

24 Model Izhikevich Możemy otrzymany układ dynamiczny zapisać w postaci: dv (t) C = I (t) g Na (V E Na ) g Ca (V E Ca ) g Cl (V E Cl ) g K (V E K ). dt (9) Do pełnego opisu neuronu potrzebujemy jednak jeszcze opis zmian wartości przewodności, która zależy od przepuszczalności kanałów jonowych, a ta z kolei od otwarcia lub zamknięcia tak zwanych bramek, które oznaczmy przez wartości h, m, n.

25 Model Izhikevich Ostatecznie zmiany tych wartości w czasie dn dt = α n(v )(1 n) + β n (V )n, (10) dm dt = α m(v )(1 m) + β m (V )m, (11) dh dt = α h(v )(1 h) + β h (V )h, (12) gdzie α i β to stałe związane z szybkością zmiany w zależności od V.

26 Model Izhikevich Układ równań opisujący zachowanie neuronu przyjmuje ostatecznie postać: dv (t) C = I (t) g L (V E L ) g Na m 3 h(v E Na ) g K n 4 (V E K ) (13) dt dn dt = α n(v )(1 n) + β n (V )n, (14) dm dt = α m(v )(1 m) + β m (V )m, (15) dh dt = α h(v )(1 h) + β h (V )h, (16)

27 Model Izhikevich gdzie 10 V α n (V ) = 0.01 exp ( ), (17) 10 V 10 1 β n (V ) = V 80, (18) 25 V α m (V ) = 0.1 exp ( ), 25 V 10 1 (19) β h (V ) = β m (V ) = 4 V 18, (20) α h (V ) = 0.07 V 20, (21) 1 exp ( ). (22) 30 V

28 Model Izhikevich Współcześnie równania przyjmują postać: dn dt = (n (V ) n), (23) τ n (V ) n = m = h = dm dt = (m (V ) m), (24) τ m (V ) dh dt = (h (V ) h), (25) τ h (V ) α n 1, τ n =, (26) α n + β n α n + β n α m 1, τ m =, (27) α m + β m α m + β m α h 1, τ h =, (28) α h + β h α h + β h gdzie τ m (V ), τ n (V ) i τ h (V ) to współczynniki wyznaczone empirycznie.

29 Model Izhikevich Wady i zalety modelu Hodgkinga-Huxleya Dobre odwzorowanie działania rzeczywistego neuronu. Kosztowny obliczeniowo. Potrzebuje 120 operacji zmiennoprzecinkowych dla obliczenia 0.1 ms (1200 operacji na milisekundę działania)[7]. Istnieje jednak wiele potencjalnych możliwości modyfikacji.

30 Model Izhikevich jest zbyt skomplikowany i kosztowny obliczeniowo dla większości zastosowań. Istnieje wiele alternatywnych modeli neuronów. Od szeroko stosowanego, bo prostego i taniego obliczeniowo w implementacji Itegrate-and-fire, przez Resonate-and-Fire do bardziej złożonych Hodkinga-Huxleya, FitzHugh-Nagumo, Morrisa-Lecara. Ciekawym kompromisem pomiędzy odwzorowaniem rzeczywistych neuronów a efektywnością implementacji jest model Izhikevicha [?].

31 Model Izhikevicha Model Izhikevich Model Izhikevicha możemy zdefiniować przy pomocy następujących równań [6]: oraz dodatkowo z warunkiem: dv dt = 0.04v 2 + 5v u + I, du = a(bv u) dt if v 30mV, then v { v c v u + d, gdzie a, b oraz c to parametry, I to prąd synaptyczny (lub wprowadzony bezpośrednio). Parametr v to potencjał błony komórkowej, natomiast u to powrót wartość parametru powrotu do stanu równowagi.

32 Podsumowanie Model Izhikevich Modele pulsujące dokładniej odwzorowują funkcje rzeczywistych neuronów (należy jednak pamiętać, że rzeczywiste neurony są bardzo skomplikowanymi tworami). Ich koszt obliczeniowy jest większych niż modeli pierwszej i drugiej generacji, ale możliwe są kompromisy przy zachowanych własnościach właściwych neuronom biologicznym. Możliwe jest tworzenie przy ich pomocy sieci wykonujących zadania w sposób bardziej przypominający to co dzieje się w żywych organizmach. Obiecujący kierunek badań zarówno ze względu na zrozumienie układów biologicznych jak i potencjalne zastosowania techniczne.

33 Model Izhikevich Dziękuje za uwagę

34 Model Izhikevich Hille, Bertil, Ion Channels of Excitable Membranes (3rd Edition), ISBN Eugene M. Izhikevich, Dynamical Systems in Neuroscience: The Geometry of Excitability and Bursting, The MIT Press, Hodgkin AL, Huxley AF. A quantitative description of membrane current and its application to conduction and excitation in nerve. The Journal of Physiology. 1952;117(4): David A. Drachman, MD, Do we have brain to spare?, Neurology June 28, 2005 vol. 64 no Azevedo FA et al. Equal numbers of neuronal and nonneuronal cells make the human brain an isometrically scaled-up primate brain., J. Comp. Neurol Apr 10;513(5): doi: /cne Eugene M. Izhikevich, Simple Model of Spiking Neurons, IEEE Transactions on Neural Networks (2003) 14:

35 Model Izhikevich Eugene M. Izhikevich,Which Model to Use for Cortical Spiking Neurons?, EEE Transactions on Neural Networks (2004) 15: