MODELOWANIE OSCYLACYJNYCH SIECI NEURONOWYCH W ŚRODOWISKU PROGRAMISTYCZNYM MATLAB

Transkrypt

1 Wiesła Citko Akademia Morska Gdyni MODELOWANIE OSCYLACYJNYCH SIECI NEURONOWYCH W ŚRODOWISKU PROGRAMISTYCZNYM MATLAB W pracy poruszono zagadnienia ziązane z inteligencją obliczenioą, szczególności zaś przedstaiono realizację bezstratnej, hamiltonoskiej sieci neuronoej formie sprzężonych oscylatoró fazoych. Zaproponoano model takiej sieci środoisku programistycznym Matlab-Simulink oraz omóiono yniki badań symulacyjnych. Słoa kluczoe: przetarzanie sygnałó, hamiltonoskie sieci neuronoe, modeloanie procesó dynamicznych. WSTĘP W ostatnich dekadach nastąpił znaczący rozój metod inteligencji obliczenioej, podyktoany zrostem zapotrzeboania na alternatyne do klasycznych algorytmó metody roziązyania różnych, często bardzo złożonych problemó numerycznych. Do metod inteligencji obliczenioej zależności od przyjętej klasyfikacji zalicza się: metody ykorzystujące logikę rozmytą, algorytmy genetyczne oraz metody bazujące na zastosoaniu sztucznych sieci neuronoych. Sztuczne sieci neuronoe, które mają naśladoać sieci biologiczne, mogą mieć różne struktury, mogą także być dedykoane do realizacji penych ściśle określonych zadań. W prezentoanym artykule przedstaiono yniki modeloania autorskiej oscylacyjnej sieci neuronoej środoisku obliczenioym Matlab-Simulink. Koncepcja analizoanej sieci neuronoej yodzi się bezpośrednio z koncepcji bezstratnych sieci neuronoych, które literaturze przedmiotu określa się także jako hamiltonoskie sieci neuronoe (Hamiltonian Neural Netorks) [9,, ]. Badane struktury mają charakter sieci oscylacyjnych, ale istnieją proste transformacje pozalające na przekształcenie ich sieci stałoprądoe, których są tórczym rozinięciem []. Oscylacyjne sieci neuronoe analizoanego typu składają się ze struktur połączonych pętli fazoych (Phase Locked Loop). Na podkreślenie zasługuje fakt, że informacje ejścioe takim przypadku mogą być zakodoane zaróno ektorze deiacji częstotliości generatoró ejścioych, jak i ektorze napięć stałych, które po dodaniu do przefiltroanego sygnału yjścioego przestrajają generatory steroane napięciem, ystępujące pętlach fazoych (Voltage Controlled Oscillator).

2 W. Citko, Modeloanie oscylacyjnych sieci neuronoych środoisku programistycznym Matlab. KONCEPCJA OSCYLACYJNEJ SIECI NEURONOWEJ Architektura sieci neuronoych z ykorzystaniem sprzężonych pętli fazoych (PLL) na podstaie modelu Kuramoto [8], została zaproponoana pracach Hoppensteadta [, ]. Śledząc doniesienia literaturoe można zaobseroać, że badania nad tego typu strukturami są dalszym ciągu kontynuoane [,, ]. Także autor prezentoanej pracy proadzi niezależnie badania nad możliością implementacji procesoró sygnałoych, opartych na hamiltonoskich sieciach sprzężonych pętli fazoych [, ]. Jedną z głónych przesłanek uzasadniających badania nad oscylacyjnymi implementacjami sieci neuronoych jest ich uniersalność modeloaniu biologicznych, fizycznych i technicznych systemó dynamicznych. Sieci te ykazują także peną analogię ze strukturami biologicznymi, które z natury są oscylacyjne. Podstaoym elementem hamiltonoskiej oscylacyjnej sieci neuronoej jest bezstratny neuron, którego struktura zaiera die pętle fazoe. Model takiego neuronu zaprezentoano na rysunku. s (t) e (t) H (s) LPF Γ y (t) v (t) V.C.O. v (t) V.C.O. - s (t) e (t) H (s) LPF Γ y (t) s i (t) = A Ci sin(ω Ci t + φ i ) v i (t) = A vi cos(ω Ci t + φ i ), i =, Γ, Γ ejścia stałoprądoe Rys.. Oscylacyjny (PLL) model bezstratnego neuronu (H i(s), i =, ) Fig.. The oscillating ( PLL) model of the lossless neuron (H i(s), i =, ) Dynamika naet pojedynczej pętli fazoej jest bardzo złożona, z tego zględu ygodnie jest czasami posługiać się analizach teoretycznych penymi przybliżeniami []. Takim przybliżeniem jest uśrednione rónanie

3 ZESZYTY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr 9, grudzień fazoe, które dla bezstratnego neuronu z rysunku, przy założeniu braku filtró pętloych, tzn. H i (s), dane jest yrażeniem: x x ± k = π v kvkmac Av kma C A v sin x sin x φ + φ gdzie: k vi, k mi (i =, ) czułości oscylatoró VCO i detektoró fazy, x = φ = φ. φ, x φ k π v kv Γ Γ Strukturę pojedynczego neuronu z rysunku można rozszerzać, torząc ten sposób oscylacyjny model n-neuronoej sieci o dynamicznie zmiennych agach połączeń. Model ten zaprezentoano na rysunku. Wagi połączeń zależą od iloczynó zmocnień pętli fazoych. Należy zrócić uagę na fakt, że sieć traci soje cechy funkcjonalne przy braku sygnałó ejścioych s. () s (t) y (t) H (s) VCO Γ v (t) s (t) y (t) H (s) VCO Matryca połączeń pętli fazoych Γ v (t) s n(t) y n(t) Γ n v n(t) H n(s) VCO n Rys.. Struktura sieci neuronoej (PLL) Fig.. The structure of the neural netork (PLL) Uśrednione rónanie fazoe sieci z rysunku, bez uzględnienia filtró pętloych, dane jest yrażeniem: d dt Ψs Ψs Ψ sn kvkmac Av ± kvkm AC Av ± kvkmk ACk Avk Ψ sin( Ψs Ψ ) Δω kv Γ Ψ kv km AC Av ± kv kmk ACk Avk Ψ Ψ Δ Γ sin( = s ) ω k π + π V Ψ n sin( Ψsn Ψn ) Δωn kvnγn kvkkmk AC Av kvkkmac Av kvkkmk ACk Avk gdzie: s i (t) = A Ci sin(ω i t + Ψ si ), v i (t) = A Vi sin(ω i t + Ψ i ), Δω i deiacja częstotliości sygnału s i (t), i =,, n. ()

4 W. Citko, Modeloanie oscylacyjnych sieci neuronoych środoisku programistycznym Matlab Sieć pętli fazoych stanie synchronizacji stanoi oscylacyjny model sieci neuronoej, na podstaie którego można konstruoać uniersalne procesory sygnałoe (analizatory idma Haara-Walsha, klasyfikatory, filtry ortogonalne, modele odzoroań nielinioych, pamięci asocjacyjne).. MODEL OSCYLACYJNEJ SIECI NEURONOWEJ W ŚRODOWISKU MATLAB Środoisko obliczenioe MATLAB (Matrix Laboratory) jest uniersalnym narzędziem programistycznym, znajdującym szerokie zastosoanie ielu dziedzinach nauki i techniki. Pozala ono m.in. na modeloanie złożonych procesó dynamicznych, spradzanie popraności modeli matematycznych, ykonyanie skomplikoanych obliczeń numerycznych oraz izualizację otrzymanych ynikó. Znakomicie nadaje się także do modeloania sztucznych sieci neuronoych, a szczególności oscylacyjnych sieci neuronoych, które są przedmiotem niniejszej pracy. Podstaoym elementem struktury oscylacyjnych sieci neuronoych jest pojedynczy neuron, którego realizację środoisku Matlab-Simulink zaprezentoano na rysunku. Zasadnicze elementy składoe takiego neuronu stanoią pary detektoró fazy, generatoró VCO oraz dolnoprzepustoych filtró pętloych. Sygnałami ejścioymi przypadku zastosoania takiej realizacji neuronu mogą być zaróno deiacje częstotliości generatoró Sin_Wave_ i Sin_Wave_, jak i stałe napięcia Constant_ i Constant_. Rys.. Model bezstratnego neuronu środoisku programistycznym Matlab-Simulink Fig.. The lossless neuron model development in Matlab-Simulink environment

5 ZESZYTY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr 9, grudzień Posiadając zdefinioany model pojedynczego neuronu, stosunkoo łato można dokonać syntezy bardziej złożonej struktury przez kompatybilne połączenie pojedynczych neuronó. Propozycję modelu 8-ymiaroej oscylacyjnej sieci neuronoej zaprezentoano na rysunku. W przedstaionym modelu yróżnić można da zasadnicze bloki funkcyjne: blok generatoró steroanych napięciem Blok_VCO oraz blok dolnoprzepustoych filtró pętloych Filtry. In In Out In Out Sine Wave In In Out In Out Sine Wave In In Out In Out Sine Wave Sine Wave In In8 In9 In Out Out In In Out Out W* u Demux Sine Wave In In Out In Out Gain Sine Wave In In Out In Out Sine Wave In In Out8 In8 Out8 Sine Wave8 Blok VCO Filtry c() C c() C c() C c() C c() C c() C c() C c(8) C8 Rys.. Model 8-neuronoej oscylacyjnej sieci środoisku programistycznym Matlab-Simulink Fig.. The model of the 8 neurons oscillatory neural netork in Matlab-Simulink environment Strukturę połączeń pomiędzy neuronami zrealizoano za pomocą zmacniacza Gain, realizującego operację mnożenia W u, gdzie W to macierz połączeń między neuronami, a u ektor sygnałó po filtracji dolnoprzepustoej. Pojedynczy element struktury Blok_VCO zaprezentoano na rysunku, a realizację filtru pętloego będącego częścią bloku Filtry na rysunku. VCO In In Continuous-Time VCO Product Out Rys.. Pojedyncza pętla fazoa (element bloku Blok_VCO) Fig.. The single phase loop (block element Blok_VCO)

6 W. Citko, Modeloanie oscylacyjnych sieci neuronoych środoisku programistycznym Matlab Rys.. Pojedynczy filtr pętloy (element bloku Filtr) Fig.. The single loop filter (block element Filtr) Należy podkreślić, że zastosoanie naet bardzo prostego filtru pętloego o transmitancji operatoroej idocznej na rysunku pozoliło na uzyskanie zadoalających ynikó obliczeń.. PRZYKŁAD OBLICZENIOWY W celu spradzenia popraności opracoanego modelu oscylacyjnej sieci neuronoej zrealizoano analizator idma Haara-Walsha, bazujący na strukturze z rysunku. Sygnały ejścioe dośiadczeniach numerycznych zostały proadzone na da sposoby jako ektor deiacji częstotliości (przykład ) i ektor napięć stałych (przykład ). Macierz połączeń pomiędzy neuronami W przypadku realizacji funkcji analizatora idma Haara-Walsha dana jest yrażeniem: = W W () gdzie macierz W należy do rodziny macierzy Radona-Huritza: = W () Wartości parametró macierzy połączeń W : i =.; dla i =,,...,, mnożnik macierzy jednostkoej =.. Parametry generatoró pętloych (VCO): czułość k v,= V/Hz, częstotliość spoczynkoa f V = Hz, ampituda A V = V.

7 ZESZYTY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr 9, grudzień Parametry generatoró sygnałoych (informacyjnych): amptlituda A C = V, częstotliość podstaoa f C = Hz. Przykład Informacja ejścioa podana formie ektora deiacji częstotliości: Δω = [-., -., -.,., -,,., -.,,] T. W yniku symulacji uzyskano odpoiedź sieci: y s = [.,.,.,.,.,.,.,.] T. Przykład Informacja ejścioa podana formie ektora napięć stałych: Γ = [-., -., -.,., -,,., -.,,] T. W yniku symulacji uzyskano odpoiedź sieci: y s = [.,.,.,.,.,.,.,.] T. Zaróno przypadku pobudzenia ektorem deiacji częstotliości, jak i ektorem napięć stałych uzyskano zgodność ynikó symulacji z przeidyaniami teoretycznymi: y a = [.,.,.,.,.,.,.,.] T. Sieć dokonała praidłoej analizy sygnału ejścioego, yniku czego uzyskano jego idmo Haara, przemnożone przez peien stały czynnik ynikający z doboru konkretnych zmocnień pętli fazoych. Przedstaiono yniki po czasie sekund. Na przebiegach yjścioych można się jednak było dopatrzyć penych oscylacji okół artości nominalnej. Oscylacje te są ynikiem zastosoania bardzo prostych fitró pętloych i można się ich stosunkoo łato pozbyć poprzez zastosoanie bardziej złożonych filtró pętloych. Wiązałoby się to jednak ze znacznym zrostem nakładu obliczenioego, co sposób ydatny ydłużyłoby czasy symulacji. PODSUMOWANIE W pracy ykazano, że możlie jest zbudoanie efektynego modelu oscylacyjnej sieci neuronoej środoisku programistycznym Matlab-Simulink. Pokazano także strukturę procesora neuromorficznego realizującego funkcję analizatora idma Haara-Walsha. Sygnałami ejścioymi analizoanym modelu sieci neuronoej mogą być zaróno napięcia stałe, jak i deiacje częstotliości generatoró sterujących. W obu przypadkach uzyskano te same yniki zgodne z przeidyaniami teoretycznymi. Należy podkreślić, że dynamika połączonych pętli fazoych jest bardzo złożona, dlatego ymagana jest duża staranność przy

8 W. Citko, Modeloanie oscylacyjnych sieci neuronoych środoisku programistycznym Matlab doborze parametró modeli i algorytmó obliczenioych, gdyż niełaściy ich dobór może nie zapenić zbieżności algorytmó numerycznych lub proadzić do błędnych ynikó. LITERATURA. Acebron J., Bonilla L., Vincente C., Ritort F., Spigler R., The Kuramoto model: a simple paradigm for synchronization phenomena, Revies of Modern Physics,,, s. 8.. Citko W., Sieńko W., Badania symulacyjne i modeloanie sieci neuronoych jako sieci pętli fazoych, IV Krajoa Konferencja Elektroniki, Kołobrzeg, s Citko W., Sieńko W., Oscylacyjne czy stałoprądoe implementacje sztucznych sieci neuronoych, V Krajoa Konferencja Elektroniki, Kołobrzeg, s. 9.. Hoppensteadt F.C., Izhikevich E.M., Pattern Recognition Via Synchronization in Phase-Locked Loop, Neural Netorks, IEEE Transactions on Neural Netorks, May, vol., no... Hoppenstead F., Izhikevich E., Weakly Connected Neural Netork, Ne York Springer, 99.. Izhikevich E., Dynamical Systems in Neuroscience: The Geometry of Excitability and Bursting, The MIT Press, Cambridge, MA,.. Kudreicz J., Dynamika pętli fazoej, Wydanicto Naukoo-Techniczne, Warszaa Kuramoto Y., Chemical Oscillations, Waves and Turbulence, Springer-Verlag, Berlin Sieńko W., Citko W., Hamiltonian Neural Netorks Based Netorks for Learning [:] Machine Learning, red. A. Mellouk, A. Chebira, I-Tech, Vienna, January 9, s. 9.. Sieńko W., Citko W., Realizacja sieci neuronoych z zastosoaniem pętli fazoych, III Krajoa Konferencja Elektroniki, KKE', Kołobrzeg, s... Sieńko W., Citko W., Quantum Signal Processing via Hamiltonian Neural Netorks, International Journal of Computing Anticipatory Systems,, vol., s... Sieńko W., Citko W., Jakóbczak D., Learning and System Modeling via Hamiltonian Neural Netorks, Artificial Intelligence and Soft Computing th International Conference, Zakopane, Lecture Notes in Artificial Intelligence, Springer-Verlag, Heidelberg, s... Strogatz S., From Kuramoto to Craford exploring the onset of synchronization in populations of coupled oscillators, Physica D,, vol., s.. OSCILLATORY NEURAL NETWORK MODELLING IN MATLAB-SIMULINK PROGRAMMING ENVIRONMENT Summary Computational intelligence methods have recently been idely used to solve many technical problems. Artificial neural netorks are also computational intelligence methods. Oscillatory neural netorks composed of connected phases loop have been researched in this study.models of such netorks and the results of computer simulation are presented in this paper. Keyords: signal processing, Hamiltonian neural netorks, modelling of dynamical systems.