Micha Rutkowski 133350 Wrocaw, 4 czerwca 2007 Sieci neuronowe praca zaliczeniowa z przedmiotu Informatyka systemów autonomicznych PROWADZ+CY: dr in/. Marek Piasecki 1 Trzy sowa wstpu W niniejszej pracy postaram si2 przedstawi3 zagadnienie sztucznych sieci neuronowych (SSN) lub jak kto woli z angielskiego artificial neural network (ANN). Zagadnienie te jest spore, wi2c nie b2dzie to kompleksowe przedstawienie problemu, a raczej krótka próba przybli/enia zagadnienia, wraz z omówieniem pewnych cech SSN b2d:cych ich unikalnymi wa;ciwo;ciami oraz pokazanie pewnych interesuj:cych przykadów zastosowania SSN. Od czego wi2c zacz:3. SSN jak to cz2sto w ;wiecie nauki bywa zostay zainspirowane przyrod:, a dokadniej mózgiem, a dokadniej rzecz ujmuj:c sposobem jakim mózg dziaa i pracuje. Nale/y wi2c zada3 pytanie:
2 Jak pracuje mózg Czytaj:c przeró/ne czasopisma popularno naukowe czy te/ ogl:daj:c ró/ne filmy z gatunku dokumentalnego / edukacyjnego mo/na si2 spotyka3 z okre;leniem, /e mózgu to biologiczny komputera. Porównanie to jest trafne je;li chodzi o funkcje mózgu mo/na mózg traktowa3 jako centraln: jednostk2 obliczeniowa (z ang. CPU, czyli potocznie procesor) która podejmuje najwa/niejsze decyzje w organizmie oraz steruje jego prac:. Je;li jednak odnie;3 si2 do zasady dziaania mózgu porównanie go do procesora jest zgoa nie wa;ciwe. Mózg pracuje na odmiennych zasadach, ni/ tradycyjny komputer. W zwykym komputerze procesor wykonuj:cy obliczenia jest oddzielony od pami2ci. W mózgu za; rol2 pami2ci spenia sama jego budowa. Mózg sam w sobie jest czym; na miar2 pami2ci asocjacyjnej w której indeksami s: obrazy, zapachy, wspomnienia czy te/ rozmaite inne impulsy dostarczane do mózgu (np. ból, zachwianie równowagi, wzrost temperatury itp., itd). Równie/, operacje jakie wykonuje mózg s: znacznie prostsze ni/ operacje jakie wykonuje nasz procesor AMD czy Intela, no bo czy kto; umie w gowie policzy3 sum2 2 liczb zmienno przecinkowych (notabene dziaanie takie mózgowi nie jest do niczego potrzebne). Operacje jakie wykonuje mózg to co najwy/ej dodawania, odejmowanie, dzielenie i mno/enie. Nasuwa si2, wi2c pytanie w czym tkwi sekret, skoro mózg jest taki prosty to jak to si2 dzieje, /e dziaa tak dobrze? Odpowiedz na to pytanie jest do;3 prosta, mózg stawia na ilo;3 operacji, a nie na ich skomplikowanie (co; jak procesory RISC), a te ilo;ci s: naprwad2 ogromne. Ludzki mózg zbudowany jest z ok. 100 miliardów pojedynczych komórek nerwowych zwanych neuronami. Pomi2dzy neuronami znajduj: si2 cieniutkie po:czenia - aksony. Aksonów jest okoo 10 15, a liczba operacji na sekund2 jak: wykonuje mózg to okoo 10 8 GHz (dla porównania procesor Intel Core 2 Duo zmuszono do pracy z cz2stotliwo;ci: 6GHz, tyle /e procesor by chodzony ciekym azotem). Podsumowuj:c, porównanie mózgu do procesora mo/na nazwa3 obraz:, je;li wzi:3 pod uwag2 zakres operacji jakie mózg wykonuje i nadzoruje oraz z jak: gracj: mu to wychodzi. Mózg mo/na raczej przyrówna3 do klastra, gdzie ogromne ilo;ci operacji i danych s: wykonywane w uamkach sekund (przy czym klastra bardzo wyspecjalizowanego i prostego). Przyjrzyjmy si2, wi2c budowie neuronu.
3 Neuron Gywy neuron przedstawia si2 nast2puj:co: Rysunek 1. Neuron. Obja;nienie: J dro - "centrum obliczeniowe" neuronu. To tutaj zachodz: procesy kluczowe dla funkcjonowania neuronu. Akson - "wyj;cie" neuronu. Za jego po;rednictwem neuron powiadamia inne neurony o swojej reakcji na dane wej;ciowe. Neuron ma tylko jeden akson. Wzgórek aksonu - st:d wysyany jest sygna wyj;ciowy, który w2druje dalej poprzez akson. Dendryt - "wej;cie" neuronu. T2dy trafiaj: do j:dra sygnay maj:ce by3 w nim pójniej poddane obróbce. Dendrytów mo/e by3 wiele. Synapsa - mo/ne by3 traktowana jako brama do j:dra neuronu. Mo/e ona zmieni3 moc sygnau napywaj:cego poprzez dendryt. Wzoruj:c si2 na /ywym neuronie mo/na przyj:3 model : Rysunek 2. Model neuron.
Mamy ju/ jeden neuron. Wa;ciwie to nawet jeden neuron mo/na zmusi3 do dziaania, gdy/ wa;ciwie jest to sie3 jednoelementowa. Aby jednak móc u/y3 sieci w jakim; powa/nym celu, trzeba u/y3 wi2kszej ilo;ci neuronów. Jak wida3 z rysunków 1 i 2, neuron mo/e mie3 jeden lub wi2cej dendrytów (a dla ka/dego po jednej synapsie) i dokadnie jeden akson. K:czymy je w prosty sposób: po pierwsze ukadamy je warstwami. Mo/na zbudowa3 sie3 o jednej, dwóch, trzech lub wi2cej warstwach przy czym przy typowych zastosowaniach stosuje si2 najcz2;ciej trzy warstwy. Neurony nale/:ce do danej warstwy nie maj: ze sob: /adnego kontaktu (w najprostszym modelu). Wygl:da to mniej wi2cej tak: Rysunek 3. Model sieci neuron. Na rysunku powy/ej przedstawiono sie3 jednokierunkow:. W takiej sieci sygnay pyn: równo i spokojnie od wej;cia poprzez warstwy ukryte do wyj;cia. Inn: odmian: SSN s: sieci rekurencyjne (rysunek 4). Ró/nica polega na tym, /e w sieci rekurencyjnej wyst2puj: tzw. sprz2/enia zwrotne. Za ich po;rednictwem sygnay mog: po przej;ciu danej warstwy wraca3 na jej wej;cie, zmieniaj:c przy tym swoje warto;ci, co powtarza si2 wiele razy, a/ do osi:gni2cia pewnego stanu ustalonego.
Wej%cia sieci Warstwa pierwsza Warstwa wewntrzna Warstwa wyj%ciowa Wyj%cia sieci Rysunek 4. Model sieci neuron ze sprzeniem zwrotnym. Czarna strzaka sprzenie zwrotne z wyj!cia na wej!cia neuronów. 4 Co potrafi sieci neuronowe Klasyfikacja i rozpoznawanie sie3 uczy si2 podstawowych cech prezentowanych wzorców i na jej podstawie podejmuje odpowiedni: decyzj2 klasyfikacyjn:. Rysunek 5a i b. Klasyfikacja i rozpoznawanie Aproksymacja siec peni rol2 uniwersalnego apoksymatora funkcji wielu zmiennych, realizuj:c funkcj2 nieliniow: postaci y=f(x) Asocjacja sie3 zapami2tuje zbiór wzorców w taki sposób, aby po zaprezentowaniu nowego wzorca reakcj: sieci byo wytworzenie zapami2tanego wzorca, który jest najbardziej podobny do nowego.
Rysunek 6. Asocjacja Heteroasocjacja sie3 zapami2tuje i kojarzy pary obrazów i nawet znieksztacony obraz wej;ciowy mo/e wywoa3 wa;ciw: heteroasocjacj2 na wyj;ciu (heteroasocjacja obejmuje problem klasyfikacji) Rysunek 7. Heteroasocjacja Optymalizacja pozwala na minimalizacj2 pewnych funkcji kosztu, zwykle zadanych przez u/ytkownika. Sie3 samoczynnie poszukuje minimum tzw. funkcji energii (warto;ci zale/nej od stanu sieci), dochodzi do stanu o minimalnej energii i w nim zostaje (np. problem szeregowania zadap) Grupowanie danych i wykrywanie cech: o grupowanie danych sie3 samoczynnie wykrywa podobiepstwo w przetwarzanych danych o wykrywanie cech cz2sto jest zwi:zane z redukcj: wymiarów. Mog: realizowa3 odwzorowanie cech wielowymiarowego sygnau wej;ciowego o zo/onej strukturze na paszczyzn2 (np. prowadzone s: eksperymenty z kompresj: obrazów za pomoc: SSM, wyniki takiej kompresji s: lepszej jako;ci ni/ kompresji algorytmami tradycyjnymi, ale niestety czas takiej kompresji jest znacznie du/szy)
5 Uczymy si Sie3, podobnie jak czowiek, mo/e zarówno by3 uczona przez nauczyciela, jak i zdobywa3 wiedze cakiem samodzielnie. X SSN Y BK+D ODP Rysunek 8a. Uczenie nadzorowane Rysunek 8b. Uczenie nienadzorowane Uczenie nadzorowane dla ka/dej warto;ci wchodz:cej w skad sygnay wej;ciowego znana jest poprawna odpowiedz (warto;3 wyj;ciowa). Na podstawie ró/nicy mi2dzy warto;ci: rzeczywist:, a warto;ci: po/:dan: nast2puje korekcja wag. Uczenie nie nadzorowane - ró/ni si2 od zwykego uczenia gównie tym, /e sie3 otrzymuje tylko obiekt wej;ciowy, bez narzuconego dla niego wyj;cia. Nikt jej nie sugeruje, jak ma na dany obiekt reagowa3. Wagi ka/dego z neuronów w uczeniu nie nadzorowanym zmieniaj: si2 zgodnie z zasad:, /e: neurony, które silnie zareagoway na sygna wej;ciowy (akceptacja), zostaj: nauczone tak, aby reagowa3 na ten sygna jeszcze silniej neurony, które zareagoway sabo (oboj2tno;3), nie s: uczone; neurony, które zareagoway siln: odpowiedzi: ujemn: (odrzucenie), s: uczone tak, aby jeszcze bardziej zdecydowanie odrzucay ten sygna.
6 Zastosowania SSN Rozpoznawanie obrazów. Jest najstarszym z zastosowap sieci neuronowych. W zagadnieniu rozpoznawania obrazu wyró/nia si2 szczególnie dwa procesy: wyodr2bnianie obiektów i ich identyfikacj2. Wyodr2bnianie obiektów polega na ich wykryciu na analizowanym obrazie. Wykonuje si2 przy tym kilka dziaap takich jak: wykrywanie kraw2dzi, wyznaczanie konturów, ocen2 powierzchni. W realizacji tych zadap wygrywaj: sieci neuronowe w szczególno;ci dzi2ki ich zdolno;ci do funkcjonowania w warunkach zakócep. W odró/nieniu od pozostaych algorytmów analizy obrazów sieci neuronowe nie potrzebuj: wst2pnego preprocessing obrazu. Prognozowanie Prognozowanie polega na przewidywaniu na podstawie zdobytej wiedzy nast2pnych wydarzep. Sieci neuronowe s: narz2dziami, które znalazy sobie miejsce w dziedzinie ekstrapolacji, czyli przewidywaniu przyszego rozwoju zjawiska na podstawie obserwacji jego dotychczasowego przebiegu. Jako;3 prognoz mo/e by3 ró/na, w du/ej mierze zale/y to od stopnia nauczenia sieci. Mo/liwe jest jednak stworzenie sieci wykorzystuj:cej adaptacyjne zdolno;ci sieci i zbudowa3 tak: sie3 neuronow:, która nie tylko b2dzie uwzgl2dniaa wiedz2 o prognozowanym zjawisku, nabyt: w trakcie treningu, ale tak/e pozytywne lub negatywne do;wiadczenia zdobywane podczas realnego prognozowania. W takim wypadku mamy do czynienia z douczaniem sieci. Prognozowanie przez sieci neuronowe znalazo zastosowanie w przewidywaniach finansowych. Sterowanie. SSN s: wykorzystywane do sterowania robotami przeznaczonymi do pracy w najtrudniejszych warunkach. Wykorzystuje je si2 równie/ w planowaniu do racjonalizacji ruchów robota w nieznanym mu wcze;niej otoczeniu, ponadto dobrze radz: sobie ze sterowaniem procesami produkcji. Analiza sygnaów. Pod sygna mo/na podci:gn:3 wszystkie przedstawione zale/no;ci ró/nych wielko;ci od siebie ( np. nat2/enie pr:du od czasu, mocy sygnau od jego cz2stotliwo;ci) Sieci neuronowe potrafi: wykrywa3 istotne stany lub ich sekwencje co ma bardzo wa/ne znaczenie przy podejmowaniu odpowiedniej reakcji na odpowiedni stan sygnau ( np. zaamki zapisu EKG).
7 Zastosowania SSN w medycynie Spore mo/liwo;ci dziaania maj: sieci neuronowe w medycynie, sprawdzaj: si2 mi2dzy innymi w: Inteligentnym wspomaganiu decyzji: diagnozy medyczne, zalecenia dodatkowych testów, decyzje w nagych przypadkach. Nale/y tu jednak zaznaczy3 pewien opór i ;rodowiska i pacjentów gdy/ ludzie nie ch2tnie skadaj: swoje /ycie w r2ce cudze, a ju/ zupenie nie jest im po my;li gdy maszyna ocenia ich szanse na prze/ycie (patrz [1] ) czy okre;la sposób post2powania z nim Klasyfikacji struktur: rozpoznawanie symptomów, klasyfikacja stanu zdrowia, zachowap czowieka, sensu wypowiedzi. Kontroli: sprawdzanie dawek leków, mo/liwych interakcji leków, potencjalnych przeciwwskazap Planowaniu: terapii, diety, optymalizacja dziaap w trakcie jej przebiegu. Sterowaniu: urz:dzep podtrzymuj:cych funkcje /yciowe, monitorowanie stanu pacjenta i ostrzeganie w sytuacjach kryzysowych. Analizie obrazów: rozpoznawanie i interpretacja obrazów z aparatury medycznej, kontrola jako;ci obrazu. Detekcji regularno;ci: wykrywanie niebezpiecznych symptomów w sygnaach EKG, EEG i innych. Separacji sygnaów z wielu Jróde: oczyszczanie obrazów z szumów, filtracja sygnaów elektrycznych (np. mrugania powiek z EEG) Prognozowaniu: rozwój choroby. 8 Zastosowania SSN w medycynie studium przypadku Przytocz2 tutaj rezultaty badap zawartych w [5]. Celem badap byo stworzenie systemu wspomagaj:cego diagnostyk2 typu przewlekego zespou bólowego twarzy. Klasycznie wyró/nia si2 5 gównych typów zachorowania: Trigeminal neuralgia Type 1 Trigeminal neuralgia Type 2 Trigeminal neuropathic pain Symptomatic trigeminal neuralgia Atypical facial pain
W oparciu o kwestionariusz z 18 pytaniami autorzy eksperymentu zaprojektowali i nauczyli ANN w celu diagnozy choroby. Zaprojektowana przez nich sie3 ma 4 warstwy (2 ukryte), 18 wej;3 (18 pytap tak/nie) oraz 5 wyj;3 (5 typów zachorowania) i wygl:da nast2puj:co: Rysunek 9. ANN przeznaczona do diagnostyki zachorowap na przewleky zespou bólowy twarzy Nast2pnie 100 ch2tnych z zdiagnozowan: chorob: zostao poproszonych o wypenienie kwestionariuszy. Odpowiedzi z ankiet zostay poddane ocenie ANN. Sie3 bya w stanie wywnioskowa3 typ choroby w przypadku 95 osób na 100. Eksperyment dowodzi o sporym potencjale ANN w zastosowaniu przy diagnostyce przewlekego zespou bólowego twarzy, jaki i generalnie w medycynie. Mo/liwe jest równie/ zastosowanie ANN do auto-diagnostyki pacjentów wystarczy zbudowa3 odpowiedni: stron2 WWW i podpi:3 pod ni: sie3 neuronow: co umo/liwi pacjentom wst2pn: diagnoz2 przed wizyta u lekarza.
9 Quo vadis Jaka jest przyszo;3 SSN? Wydaje si2, i/ SSN jako narz2dzia identyfikacji obiektów i rozpoznawania maj: ju/ pozycje ugruntowana. Podobnie ma si2 sprawa z wspomaganiem decyzji, gdzie sieci neuronowe dobrze sprawdzaj: si2 w akcji szczególnie u/yteczne s: systemy hybrydowych gdzie :czy si2 SSN z inn: metod: poszukiwania rozwi:zania np. zbiorami rozmytymi, algorytmami genetycznymi czy ewolucyjnymi. Je;li chodzi o obróbk2, analizowanie i rozpoznawanie obrazów to mo/na pokaza3 pewne analogie w dziaania nowoczesnych procesorów przeznaczonych do ww. zadap i sieci neuronowych, podobnie jak w sieciach w up in/ynierowie stawiaj: na ilo;3 równolegle wykonywanych operacji przez rdzenie autonomicznie dziaaj:ce (np. NEC produkuje ukady zawieraj:ce 40 rdzeni, z tym, /e nie s: to procesory ogólnego przeznaczenia, ale wysoce wyspecjalizowane jednostki obróbki obrazu). Jednak jak ka/da dziedzina wiedzy tak i ta ma swoje ograniczenia. Podstawowym problemem rozwoju sztucznych sieci neuronowych jest to, /e nie wiem jak dziaa do kopca /ywa sie3, na której wzorujemy ANN, oczywi;cie prowadzone s: badania i tworzone nowe metody grupowania neuronów, pobudzania ich wyliczania wag itp. Itd., lecz jest to po cz2;ci takie naukowe zgadywanie, przy czym jak dokadnie przeo/y3 model biologiczny nie wiem i jeszcze dugo przy naszym stanie wiedzy i techniki nie b2dziemy w stanie tego dokona3. Je;li chodzi o hardwarowe implementacje SSN, czyli o tematy poruszane w filmach takich jak Terminator czy Matrix, to obecny stan techniki nie jest w stanie nawet zamarzy3 o ukadzie cyfrowym dziaaj:cym podobnie do naszego mózgu. Jest kilka czynników uniemo/liwiaj:cych stworzenie inteligentnych procesorów: jako /e mózg zawiera miliardy komórek nerwowych a liczba tranzystorów w obecnie produkowanych procesorach liczona jest w milionach (tranzystorach nie mówi:c o bramkach logicznych), to mamy tutaj ró/nice kilku wielko;ci, po drugie nawet je;li udaoby si2 upakowa3 tyle bramek na krzemie ukad taki byby fizycznie wielki, a co za tym idzie realizacja jego seryjna (czy jakakolwiek inna) nie byaby mo/liwa wyst:pienie zanieczyszczenia w krzemie na którym produkowane s: up jest proporcjonalne do wielko;ci powierzchni (im wi2ksza tym wyst:pienie zanieczyszczenia wi2ksze), po trzecie wiem /e powinno by3 du/o elektronicznych neuronów, ale do kopca te/ nie wiadomo jak to powinno wygl:da3.
10 Literatura 1. Decision-Support Systems designed for Critical Care, M. Frize, H.C.E. Trigg, F.G. Solven, M. Stevenson. B.G. Nickerson, University of New Brunswick, Fredericton, N.B., Canada E3B 5A3 2. Artificial Neural Networks in Medicine World Map, http://www.phil.gu.se/ann/annworld.html 3. Zastosowanie sieci neuronowych w systemach hybrydowych, Monika Joanna Pabich, http://aragorn.pb.bialystok.pl/~radev/ai/se/zal04/selic/pabich.htm, 4. Comparison of artificial neural network and logistic regression models for prediction of mortality in head trauma based on initial clinical data, Behzad Eftekhar, Kazem Mohammad, Hassan Eftekhar Ardebili, Mohammad Ghodsi, Ebrahim Ketabchi 5. Design of an Artificial Neural Network for Diagnosis of Facial Pain Syndromes, Kim J. Burchiel, Farhad M. Limonadi, Shirley McCartney, Department of Neurological Surgery, Oregon Health & Science University, Portland, Oreg., USA 6. Sztuczne sieci neuronowe, Joanna Szumowska, http://www.neuron.kylos.pl/pliki/start.html