Metody sztucznej inteligencji sztuczne sieci neuronowe - wstęp dr hab. inż. Andrzej Obuchowicz, prof. UZ Instytut Sterowania i Systemów Informatycznych Uniwersytet Zielonogórski A. Obuchowicz Metody sztucznej inteligencji 1/ 18
Literatura 1 R. Tadeusiewicz: Sieci neuronowe, Akademicka Oficyna Wydawnicza, Warszawa 1993. 2 J. Korbicz, A. Obuchowicz, D. Uciński: Sztuczne sieci neuronowe. Podstawy i zastosowania, Akademicka Oficyna Wydawnicza PLJ, Warszawa 1994. 3 J. Hertz, A. Krogh, R.G. Palmer: Wstęp do obliczeń neuronowych, WNT, Warszawa 1993. 4 J. Żurada, M. Barski, W. Jędruch: Sztuczne sieci neuronowe, Wydawnictwo naukowe PWN, Warszawa 1996. 5 S. Osowski: Sieci neuronowe w ujęciu algorytmicznym, WNT, Warszawa 1996. 6 W. Duch, J. Korbicz, L. Rutkowski, R. Tadeusiewicz (Red.): Biocybernetyka i inżynieria biomedyczna 2000. Sieci neuronowe, Akademicka Oficyna Wydawnicza EXIT, Warszawa 2000. A. Obuchowicz Metody sztucznej inteligencji 2/ 18
Plan wykładu trochę historii systemy biologiczne vs. systemy sztuczne elementy neurobiologii własności systemów neuronowych klasy problemów rozwiązywanych za pomocą sieci neuronowych obszary zastosowań podsumowanie A. Obuchowicz Metody sztucznej inteligencji 3/ 18
Trochę historii Krótki zarys 1943 McCulloch i Pitts model neuronu 1949 Hebb reguła uczenia samoorganizującego 1958 Rosenblatt perceptron prosty 1962 Widrow i Hoff reguła LMS dla ADALINE (reguła delty) 1969 Minsky i Pappert krytyka perceptronu prostego 1969 1986 chude lata badań nad SSN 1986 Rummelhart i McCelland (wcześniej Werbos 1974) algorytm wstecznej propagacji 1986 do dziś eksplozja zaiteresowania i implementacji i zastosowań SSN A. Obuchowicz Metody sztucznej inteligencji 4/ 18
Systemy biologiczne vs. systemy sztuczne System biologiczny 1 mózg (w szczególności ludzki) jest wysoce złożonym, nieliniowym i równoległym systemem przetwarzania informacji; 2 prędkość przesyłania informacji w mózgu jest stosunkowo niska; 3 proces obliczeniowy jest powolny i o niskiej precyzji; 4 ludzki mózg jest bardziej efektywny od dowolnego komputera na polu rozpoznawania obrazów, przetwarzania sygnałów czy podejmowania decyzji; System elektroniczny 1 elementy elektroniczne (tranzystory) działają tysiące razy szybciej od biologicznych komórek nerwowych; 2 konwencjonalne komputery wykonują obliczenia szybciej i precyzyjniej niż ludzki mózg; 3 rozpoznawanie obrazów, przetwarzania sygnałów czy podejmowania decyzji wymaga od klasycznego komputera niezwykle skomplikowanych algorytmów o dużej złożoności czasowej i przestrzennej. A. Obuchowicz Metody sztucznej inteligencji 5/ 18
Systemy biologiczne vs. systemy sztuczne Idea i cel Połączyć szybkość działania elementów elektronicznych z właściwościami ludzkiego mózgu bardzo efektywne narzędzie do rozwiązywania szerokiej gamy problemów. Sztuczna sieć neuronowa jest maszyną, która jest tak zaprojektowana, aby modelowała sposób w jaki mózg rozwiązuje postawiony przed nim problem. A. Obuchowicz Metody sztucznej inteligencji 6/ 18
Elementy neurobiologii System informacyjny człowieka System informacyjny człowieka składa sie głównie z systemu nerwowego i hormonalnego. Również znaczącą rolę informacyjną ma system immunologiczny Schemat ogólny systemu nerwowego A. Obuchowicz Metody sztucznej inteligencji 7/ 18
Elementy neurobiologii Centralny (ośrodkowy) system nerwowy obejmuje mózg i rdzeń kręgowy, jest to skupisko gęsto upakowanych komórek nerwowych tworzących złożone sieci, zadanie systemu analiza i przetwarzanie informacji. Obwodowy system nerwowy system komunikacyjny, przesyła sygnały pobierane z receptorów do systemu centralnego, przekazuje sygnały sterujące od systemu centralnego do efektorów (odbiorników rozkazów) umieszczonych w różnych częściach ciała. Autonomiczny system nerwowy Regulator procesów wegetatywnych, zachodzących w narządach wewnętrznych decydujących o funkcjonowaniu organizmu. A. Obuchowicz Metody sztucznej inteligencji 8/ 18
Elementy neurobiologii Mózg i system nerwowy Mózg i system nerwowy nie tworzą struktury ciągłej. Podstawowym elementem systemu nerwowego jest komórka nerwowa neuron. System nerwowy zawiera ok. 10 18, z których ok. 10 11 stanowią komórki połączone w sieć. Dzięki temu realizowane są funkcje emocji, pamięci, inteligencji i zdolności twórczych. Średnio na jeden neuron przypada kilka tysięcy połączeń, ale dla poszczególnych komórek te wartości mogą się znacznie różnić. A. Obuchowicz Metody sztucznej inteligencji 9/ 18
Elementy neurobiologii Schemat budowy komórki nerwowej A. Obuchowicz Metody sztucznej inteligencji 10/ 18
Własności systemów neuronowych Uczenie się i adaptacja proces uczenia sieci neuronowej to wyznaczenie wartości wag połączeń pomiędzy neuronami uczenie nadzorowane uczenie z krytykiem uczenie nienadzorowane Przetwarzanie równoległe sieci neuronowe przetwarzają informację równolegle typowy impuls neuronowy trwa kilka ms układy półprzewodnikowe są kilka milionów razy szybsze realizacja sieci neuronowej w postaci półprzewodnikowej A. Obuchowicz Metody sztucznej inteligencji 11/ 18
Własności systemów neuronowych Odporność na uszkodzenia z przetwarzania równoległego płynie odporność sieci neuronowych na uszkodzenia w mózgu człowieka komórki umierają nieustannie co nie wpływa ujemnie na jego funkcjonowanie przy dużej liczbie powiązań neuronowych sieć staje się odporna na błędy występujące w niektórych połączeniach funkcje uszkodzonych połączeń przejmują inne pojedyncza waga niesie tylko jedynie niewielką informację o problemie Zdolność uogólniania (generalizacja) sieć wytrenowana na pewnej liczbie wzorców potrafi skojarzyć nabytą wiedzę i wykazać poprawne działanie na danych, które nie uczestniczyły w uczeniu dostępne dane dzieli się na zbiór uczący L i testujący T. W zbiorze uczącym wydziela się podzbiór V, służący do weryfikacji postępów uczenia ilościowa miara uogólniania trudna do zdefiniowania A. Obuchowicz Metody sztucznej inteligencji 12/ 18
Własności systemów neuronowych Realizacja sprzętowa możliwość realizacji w technice o wielkim stopniu integracji perspektywa zbudowania uniwersalnego procesora realizacja sprzętowa daleko w tyle za realizacjami programowymi pojawiają ciekawe rozwiązania sprzętowe układy w postaci komponentów mogących współpracować z klasycznymi komputerami predykcja wykonywania zadań w procesorze Intel Pentium komputery neuronowe, np. TRW MARK III i TRW MARK IV. Ostatni składa się z 250000 neuronów i 5.5 miliona połączeń synaptycznych A. Obuchowicz Metody sztucznej inteligencji 13/ 18
Własności systemów neuronowych Aproksymacja dowolnych nieliniowości ta właściwość odnosi się do określonej klasy sieci neuronowych (wielowarstwowych jednokierunkowych i radialnych) przy doborze odpowiedniej liczby warstw i neuronów możliwe jest zrealizowanie aproksymacji dowolnej nieliniowej funkcji z żądaną dokładnością sieci wielowarstwowe i radialne najczęściej stosowane w wielu dziedzinach Wielowymiarowość) budowanie systemów o wielu wejściach i wielu wyjściach (MIMO) z technicznego punktu widzenia uczenia nie ma różnicy czy system jest typu SISO, MISO czy MIMO dla systemów o wielu wyjściach uczenie może sprawiać kłopoty sieć musi nauczyć się kilku zadań jednocześnie A. Obuchowicz Metody sztucznej inteligencji 14/ 18
Klasy problemów rozwiązywalne przez SNN Autoasocjacja Obraz jest rekonstruowany przez sieć neuronową z obrazu niekompletnego i/lub zaszumionego przykład: sieć Hopfielda, rozpoznawanie i odtwarzanie znaków alfanumerycznych Heteroasocjacja) sieć realizuje odwzorowanie wejście-wyjście, dla obrazu 1 podawanego na wejście siec generowany jest obraz 2 na jej wyjściu przykłady: problem aproksymacji, problem modelowania obiektów dynamicznych, kompresja danych A. Obuchowicz Metody sztucznej inteligencji 15/ 18
Klasy problemów rozwiązywalne przez SNN Klasyfikacja sieć przypisuje do odpowiednich klas (zbiorów) różne obrazy wejściowe w zadaniu rozpoznawania cyfr i liter, po podaniu litery sieć generuje 1 po podaniu cyfry 0 przykłady: problem parzystości, detekcja uszkodzeń w urządzeniach przemysłowych Detekcja regularności) wykrywanie statystycznie istotnych cech w obrazie wejściowym nie ma zadanego a priori zbioru kategorii, według których klasyfikuje się obrazy wejściowe system samodzielnie tworzy swoją własną reprezentację obrazów wejściowych przykłady: analiza czynników głównych, kompresja obrazów, wykrywanie uszkodzeń A. Obuchowicz Metody sztucznej inteligencji 16/ 18
Obszary zastosowań SNN Przestrzeń powietrzna: systemy autopilotażu, symulacja lotu, systemy kontroli lotu, systemy detekcji uszkodzeń komponentów samolotu Motoryzacja: systemy nawigacji Bankowość: systemy czytające czeki i inne dokumenty bankowe Obronność: systemy sterowania pociskami, śledzenie obiektów, przetwarzanie sygnałów radarowych i sonarowych, przetwarzanie obrazów Elektronika: syntezery głosu, systemy analizy błędów podczas procesu projektowania układów elektronicznych Rozrywka: animacja, efekty specjalne Finanse: analiza linii kredytowych, predykcja kursu walut, przewidywanie cen akcji spółek giełdowych, przeszukiwanie zastawów hipotecznych A. Obuchowicz Metody sztucznej inteligencji 17/ 18
Obszary zastosowań SNN Ubezpieczenia: ocena wniosków, optymalizacja produktu, Medycyna: diagnostyka raka piersi, analiza sygnałów EEG i EKG, systemy szacujące możliwości zredukowania wydatków szpitala Przemysł: projektowanie i analiza produktu, diagnostyka procesu przemysłowego i maszyn, wizualne systemy inspekcji jakości produktu, ocena jakości papieru, analiza jakości chipów komputerowych, modelowanie procesów przemysłowych, Robotyka: sterowniki, sterowanie robotem po określonej trajektorii Mowa: systemy rozpoznawania mowy, kompresja mowy Telekomunikacja: kompresja danych, systemy tłumaczenia języka Transport: systemy diagnostyki układu hamulcowego ciężarówek, planowanie ruchu A. Obuchowicz Metody sztucznej inteligencji 18/ 18
Podsumowanie Sieci neuronowe są bardzo wyrafinowaną techniką modelowania Szczególnie atrakcyjne są możliwości zastosowań do rozwiązywania problemów o charakterze nieliniowym O popularności sieci neuronowych może świadczyć fakt ilości sprzedaży oprogramowania A. Obuchowicz Metody sztucznej inteligencji 19/ 18