WSTĘP DO INFORMATYKI SIECI NEURONOWE I SZTUCZNA INTELIGENCJA wykład Adrian Horzyk Web: http://home.agh.edu.pl/~horzyk/ E-mail: horzyk@agh.edu.pl Google: Adrian Horzyk, Gabinet: paw. C3p. 205 Akademia Górniczo-Hutniacza w Krakowie WEAIiE, Katedra Automatyki http://www.agh.edu.pl Mickiewicza Av. 30, 30-059059 Cracow, Poland
Od czego rozpoczął się rozwój informatyki? Od badania sposobu działania ludzkiego umysłu. Od badania mózgu i prób naśladowania go. Od rozwoju matematyki i algorytmów rozwiązujących różnorodne problemy. Od teorii języków formalnych, budowy pierwszych automatów, parserów, maszyny Turinga, która była pierwowzorem dla budowy pierwszych komputerów: http://gadzetomania.pl/2010/03/27/wykonana-metoda-chalupnicza-maszynaturinga-wideo - fizyczny model, http://www.maszynaturinga.info/ - model symulacyjny Maszyna Turinga to model abstrakcyjnej maszyny obliczeniowej stworzony w 1936 r. przez Alana Turinga. Istnieje twierdzenie, które mówi, że problem jest rozwiązywalny na (współczesnym) komputerze, jeśli da się zdefiniować rozwiązującą go maszynę Turinga. Maszyna ta składa się z nieskończenie długiej taśmy podzielonej na pola. Maszyna może znajdywać się zawsze w jednym z N stanów i jest zawsze ustawiona nad jednym z pól. Maszyna może zapisywać nową wartość w polu, zmieniać jej stan, a następnie przesunąć się o jedno pole w prawo lub w lewo. Taka operacja zwana jest rozkazem, których lista jest traktowana jak program. Matematycy zastanawiają się, czy może istnieć inny model obliczeniowy poza maszyną Turinga, który mógłby spowodować przyspieszenie rozwoju komputerów.
Mózg i jego możliwości obliczeniowe Ludzki mózg składa się z ok.: 40 000 000 000 neuronów 400 000 000 000 komórek glejowych odpowiedzialnych za ich odżywianie oraz mielinizację połączeń, jak również sprzątanie. 50 000 000 000 000 połączeń synaptycznych, średnio 10000 połączeń na neuron, jakkolwiek istnieje tutaj duża różnorodność związana z funkcją poszczególnych neuronów. Jeśliby wszystkie synapsy były w stanie równocześnie wykonywać pewną operację obliczeniową, mózg by posiadał moc obliczeniową na poziomie 5 Petaflopów operacji na sekundę i umożliwiałby zapis ok. 10 TB danych, lecz mózg działa zupełnie inaczej niż współczesne komputery i szacunków znanych ze współczesnych komputerów nie można przenosić na systemy biologiczne. Mózg zużywa ok. 20% energii całego organizmu, stanowi tylko ok. 2% masy ciała. Nasze 23 pary chromosomów, zawiera ok. 30 000 genów i może przenosić ok. 6 Gbitów informacji (to ok. 250 tomów po 1000 stron) Mózgi zwierząt są zwykle dużo mniejsze, szczególnie w odniesieniu do części korowych umożliwiających nam ludziom myślenie, zapamiętywanie przez asocjację różnych bodźców i ich reprezentacji: http://www.is.umk.pl/~duch/wyklady/kog-m/01.htm
MÓZG I REPREZENTACJA KOROWA Poniższy homunkulus pokazuje rozmiar reprezentacji korowej (sensorycznej) różnych części ciała reprezentowanych w przez różnie wielkie obszary kory mózgowej. Reprezentacja ta, jak widać, jest zależna funkcjonalnie od naszych potrzeb i czynności, jakie wykonujemy:
PRZETWARZANIE INFORMACJI PRZEZ MÓZG W mózgu (biologicznym systemie obliczeniowym) informacje są przetwarzane inaczej niż na współczesnych komputerach: -nie ma kodów programów ani ich kompilacji, -nie ma pamięci RAM, dysków, magazynów danych, -nie ma instrukcji warunkowych, -nie iteracyjnych pętli obliczeniowych, -nie ma tasiemek, głowic ani maszyny Turinga Są natomiast inne mechanizmy i elementy obliczeniowe oraz pamięciowe: -są neurony i ich połączenia, które przez cały czas plastycznie zmieniają swoją wielkość, konfigurację, ilość połączeń, stopień przepuszczalności informacji, zmieniając kombinacje bodźców wejściowych, na które reagują aktywacją oraz na te, które zostają odrzucone (zdyskryminowane) -są połączenia, które decydują o sposobie przepływu informacji i umożliwiają wykształcenie się pewnych wzorców na podstawie powtarzających się bodźców.
Połączenia między neuronami Połączenia pomiędzy neuronami, to rzecz nietrywialna, gdyż to one przekazują informacje między neuronami:
Neuron, jego potrzeby i funkcja Neuron to komórka, która zdolna jest łączyć się funkcjonalnie z innymi neuronami tak, żeby być w stanie odbierać sygnały o ich aktywności, agregować je oraz reagować na pewne ich kombinacje, które umożliwiają im prawidłowe funkcjonowanie i przeżycie. Neurony nie mogą być ani za mało ani za bardzo aktywne, bo inaczej by doszło do ich apoptozy zaprogramowanejśmierci neuronu, przed którą chronią je różne mechanizmy plastyczności.
Model neuronu i jego plastyczność Żeby w informatyce wykorzystać potencjał funkcjonalny neuronu oraz całej ich sieci (grafu), zwanych często sieciami neuronowymi, trzeba opracować uproszczony model działania neuronu pod kątem najistotniejszych jego funkcji związanych z przetwarzaniem danych i informacji. Trzeba określić, co się może zmieniać i pod wpływem czego się zmienia oraz do czego to prowadzi
Neuron i jego dynamika Biologiczny neuron to żywa komórka, która potrzebuje się odżywiać oraz wykonywać pewne funkcje, bez których jej metabolizm nie funkcjonowałby prawidłowo, prowadziłby do zaburzeń, gromadzenie się trucizn (Ca2+, Zn2+), a w dalszej kolejności do jegośmierci (apoptozy lub nekrozy). Prawidłowo funkcjonujący neuron musi być odpowiednio odżywiany przez komórki glejowe oraz musi reagować odpowiednią ilość pobudzeń, żeby osiągnąć pewną równowagę i stabilizację. Za mała ilość pobudzeń i aktywacji ( głód ), aktywuje w nim pewne procesy plastyczności, które prowadzą do zmniejszania jego objętości (wielkości), co sprawia, iż jest on bardziej wrażliwy na nadchodzące bodźce, prowadząc do jego częstszej aktywacji i prawidłowego metabolizmu komórkowego. Funkcjonalnie neuron reaguje na większą ilość kombinacji bodźców. Za duża ilość pobudzeń i aktywacji jest również dla neuronu szkodliwa, gdyż powoduje w nim gromadzenie się kationów (Ca2+, Zn2+) i związków biochemicznych ( zakwasy ) naruszających jego równowagę wewnętrzną, prowadząc w dłuższym czasie do jego śmierci (apoptozy). Neuron może bronić się przed tym zwiększając swoją objętość (wielkość) oraz duplikując mechanizmy wewnętrzne, które obniżają jego wrażliwość na bodźce i zarazem umożliwiają mu przetworzenie większej ilości kationów i związków biochemicznych. Funkcjonalnie neuron ogranicza swoje reakcje na słabsze kombinacje bodźców.
Informatyczne modele neuronów Pierwsze modele neuronów: Model McCullocha-Pittsa (1943 r.) odzwierciedla tylko proste sumowanie statycznie ważonych sygnałów wejściowych x 1,,x n, jakie do niego docierają, próg aktywacji w 0 oraz pewną funkcję aktywacji f zależną od wartości sumy ważonej sygnałów wejściowych i wartości progu: Mimo dużej prostoty, model ten znalazł ogromną ilość zastosowań w bardzo wielu współcześnie stosowanych metodach inteligencji obliczeniowej, pokazując swoją uniwersalność i możliwość jego zastosowania w różnych zadaniach aproksymacji, regresji, klasyfikacji, pamięciach skojarzeniowych i wielu innych. Pierwsza generacja neuronów McCullocha-Pittsa zbudowana była z wykorzystaniem dyskretnych funkcji aktywacji, które zwracają wartości unipolarne {0; 1} lub bipolarne {-1; 1}.
Modele neuronu z ciągłymi funkcjami aktywacji Druga generacja neuronów wywodzących się modelu McCullocha-Pittsa stosuje ciągłe funkcje aktywacji z zakresu [0;1] lub [-1;1], wykorzystując najczęściej sigmoidalne lub radialne funkcje aktywacji. Istnieją neurony sigmoidalne, neurony oparte o funkcję tangens hiperboliczny lub neuronami radialnymi, np. neuron Gaussowski, neuron Hardy ego, neuron wielomianowy. Są one stosowane obecnie najpowszechniej w różnego rodzaju modelach sztucznych sieci neuronowych: gdzie β, σ, δ i c są parametrami, z których niektóre mogą być adaptowane w trakcie procesu nauki sieci, wykorzystującej takie neurony.
Działanie prostego neuronu o funkcji ciągłej Działanie sieci neuronowej jest wypadkową działania poszczególnych neuronów oraz zachodzących pomiędzy nimi interakcji. Pojedynczy neuron w typowych przypadkach realizuje (z matematycznego punktu widzenia) operację iloczynu skalarnego wektora sygnałów wejściowych oraz wektora wag. W efekcie odpowiedź neuronu zależy od wzajemnych stosunków geometrycznych pomiędzy wektorami sygnałów i wektorami wag.
Obecne zastosowania i rynek sieci neuronowych Sieci neuronowe obecnie stosowane są do: Klasyfikacji (obrazów, mowy, procesów, ) Regresji (funkcji matematycznych, ) Rozpoznawania (obiektów, ludzi, gestów, pisma ) Identyfikacji (obiektów, ludzi, gestów, pisma ) Przewidywania i prognozowania (np. szeregów czasowych, kursów walut, ) Sterowania i optymalizacji (np. różnych urządzeń ze sprzężeniem zwrotnym, ) Analizy i grupowania (np. w marketingu, sprzedaży, produkcji, ) Analizy ryzyka i opłacalności (np. kredytów i pożyczek bankowych, ) Doboru (np. surowców, składników, dla których nie jest znana technologia) i wielu innych zagadnień, gdzie nie znamy algorytmu lub jego założenia są rozmyte albo złożoność obliczeniowa klasycznych rozwiązań zbyt duża. Obecny rynek rozwiązań z zakresu sztucznej inteligencji i sieci neuronowych liczy sobie 20 000 000 000 USD rocznie i z roku na rok wykładniczo rośnie.
Sztuczne sieci neuronowe Sztuczne sieci neuronowe są pewnymi bardzo uproszczonymi modelami rzeczywistych sieci (grafów) neuronowych funkcjonujących np. w ludzkim mózgu.
Uczenie sztucznych sieci neuronowych Obecnie istnieje kilkadziesiąt podstawowych metod uczenia sieci neuronowych dla różnych architektur sieciowych, zbudowanych z różnego rodzaju neuronów o różnych funkcjach aktywacji. Wiele z nich polega na minimalizacji pewnej funkcji błędu sieci, jaki powstaje pomiędzy wzorcami uczącymi i rzeczywistą odpowiedzią sieci na prezentowany jej wzorzec. Stosowane są różne metody minimalizacji najczęściej gradientowe. Istnieje jednak również wiele innych podejść wywodzących się z biologii, gdyż obecne modele sztucznych sieci neuronowych funkcjonalnie dosyć daleko odeszły od ich biologicznych pierwozorów (ze względu na ograniczoną wiedzę o ich funkcjonowaniu i tworzeniu się). W sztucznych sieciach neuronowych często stosuje się: Metody gradientowe oparte o minimalizację funkcji błędu (problem lokalnych minimów, braku zbieżności do minimum globalnego oraz przeuczenia się) Połączenia neuronów na zasadzie każdy z każdym Warstwowe ułożenie neuronów (występujące tylko w pewnych strukturach mózgu) Różne metody agregacji sygnałów wejściowych (sumowanie, iloczyn) Różne ciągłe i nieciągłe funkcje aktywacji (sigmoidalna, tangensoidalna, radialna) które niestety mają niewiele lub nic wspólnego z działaniem biologicznych neuronów, ograniczają ich działania lub modelują tylko niewielkie struktury rzeczywistych struktur neuronowych ALE mimo to działają i umożliwiają wykonywanie różnych obliczeń w oparciu o uczenie się i dostrajanie parametrów sieci.
Uczenie sztucznych sieci neuronowych Do najbardziej znanych i powszechnie wykorzystywanych metod uczenia sieci neuronowych należą: Reguła Hebba polegająca na wzmacnianiu tych połączeń synaptycznych (A~B), w których aktywność jednego neuronu A powoduje aktywność drugiego połączonego z nim neuronu B. Odpowiada to empirycznym badaniom nad LTP (long term potentiation). Metoda wstecznej propagacji błędów (back propagation) umożliwiająca uczenie sieci wielowarstwowych poprzez propagację różnicy pomiędzy pożądanym a otrzymanym sygnałem na wyjściu sieci. Samoorganizacja w sieci neuronowej (np. SOM) umożliwiają uczenie sieci bez nauczyciela (unsupervised), którego celem jest wykształcenie w sieci neuronów, które by reagowały na pewne powtarzające się kombinacje bodźców z przestrzeni danych, którym można później przypisać pewne znaczenie. W tych sieciach wzmacniany jest neuron, który osiąga największą wartość pobudzenia oraz ew. również otaczające go neurony, co zapewnia sytuowanie podobnych kombinacji bodźców blisko siebie. Sieci rekurencyjne (np. sieci Hoppfielda), których bodźce krążą przez pewien określony czas aż do osiągnięcia pewnego stanu stabilności, który jest traktowany jako odpowiedź sieci.
Postawienie zadania dla sieci neuronowej Mamy pewien zbiór uczący i nie znamy reguł np. klasyfikacji obiektów (Iris). Sieć neuronowa ma za zadanie znalezienie tych zależności oraz ich uogólnienie na przypadki, których nie było w zbiorze uczącym podobnie jak dzieje się to mózgu.
Tworzenie asocjacyjnej grafowej struktury danych AGDS dla danych Iris Poszczególne wartości wzorców uczących są ze sobą łączone umożliwiając szybkie odnajdywanie korelacji pomiędzy wzorcami i klasami.
AADNN Actively Associated Data Neural Network dla Iris
Określanie dyskryminatywnych kombinacji przedziałów wartości dla klas
ASONN Associative Self-Optimizing Neural Network dla Iris W wyniku procesów asocjacji można określić najbardziej dyskryminatywne kombinacje przedziałów i podzbiorów wartości poszczególnych parametrów wejściowych, które będą definiowany poszczególne klasy i umożliwiały klasyfikację.
EWOLUCJA PRZETWARZANIA DANYCH W INFORMATYCE
POWIĄZANIE DANYCH I ICH KOMBINACJE W NEURONACH Równoległe asocjacyjne przetwarzanie danych w kontekście poprzednich danych.
PRZYKŁAD ASOCJACYJNEGO POWIĄZANIA SŁÓW NA PODSTAWIE ZDAŃ
WYKORZYSTANIE DO AUTOMATYCZNEJ KOREKTY TEKSTÓW
LITERATURA I BIBLIOGRAFIA DO WYKŁADU 1. J. E. Hopcroft, R. Motwani, J. D. Ullman, Wprowadzenie do teorii automatów, języków i obliczeń, PWN, Warszawa, 2005. 2. Adrian Horzyk, Asocjacyjna sztuczna inteligencja i sztuczne systemy skojarzeniowe, monografia habilitacyjna, 2013. 3. Tadeusiewicz R.: Wybrane zagadnienia cyfrowego modelowania fragmentów systemu nerwowego. W materiałach II Ogólnopolskiego Sympozjum: System - Modelowanie -Sterowanie, Zakopane 1974, 112-114 4. Tadeusiewicz R.: Elementarne wprowadzenie do sieci neuronowych z przykładowymi programami, Akademicka Oficyna Wydawnicza, Warszawa, 1998 5. De Schutter E.: Using realistic models to study synaptic integration in cerebellar Purkinjego cells, Reviews in the Neurosciences,10, 1999, 233-245 6. http://www.uci.agh.edu.pl/uczelnia/tad/multimedia/