WSTĘP DO INFORMATYKI Wprowadzenie do zagadnień SZTUCZNEJ INTELIGENCJI i SIECI NEURONOWYCH wykład Adrian Horzyk Web: http://home.agh.edu.pl/~horzyk/ E-mail: horzyk@agh.edu.pl Google: Adrian Horzyk Gabinet: paw. C3 p. 206
Potrzeby i rozwój inteligencji Potrzeby skłaniają nas do działania i dzięki temu powodują rozwój inteligencji, gdyż człowiek uczy się, w jaki sposób może zaspokajać różne potrzeby oraz w jaki sposób może to robić możliwie efektywnie. Inteligencja rozwija się równolegle ze wzrostem wiedzy, która bazując na skojarzeniach formuje się w neuronowych strukturach mózgowych.
Od czego rozpoczął się rozwój informatyki? Od badania sposobu działania ludzkiego umysłu. Od badania mózgu i prób naśladowania go. Od rozwoju matematyki i algorytmów rozwiązujących różnorodne problemy. Od teorii języków formalnych, budowy pierwszych automatów, parserów, maszyny Turinga, która była pierwowzorem dla budowy pierwszych komputerów: http://gadzetomania.pl/2010/03/27/wykonana-metoda-chalupnicza-maszynaturinga-wideo - fizyczny model, http://www.maszynaturinga.info/ - model symulacyjny Maszyna Turinga to model abstrakcyjnej maszyny obliczeniowej stworzony w 1936 r. przez Alana Turinga. Istnieje twierdzenie, które mówi, że problem jest rozwiązywalny na (współczesnym) komputerze, jeśli da się zdefiniować rozwiązującą go maszynę Turinga. Maszyna ta składa się z nieskończenie długiej taśmy podzielonej na pola. Maszyna może znajdywać się zawsze w jednym z N stanów i jest zawsze ustawiona nad jednym z pól. Maszyna może zapisywać nową wartość w polu, zmieniać jej stan, a następnie przesunąć się o jedno pole w prawo lub w lewo. Taka operacja zwana jest rozkazem, których lista jest traktowana jak program. Matematycy zastanawiają się, czy może istnieć inny model obliczeniowy poza maszyną Turinga, który mógłby spowodować przyspieszenie rozwoju komputerów.
Mózg i jego możliwości obliczeniowe Ludzki mózg składa się z ok.: 40 000 000 000 neuronów 400 000 000 000 komórek glejowych odpowiedzialnych za ich odżywianie oraz mielinizację połączeń, jak również sprzątanie. 50 000 000 000 000 połączeń synaptycznych, średnio 10000 połączeń na neuron, jakkolwiek istnieje tutaj duża różnorodność związana z funkcją poszczególnych neuronów. Jeśliby wszystkie synapsy były w stanie równocześnie wykonywać pewną operację obliczeniową, mózg posiadałby moc obliczeniową na poziomie 5 Petaflopów operacji na sekundę i umożliwiałby zapis ok. 10 TB danych, lecz mózg działa zupełnie inaczej niż współczesne komputery i szacunków znanych ze współczesnych komputerów nie można przenosić na systemy biologiczne. Mózg zużywa ok. 20% energii całego organizmu, stanowi tylko ok. 2% masy ciała. Nasze 23 pary chromosomów, zawiera ok. 30 000 genów i może przenosić ok. 6 Gb informacji (to ok. 250 tomów po 1000 stron) Mózgi zwierząt są zwykle dużo mniejsze, szczególnie w odniesieniu do części korowych umożliwiających nam ludziom myślenie, zapamiętywanie przez asocjację różnych bodźców i ich reprezentacji: http://www.is.umk.pl/~duch/wyklady/kog-m/01.htm
MÓZG I REPREZENTACJA KOROWA Poniższy homunkulus pokazuje rozmiar reprezentacji korowej (sensorycznej) różnych części ciała reprezentowanych w niej przez różnie wielkie obszary kory mózgowej. Reprezentacja ta, jak widać, jest zależna funkcjonalnie od naszych potrzeb i czynności, jakie wykonujemy:
PRZETWARZANIE INFORMACJI PRZEZ MÓZG W mózgu (biologicznym systemie obliczeniowym) informacje są przetwarzane inaczej niż na współczesnych komputerach: nie ma kodów programów ani ich kompilacji, nie ma pamięci RAM, dysków, magazynów danych, nie ma tablic, tabel ani baz danych, nie ma instrukcji warunkowych, nie ma iteracyjnych pętli obliczeniowych, nie ma tasiemek, głowic ani maszyny Turinga Istnieją natomiast inne mechanizmy i elementy obliczeniowe oraz pamięciowe: są neurony i ich połączenia, które przez cały czas plastycznie zmieniają swoją wielkość, konfigurację, ilość połączeń, stopień wpływu sygnałów wejściowych, reprezentowane kombinacje bodźców wejściowych, na które reagują aktywacją oraz na te pozostałe, które zostają zdyskryminowane. są połączenia, które decydują o sposobie przepływu informacji i umożliwiają wykształcenie się pewnych wzorców na podstawie powtarzających się bodźców. jest płyn mózgowo rdzeniowy oraz sensory czuciowe
Połączenia między neuronami Sieć połączeń pomiędzy neuronami jest nietrywialna i do dzisiaj stanowi zagadkę dla nauki. Połączenia tworzą się i przekazują sygnały pomiędzy neuronami:
Neuron, jego potrzeby i funkcja Neuron to żywa komórka, która zdolna jest łączyć się z innymi neuronami tak, żeby być w stanie odbierać sygnały o ich aktywności, agregować je oraz reagować na pewne ich kombinacje, które umożliwiają im prawidłowe funkcjonowanie i przeżycie. Neurony nie mogą być ani za mało ani za bardzo aktywne, bo inaczej by doszło do ich apoptozy zaprogramowanej śmierci neuronu, przed którą chronią je różne mechanizmy plastyczności.
Model neuronu i jego plastyczność Żeby w informatyce wykorzystać potencjał funkcjonalny biologicznych neuronów oraz całej ich sieci (grafu), zwanych często sieciami neuronowymi, trzeba opracować uproszczony model ich działania pod kątem najistotniejszych jego funkcji związanych z przetwarzaniem danych i informacji. Trzeba określić, co i pod wpływem czego może się zmieniać Biologiczne neurony reprezentują pewne kombinacje danych wejściowych, zaś na gruncie sztucznej inteligencji definiuje się często różne inne modele.
Neuron i jego dynamika Biologiczny neuron to żywa komórka, która potrzebuje się odżywiać oraz wykonywać pewne funkcje, bez których jej metabolizm nie funkcjonowałby prawidłowo, prowadziłby do zaburzeń, a w dalszej kolejności do jego śmierci. Prawidłowo funkcjonujący neuron musi być odpowiednio odżywiany przez komórki glejowe oraz musi reagować odpowiednią ilość pobudzeń, żeby osiągnąć pewną równowagę i stabilizację. Za mała ilość pobudzeń i aktywacji ( głód ), aktywuje w nim pewne procesy plastyczności, które prowadzą do zmniejszania jego objętości (wielkości), co sprawia, iż jest on bardziej wrażliwy na nadchodzące bodźce, prowadząc do jego częstszej aktywacji i poprawy metabolizmu komórkowego. Wtedy też neuron zaczyna reagować na większą ilość kombinacji bodźców wejściowych. Za duża ilość pobudzeń i aktywacji jest dla neuronu szkodliwa, gdyż powoduje w nim wyczerpanie zasobów neurotransmiterów (pęcherzyków w synapsach) oraz gromadzenie się kationów (Ca2+, Zn2+) ( zakwasy ) naruszających jego równowagę wewnętrzną, mogąc prowadzić po pewnym czasie do jego śmierci (apoptozy). Neuron może jednak bronić się przed tym zwiększając swoją objętość (wielkość) oraz duplikując mechanizmy wewnętrzne, które obniżają jego wrażliwość na bodźce i zarazem umożliwiają mu reagowanie na większą ilość kationów i innych związków biochemicznych. Funkcjonalnie taki neuron ogranicza swoje reakcje na słabsze kombinacje bodźców.
Informatyczne modele neuronów Pierwsze modele neuronów: Model McCullocha-Pittsa (1943 r.) odzwierciedla tylko proste sumowanie statycznie ważonych sygnałów wejściowych x 1,,x n, jakie do niego docierają, próg aktywacji w 0 oraz pewną funkcję aktywacji f zależną od wartości sumy ważonej sygnałów wejściowych i wartości progu: Mimo dużej prostoty, model ten znalazł ogromną ilość zastosowań w bardzo wielu współcześnie stosowanych metodach inteligencji obliczeniowej, pokazując swoją uniwersalność i możliwość jego zastosowania w różnych zadaniach aproksymacji, regresji, klasyfikacji, pamięciach skojarzeniowych i wielu innych. Pierwsza generacja neuronów McCullocha-Pittsa zbudowana była na bazie dyskretnych funkcji aktywacji, które zwracają wartości unipolarne {0; 1} lub bipolarne {-1; 1}.
Modele neuronu z ciągłymi funkcjami aktywacji Druga generacja neuronów wywodzących się modelu McCullocha-Pittsa stosuje ciągłe funkcje aktywacji z zakresu [0;1] lub [-1;1], wykorzystując najczęściej sigmoidalne lub radialne funkcje aktywacji. Istnieją neurony sigmoidalne, neurony oparte o funkcję tangens hiperboliczny lub neuronami radialnymi, np. neuron Gaussowski, neuron Hardy ego, neuron wielomianowy. Są one stosowane obecnie najpowszechniej w różnego rodzaju modelach sztucznych sieci neuronowych: gdzie β, σ, δ i c są parametrami, z których niektóre mogą być adaptowane w trakcie procesu nauki sieci, wykorzystującej takie neurony.
Działanie prostego neuronu o funkcji ciągłej Działanie sieci neuronowej jest wypadkową działania poszczególnych neuronów oraz zachodzących pomiędzy nimi interakcji. Pojedynczy neuron w typowych przypadkach realizuje (z matematycznego punktu widzenia) operację iloczynu skalarnego wektora sygnałów wejściowych oraz wektora wag. W efekcie odpowiedź neuronu zależy od wzajemnych stosunków geometrycznych pomiędzy wektorami sygnałów i wektorami wag.
Obecne zastosowania i rynek sieci neuronowych Sieci neuronowe obecnie stosowane są do: Klasyfikacji (obrazów, mowy, procesów, ) Regresji (funkcji matematycznych, ) Rozpoznawania (obiektów, ludzi, gestów, pisma ) Identyfikacji (obiektów, ludzi, gestów, pisma ) Przewidywania i prognozowania (np. szeregów czasowych, kursów walut, ) Sterowania i optymalizacji (np. różnych urządzeń ze sprzężeniem zwrotnym, ) Analizy i grupowania (np. w marketingu, sprzedaży, produkcji, ) Analizy ryzyka i opłacalności (np. kredytów i pożyczek bankowych, ) Doboru (np. surowców, składników, dla których nie jest znana technologia) i wielu innych zagadnień, gdzie nie znamy algorytmu lub jego założenia są rozmyte albo złożoność obliczeniowa klasycznych rozwiązań zbyt duża. Obecny rynek rozwiązań z zakresu sztucznej inteligencji i sieci neuronowych liczy sobie 20 000 000 000 USD rocznie i z roku na rok wykładniczo rośnie.
Sztuczne sieci neuronowe Sztuczne sieci neuronowe są pewnymi bardzo uproszczonymi modelami rzeczywistych sieci (grafów) neuronowych funkcjonujących np. w ludzkim mózgu.
Uczenie sztucznych sieci neuronowych Obecnie istnieje kilkadziesiąt podstawowych metod uczenia sieci neuronowych dla różnych architektur sieciowych, zbudowanych z różnego rodzaju neuronów o różnych funkcjach aktywacji. Wiele z nich polega na minimalizacji pewnej funkcji błędu sieci, jaki powstaje pomiędzy wzorcami uczącymi i rzeczywistą odpowiedzią sieci na prezentowany jej wzorzec. Stosowane są różne metody minimalizacji najczęściej gradientowe. Istnieje jednak również wiele innych podejść wywodzących się z biologii, gdyż obecne modele sztucznych sieci neuronowych funkcjonalnie dosyć daleko odeszły od ich biologicznych pierwowzorów (ze względu na ograniczoną wiedzę o ich funkcjonowaniu i tworzeniu się). W sztucznych sieciach neuronowych często stosuje się: Metody gradientowe oparte o minimalizację funkcji błędu (problem lokalnych minimów, braku zbieżności do minimum globalnego oraz przeuczenia się) Połączenia neuronów na zasadzie każdy z każdym Warstwowe ułożenie neuronów (występujące tylko w pewnych strukturach mózgu) Różne metody agregacji sygnałów wejściowych (sumowanie, iloczyn) Różne ciągłe i nieciągłe funkcje aktywacji (sigmoidalna, tangensoidalna, radialna) które niestety mają niewiele wspólnego z działaniem biologicznych neuronów, ograniczają ich działania lub modelują tylko w bardzo ograniczonym stopniu rzeczywiste struktury neuronowe ALE mimo to działają i umożliwiają wykonywanie różnych obliczeń w oparciu o uczenie się i dostrajanie parametrów sieci.
Uczenie sztucznych sieci neuronowych Do najbardziej znanych i powszechnie wykorzystywanych metod uczenia sieci neuronowych należą: Reguła Hebba polegająca na wzmacnianiu tych połączeń synaptycznych (A~B), w których aktywność jednego neuronu A powoduje aktywność drugiego połączonego z nim neuronu B. Odpowiada to empirycznym badaniom nad LTP (long term potentiation). Metoda wstecznej propagacji błędów (back propagation) umożliwiająca uczenie sieci wielowarstwowych poprzez propagację różnicy pomiędzy pożądanym a otrzymanym sygnałem na wyjściu sieci. Samoorganizacja w sieci neuronowej (np. SOM) umożliwiają uczenie sieci bez nauczyciela (unsupervised), którego celem jest wykształcenie w sieci neuronów, które by reagowały na pewne powtarzające się kombinacje bodźców z przestrzeni danych, którym można później przypisać pewne znaczenie. W tych sieciach wzmacniany jest neuron, który osiąga największą wartość pobudzenia oraz ew. również otaczające go neurony, co zapewnia sytuowanie podobnych kombinacji bodźców blisko siebie. Sieci rekurencyjne (np. sieci Hoppfielda), których bodźce krążą przez pewien określony czas aż do osiągnięcia pewnego stanu stabilności, który jest traktowany jako odpowiedź sieci.
Jak wygląda postawienie zadania dla sieci neuronowej Mamy pewien zbiór uczący i nie znamy reguł np. klasyfikacji obiektów (Iris). Sieć neuronowa ma za zadanie znalezienie tych zależności oraz ich uogólnienie na przypadki, których nie było w zbiorze uczącym podobnie jak dzieje się to mózgu. WSTEP DO informatyki, Adrian Horzyk, http://home.agh.edu.pl/~horzyk
Tworzenie asocjacyjnej neuronowej grafowej struktury danych dla danych zbioru uczącego Iris Poszczególne wartości wzorców uczących są ze sobą łączone (kojarzone) później umożliwiając szybkie odnajdywanie korelacji pomiędzy wzorcami i klasami.
Aktywne asocjacyjne sieci neuronowe reprezentujące 150 wzorców Iris
Określanie dyskryminatywnych kombinacji przedziałów wartości dla klas
ASONN Associative Self-Optimizing Neural Network dla Iris W wyniku procesów asocjacji można określić najbardziej dyskryminatywne kombinacje przedziałów i podzbiorów wartości poszczególnych parametrów wejściowych, które będą definiowany poszczególne klasy i umożliwiały klasyfikację.
EWOLUCJA PRZETWARZANIA DANYCH W INFORMATYCE
Transformacja tabeli bazy danych do postaci asocjacyjnej struktury Grafowa struktura ASSORT umożliwia szybkie sortowanie względem wszystkich parametrów równocześnie. TABLE
Transformacja tabeli bazy danych do postaci asocjacyjnej struktury Grafowa struktura ASSORT umożliwia szybkie sortowanie względem wszystkich parametrów równocześnie. TABLE
Transformacja tabeli bazy danych do postaci asocjacyjnej struktury Grafowa struktura ASSORT umożliwia szybkie sortowanie względem wszystkich parametrów równocześnie. TABLE
Transformacja tabeli bazy danych do postaci asocjacyjnej struktury Grafowa struktura ASSORT umożliwia szybkie sortowanie względem wszystkich parametrów równocześnie. TABLE
Transformacja tabeli bazy danych do postaci asocjacyjnej struktury Grafowa struktura ASSORT umożliwia szybkie sortowanie względem wszystkich parametrów równocześnie. TABLE
Transformacja tabeli bazy danych do postaci asocjacyjnej struktury Grafowa struktura ASSORT umożliwia szybkie sortowanie względem wszystkich parametrów równocześnie. TABLE
Transformacja tabeli bazy danych do postaci asocjacyjnej struktury Grafowa struktura ASSORT umożliwia szybkie sortowanie względem wszystkich parametrów równocześnie. TABLE
Transformacja tabeli bazy danych do postaci asocjacyjnej struktury Grafowa struktura ASSORT umożliwia szybkie sortowanie względem wszystkich parametrów równocześnie. TABLE
Transformacja tabeli bazy danych do postaci asocjacyjnej struktury Grafowa struktura ASSORT umożliwia szybkie sortowanie względem wszystkich parametrów równocześnie. TABLE
Transformacja tabeli bazy danych do postaci asocjacyjnej struktury Grafowa struktura ASSORT umożliwia szybkie sortowanie względem wszystkich parametrów równocześnie. TABLE
Transformacja tabeli bazy danych do postaci asocjacyjnej struktury Grafowa struktura ASSORT umożliwia szybkie sortowanie względem wszystkich parametrów równocześnie. TABLE
TWORZENIE ASOCJACYJNEJ SIECI NEURONOWEJ DLA SEKWENCJI WZORCÓW UCZĄCYCH: S1, S2, S3, S4, S5 TRAINING SEQUENCES and their frequency of repetition in the training sequence set 1x S1 E1 E2 E3 5x S2 E4 E5 E2 E6 1x S3 E7 E5 E2 E8 3x S4 E7 E9 E8 2x S5 E4 E2 E3 (0) ANAKG
TWORZENIE ASOCJACYJNEJ SIECI NEURONOWEJ DLA SEKWENCJI WZORCÓW UCZĄCYCH: S1, S2, S3, S4, S5 TRAINING SEQUENCES and their frequency of repetition in the training sequence set 1x 5x 1x 3x 2x S1 E1 E2 E3 S2 E4 E5 E2 E6 S3 E7 E5 E2 E8 S4 E7 E9 E8 S5 E4 E2 E3 S1 E1:1 d=0,50 WE1,E3=0,67 WE1,E2=1,00 WE2,E3=1,00 E3:1 E2:1 (1) ANAKG
TWORZENIE ASOCJACYJNEJ SIECI NEURONOWEJ DLA SEKWENCJI WZORCÓW UCZĄCYCH: S1, S2, S3, S4, S5 TRAINING SEQUENCES and their frequency of repetition in the training sequence set 1x 5x 1x 3x 2x S1 E1 E2 E3 S2 E4 E5 E2 E6 S3 E7 E5 E2 E8 S4 E7 E9 E8 S5 E4 E2 E3 S2 d=0,50 WE1,E3=0,67 E1:1 WE1,E2=1,00 d=0,50 WE4,E2=0,67 WE5,E2=1,00 E4:1 WE4,E5=1,00 (2) E5:1 WE2,E3=0,67 E2:2 WE2,E6=0,67 d=0,33 WE4,E6=0,50 d=0,50 WE5,E6=0,67 E3:1 E6:1 ANAKG
TWORZENIE ASOCJACYJNEJ SIECI NEURONOWEJ DLA SEKWENCJI WZORCÓW UCZĄCYCH: S1, S2, S3, S4, S5 TRAINING SEQUENCES and their frequency of repetition in the training sequence set 1x 5x 1x 3x 2x S1 E1 E2 E3 S2 E4 E5 E2 E6 S3 E7 E5 E2 E8 S4 E7 E9 E8 S5 E4 E2 E3 S3 d=0,50 WE1,E3=0,67 E1:1 WE1,E2=1,00 d=0,50 WE4,E2=0,67 d=0,50 WE7,E2=0,67 d=2,00 WE5,E2=1,00 E4:1 WE4,E5=1,00 WE7,E5=1,00 E5:2 E7:1 (3) ANAKG WE2,E3=0,50 E2:3 WE2,E6=0,50 d=0,33 WE4,E6=0,50 d=0,50 WE5,E6=0,40 WE2,E8=0,50 d=0,50 WE5,E8=0,40 d=0,33 WE7,E8=0,50 E3:1 E6:1 E8:1
TWORZENIE ASOCJACYJNEJ SIECI NEURONOWEJ DLA SEKWENCJI WZORCÓW UCZĄCYCH: S1, S2, S3, S4, S5 TRAINING SEQUENCES and their frequency of repetition in the training sequence set 1x 5x 1x 3x 2x S1 E1 E2 E3 S2 E4 E5 E2 E6 S3 E7 E5 E2 E8 S4 E7 E9 E8 S5 E4 E2 E3 S4 d=0,50 WE1,E3=0,67 E1:1 WE1,E2=1,00 d=0,50 WE4,E2=0,67 d=0,50 WE7,E2=0,40 d=2,00 WE5,E2=1,00 E4:1 WE4,E5=1,00 WE7,E5=0,67 E5:2 WE7,E9=0,67 E9:1 E7:2 (4) ANAKG WE2,E3=0,50 E2:3 E3:1 WE2,E6=0,50 d=0,33 WE4,E6=0,50 d=0,50 WE5,E6=0,40 E6:1 WE2,E8=0,50 d=0,50 WE5,E8=0,40 d=0,83 WE7,E8=0,59 WE9,E8=1,00 E8:2
TWORZENIE ASOCJACYJNEJ SIECI NEURONOWEJ DLA SEKWENCJI WZORCÓW UCZĄCYCH: S1, S2, S3, S4, S5 TRAINING SEQUENCES and their frequency of repetition in the training sequence set 1x 5x 1x 3x 2x S1 E1 E2 E3 S2 E4 E5 E2 E6 S3 E7 E5 E2 E8 S4 E7 E9 E8 S5 E4 E2 E3 S5 E1:1 WE1,E2=1,00 d=1,50 WE4,E2=0,86 d=0,50 WE7,E2=0,40 d=2,00 WE5,E2=1,00 E4:2 WE4,E5=0,67 WE7,E5=0,67 E5:2 WE7,E9=0,67 E9:1 E7:2 (5) ANAKG E2:4 d=0,50 WE1,E3=0,67 d=0,50 WE4,E3=0,40 d=2,00 WE2,E3=0,67 E3:2 WE2,E6=0,40 d=0,33 WE4,E6=0,29 d=0,50 WE5,E6=0,40 E6:1 WE2,E8=0,40 d=0,50 WE5,E8=0,40 d=0,83 WE7,E8=0,59 WE9,E8=1,00 E8:2
TWORZENIE ASOCJACYJNEJ SIECI NEURONOWEJ DLA SEKWENCJI WZORCÓW UCZĄCYCH: S1, S2, S3, S4, S5 TRAINING SEQUENCES and their frequency of repetition in the training sequence set 1x 5x 1x 3x 2x S1 E1 E2 E3 S2 E4 E5 E2 E6 S3 E7 E5 E2 E8 S4 E7 E9 E8 S5 E4 E2 E3 4x S2 2x E1:1 WE1,E2=1,00 d=4,50 WE4,E2=0,78 d=1,50 WE7,E2=0,55 d=6,00 WE5,E2=1,00 S4 1x S5 E4:7 d=5,00 WE4,E5=0,83 WE7,E5=0,29 E5:6 d=3,00 WE7,E9=0,86 E9:3 E7:4 (6) ANAKG E2:9 d=0,50 WE1,E3=0,67 WE4,E3=0,25 d=3,00 WE2,E3=0,50 E3:3 d=5,00 WE2,E6=0,71 d=1,67 WE4,E6=0,38 d=2,50 WE5,E6=0,53 E6:5 WE2,E8=0,20 d=0,50 WE5,E8=0,15 d=2,83 WE7,E8=0,63 d=3,00 WE9,E8=1,00 E8:4
EWALUACJA ASOCJACYJNEJ SIECI NEURONOWEJ Zewnętrzne pobudzenie neuronu E4 wywołuje następujący bieg sztucznych skojarzeń: E4 E5 E2 E6 TRAINING SEQUENCES and their frequency of repetition in the training sequence set 1x 5x 1x 3x 2x S1 E1 E2 E3 S2 E4 E5 E2 E6 S3 E7 E5 E2 E8 S4 E7 E9 E8 S5 E4 E2 E3 E1:1 WE1,E2=1,00 d=4,50 WE4,E2=0,78 d=1,50 WE7,E2=0,55 d=6,00 WE5,E2=1,00 E4:7 d=5,00 WE4,E5=0,83 WE7,E5=0,29 E5:6 d=3,00 WE7,E9=0,86 E9:3 E2:9 E7:4 (7) ANAKG d=0,50 WE1,E3=0,67 WE4,E3=0,25 d=3,00 WE2,E3=0,50 E3:3 d=5,00 WE2,E6=0,71 d=1,67 WE4,E6=0,38 d=2,50 WE5,E6=0,53 E6:5 WE2,E8=0,20 d=0,50 WE5,E8=0,15 d=2,83 WE7,E8=0,63 d=3,00 WE9,E8=1,00 E8:4 Otrzymana odpowiedź (sekwencja aktywacji neuronów) odpowiada sekwencji uczącej S2: S2 E4 E5 E2 E6
PORÓWNANIE DWÓCH SIECI UCZONYCH RÓŻNĄ ILOŚCIĄ SEKWENCJI
d=7,00 7x START d=7,00 7x knowledge w=0,25 d=2,00 w=0,44 1x can 2x is w=0,25 w=0,25 d=0,50 w=0,13 w=0,67 1x comes 1x be 1x consolidates 1x not w=0,25 d=0,50 w=0,13 w=0,67 w=0,25 1x into 2x actively 1x fundamental 1x aggregates 1x a d=0,50 w=0,13 w=0,67 d=0,33 w=0,50 1x being 1x reacts d=0,50 w=0,67 1x representation 1x set d=0,33 w=0,40 d=0,50 w=0,67 w=0,67 w=0,50 2x on w=0,50 2x various d=0,33 w=-0,5 1x for 3x of d=2,00 2x represented 3x the 1x intelligence w=0,50 d=0,33 w=0,40 w=0,50 w=0,67 d=0,50 w=0,40 w=0,67 w=0,40 d=2,00 d=2,00 w=0,80 d=0,50 w=0,67 1x basis 1x associative d=0,50 w=0,67 1x in d=0,50 w=0,40 1x objects d=3,00 w=0,75 d=0,50 w=0,67 w=0,50 5x facts d=0,50 w=0,67 1x systems 4x and d=0,33 w=0,50 STRUKTURA SIECI NEURONOWEJ REPREZENTUJĄCEJ OBIEKTY LINGWISTYCZNE d=0,33 w=0,50 d=2,00 w=0,57 7x. (full stop) d=0,33 w=0,29 d=0,25 w=0,40 d=0,33 w=0,50 d=3,00 w=0,86 3x rules d=3,00 d=0,33 w=0,20
Response to What is knowledge? As-neurons are consecutively activated after training sequences and give the answers: Knowledge is fundamental for intelligence. Knowledge is not a set of facts and rules
WYKORZYSTANIE DO AUTOMATYCZNEJ KOREKTY TEKSTÓW WSTEP DO informatyki, Adrian Horzyk, http://home.agh.edu.pl/~horzyk
LITERATURA I BIBLIOGRAFIA DO WYKŁADU 1. J. E. Hopcroft, R. Motwani, J. D. Ullman, Wprowadzenie do teorii automatów, języków i obliczeń, PWN, Warszawa, 2005. 2. Adrian Horzyk, Asocjacyjna sztuczna inteligencja i sztuczne systemy skojarzeniowe, monografia habilitacyjna, 2013. 3. Adrian Horzyk, How Does Human-Like Knowledge Come into Being in Artificial Associative Systems, Proc. of the 8-th International Conference on Knowledge, Information and Creativity Support Systems, Kraków, 2013. 4. Tadeusiewicz R.: Wybrane zagadnienia cyfrowego modelowania fragmentów systemu nerwowego. W materiałach II Ogólnopolskiego Sympozjum: System - Modelowanie -Sterowanie, Zakopane 1974, 112-114 5. Tadeusiewicz R.: Elementarne wprowadzenie do sieci neuronowych z przykładowymi programami, Akademicka Oficyna Wydawnicza, Warszawa, 1998 6. De Schutter E.: Using realistic models to study synaptic integration in cerebellar Purkinjego cells, Reviews in the Neurosciences,10, 1999, 233-245 7. http://www.uci.agh.edu.pl/uczelnia/tad/multimedia/