SZTUCZNA INTELIGENCJA

Transkrypt

1 SZTUCZNA INTELIGENCJA MODELE OBLICZENIOWE, BIOCYBERNETYKA I KOGNITYWISTYKA Adrian Horzyk

2 MODELE OBLICZENIOWE Zasadniczym pytaniem w informatyce jest kwestia sposobu przetwarzania danych, czyli określenia, w jaki sposób operować na symbolach i liczbach.

3 OGRANICZENIA WSPÓŁCZESNYCH OBLICZEŃ BAZUJĄCYCH NA MASZYNIE TURINGA Współczesna informatyka opiera się na deterministycznym modelu obliczeniowym, tzw. Maszynie Turinga (MT), który formalnie zdefiniowany jest jako krotka: MT = < Q, Σ, δ, Γ, q 0, B, F > gdzie: Q skończony zbiór stanów, q 0 stan początkowy, q 0 Q F zbiór stanów końcowych Γ skończony zbiór dopuszczalnych symboli B symbol pusty, B Γ Σ zbiór symboli wejściowych, taki że: B Σ Γ δ: Γ x Q Q x Γ x {L,P,-} funkcja opisująca przejście od stanu q 1 Q pod wpływem symbolu wejściowego ze zbioru Γ w kolejny stan ze zbioru q 2 Q zwracający symbol ze zbioru Γ oraz przesunięcie głowicy w lewo (L), prawo (P) lub nie dokonując bez przesunięcia (-). Model MT skupia się na przetwarzaniu skończonego zbioru symboli, operuje na językach i gramatykach formalnych oraz jest podstawą działania współczesnych komputerów. Maszyna ta ma jednak istotne ograniczenia, np. w stosunku do architektury i sposobu działania ludzkiego umysłu mózgu oraz biologicznych sieci neuronowych, które z natury są w stanie przetwarzać różne dane, mimo iż nie są maszynami Turinga!

4 PORÓWNANIE MODELI OBLICZENIOWYCH MASZYNA TURINGA Nie zmienia stanów pod wpływem upływu czasu. Nie zmienia sposobu swojego działania, symboli, danych ani funkcji przejścia pod wpływem upływu czasu ani przetwarzanych danych. Nie formuje wiedzę o danych, lecz tylko może je zapamiętać oraz przetwarzać, a sposób ich przetwarzania jest zasadniczo liniowy, również w wersji zrównoleglonej. Przetwarza dane deterministycznie według określonych algorytmów Oddziela dane od algorytmów, gdzie dane mogą zostać zmodyfikowane tylko na skutek działania algorytmów, które muszą zostać zewnętrznie zdefiniowane oraz podane Maszynie Turinga. Większość czasu pracy procesora (zwykle od 60% do 99%) tracą na wyszukiwanie danych i relacji pomiędzy nimi oraz przenoszenie danych pomiędzy pamięcią i rejestrami procesora! Model więc zorientowany jest bardziej na dane niż na relacje pomiędzy danymi. Ma wiele ograniczeń związanych ze złożonością obliczeniową (np. problemy NP-Trudne) na skutek konieczności przeszukiwania danych. MODEL ASOCJACYJNY Automatycznie zmienia swoje stany pod wpływem upływu czasu, może np. zerować słabe dane. Automatycznie zmienia sposób swojego działania pod wpływem formującej się wiedzy i na skutek przetwarzanych danych. Automatycznie formuje wiedzę o danych w postaci skojarzeń (asocjacji), które dynamicznie zmieniają związki (relacje) pomiędzy danymi. Potrafi zmieniać sposób swojego działania na skutek procesów refrakcji ( odpoczywania ) i zmęczenia neuronów, co automatycznie wprowadza w życie alternatywy. Dane formują algorytmy ich kojarzenia a następnie przetwarzania w przyszłości, więc powstają samoistnie na skutek działania tego modelu. Dane pozostające ze sobą w pewnej relacji są ze sobą skojarzone, a ich reprezentacje neuronalne kontekstowo powiązane, dzięki czemu zwykle bardzo upraszczany jest proces szukania, osiągając często stałą złożoność obliczeniową, więc mózg może zająć się przetwarzaniem danych. Dane są częścią mechanizmów ich przetwarzania.

5 PORÓWNANIE MODELI OBLICZENIOWYCH MASZYNA TURINGA Zaniedbuje relacje pomiędzy danymi, nawet w relacyjnych bazach danych: Musi sortować, żeby wyszukiwać efektywniej, lecz tabele są toporne! MODEL ASOCJACYJNY Agregacja danych i ich podobieństwa oraz utrwalanie i wartościowanie relacji pomiędzy danymi są podstawą asocjacji, formowania wiedzy i inteligentnego kontekstowego ich przetwarzania. Wszystko się samo sortuje dzięki podobieństwu i w takiej postaci jest przechowywane, więc nie wymaga sortowania, indeksowania i wyszukiwania

6 BIOCYBERNETYKA Biocybernetyka to dział cybernetyki zajmujący się badaniem procesów sterowania w układach biologicznych oraz sprzężeń pomiędzy tymi procesami a środowiskiem. Określenie biocybernetyka wywodzi się od słów bio (z greckiego: życie) i cybernetyka (z greckiego: kybernetes "sternik; zarządca" lub od kybernán "sterować; kontrolować"). Prof. dr hab. Inż. Ryszard Tadeusiewicz Biocybernetyk o Biocybernetyce: Biocybernetyka stanowi swoisty most pomiędzy dziedzinami biologii (oraz medycyny) i techniki. O tym, że dziedziny te powinny ze sobą kooperować nikogo dziś specjalnie przekonywać nie trzeba. Biologia i medycyna mogą pozyskać od techniki nowe narzędzia diagnostyczne i badawcze, których przykładem są na rysunku tomograf komputerowy i mikroskop elektronowy, a także nowe narzędzia terapeutyczne, symbolizowane na rysunku przez system robota chirurgicznego.

7 BIOCYBERNETYKA Technika jednak także może wiele zyskać, gdyż wiele zadań inżynierskich rozwiązuje się metodą naśladowania rozwiązań podpatrzonych w ludzkim organizmie lub w strukturach innych tworów biologicznych. Na rysunku ten transfer biologicznych patentów do techniki symbolizowany jest przez system BCI (Brain Computer Interface) czyli narzędzie do przekazywania informacji i poleceń wprost z mózgu człowieka do komputera oraz maszyna krocząca, która jest zdolna poruszać się po bezdrożach, ponieważ zamiast kół używa nóg naśladujących biologiczne odnóża.

8 BIOCYBERNETYKA Zrodziła się z obserwacji działania istot żywych oraz z modelowania procesów, jakie odgrywają się w przyrodzie. Jej potencjał leży więc w otaczającym nas świecie. Nauka o cybernetycznym modelowaniu procesów biologicznych i jako dział cybernetyki zajmuje się procesami informacyjnymi zachodzącymi w organizmach żywych, w szczególności w mózgu - naczelnym organie biocybernetycznym organizmów żywych. Ma na celu wyjaśnienie, opisanie i modelowanie cybernetycznych procesów zachodzących w organizmach żywych, a w szczególności w ludzkim mózgu. Pomost pomiędzy inteligencją ludzką i inteligencją sztuczną, czyli modelem biocybernetycznych procesów zachodzących u istot żywych. Łączy ze sobą sposób działania organizmów żywych z działaniem systemów cybernetycznych. Systemy cybernetyczne w czasach dzisiejszych usprawniają nasze życie w różnych obszarach, dając nam większe możliwości poznawcze oraz poszerzając nasze zmysły. Zajmuje się interfejsami człowiek-komputer oraz modelowaniem mechanizmów obliczeniowych z tym związanych, aby ta interakcja mogła być łatwiejsza i przyjemniejsza. Nauka po poznaniu sposobu działania organizmów żywych oraz asymilacji tych mechanizmów do współdziałania z systemami cybernetycznymi.

9 BIOCYBERNETYKA Biocybernetyka obejmuje szeroki obszar nauk technicznych: od informatyki, matematyki, fizyki, biochemii, neurologii, neurobiologii, przez psychologię, socjologię aż po obszary kognitywistyki i filozofii. Biocybernetyka zajmuje się modelowaniem biologicznych procesów cybernetycznych, a więc obejmuje: Sztuczne sieci neuronowe Sztuczną inteligencję Inteligencję obliczeniową Obliczenia miękkie Obliczenia genetyczne Obliczenia rozmyte Modelowanie i reprezentację wiedzy Celem praktycznym jest opracowanie modeli biocybernetycznych lub z zakresu inteligencji obliczeniowej do rozwiązania wybranych zagadnień naukowych, następnie przygotowanie prezentacji oraz referatu w postaci publikacji naukowej. Przedmiot ten ma więc aktywnie wspomagać doktorantów w ich aktywności naukowej i publikacyjnej, bardzo istotnej z punktu widzenia przygotowania do otwarcia ich przewodów doktorskich oraz prowadzenia dalszych prac badawczych pod opieką ich opiekunów naukowych, zachęcając ich do współpracy i wymiany doświadczeń naukowych.

10 KOGNITYWISTYKA Cognitive Science Kognitywistyka jest nauka o procesach poznawczych, ich modelowaniu, pamięci, formowaniu wiedzy i rozumowaniu. Jest nauką interdyscyplinarną na pograniczu psychologii poznawczej, neurobiologii, neurofizjologii, antropologii, socjologii, informatyki, sztucznej inteligencji, lingwistyki, logiki, fizyki i matematyki. Kognitywistyka zgłębia tajniki poznawania, uczenia się, percepcji, definiowania pojęć, symboliki, języka, pamięci, myślenia, rozumowania, dedukcji, introspekcji, podejmowania decyzji, reprezentacji mentalnych, emocji, procesami motywacji, jak również formowaniu się w umyśle: wiedzy, inteligencji i świadomości. Kognitywistyka jest dziedziną nauki zajmującą się obserwacją i modelowaniem działania umysłu (układu nerwowego, a w szczególności mózgu i zmysłów)! Kognitywistyka symboliczna koncentruje się na modelowaniu abstrakcyjnych funkcji myślowych opartych na symbolach, tworzeniu symbolicznych baz wiedzy (Knowledge Base) i systemów opartych na nich (Knowledge Base Systems). Architektury kognitywne próbują modelować ludzki umysł:

11 Mózg i Neurony Jak w rzeczywistości działają?

12 Mózg i Neurony Uruchamiają wewnętrzne procesy równolegle i często asynchronicznie Wykorzystują czas do temporalnych i kontekstowych obliczeń Integrują pamięć z procedurami (algorytmami) Jak w rzeczywistości działają?

13 Mózg i Neurony Automatycznie i kontekstowo kojarzą dane i obiekty Tworzą samo-organizujące reprezentacje danych i obiektów Agregują dane i obiekty podobne Jak w rzeczywistości działają?

14 Mózg i Neurony Wykorzystują złożone pamięci o neuronowej strukturze grafowej Nie są ograniczone modelem obliczeniowym maszyny Turinga Automatycznie powracają do stanu spoczynku neuronów Jak w rzeczywistości działają?

15 Mózg i Neurony Kojarzą różne informacje w celu uformowania wiedzy Agregują reprezentacje takich samych i bliskich obiektów Łączą reprezentacje powiązanych obiektów Jak w rzeczywistości działają?

16 Fundamentalne Pytanie i Cele Neurobiologii Jak informacje są kodowane i dekodowane za pośrednictwem serii impulsów przesyłanych przez aktywowane neurony po ich potencjałach czynnościowych? Podstawowym celem neurobiologii jest wyjaśnienie czy neurony komunikują się poprzez częstotliwość pulsów czy poprzez różnice w czasie pomiędzy impulsami? Asocjacyjne Neurony Pulsacyjne dowodzą, że upływ czasu pomiędzy kolejnymi impulsami, jak również częstotliwość tych impulsów mają wpływ na wynik asocjacji oraz obliczeń neuronowych. Jak w rzeczywistości działają?

17 Ewolucja Modeli Neuronów GENERACJE MODELI NEURONÓW: 1. Model neuronów McCulloch-Pittsa implementuje tylko najbardziej podstawowe mechanizmy integracji (sumowania) ważonych wejść i progu aktywacji, nie modelując czasu, plastyczności i innych ważnych czynników neuronów. 2. Nieliniowy model neuronów o ciągłej funkcji transferu pozwala na zbudowanie wielowarstwowych sieci neuronowych (tj. MLP) i ich adaptację do bardziej skomplikowanych zbiorów danych uczących, które nie są liniowo separowalne. 3. Modele neuronów impulsowych wzbogacają ten model o implementację paradygmatu czasu, w którym zachodzą różne procesy wewnętrzne w neuronie w trakcie integracji bodźców. 4. Model neuronów asocjacyjno-pulsacyjnych (APN) produkuje serie impulsów, których frekwencja określa wynik działania sieci oraz stopień skojarzenia odpowiedzi z kontekstem wejściowym. Ponadto sieci zbudowane z tych neuronów w wyniku procesów plastycznych są w stanie budować, rozwijać i konfigurować strukturę połączeń pomiędzy neuronami i wyznaczać ich wagi oraz progi aktywacji, dopasowując się do różnych wzorców i ich sekwencji. Rzeczywiste neurony są plastyczne!

18 Neurony Asocjacyjno-Pulsacyjne Łączą się warunkowo zmieniając swoją wrażliwość na bodźce wejściowe. Modelują zachowania neuronów w czasie w sieci neuronowej. Tworzą rzadką grafową strukturę połączeń odwzorowującą różne relacje pomiędzy obiektami, tj. podobieństwa, następstwa, definiowania. Agregują reprezentacje takich samych lub podobnych obiektów prezentowanych sieci neuronowej za pośrednictwem pól sensorycznych. Reprezentują te kombinacje bodźców wejściowych, które powodują ich najczęstszą aktywację i w zależności od wrażliwości specjalizują się. Pozwalają na wywoływanie skojarzonych informacji.

19 Neurony Asocjacyjno-Pulsacyjne Implementują mechanizmy integracji bodźców wejściowych w czasie tworzą wewnętrzną kolejkę procesów (internal process queue - IPQ) modelujących reakcje neuronów APN na nie. Pozwalają na wywoływanie skojarzonych informacji.

20 Neurony Asocjacyjno-Pulsacyjne Wewnętrzne procesy modelowane są liniowo, co umożliwia integrację równoległych i nakładających się bodźców w dyskretnych momentach czasu i tylko wtedy, gdy nadchodzi nowy bodziec lub kończy się jakiś proces. Pozwalają na wywoływanie skojarzonych informacji.

21 Neurony Asocjacyjno-Pulsacyjne Implementują mechanizmy plastyczne rzeczywistych neuronów, pozwalających na adaptację i samoorganizację struktury sieci. Mechanizmy te działają warunkowo dostosowując strukturę i parametry sieci do danych wejściowych, kodując klasy obiektów w skojarzonych neuronach. Pozwalają na wywoływanie skojarzonych informacji.

22 EKSPERYMENTY I ANIMACJA Z SIECIAMI NEURONOWYMI APNN Teraz spróbujmy stymulować receptory następującymi wartościami [?, 6.0,?, 5.0, 1.5]. Który obiekt okaże się być najbardziej podobny? Klasa skojarzona ze zwycięzkim obiektem 2 1 Najmocniej skojarzony APNs reprezentujący najbardziej podobne wzorce uczące pulsujące najczęściej i jako pierwsze!

23 EKSPERYMENTY I ANIMACJA Z SIECIAMI NEURONOWYMI APNN Weźmy większy zbiór danych uczących i stymulujmy receptory wartościami [?, 6.0,?, 5.0, 1.5]. KLASYFIKACJA Najmocniej skojarzony APNs reprezentujący najbardziej podobne wzorce uczące pulsujące najczęściej i jako pierwsze!

24 APN

25 Podsumowanie Neurony APN automatycznie kreują dedykowane struktury neuronowe dla podanych danych treningowych oraz dokonują szybkich porównań i wnioskowanie skojarzeniowe w porównaniu do innych algorytmów. Sieci neuronowe APNN uczą się i pracują wielokrotnie szybciej niż inne sieci impulsowe, np. Izhikevich spiking neurons, ze względu na liniową integrację bodźców, dyskretną aktualizację neuronów i krótkie kolejki procesów.

26 Podsumowanie Neurony Asocjacyjno-Pulsacyjne (APNs) reprezentują te rozciągnięte w czasie kombinacje bodźców wejściowych, które powodują ich aktywację. Te neurony APN, które zaczynają pulsować jako pierwsze i pulsują najczęściej reprezentują najmocniej skojarzone wartości, obiekty lub informacje powiązane z kontekstem wejściowym oraz reprezentują odpowiedź sieci neuronowej która przekazywane jest w czasie przez sierie impulsów.

27 Podsumowanie Połączone neurony APN mogą reprezentować różne relacje asocjacyjne: Podobieństwo wartości lub obiektów Bliskość obiektów w przestrzeni Następstwo obiektów w czasie Kontekst dla dalszych bodźców

28 Podsumowanie Neurony APN są aktualizowane w dyskretnych i rzadkich momentach czasu: kiedy nadchodzi bodziec zewnętrzny, gdy skończy się jakiś wewnętrzny proces. Ta cecha neuronów APN w połączeniu z odpowiednią implementacją kolejek procesów (IPQ) i globalnej kolejki zdarzeń równoległych (GEQ) decydują o szybkim ich działaniu w trakcie symulacji.

29 Podsumowanie Wewnętrzne procesy neuronów APN są efektywnie zarządzane i porządkowane przez: Wewnętrzne kolejki procesów IPQ (Internal Process Queue) które integrują wszystkie bodźce do postaci sekwencji kolejnych nie nakładających się procesów w czasie w każdym neuronie. Globalną kolejkę zdarzeń GEQ (Global Event Queue) która sortuje wszystkie procesy względem czasu ich zakończenie i pilnuje aktualizacji neuronów w czasie.

30 Podsumowanie Sieci APNN udzielają również odpowiedzi na fundamentalne pytanie z neurobiologii dotyczące sposobu kodowanie i dekodowania informacji: Frekwencja serii impulsów reprezentują siłę skojarzeń pomiędzy obiektami oraz w odniesieniu do kontekstu wejściowego. Czas pomiędzy impulsami nie koduje informacji, lecz pośrednio wpływa na możliwość reprezentacji i siłę oddziaływania kontekstu.

31 BIBLIOGRAFIA I LITERATURA 1. A. Horzyk, J. A. Starzyk, J. Graham, Integration of Semantic and Episodic Memories, IEEE Transactions on Neural Networks and Learning Systems, 2017, DOI: /TNNLS A. Horzyk, J. A. Starzyk, A. Horzyk and J.A. Starzyk, Fast Neural Network Adaptation with Associative Pulsing Neurons, IEEE Xplore, In: 2017 IEEE Symposium Series on Computational Intelligence, pp , presentation, movie Iris-4, movie Iris A. Horzyk, Deep Associative Semantic Neural Graphs for Knowledge Representation and Fast Data Exploration, Proc. of KEOD 2017, SCITEPRESS Digital Library, A. Horzyk, Neurons Can Sort Data Efficiently, Proc. of ICAISC 2017, Springer-Verlag, LNAI, 2017, pp , ICAISC BEST PAPER AWARD 2017 sponsored by Springer. 5. A. Horzyk, J. A. Starzyk and Basawaraj, Emergent creativity in declarative memories, IEEE Xplore, In: 2016 IEEE Symposium Series on Computational Intelligence, Greece, Athens: Institute of Electrical and Electronics Engineers, Curran Associates, Inc. 57 Morehouse Lane Red Hook, NY USA, 2016, ISBN , pp. 1-8, DOI: /SSCI A. Horzyk, Human-Like Knowledge Engineering, Generalization and Creativity in Artificial Neural Associative Systems, Springer-Verlag, AISC 11156, ISSN , ISBN , ISBN (ebook), DOI / , Springer, Switzerland, 2016, pp A. Horzyk, Innovative Types and Abilities of Neural Networks Based on Associative Mechanisms and a New Associative Model of Neurons - Invited talk at ICAISC 2015, Springer-Verlag, LNAI 9119, 2015, pp , DOI / _3. 8. Horzyk, A., How Does Generalization and Creativity Come into Being in Neural Associative Systems and How Does It Form Human-Like Knowledge?, Neurocomputing, Adrian Horzyk horzyk@agh.edu.pl Google: Horzyk University of Science and Technology in Krakow, Poland

32 BIBLIOGRAFIA I LITERATURA 9. Mariusz Flasiński, Wstęp do sztucznej inteligencji, Wydawnictwo Naukowe PWN, Warszawa, Daniel T. Larose, Odkrywanie wiedzy z danych, Wydawnictwo naukowe PWN, Warszawa Andrzej Łachwa, Rozmyty świat zbiorów, liczb, relacji, faktów, reguł i decyzji, Akademicka Oficyna Wydawnicza EXIT, Warszawa, Ryszard Tadeusiewicz, Elementarne wprowadzenie do techniki sieci neuronowych z przykładowymi programami, w serii Problemy Współczesnej Nauki, Informatyka, Akademicka Oficyna Wydawnicza PLJ, Warszawa, Ryszard Tadeusiewicz, Józef Korbicz, Leszek Rutkowski, Włodzisław Duch, Sieci neuronowe w inżynierii biomedycznej, 9. tom serii Inżynieria biomedyczna. Podstawy i zastosowania, Akademicka Oficyna Wydawnicza EXIT, Warszawa, R. Tadeusiewicz, M. Szaleniec, Leksykon sieci neuronowych, Wrocław, Horzyk, A., Human-Like Knowledge Engineering, Generalization and Creativity in Artificial Neural Associative Systems, Springer Verlag, AISC 11156, ISSN , Horzyk, A., Innovative Types and Abilities of Neural Networks Based on Associative Mechanisms and a New Associative Model of Neurons - referat na zaproszenie na międzynarodowej konferencji ICAISC 2015, Springer Verlag, LNAI, Horzyk, A., Sztuczne systemy skojarzeniowe i asocjacyjna sztuczna inteligencja, EXIT, Warszawa, Tadeusiewicz, R., Horzyk, A., Man-Machine Interaction Improvement by Means of Automatic Human Personality Identification, Gerhard Goos, Juris Hartmanis, and Jan van Leeuwen (Eds.), Springer, LNCS 8104, Horzyk, A., Gadamer, M., Associative Text Representation and Correction, Springer Verlag Berlin Heidelberg, LNAI 7894, 2013, pp Horzyk, A., Information Freedom and Associative Artificial Intelligence, Springer Verlag Berlin Heidelberg, LNAI 7267, 2012, pp Horzyk, A., Self-Optimizing Neural Network 3, L. Franco, D. Elizondo, J.M. Jerez (eds.), Constructive Neural Networks, Springer, Series: Studies in Computational Intelligence, Vol. 258, 2009, pp Adrian Horzyk horzyk@agh.edu.pl Google: Horzyk