Systemy Inteligentnego Przetwarzania wykład 1: sieci elementarne Dr inż. Jacek Mazurkiewicz Katedra Informatyki Technicznej e-mail: Jacek.Mazurkiewicz@pwr.edu.pl
Sprawy formalne konsultacje, p. 225 C-3: PN: 11:00 14:00, WTP: 9:00-11:00, ŚRP: 13:00-15:00 trochę slajdy: www.zsk.ict.pwr.wroc.pl trochę Wiktor Zin kolokwium: 15.01.2019 na wykładzie - SIP: wykład i projekt trzeba zaliczyć obie formy - ocena z projektu 20% oceny zaliczeniowej - zadania stwierdzające co w głowie zostało - pytanie bonusowe!
SIP o czym będzie na wykładzie Istota inteligentnego przetwarzania porównanie z przetwarzaniem w klasycznym komputerze von Neumana. Zbiory rozmyte i wnioskowanie przybliżone. Systemy ekspertowe - baza wiedzy i reguły wnioskowania. Organizacja systemu ekspertowego. Sieci neuronowe - pojęcia podstawowe, neurony i sieci neuronowe, algorytmy uczenia. Przykłady zastosowań. Algorytmy genetyczne - klasyczny i ewolucyjny. Przykłady zastosowań.
SIP o projekcie troszkę! Zastosowanie sztucznych sieci neuronowych w zagadnieniach rozpoznawania i przetwarzania obrazów, sygnałów akustycznych oraz kompresji danych - dobór typu i topologii sieci do postawionego problemu, zdefiniowanie środowiska pracy sieci, przygotowanie wzorców uczących i testowych, symulacja działania i badania zachowania sieci przy zmieniających się parametrach pracy. Wykorzystanie algorytmów genetycznych lub reguł wnioskowania systemu ekspertowego do określenia warunków początkowych pracy sieci neuronowych oraz pre- i postprocessingu danych w zagadnieniach rozpoznawania i przetwarzania sygnałów. Symulacja sieci neuronowych, algorytmów genetycznych oraz systemów ekspertowych, w analizowanych problemach wykorzystywane są następujące modele sieci neuronowych: ADALINE, dyskretna sieć HOPFIELDA, mapa cech KOHONENA, PERCEPTRON wielowarstwowy.
SIP literatura Hecht-Nielsen R.; Neurocomputing. Addison-Wesley Publishing Company Hertz J., Krogh A., Palmer R. G.; Wstęp do obliczeń neuronowych. WNT, Warszawa Korbicz J., Obuchowski A., Uciński D.: Sztuczne sieci neuronowe. Podstawy i zastosowania, Akademicka Oficyna Wydawnicza PLJ, Warszawa Osowski S.: Sieci neuronowe, Oficyna Wydawnicza Politechniki Warszawskiej, Warszawa Osowski S.: Sieci neuronowe w ujęciu algorytmicznym, WNT, Warszawa Mulawka J. J.; Systemy ekspertowe. WNT, Warszawa Rutkowska D., Piliński M., Rutkowski L.; Sieci neuronowe, algorytmy genetyczne i systemy rozmyte. PWN, Warszawa - Łódź Tadeusiewicz R.; Sieci neuronowe. Akademicka Oficyna Wydawnicza RM, Warszawa Caudill M., Butler Ch.; Understanding Neural Networks: Computer Explorations. vol. 1. Basic Networks. A Bradford Book, The MIT Press Caudill M., Butler Ch.; Understanding Neural Networks: Computer Explorations. vol. 2. Advanced Networks. A Bradford Book, The MIT Press Kung S. Y.: Digital Neural Networks, PTR Prentice-Hall, Englewood Cliffs, New Jersey Tadeusiewicz R.; Problemy biocybernetyki. PWN, Warszawa Waterman D. A.; A Guide to Expert Systems. Addison-Wesley Publishing Company
SIP cele i efekty kształcenia CELE PRZEDMIOTU C1. Zdobycie wiedzy z zakresu sztucznych sieci neuronowych w zastosowaniu do rozpoznawania obrazów i sygnałów cyfrowych obejmująca: topologię sieci oraz znajomość wpływu parametrów pracy sieci na jej zachowanie i funkcjonowanie. C2. Zdobycie wiedzy o algorytmach genetycznych i logice rozmytej jako narzędziach pre- i postprocessingu danych. C3. Zdobycie wiedzy o systemach ekspertowych - zasadach tworzenia reguł wnioskowania i bazy wiedzy w przypadku określonych zastosowań. C4. Zdobycie umiejętności użycia środowisk projektowania, modelowania oraz symulacji systemów inteligentnego przewarzania informacji dla potrzeb rozwiązania konkretnych problemów badawczych. PRZEDMIOTOWE EFEKTY KSZTAŁCENIA Z zakresu wiedzy: PEK_W01 zna zasady i istotę inteligentnego przetwarzania informacji. PEK_W02 definiuje zbiory rozmyte, rozumie ideę wnioskowania rozmytego. PEK_W03 definiuje bazę wiedzy i reguły wnioskowania, zna budowę systemów ekspertowych. PEK_W04 zna klasyczne architektury sieci neuronowych, algorytmy uczenia i generowania odpowiedzi oraz typowe ich zastosowania. PEK_W05 zna klasyfikację, zasady opisu i implementacji, przykłady zastosowań algorytmów genetycznych. Z zakresu umiejętności: PEK_U01 potrafi posługiwać się środowiskami projektowania, modelowania oraz symulacji sztucznych sieci neuronowych i algorytmów genetycznych w zadaniu rozpoznawania obrazów i sygnałów cyfrowych. PEK_U02 potrafi posługiwać się środowiskami projektowania, modelowania oraz implementacji systemów ekspertowych w zadanych obszarach wiedzy. PEK_U03 potrafi posługiwać się środowiskami projektowania, modelowania oraz implementacji zbiorów rozmytych i wnioskowania rozmytego w zadanych obszarach wiedzy.
Dlaczego SIP nas bawi? Cały czas w użyciu Wtedy gdy inne podejścia zawiodą Umiejętności ludzkie a programowanie klasyczne Pracują jak prymitywny mózg ludzki Ale moc jest! ANN + Fuzzy Logic + Expert Systems + Rough Sets + Ant Algorithms = SoftComputing
Historia sieci neuronowych 1943 McCulloch & Pitts model sztucznego neuronu 1949 Hebb informacja zapamiętywania w sieci neuronowej 1958 Rosenblatt model perceptronu 1960 Widrow & Hoff pierwszy neurokomputer - Madaline 1969 Minsky & Papert problem XOR ograniczenia perceptronu jednowarstwowego 1986 McCleland & Rumelhart algorytm wstecznej propagacji błędu
Programowalne struktury logiczne (1) Rozpoznawanie obrazów, znaków, sygnałów, liter Analiza obrazów sonarowych Predykcja zużycia energii elektrycznej Symulatory i gry komputerowe Diagnostyka silników spalinowych pojazdy, samoloty Identyfikacja typów skał Wykrywacze materiałów wybuchowych
Realizacje sieci neuronowych Zbiór identycznych, powiązanych neuronów Sztuczny neuron na wzór neuronu biologicznego Realizacje sprzętowe Realizacje programowe - dominują Sztuczna sieć neuronowa pojęcie matematyczne Praca równoległa przynajmniej częściowo Brak programowania jest proces uczenia
Idea uczenia Z nauczycielem Wektor cech (dane nauki) Nauczyciel Wynik klasyfikacji Klasyfikator Bez nauczyciela Wektor cech (dane testowe) Wynik klasyfikacji Klasyfikator
Gdzie SIP słaby jest Ograniczenia stosowalności SIP-u są Brak miejsca dla SIP-u: operacje symboliczne: wyrażenia, równiania, itp. wymagana duża precyzja obliczeniowa SIP fajny jest, ale nie jest i nie będzie panaceum!
Chwilka o anatomii człowieka (1) Układ Nerwowy dwukierunkowa symetryczna grupa struktur, dzielona na 4 części: Rdzeń Kręgowy odbiór i wysyłka informacji Rdzeń Przedłużony oddychanie, krążenie, trawienie Móżdżek kontrolowanie ruchów Mózg (ok. 1.3 kg) 2 półkule czucie, myślenie, motoryka
Chwilka o anatomii człowieka (2)
Chwilka o anatomii człowieka (3) mózg składa się głównie z włókien charakteryzuje się dużą liczbą rozgałęzień są dwa rodzaje komórek w tkance nerwowej: komórki glejowe i neurony komórek glejowych jest dużo więcej ale nie grają roli w przekazywaniu aktywności elektrycznej neuronów pełnią funkcje podporowe, odżywcze, odgraniczające i regeneracyjne są stosunkowo małe i w kształcie gwiazdy w korze mózgowej jest około 20 miliardów neuronów 100 miliardów w całym mózgu neuron składa się z 3 podstawowych elementów ciała komórki dendrytów wejść do komórki aksonu wyjścia z komórki działanie sieci neuronów średnio komórka posiada kilka tysięcy synaps
Chwilka o anatomii człowieka (4) kora mózgowa posiada grubość około 2 milimetrów i powierzchnię około 1.5 m 2 kora mózgowa podzielona jest na 4 anatomicznie rozróżnialne regiony, zwane płatami: - czołowy, - ciemieniowy, - skroniowy, - potyliczny każdy płat jest pofałdowany każda półkula odpowiada za procesy motoryczne i sensoryczne w przeciwstawnej połowie ciała półkule są symetryczne w strukturze, ale nie identyczne w funkcjach;
Chwilka o anatomii człowieka (5) działanie sieci neuronów chemiczno-elektryczne przekazywanie sygnałów w komórce generowany jest sygnał elektryczny impuls jest zamieniany na sygnał chemiczny w końcu aksonu informacje chemiczną przekazują neurotransmitery jest ich około 50 rodzajów neurony są wolne generują sygnały - kilkaset Hz.
Biologiczne i sztuczne sieci neuronowe sztuczne sieci neuronowe są sposobem na: testowanie zidentyfikowanych systemów biologicznych rozpoznawanie funkcji komórek zawartych w sieci generację konfiguracji sieci w celu badania ich zakresu, specyfiki i efektywności sztuczne sieci są neuronowe są osłabioną wersją sieci biologicznych biologiczne sieci neuronowe mają skomplikowane psychologiczne właściwości biologiczne sieci neuronowe posiadają zależności biologiczne neurony posiadają skomplikowane i zróżnicowane połączenia większość architektur sztucznych sieci nie jest realistyczna biologicznie reguły nauczania sztucznych sieci nie są realistyczne z punktu widzenia biologii większość biologicznych sieci neuronowych można porównać z nauczonymi sztucznymi sieciami neuronowymi, wyspecjalizowanymi w realizacji konkretnej funkcji.