Sieci neuronowe - wprowadzenie - Istota inteligencji WYKŁAD Piotr Ciskowski
na dobry początek: www.mql4.com - championship 2007 - winners of the ATC 2007 - the ATC 2007 is over forex-pamm.com
na dobry początek: www.mql4.com - championship 2007 - winners of the ATC 2007 - the ATC 2007 is over forex-pamm.com
program wykładu część ogólna piotr.ciskowski.staff.iiar.pwr.wroc.pl 1. Wprowadzenie, historia, istota inteligencji 2. Neuron budowa, działanie, własności 3. Sieć wielowarstwowa MLP budowa, działanie, własności 4. Uczenie neuronu uczenie sieci 5. Algorytmy uczenia sieci MLP 6. Zasady uczenia sieci Zjawiska zachodzące podczas uczenia 7. Uczenie sieci jedno- i dwuwarstwowych - omówienie - ilustracja
program wykładu część ogólna piotr.ciskowski.staff.iiar.pwr.wroc.pl 8. Sieci samoorganizujące SOM 9. Sieci o radialnych funkcjach bazowych RBF 10. inne rodzaje sieci neuronowych jednokierunkowych 11. Sieci rekurencyjne 12. Kontekstowe sieci neuronowe 13. Narzędzia do symulacji sieci a. MATLAB Neural Networks Toolbox b. STATISTICA Neural Networks c. inne 14. Zastosowania sieci jednokierunkowych 15. Zastosowania sieci automatyka 16. Zastosowania sieci rekurencyjnych 17. Zastosowania sieci - wdrożenia
program wykładu część sterownikowa piotr.ciskowski.staff.iiar.pwr.wroc.pl 18. Nieliniowe modele obiektów dynamicznych bazujące na sieciach neuronowych 19. Sterowniki neuronowe bazujące na modelu odwrotnym 20. Sterowanie użyciem modelu obiektu 21. Sterowniki bazujące na ciągłej linearyzacji obiektu
program wykładu część rozmyta piotr.ciskowski.staff.iiar.pwr.wroc.pl 18. Podstawowe pojęcia logiki rozmytej 19. Wnioskowanie rozmyte 20. Regulatory rozmyte 21. Systemy neuronowo-rozmyte
literatura piotr.ciskowski.staff.iiar.pwr.wroc.pl 1. Jeff Hawkins, Sandra Blakeslee. Istota inteligencji, Helion 2006 2. Ryszard Tadeusiewicz i in. Odkrywanie właściwości sieci neuronowych przy użyciu programów w języku C#, Polska Akademia Umiejętności, Kraków 2007 3. Stanisław Osowski. Sieci neuronowe do przetwarzania informacji Oficyna Wydawnicza Politechniki Warszawskiej, Warszawa 2006 4. Jacek Żurada, M. Barski, W. Jędruch. Sztuczne sieci neuronowe Wydawnictwo Naukowe PWN, Warszawa 1996 5. Józef Korbicz, Andrzej Obuchowicz, Dariusz Uciński Sztuczne sieci neuronowe. Podstawy i zastosowania Akademicka Oficyna Wydawnicza PLJ, Warszawa 1994 6. Leszek Rutkowski. Metody i techniki sztucznej inteligencji Wydawnictwo Naukowe PWN, Warszawa 2006
literatura piotr.ciskowski.staff.iiar.pwr.wroc.pl 7. Jacek Łęski. Systemy neuronowo-rozmyte, Wydawnictwa Naukowo-Techniczne, Warszawa 2008 8. M. Norgaard i in. Neural Networks for Modelling an Control of Dynamic Systems Springer 2000 9. Timothy Masters. Sieci neuronowe w praktyce. Programowanie w języku C++ Wydawnictwa Naukowo-Techniczne, Warszawa 1996 10. Paweł Cichosz. Systemy uczące się Wydawnictwa Naukowo-Techniczne, Warszawa 2000
neuron biologiczny i sztuczny x 1 x 2 M x S w 1 w 2 M w S u y u = w x + w x + K 1 1 2 2 S = i= 1 w x i i
neuron biologiczny i sztuczny x 1 x 2 M x S w 1 w 2 M w S u y y 1 gdy = f ( u) = 0 gdy u u > próg próg
neuron biologiczny i sztuczny x 0 = 1 x 1 x 2 M x S w k,1 w k,2 M w k, S w k,0 uk yk
różnice w budowie komputer jeden bardzo skomplikowany procesor sieć neuronowa bardzo dużo bardzo prostych procesorów bardzo duża prędkość pojedynczego procesora mała prędkość pojedynczego procesora niezła wydajność całości 10 11 op./sek. Intel i7 wysoka wydajność całości 10 18 op./sek.
różnice w działaniu komputer zdobywanie wiedzy: sieć neuronowa zdobywanie wiedzy: programowanie modelowanie znanego algorytmu uczenie na przykładach najlepsze zastosowania: najlepsze zastosowania: zadania o ściśle określonych, jednoznacznych algorytmach zadania słabo zdefiniowane dużo przykładów czynności, które robimy podświadomie
gdzie co stosować źródło: Tadeusiewicz
różnice w działaniu komputer dokładność obliczeń: bardzo duża sieć neuronowa dokładność obliczeń: mała odporność na uszkodzenia: mała odporność na uszkodzenia: duża wiedza zawarta w: programie, algorytmie wiedza zawarta w: wagach
historia: źródło: Tadeusiewicz 1904 Pawłow teoria odruchów warunkowych 1906 Colgi struktura układu nerwowego 1906 Ramon y Cajal mózg składa się z neuronów 1920 Krogh funkcje regulacyjne w organizmie 1932 Sherrington - sterowanie pracą mięśni 1936 Dale, Hallett - chemiczna transmisja impulsów nerwowych 1944 Erlanger, Gasser - procesy we włóknie nerwowym 1963 Eccless i in. - elektryczna aktywność neuronu 1969 Granit i in. - fizjologia widzenia 1977 Guillemin i in. - działanie hormonów w mózgu 1981 Sperry i in. - specjalizacja półkul móźdżku 1981 Hubel i in. - przetwarzanie informacji w systemie wzrokowym
historia: 1904 Pawłow teoria odruchów warunkowych 1906 Ramon y Cajal mózg składa się z neuronów 1943 McCulloch i Pitts matematyczny model neuronu 1949 Hebb - reguła uczenia Hebba 1958 Rosenblatt rozpoznawanie znaków 1960 Widrow neurokomputer Madaline 1969 Minsky i Pappert krytyka 1986 Rumelhart i in. metoda backpropagation 198x Hopfield sieci rekurencyjne 198x Kohonen sieci samoorganizujące
zastosowania sieci: klasyfikacja rozpoznawanie wzorców rozpoznawanie obrazów predykcja szeregów czasowych przybliżanie funkcji identyfikacja / modelowanie systemów sterowanie optymalizacja pamięci asocjacyjne
zastosowania sieci: Sterowanie ramieniem robota na promach kosmicznych NASA Rozpoznawanie sygnałów sonarowych US Navy Klasyfikacja obrazów mammograficznych szpital w USA Sterowanie zaworami rakiety Atlas Cofanie wielką amerykańską ciężarówą z naczepą Prognozowanie zapotrzebowania na energię elektryczną
Istota inteligencji - autorzy: Jeff Hawkins przedsiębiorca z Doliny Krzemowej główny inżynier w PalmOne założyciel Palm Computing, Handspring fundator Redwood Neuroscience Institute Sandra Blakeslee dziennikarka New York Times
Istota inteligencji cel książki: opisać ogólną teorię funkcjonowania mózgu - prostą i przejrzystą czym jest inteligencja jak powstaje w tkance nerwowej sztuczna inteligencja - rzeczywista inteligencja przed próbą budowy inteligentnych maszyn trzeba najpierw zrozumieć, jak działa mózg dopiero wtedy można zastanawiać się, jak zbudować inteligentne maszyny
Istota inteligencji - pytania: Czy komputery mogą być inteligentne? Czy sieci neuronowe mogą prowadzić do powstania inteligentnych maszyn? Dlaczego tak trudno odkryć, w jaki sposób funkcjonuje mózg? Czym jest inteligencja, jeśli nie jest po prostu inteligentnym zachowaniem? Jak działa mózg? Co wynika z tej teorii? Czy można zbudować inteligentne maszyny i do czego mogą być one zdolne?
Istota inteligencji mózg = umysł? 1979 - Scientific American (Świat Nauki) 09/79 - numer o mózgu - Francis Crick: Thinking about the brain Mimo ciągłego przyrostu szczegółowej wiedzy o mózgu, sposób jego funkcjonowania wciąż pozostaje zagadką
różne podejścia do sztucznej inteligencji: Badacze sztucznej inteligencji Behawioryści Systemy ekspertowe Koneksjoniści - Sieci neuronowe Funkcjonaliści
zadania nie rozwiązane: percepcja język naturalny zachowanie uogólnianie elastyczność intuicja wyobraźnia planowanie
jak odkryć inteligencję: przełamać intuicję Kopernik Darwin Einstein inteligencja inteligentne zachowanie bycie człowiekiem bycie inteligentnym człowiek = inteligencja + uczucia + popędy + emocje + biologia + mądrość?
jak odkryć inteligencję: przełamać intuicję proste rozwiązania kora nowa
prof. Ryszard Tadeusiewicz
prof. Włodzisław Duch
prof. Bernie Widrow