Sztuczne sieci neuronowe. Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 311

HTML
DOWNLOAD

Wielkość: px

Rozpocząć pokaz od strony:

Download "Sztuczne sieci neuronowe. Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 311"

Emilia Piotrowska
8 lat temu
Przeglądów:

1 Sztuczne sec neuronowe Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyk, p. 311

2 Wykład 1 PLAN: Jak (klasyczne) komputery ocenaą flozofę Alberta Enstena Hstora korzene teor sztucznych sec neuronowych Wprowadzene do teor sec neuronowych Sec neuronowe w praktyce Jeszcze raz o Alberce Enstene, flozof sztuczne ntelgenc Bblografa

3 Jakm flozofem był Albert Ensten? Naukowcy są kepskm flozofam - A. Ensten, Out of my later years, Phlosophcal Lbrary, New York 1950 A. Ensten był wybtnym naukowcem ( zdawał sobe z tego sprawę). Wnosek klasycznego, ntelgentnego (???) systemu ekspertowego: <<Albert Ensten uważał sę za kepskego flozofa>>

4 Bologczne korzene Mózg ludzk: obętość 1,4 l., pow. 2000cm 2, masa 1,5 kg Kora mózgowa: grubość 3 mm, komórek nerwowych, lczba połączeń (synaps) Impulsy komórek nerwowych: częstotlwość 1-100Hz, czas trwana 1-2 ms, napęce 100mV Szybkość pracy mózgu: połączeń x 100Hz = op./s

5 Bologczne korzene (cd) Cechy mózgu: - odporność na błędy - elastyczność - odporność na zaszumoną nformacę

6 Hstora sztucznych sec neuronowych (SSN) 1943 matematyczny model sztucznego neuronu McCulocha Pttsa 1949 Hebb reguła uczena bez nadzoru (Hebba) w Organzaton of Behavour 1958 perceptron Rosenblatta perwsza mplementaca SSN: elektroncznoelektromechanczny układ, warstwa weścowa warstwa wyścowa, uczene zbeżne (o le stnee rozwązane), aplkaca: do rozpoznawana znaków alfanumerycznych

7 Hstora rozwou SSN (cd) 1960 Wdrow Hoff: Madalne (multple adaptve lnear neurons) 1969 Mnsky Papert: ksążka Perceptrons krytyka SSN, zastó do początku lat 80.

8 Hstora rozwou SSN (cd) Odrodzene SSN: Hopfeld budue pamęć autoasocacyną, seć rozwązuącą NP-zupełny problem komwoażera, , 1982, 1986 algorytm wsteczne propagac błędów odpowedzą na krytykę Mnsky ego Paperta - Początek lat 90: matematyczny dowód na sensowność wykorzystana SSN (perceptronów welowarstwowych) w rol klasyfkatorów w warunkach nepewnośc probablstyczne

9 Zalety sztucznych sec neuronowych (SSN) Potrafą odpowadać w warunkach nformac nepełne Ne wymagaą znaomośc algorytmu rozwązana zadana (automatyczne uczene) Przetwarzaą nformacę w sposób wysoce równoległy Potrafą generalzować (uogólnać na przypadk neznane) Są odporne na częścowe uszkodzena Potrafą realzować pamęć asocacyną (skoarzenową podobne ak dzała pamęć u ludz) w przecweństwe do pamęc adresowane (charakterystyczne dla klasycznych komputerów)

10 Sztuczny neuron net A O w n A O = czyl : O wo = A( = TF( n ) A = TF( A( ) wo ))

11 Seć neuronowa warstwowa

12 Ogólna postać reguły uczena ( ) ( ) n d h O w w = g( n, d ( O, w ) w = g,, g, h dowolne funkce

13 Reguła uczena Hebba w ( p) = η n ( p) O ( p) Gdy: g ~ n, h ~ O ( ) ( ) n d h O w w = g,,

14 Reguła uczena Delta (Wdrowa Hoffa) w ( p) Gdy: d w ( p) = η( ( p) n O A O ( p) ( p) ( p) ( p) = η g(n,d )= η(d - n ), h(o,w )= O ) ( ) ( ) n d h O w w = g,,

15 Typy uczena: Uczene nadzorowane gdy w regule w funkc g ako argument występue d Uczene nenadzorowane gdy w regule w funkc g ne występue d ( ) ( ) n d h O w w = g,,

16 Reguła Grossberga (1976) w = ηn ( O w ) Gdy: g(n,d )= ηn, h(o,w )= O -w ( ) ( ) n d h O w w = g,,

17 Reguła uczena Hebb - anty Hebb w = ηn ( 2O 1) Gdy: g = ηn, h = 2O -1 ( ) ( ) n d h O w w = g,,

18 Reguła uczena Hebb - anty Hebb z forsowanem w = ηd ( 2O 1) Gdy: g = ηd, h = 2O -1 ( ) ( ) n d h O w w = g,,

19 Reguła uczena Hopfelda w = η ( 2n 1)( 2O 1) Gdy: g = η(2n -1), h = 2O -1 ( ) ( ) n d h O w w = g,,

20 Reguła uczena Hopfelda z forsowanem w = η ( 2d 1)( 2O 1) Gdy: g = η(2d -1), h = 2O -1 ( ) ( ) n d h O w w = g,,

21 Reguła Kohonena stosowana do modyfkac ednego zwycęskego neuronu w Gdy: = η ( O w ) g(n,d )= η, h(o,w )= O -w ( ) ( ) n d h O w w = g,,

22 Reguła uczena w nektórych secach Hopfelda oraz BAM w ( p) = η d ( p) O ( p) Gdy: g = ηd, h = O ( ) ( ) n d h O w w = g,,

23 Model neuronu McCullocha- Pttsa 1 w 0 x 1 w 1 x 2 w 2 Σ n f(n) y x m w m n m = = 1 w * x + w, 0 y = 1 ( n)

24 Funkce prześca y ( n) = kn 1 0,5 0-0,6-0,4-0,2 0 0,2 0,4 0,6 Lnowa (lnowa, cągła, różnczkowalna)

25 Funkce prześca (cd) y ( n) = kn, 1, 1, dla n 1/ k dla 1/ k 1 < dla n > 1/ k n 1/ k ( ) 0, ,5 0 0,5 1 Lnowa progowa (nelnowa, cągła, neróżnczkowalna)

26 Funkce prześca (cd) y(n) = 1dla n 0 dla n > , ,5 0 0,5 1 Skoku ednostkowego (nelnowa, necągła, neróżnczkowalna)

27 Funkce prześca (cd) y( n) = e βn 1 0, Sgmodalna (nelnowa, cągła, różnczkowalna)

28 Funkce prześca (cd) y( n) = e n 2 1 0, Gaussa (nelnowa, cągła, różnczkowalna, nemonotonczna)

29 Klasyfkaca sec neuronowych Ze względu na topologę: - ze sprzężenam (pamęć autoasocacyna Hopfelda) - bez sprzężeń (perceptron welowarstwowy, mapa cech Kohonena, seć z radalnym funkcam bazowym) Ze względu na sposób uczena: - uczene bez nadzoru (mapa cech Kohonena) - uczene z nadzorem (perceptron welowarstwowy, seć z radalnym funkcam bazowym) Ze względu na funkcę prześca: - lnowe (Adalne) - nelnowe (perceptron welowarstwowy, seć z radalnym funkcam bazowym)

30 Proces uczena z nadzorem Mnmalzaca błędu średnokwadrat. Mnmalzaca lośc błędnych odpowedz

31 Zastosowana sec neuronowych Rozpoznawane obrazów Rozpoznawane mowy Dagnostyka medyczna Prognozowane w ekonom Sterowane rucham robota Symulowane zachowań struktur bologcznych neuronów

32 Przykładowe pakety symuluące sec neuronowe -BranMaker -Matlab NN -Neural ++ -Stock Prophet -...

33 Znowu o Enstene Zastrzeżena do wycągnętego w oparcu o ścsłe reguły logczne wnosku: Ensten uważał sę za kepskego flozofa spowodowane asocacą nazwska Ensten z ego zamłowanem do flozof oraz z ego genuszem. Koneczny dodatkowy (ukryty) kontekst wypowedz Łatwość rozumu ludzkego (perwowzoru SN) z radzenem sobe z neprecyzynym (nedopowedzonym) stwerdzenam poprzez odkrywane ukrytego domyślnego kontekstu. Odkryty sens wypowedz Enstena: naukowcy [NA OGÓŁ] są kepskm flozofam, zatem ne musał on uważać sę za kepskego flozofa Każdy naukowec może teraz spokone flozofować sądząc, że to na ogół ego ne dotyczy...(maąc wszakże na uwadze, że za sprawą lepszego samopoczuca, ego flozofa nestety ne stane sę lepsza).

34 Na konec BARDZO flozofczne pytana Czym est ntelgenca Czym est śwadomość Czym est samośwadomość wreszce: Czy można POWAŻNIE mówć o sztuczne ntelgenc, w sytuac, kedy maszyna, która z edne strony wygrywa z mstrzem śwata w szachy, z druge, ne ma o tym namneszego poęca?

35 Bblografa T. Masters, Sec neuronowe w praktyce programowane w ęzyku C++, Warszawa 1996 R. Tadeusewcz, Elementarne wprowadzene do technk sec neuronowych z przykładowym programam, Warszawa 1998 J. Hertz, A. Krough, R. G. Palmer, Wstęp do oblczeń neuronowych, Warszawa 1995 J. Korbcz, A. Obuchowcz, D. Ucńsk, Sztuczne sec neuronowe podstawy zastosowana, Warszawa 1993

36 Bblografa (cd) R. Tadeusewcz, Sec neuronowe, Warszawa 1993 S. Osowsk, Sec neuronowe w uęcu algorytmcznym, Warszawa 1996 D. Rutkowska, M. Plńsk, L. Rutkowsk, Sec neuronowe, algorytmy genetyczne systemy rozmyte, Warszawa 1999 J. Lawrence, Introducton to Neural Networks, Nevada Cty 1994

Podobne dokumenty

Neural networks. Krótka historia 2004-05-30. - rozpoznawanie znaków alfanumerycznych.

Neural networks. Krótka historia 2004-05-30. - rozpoznawanie znaków alfanumerycznych. Neural networks Lecture Notes n Pattern Recognton by W.Dzwnel Krótka hstora McCulloch Ptts (1943) - perwszy matematyczny ops dzalana neuronu przetwarzana przez nego danych. Proste neurony, które mogly