Neural networks Lecture Notes n Pattern Recognton by W.Dzwnel Krótka hstora McCulloch Ptts (1943) - perwszy matematyczny ops dzalana neuronu przetwarzana przez nego danych. Proste neurony, które mogly modelowac funkcje logczne take jak OR lub AND Von Neumann: The computer and the bran (1958). - hstoryczna praca teoretyczna - uczene zamast programowana Perceptron Rosenblatta (1958) - rozpoznawane znaków alfanumerycznych. - lata 70-te zastój prac nad secam neuronowym - Od konca lat 80-tych gwaltowny rozwój sec neuronowych Sec neuronowe - Lucjan Soltys 2 1
Czym jest sec neuronowa? Sec neuronowa, to zbór polaczonych prostych jednostek przetwarzajacych, których dzalane jest luzno nsprowane bologcznym neuronam. Wedza mozlwosc sec przechowywane sa w postac polaczen medzy neuronam wag tych polaczen. Sec neuronowe - Lucjan Soltys 3 Preceptron model Sec neuronowe - Lucjan Soltys 4 2
Wlascwosc sec neuronowych zdolnosc do adaptacj samo organzacj zmnejszona wrazlwosc na uszkodzene elementów zdolnosc do równoleglej pracy zdolnosc do generalzacj zdobytej wedzy uczene zamast programowana algorytmcznego Sec neuronowe - Lucjan Soltys 5 Sposoby realzacj sec jako modele matematyczne lub symulacyjne specjalne systemy komputerowe - neurokomputery specjalne oprogramowane dla potrzeb modelowana sec Sec neuronowe - Lucjan Soltys 6 3
Lnowe sec neuronowe najprostszy przypadek sec: wspólczynnk w nazywane wagam synaptycznym y = = 1 wag moga podlegac modyfkacja w procese uczena neuron rozpoznaje sygnaly które sa podobne do wektora wag n w x Sec neuronowe - Lucjan Soltys 7 Sec lnowa Najprostsza sec neuronowa tworzy warstwa neuronów z których kazdy ma ten sam zestaw sygnalów wejscowych X=<x 1, x 2,..., x n > kazdy ma jednak swój wektor wag. y ( m) ( m) ( m) = W * X x = w Sygnal wyjscowy m-tego neuronu ADALINE - ADAptve LINEar MADALINE - Multlayered ADALINE Sec neuronowe - Lucjan Soltys 8 4
Warstwowa struktura sec Perceptron jednowarstwowy Perceptron dwu warstwowy Sec neuronowe - Lucjan Soltys 9 Zastosowane sec Struktura sec Mozlwosc Sec neuronowe - Lucjan Soltys 10 5
Uczene neuronu o zachowanu neuronu decyduje wektor wag W, dzalanu sec macerz wag W k trudno jednorazowo zaprogramowac teracyjne - weloetapowe procesy uczena Aby zapewnc mozlwosc uczena musmy neuron uzupelnc o nowe elementy: procesor zmany wag detektor bledu Sec neuronowe - Lucjan Soltys 11 Regula a DELTA Jest to podstawowy algorytm uczena wprowadzony przez Wdrowa Hoffa n y = w x + θ n lczba neuronów wejscowych Metoda ta wymaga dodatkowego elementu w sec, który okresla czy podawany wynk jest poprawny lub ne. Zmane wektora wag oblczmy: δ = z y Nowa wartosc wektora wag oblczmy: W ' = W + ηδx η - wspólczynnk decydujacy o szybkosc uczena Sec neuronowe - Lucjan Soltys 12 6
Uczene bez nauczycela unsupervsed learnng lub hebban learnng waga m-tego neuronu w wzrasta wedlug wzoru: w = w + ηx ( m)( j+ 1) ( m)( j) ( j) ( j) m y ( j) m = n = 1 w ( m)( j) x ( j) y Sec neuronowe - Lucjan Soltys 13 Waranty metod uczena przyrostowe samouczene (dferental hebban learnng) koncepcja gwazdy wejsc (nstant tranng) Sec neuronowe - Lucjan Soltys 14 7
Nelnowe sec neuronowe PERCEPTRON - perwsza sec nelnowa - rzeczywste bologczne neurony - nelnowe nelnowy element: ϕ(.) funkcja nelnowa laczne pobudzene neuronu: e = n = 1 w x f decyduje o specyfcznych wlascwoscach PERCEPTRONU Sec neuronowe - Lucjan Soltys 15 Nektóre formy nelnowosc neuronu sgmodalna 1 y = 1+ exp( βe) tangens hperbolczny funkcja skoku jednostkowego BAM (Bdrectonal Assocatve Memory) y ( j+ 1) y 1 gdy e > 0 ( j) = y gdy e = 0 1 gdy e < 0 = tanh( βe) = 1 gdy e> 0 { 0 gdy e 0 Sec neuronowe - Lucjan Soltys 16 y 8
Uczene nelnowego neuronu Dopero w latach 80-tych zostal zaproponowany algorytm wstecznej propagacj bledów (backpropagaton). Polega on na tym, ze majac blad d (m)(j) podczas realzacj kroku j w neurone m mozemy rzutowac ten blad do wszystkch neuronów, których wyjsca stanowly wejsce dla neuronu m Sec neuronowe - Lucjan Soltys 17 Parametry uczena sec odpowedn dobór wspólczynnka η η jest wekszy na poczatku uczena, stopnowo zmnejszany jesl wektor wagowy zblza se do ustalonych wartosc zwalnane przyspeszane uczena przy pomocy η Sec neuronowe - Lucjan Soltys 18 9
Sec Counter Propagaton stanow polaczene sec Kohonena Grossberga stosunkowo szybko se uczaca majaca (potencjalne) neogranczony zakres odwzorowan pomedzy sygnalem wejscowym wyjscowym funkcjonowane porównywane do odczytu gotowego wynku z tablcy Sec neuronowe - Lucjan Soltys 19 Sec Counter Propagaton W podstawowym zalozenem sec CP jest normalzacja sygnalów wejscowych Uczene: warstwa 1 warstwa 2 ( k ) ( k ) T ( k ) ( k + 1) ( k ) X j = vj + η3( e = W ( z) > = W ( k) k e z e + η ( X W ( k+ 1) ( k) ( k) ( k) z z 1 z ) v y z ) k W kazdym kroku uczena tylko jedna wartosc k jest rózna od zero j Sec neuronowe - Lucjan Soltys 20 10
Sec Counter Propagaton Sec neuronowe - Lucjan Soltys 21 Sec rezonansowe ART. - Adaptve Resonance Theory ART1 - analza obrazów bnarnych ART2 - analza obrazów analogowych sklada se z dwóch warstw jednakowo lcznych neuronów perwsza warstwa rejestruje sygnaly wejscowe Sec neuronowe - Lucjan Soltys 22 11
druga analzuje cechy na zasadze wazonej sumy ch wejsc wypracowuje zasady rywalzacj pomedzy neuronam dodatkowe polaczena z warstwy wyjscowej do wejscowej Uczene sec ART proces uczena defnowany prawem Webera proces uczena stanow rozwazywane ukladu równan róznczkowych Sec neuronowe - Lucjan Soltys 23 Uklad kontrolny ART kazda sec ART. wyposazona w uklad kontrolny sygnal ukladu kontrolnego dodatkowo pobudza neuronu dolnej warstwy dodatkowy uklad z trzech neuronów detektor wejsca bada aktywnosc Y drugej warstwy tworzy sygnal wyjscowy Sec neuronowe - Lucjan Soltys 24 12
Sec Hopfelda neurony maja nelnowe charakterystyk odwrócony kerunek przeplywu sygnalów sprzezena zwrotne autoasocjacyjna neurony ne tworza warstw laczene kazdego z kazdym Sec neuronowe - Lucjan Soltys 25 Sec Hopfelda cd. Sec neuronowe - Lucjan Soltys 26 13
Bdrectonal Assocatve Memory Model pamec asocjacyjnej wykorzystywana do rozpoznawana obrazów rozpoznaje takze uszkodzone obrazy czas odpowedz bardzo wolno rosne wraz z lczba rozpoznawanych struktur Sec neuronowe - Lucjan Soltys 27 Zastosowane dagnostyka ukladów elektroncznych badana psychatryczne prognozy np.: geldowe nterpretacja badan bologcznych analza spektralna sterowane procesów przemyslowych rozpoznawane obrazów fltrowane sygnalów Sec neuronowe - Lucjan Soltys 28 14
2004-05-30 Zastosowane cd. Sec neuronowe - Lucjan Soltys 29 Lteratura 1) Sec Neuronowe R. Tadeusewcz (1993) 2) http://www.phys.un.torun.pl/~duch/ neural.html 3) http://www-cse.stanford.edu/classes/sophomorecollege/projects-00/neural-networks/ 4) http://www.boss.sar.ac.uk/tele/newtech/newann.htm 5) http://www.emsl.pnl.gov:2080/proj/neuron/ Sec neuronowe - Lucjan Soltys 30 15