Neural networks. Krótka historia rozpoznawanie znaków alfanumerycznych.

Wielkość: px

Rozpocząć pokaz od strony:

Download "Neural networks. Krótka historia 2004-05-30. - rozpoznawanie znaków alfanumerycznych."

Adrian Żukowski
8 lat temu
Przeglądów:

1 Neural networks Lecture Notes n Pattern Recognton by W.Dzwnel Krótka hstora McCulloch Ptts (1943) - perwszy matematyczny ops dzalana neuronu przetwarzana przez nego danych. Proste neurony, które mogly modelowac funkcje logczne take jak OR lub AND Von Neumann: The computer and the bran (1958). - hstoryczna praca teoretyczna - uczene zamast programowana Perceptron Rosenblatta (1958) - rozpoznawane znaków alfanumerycznych. - lata 70-te zastój prac nad secam neuronowym - Od konca lat 80-tych gwaltowny rozwój sec neuronowych Sec neuronowe - Lucjan Soltys 2 1

Proste neurony, które mogly modelowac funkcje logczne take jak OR lub AND Von Neumann: The computer and the bran (1958).

2 Czym jest sec neuronowa? Sec neuronowa, to zbór polaczonych prostych jednostek przetwarzajacych, których dzalane jest luzno nsprowane bologcznym neuronam. Wedza mozlwosc sec przechowywane sa w postac polaczen medzy neuronam wag tych polaczen. Sec neuronowe - Lucjan Soltys 3 Preceptron model Sec neuronowe - Lucjan Soltys 4 2

dzalane jest luzno nsprowane bologcznym neuronam.

3 Wlascwosc sec neuronowych zdolnosc do adaptacj samo organzacj zmnejszona wrazlwosc na uszkodzene elementów zdolnosc do równoleglej pracy zdolnosc do generalzacj zdobytej wedzy uczene zamast programowana algorytmcznego Sec neuronowe - Lucjan Soltys 5 Sposoby realzacj sec jako modele matematyczne lub symulacyjne specjalne systemy komputerowe - neurokomputery specjalne oprogramowane dla potrzeb modelowana sec Sec neuronowe - Lucjan Soltys 6 3

Sec neuronowe - Lucjan Soltys 5 Sposoby realzacj sec jako modele matematyczne lub symulacyjne specjalne

4 Lnowe sec neuronowe najprostszy przypadek sec: wspólczynnk w nazywane wagam synaptycznym y = = 1 wag moga podlegac modyfkacja w procese uczena neuron rozpoznaje sygnaly które sa podobne do wektora wag n w x Sec neuronowe - Lucjan Soltys 7 Sec lnowa Najprostsza sec neuronowa tworzy warstwa neuronów z których kazdy ma ten sam zestaw sygnalów wejscowych X=<x 1, x 2,..., x n > kazdy ma jednak swój wektor wag. y ( m) ( m) ( m) = W * X x = w Sygnal wyjscowy m-tego neuronu ADALINE - ADAptve LINEar MADALINE - Multlayered ADALINE Sec neuronowe - Lucjan Soltys 8 4

tworzy warstwa neuronów z których kazdy ma ten sam zestaw sygnalów wejscowych X=<x 1, x 2,..., x n > kazdy ma jednak swój wektor wag.

5 Warstwowa struktura sec Perceptron jednowarstwowy Perceptron dwu warstwowy Sec neuronowe - Lucjan Soltys 9 Zastosowane sec Struktura sec Mozlwosc Sec neuronowe - Lucjan Soltys 10 5

6 Uczene neuronu o zachowanu neuronu decyduje wektor wag W, dzalanu sec macerz wag W k trudno jednorazowo zaprogramowac teracyjne - weloetapowe procesy uczena Aby zapewnc mozlwosc uczena musmy neuron uzupelnc o nowe elementy: procesor zmany wag detektor bledu Sec neuronowe - Lucjan Soltys 11 Regula a DELTA Jest to podstawowy algorytm uczena wprowadzony przez Wdrowa Hoffa n y = w x + θ n lczba neuronów wejscowych Metoda ta wymaga dodatkowego elementu w sec, który okresla czy podawany wynk jest poprawny lub ne. Zmane wektora wag oblczmy: δ = z y Nowa wartosc wektora wag oblczmy: W ' = W + ηδx η - wspólczynnk decydujacy o szybkosc uczena Sec neuronowe - Lucjan Soltys 12 6

uczena wprowadzony przez Wdrowa Hoffa n y = w x + θ n lczba neuronów wejscowych Metoda ta wymaga dodatkowego elementu w sec, który okresla czy podawany wynk jest

7 Uczene bez nauczycela unsupervsed learnng lub hebban learnng waga m-tego neuronu w wzrasta wedlug wzoru: w = w + ηx ( m)( j+ 1) ( m)( j) ( j) ( j) m y ( j) m = n = 1 w ( m)( j) x ( j) y Sec neuronowe - Lucjan Soltys 13 Waranty metod uczena przyrostowe samouczene (dferental hebban learnng) koncepcja gwazdy wejsc (nstant tranng) Sec neuronowe - Lucjan Soltys 14 7

j) y Sec neuronowe - Lucjan Soltys 13 Waranty metod uczena przyrostowe samouczene

8 Nelnowe sec neuronowe PERCEPTRON - perwsza sec nelnowa - rzeczywste bologczne neurony - nelnowe nelnowy element: ϕ(.) funkcja nelnowa laczne pobudzene neuronu: e = n = 1 w x f decyduje o specyfcznych wlascwoscach PERCEPTRONU Sec neuronowe - Lucjan Soltys 15 Nektóre formy nelnowosc neuronu sgmodalna 1 y = 1+ exp( βe) tangens hperbolczny funkcja skoku jednostkowego BAM (Bdrectonal Assocatve Memory) y ( j+ 1) y 1 gdy e > 0 ( j) = y gdy e = 0 1 gdy e < 0 = tanh( βe) = 1 gdy e> 0 { 0 gdy e 0 Sec neuronowe - Lucjan Soltys 16 y 8

Soltys 15 Nektóre formy nelnowosc neuronu sgmodalna 1 y = 1+ exp( βe) tangens hperbolczny funkcja skoku jednostkowego BAM

9 Uczene nelnowego neuronu Dopero w latach 80-tych zostal zaproponowany algorytm wstecznej propagacj bledów (backpropagaton). Polega on na tym, ze majac blad d (m)(j) podczas realzacj kroku j w neurone m mozemy rzutowac ten blad do wszystkch neuronów, których wyjsca stanowly wejsce dla neuronu m Sec neuronowe - Lucjan Soltys 17 Parametry uczena sec odpowedn dobór wspólczynnka η η jest wekszy na poczatku uczena, stopnowo zmnejszany jesl wektor wagowy zblza se do ustalonych wartosc zwalnane przyspeszane uczena przy pomocy η Sec neuronowe - Lucjan Soltys 18 9

wyjsca stanowly wejsce dla neuronu m Sec neuronowe - Lucjan Soltys 17 Parametry uczena sec odpowedn dobór wspólczynnka η η jest wekszy na

10 Sec Counter Propagaton stanow polaczene sec Kohonena Grossberga stosunkowo szybko se uczaca majaca (potencjalne) neogranczony zakres odwzorowan pomedzy sygnalem wejscowym wyjscowym funkcjonowane porównywane do odczytu gotowego wynku z tablcy Sec neuronowe - Lucjan Soltys 19 Sec Counter Propagaton W podstawowym zalozenem sec CP jest normalzacja sygnalów wejscowych Uczene: warstwa 1 warstwa 2 ( k ) ( k ) T ( k ) ( k + 1) ( k ) X j = vj + η3( e = W ( z) > = W ( k) k e z e + η ( X W ( k+ 1) ( k) ( k) ( k) z z 1 z ) v y z ) k W kazdym kroku uczena tylko jedna wartosc k jest rózna od zero j Sec neuronowe - Lucjan Soltys 20 10

podstawowym zalozenem sec CP jest normalzacja sygnalów wejscowych Uczene: warstwa 1 warstwa 2 ( k ) ( k ) T ( k ) ( k + 1) ( k ) X j = vj + η3( e = W ( z) >

11 Sec Counter Propagaton Sec neuronowe - Lucjan Soltys 21 Sec rezonansowe ART. - Adaptve Resonance Theory ART1 - analza obrazów bnarnych ART2 - analza obrazów analogowych sklada se z dwóch warstw jednakowo lcznych neuronów perwsza warstwa rejestruje sygnaly wejscowe Sec neuronowe - Lucjan Soltys 22 11

analza obrazów analogowych sklada se z dwóch warstw jednakowo lcznych

12 druga analzuje cechy na zasadze wazonej sumy ch wejsc wypracowuje zasady rywalzacj pomedzy neuronam dodatkowe polaczena z warstwy wyjscowej do wejscowej Uczene sec ART proces uczena defnowany prawem Webera proces uczena stanow rozwazywane ukladu równan róznczkowych Sec neuronowe - Lucjan Soltys 23 Uklad kontrolny ART kazda sec ART. wyposazona w uklad kontrolny sygnal ukladu kontrolnego dodatkowo pobudza neuronu dolnej warstwy dodatkowy uklad z trzech neuronów detektor wejsca bada aktywnosc Y drugej warstwy tworzy sygnal wyjscowy Sec neuronowe - Lucjan Soltys 24 12

Lucjan Soltys 23 Uklad kontrolny ART kazda sec ART.

13 Sec Hopfelda neurony maja nelnowe charakterystyk odwrócony kerunek przeplywu sygnalów sprzezena zwrotne autoasocjacyjna neurony ne tworza warstw laczene kazdego z kazdym Sec neuronowe - Lucjan Soltys 25 Sec Hopfelda cd. Sec neuronowe - Lucjan Soltys 26 13

neurony ne tworza warstw laczene kazdego z kazdym Sec neuronowe

14 Bdrectonal Assocatve Memory Model pamec asocjacyjnej wykorzystywana do rozpoznawana obrazów rozpoznaje takze uszkodzone obrazy czas odpowedz bardzo wolno rosne wraz z lczba rozpoznawanych struktur Sec neuronowe - Lucjan Soltys 27 Zastosowane dagnostyka ukladów elektroncznych badana psychatryczne prognozy np.: geldowe nterpretacja badan bologcznych analza spektralna sterowane procesów przemyslowych rozpoznawane obrazów fltrowane sygnalów Sec neuronowe - Lucjan Soltys 28 14

27 Zastosowane dagnostyka ukladów elektroncznych badana psychatryczne prognozy np.

15 Zastosowane cd. Sec neuronowe - Lucjan Soltys 29 Lteratura 1) Sec Neuronowe R. Tadeusewcz (1993) 2) neural.html 3) 4) 5) Sec neuronowe - Lucjan Soltys 30 15

stanford.edu/classes/sophomorecollege/projects-00/neural-networks/ 4) http://www.boss.sar.ac.

Podobne dokumenty

Sztuczne sieci neuronowe

Sztuczne sieci neuronowe Sztuczne sec neuronowe Jerzy Stefanowsk Plan wykładu 1. Wprowadzene 2. Model sztucznego neuronu. 3. Topologe sec neuronowych 4. Reguły uczena sec neuronowych. 5. Klasyfkaca sec neuronowych. 6. Sec warstwowe