SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe

Transkrypt

1 SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe JOANNA GRABSKA-CHRZĄSTOWSKA Wykłady w dużej mierze przygotowane w oparciu o materiały i pomysły PROF. RYSZARDA TADEUSIEWICZA

2 BUDOWA RZECZYWISTEGO NEURONU Jądro - "centrum obliczeniowe" neuronu. Tutaj zachodzą procesy kluczowe dla funkcjonowania neuronu. Akson - "wyjście" neuronu. Neuron ma tylko jeden akson. Wzgórek aksonu sumowanie przychodzących sygnałów i generowanie potencjału czynnościowego, który wędruje dalej poprzez akson. Dendryt - "wejście" neuronu. Dendrytów może być wiele - biologiczne neurony mają ich tysiące. Synapsa - jeśli dendryt jest wejściem neuronu, to synapsa jest jego furtką. Ma wpływ na moc sygnału napływającego poprzez akson.

3 NATURALNE STRUKTURY NEURONOWE Konwergencja - pobudzenie z wielu włókien dociera do jednego neuronu A B Neuron A Neuron B Neuron 1 Neuron 2 Neuron 3 Dywergencja - pobudzenie z jednego neuronu dociera do szeregu innych neuronów. Pobudzenie docierające z neuronów A i B nie wywołuje pobudzenia neuronów 2 lub 3. Dochodzi jednak do częściowej depolaryzacji błony komórkowej w neuronach 2 i 3 bliskiej progowej wartości potrzebnej do wzbudzenia. Kolejne pobudzenie docierające z neuronów bez trudu wzbudza potencjał czynnościowy.

4 OGÓLNA DEFINICJA NEURONU Wejścia Wagi Blok aktywacji X 1 X 2 X n w 1 w w n Obliczenie PSP f Wyjście y y = f ( ( x i * w i )) PSP Post-Synaptic Potential (Potencjał Postsynaptyczny) f - funkcja aktywacji

5 DEFINICJA NEURONU Wejścia X 1 Wagi w 1 Blok sumujący Blok aktywacji Wyjście X 2 w 2 S f y X 3 w 3 y = f ( S ( x i * w i ))

6 NEURON LINIOWY Wejścia X 1 X 2 X 3 Wagi w 1 w 2 w 3 Blok sumujący S f funkcja liniowa Wyjście y y = S ( x i * w i )

7 NEURON LINIOWY Wejścia X 1 Wagi w 1 Blok sumujący Wyjście X 2 w 2 S y X 3 w 3 y = S ( x i * w i )

8 ZASADA DZIAŁANIA NEURONU Z FUNKCJĄ SKOKOWĄ (NIELINIOWEGO) Wejścia X 1 Wagi w 1 Blok sumujący Blok aktywacji f Wyjście X 2 w 2 S 0,8 y X 3 w 3 y = f ( S ( x i * w i ))

9 PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ Trzy neurony zmysłowe (siatkówki oka żaby) kodują trzy różne reakcje organizmu: Ø odskoczenie (wyprostowanie mięśnia uda) Ø zjadanie (poruszanie mięśnia języka) Ø trawienie (wydzielanie soku żołądkowego). Wzorce muszą zostać rozpoznane tzn., kiedy z siatkówki oka do mózgu przesyłany jest : wzorzec A (bocian), powinien się uaktywnić neuron wyjściowy 1, który aktywuje mięsień uda i sprawia, ze żaba odskakuje; wzorzec B (mucha), to powinien się uaktywnić neuron wyjściowy 3 pobudzający mięsień języka. widok błękitnego nieba na siatkówce uaktywnia się wzorzec C, to wtedy aktywny powinien być neuron 2, którego zadaniem jest stymulacja procesu trawienia. Manfred Spitzer 1996

10 PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ A B C

11 PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ siatkówka mózg

12 PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ BOCIAN mózg 1 0, , ,8

13 PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ BOCIAN mózg 1 0, ,8 0 żaba odskakuje 1 0 0,8

14 PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ MUCHA mózg 0 0, , ,8 1

15 PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ MUCHA mózg 0 0, , ,8 1

16 PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ MUCHA mózg 0 0, ,8 0,8 0 żaba wyciągnęła język i zjadła muchę 1

17 PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ NIEBO mózg 1 0, , ,8

18 PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ NIEBO mózg 1 0, , ,8 żaba trawi

19

20

21

22

23 x 2 = -w 1 /w 2 b/w 2 BIAS x 2 = -w 1 /w 2 + /w 2 PRÓG

24 ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU NIELINIOWEGO (Z FUNKCJĄ SKOKOWĄ)

25

26 0 1 DYSKRYMINACJA LINIOWA 1 1 x x 1 1 0

27 POWIERZCHNIA ODPOWIEDZI 1 y x 1 x 2 1 0

28 NEURON LINIOWY

29 NEURON LINIOWY

30 NEURON LINIOWY X W y = cos

31 SIEĆ LINIOWA

32 LINIOWA SIEĆ NEURONOWA W W 2 X P Y X Y P = W 1 X W 1 Y = W 2 P Y = W 2 W 1 X W = W 2 W 1 Y = W X Sieć liniowa z zasady nie posiada warstw ukrytych, bo nawet jeśli się je wprowadzi, to nie wzbogacą one zachowania sieci

33 ADALINE ( ADAptive LINear Element ) = z - y Reguła WIDROW-HOFFA W = W + X - szybkość uczenia albo obliczamy wynik stosując pseudoinwersję macierzy W W = Z X -1 bo Z = W X

34 REGUŁA WIDROW-HOFFA W = W + X > = 0 = z - y > = 0 z y > = 0 z > y czyli odpowiedź sieci jest ZA MAŁA 2 < 1 X 1 2 W W cos 2 > cos 1 y 2 > y 1

35 REGUŁA WIDROW-HOFFA W = W + X > = 0 = z - y < = 0 z y < = 0 z < y czyli odpowiedź sieci jest ZA DUŻA 2 > 1 X 1 2 W cos 2 < cos 1 W y 2 < y 1

36 PROCES UCZENIA matematyczne aspekty CIĄG UCZĄCY

37 PROCES UCZENIA matematyczne aspekty reguła DELTA zastosowana w j+1 kroku W (j+1) = W (j) + (j) (j) X (j) BŁĄD UCZENIA (j) = z (j) - y (j) ODPOWIEDŹ SIECI y (j) = W (j) * X (j)

38 CEL UCZENIA OPTYMALIZACJA WAG ZGODNOŚĆ ODPOWIEDZI NEURONU Z WYMAGANYMI WARTOŚCIAMI TZN. MINIMALIZACJA FUNKCJI BŁĘDU CZYLI PEWNEJ FUNKCJI KRYTERIALNEJ: N Q = ½ S (z (j) - y (j) ) 2 j=1 N Q = S Q (j) j=1 j numer elementu uczącego gdzie Q (j) = ½ (z (j) - y (j) ) 2

39 - szukanie minimum metodą gradientową Q = Q (W) w i w i = D w i = - Q (j) w i Q (j) w i = Q (j) y (j) y (j) w i Q (j) = y (j) (½ (z (j) - y (j) ) 2 ) y (j) = - (z (j) - y (j) ) = - (j)

40 - Q (j) = y i (½ (z (j) - y (j) ) 2 ) = - (z (j) - y (j) ) = - (j) y i y (j) w i (S x k w k ) (j) = = x (j) i w i Q (j) D w i = - wi = - (- (j) )x i (j) = (j) x i (j) co należało wykazać

41 MADALINE (Many ADAptive LINear Elements Many ADALINEs )

42 MADALINE (Many ADAptive LINear Elements Many ADALINEs ) REGUŁA WIDROW - HOFFA

43 ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU LINIOWEGO Ta sieć przybliża funkcję AND przy pomocy regresji liniowej

44 ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU LINIOWEGO 0,75 0,25 NEURON LINIOWY WYTWARZA W ODPOWIEDZI PŁASZCZYZNĘ 0,25-0,25

45 ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU SKOKOWEGO 1 POWIERZCHNIA ODPOWIEDZI y 0, x 1 x 2 1 0

46 ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU SKOKOWEGO RZUT POWIERZCHNIA ODPOWIEDZI NA PŁASZCZYZNĘ X 1 X 2 x x 1 1 0

47 ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU NIELINIOWEGO LOGISTYCZNEGO (SIGMOIDY) (z dowolną dokładnością)

48 ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU LOGISTYCZNEGO (SIGMOIDY y POWIERZCHNIA ODPOWIEDZI x 1 x 2

49 0 0 ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU LOGISTYCZNEGO (SIGMOIDY 0 1 odpowiedź RZUT POWIERZCHNI ODPOWIEDZI NA PŁĄSZCZYZNĘ X 1 X 2 x 1 x 2 1 0