SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe JOANNA GRABSKA-CHRZĄSTOWSKA Wykłady w dużej mierze przygotowane w oparciu o materiały i pomysły PROF. RYSZARDA TADEUSIEWICZA
BUDOWA RZECZYWISTEGO NEURONU Jądro - "centrum obliczeniowe" neuronu. Tutaj zachodzą procesy kluczowe dla funkcjonowania neuronu. Akson - "wyjście" neuronu. Neuron ma tylko jeden akson. Wzgórek aksonu sumowanie przychodzących sygnałów i generowanie potencjału czynnościowego, który wędruje dalej poprzez akson. Dendryt - "wejście" neuronu. Dendrytów może być wiele - biologiczne neurony mają ich tysiące. Synapsa - jeśli dendryt jest wejściem neuronu, to synapsa jest jego furtką. Ma wpływ na moc sygnału napływającego poprzez akson.
NATURALNE STRUKTURY NEURONOWE Konwergencja - pobudzenie z wielu włókien dociera do jednego neuronu A B Neuron A Neuron B Neuron 1 Neuron 2 Neuron 3 Dywergencja - pobudzenie z jednego neuronu dociera do szeregu innych neuronów. Pobudzenie docierające z neuronów A i B nie wywołuje pobudzenia neuronów 2 lub 3. Dochodzi jednak do częściowej depolaryzacji błony komórkowej w neuronach 2 i 3 bliskiej progowej wartości potrzebnej do wzbudzenia. Kolejne pobudzenie docierające z neuronów bez trudu wzbudza potencjał czynnościowy.
OGÓLNA DEFINICJA NEURONU Wejścia Wagi Blok aktywacji X 1 X 2 X n w 1 w 2...... w n Obliczenie PSP f Wyjście y y = f ( ( x i * w i )) PSP Post-Synaptic Potential (Potencjał Postsynaptyczny) f - funkcja aktywacji
DEFINICJA NEURONU Wejścia X 1 Wagi w 1 Blok sumujący Blok aktywacji Wyjście X 2 w 2 S f y X 3 w 3 y = f ( S ( x i * w i ))
NEURON LINIOWY Wejścia X 1 X 2 X 3 Wagi w 1 w 2 w 3 Blok sumujący S f funkcja liniowa Wyjście y y = S ( x i * w i )
NEURON LINIOWY Wejścia X 1 Wagi w 1 Blok sumujący Wyjście X 2 w 2 S y X 3 w 3 y = S ( x i * w i )
ZASADA DZIAŁANIA NEURONU Z FUNKCJĄ SKOKOWĄ (NIELINIOWEGO) Wejścia X 1 Wagi w 1 Blok sumujący Blok aktywacji f Wyjście X 2 w 2 S 0,8 y X 3 w 3 y = f ( S ( x i * w i ))
PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ Trzy neurony zmysłowe (siatkówki oka żaby) kodują trzy różne reakcje organizmu: Ø odskoczenie (wyprostowanie mięśnia uda) Ø zjadanie (poruszanie mięśnia języka) Ø trawienie (wydzielanie soku żołądkowego). Wzorce muszą zostać rozpoznane tzn., kiedy z siatkówki oka do mózgu przesyłany jest : wzorzec A (bocian), powinien się uaktywnić neuron wyjściowy 1, który aktywuje mięsień uda i sprawia, ze żaba odskakuje; wzorzec B (mucha), to powinien się uaktywnić neuron wyjściowy 3 pobudzający mięsień języka. widok błękitnego nieba na siatkówce uaktywnia się wzorzec C, to wtedy aktywny powinien być neuron 2, którego zadaniem jest stymulacja procesu trawienia. Manfred Spitzer 1996
PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ A B C
PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ siatkówka mózg
PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ BOCIAN mózg 1 0,8 1 0 0,8 0 1 0 0,8
PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ BOCIAN mózg 1 0,8 1 0 0,8 0 żaba odskakuje 1 0 0,8
PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ MUCHA mózg 0 0,8 0 1 0,8 0 0 0,8 1
PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ MUCHA mózg 0 0,8 0 1 0,8 0 0 0,8 1
PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ MUCHA mózg 0 0,8 0 1 0 0,8 0,8 0 żaba wyciągnęła język i zjadła muchę 1
PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ NIEBO mózg 1 0,8 0 1 0,8 1 1 0 0,8
PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ NIEBO mózg 1 0,8 0 1 0,8 1 1 0 0,8 żaba trawi
x 2 = -w 1 /w 2 b/w 2 BIAS x 2 = -w 1 /w 2 + /w 2 PRÓG
ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU NIELINIOWEGO (Z FUNKCJĄ SKOKOWĄ)
0 1 DYSKRYMINACJA LINIOWA 1 1 x 2 0 0 x 1 1 0
POWIERZCHNIA ODPOWIEDZI 1 y 1 0 1 0 0 1 1 0 x 1 x 2 1 0
NEURON LINIOWY
NEURON LINIOWY
NEURON LINIOWY X W y = cos
SIEĆ LINIOWA
LINIOWA SIEĆ NEURONOWA W W 2 X P Y X Y P = W 1 X W 1 Y = W 2 P Y = W 2 W 1 X W = W 2 W 1 Y = W X Sieć liniowa z zasady nie posiada warstw ukrytych, bo nawet jeśli się je wprowadzi, to nie wzbogacą one zachowania sieci
ADALINE ( ADAptive LINear Element ) = z - y Reguła WIDROW-HOFFA W = W + X - szybkość uczenia albo obliczamy wynik stosując pseudoinwersję macierzy W W = Z X -1 bo Z = W X
REGUŁA WIDROW-HOFFA W = W + X > = 0 = z - y > = 0 z y > = 0 z > y czyli odpowiedź sieci jest ZA MAŁA 2 < 1 X 1 2 W W cos 2 > cos 1 y 2 > y 1
REGUŁA WIDROW-HOFFA W = W + X > = 0 = z - y < = 0 z y < = 0 z < y czyli odpowiedź sieci jest ZA DUŻA 2 > 1 X 1 2 W cos 2 < cos 1 W y 2 < y 1
PROCES UCZENIA matematyczne aspekty CIĄG UCZĄCY
PROCES UCZENIA matematyczne aspekty reguła DELTA zastosowana w j+1 kroku W (j+1) = W (j) + (j) (j) X (j) BŁĄD UCZENIA (j) = z (j) - y (j) ODPOWIEDŹ SIECI y (j) = W (j) * X (j)
CEL UCZENIA OPTYMALIZACJA WAG ZGODNOŚĆ ODPOWIEDZI NEURONU Z WYMAGANYMI WARTOŚCIAMI TZN. MINIMALIZACJA FUNKCJI BŁĘDU CZYLI PEWNEJ FUNKCJI KRYTERIALNEJ: N Q = ½ S (z (j) - y (j) ) 2 j=1 N Q = S Q (j) j=1 j numer elementu uczącego gdzie Q (j) = ½ (z (j) - y (j) ) 2
- szukanie minimum metodą gradientową Q = Q (W) w i w i = D w i = - Q (j) w i Q (j) w i = Q (j) y (j) y (j) w i Q (j) = y (j) (½ (z (j) - y (j) ) 2 ) y (j) = - (z (j) - y (j) ) = - (j)
- Q (j) = y i (½ (z (j) - y (j) ) 2 ) = - (z (j) - y (j) ) = - (j) y i y (j) w i (S x k w k ) (j) = = x (j) i w i Q (j) D w i = - wi = - (- (j) )x i (j) = (j) x i (j) co należało wykazać
MADALINE (Many ADAptive LINear Elements Many ADALINEs )
MADALINE (Many ADAptive LINear Elements Many ADALINEs ) REGUŁA WIDROW - HOFFA
ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU LINIOWEGO -0.25 Ta sieć przybliża funkcję AND przy pomocy regresji liniowej -0.25 0.25 0.25 0.75
ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU LINIOWEGO 0,75 0,25 NEURON LINIOWY WYTWARZA W ODPOWIEDZI PŁASZCZYZNĘ 0,25-0,25
ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU SKOKOWEGO 1 POWIERZCHNIA ODPOWIEDZI y 0,25 0 1 0 0 1 1 x 1 x 2 1 0
ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU SKOKOWEGO 0 1 1 1 RZUT POWIERZCHNIA ODPOWIEDZI NA PŁASZCZYZNĘ X 1 X 2 x 2 0 0 x 1 1 0
ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU NIELINIOWEGO LOGISTYCZNEGO (SIGMOIDY) -16.7 11.1 11.1 0 0.004 0.004 0.996 (z dowolną dokładnością)
ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU LOGISTYCZNEGO (SIGMOIDY y POWIERZCHNIA ODPOWIEDZI x 1 x 2
0 0 ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU LOGISTYCZNEGO (SIGMOIDY 0 1 odpowiedź 0.5 1 1 RZUT POWIERZCHNI ODPOWIEDZI NA PŁĄSZCZYZNĘ X 1 X 2 x 1 x 2 1 0