Sieci neurnwe mdel knekcjnistyczny Plan wykładu Mózg ludzki a kmputer Mdele knekcjnistycze Perceptrn Sieć neurnwa Sieci Hpfielda Mózg ludzki a kmputer Twój mózg t kmórek, 3 2 kilmetrów przewdów i (biliard) płączeń synaptycznych wszystk t waży.5 kg i zajmuje bjętść kł.5 litra. A zużywa mniej energii niż lampka ncna. Kmputer Mózg Jednstki bliczeniwe CPU 5 - neurnów Jednstki pamięci 9 bitów RAM neurnów bitóa dysku 4 płączeń Czas peracji -8 s -3 s Czas transmisji 9 bitów/s 4 bitów/s Liczba aktywacji/s 5 4 Mózg ludzki a kmputer Cechy mdeli knekcjnistycznych Mdel neurnu Szybkść wyknania pjedynczej peracji vs. rzwiązanie skmplikwaneg zadania Odprnść na pmyłki pjedynczych elementów Zachwanie pprawnści działania w przypadku infrmacji niepewnej i niepełnej składają się z dużej liczby prstych elementów, zwanych neurnami wagi na płączeniach między tymi elementami "kdują wiedzę sieci sterwanie siecią jest równległe i rzprszne głównym prblemem jest autmatyczne uczenie sieci
Neurn Perceptrn Perceptrn wejścia x x w w Perceptrn płączenia Perceptrn łączne pbudzenie neurnu Perceptrn charakterystyka neurnu x w wagi x w x w g g ϕ 2
Perceptrn sygnał wyjściwy Perceptrn liniwy Próg aktywacji jak ddatkwa waga x = x w g ϕ x w n g( X ) = w i x i i= g(x) ϕ (X) x w w n g( X ) = w i x i i= g(x) ϕ (X) = gdy ϕ gdy ϕ w < w = gdy ϕ gdy ϕ < Funkcja aktywacji perceptrnu gdy ϕ = gdy ϕ. < Perceptrn z wielma wejściami i wyjściami x = w ij y Liniw separwalny prblem klasyfikacji funkcja prgwa = + exp g X ( ( )..5 g sigmida g x y A (x A, y A ) x A x 3
Perceptrn uczący się klasyfikacji k = y k = k = 3 k = 635 Twierdzenie Rsenblatta Prces uczenia perceptrnu jest zbieżny. Perceptrn mże się nauczyć dwlneg liniw separwalneg prblemu klasyfikacji. Prblem XOR x x XOR x x x -.5.. -9. x.. -.5. -.5. -9... -.5 -.5. -.5. (x)= -9... -.5 4
-.5. -.5. (x)= -9. -.5. -.5. (x)=. -.5. -9... -.5 -.5. -.5. (x)= -9... -.5 x -.5. -.5. (x)= -9. -.5.,5. (x)=. -.5. -9... -.5 -.5..5. (x)= -9... -.5 x 5
Wielwarstwwe sieci neurnwe Sieci radialne Φ( r ) = r Φ( r ) = sqrt(δ 2 + r 2 ) -.5..5. (x)= -9. -.5. -6,5. (x)= x warstwa wejściwa w ij h h 2... h B warstwa ukryta 2... warstwa wyjściwa C x x 4 φ φ φ 3 w w r = x c, δ> y c x Dany jest zbiór par (x, y) Lsujemy wagi Wybieramy klejną parę ze zbiru ucząceg Dany jest zbiór par (x, y) Lsujemy wagi Wybieramy klejną parę ze zbiru ucząceg Obliczamy wartści w warstwie ukrytej Dany jest zbiór par (x, y) Lsujemy wagi Wybieramy klejną parę ze zbiru ucząceg Obliczamy wartści w warstwie ukrytej Obliczamy wartści w warstwie wyjściwej w ij x... x A h h 2... h B 2... C w ij x h h 2... h B 2... C h j = A w + e i= ij x i j =,..., B w ij x h h 2... h B 2 C 2... C h j = A w + e i= j = B w2 + e i= ij x i ij h i j =,..., B j =,..., C 6
w ij x h h 2... h B Dany jest zbiór par (x, y) Lsujemy wagi Wybieramy klejną parę ze zbiru ucząceg Obliczamy wartści w warstwie ukrytej Obliczamy wartści w warstwie wyjściwej warstwie wyjściwej δ2 j = j ( j )( j y j ), j =,..., C w ij x h h 2... h B Dany jest zbiór par (x, y) Lsujemy wagi Wybieramy klejną parę ze zbiru ucząceg Obliczamy wartści w warstwie ukrytej Obliczamy wartści w warstwie wyjściwej warstwie wyjściwej Krygujemy wagi := + ηδ2 j w ij x h h 2... h B Dany jest zbiór par (x, y) Lsujemy wagi Wybieramy klejną parę ze zbiru ucząceg Obliczamy wartści w warstwie ukrytej Obliczamy wartści w warstwie wyjściwej warstwie wyjściwej Krygujemy wagi warstwie ukrytej i =,..., B; j =,..., C δ j = h j ( h j )δ2 i w2 ji, j =,..., B 2... C 2... C 2... C Dany jest zbiór par (x, y) Lsujemy wagi Wybieramy klejną parę ze zbiru ucząceg Obliczamy wartści w warstwie ukrytej Obliczamy wartści w warstwie wyjściwej x warstwie wyjściwej x Dany jest zbiór par (x, y) Lsujemy wagi Wybieramy klejną parę ze zbiru ucząceg Obliczamy wartści w warstwie ukrytej Obliczamy wartści w warstwie wyjściwej warstwie wyjściwej efekt uczenia Efekt generalizacji w uczeniu sieci zbiór uczący w ij h h 2... h B Krygujemy wagi warstwie ukrytej w ij h h 2... h B Krygujemy wagi warstwie ukrytej zbiór testujący 2... C Krygujemy wagi w ij := w ij + ηδ j x i, i =,..., A, j =,..., B 2... C Krygujemy wagi w ij Kniec epki Backprpagatin algrithm czas treningu 7
Uczenie nienadzrwane Odkrywanie regularnści w danych Algrytm Hebba Jeżeli aktywne są ba neurny, t waga płączenia między nimi się zwiększa x... x i Sieci Hpfielda - + - - Sieci Hpfielda - + - - h... h j... h B w ij w ij := w ij + η x i h m n hm = wi xi i= +2 + -2 + - +2 + -2 + - 2... C Sieci Hpfielda - Sieci Hpfielda - Sieci Hpfielda - + - + - + - - - - +2 + -2 +2 + -2 +2 + -2 + - + - + - 8
- Stany równwagi - Własnści sieci Hpfielda Zastswanie sieci Hpfielda w ptymalizacji + - - +2 + -2 + - + - - +2 + -2 + - - + - - +2 + -2 + - + - - +2 + -2 + - - rzprszna reprezentacja - infrmacja jest zapamiętywana jak wzrzec aktywacji rzprszne, asynchrniczne sterwanie - każdy element pdejmuje decyzję w parciu lkalną wiedzę pamięć adreswalna przez zawartść - aby dtwrzyć wzrzec zapisany w sieci wystarczy pdać fragment infrmacji tlerancja błędów - jeżeli jakiś element ppełni błąd, t cała sieć i tak pda pprawne rzwiązanie MASZYNA BOLTZMANA Zastswanie sieci Hpfielda w ptymalizacji MASZYNA BOLTZMANA Prblemy rzwiązywane za pmcą sieci Klasyfikacja biektóa pdstawie cech Identyfikacja biektów Rzpznawanie brazów Rzpznawanie sygnałów (radar, mwa) Diagnstyka urządzeń Sterwanie złżnymi układami Optymalizacja dyskretna Zastswania sieci Sterwanie w regulatrach ltu (US Air Frce) Diagnstyka silników samchdwych (Frd Mtr Cmpany) Identyfikacja typów skał naptkanych pdczas dwiertów przy pszukiwaniu rpy i gazu (Halliburtn) Pszukiwanie bmb na ltnisku JFK w Nwym Jrku (TWA) Prgnzy giełdwe 9
Czeg nie mżna wyknać za pmcą sieci neurnwej Operacje na symblach Edytr tekstu Prcesr wyrażeń algebraicznych Obliczenia, w których wymagana jest wyska dkładnść wyniku numeryczneg Obsługa knt bankwych Obliczenia inżynierskie (knstrukcyjne) Zadania wymagające rzumwania wieletapweg Rzstrzyganie prawdziwści lub fałszywści sekwencji stwierdzeń lgicznych (dwdzenie twierdzeń, systemy eksperckie)