x 1 x 2 x 3 x n w 1 w 2 Σ w 3 w n x 1 x 2 x 1 XOR x (x A, y A ) y A x A

Transkrypt

1 Sieci neuronowe model konekcjonistczn Plan wkładu Perceptron - przpomnienie Uczenie nienadzorowane Sieci Hopfielda Perceptron w 3 Σ w n A Liniowo separowaln problem klasfikacji ( A, A ) Problem XOR XOR Wielowarstwow perceptron rozwiązując problem XOR Σ Σ A

2 Wielowarstwowe sieci neuronowe... 2 A warstwa wejściowa w ij h h 2... h B warstwa ukrta w2 ij o o 2 o C warstwa wjściowa... Uczenie sieci neuronowch w ij w2 ij... A h h 2... h B o o 2... o C Dan jest zbiór par (, ) Losujem wagi Wbieram kolejną parę ze zbioru uczącego Obliczam wartości w warstwie ukrtej Obliczam wartości w warstwie wjściowej Obliczam błąd dla elementów w warstwie wjściowej Korgujem wagi w2 ij Obliczam błąd dla elementów w warstwie ukrtej Korgujem wagi w ij Koniec epoki Backpropagation algorithm Efekt generalizacji w uczeniu sieci neuronowch zbiór ucząc zbiór testując czas treningu Neuron sigmoidaln dokonwał podziału przestrzeni na dwie części wzdłuż prostej A ( A, A) A φ φ φ φ Neuron radialn reprezentuje hipersfere, dokonując podziału kołowego wokół punktu centralnego C C Wektor wejściow Warstwa k wektorów radialnch 2

3 Przkład funkcji radialnch φ φ φ φ( r ) = r φ( r ) = sqrt(δ 2 + r 2 ) φ(r) = sqrt(δ 2 + r 2 ) φ φ φ φ(r) = ep( r 2 /2δ 2 ) Warstwa składająca się z jednego neuronu działającego tak, jak w sieci z liniową funkcją aktwacji Brak wag! Najczęściej stosowana jest norma euklidesowa gdzie: c R n punkt centraln neuronu radialnego r = c odległość wektora wejściowego R n od centrum c δ>0 parametr metod doboru parametrów metod doboru parametrów metod doboru parametrów φ φ i d i i R n d i R i =,, p φ φ i d i i R n d i R i =,, p φ φ Funkcja błędu F( i ) = d i, i =,, p F() = Σw i φ( c i ) F( i ) = d i, i =,, p F() = Σw i φ( i ) E = 2 k i= 0 w φ i ( ) d 2 Jeżeli ustalim k = p, wówczas zadanie będzie rozwiązwalne. Jest to jednak za duża liczna neuronów i należ ją ograniczć. Wartości wag warstw wjściowej ustala sie w wniku procesu uczenia. Na początku przpisuje się im wartość losową, a następnie modfikuje metodą propagacji wstecznej. 3

4 przkład φ n = 2 k = φ( r ) = r = ρ promień koła = c < ρ = C przkład φ n = 2 k = φ( r ) = r = ρ promień koła = c > ρ = 0 C Uczenie nienadzorowane Odkrwanie regularności w danch Algortm Hebba Jeżeli aktwne są oba neuron, to waga połączenia międz nimi się zwiększa... i... A h... h j... h B o o 2... o C w ij w2 ij w ij := w ij + η i h m n h m = w i i i= Wielkość odpowiedniej zmian wznaczana jest na podstawie ilocznu sgnału wejściowego, wchodzącego na dane wejście (to którego wagę zmieniam) i sgnału wjściowego produkowanego przez neuron, w którm modfikujem wagi. Uczenie nienadzorowane wad W porównaniu z procesem uczenia z nauczcielem samouczenie jest zwkle znacznie powolniejsze. Bez nauczciela nie można z gór określić, któr neuron wspecjalizuje się w rozpoznawania której klas sgnałów. Powstają trudności prz wkorzstwaniu i interpretacji wników prac sieci. Nie można określić, cz sieć uczona w ten sposób naucz się wszstkich prezentowanch jej wzorców. Sieć przeznaczona do samouczenia musi bć większa niż sieć wkonująca to samo zadanie, ale trenowana z udziałem nauczciela. (Szacunkowo sieć powinna mieć co najmniej trzkrotnie więcej elementów warstw wjściowej niż wnosi oczekiwana liczba różnch wzorów, które sieć ma rozpoznawać.)

5 Stan równowagi - Własności sieci Hopfielda Zastosowanie sieci Hopfielda w optmalizacji rozproszona reprezentacja - informacja jest zapamiętwana jako wzorzec aktwacji rozproszone, asnchroniczne sterowanie - każd element podejmuje deczję w oparciu o lokalną wiedzę pamięć adresowalna przez zawartość - ab odtworzć wzorzec zapisan w sieci wstarcz podać fragment informacji tolerancja błędów - jeżeli jakiś element popełni błąd, to cała sieć i tak poda poprawne rozwiązanie MASZYNA BOLTZMANA 5

6 Zastosowanie sieci Hopfielda w optmalizacji MASZYNA BOLTZMANA Problem rozwiązwane za pomocą sieci neuronowch Klasfikacja obiektów na podstawie cech Identfikacja obiektów Rozpoznawanie obrazów Rozpoznawanie sgnałów (radar, mowa) Diagnostka urządzeń Sterowanie złożonmi układami Optmalizacja dskretna Zastosowania sieci neuronowch Sterowanie w regulatorach lotu (US Air Force) Diagnostka silników samochodowch (Ford Motor Compan) Identfikacja tpów skał napotkanch podczas odwiertów prz poszukiwaniu rop i gazu (Halliburton) Poszukiwanie bomb na lotnisku JFK w Nowm Jorku (TWA) Prognoz giełdowe Czego nie można wkonać za pomocą sieci neuronowej Operacje na smbolach Edtor tekstu Procesor wrażeń algebraicznch Obliczenia, tórch wmagana jest wsoka dokładność wniku numercznego Obsługa kont bankowch Obliczenia inżnierskie (konstrukcjne) Zadania wmagające rozumowania wieloetapowego Rozstrzganie o prawdziwości lub fałszwości sekwencji stwierdzeń logicznch (dowodzenie twierdzeń, sstem eksperckie) 6