WYKŁAD 4 Sieci neuronowe: Algorytmy uczenia & Dalsze zastosowania PLAN WYKŁADU Metody uczenia sieci: Uczenie perceptronu Propagacja wsteczna Zastosowania Sterowanie (powtórzenie) Kompresja obrazu Rozpoznawanie wzorców
REGUŁA UCZENIA PERCEPTRONU () Przykład: rozpoznawanie znaków 36 wej Wyj cie:, je li na wej ciu pojawia si litera A, za 0 w p.p. Siatka 6 6 Zadanie: dobra wagi wej i warto progow tak, by uzyska zaplanowany efekt REGUŁA UCZENIA PERCEPTRONU () Wej cie: Ci g przykładów ucz cych ze znanymi odpowiedziami Proces uczenia: Inicjujemy wagi losowo Dla ka dego przykładu, [w,w ] je li odpowied jest nieprawidłowa, to w + α x w + α x θ α gdzie α jest równe odpowiedzi prawidłowej w x + w y - θ 0
REGUŁA UCZENIA PERCEPTRONU (3) Cz sto α mno y si dodatkowo przez niewielki współczynnik uczenia Po wyczerpaniu przykładów, zaczynamy proces uczenia od pocz tku, dopóki nast puj jakiekolwiek zmiany wag poł cze REGUŁA UCZENIA PERCEPTRONU (4) Opisany schemat jest w miar przejrzysty tylko dla pojedy czych perceptronów, lub niewielkich sieci Ci ko jest stosowa reguły tego typu w dla skomplikowanych modeli Tymczasem np. do rozpoznawania wszystkich liter potrzeba by sieci zło onej z 6 takich perceptronów 3
PROPAGACJA WSTECZNA () Chcemy wytrenowa wagi połcze midzy kolejnymi warstwami neuronów Inicjujemy wagi losowo (na małe wartoci) Dla danego wektora uczcego obliczamy odpowied sieci (warstwa po warstwie) Kady neuron wyjciowy oblicza swój błd, odnoszcy si do rónicy pomidzy obliczon odpowiedzi y oraz poprawn odpowiedzi t PROPAGACJA WSTECZNA () dane ucz ce odpowied sieci y bł d d wła ciwa odpowied t Błd sieci definiowany jest zazwyczaj jako d ( y t) 4
PROPAGACJA WSTECZNA (3) Oznaczmy przez: g: R R funkcj aktywacji w neuronie w,..., w K wagi połcze wchodzcych z,..., z K sygnały napływajce do neuronu z poprzedniej warstwy Błd neuronu traktujemy jako funkcj wag połcze do niego prowadzcych: d( w ) ( ( ) ),..., wk g w z +... + wk zk t PRZYKŁAD () Rozpatrzmy model, w którym: Funkcja aktywacji przyjmuje posta g( s) 3( s+ ) + e Wektor wag połcze [;-3;] Załómy, e dla danego przykładu: Odpowied powinna wynosi t 0.5 Z poprzedniej warstwy dochodz sygnały [0;;0.3] 5
PRZYKŁAD () Liczymy wejciow sum waon: s w x + wx + w3x3 0 + ( 3) + 0.3.4 Liczymy odpowied neuronu: y g s).4+ + e + e Błd wynosi: d 0.3 0.5 0. ( 3 ( ) 0. 3. ( ) 036 IDEA ROZKŁADU BŁ DU Musimy rozłoy otrzymany błd na połczenia wprowadzajce sygnały do danego neuronu Składow błdu dla kadego j-tego połczenia okrelamy jako pochodn czstkow błdu wzgldem j-tej wagi Składowych tych bdziemy mogli uy do zmodyfikowania ustawie poszczególnych wag połcze 6
OBLICZANIE POCHODNEJ ( w wk ) ( y t) g' ( s) z j d,..., w j ( g( w z + + w z ) t) ( y t) g( s) ( w z +... + w z ) y... w j s K K w j K K PROPAGACJA WSTECZNA (4) Idea: Wektor wag połcze powinnimy przesun w kierunku przeciwnym do wektora rozkładu błdu Realizacja: bł d modyfikacja wag θ w bł d w bł d 7
STEROWANIE () Układ fizyczny Sie neuronowa jest zwykle trenowana na modelu (symulatorze) układu, albo przez obserwacj właciwego sposobu sterowania. Sterownik (sie neuronowa) Jeli znamy błd, moemy sie doucza STEROWANIE () Układ fizyczny Dobieranie parametrów sterownika rozmytego za pomoc neuronowego symulatora jest szybsze, tasze i bezpieczniejsze, ni podczas pracy na rzeczywistych urzdzeniach Dane wejciowe Adaptacyjny dobór kształtu zbiorów rozmytych 0 Sterownik rozmyty Sterowanie Wyniki symulacji Model układu (sie neuronowa) 8
KOMPRESJA OBRAZU Obraz dzielony jest na kwadraty (np. 8x8) Sie neuronowa o 6 wyjciach zamienia dane wejciowe na 6 liczb Liczby s kwantowane i przekazywane drugiej sieci, odtwarzajcej dane oryginalne Kryterium nauki: minimalizacja błdu rekonstrukcji ROZPOZNAWANIE WZORCÓW Wzorce: obrazy, nagrania, dane personalne, sposoby prowadzenia pojazdu, etc. Reprezentacja: Wektor cech (wej do sieci neuronowej) Klasyfikacja wzorców: Klasyfikacja do jednej z istniejcych klas Formowanie klas wzorców Asocjacyjne odtwarzanie wzorców Odtwarzanie wzorców podobnych Uzupełnianie wzorców Odzyskiwanie (czyszczenie) wzorców 9
RÓNE STRUKTURY SIECI Wielowarstwowe skierowane Wielowarstwowe rekurencyjne Samoorganizujce si SIECI REKURENCYJNE 0