Sieci M. I. Jordana. Sieci rekurencyjne z parametrycznym biasem. Leszek Rybicki. 30 listopada Leszek Rybicki Sieci M. I.

Sieci M. I. Jordana Sieci rekurencyjne z parametrycznym biasem Leszek Rybicki 30 listopada 2007 Leszek Rybicki Sieci M. I. Jordana 1/21

Plan O czym będzie 1 Wstęp do sieci neuronowych Neurony i perceptrony Wsteczna propagacja błędu 2 Sieci rekurencyjne M.I. Jordana Sieci rekurencyjne Uczenie Przykład 3 Parametryczny bias Uczenie Zastosowania Leszek Rybicki Sieci M. I. Jordana 2/21

Uczenie nadzorowane Specyfikacja problemu Dane Zbiór przykładów składających się z wejścia: x i R n oraz oczekiwanego wyjścia: y i R m. Cel Mając dane wejście x i, odtworzyć y i z pewną dokładnością. Efekt uboczny Dla wejścia nie należącego do przykładów, wyjście jest odgadywane (generalizacja). Leszek Rybicki Sieci M. I. Jordana 3/21

Model neuronu Neuron McCullocha-Pittsa x 1 x 2 x 3 w 1 w 2 w 3 wi x i σ( ) out k out = σ( w i x i ) = σ( w, x ) i=1 Leszek Rybicki Sieci M. I. Jordana 4/21

Perceptron wielowarstwowy Multi-Layer Perceptron wyjście h = σ(w in h in) out = σ(w h out h) Neuron progowy, bias warstwa ukryta wejście Leszek Rybicki Sieci M. I. Jordana 5/21

Perceptron wielowarstwowy Multi-Layer Perceptron wyjście h = σ(w in h in) out = σ(w h out h) Neuron progowy, bias warstwa ukryta W in h wejście Leszek Rybicki Sieci M. I. Jordana 5/21

Perceptron wielowarstwowy Multi-Layer Perceptron wyjście h = σ(w in h in) out = σ(w h out h) Neuron progowy, bias W h out warstwa ukryta W in h wejście Leszek Rybicki Sieci M. I. Jordana 5/21

Perceptron wielowarstwowy Multi-Layer Perceptron wyjście h = σ(w in h in) out = σ(w h out h) Neuron progowy, bias W h out warstwa ukryta W in h wejście 1 Leszek Rybicki Sieci M. I. Jordana 5/21

Perceptron wielowarstwowy Multi-Layer Perceptron wyjście h = σ(w in h in) out = σ(w h out h) Neuron progowy, bias W h out warstwa ukryta+1 W in h wejście+1 Leszek Rybicki Sieci M. I. Jordana 5/21

Propagacja wsteczna Oznaczenia x ij - i-te wejście j-tego neuronu w ij - waga między i-tym, a j-tym neuronem z j = x j, w j - ważona suma wejść j-tego neuronu o j = σ(z j ) - wyjście j-tego neuronu y j - wyjście oczekiwane j-tego neuronu wyjściowego down(j) - neurony, dla których j-ty neuron jest wejściem E = 1 2 k out (o k y k ) 2 - błąd Leszek Rybicki Sieci M. I. Jordana 6/21

Propagacja wsteczna Dla neuronów wyjściowych Niech: E = E z j = E x ij w ij z j w ij z j δ j := E z j = z j 1 2 (y j o j ) 2 (1) = (y j o j ) o j z j (2) = (y j o j ) z j σ(z j ) (3) w ij = η E w ij = ηδ j x ij Leszek Rybicki Sieci M. I. Jordana 7/21

Propagacja wsteczna Dla neuronów ukrytych Niech: E w ij = = = k down(j) k down(j) k down(j) E z k z k o j o j z j z j w ij (4) E z k z k o j o j z j x ij (5) δ k w jk σ(z j) z j x ij (6) δ j := δ k w jk σ(z j) z j w ij = η E w ij = ηδ j x ij Leszek Rybicki Sieci M. I. Jordana 8/21

Propagacja wsteczna W tę i z powrotem wyjście warstwa ukryta wejście Dla losowo wybranego przykładu: Oblicz wyjście sieci Oblicz delty warstwy wyjściowej Oblicz delty warstwy ukrytej Oblicz zmianę wag Zaaplikuj zmianę wag Leszek Rybicki Sieci M. I. Jordana 9/21

Propagacja wsteczna W tę i z powrotem wyjście δ out Dla losowo wybranego przykładu: warstwa ukryta wejście Oblicz wyjście sieci Oblicz delty warstwy wyjściowej Oblicz delty warstwy ukrytej Oblicz zmianę wag Zaaplikuj zmianę wag Leszek Rybicki Sieci M. I. Jordana 9/21

Propagacja wsteczna W tę i z powrotem wyjście warstwa ukryta wejście δ out δ h W T h out Dla losowo wybranego przykładu: Oblicz wyjście sieci Oblicz delty warstwy wyjściowej Oblicz delty warstwy ukrytej Oblicz zmianę wag Zaaplikuj zmianę wag Leszek Rybicki Sieci M. I. Jordana 9/21

Propagacja wsteczna W tę i z powrotem wyjście warstwa ukryta wejście W h out Wh out T W in h δ out δ h Dla losowo wybranego przykładu: Oblicz wyjście sieci Oblicz delty warstwy wyjściowej Oblicz delty warstwy ukrytej Oblicz zmianę wag Zaaplikuj zmianę wag Leszek Rybicki Sieci M. I. Jordana 9/21

Przykład Odtwarzanie złożonego zbioru danych (r, g, b) 1 Wylosuj współrzędne punktu obrazu (x, y). 2 Wyjście oczekiwane: (r, g, b). 3 Oblicz wyjście sieci. 4 Popraw wagi h R 200 (x, y) Leszek Rybicki Sieci M. I. Jordana 10/21

Przykład Odtwarzanie złożonego zbioru danych Leszek Rybicki Sieci M. I. Jordana 10/21

Sieć z połączeniami zwrotnymi Rekurencyjna pompa neuronowa wyjście Perceptron wielowarstwowy Dodatkowe wejście Dodatkowe wyjście Połączenie 1-1 opóźnione w czasie wejście warstwa ukryta Leszek Rybicki Sieci M. I. Jordana 11/21

Sieć z połączeniami zwrotnymi Rekurencyjna pompa neuronowa wyjście Perceptron wielowarstwowy Dodatkowe wejście Dodatkowe wyjście Połączenie 1-1 opóźnione w czasie wejście warstwa ukryta kontekst Leszek Rybicki Sieci M. I. Jordana 11/21

Sieć z połączeniami zwrotnymi Rekurencyjna pompa neuronowa Perceptron wielowarstwowy Dodatkowe wejście Dodatkowe wyjście Połączenie 1-1 opóźnione w czasie wyjście kontekst warstwa ukryta wejście kontekst Leszek Rybicki Sieci M. I. Jordana 11/21

Sieć z połączeniami zwrotnymi Rekurencyjna pompa neuronowa Perceptron wielowarstwowy Dodatkowe wejście Dodatkowe wyjście Połączenie 1-1 opóźnione w czasie wyjście kontekst warstwa ukryta wejście kontekst 1-1 Leszek Rybicki Sieci M. I. Jordana 11/21

Uczenie w pętli zamkniętej Closed Loop Learning TM Zapętlamy wejście z wyjściem wyjście kontekst Wyjście oczekiwane - oryginalna seria 1-1 warstwa ukryta 1-1 Dłuższe uczenie Chaos deterministyczny wejście kontekst Leszek Rybicki Sieci M. I. Jordana 12/21

Propagacja wstecz w czasie Backpropagation Through Time TM wyjście kontekst warstwa ukryta wejście kontekst wyjście kontekst warstwa ukryta wejście kontekst 1-1 1-1 Tworzymy kilka kopii sieci Połączenia wsteczne trafiają pomiędzy kopie Połączenia 1-1 znikają Uczymy jak jedną sieć Uśredniamy wagi między kopiami Leszek Rybicki Sieci M. I. Jordana 13/21

Propagacja wstecz w czasie Backpropagation Through Time TM wyjście wejście wyjście wejście warstwa ukryta warstwa ukryta kontekst kontekst 1-1 kontekst kontekst Tworzymy kilka kopii sieci Połączenia wsteczne trafiają pomiędzy kopie Połączenia 1-1 znikają Uczymy jak jedną sieć Uśredniamy wagi między kopiami Leszek Rybicki Sieci M. I. Jordana 13/21

Propagacja wstecz w czasie Backpropagation Through Time TM wyjście kontekst warstwa ukryta wejście kontekst wyjście warstwa ukryta wejście kontekst Tworzymy kilka kopii sieci Połączenia wsteczne trafiają pomiędzy kopie Połączenia 1-1 znikają Uczymy jak jedną sieć Uśredniamy wagi między kopiami Leszek Rybicki Sieci M. I. Jordana 13/21

Uproszczony model Wystarczy ponumerować synapsy 1 Wejście 2 Kontekst wejścia 3 Aktualizacja kontekstu 4 Wyjście Propagacja wsteczna - normalnie Further investigation wyjście 4. w.u. 1. wejście 3. kontekst 2. Leszek Rybicki Sieci M. I. Jordana 14/21

Przykład Przewidywanie serii czasowej z przecięciami x t+1, y t+1 kontekst Seria czasowa: ósemka Problem w punkcie przecięcia Istotny staje się kontekst warstwa ukryta 1-1 x t, y t kontekst Leszek Rybicki Sieci M. I. Jordana 15/21

Przykład Przewidywanie serii czasowej z przecięciami Leszek Rybicki Sieci M. I. Jordana 15/21

Parametryczny bias Parametric Bias TM Grupa neuronów Dodatkowe wejście Przypisany do serii czasowej Podlega uczeniu Umożliwia rozpoznawanie Odzwierciedla relacje między seriami czasowymi wyjście kontekst warstwa ukryta wejście PB kontekst 1-1 Leszek Rybicki Sieci M. I. Jordana 16/21

Parametryczny bias Parametric Bias TM Grupa neuronów Dodatkowe wejście Przypisany do serii czasowej Podlega uczeniu Umożliwia rozpoznawanie Odzwierciedla relacje między seriami czasowymi wyjście kontekst warstwa ukryta wejście PB kontekst 1-1 1-1 Leszek Rybicki Sieci M. I. Jordana 16/21

Uczenie PB Podobnie jak wagi Na początku każdej serii czasowej przypisany jest zerowy PB. Dla każdej serii czasowej: 1 Przywróć PB na zapisany dla danej serii czasowej 2 Naucz sieć sekwencji czasowej 3 Aktualizuj PB 4 Zapisz PB razem z sekwencją Leszek Rybicki Sieci M. I. Jordana 17/21

Odtwarzanie i rozpoznawanie W obie strony Odtwarzanie serii: 1 Ustal wektor PB 2 Połącz wejście z wyjściem 3 Ustal pierwsze wejście 4 Iteruj sieć Można wygenerować nową serię Rozpoznawanie serii: 1 Podaj sieci kolejny wektor w serii 2 Iteruj sieć 3 Ucz PB 4 Powtarzaj całą serię aż do ustalenia PB PB zbiega do pierwotnie przypisanego tej serii Zachodzi generalizacja Leszek Rybicki Sieci M. I. Jordana 18/21

Zastosowania Co robią w RIKEN Języki regularne Rodziny serii czasowych Sterowanie robotami Generalizacja rozkazów Naśladowanie gestów Głosy ptaków Rozpoznawanie głosek Leszek Rybicki Sieci M. I. Jordana 19/21

Rodzina sinusoid Różne częstotliwości i amplitudy 6 sinusoid o różnych częstotliwościach i amplitudach Wektory PB samoorganizują się Uczymy sieć 5 sinusoid Ustalamy wartość PB Sieć odtwarza odpowiednią sinusoidę Leszek Rybicki Sieci M. I. Jordana 20/21

Bibliografia If you want to improve this style Masato Ito, Jun Tani: Generalization in Learning Multiple Temporal Patterns Using RNNPB. ICONIP 2004: 592-598 Yuuya Sugita, Jun Tani: A Holistic Approach to Compositional Semantics: A Connectionist Model and Robot Experiments. NIPS 2003 Hiroaki Arie, Jun Namikawa, Tetsuya Ogata, Jun Tani, Shigeki Sugano: Reinforcement Learning Algorithm with CTRNN in Continuous Action Space ICONIP (1) 2006: 387-396 Strona laboratorium Juna Tani w RIKEN http://bdc.brain.riken.jp/ Leszek Rybicki Sieci M. I. Jordana 21/21