Sieci M. I. Jordana. Sieci rekurencyjne z parametrycznym biasem. Leszek Rybicki. 30 listopada Leszek Rybicki Sieci M. I.
|
|
|
- Bogusław Wasilewski
- 7 lat temu
- Przeglądów:
Transkrypt
1 Sieci M. I. Jordana Sieci rekurencyjne z parametrycznym biasem Leszek Rybicki 30 listopada 2007 Leszek Rybicki Sieci M. I. Jordana 1/21
2 Plan O czym będzie 1 Wstęp do sieci neuronowych Neurony i perceptrony Wsteczna propagacja błędu 2 Sieci rekurencyjne M.I. Jordana Sieci rekurencyjne Uczenie Przykład 3 Parametryczny bias Uczenie Zastosowania Leszek Rybicki Sieci M. I. Jordana 2/21
3 Uczenie nadzorowane Specyfikacja problemu Dane Zbiór przykładów składających się z wejścia: x i R n oraz oczekiwanego wyjścia: y i R m. Cel Mając dane wejście x i, odtworzyć y i z pewną dokładnością. Efekt uboczny Dla wejścia nie należącego do przykładów, wyjście jest odgadywane (generalizacja). Leszek Rybicki Sieci M. I. Jordana 3/21
4 Uczenie nadzorowane Specyfikacja problemu Dane Zbiór przykładów składających się z wejścia: x i R n oraz oczekiwanego wyjścia: y i R m. Cel Mając dane wejście x i, odtworzyć y i z pewną dokładnością. Efekt uboczny Dla wejścia nie należącego do przykładów, wyjście jest odgadywane (generalizacja). Leszek Rybicki Sieci M. I. Jordana 3/21
5 Uczenie nadzorowane Specyfikacja problemu Dane Zbiór przykładów składających się z wejścia: x i R n oraz oczekiwanego wyjścia: y i R m. Cel Mając dane wejście x i, odtworzyć y i z pewną dokładnością. Efekt uboczny Dla wejścia nie należącego do przykładów, wyjście jest odgadywane (generalizacja). Leszek Rybicki Sieci M. I. Jordana 3/21
6 Model neuronu Neuron McCullocha-Pittsa x 1 x 2 x 3 w 1 w 2 w 3 wi x i σ( ) out k out = σ( w i x i ) = σ( w, x ) i=1 Leszek Rybicki Sieci M. I. Jordana 4/21
7 Model neuronu Neuron McCullocha-Pittsa x 1 x 2 x 3 w 1 w 2 w 3 wi x i σ( ) out k out = σ( w i x i ) = σ( w, x ) i=1 Leszek Rybicki Sieci M. I. Jordana 4/21
8 Model neuronu Neuron McCullocha-Pittsa x 1 x 2 x 3 w 1 w 2 w 3 wi x i σ( ) out k out = σ( w i x i ) = σ( w, x ) i=1 Leszek Rybicki Sieci M. I. Jordana 4/21
9 Model neuronu Neuron McCullocha-Pittsa x 1 x 2 x 3 w 1 w 2 w 3 wi x i σ( ) out k out = σ( w i x i ) = σ( w, x ) i=1 Leszek Rybicki Sieci M. I. Jordana 4/21
10 Perceptron wielowarstwowy Multi-Layer Perceptron wyjście h = σ(w in h in) out = σ(w h out h) Neuron progowy, bias warstwa ukryta wejście Leszek Rybicki Sieci M. I. Jordana 5/21
11 Perceptron wielowarstwowy Multi-Layer Perceptron wyjście h = σ(w in h in) out = σ(w h out h) Neuron progowy, bias warstwa ukryta W in h wejście Leszek Rybicki Sieci M. I. Jordana 5/21
12 Perceptron wielowarstwowy Multi-Layer Perceptron wyjście h = σ(w in h in) out = σ(w h out h) Neuron progowy, bias W h out warstwa ukryta W in h wejście Leszek Rybicki Sieci M. I. Jordana 5/21
13 Perceptron wielowarstwowy Multi-Layer Perceptron wyjście h = σ(w in h in) out = σ(w h out h) Neuron progowy, bias W h out warstwa ukryta W in h wejście 1 Leszek Rybicki Sieci M. I. Jordana 5/21
14 Perceptron wielowarstwowy Multi-Layer Perceptron wyjście h = σ(w in h in) out = σ(w h out h) Neuron progowy, bias W h out warstwa ukryta+1 W in h wejście+1 Leszek Rybicki Sieci M. I. Jordana 5/21
15 Propagacja wsteczna Oznaczenia x ij - i-te wejście j-tego neuronu w ij - waga między i-tym, a j-tym neuronem z j = x j, w j - ważona suma wejść j-tego neuronu o j = σ(z j ) - wyjście j-tego neuronu y j - wyjście oczekiwane j-tego neuronu wyjściowego down(j) - neurony, dla których j-ty neuron jest wejściem E = 1 2 k out (o k y k ) 2 - błąd Leszek Rybicki Sieci M. I. Jordana 6/21
16 Propagacja wsteczna Dla neuronów wyjściowych Niech: E = E z j = E x ij w ij z j w ij z j δ j := E z j = z j 1 2 (y j o j ) 2 (1) = (y j o j ) o j z j (2) = (y j o j ) z j σ(z j ) (3) w ij = η E w ij = ηδ j x ij Leszek Rybicki Sieci M. I. Jordana 7/21
17 Propagacja wsteczna Dla neuronów wyjściowych Niech: E = E z j = E x ij w ij z j w ij z j δ j := E z j = z j 1 2 (y j o j ) 2 (1) = (y j o j ) o j z j (2) = (y j o j ) z j σ(z j ) (3) w ij = η E w ij = ηδ j x ij Leszek Rybicki Sieci M. I. Jordana 7/21
18 Propagacja wsteczna Dla neuronów wyjściowych Niech: E = E z j = E x ij w ij z j w ij z j δ j := E z j = z j 1 2 (y j o j ) 2 (1) = (y j o j ) o j z j (2) = (y j o j ) z j σ(z j ) (3) w ij = η E w ij = ηδ j x ij Leszek Rybicki Sieci M. I. Jordana 7/21
19 Propagacja wsteczna Dla neuronów wyjściowych Niech: E = E z j = E x ij w ij z j w ij z j δ j := E z j = z j 1 2 (y j o j ) 2 (1) = (y j o j ) o j z j (2) = (y j o j ) z j σ(z j ) (3) w ij = η E w ij = ηδ j x ij Leszek Rybicki Sieci M. I. Jordana 7/21
20 Propagacja wsteczna Dla neuronów wyjściowych Niech: E = E z j = E x ij w ij z j w ij z j δ j := E z j = z j 1 2 (y j o j ) 2 (1) = (y j o j ) o j z j (2) = (y j o j ) z j σ(z j ) (3) w ij = η E w ij = ηδ j x ij Leszek Rybicki Sieci M. I. Jordana 7/21
21 Propagacja wsteczna Dla neuronów ukrytych Niech: E w ij = = = k down(j) k down(j) k down(j) E z k z k o j o j z j z j w ij (4) E z k z k o j o j z j x ij (5) δ k w jk σ(z j) z j x ij (6) δ j := δ k w jk σ(z j) z j w ij = η E w ij = ηδ j x ij Leszek Rybicki Sieci M. I. Jordana 8/21
22 Propagacja wsteczna Dla neuronów ukrytych Niech: E w ij = = = k down(j) k down(j) k down(j) E z k z k o j o j z j z j w ij (4) E z k z k o j o j z j x ij (5) δ k w jk σ(z j) z j x ij (6) δ j := δ k w jk σ(z j) z j w ij = η E w ij = ηδ j x ij Leszek Rybicki Sieci M. I. Jordana 8/21
23 Propagacja wsteczna Dla neuronów ukrytych Niech: E w ij = = = k down(j) k down(j) k down(j) E z k z k o j o j z j z j w ij (4) E z k z k o j o j z j x ij (5) δ k w jk σ(z j) z j x ij (6) δ j := δ k w jk σ(z j) z j w ij = η E w ij = ηδ j x ij Leszek Rybicki Sieci M. I. Jordana 8/21
24 Propagacja wsteczna Dla neuronów ukrytych Niech: E w ij = = = k down(j) k down(j) k down(j) E z k z k o j o j z j z j w ij (4) E z k z k o j o j z j x ij (5) δ k w jk σ(z j) z j x ij (6) δ j := δ k w jk σ(z j) z j w ij = η E w ij = ηδ j x ij Leszek Rybicki Sieci M. I. Jordana 8/21
25 Propagacja wsteczna Dla neuronów ukrytych Niech: E w ij = = = k down(j) k down(j) k down(j) E z k z k o j o j z j z j w ij (4) E z k z k o j o j z j x ij (5) δ k w jk σ(z j) z j x ij (6) δ j := δ k w jk σ(z j) z j w ij = η E w ij = ηδ j x ij Leszek Rybicki Sieci M. I. Jordana 8/21
26 Propagacja wsteczna W tę i z powrotem wyjście warstwa ukryta wejście Dla losowo wybranego przykładu: Oblicz wyjście sieci Oblicz delty warstwy wyjściowej Oblicz delty warstwy ukrytej Oblicz zmianę wag Zaaplikuj zmianę wag Leszek Rybicki Sieci M. I. Jordana 9/21
27 Propagacja wsteczna W tę i z powrotem wyjście δ out Dla losowo wybranego przykładu: warstwa ukryta wejście Oblicz wyjście sieci Oblicz delty warstwy wyjściowej Oblicz delty warstwy ukrytej Oblicz zmianę wag Zaaplikuj zmianę wag Leszek Rybicki Sieci M. I. Jordana 9/21
28 Propagacja wsteczna W tę i z powrotem wyjście warstwa ukryta wejście δ out δ h W T h out Dla losowo wybranego przykładu: Oblicz wyjście sieci Oblicz delty warstwy wyjściowej Oblicz delty warstwy ukrytej Oblicz zmianę wag Zaaplikuj zmianę wag Leszek Rybicki Sieci M. I. Jordana 9/21
29 Propagacja wsteczna W tę i z powrotem wyjście warstwa ukryta wejście W h out Wh out T W in h δ out δ h Dla losowo wybranego przykładu: Oblicz wyjście sieci Oblicz delty warstwy wyjściowej Oblicz delty warstwy ukrytej Oblicz zmianę wag Zaaplikuj zmianę wag Leszek Rybicki Sieci M. I. Jordana 9/21
30 Propagacja wsteczna W tę i z powrotem wyjście warstwa ukryta wejście W h out Wh out T W in h δ out δ h Dla losowo wybranego przykładu: Oblicz wyjście sieci Oblicz delty warstwy wyjściowej Oblicz delty warstwy ukrytej Oblicz zmianę wag Zaaplikuj zmianę wag Leszek Rybicki Sieci M. I. Jordana 9/21
31 Przykład Odtwarzanie złożonego zbioru danych (r, g, b) 1 Wylosuj współrzędne punktu obrazu (x, y). 2 Wyjście oczekiwane: (r, g, b). 3 Oblicz wyjście sieci. 4 Popraw wagi h R 200 (x, y) Leszek Rybicki Sieci M. I. Jordana 10/21
32 Przykład Odtwarzanie złożonego zbioru danych Leszek Rybicki Sieci M. I. Jordana 10/21
33 Przykład Odtwarzanie złożonego zbioru danych Leszek Rybicki Sieci M. I. Jordana 10/21
34 Sieć z połączeniami zwrotnymi Rekurencyjna pompa neuronowa wyjście Perceptron wielowarstwowy Dodatkowe wejście Dodatkowe wyjście Połączenie 1-1 opóźnione w czasie wejście warstwa ukryta Leszek Rybicki Sieci M. I. Jordana 11/21
35 Sieć z połączeniami zwrotnymi Rekurencyjna pompa neuronowa wyjście Perceptron wielowarstwowy Dodatkowe wejście Dodatkowe wyjście Połączenie 1-1 opóźnione w czasie wejście warstwa ukryta kontekst Leszek Rybicki Sieci M. I. Jordana 11/21
36 Sieć z połączeniami zwrotnymi Rekurencyjna pompa neuronowa Perceptron wielowarstwowy Dodatkowe wejście Dodatkowe wyjście Połączenie 1-1 opóźnione w czasie wyjście kontekst warstwa ukryta wejście kontekst Leszek Rybicki Sieci M. I. Jordana 11/21
37 Sieć z połączeniami zwrotnymi Rekurencyjna pompa neuronowa Perceptron wielowarstwowy Dodatkowe wejście Dodatkowe wyjście Połączenie 1-1 opóźnione w czasie wyjście kontekst warstwa ukryta wejście kontekst 1-1 Leszek Rybicki Sieci M. I. Jordana 11/21
38 Uczenie w pętli zamkniętej Closed Loop Learning TM Zapętlamy wejście z wyjściem wyjście kontekst Wyjście oczekiwane - oryginalna seria 1-1 warstwa ukryta 1-1 Dłuższe uczenie Chaos deterministyczny wejście kontekst Leszek Rybicki Sieci M. I. Jordana 12/21
39 Uczenie w pętli zamkniętej Closed Loop Learning TM Zapętlamy wejście z wyjściem wyjście kontekst Wyjście oczekiwane - oryginalna seria 1-1 warstwa ukryta 1-1 Dłuższe uczenie Chaos deterministyczny wejście kontekst Leszek Rybicki Sieci M. I. Jordana 12/21
40 Uczenie w pętli zamkniętej Closed Loop Learning TM Zapętlamy wejście z wyjściem wyjście kontekst Wyjście oczekiwane - oryginalna seria 1-1 warstwa ukryta 1-1 Dłuższe uczenie Chaos deterministyczny wejście kontekst Leszek Rybicki Sieci M. I. Jordana 12/21
41 Uczenie w pętli zamkniętej Closed Loop Learning TM Zapętlamy wejście z wyjściem wyjście kontekst Wyjście oczekiwane - oryginalna seria 1-1 warstwa ukryta 1-1 Dłuższe uczenie Chaos deterministyczny wejście kontekst Leszek Rybicki Sieci M. I. Jordana 12/21
42 Propagacja wstecz w czasie Backpropagation Through Time TM wyjście kontekst warstwa ukryta wejście kontekst wyjście kontekst warstwa ukryta wejście kontekst Tworzymy kilka kopii sieci Połączenia wsteczne trafiają pomiędzy kopie Połączenia 1-1 znikają Uczymy jak jedną sieć Uśredniamy wagi między kopiami Leszek Rybicki Sieci M. I. Jordana 13/21
43 Propagacja wstecz w czasie Backpropagation Through Time TM wyjście wejście wyjście wejście warstwa ukryta warstwa ukryta kontekst kontekst 1-1 kontekst kontekst Tworzymy kilka kopii sieci Połączenia wsteczne trafiają pomiędzy kopie Połączenia 1-1 znikają Uczymy jak jedną sieć Uśredniamy wagi między kopiami Leszek Rybicki Sieci M. I. Jordana 13/21
44 Propagacja wstecz w czasie Backpropagation Through Time TM wyjście kontekst warstwa ukryta wejście kontekst wyjście warstwa ukryta wejście kontekst Tworzymy kilka kopii sieci Połączenia wsteczne trafiają pomiędzy kopie Połączenia 1-1 znikają Uczymy jak jedną sieć Uśredniamy wagi między kopiami Leszek Rybicki Sieci M. I. Jordana 13/21
45 Propagacja wstecz w czasie Backpropagation Through Time TM wyjście kontekst warstwa ukryta wejście kontekst wyjście warstwa ukryta wejście kontekst Tworzymy kilka kopii sieci Połączenia wsteczne trafiają pomiędzy kopie Połączenia 1-1 znikają Uczymy jak jedną sieć Uśredniamy wagi między kopiami Leszek Rybicki Sieci M. I. Jordana 13/21
46 Propagacja wstecz w czasie Backpropagation Through Time TM wyjście kontekst warstwa ukryta wejście kontekst wyjście warstwa ukryta wejście kontekst Tworzymy kilka kopii sieci Połączenia wsteczne trafiają pomiędzy kopie Połączenia 1-1 znikają Uczymy jak jedną sieć Uśredniamy wagi między kopiami Leszek Rybicki Sieci M. I. Jordana 13/21
47 Uproszczony model Wystarczy ponumerować synapsy 1 Wejście 2 Kontekst wejścia 3 Aktualizacja kontekstu 4 Wyjście Propagacja wsteczna - normalnie Further investigation wyjście 4. w.u. 1. wejście 3. kontekst 2. Leszek Rybicki Sieci M. I. Jordana 14/21
48 Uproszczony model Wystarczy ponumerować synapsy 1 Wejście 2 Kontekst wejścia 3 Aktualizacja kontekstu 4 Wyjście Propagacja wsteczna - normalnie Further investigation wyjście 4. w.u. 1. wejście 3. kontekst 2. Leszek Rybicki Sieci M. I. Jordana 14/21
49 Uproszczony model Wystarczy ponumerować synapsy 1 Wejście 2 Kontekst wejścia 3 Aktualizacja kontekstu 4 Wyjście Propagacja wsteczna - normalnie Further investigation wyjście 4. w.u. 1. wejście 3. kontekst 2. Leszek Rybicki Sieci M. I. Jordana 14/21
50 Uproszczony model Wystarczy ponumerować synapsy 1 Wejście 2 Kontekst wejścia 3 Aktualizacja kontekstu 4 Wyjście Propagacja wsteczna - normalnie Further investigation wyjście 4. w.u. 1. wejście 3. kontekst 2. Leszek Rybicki Sieci M. I. Jordana 14/21
51 Uproszczony model Wystarczy ponumerować synapsy 1 Wejście 2 Kontekst wejścia 3 Aktualizacja kontekstu 4 Wyjście Propagacja wsteczna - normalnie Further investigation wyjście 4. w.u. 1. wejście 3. kontekst 2. Leszek Rybicki Sieci M. I. Jordana 14/21
52 Uproszczony model Wystarczy ponumerować synapsy 1 Wejście 2 Kontekst wejścia 3 Aktualizacja kontekstu 4 Wyjście Propagacja wsteczna - normalnie Further investigation wyjście 4. w.u. 1. wejście 3. kontekst 2. Leszek Rybicki Sieci M. I. Jordana 14/21
53 Przykład Przewidywanie serii czasowej z przecięciami x t+1, y t+1 kontekst Seria czasowa: ósemka Problem w punkcie przecięcia Istotny staje się kontekst warstwa ukryta 1-1 x t, y t kontekst Leszek Rybicki Sieci M. I. Jordana 15/21
54 Przykład Przewidywanie serii czasowej z przecięciami Leszek Rybicki Sieci M. I. Jordana 15/21
55 Parametryczny bias Parametric Bias TM Grupa neuronów Dodatkowe wejście Przypisany do serii czasowej Podlega uczeniu Umożliwia rozpoznawanie Odzwierciedla relacje między seriami czasowymi wyjście kontekst warstwa ukryta wejście PB kontekst 1-1 Leszek Rybicki Sieci M. I. Jordana 16/21
56 Parametryczny bias Parametric Bias TM Grupa neuronów Dodatkowe wejście Przypisany do serii czasowej Podlega uczeniu Umożliwia rozpoznawanie Odzwierciedla relacje między seriami czasowymi wyjście kontekst warstwa ukryta wejście PB kontekst 1-1 Leszek Rybicki Sieci M. I. Jordana 16/21
57 Parametryczny bias Parametric Bias TM Grupa neuronów Dodatkowe wejście Przypisany do serii czasowej Podlega uczeniu Umożliwia rozpoznawanie Odzwierciedla relacje między seriami czasowymi wyjście kontekst warstwa ukryta wejście PB kontekst 1-1 Leszek Rybicki Sieci M. I. Jordana 16/21
58 Parametryczny bias Parametric Bias TM Grupa neuronów Dodatkowe wejście Przypisany do serii czasowej Podlega uczeniu Umożliwia rozpoznawanie Odzwierciedla relacje między seriami czasowymi wyjście kontekst warstwa ukryta wejście PB kontekst Leszek Rybicki Sieci M. I. Jordana 16/21
59 Parametryczny bias Parametric Bias TM Grupa neuronów Dodatkowe wejście Przypisany do serii czasowej Podlega uczeniu Umożliwia rozpoznawanie Odzwierciedla relacje między seriami czasowymi wyjście kontekst warstwa ukryta wejście PB kontekst Leszek Rybicki Sieci M. I. Jordana 16/21
60 Parametryczny bias Parametric Bias TM Grupa neuronów Dodatkowe wejście Przypisany do serii czasowej Podlega uczeniu Umożliwia rozpoznawanie Odzwierciedla relacje między seriami czasowymi wyjście kontekst warstwa ukryta wejście PB kontekst Leszek Rybicki Sieci M. I. Jordana 16/21
61 Uczenie PB Podobnie jak wagi Na początku każdej serii czasowej przypisany jest zerowy PB. Dla każdej serii czasowej: 1 Przywróć PB na zapisany dla danej serii czasowej 2 Naucz sieć sekwencji czasowej 3 Aktualizuj PB 4 Zapisz PB razem z sekwencją Leszek Rybicki Sieci M. I. Jordana 17/21
62 Uczenie PB Podobnie jak wagi Na początku każdej serii czasowej przypisany jest zerowy PB. Dla każdej serii czasowej: 1 Przywróć PB na zapisany dla danej serii czasowej 2 Naucz sieć sekwencji czasowej 3 Aktualizuj PB 4 Zapisz PB razem z sekwencją Leszek Rybicki Sieci M. I. Jordana 17/21
63 Uczenie PB Podobnie jak wagi Na początku każdej serii czasowej przypisany jest zerowy PB. Dla każdej serii czasowej: 1 Przywróć PB na zapisany dla danej serii czasowej 2 Naucz sieć sekwencji czasowej 3 Aktualizuj PB 4 Zapisz PB razem z sekwencją Leszek Rybicki Sieci M. I. Jordana 17/21
64 Uczenie PB Podobnie jak wagi Na początku każdej serii czasowej przypisany jest zerowy PB. Dla każdej serii czasowej: 1 Przywróć PB na zapisany dla danej serii czasowej 2 Naucz sieć sekwencji czasowej 3 Aktualizuj PB 4 Zapisz PB razem z sekwencją Leszek Rybicki Sieci M. I. Jordana 17/21
65 Odtwarzanie i rozpoznawanie W obie strony Odtwarzanie serii: 1 Ustal wektor PB 2 Połącz wejście z wyjściem 3 Ustal pierwsze wejście 4 Iteruj sieć Można wygenerować nową serię Rozpoznawanie serii: 1 Podaj sieci kolejny wektor w serii 2 Iteruj sieć 3 Ucz PB 4 Powtarzaj całą serię aż do ustalenia PB PB zbiega do pierwotnie przypisanego tej serii Zachodzi generalizacja Leszek Rybicki Sieci M. I. Jordana 18/21
66 Odtwarzanie i rozpoznawanie W obie strony Odtwarzanie serii: 1 Ustal wektor PB 2 Połącz wejście z wyjściem 3 Ustal pierwsze wejście 4 Iteruj sieć Można wygenerować nową serię Rozpoznawanie serii: 1 Podaj sieci kolejny wektor w serii 2 Iteruj sieć 3 Ucz PB 4 Powtarzaj całą serię aż do ustalenia PB PB zbiega do pierwotnie przypisanego tej serii Zachodzi generalizacja Leszek Rybicki Sieci M. I. Jordana 18/21
67 Odtwarzanie i rozpoznawanie W obie strony Odtwarzanie serii: 1 Ustal wektor PB 2 Połącz wejście z wyjściem 3 Ustal pierwsze wejście 4 Iteruj sieć Można wygenerować nową serię Rozpoznawanie serii: 1 Podaj sieci kolejny wektor w serii 2 Iteruj sieć 3 Ucz PB 4 Powtarzaj całą serię aż do ustalenia PB PB zbiega do pierwotnie przypisanego tej serii Zachodzi generalizacja Leszek Rybicki Sieci M. I. Jordana 18/21
68 Odtwarzanie i rozpoznawanie W obie strony Odtwarzanie serii: 1 Ustal wektor PB 2 Połącz wejście z wyjściem 3 Ustal pierwsze wejście 4 Iteruj sieć Można wygenerować nową serię Rozpoznawanie serii: 1 Podaj sieci kolejny wektor w serii 2 Iteruj sieć 3 Ucz PB 4 Powtarzaj całą serię aż do ustalenia PB PB zbiega do pierwotnie przypisanego tej serii Zachodzi generalizacja Leszek Rybicki Sieci M. I. Jordana 18/21
69 Odtwarzanie i rozpoznawanie W obie strony Odtwarzanie serii: 1 Ustal wektor PB 2 Połącz wejście z wyjściem 3 Ustal pierwsze wejście 4 Iteruj sieć Można wygenerować nową serię Rozpoznawanie serii: 1 Podaj sieci kolejny wektor w serii 2 Iteruj sieć 3 Ucz PB 4 Powtarzaj całą serię aż do ustalenia PB PB zbiega do pierwotnie przypisanego tej serii Zachodzi generalizacja Leszek Rybicki Sieci M. I. Jordana 18/21
70 Odtwarzanie i rozpoznawanie W obie strony Odtwarzanie serii: 1 Ustal wektor PB 2 Połącz wejście z wyjściem 3 Ustal pierwsze wejście 4 Iteruj sieć Można wygenerować nową serię Rozpoznawanie serii: 1 Podaj sieci kolejny wektor w serii 2 Iteruj sieć 3 Ucz PB 4 Powtarzaj całą serię aż do ustalenia PB PB zbiega do pierwotnie przypisanego tej serii Zachodzi generalizacja Leszek Rybicki Sieci M. I. Jordana 18/21
71 Odtwarzanie i rozpoznawanie W obie strony Odtwarzanie serii: 1 Ustal wektor PB 2 Połącz wejście z wyjściem 3 Ustal pierwsze wejście 4 Iteruj sieć Można wygenerować nową serię Rozpoznawanie serii: 1 Podaj sieci kolejny wektor w serii 2 Iteruj sieć 3 Ucz PB 4 Powtarzaj całą serię aż do ustalenia PB PB zbiega do pierwotnie przypisanego tej serii Zachodzi generalizacja Leszek Rybicki Sieci M. I. Jordana 18/21
72 Odtwarzanie i rozpoznawanie W obie strony Odtwarzanie serii: 1 Ustal wektor PB 2 Połącz wejście z wyjściem 3 Ustal pierwsze wejście 4 Iteruj sieć Można wygenerować nową serię Rozpoznawanie serii: 1 Podaj sieci kolejny wektor w serii 2 Iteruj sieć 3 Ucz PB 4 Powtarzaj całą serię aż do ustalenia PB PB zbiega do pierwotnie przypisanego tej serii Zachodzi generalizacja Leszek Rybicki Sieci M. I. Jordana 18/21
73 Odtwarzanie i rozpoznawanie W obie strony Odtwarzanie serii: 1 Ustal wektor PB 2 Połącz wejście z wyjściem 3 Ustal pierwsze wejście 4 Iteruj sieć Można wygenerować nową serię Rozpoznawanie serii: 1 Podaj sieci kolejny wektor w serii 2 Iteruj sieć 3 Ucz PB 4 Powtarzaj całą serię aż do ustalenia PB PB zbiega do pierwotnie przypisanego tej serii Zachodzi generalizacja Leszek Rybicki Sieci M. I. Jordana 18/21
74 Odtwarzanie i rozpoznawanie W obie strony Odtwarzanie serii: 1 Ustal wektor PB 2 Połącz wejście z wyjściem 3 Ustal pierwsze wejście 4 Iteruj sieć Można wygenerować nową serię Rozpoznawanie serii: 1 Podaj sieci kolejny wektor w serii 2 Iteruj sieć 3 Ucz PB 4 Powtarzaj całą serię aż do ustalenia PB PB zbiega do pierwotnie przypisanego tej serii Zachodzi generalizacja Leszek Rybicki Sieci M. I. Jordana 18/21
75 Odtwarzanie i rozpoznawanie W obie strony Odtwarzanie serii: 1 Ustal wektor PB 2 Połącz wejście z wyjściem 3 Ustal pierwsze wejście 4 Iteruj sieć Można wygenerować nową serię Rozpoznawanie serii: 1 Podaj sieci kolejny wektor w serii 2 Iteruj sieć 3 Ucz PB 4 Powtarzaj całą serię aż do ustalenia PB PB zbiega do pierwotnie przypisanego tej serii Zachodzi generalizacja Leszek Rybicki Sieci M. I. Jordana 18/21
76 Zastosowania Co robią w RIKEN Języki regularne Rodziny serii czasowych Sterowanie robotami Generalizacja rozkazów Naśladowanie gestów Głosy ptaków Rozpoznawanie głosek Leszek Rybicki Sieci M. I. Jordana 19/21
77 Zastosowania Co robią w RIKEN Języki regularne Rodziny serii czasowych Sterowanie robotami Generalizacja rozkazów Naśladowanie gestów Głosy ptaków Rozpoznawanie głosek Leszek Rybicki Sieci M. I. Jordana 19/21
78 Zastosowania Co robią w RIKEN Języki regularne Rodziny serii czasowych Sterowanie robotami Generalizacja rozkazów Naśladowanie gestów Głosy ptaków Rozpoznawanie głosek Leszek Rybicki Sieci M. I. Jordana 19/21
79 Zastosowania Co robią w RIKEN Języki regularne Rodziny serii czasowych Sterowanie robotami Generalizacja rozkazów Naśladowanie gestów Głosy ptaków Rozpoznawanie głosek Leszek Rybicki Sieci M. I. Jordana 19/21
80 Zastosowania Co robią w RIKEN Języki regularne Rodziny serii czasowych Sterowanie robotami Generalizacja rozkazów Naśladowanie gestów Głosy ptaków Rozpoznawanie głosek Leszek Rybicki Sieci M. I. Jordana 19/21
81 Zastosowania Co robią w RIKEN Języki regularne Rodziny serii czasowych Sterowanie robotami Generalizacja rozkazów Naśladowanie gestów Głosy ptaków Rozpoznawanie głosek Leszek Rybicki Sieci M. I. Jordana 19/21
82 Zastosowania Co robią w RIKEN Języki regularne Rodziny serii czasowych Sterowanie robotami Generalizacja rozkazów Naśladowanie gestów Głosy ptaków Rozpoznawanie głosek Leszek Rybicki Sieci M. I. Jordana 19/21
83 Zastosowania Co robią w RIKEN Języki regularne Rodziny serii czasowych Sterowanie robotami Generalizacja rozkazów Naśladowanie gestów Głosy ptaków Rozpoznawanie głosek Leszek Rybicki Sieci M. I. Jordana 19/21
84 Rodzina sinusoid Różne częstotliwości i amplitudy 6 sinusoid o różnych częstotliwościach i amplitudach Wektory PB samoorganizują się Uczymy sieć 5 sinusoid Ustalamy wartość PB Sieć odtwarza odpowiednią sinusoidę Leszek Rybicki Sieci M. I. Jordana 20/21
85 Rodzina sinusoid Różne częstotliwości i amplitudy 6 sinusoid o różnych częstotliwościach i amplitudach Wektory PB samoorganizują się Uczymy sieć 5 sinusoid Ustalamy wartość PB Sieć odtwarza odpowiednią sinusoidę Leszek Rybicki Sieci M. I. Jordana 20/21
86 Rodzina sinusoid Różne częstotliwości i amplitudy 6 sinusoid o różnych częstotliwościach i amplitudach Wektory PB samoorganizują się Uczymy sieć 5 sinusoid Ustalamy wartość PB Sieć odtwarza odpowiednią sinusoidę Leszek Rybicki Sieci M. I. Jordana 20/21
87 Rodzina sinusoid Różne częstotliwości i amplitudy 6 sinusoid o różnych częstotliwościach i amplitudach Wektory PB samoorganizują się Uczymy sieć 5 sinusoid Ustalamy wartość PB Sieć odtwarza odpowiednią sinusoidę Leszek Rybicki Sieci M. I. Jordana 20/21
88 Rodzina sinusoid Różne częstotliwości i amplitudy 6 sinusoid o różnych częstotliwościach i amplitudach Wektory PB samoorganizują się Uczymy sieć 5 sinusoid Ustalamy wartość PB Sieć odtwarza odpowiednią sinusoidę Leszek Rybicki Sieci M. I. Jordana 20/21
89 Bibliografia If you want to improve this style Masato Ito, Jun Tani: Generalization in Learning Multiple Temporal Patterns Using RNNPB. ICONIP 2004: Yuuya Sugita, Jun Tani: A Holistic Approach to Compositional Semantics: A Connectionist Model and Robot Experiments. NIPS 2003 Hiroaki Arie, Jun Namikawa, Tetsuya Ogata, Jun Tani, Shigeki Sugano: Reinforcement Learning Algorithm with CTRNN in Continuous Action Space ICONIP (1) 2006: Strona laboratorium Juna Tani w RIKEN Leszek Rybicki Sieci M. I. Jordana 21/21
IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ
IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ Celem ćwiczenia jest zapoznanie się ze sposobem działania sieci neuronowych typu MLP (multi-layer perceptron) uczonych nadzorowaną (z nauczycielem,
synaptycznych wszystko to waży 1.5 kg i zajmuje objętość około 1.5 litra. A zużywa mniej energii niż lampka nocna.
Sieci neuronowe model konekcjonistyczny Plan wykładu Mózg ludzki a komputer Modele konekcjonistycze Perceptron Sieć neuronowa Uczenie sieci Sieci Hopfielda Mózg ludzki a komputer Twój mózg to 00 000 000
Uczenie sieci neuronowych i bayesowskich
Wstęp do metod sztucznej inteligencji www.mat.uni.torun.pl/~piersaj 2009-01-22 Co to jest neuron? Komputer, a mózg komputer mózg Jednostki obliczeniowe 1-4 CPU 10 11 neuronów Pojemność 10 9 b RAM, 10 10
Wstęp do teorii sztucznej inteligencji Wykład III. Modele sieci neuronowych.
Wstęp do teorii sztucznej inteligencji Wykład III Modele sieci neuronowych. 1 Perceptron model najprostzszy przypomnienie Schemat neuronu opracowany przez McCullocha i Pittsa w 1943 roku. Przykład funkcji
Wstęp do teorii sztucznej inteligencji Wykład II. Uczenie sztucznych neuronów.
Wstęp do teorii sztucznej inteligencji Wykład II Uczenie sztucznych neuronów. 1 - powtórzyć o klasyfikacji: Sieci liniowe I nieliniowe Sieci rekurencyjne Uczenie z nauczycielem lub bez Jednowarstwowe I
Zastosowania sieci neuronowych
Zastosowania sieci neuronowych aproksymacja LABORKA Piotr Ciskowski zadanie 1. aproksymacja funkcji odległość punktów źródło: Żurada i in. Sztuczne sieci neuronowe, przykład 4.4, str. 137 Naucz sieć taką
Elementy inteligencji obliczeniowej
Elementy inteligencji obliczeniowej Paweł Liskowski Institute of Computing Science, Poznań University of Technology 9 October 2018 1 / 19 Perceptron Perceptron (Rosenblatt, 1957) to najprostsza forma sztucznego
Wstęp do sieci neuronowych, wykład 04. Skierowane sieci neuronowe. Algorytmy konstrukcyjne dla sieci skierowanych
Wstęp do sieci neuronowych, wykład 04. Skierowane sieci neuronowe. dla sieci skierowanych Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-25 1 Motywacja
Sztuczne sieci neuronowe
www.math.uni.lodz.pl/ radmat Cel wykładu Celem wykładu jest prezentacja różnych rodzajów sztucznych sieci neuronowych. Biologiczny model neuronu Mózg człowieka składa się z około 10 11 komórek nerwowych,
Wstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3
Wstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3 Andrzej Rutkowski, Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-11-05 Projekt
x 1 x 2 x 3 x n w 1 w 2 Σ w 3 w n x 1 x 2 x 1 XOR x (x A, y A ) y A x A
Sieci neuronowe model konekcjonistczn Plan wkładu Perceptron - przpomnienie Uczenie nienadzorowane Sieci Hopfielda Perceptron w 3 Σ w n A Liniowo separowaln problem klasfikacji ( A, A ) Problem XOR 0 0
Sztuczne sieci neuronowe (SNN)
Sztuczne sieci neuronowe (SNN) Pozyskanie informacji (danych) Wstępne przetwarzanie danych przygotowanie ich do dalszej analizy Selekcja informacji Ostateczny model decyzyjny SSN - podstawy Sieci neuronowe
Wprowadzenie do Sieci Neuronowych Laboratorium 05 Algorytm wstecznej propagacji błędu
Wprowadzenie do Sieci Neuronowych Laboratorium Algorytm wstecznej propagacji błędu Maja Czoków, Jarosław Piersa --7. Powtórzenie Perceptron sigmoidalny Funkcja sigmoidalna: σ(x) = + exp( c (x p)) () Parametr
Sztuczna Inteligencja Tematy projektów Sieci Neuronowe
PB, 2009 2010 Sztuczna Inteligencja Tematy projektów Sieci Neuronowe Projekt 1 Stwórz projekt implementujący jednokierunkową sztuczną neuronową złożoną z neuronów typu sigmoidalnego z algorytmem uczenia
Metody Sztucznej Inteligencji II
17 marca 2013 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką, która jest w stanie odbierać i przekazywać sygnały elektryczne. Neuron działanie Jeżeli wartość sygnału
Podstawy Sztucznej Inteligencji (PSZT)
Podstawy Sztucznej Inteligencji (PSZT) Paweł Wawrzyński Uczenie maszynowe Sztuczne sieci neuronowe Plan na dziś Uczenie maszynowe Problem aproksymacji funkcji Sieci neuronowe PSZT, zima 2013, wykład 12
SID Wykład 8 Sieci neuronowe
SID Wykład 8 Sieci neuronowe Wydział Matematyki, Informatyki i Mechaniki UW slezak@mimuw.edu.pl Sztuczna inteligencja - uczenie Uczenie się jest procesem nastawionym na osiaganie rezultatów opartych o
HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM
ZASTOSOWANIE SIECI NEURONOWYCH W SYSTEMACH AKTYWNEJ REDUKCJI HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM WPROWADZENIE Zwalczanie hałasu przy pomocy metod aktywnych redukcji hałasu polega
1. Logika, funkcje logiczne, preceptron.
Sieci neuronowe 1. Logika, funkcje logiczne, preceptron. 1. (Logika) Udowodnij prawa de Morgana, prawo pochłaniania p (p q), prawo wyłączonego środka p p oraz prawo sprzeczności (p p). 2. Wyraź funkcję
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-11 1 Modelowanie funkcji logicznych
Systemy agentowe. Sieci neuronowe. Jędrzej Potoniec
Systemy agentowe Sieci neuronowe Jędrzej Potoniec Perceptron (Rossenblat, 1957) A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017 Perceptron { 1 z 0 step(z) = 0 w przeciwnym przypadku
Literatura. Sztuczne sieci neuronowe. Przepływ informacji w systemie nerwowym. Budowa i działanie mózgu
Literatura Wykład : Wprowadzenie do sztucznych sieci neuronowych Małgorzata Krętowska Wydział Informatyki Politechnika Białostocka Tadeusiewicz R: Sieci neuronowe, Akademicka Oficyna Wydawnicza RM, Warszawa
Temat: Sieci neuronowe oraz technologia CUDA
Elbląg, 27.03.2010 Temat: Sieci neuronowe oraz technologia CUDA Przygotował: Mateusz Górny VIII semestr ASiSK Wstęp Sieci neuronowe są to specyficzne struktury danych odzwierciedlające sieć neuronów w
Temat: Sztuczne Sieci Neuronowe. Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE
Temat: Sztuczne Sieci Neuronowe Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE Dr inż. Barbara Mrzygłód KISiM, WIMiIP, AGH mrzyglod@ agh.edu.pl 1 Wprowadzenie Sztuczne sieci neuronowe
Wstęp do sieci neuronowych, wykład 9 Sieci rekurencyjne. Autoasocjator Hopfielda
Wstęp do sieci neuronowych, wykład 9. M. Czoków, J. Piersa 2010-12-07 1 Sieci skierowane 2 Modele sieci rekurencyjnej Energia sieci 3 Sieci skierowane Sieci skierowane Sieci skierowane graf połączeń synaptycznych
Wstęp do sztucznych sieci neuronowych
Wstęp do sztucznych sieci neuronowych Michał Garbowski Zachodniopomorski Uniwersytet Technologiczny w Szczecinie Wydział Informatyki 15 grudnia 2011 Plan wykładu I 1 Wprowadzenie Inspiracja biologiczna
wiedzy Sieci neuronowe
Metody detekcji uszkodzeń oparte na wiedzy Sieci neuronowe Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 7 Wprowadzenie Okres kształtowania się teorii sztucznych sieci
Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym
Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym Jan Karwowski Wydział Matematyki i Nauk Informacyjnych PW 17 XII 2013 Jan Karwowski
Systemy agentowe. Sieci neuronowe. Jędrzej Potoniec
Systemy agentowe Sieci neuronowe Jędrzej Potoniec Złe wieści o teście To jest slajd, przy którym wygłaszam złe wieści. Perceptron (Rossenblat, 1957) A. Géron, Hands-On Machine Learning with Scikit-Learn
Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta
Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta www.michalbereta.pl Sieci radialne zawsze posiadają jedną warstwę ukrytą, która składa się z neuronów radialnych. Warstwa wyjściowa składa
Sieci neuronowe jako sposób na optymalizacje podejmowanych decyzji. Tomasz Karczyoski Wydział W-08 IZ
optymalizacje podejmowanych decyzji Tomasz Karczyoski Wydział W-08 IZ Czym są sieci neuronowe Struktura matematycznych oraz programowy lub sprzętowy model, realizujących obliczenia lub przetwarzanie sygnałów
Podstawy sztucznej inteligencji
wykład 5 Sztuczne sieci neuronowe (SSN) 8 grudnia 2011 Plan wykładu 1 Biologiczne wzorce sztucznej sieci neuronowej 2 3 4 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką,
Sztuczne sieci neuronowe
Wydział Zarządzania AGH Katedra Informatyki Stosowanej Sztuczne sieci neuronowe Sztuczne sieci neuronowe Wprowadzenie Trochę historii Podstawy działania Funkcja aktywacji Typy sieci 2 Wprowadzenie Zainteresowanie
Prognozowanie kierunku ruchu indeksów giełdowych na podstawie danych historycznych.
Metody Sztucznej Inteligencji 2 Projekt Prognozowanie kierunku ruchu indeksów giełdowych na podstawie danych historycznych. Autorzy: Robert Wojciechowski Michał Denkiewicz Mateusz Gągol Wstęp Celem projektu
Sieć przesyłająca żetony CP (counter propagation)
Sieci neuropodobne IX, specyficzne architektury 1 Sieć przesyłająca żetony CP (counter propagation) warstwa Kohonena: wektory wejściowe są unormowane jednostki mają unormowane wektory wag jednostki są
MODELOWANIE RZECZYWISTOŚCI
MODELOWANIE RZECZYWISTOŚCI Daniel Wójcik Instytut Biologii Doświadczalnej PAN Szkoła Wyższa Psychologii Społecznej d.wojcik@nencki.gov.pl dwojcik@swps.edu.pl tel. 022 5892 424 http://www.neuroinf.pl/members/danek/swps/
Inteligentne systemy przeciw atakom sieciowym
Inteligentne systemy przeciw atakom sieciowym wykład Sztuczne sieci neuronowe (SSN) Joanna Kołodziejczyk 2016 Joanna Kołodziejczyk Inteligentne systemy przeciw atakom sieciowym 2016 1 / 36 Biologiczne
Sztuczne siei neuronowe - wprowadzenie
Metody Sztucznej Inteligencji w Sterowaniu Ćwiczenie 2 Sztuczne siei neuronowe - wprowadzenie Przygotował: mgr inż. Marcin Pelic Instytut Technologii Mechanicznej Politechnika Poznańska Poznań, 2 Wstęp
METODY INTELIGENCJI OBLICZENIOWEJ wykład 5
METODY INTELIGENCJI OBLICZENIOWEJ wykład 5 1 2 SZTUCZNE SIECI NEURONOWE cd 3 UCZENIE PERCEPTRONU: Pojedynczy neuron (lub 1 warstwa neuronów) typu percep- tronowego jest w stanie rozdzielić przestrzeń obsza-
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-10-10 Projekt pn. Wzmocnienie
wiedzy Sieci neuronowe (c.d.)
Metody detekci uszkodzeń oparte na wiedzy Sieci neuronowe (c.d.) Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 8 Metody detekci uszkodzeń oparte na wiedzy Wprowadzenie
Uczenie Wielowarstwowych Sieci Neuronów o
Plan uczenie neuronu o ci gªej funkcji aktywacji uczenie jednowarstwowej sieci neuronów o ci gªej funkcji aktywacji uczenie sieci wielowarstwowej - metoda propagacji wstecznej neuronu o ci gªej funkcji
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa, Andrzej Rutkowski Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-10-15 Projekt
METODY INŻYNIERII WIEDZY
METODY INŻYNIERII WIEDZY SZTUCZNE SIECI NEURONOWE MLP Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej Katedra Automatyki i Inżynierii
Uczenie sieci typu MLP
Uczenie sieci typu MLP Przypomnienie budowa sieci typu MLP Przypomnienie budowy neuronu Neuron ze skokową funkcją aktywacji jest zły!!! Powszechnie stosuje -> modele z sigmoidalną funkcją aktywacji - współczynnik
BIOCYBERNETYKA SIECI NEURONOWE. Akademia Górniczo-Hutnicza. Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej.
Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej BIOCYBERNETYKA Adrian Horzyk SIECI NEURONOWE www.agh.edu.pl Mózg inspiruje nas od wieków Co takiego
Najprostsze modele sieci z rekurencją. sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga;
Sieci Hopfielda Najprostsze modele sieci z rekurencją sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga; Modele bardziej złoŝone: RTRN (Real Time Recurrent Network), przetwarzająca sygnały w czasie
Wstęp do sieci neuronowych, wykład 10 Sieci rekurencyjne. Autoasocjator Hopfielda
Wstęp do sieci neuronowych, wykład 10. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-12-13 1 Modele sieci rekurencyjnej Energia sieci 2 3 Modele sieci
Wprowadzenie do Sieci Neuronowych Laboratorium 06 Algorytm wstecznej propagacji błędu
Wprowadzenie do Sieci Neuronowych Laboratorium 6 Algorytm wstecznej propagacji błędu Maja Czoków, Jarosław Piersa 3--6 Powtórzenie. Perceptron sigmoidalny Funkcja sigmoidalna: σ(x) = + exp( c (x p)) ()
Uczenie sieci radialnych (RBF)
Uczenie sieci radialnych (RBF) Budowa sieci radialnej Lokalne odwzorowanie przestrzeni wokół neuronu MLP RBF Budowa sieci radialnych Zawsze jedna warstwa ukryta Budowa neuronu Neuron radialny powinien
SZTUCZNE SIECI NEURONOWE
INTELIGENTNE TECHNIKI KOMPUTEROWE wykład SZTUCZNE SIECI NEURONOWE HISTORIA SSN Walter Pitts, Warren McCulloch (94) opracowanie matematyczne pojęcia sztucznego neuronu.. Udowodnili też, iż ich wynalazek
Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe
Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Trening jednokierunkowych sieci neuronowych wykład 2. dr inż. PawełŻwan Katedra Systemów Multimedialnych Politechnika Gdańska
Obliczenia Naturalne - Sztuczne sieci neuronowe
Literatura Wprowadzenie Obliczenia Naturalne - Sztuczne sieci neuronowe Paweł Paduch Politechnika Świętokrzyska 13 marca 2014 Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 1 z 43 Plan wykładu
sieci jednowarstwowe w MATLABie LABORKA Piotr Ciskowski
sieci jednowarstwowe w ATLABie LABORKA Piotr Ciskowski trzy funkcje do obsługi sieci jednowarstwowej : init1.m - tworzy sieć, inicjuje wagi (losowo) dzialaj1.m symuluje działanie sieci (na pojedynczym
Plan wyk y ł k adu Mózg ludzki a komputer Komputer Mózg Jednostki obliczeniowe Jednostki pami Czas operacji Czas transmisji Liczba aktywacji/s
Sieci neuronowe model konekcjonistczn Plan wkładu Mózg ludzki a komputer Modele konekcjonistcze Sieć neuronowa Sieci Hopfielda Mózg ludzki a komputer Twój mózg to komórek, 3 2 kilometrów przewodów i (biliard)
Wstęp do sieci neuronowych, wykład 10 Sieci rekurencyjne. Autoasocjator Hopfielda
Wstęp do sieci neuronowych, wykład 10. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-12-19 Projekt pn. Wzmocnienie potencjału dydaktycznego UMK w Toruniu
Sztuczna inteligencja
Sztuczna inteligencja Wykład 7. Architektury sztucznych sieci neuronowych. Metody uczenia sieci. źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Podstawowe architektury
1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN. Agenda
Sieci neuropodobne 1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN Agenda Trochę neurobiologii System nerwowy w organizmach żywych tworzą trzy
Inteligentne systemy informacyjne
Inteligentne systemy informacyjne Moduł 10 Mieczysław Muraszkiewicz www.icie.com.pl/lect_pw.htm M. Muraszkiewicz strona 1 Sieci neuronowe szkic Moduł 10 M. Muraszkiewicz strona 2 Dwa nurty M. Muraszkiewicz
Podstawy Sztucznej Inteligencji
Politechnika Łódzka Katedra Informatyki Stosowanej Podstawy Sztucznej Inteligencji Laboratorium Ćwiczenie 2 Wykorzystanie środowiska Matlab do modelowania sztucznych sieci neuronowych Opracowali: Dr hab
METODY INTELIGENCJI OBLICZENIOWEJ wykład 4
METODY INTELIGENCJI OBLICZENIOWEJ wykład 4 1 2 SZTUCZNE SIECI NEURONOWE HISTORIA SSN 3 Walter Pitts, Warren McCulloch (1943) opracowanie matematyczne pojęcia sztucznego neuronu.. Udowodnili też, iż ich
SZTUCZNE SIECI NEURONOWE
METODY INTELIGENCJI OBLICZENIOWEJ wykład 4 SZTUCZNE SIECI NEURONOWE HISTORIA SSN Walter Pitts, Warren McCulloch (94) opracowanie matematyczne pojęcia sztucznego neuronu.. Udowodnili też, iż ich wynalazek
Sztuczne sieci neuronowe. Uczenie, zastosowania
Wydział Zarządzania AGH Katedra Informatyki Stosowanej Sztuczne sieci neuronowe. Uczenie, zastosowania Inteligencja Sztuczne sieci neuronowe Metody uczenia Budowa modelu Algorytm wstecznej propagacji błędu
OCENA DZIAŁANIA AE. METODY HEURYSTYCZNE wykład 4 LOSOWOŚĆ W AE KRZYWE ZBIEŻNOŚCI ANALIZA STATYSTYCZNA:
METODY HEURYSTYCZNE wykład 4 OCENA DZIAŁANIA AE 1 2 LOSOWOŚĆ W AE Różne zachowanie algorytmuw poszczególnych uruchomieniach przy jednakowych ustawieniach parametrów i identycznych populacjach początkowych.
Podstawy sztucznej inteligencji
wykład 6 Sztuczne sieci neuronowe (SSN) 04 stycznia 2012 Plan wykładu 1 Uczenie sieci neuronowej wielowarstwowej 2 3 Uczenie nadzorowanie sieci wielowarstwowej Wagi Inteligencja sztucznej sieci neuronowe
Wstęp do sieci neuronowych, wykład 9 Sieci rekurencyjne. Autoasocjator Hopfielda
Wstęp do sieci neuronowych, wykład 9. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-12-10 Projekt pn. Wzmocnienie potencjału dydaktycznego UMK w Toruniu
Wstęp do sieci neuronowych, wykład 07 Uczenie nienadzorowane cd.
Wstęp do sieci neuronowych, wykład 07 Uczenie nienadzorowane cd. M. Czoków, J. Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika w Toruniu 2013-11-26 Projekt pn. Wzmocnienie potencjału
SZTUCZNA INTELIGENCJA
SZTUCZNA INTELIGENCJA WYKŁAD 8. SZTUCZNE SIECI NEURONOWE INNE ARCHITEKTURY Częstochowa 24 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska SIEĆ O RADIALNYCH FUNKCJACH BAZOWYCH
Wprowadzenie do Sieci Neuronowych Laboratorium 04 Algorytmy konstrukcyjne dla sieci skierowanych
Projekt pn. Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych realizowany w ramach Poddziałania 4.1.1 Programu Operacyjnego Kapitał Ludzki Wprowadzenie do Sieci
Deep Learning na przykładzie Deep Belief Networks
Deep Learning na przykładzie Deep Belief Networks Jan Karwowski Zakład Sztucznej Inteligencji i Metod Obliczeniowych Wydział Matematyki i Nauk Informacyjnych PW 20 V 2014 Jan Karwowski (MiNI) Deep Learning
I EKSPLORACJA DANYCH
I EKSPLORACJA DANYCH Zadania eksploracji danych: przewidywanie Przewidywanie jest podobne do klasyfikacji i szacowania, z wyjątkiem faktu, że w przewidywaniu wynik dotyczy przyszłości. Typowe zadania przewidywania
MATLAB Neural Network Toolbox przegląd
MATLAB Neural Network Toolbox przegląd WYKŁAD Piotr Ciskowski Neural Network Toolbox: Neural Network Toolbox - zastosowania: przykłady zastosowań sieci neuronowych: The 1988 DARPA Neural Network Study
ELEMENTY SZTUCZNEJ INTELIGENCJI. Sztuczne sieci neuronowe
ELEMENTY SZTUCZNEJ INTELIGENCJI Sztuczne sieci neuronowe Plan 2 Wzorce biologiczne. Idea SSN - model sztucznego neuronu. Perceptron prosty i jego uczenie regułą delta Perceptron wielowarstwowy i jego uczenie
Algorytmy sztucznej inteligencji
Algorytmy sztucznej inteligencji Dynamiczne sieci neuronowe 1 Zapis macierzowy sieci neuronowych Poniżej omówione zostaną części składowe sieci neuronowych i metoda ich zapisu za pomocą macierzy. Obliczenia
Wstęp do sieci neuronowych laboratorium 01 Organizacja zajęć. Perceptron prosty
Wstęp do sieci neuronowych laboratorium 01 Organizacja zajęć. Perceptron prosty Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-10-03 Projekt pn. Wzmocnienie potencjału
Oprogramowanie Systemów Obrazowania SIECI NEURONOWE
SIECI NEURONOWE Przedmiotem laboratorium jest stworzenie algorytmu rozpoznawania zwierząt z zastosowaniem sieci neuronowych w oparciu o 5 kryteriów: ile zwierzę ma nóg, czy żyje w wodzie, czy umie latać,
Wstęp do sieci neuronowych, wykład 12 Wykorzystanie sieci rekurencyjnych w optymalizacji grafowej
Wstęp do sieci neuronowych, wykład 12 Wykorzystanie sieci rekurencyjnych w optymalizacji grafowej Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2013-01-09
Algorytmy wstecznej propagacji sieci neuronowych
Algorytmy wstecznej propagacji sieci neuronowych Mateusz Nowicki, Krzysztof Jabłoński 1 Wydział Inżynierii Mechanicznej i Informatyki Politechnika Częstochowska Kierunek Informatyka, Rok III 1 krzysztof.jablonski@hotmail.com
Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa
Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa M. Czoków, J. Piersa 2012-01-10 1 Łańcucha Markowa 2 Istnienie Szukanie stanu stacjonarnego 3 1 Łańcucha Markowa 2 Istnienie Szukanie stanu stacjonarnego
Zastosowania sieci neuronowych - automatyka identyfikacja sterowanie
Zastosowania sieci neuronowych - automatyka identyfikacja sterowanie LABORKA Piotr Ciskowski ZASTOSOWANIA SIECI NEURONOWYCH IDENTYFIKACJA zastosowania przegląd zastosowania sieci neuronowych: o identyfikacja
Elementy kognitywistyki III: Modele i architektury poznawcze
Elementy kognitywistyki III: Modele i architektury poznawcze Wykład VII: Modelowanie uczenia się w sieciach neuronowych Uczenie się sieci i trening nienaruszona struktura sieci (z pewnym ale ) nienaruszone
Wprowadzenie do sieci neuronowych i zagadnień deep learning
Wprowadzenie do sieci neuronowych i zagadnień deep learning Inteligentne Obliczenia Wydział Mechatroniki Politechniki Warszawskiej Anna Sztyber INO (IAiR PW) Deep learning Anna Sztyber 1 / 28 Deep learning
WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO. Stanisław Kowalik (Poland, Gliwice)
WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO Stanisław Kowalik (Poland, Gliwice) 1. Wprowadzenie Wstrząsy podziemne i tąpania występujące w kopalniach
Elementy kognitywistyki II: Sztuczna inteligencja. WYKŁAD XI: Sztuczne sieci neuronowe
Elementy kognitywistyki II: Sztuczna inteligencja WYKŁAD XI: Sztuczne sieci neuronowe [pattern associator], PA struktura: Sieci kojarzące wzorce programowanie: wyjście jednostki = aktywacji sieciowej (N)
Zastosowania sieci neuronowych
Zastosowania sieci neuronowych klasyfikacja LABORKA Piotr Ciskowski zadanie 1. klasyfikacja zwierząt sieć jednowarstwowa żródło: Tadeusiewicz. Odkrywanie własności sieci neuronowych, str. 159 Przykład
Emergentne właściwości. sztucznych sieci neuronowych
Barbara Pankiewicz nauczyciel fizyki III Liceum Ogólnokształcące w Zamościu ul. Kilińskiego 15 22-400 Zamość Emergentne właściwości sztucznych sieci neuronowych Opracowała: Barbara Pankiewicz Zamość, 2001
Rozdział 1 Sztuczne sieci neuronowe. Materiały do zajęć dydaktycznych - na podstawie dokumentacji programu Matlab opracował Dariusz Grzesiak
2 Rozdział 1 Sztuczne sieci neuronowe. 3 Sztuczna sieć neuronowa jest zbiorem prostych elementów pracujących równolegle, których zasada działania inspirowana jest biologicznym systemem nerwowym. Sztuczną
Sieci Neuronowe - Rok III - kierunek IS w IFAiIS UJ 2008/2009. Sieci Neuronowe. Wykład 8 Sieci rezonansowe
Sieci Neuronowe Wykład 8 Sieci rezonansowe wykład przygotowany na podstawie. R. Tadeusiewicz, Sieci Neuronowe, Rozdz. 6. Akademicka Oficyna Wydawnicza RM, Warszawa 1993. Wprowadzenie Sieci wielowarstwowe
SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe
SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe JOANNA GRABSKA-CHRZĄSTOWSKA Wykłady w dużej mierze przygotowane w oparciu o materiały i pomysły PROF. RYSZARDA TADEUSIEWICZA BUDOWA RZECZYWISTEGO NEURONU
Sieci neuronowe i ich ciekawe zastosowania. Autor: Wojciech Jamrozy III rok SMP / Informatyka
Sieci neuronowe i ich ciekawe zastosowania Autor: Wojciech Jamrozy III rok SMP / Informatyka Klasyczna algorytmika Sortowanie ciągu liczb Czy i ile razy dane słowo wystąpiło w tekście Najkrótsza droga
WYKŁAD 4 PLAN WYKŁADU. Sieci neuronowe: Algorytmy uczenia & Dalsze zastosowania. Metody uczenia sieci: Zastosowania
WYKŁAD 4 Sieci neuronowe: Algorytmy uczenia & Dalsze zastosowania PLAN WYKŁADU Metody uczenia sieci: Uczenie perceptronu Propagacja wsteczna Zastosowania Sterowanie (powtórzenie) Kompresja obrazu Rozpoznawanie
ESI: Perceptrony proste i liniowe
ESI: Perceptrony proste i liniowe [Matlab 1.1] Matlab2015b i nowsze 1 kwietnia 2019 1. Cel ćwiczeń: Celem ćwiczeń jest zapoznanie się studentów z podstawami zagadnieniami z zakresu sztucznych sieci neuronowych.
PROGNOZOWANIE OSIADAŃ POWIERZCHNI TERENU PRZY UŻYCIU SIECI NEURONOWYCH**
Górnictwo i Geoinżynieria Rok 31 Zeszyt 3 2007 Dorota Pawluś* PROGNOZOWANIE OSIADAŃ POWIERZCHNI TERENU PRZY UŻYCIU SIECI NEURONOWYCH** 1. Wstęp Eksploatacja górnicza złóż ma niekorzystny wpływ na powierzchnię
Sztuczne sieci neuronowe
Wydział Zarządzania AGH Katedra Informatyki Stosowanej Systemy wspomagania decyzji Wprowadzenie Trochę historii Podstawy działania Funkcja aktywacji Uczenie sieci Typy sieci Zastosowania 2 Wprowadzenie
Elementy Sztucznej Inteligencji. Sztuczne sieci neuronowe cz. 2
Elementy Sztucznej Inteligencji Sztuczne sieci neuronowe cz. 2 1 Plan wykładu Uczenie bez nauczyciela (nienadzorowane). Sieci Kohonena (konkurencyjna) Sieć ze sprzężeniem zwrotnym Hopfielda. 2 Cechy uczenia
Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.
Wstęp do sieci neuronowych, wykład 3 Warstwy, jednostka Adaline. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 211-1-18 1 Pomysł Przykłady Zastosowanie 2
Widzenie komputerowe
Widzenie komputerowe Uczenie maszynowe na przykładzie sieci neuronowych (3) źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Zdolność uogólniania sieci neuronowej R oznaczenie
Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe.
Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. zajecia.jakubw.pl/nai Literatura: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym. WNT, Warszawa 997. PODSTAWOWE ZAGADNIENIA TECHNICZNE AI
Dariusz Brzeziński Instytut Informatyki, Politechnika Poznańska
Dariusz Brzeziński Instytut Informatyki, Politechnika Poznańska Podstawowe architektury sieci neuronowych Generowanie sztucznych danych Jak się nie przemęczyć Korzystanie z istniejących wag Zamrażanie
8. Neuron z ciągłą funkcją aktywacji.
8. Neuron z ciągłą funkcją aktywacji. W tym ćwiczeniu zapoznamy się z modelem sztucznego neuronu oraz przykładem jego wykorzystania do rozwiązywanie prostego zadania klasyfikacji. Neuron biologiczny i