Wstęp do sieci neuronowych, wykład 2 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 213-1-15 Projekt pn. Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych realizowany w ramach Poddziałania 4.1.1 Programu Operacyjnego Kapitał Ludzki
Uwaga poniższe slajdy są eksperymentem zawierają wyłącznie ilustracje i tabele, których sens przepisywania na tablicę jest wątpliwy są niemal całkowicie pozbawione treści pisanej (w tym wzorów!)
1 Perceptron dokończenie 2 Przykład 3 Model maszyny liniowej Konstrukcja Kesslera
1 Perceptron dokończenie 2 Przykład 3 Model maszyny liniowej Konstrukcja Kesslera
W przypadku 1d brzeg rozdzielający jest punktem dzielącym prostą. 3 2 1-1 -2-3 -3-2 -1 1 2 3
W przypadku 2d brzeg rozdzielający jest prostą dzielącą płaszczyznę. 6 4 2-2 -4-6 -6-4 -2 2 4 6
W przypadku 3d jest to płaszczyzna rozdzielająca przestrzeń. 15 1 5-5 -6-1 1 5-2 -4 2-5 4-16
uczenia click
uczenia Dlaczego nie należy korzystać z podstawowej wersji algorytmu? click
NOT Perceptron dokończenie NOT Jedno wejście p, p NOT (p) 1 1 Problem jest rozwiązywalny przez pojedynczy perceptron.
y AND Perceptron dokończenie AND 1.5 p q AND(p, q) 1 1 1 1 1 Dwa wejścia p, q, Problem liniowo separowalny. 1.5 -.5 -.5.5 1 1.5 x np. w 1 = w 2 = +1, w = 1.5
y OR Perceptron dokończenie OR 1.5 p q OR(p, q) 1 1 1 1 1 1 1 Dwa wejścia p, q, Problem liniowo separowalny. 1.5 -.5 -.5.5 1 1.5 x np. w 1 = w 2 = +1, w =.5
Projekcja Perceptron dokończenie P i (x 1,..., x n ) = +1 x i = +1 Dwa wejścia p, q, p 1...p i 1 p i p i+1 p n P i (p 1, p 2,..., p n ) 1 1 Problem liniowo separowalny.
Uogólniony AND Perceptron dokończenie AND n wejść p 1, p 2,..., p n, p 1 p 2... p n AND(p 1, p 2,..., p n )... 1...... 1 1... 1 1... 1 1 Problem liniowo separowalny.
Uogólniony OR Perceptron dokończenie OR n wejść p 1, p 2,..., p n, Problem liniowo separowalny. p 1 p 2... p n OR(p 1, p 2,..., p n )... 1... 1... 1 1... 1 1 1... 1 1
y XOR Perceptron dokończenie XOR p q XOR(p, q) 1 1 1 1 1 1 1.5 1.5 Dwa wejścia p, q, Problem nie jest liniowo separowalny. -.5 -.5.5 1 1.5 x
NXOR / IFF Perceptron dokończenie NOT XOR / IF and only IF Dwa wejścia p, q, p q IFF (p, q) 1 1 1 1 1 1 Problem nie jest liniowo separowalny.
NAND i NOR Perceptron dokończenie NAND (NOT AND) oraz NOR (NOT AND) Negacja koniunkcji i alternatywy, Po dwa wejścia p, q, Oba problemy okazują się separowalne liniowo, Zadanie: wskazać wagi perceptronów rozwiązujących problemy.
Separowalne liniowo funkcje logiczne Wszystkich funkcji logicznych o n zmiennych jest 2 2n, Ilość funkcji separowalnych liniowo rośnie wielomianowo, Dla małych wymiarów n 2 2n il. funkcji sep. 1 4 4 2 16 14 3 256 14 4 65536 1882 Tabela za R. Rojas A systematic introduction to neural networks
Przykład 1 Perceptron dokończenie 2 Przykład 3 Model maszyny liniowej Konstrukcja Kesslera
Przykład Przykład 1 przykład x = (+1, +1 + 1, +1), wagi dodatnie w 1 > w 2 > w 3 > w 4 >, odpowiedź O( x) = +1.
Przykład 1/3 Perceptron dokończenie Przykład Ponieważ...
Przykład 2/3 Perceptron dokończenie Przykład Ponieważ spełnia w 1...
Przykład 3/3 Perceptron dokończenie Przykład Ponieważ spełnia w 1 i spełnia w 2.
Przykład Przykład 2 przykład x = (+1, +1, 1, +1), niektóre wagi są ujemne w 2 < w 3 < < w 4 < w 1, odpowiedź O( x) = +1, x 2 w 2 nie wspiera odpowiedzi, x 3 w 3 wspiera odpowiedź (wada ujemna, ale cecha nie występuje).
Przykład 1/4 Perceptron dokończenie Przykład Ponieważ...
Przykład 2/4 Perceptron dokończenie Przykład Ponieważ spełnia w 1...
Przykład 3/4 Perceptron dokończenie Przykład Ponieważ spełnia w 1, nie spełnia w 3...
Przykład 4/4 Perceptron dokończenie Przykład Ponieważ spełnia w 1, nie spełnia w 3 i spełnia w 4.
Model maszyny liniowej Konstrukcja Kesslera 1 Perceptron dokończenie 2 Przykład 3 Model maszyny liniowej Konstrukcja Kesslera
Maszyna Liniowa Perceptron dokończenie Model maszyny liniowej Konstrukcja Kesslera out
Rozpoznawanie znaków Model maszyny liniowej Konstrukcja Kesslera 1 2 3 4 MAX A
y Perceptron dokończenie Model maszyny liniowej Konstrukcja Kesslera 1 1 5 5 z -5-5 -1 1 5 1 y -5-5 x 5-1 -1-5 5 1 x -1-1
Model maszyny liniowej Konstrukcja Kesslera Bez biasu / progu. Z biasem w / progiem θ. 1 1 5 5-5 -5-1 -1-5 5 1 y -1-1 -5 5 1 y
Model maszyny liniowej Konstrukcja Kesslera Etap startowy Etap końcowy w1 = [-.63,.47,.74] w2 = [-2.49, 2.26, -2.35] w3 = [2.64, -.89, 1.46] w4 = [.13, -2.71, 1.8] w1 = [.12, 1.5, -.48] w2 = [-2.29, -.56, -2.57] w3 = [1.14, -1.1, 1.79] w4 = [.68, -.71, 2.18] z 2 15 ERR = 33 z 2 15 ERR = 1 1 5 5-5 4-5 4-1 -4-3 2 3-1 -4-3 2 3-2 1-2 1-1 -1 x 1 2 3-3 -2-1 y x 1 2 3-3 -2-1 y 4-4 4-4
Model maszyny liniowej Konstrukcja Kesslera click
Konstrukcja Kesslera Model maszyny liniowej Konstrukcja Kesslera Maszyna liniowa: out
Konstrukcja Kesslera Model maszyny liniowej Konstrukcja Kesslera Odpowiadający perceptron: out