Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Transkrypt

1 Wstęp do sieci neuronowych, wykład 2 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika Projekt pn. Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych realizowany w ramach Poddziałania Programu Operacyjnego Kapitał Ludzki

2 Uwaga poniższe slajdy są eksperymentem zawierają wyłącznie ilustracje i tabele, których sens przepisywania na tablicę jest wątpliwy są niemal całkowicie pozbawione treści pisanej (w tym wzorów!)

3 1 Perceptron dokończenie 2 Przykład 3 Model maszyny liniowej Konstrukcja Kesslera

4 1 Perceptron dokończenie 2 Przykład 3 Model maszyny liniowej Konstrukcja Kesslera

5 W przypadku 1d brzeg rozdzielający jest punktem dzielącym prostą

6 W przypadku 2d brzeg rozdzielający jest prostą dzielącą płaszczyznę

7 W przypadku 3d jest to płaszczyzna rozdzielająca przestrzeń

8 uczenia click

9 uczenia Dlaczego nie należy korzystać z podstawowej wersji algorytmu? click

10 NOT Perceptron dokończenie NOT Jedno wejście p, p NOT (p) 1 1 Problem jest rozwiązywalny przez pojedynczy perceptron.

11 y AND Perceptron dokończenie AND 1.5 p q AND(p, q) Dwa wejścia p, q, Problem liniowo separowalny x np. w 1 = w 2 = +1, w = 1.5

12 y OR Perceptron dokończenie OR 1.5 p q OR(p, q) Dwa wejścia p, q, Problem liniowo separowalny x np. w 1 = w 2 = +1, w =.5

13 Projekcja Perceptron dokończenie P i (x 1,..., x n ) = +1 x i = +1 Dwa wejścia p, q, p 1...p i 1 p i p i+1 p n P i (p 1, p 2,..., p n ) 1 1 Problem liniowo separowalny.

14 Uogólniony AND Perceptron dokończenie AND n wejść p 1, p 2,..., p n, p 1 p 2... p n AND(p 1, p 2,..., p n ) Problem liniowo separowalny.

15 Uogólniony OR Perceptron dokończenie OR n wejść p 1, p 2,..., p n, Problem liniowo separowalny. p 1 p 2... p n OR(p 1, p 2,..., p n )

16 y XOR Perceptron dokończenie XOR p q XOR(p, q) Dwa wejścia p, q, Problem nie jest liniowo separowalny x

17 NXOR / IFF Perceptron dokończenie NOT XOR / IF and only IF Dwa wejścia p, q, p q IFF (p, q) Problem nie jest liniowo separowalny.

18 NAND i NOR Perceptron dokończenie NAND (NOT AND) oraz NOR (NOT AND) Negacja koniunkcji i alternatywy, Po dwa wejścia p, q, Oba problemy okazują się separowalne liniowo, Zadanie: wskazać wagi perceptronów rozwiązujących problemy.

19 Separowalne liniowo funkcje logiczne Wszystkich funkcji logicznych o n zmiennych jest 2 2n, Ilość funkcji separowalnych liniowo rośnie wielomianowo, Dla małych wymiarów n 2 2n il. funkcji sep Tabela za R. Rojas A systematic introduction to neural networks

20 Przykład 1 Perceptron dokończenie 2 Przykład 3 Model maszyny liniowej Konstrukcja Kesslera

21 Przykład Przykład 1 przykład x = (+1, , +1), wagi dodatnie w 1 > w 2 > w 3 > w 4 >, odpowiedź O( x) = +1.

22 Przykład 1/3 Perceptron dokończenie Przykład Ponieważ...

23 Przykład 2/3 Perceptron dokończenie Przykład Ponieważ spełnia w 1...

24 Przykład 3/3 Perceptron dokończenie Przykład Ponieważ spełnia w 1 i spełnia w 2.

25 Przykład Przykład 2 przykład x = (+1, +1, 1, +1), niektóre wagi są ujemne w 2 < w 3 < < w 4 < w 1, odpowiedź O( x) = +1, x 2 w 2 nie wspiera odpowiedzi, x 3 w 3 wspiera odpowiedź (wada ujemna, ale cecha nie występuje).

26 Przykład 1/4 Perceptron dokończenie Przykład Ponieważ...

27 Przykład 2/4 Perceptron dokończenie Przykład Ponieważ spełnia w 1...

28 Przykład 3/4 Perceptron dokończenie Przykład Ponieważ spełnia w 1, nie spełnia w 3...

29 Przykład 4/4 Perceptron dokończenie Przykład Ponieważ spełnia w 1, nie spełnia w 3 i spełnia w 4.

30 Model maszyny liniowej Konstrukcja Kesslera 1 Perceptron dokończenie 2 Przykład 3 Model maszyny liniowej Konstrukcja Kesslera

31 Maszyna Liniowa Perceptron dokończenie Model maszyny liniowej Konstrukcja Kesslera out

32 Rozpoznawanie znaków Model maszyny liniowej Konstrukcja Kesslera MAX A

33 y Perceptron dokończenie Model maszyny liniowej Konstrukcja Kesslera z y -5-5 x x -1-1

34 Model maszyny liniowej Konstrukcja Kesslera Bez biasu / progu. Z biasem w / progiem θ y y

35 Model maszyny liniowej Konstrukcja Kesslera Etap startowy Etap końcowy w1 = [-.63,.47,.74] w2 = [-2.49, 2.26, -2.35] w3 = [2.64, -.89, 1.46] w4 = [.13, -2.71, 1.8] w1 = [.12, 1.5, -.48] w2 = [-2.29, -.56, -2.57] w3 = [1.14, -1.1, 1.79] w4 = [.68, -.71, 2.18] z 2 15 ERR = 33 z 2 15 ERR = x y x y

36 Model maszyny liniowej Konstrukcja Kesslera click

37 Konstrukcja Kesslera Model maszyny liniowej Konstrukcja Kesslera Maszyna liniowa: out

38 Konstrukcja Kesslera Model maszyny liniowej Konstrukcja Kesslera Odpowiadający perceptron: out