Wst p do sieci neuronowych, wykªad 14 Zespolone sieci neuronowe

Wielkość: px

Rozpocząć pokaz od strony:

Download "Wst p do sieci neuronowych, wykªad 14 Zespolone sieci neuronowe"

Wacława Łuczak
5 lat temu
Przeglądów:

1 Wst p do sieci neuronowych, wykªad 14 Zespolone sieci neuronowe M. Czoków, J. Piersa Faculty of Mathematics and Computer Science, Nicolaus Copernicus University, Toru«, Poland

2 Motywacja Liczby zespolone - powtórzenie Idea Funkcjonalno± klasycznego neuronu (pracuj cego na liczbach rzeczywistych) jest do± ograniczona. Okazuje si,»e wiele ogranicze«neuronu mo»e by wyeliminowanych, je±li neuron zamiast na liczbach rzeczywistych b dzie pracowª na liczbach zespolonych. Zespolone neurony maja wi ksze mo»liwo±ci i lepiej si ucz ni» klasyczne neurony.

3 Motywacja Liczby zespolone - powtórzenie Ograniczenia klasycznego perceptronu Rozwa»my perceptron z binarnym wej±ciem i binarnym wyj±ciem funkcje Boolowskie separowalne za pomoc funkcji liniowej mog by odwzorowane przez klasyczny perceptron funkcje Boolowskie nieseparowalne za pomoc funkcji liniowej nie mog by odwzorowane przez klasyczny perceptron liczba funkcji Boolowskich separowalnych liniowo jest bardzo maªa w porównaniu do wszystkich funkcji dla n = spo±ród 256 dla n = 4 okoªo 2000 spo±ród funkcje nieseparowalne w sposób liniowy nie mog by odwzorowane za pomoc pojedynczego neuronu, musimy do tego u»y sieci neuronowej (Minsky-Papert, 1969)

4 Motywacja Liczby zespolone - powtórzenie Posta algebraiczna Liczba zespolona jest to liczba postaci: z = a + bi, gdzie a i b s pewnymi liczbami rzeczywistymi oraz i jest tzw. jednostk urojon, tj. i 2 = 1. Dla liczby z = a + bi deniuje si jej cz ± rzeczywist jako Re z = a cz ± urojon jako Im z = b

5 Motywacja Liczby zespolone - powtórzenie Pªaszczyzna zespolona Liczbom zespolonym mo»na przyporz dkowa w sposób wzajemnie jednoznaczny wektory na pªaszczy¹nie, podobnie jak uto»samia si wektory na prostej z liczbami rzeczywistymi. Wspóªrz dne s nazwane rzeczywist (Re, pozioma) i urojon (Im, pionowa). Ka»dej wi c liczbie zespolonej z = a + bi mo»na przyporz dkowa wektor z = [a, b] i odwrotnie. 0 b Im z

6 Motywacja Liczby zespolone - powtórzenie Moduª i sprz»enie Równowa»ne s stwierdzenia dªugo± wektora z i moduª ( z ) liczby z. Deniujemy je w nast puj cy sposób: z = z = a 2 + b 2. Sprz»enie liczby z = a + bi jest zdeniowane w nast puj cy sposób: z = a bi.

7 Motywacja Liczby zespolone - powtórzenie Argument Niech ϕ oznacza k t, który wektor z tworzy z prost Re, oznaczmy go przez argz. Jest to tak zwany argument. Zatem sin ϕ = b z i cos ϕ = a z. Liczba zespolona ró»na od zera ma niesko«czenie wiele argumentów. Argument liczby z speªniaj cy nierówno± 0 argz < 2π oznacza si przez Argz i nazywa si go argumentem gªównym. Im 0 z co

8 Motywacja Liczby zespolone - powtórzenie Posta trygonometryczna Liczba zespolona mo»e by wyra»ona w nastepuj cy sposób: z = a + bi = z (cos ϕ + i sin ϕ) Poza tym zachodzi: z k = z k (cos ϕ + i sin ϕ) k = z k (cos kϕ + i sin kϕ)

9 Motywacja Liczby zespolone - powtórzenie Wzór Eulera z k z = z e i ϕ = z (cos ϕ + i sin ϕ) = z k e i kϕ = z k (cos kϕ + i sin kϕ) Powy»szy wzór jest prawdziwy równie» dla liczb wymiernych. Ka»da liczba zespolona z 0 posiada k ró»nych pierwiastków k-tego stopnia. z j = k z e i ϕ+2jπ k dla j = {0, 1,..., k 1}. = k z (cos ϕ + 2jπ k + i sin ϕ + 2jπ ), k

10 Logika wielowarto±ciowa Tradycyjny rachunek zda«jest dwuwarto±ciowy s w nim mo»liwe tylko dwie warto±ci logiczne prawda albo faªsz. Jednak»e klasyczna dwuwarto±ciowo± jest tylko jedn z mo»liwo±ci zakresu warto±ci logicznych. Istniej logiki, w których wyst puj wi cej ni» dwie warto±ci. Warto±ci wielowarto±ciowej logiki (k-warto±ciowej) s tradycyjnie kodowane za pomoc liczb caªkowitych {0, 1,..., k 1}.

11 Wielowarto±ciowa logika nad ciaªem liczb zespolonych Deniujemy bijekcj dziaªajac ze zbiory warto±ci logiki j {0, 1,..., k 1} do zbioru warto±ci poªo»onych na okr gu jednostkowym na pªaszczy¹nie zespolonej. Zatem: Im j ε j = exp(i2πj/k) ε j {ε 0, ε, ε 2,..., ε k 1 } k-te pierwiastki liczby zespolonej o module 1 s warto±ciami k-warto±ciowej logiki nad ciaªem liczb zespolonych. 0 1 k-1

12 Neuron wielowarto±ciwy (z angielskiego Multi-Valued Neuron, w skrócie MVN): jest to jednostka z n wej±ciami, jednym wyj±ciem zlokalizownaym na kole jednostkowym pªaszczyzny zespolonej i z wagami o warto±ciach zespolonych jego teoretycznym podªo»em jest logika wielowarto±ciowa (k-warto±ciowa) nad ciaªem liczb zespolonych

13 Funkcja aktywacji warto±ciowana (k-warto±ciowana) w sposów dyskretny Im 1 Funkcja aktywacji P(z) ma nast puj c posta P(z) = exp(i2πj/k) = ε j j 1 0 =1 Re dla j, dla którego 2πj/k Argz < 2π(j + 1)/k z j+1 k-1 Funkcja P(z) mapuje zespolon pªaszczyzn na zbiór k pierwisatków jedno±ci.

14 Wªasno±ci wielowarto±ciowego neuronu wagi nad ciaªem liczb zespolonych funkcja aktywacji P(z) dziaªaj ca na argumencie sumy wa»onej zespolone wej±cia wyj±cia le» ce na kole jednostkowym pªaszczyzny zespolonej wi ksza funkcjonalno± ni» w tradycyjnym neuronie prostota uczenia

15 Uczenie wielowarto±ciowego neuronu gdzie W wektor wag W (r+1) = W (r) + α (n + 1) (εq ε s ) X, X przykªad ucz cy, wektor dªugo±ci n + 1, pierwszy element wektora to bias X sprz»enie X α staªa uczenia (mo»e zawsze mie warto± 1) r numer iteracji ε q ε s po» dane wyj±cie aktualne wy±cie

16 Motywacja Wst p Je±li istnieje zestaw wag, dla którego MVN odwzorowuje funkcj k-warto±ciow, to w wyniku uczenia zostanie on znaleziony. A co je±li nie istnieje, czy nale»y u»y sieci neuronowej, by odwzorowa funkcj? Funkcj k warto±ciow mo»na odwzorowa na funkcj m-warto±ciow (m > k), dla której istnieje odpowiedni zestaw wag.

17 l-powtarzalna k-okresowa funkcja aktywacji Wprowad¹my okresow funkcj aktywacji, w której warto±ci k-warto±ciowej logiki b d powtarzane ze wspóªczynnikiem l. 1 Im Im 1 1 Re k=4, l=1 1 2

18 dla neuronu wielowarto±ciowego P=k mod k =0 P=(k+1) mod k = k k Im P=k k m-1 m-2... P=1 1 P=0 Re P=(m-1) mod k =(kl-1) mod k =k-1 P=(m-2) mod k =(kl-2) mod k =k-2 Funkcja aktywacji ma posta P(z) = j mod k, dla j dla którego zachodzi 2πj/m Argz < 2π(j + 1)/m j = 0, 1,..., m 1; m = kl, l 2

19 dla wielowarto±ciowych neuronów Funkcja aktywacji ma posta dla j dla którego zachodzi P(z) = j mod k, 2πj/m Argz < 2π(j + 1)/m j = 0, 1,..., m 1; m = kl, l 2 funkcja aktywacji jest k-okresow l-powtarzaln funkcj aktywacji okresowa funkcja aktywacji odwzorowuje k-warto±ciow logik na m-warto±ciow logik, gdzie m = kl

20 Rozwi znaie problemu XOR P=1 Im P=0 Wektora wag W = (0, 1, i) i funkcja aktywacji P s rozwi zaniem dla problemu XOR. x 1 x 2 z = w 0 P(z) XOR -1 P=0 - P=1 1 Re +w 1x 1 +w 2x i i i i 0 0

21 Okresowo± funkcji aktywacji Im P=1 P=0-1 P=0 P=1 1 Re Funkcja aktywacji P jest okresowa. Dzieli pªaszczyzn zespolon na 4 sektory i ustawia ich warto±ci jako przemienny ci g 0, 1, 0, 1. -

22 Problem parzysto±ci na trzech bitach Czy na wej±ciu mamy parzyst liczb 1? W = (0, ε, 1, 1) x 1 x 2 x 3 z = w 0 P(z) f w 1x 1 +w 2x 2 +w 3x ε ε ε ε ε ε ε ε 2 1 1

23 Problem parzysto±ci Wst p Problem parzysto±ci dla N bitów mo»e zosta rozwi zany za pomoc pojedynczego neuronu z okresow funkcj aktywacji i k = 2 dla ka»dego N. Zostaªo to udowodnione matematycznie dla wszystkich N i eksperymentalnie dla wszystkich N mniejszych od 18.

24 Algorytn uczenia Wst p gdzie ε q ε s W (r+1) = W (r) + po» dane wyj±cie aktualne wy±cie α (n + 1) (εq ε s ) X,

25 Aktualne wyj±cie Wst p Aktualnym wyj±ciem jest j-ty pierwiastek zespolony m-tego stopnia ε s = exp(i2πj/m), dla którego zachodzi 2πj/m Argz < 2π(j + 1)/m j = 0, 1,..., m 1; m = kl, l 2

26 Po» dane wyj±cie Wst p Zaªó»my»e w bie» cym kroku iteracji algorytmu uczenia, sie ma zwróci odpowied¹ q, gdzie 0 q < k 1. Istnieje l sektorów, dla których je±li z b dzie le»e w jednym z nich, to sie zwróci q. Je±li le»y w jednym z nich, to nie modykujemy wektora wag. W przeciwnym wypadku z l mo»liwych sektorów wybieramy ten, dla którego pierwiastek z nim powi zany le»y najbli»ej w sensie odlegªo±ci k towej do wektora z. Pierwiastek tego sektora stanowi nasze ε q w bie» cym kroku iteracji.

27 Zalety neuronu wielowarto±ciowego uczy si szybciej przystosowuje si lepiej mo»e nauczy si poprawnie klasykowa zbiór nieseparowalny liniowo otwiera obiecuj ce, nowe mo»liwo±ci projektowania sieci wykazuje wi cej cech wspólnych z biologicznymi neuronami

Podobne dokumenty

Liczby zespolone. dr Krzysztof yjewski Mechatronika; S-I 0.in». 6 pa¹dziernika Oznaczenia. B dziemy u»ywali nast puj cych oznacze«:

Liczby zespolone. dr Krzysztof yjewski Mechatronika; S-I 0.in». 6 pa¹dziernika Oznaczenia. B dziemy u»ywali nast puj cych oznacze«: Liczby zespolone Oznaczenia B dziemy u»ywali nast puj cych oznacze«: N = {1, 2, 3,...}- zbiór liczb naturalnych, Z = {..., 3, 2, 1, 0, 1, 2, 3,...}- zbiór liczb caªkowitych, Q = { a b : a, b Z, b 0}- zbiór