MATLAB Neural Network Toolbox uczenie sieci (dogłębnie)

Transkrypt

1 MATLAB Neural Network Toolbox uczenie sieci (dogłębnie) WYKŁAD Piotr Ciskowski

2 Neural Network Toolbox:

3 NEURAL NETWORK TOOLBOX NOTACJA

4 Neural Network Toolbox - notacja: pojedynczy neuron: z jednym wejściem

5 Neural Network Toolbox - notacja: funkcje aktywacji: hard-limit: pure lin: log sig:

6 Neural Network Toolbox - notacja: pojedynczy neuron: z wieloma wejściami

7 Neural Network Toolbox - notacja: warstwa neuronów:

8 Neural Network Toolbox - notacja: sieci wielowarstwowe: macierze wag: IW oraz LW indeksy przy macierzach wag: skąd-dokąd

9 Neural Network Toolbox - notacja: sieci wielowarstwowe:

10 NEURAL NETWORK TOOLBOX POJEDYNCZY NEURON LINIOWY - DZIAŁANIE

11 przykład 1. działanie neuronu liniowego - dane równoległe dane wejściowe: równoległe wszystkie wejścia pojawiają się w tym samym czasie, mają różne (niezależne) znaczenie net = newlin ( [ 1 3 ; 1 3 ], 1 ) net.b{1} = 0 ; net.iw{1,1} = [ 1 2 ] ; P = [ ; ] P = Y = sim ( net, P ) Y =

12 przykład 1. działanie neuronu liniowego - dane sekwencyjne dane wejściowe: sekwencyjne na jednym wejściu pojawia się sygnał będący sekwencją w czasie net = newlin ( [ -1 1 ], 1, [ 0 1 ] ) net.biasconnect = 0 ; net.iw{1,1} = [ 1 2 ] ; P = { } P = [1] [2] [3] [4] Y = sim ( net, P ) Y = [1] [4] [7] [10]

13 NEURAL NETWORK TOOLBOX POJEDYNCZY NEURON LINIOWY - UCZENIE PRZYROSTOWE

14 przykład 2. uczenie neuronu liniowego - przyrostowe uczenie: przyrostowe wagi i biasy są uaktualniane po prezentacji incremental każdego kolejnego przykładu [ net, Y, E, Pf, Af, tr ] = adapt ( net, P, T, Pi,Ai ) % wejścia: net - Network. P - Network inputs. T - Network targets, default = zeros. Pi - Initial input delay conditions, default = zeros. Ai - Initial layer delay conditions, default = zeros. % wyjścia: net - Updated network. Y - Network outputs. E - Network errors. Pf - Final input delay conditions. Af - Final layer delay conditions. TR - Training record (epoch and perf).

15 przykład 2. uczenie neuronu liniowego - przyrostowe uczenie: przyrostowe wagi i biasy są uaktualniane po prezentacji incremental każdego kolejnego przykładu Pmacierz = [ ; % t = 2 p 1 + p ] ; % P i T jako zwykłe macierze Tmacierz = [ ] ; % dla uczenia wsadowego Pcell = { [1;2] [2;1] [2;3] [3;1] } ; Tcell = { } ; % P i T jako cell array % dla uczenia przyrostowego net = newlin ( [ -1 1 ; -1 1 ], 1, 0, 0 ) ; net.iw{1,1} = [ 0 0 ] ; net.b{1} = 0 ; net.inputweights{1,1}.learnparam.lr = 0.1 ; net.biases{1,1}.learnparam.lr = 0.1 ; [ net, y, e, pf ] = adapt ( net, Pcell, Tcell ) ;

16 NEURAL NETWORK TOOLBOX POJEDYNCZY NEURON LINIOWY - UCZENIE WSADOWE

17 przykład 2. uczenie neuronu liniowego - wsadowe uczenie: wsadowe wagi i biasy są uaktualniane po prezentacji batch całego zbioru uczącego [ net, tr,y, E, Pf, Af ] = train ( net, P, T, Pi,Ai, VV,TV) % wejścia: net - Network. P - Network inputs. T - Network targets, default = zeros. Pi - Initial input delay conditions, default = zeros. Ai - Initial layer delay conditions, default = zeros. VV - Structure of validation vectors, default = []. TV - Structure of test vectors, default = []. % wyjścia: net - New network. TR - Training record (epoch and perf). Y - Network outputs. E - Network errors. Pf - Final input delay conditions. Af - Final layer delay conditions.

18 przykład 2. uczenie neuronu liniowego - wsadowe uczenie: wsadowe wagi i biasy są uaktualniane po prezentacji batch całego zbioru uczącego Pmacierz = [ ; % t = 2 p 1 + p ] ; % P i T jako zwykłe macierze Tmacierz = [ ] ; % dla uczenia wsadowego net = newlin ( [ -1 1 ; -1 1 ], 1, 0, 0 ) ; net.iw{1,1} = [ 0 0 ] ; net.b{1} = 0 ; net.inputweights{1,1}.learnparam.lr = 0.1 ; net.biases{1}.learnparam.lr = 0.1 ; net.trainparam.epochs = 1 ; [ net, tr, y, e ] = train ( net, Pmacierz, Tmacierz ) ;

19 NEURAL NETWORK TOOLBOX PERCEPTRON

20 Neural Networks Toolbox perceptron

21 Neural Networks Toolbox perceptron

22 Neural Networks Toolbox perceptron net = newp ( PR, S ) ; % utworzenie perceptronu: % PR macierz wartości min i max poszczególnych wejść % macierz R x 2 % S - liczba neuronów net = newp ( [ 0 2 ], 1 ) ; inputweights = net.inputweights{1,1} biases = net.biases{1}

23 NEURAL NETWORK TOOLBOX POJEDYNCZY PERCEPTRON - GRANICE DECYZYJNE

24 przykład 3. perceptron granice decyzyjne net = newp ( [ ; ], 1 ) ; % utworzenie sieci net.iw{1,1} = [ -1 1 ] ; % ustawienie wag net.b{1} = [ 1 ] ; % i biasu (bez uczenia) p1 = [ 1 ; 1 ] ; y1 = sim ( net, p1 ) ; % test pojedynczych punktów p2 = [ 1 ; -1 ] ; y2 = sim ( net, p2 ) ; % punktów y = [ y1 y2 ] y = [ 1 0 ] p = { [ 1 ; 1 ], [ 1 ; -1 ] } ; % test obu punktów od razu y = sim ( net, p ) % (sekwencyjnie) y = [ 1 ] [ 0 ]

25 NEURAL NETWORK TOOLBOX POJEDYNCZY PERCEPTRON - UCZENIE KROK PO KROKU

26 przykład 4. perceptron - inicjalizacja net = newp ( [ ; ], 1 ) ; % utworzenie sieci net.iw{1,1} = [ -1 1 ] ; % ustawienie wag net.b{1} = [ 1 ] ; % i biasu (bez uczenia) net.inputweights{1,1}.initfcn = 'rands' ; % losowa inicjalizacja net.biases{1}.initfcn = 'rands' ; % wag i biasów net = init ( net ) ; weights = net.iw{1,1} weights = biases = net.b{1} biases =

27 przykład 4. perceptron uczenie krok po kroku... p = [ 1 ; 2 ] ; % uczenie na pojedynczych przykładach t = [ 1 ] ; y = sim ( net, p ) ; d = t y ; dw = learnp( weights, p, [],[],[],[], d, [],[],[] ) % poprawki wag dw = 1 2 weights = weights + dw weights = net.iw{1,1} = weights ; db = learnp( biases, p, [],[],[],[], d, [],[],[] ) % poprawki biasów db = 1 2 biases = biases + db biases = net.b{1} = biases ;

28 NEURAL NETWORK TOOLBOX POJEDYNCZY PERCEPTRON - UCZENIE OD RAZU

29 przykład 5. perceptron uczenie od razu net = newp ( [ ; ], 1 ) ; % utworzenie sieci net.iw{1,1} = [ -1 1 ] ; % ustawienie wag net.b{1} = [ 1 ] ; % i biasu (bez uczenia) p = { [2;2] [1;-2] [-2;2] [-1;1] } ; % ciąg uczący t = { } ; % dla uczenia wsadowego net.trainparam.epochs = 4; net = train ( net, p, t ) ; TRAINC, Epoch 0/4 TRAINC, Epoch 2/4 TRAINC, Performance goal met. % uczenie % przez kilka epok y = sim ( net, p ) y =

30 NEURAL NETWORK TOOLBOX PERCEPTRONY WIELOWARSTWOWE

31 Neural Network Toolbox perceptrony wielowarstwowe neurony wykorzystują ciągłe funkcje aktywacji:

32 Neural Network Toolbox perceptrony wielowarstwowe warstwa sieci:

33 Neural Network Toolbox perceptrony wielowarstwowe sieć dwuwarstwowa:

34 przykład 6. perceptron dwuwarstwowy - tworzenie (kiedyś) p = [ ;... % ciąg uczący ] ; t = [ ] ; % utworzenie sieci: net = newff ( minmax(p),... % 2 wejścia o zakresach: od 1 do 2 % od 0 do 5 [3,1],... % neuronów: 3 1 {'tansig','purelin'},... % funkcje aktywacji w warstwach: % 1. tangensoidalna % 2. liniowa 'traingd' ) ; % funkcja uczenia: traingd % (gradient descent)

35 przykład 6. perceptron dwuwarstwowy - tworzenie (teraz) p = [ ; ] ; t = [ ] ; net = newff ( p, t, 3 ) ; % ciąg uczący % utworzenie sieci

36 przykład 6. perceptron dwuwarstwowy uczenie gd (kiedyś) net.trainparam.show = 50; net.trainparam.lr = 0.05; net.trainparam.epochs = 300; net.trainparam.goal = 1e-5; % parametry uczenia [ net, tr ] = train ( net, p, t ) ; % uczenie sieci TRAINGD, Epoch 0/300, MSE /1e-05, Gradient /1e-10 TRAINGD, Epoch 50/300, MSE /1e-05, Gradient /1e-10 TRAINGD, Epoch 100/300, MSE /1e-05, Gradient /1e-10 TRAINGD, Epoch 150/300, MSE e-05/1e-05, Gradient /1e-10 TRAINGD, Epoch 200/300, MSE e-05/1e-05, Gradient /1e-10 TRAINGD, Epoch 211/300, MSE e-06/1e-05, Gradient /1e-10 TRAINGD, Performance goal met.

37 przykład 6. perceptron dwuwarstwowy uczenie gd (kiedyś) net.trainparam.show = 50; net.trainparam.lr = 0.05; net.trainparam.epochs = 300; net.trainparam.goal = 1e-5; % parametry uczenia [ net, tr ] = train ( net, p, t ) ; % uczenie sieci TRAINGD, Epoch 0/300, MSE /1e-05, Gradient /1e-10 TRAINGD, Epoch 50/300, MSE /1e-05, Gradient /1e-10 TRAINGD, Epoch 100/300, MSE /1e-05, Gradient /1e-10 TRAINGD, Epoch 150/300, MSE e-05/1e-05, Gradient /1e-10 TRAINGD, Epoch 200/300, MSE e-05/1e-05, Gradient /1e-10 TRAINGD, Epoch 211/300, MSE e-06/1e-05, Gradient /1e-10 TRAINGD, Performance goal met. y = sim ( net, p ) % sprawdzenie sieci y = % t = [ ] ;

38 przykład 6. perceptron dwuwarstwowy uczenie L-M (teraz) [ net, tr ] = train ( net, p, t ) ; % uczenie sieci TRAINLM-calcjx, Epoch 0/300, MSE /1e-005, Gradient /1e-010 TRAINLM-calcjx, Epoch 3/300, MSE e-006/1e-005, Gradient /1e-010 TRAINLM, Performance goal met. y = sim ( net, p ) % sprawdzenie sieci y = % t = [ ] ;