Nowoczesne technk nformatyczne - Ćwczene 2: PERCEPTRON str. 1 Ćwczene 2: Perceptron WYMAGANIA 1. Sztuczne sec neuronowe budowa oraz ops matematyczny perceptronu (funkcje przejśca perceptronu), uczene perceptronu reguła uczena, możlwośc perceptronu (np.: klasyfkacja w oparcu o separowalność zborów) 2. Środowsko Matlab, w szczególnośc z zakresu: tworzena perceptronu (newp) uczena perceptronu (tran, adept) konstruowana skryptów WPROWADZENIE TEORETYCZNE Perwszy perceptron został zbudowany w 1958 roku przez Rosenblata - było to elektronczno-elektromechanczne urządzene przeznaczone do rozpoznawana znaków. W odróżnenu od nnych urządzeń perceptron Rosenblata ne wymagał klasycznego programowana gdyż posadał zdolność do uczena sę. Ponadto odkryto nną bardzo ważną cechę tego elementu, którą znamy jako twerdzene Rosenblatta o zbeżnośc perceptronu: jeżel tylko stneje tak wektor wag w, przy pomocy którego element perceptronowy odwzorowuje w sposób poprawny zbór wzorcowych wektorów wejścowych na odpowadający mu zbór oczekwanych wartośc wyjścowych, to stneje metoda uczena tego elementu gwarantująca zbeżność do wektora w. Perceptron prosty Perceptron prosty składa sę jedyne z warstwy wejścowej warstwy wyjścowej, stanow węc najprostszą seć jednokerunkową. Poneważ ne stneją połączena pomędzy elementam warstwy wyjścowej, każdy z neuron może być traktowany nezależne jako osobna seć o welu wejścach jednym wyjścu. b x x n W 1. u y W lub. W n Perceptron składa sę z neuronów o budowe dentycznej jak wszystke sztuczne neurony (rys.2.1), różnca polega jedyne na ogranczenu sę do dwóch funkcj przejśca: unpolarnej: y = 1( u) 1 = 0 dla u > 0 dla u 0 Rys. 2.1. Model perceptronu bpolarnej: y = sgn( u) 1 dla u > 0 = 1 dla u 0
Nowoczesne technk nformatyczne - Ćwczene 2: PERCEPTRON str. 2 Potencjał membranowy u wyznaczany jest klasyczne: gdze: w waga -tego wejśca neuronu b bas neuronu x -te wejśce neuronu u = n = 1 w x b Seć perceptronowa (perceptron welowarstwowy) W sec perceptronowej można wyodrębnć warstwy neuronów, wśród których wyróżnć można warstwę wejścową wyjścową. Pozostałe noszą nazwę warstw ukrytych. W sec perceptronowej (w perceptrone) ne ma połączeń pomędzy elementam należącym do tej samej warstwy elementy łączą sę jedyne z elementam z warstw sąsednch wg reguły każdy z każdym. Połączena pomędzy warstwam są asymetryczne skerowane zgodne z ch uporządkowanem, tzn. od warstwy wejścowej do perwszej warstwy ukrytej, następne od perwszej do drugej warstwy ukrytej, td. aż do warstwy wyjścowej. Ne ma połączeń zwrotnych. Warstwa wejścowa posada elementy o neco uproszczonej funkcj przejśca jednym wejścu. Jest to swego rodzaju układ receptorów odberających sygnały wejścowe po wstępnym ch przetworzenu (np. normalzacj, fltracj) przesyłających je do elementów warstwy następnej. Umowne jest to warstwa zerowa sec. Stąd perceptron zawerający jedyne warstwy wejścową wyjścową nos nazwę perceptronu jednowarstwowego lub naczej perceptronu prostego (jedyne warstwa wyjścowa jest warstwą przetwarzana neuronowego). Analogczne, jeśl stneje jedna warstwa ukryta, mamy do czynena z perceptronem dwuwarstwowym, td. Wymenone cechy perceptronu jednoznaczne klasyfkują go do grupy sec jednokerunkowych. Uczene perceptronu Uczene perceptronu (podobne jak uczene nnych sztucznych sec neuronowych) polega na takej modyfkacj jego wag aby kolejne jego odpowedz były coraz blższe odpowedz pożądanej. Oczekwana odpowedź mus być znana a proces uczena ma charakter uczena nadzorowanego (z nauczycelem). Algorytm uczena można sformułować w następujący sposób: 1. Podaj wektor wejścowy x wyznacz wyjśce y. 2. Podejmj jedną z ponższych decyzj: o jeśl odpowedź (y) jest poprawna, to wróć do punktu 1 zaprezentuj nny wektor wejścowy x; o jeśl odpowedź (y) jest nepoprawna zbyt mała (równa 0, bądź 1 zależne od funkcj przejśca), to dodaj wartość każdego wejśca x pomnożoną przez pewną lczbę η do wartośc odpowednego współczynnka wag, w ; o jeśl odpowedź (y) jest nepoprawna zbyt duża (równa 1), to odejmj wartość każdego wejśca x pomnożoną przez pewną lczbę η od wartośc odpowednego współczynnka wag, w. 3. Wróć do punktu perwszego pokaż nny wektor wejścowy x.
Nowoczesne technk nformatyczne - Ćwczene 2: PERCEPTRON str. 3 4. Jeżel podawane kolejnych wektorów wejścowych ne powoduje zman wag należy proces uczena zakończyć. Przedstawone w powyższym algorytme zmany wag można opsać zależnoścą: w ( t +1) = w ( t ) + w ( t ) gdze: w(t+1) wartość wag -tego wejśca neuronu w chwl t+1 (przyszła wartość) w(t) - wartość wag -tego neuronu w chwl t (aktualna wartość), w(t) zmana wartość wag -tego neuronu w chwl. Korektę wag w(t) można wyznaczyć na klka sposobów, najprostszy opsuje zależność: rys.2.2. Schemat uczena perceptronu w ( t ) =ηδ ( t )x µ wartość δ µ opsuje błąd popełnany przez neuron w odpowedz na podane µ tego wektora wejścowego (d µ oczekwana odpowedź, y µ rzeczywsta odpowedź) δ ( ) = d y ( t ) µ t µ µ Możlwośc perceptronu Rozmar wektora wejścowego (lość jego elementów) określa wymar przestrzen poddanej analze. Jeśl wektor wejścowy lczy 2 elementy to mamy doczynena z przestrzeną dwuwymarową (płaszczyzną) w układze współrzędnym na osach mamy sygnały wejścowe, zaś sygnał wyjścowy z perceptronu (y) to punkt znajdujący sę w obrębe przestrzen y=1 układu. Jeżel zapszemy wzór na potencjał membranowy perceptronu prostego dla przypadku dwuwymarowego: u = w1x1 + w2x2 b 0=w x +w x -b y=0 1 2 zauważymy, ż perceptron przełącza sę gdy potencjał membranowy u=0 to otrzymujemy równane prostej, Rys.2.3. Klasyfkacja perceptronu dwuwejścowego w 1 x1 + w2x2 b = 0 która dzel płaszczyznę na dwe półpłaszczyzny (rys.2.3.). Dla wejść z jednej półprzestrzen perceptron jest aktywy (y=1) a dla drugej ne (y=0 lub y=-1). Z przedstawonego rozważana wynka, że aby funkcja mogła być realzowana przez perceptron prosty sygnały wejścowe dla których funkcja aktywacj przyjmuje wartość 0
Nowoczesne technk nformatyczne - Ćwczene 2: PERCEPTRON str. 4 (-1) muszą leżeć w nnej półpłaszczyźne nż te sygnały wejścowe dla których funkcja ta przyjmuje wartość 1. Mów sę że muszą one być lnowo separowalne. Uogólnając rozważane na przestrzeń n-wymarową należy stwerdzć, ż perceptron dzel ją na dwe podprzestrzene (n-1)-wymarowe hperpłaszczyzną opsana równanem: n = 1 w x b = 0 Przykładem zadań lnowo separowanych może być problem bramk OR czy bramk AND. Jak wdać na rysunku 4.2 łatwo jest znaleźć prostą, która rozdzel 0 (zera) od 1 (jedynek), a zatem można wyznaczyć take wag perceptronu, które umożlwą wykonane odpowednej klasyfkacj. OR(x,x )=1 OR(x,x )=0 AND(x,x )=1 AND(x,x )=0 Rys.4.2. Lnowa separowalność punktów bramk OR AND Zupełne naczej będze z bramką XOR, rozkład jej punktów (rys.4.3a.) ne pozwala dokonać separacj przy pomocy jednej prostej. Oznacza to, ż klasyfkacj punktów bramk XOR ne może dokonać perceptron prosty gdyż ne są one lnowo separowane. Zauważyl to Mnsky Papert w 1969r. powodując swom odkrycem długoletn marazm w badanach nad sztucznym secam neuronowym. XOR(x,x )=1 XOR(x,x )=0 XOR(x,x )=1 XOR(x,x )=0 Rys.4.3. Brak lnowej separowalnośc punktów bramk XOR (a). Rozwązane problemu XOR przez perceptron dwuwarstwowy (b)
Nowoczesne technk nformatyczne - Ćwczene 2: PERCEPTRON str. 5 Ogranczene lnowej separowalnośc perceptronu prostego można usunąć poprzez wprowadzene warstw ukrytych co prowadz do perceptronu welowarstwowego. Własnośc perceptronu welowarstwowego pozwalają rozwązać problem XOR (rys4.3b.) do jego rozwązana wystarczy perceptron dwuwarstwowy (rys.4.4.) u 1 W 11 W 12 V 1 u W 21 V 2 u 2 x2 W 22 Rys.4.4 Schemat perceptronu dwuwarstwowego rozwązującego problem XOR Perceptron trójwarstwowy, tzn. seć z dwema warstwam ukrytym może realzować dowolne odwzorowana przestrzen stanów wejścowych w przestrzeń stanów wyjścowych. Innym słowy, perceptron trójwarstwowy gwarantuje stnene układu pojedyncza warstwa seć dwuwarstwowa seć trójwarstwowa Rys.4.5 Możlwośc podzału przestrzen w zależnośc od lczby warstw perceptronu wag sec realzującej poprawne dowolne odwzorowane zboru wzorcowych wektorów wejścowych {x} na odpowadający mu zbór oczekwanych odpowedz (wektorów wyjścowych {y}). Każdy z elementów perwszej warstwy ukrytej dzel przestrzeń stanów wejścowych na dwe półprzestrzene rozdzelona pewną hperpłaszczyzną decyzyjną. Następne każdy z elementów drugej warstwy, dokonuje przekształcena mnogoścowego półprzestrzen z warstwy perwszej, dzeląc przestrzeń stanów wejścowych na dwe podprzestrzene, z których jedną stanow zbór weloścenny wypukły. Następne każdy z elementów warstwy wyjścowej dokonuje transformacj mnogoścowej powyższych zborów wypukłych, w wynku której można uzyskać zbór o dowolnej postac. Jedynym ogranczenem jest dostateczne duża lczba elementów przetwarzających w sec połączeń mędzy nm.
Nowoczesne technk nformatyczne - Ćwczene 2: PERCEPTRON str. 6 PRZEBIEG ĆWICZENIA Zadane 1 Zbadać czy ponższe zadana klasyfkacj wzorców możlwe są do realzacj przy użycu perceptronu (czy zbory A B są lnowo-separowalne). Rozwązane przedstawć na rysunku odpowedź uzasadnć. a) A={a1, a2}, B={b1, b2} gdze a1={0.5, -0.5}, a2={-0.5, -1}, b1={1, 2}, b2={-1, 2}; b) A={a1, a2, a3}, B={b1, b2} gdze a1={-0.5, -0.5}, a2={0.5, 0.5}, a3={1, 1.5}, b1={0, -0.5}, b2={0, 1}; c) A={a1, a2},b={b1, b2, b3} gdze a1={0.5, -0.5}, a2={1, -0.5}, b1={-1.5, 0.5}, b2={-1, 2} b3={-2, 1}; d) d) A={a1, a2},b={b1, b2} gdze a1={-2, 1} a2={-3, 4} b1={2, -3} b2={1, 4} Wskazówka: Wykorzystać funkcję plotpv z paketu Matlab. Na potrzeby funkcj koneczne jest zakodowane zborów A oraz B np.: poprzez przypsane zborow A 0 oraz zborow B 1. Zadane 2 Opracować w matlabe skrypt wykonujący uczene perceptronu dla problemów podanych w zadanu 1 a) za pomocą funkcj tran, b) za pomocą funkcj adept. % Przykładowe rozwązane zad.2b przy pomocy funkcj adept p=[ 0.5-0.5 1-1 -0.5 2]; % punkty wejścowe z zad1a t=[ 1 1 0 0]; % dane wzorcowe zad1a (pożądane odpowedz) net=newp([-1 1;-],1); E=1; % błąd popełnany przez seć =0; whle(sse(e)) % sse(e) funkcja celu (zależy od błędu sec) [net,y,e]=adapt(net,p,t); % wykonane 1 epok uczena perceptronu =+1; end end; Y E f >= 100 dsp('seć ne została nauczona') break %p o 100 epokach uczena przerwj go % lczba teracj % odpowedz neuronu na wzorzec uczacy % wektor błędów sec Porównać efekty uczena sec dla obu funkcj. Zameścć w sprawozdanu odpowedz sec oraz odpowedz oczekwane. Wskazówk! 1. W macerzy sygnałów wejścowych P należy zapsać wszystke wektory uczące, w macerzy oczekwanych odpowedz T należy w przypadku przynależnośc do zboru A przypsać 0, a do zboru B 1 (lub odwrotne)
Nowoczesne technk nformatyczne - Ćwczene 2: PERCEPTRON str. 7 Zadane 3 Sprawdzć czy ponższe zadane klasyfkacj możlwe jest do realzacj przy użycu sec złożonej z dwóch neuronów. Jeżel zadane jest możlwe do realzacj opracować w matlabe skrypt, który wyznaczy wag, dla których sec będze klasyfkowała elementy czterech zborów A, B, C, D: A={a1,a2,a3}, B={b1,b2}, C={c1,c2}, D={d1,d2,d3} gdze a1=(2,11), a2=(7,10), a3=(8,16), b1=(10,6), b2=(15,10), c1=(-4,6), c2=(0,7), c3=(-5,-15), d1=(-6,-7), d2=(-10,-4). W sprawozdanu proszę zameścć rysunek obrazujący rozkład punktów na płaszczyźne oraz proste wydzelające poszczególne zbory.