Nie istnieje ogólna recepta, każdy przypadek musi być rozważany indywidualnie!

Transkrypt

1 Kwesta wyboru struktury modelu neuronowego Schematyczne przedstawene etapów przetwarzana danych w procese neuronowego modelowana Ne stneje ogólna recepta, każdy przypadek mus być rozważany ndywdualne! dane wejścowe Preprocesng zmenne wejścowe zmenne wyjścowe Postprocesng dane wyjścowe Typy sztucznych sec neuronowych Sztuczne Sec Neuronowe jednokerunkowe rekurencyjne Bayesa modularne specjalne częścowo całkowce połączone połączone dynamczne komtety asocjacyjne jednowarstwowe Jordana Boltzmanna perceptrony pulsacyjne kompozytowe Elmana Hopfelda lnowe komórkowe kaskadowe welowarstwowe neuronoworozmyte RBF perceptrony ontogenczne Kohonena MLP uczena cągłego probablstyczne Dobór typu sec neuronowej oraz sposobu jej strukturalzacj oraz uczena w przykładowym zadanu (dagnostyka wbroakustyczna przekładn) Przykłady połączeń mędzyneuronowych występujących w secach neuronowych. (m) - połączena mędzywarstwowe, (w) - połączena wewnątrzwarstwowe, (s) samosprzężena, (n) - połączena nadwarstwowe, (r) - połączena rekurencyjne Nektórzy autorzy slą sę na tworzene sec o bardzo orygnalnej archtekturze s m m nr n w s nr 1

2 Trójwarstwowa seć neuronowa Jednak najpowszechnej używana archtektura sec to klasyczny perceptron welowarstwowy oznaczany jako MLP Perwsze pytane do rozstrzygnęca: Seć lnowa czy nelnowa? Seć lnowa jako najprostszy (ale użyteczny!) model regresyjny Przesłank przemawające za stosowanem lnowej sec neuronowej: jest doskonałym narzędzem do opsu zależnośc lnowych, stanow punkt odnesena przy ocene model nelnowych, struktura uczene ne stwarza żadnych problemów. Lnowa seć neuronowa Lnowa seć neuronowa Iteracyjne uczene sec lnowej ne jest koneczne, gdyż może być zastąpone procedurą pseudo-nwersj macerzy Popatrzmy bowem, jak dzała lnowa seć neuronowa: P X W 1 W 2 Y X W Y x 1 x 2 x n w 11 w 21 y 1 y 1 = w 11 x 1 + w 21 x w n1 x.. n w n1 y k = w 1k x 1 + w 2k x w nk x n y k W zapse macerzowym: Y = W X Seć lnowa z zasady ne posada warstw ukrytych, bo nawet jeśl sę je wprowadz, to ne wzbogacą one zachowana sec P = W 1 X Y = W 2 P Y = W 2 W 1 X Y = W X ; W = W 1 W 2 2

3 Dlatego lnowa seć neuronowa jest często przedstawana w sposób przytoczony na tym obrazku Perceptron welowarstwowy ϕ P X W 1 ϕ W 2 ϕ ϕ P = Φ[W 1 X] Y = Φ[ W 2 P ] Y = Φ[ W 2 Φ[ W 1 X ] ] Y W perceptrone na skutek stnena nelnowośc w neuronach ukrytych ne jest możlwe zwnęce jego welowarstwowej struktury Alternatywne, często spotykane rozwązane: seć RBF Przy ustalanu, le wejść ma meć seć neuronowa trzeba wząć pod uwagę fakt, że nelczne (z reguły) dane uczące będą w przestrzen o wększym wymarze bardzo mocno rozproszone Czas Kontrahent Kontrahent Produkt 300 Czas Czas Przykładowo przy założenu że różnorodność produktów wynos 100 elementów, parametr kontrahent ma 500 elementów a wymar czas 365 dn - przestrzeń wejścowa będze zawerała 500*100*365 = komórek. Lczba wejść do sec pownna być też lmtowana ze względu na fakt, że od każdego wejśca do każdego elementu warstwy ukrytej będze musało w sec być połączene, oraz współczynnk wagowy, którego wartość trzeba będze wyznaczyć w wynku procesu uczena. Tymczasem wzrost lczby współczynnków wymagających uczena ne jest okolcznoścą korzystną! 3

4 Lczba współczynnków wagowych, jake trzeba wyznaczyć w toku uczena wyznacza bowem mnmalną nezbędną lczbę danych uczących, które są koneczne do tego, żeby seć ne weszła w pułapkę uczena sę na pamęć Podstawową welkoścą określającą ryzyko uczena na pamęć jest tzw. mara Vapnka- Chervonenksa, zwana w skróce VCdm. Mara VCdm systemu została zdefnowana jako lczebność n najwększego zboru S danych wzorców, dla których system klasyfkujący może zrealzować wszystke możlwe 2 n dychotom lnowych zboru S Dychotoma lnowa to podzał zboru na 2 częśc za pomocą formuł lnowych, czyl w N-wymarowej przestrzen za pomocą hperpłaszczyzn (N-1)-wymarowych. Dla pojedynczego neuronu o N wejścach mara VCdm wynos N+1 Dla przykładu VCdm dla neuronu o dwóch wejścach wynos n=3. Łatwo można wykazać, że zbór złożony z trzech danych uczących jest najwększym zborem, w którym można przeprowadzć podzał na dwe lnowo separowalne grupy na 2 3 = 8 sposobów: Jednak o le łatwo jest wyznaczyć wartość VCdm dla pojedynczego neuronu, o tyle w przypadku sec neuronowej ne jest to już take proste Nestety ne stneje prosty zwązek mędzy archtekturą sec welowarstwowej, a marą VCdm. Można podać jedyne oszacowane górnego dolnego zakresu tej mary: gdze: K 2 N VC dm 2N w + N n 2 [ ] oznacza część całkowtą lczby, N wymar wektora wejścowego, K lczba neuronów w warstwe ukrytej, N w całkowta lczba wag w sec, N n całkowta lczba neuronów w sec ( 1 log ) K 2 N VC dm 2N w + N n 2 ( 1 log ) Jak wdać z powyższej zależnośc, dolna granca przedzału jest w przyblżenu równa lczbe wag łączących warstwę wejścową z warstwą ukrytą, górna granca natomast jest wększa nż dwukrotna lczba wszystkch wag sec. Oszacowane mary VCdm umożlwa ocenę mnmalnego wymaru zboru uczącego. W wynku przeprowadzena welu testów numerycznych stwerdzono dobre zdolnośc uogólnana sec, jeśl lczba próbek uczących jest 10 razy wększa od mary VCdm 4

5 Całkem poważnym problemem jest sposób reprezentacj danych w sec neuronowej Reprezentacja danych w secach neuronowych Jeśl dane mają od początku charakter numeryczny to problemu ne ma najwyżej trzeba je przeskalować Uwaga: przy skalowanu należy unkać wchodzena w obszar nasycena charakterystyk neuronu Typowo stosowane formuły skalowana x mn( x ) x = max( x ) mn( x ) cel skalowana: dopasowane zakresu wartośc zmennej do charakterystyk neuronu y:=1/(1+exp(-0.5*x)) x mn( x ) x = 2 1 max( x ) mn( x ) x = ( x mn( x )) ( b a) max( x ) mn( x ) + a Gorzej, jeśl dane mają charakter jakoścowy. Koneczne jest wtedy przekształcene jeden-z-n Jeden-z-N to sposób na przekształcene wartośc nomnalnych do postac numerycznej. Przykład: Pochodzene ={Azja, Ameryka, Europa} Azja: {1, 0, 0} Ameryka: {0, 1, 0} Europa: {0, 0, 1} jedna zmenna trzy neurony! Obszar najczęstszego stosowana kodowana 1 z N: Klasyfkacja wzorcowa Celem klasyfkacj wzorcowej jest przypsane badanych obektów do jednej ze znanych klas. Zaklasyfkowane obektu dokonywane jest na podstawe wartośc opsujących go zmennych. wartośc zmennych charakteryzujących klasyfkowane obekty Seć neuronowa dentyfkator klasy 5

6 Sposób prezentacj danych jakoścowych zgodne z metodą 1 z N Przykład reprezentacj 1-z-N (rozpoznawane znaków alfanumeryczych) q w e r t Mało wyraźne C : C Właścwej nterpretacj wymagają też dane wyjścowe, otrzymywane z sec jako rozwązane postawonego zadana Jeśl wymagane są wynk numeryczne, to sprawa jest prosta, bo wystarczy je odczytać na wyjścach neuronów tylko odpowedno przeskalować. Trudnośc zaczynają sę wtedy, gdy seć pracuje jako klasyfkator, węc jej odpowedz trzeba nterpretować jako decyzje. Idealna sytuacja zwązana użycem zmennej nomnalnej na wyjścu sec neuronowej Rzeczywsty rozkład wartośc sygnałów w sec neuronowej ze zmenną nomnalną na wyjścu Przykład rozkładu sygnałów wyjścowych, przy którym lepej jest ne wyznaczać wcale wartośc zmennej nomnalnej, nż narazć sę na błąd, który jest w tej sytuacj bardzo prawdopodobny 6

7 y:=1/(1+exp(-0.5*x)) y:=1/(1+exp(-0.5*x)) Klasyfkacja w przypadku dwóch klas Warstwa wyjścowa - neuron z sgmodalną funkcją aktywacj Reprezentacja klas: klasa 1 - wartość 1 klasa 2 - wartość 0 KLASA 1 próg akceptacj BRAK DECYZJI próg odrzucena KLASA 2 Wartość wyjścowa neuronu może być nterpretowana jako prawdopodobeństwo przynależnośc do klasy Klasyfkacja w przypadku wększej lczby klas Każdej klase odpowada jeden neuron w warstwe wyjścowej. Aby obekt został w sposób pewny zalczony do -tej klasy: wartość wyjścowa -tego neuronu - wyższa od pozomu akceptacj, wartośc wyjścowe pozostałych neuronów - nższe od pozomu odrzucena. 1 0 KLASA głos 1za klasą próg akceptacj BRAK DECYZJI próg odrzucena KLASA wycofane 2 klasy Interpretacja wartośc wyjścowych jako prawdopodobeństw przynależnośc do klas - koneczne jest ch sumowane do jednośc - zapewna to funkcja aktywacj SoftMax Seć z wyjścam zblokowanym (przy zmennej wyjścowej typu nomnalnego z weloma możlwym klasam wyjścowym) Przykład klasyfkacj bnarnej weloklasowej Problem praktyczny: Czy wszystke dostępne zmenne objaśnające należy wprowadzać na wejśca sec? Wzrastająca lczba danych wejścowych uwzględnanych przy budowe modelu neuronowego prowadz do wzrostu lczby połączeń, dla których trzeba w sec ustalć wartośc wag w toku uczena Ne, w marę możlwośc należy ogranczać lczbę zmennych wejścowych, Dlaczego? Bo stosując mnejszą lczbę zmennych wejścowych uzyskujemy prostszą seć, która: posada mnejszą lczbę parametrów nastawanych podczas uczena, a to powoduje łatwejsze uczene daje lepsze zdolnośc do generalzacj, ma krótszy czas uczena, gdyż mnej jest danych 7

8 y: =1/ (1+exp(-0. 5*x)) y: =1/ (1+exp(-0. 5*x)) y: =1/ (1+exp(-0. 5*x)) y: =1/ (1+exp(-0. 5*x)) y: =1/ (1+exp(-0. 5*x)) y: =1/ (1+exp(-0. 5*x)) y: =1/ (1+exp(-0. 5*x)) A tymczasem pamętamy: lość nformacj, jake zdobywa ( utrwala) seć w czase uczena jest ne wększa, nż lość nformacj zawarta w zborze uczącym! MLP czy RBF? MLP Najczęścej wykorzystywany jest tak model neuronu: Najbardzej typowa struktura sec zbudowanej z takch elementów: trójwarstwowy perceptron o jednym wyjścu x 1 w y:=1/(1+exp(-0.5*x)) x 2 x n w 2... w n n s = 1 = wx y -0.1 Seć zbudowana z takch neuronów nazywana jest zwykle MLP (Mult-Layer Perceptron) Typowa struktura sec MLP Podstawowe właścwośc: wele wejść wele wyjść jedna (rzadzej dwe) warstwy ukryte nelnowe charakterystyk neuronów ukrytych w forme sgmod W warstwe wyjścowej neurony mogą być lnowe lub także mogą meć charakterystyk sgmodalne Uczene najczęścej przeprowadzane metodą wstecznej propagacj błędów Każdy model budowany z pomocą sec neuronowych klasy MLP cechuje zwykle obecność urwsk sgmodalnych 8

9 Przykład dzałana sec MLP Przykład zadana klasyfkacyjnego jego rozwązane uzyskane z użycem sec MLP technk urwsk sgmodalnych Często w różnych warstwach sec MLP neurony mają różne charakterystyk, zarówno nelnowe jak lnowe Inne zadane klasyfkacyjne jego dwa rozwązana Odmenne dzałającym elementem używanym w nektórych typach jest tzw. neuron radalny (wykorzystywany w secach RBF) x 1 1 t 1 r 1 f Typowa seć RBF... f y x-t x n t n r n Agregacja sygnałów wejścowych w tym type neuronu polega na oblczanu odległośc pomędzy obecnym wektorem wejścowym X a ustalonym podczas uczena centrodem pewnego podzboru T Równeż nelnowa funkcja przejśca w tych neuronach ma odmenną formę - dzwonu gaussody - czyl jest funkcją nemonotonczną. 9

10 Technka ta jest szczególne przydatna przy wyodrębnanu obszarów o kształce wydzelonych wysp Jednak złożene takch elementarnych wadomośc pochodzących od różnych danych uczących pozwala wypowadać sę na temat całych rejonów przestrzen sygnałów wejścowych Sposób separacj przestrzen danych przez: (a) neuron sgmodalny, (b) neuron radalny Y Sec MLP w zadanu klasyfkacj X Y Sec RBF w zadanu klasyfkacj X Seć typu RBF w zastosowanu do klasyfkacj (wykrywa sygnalzuje skupska danych wejścowych) 10

11 Elementy zboru uczącego dzelone są na grupy elementów podobnych (metodą k-średnch, która będze zaraz opsana). Jak uczyć taką seć? W charakterze wag neuronów radalnych stosowane są środk cężkośc każdej wyróżnonej grupy. Przestrzeń sygnałów wejścowych oraz wag Określene wag neuronów radalnych metodą K-średnch Uproszczony obraz dzałana metody k-means Dla n próbek wejścowych x0..., x1 x n 1 metodę k-means wykorzystuje sę do utworzena k klastrów, przy czym dla każdego z nch zostane wyznaczony element modalny, reprezentujący umowny środek całej grupy w przestrzen cech. Metoda k-means dzała w sposób teracyjny. W celu wyszukana najlepszych lokalzacj dla środkowych punktów każdego z klastrów na początek przyjmuje sę lokalzacj przypadkowe, a potem sę je doskonal, tak, aby optymalne dopasować każdy wzorzec do klastra danych wejścowych, którego środek jest najblżej wzorca. Przedstawmy dzałane tego algorytmu w pęcu krokach 1) Ustalene środków poszczególnych klas za pomocą perwotnych wartośc m 0, m1,..., m K 1. Na początku są to wektory Krok 1 przypadkowo rozrzucone w przestrzen sygnałów wejścowych. 2) Wyznaczene odległośc mędzy wszystkm próbkam x 0, x1,..., x n 1 cągu, a wszystkm środkam klas m 0, m1 m K 1, Krok 2,..., d 2 x, m ) = x m = ( x m ) ( x m, dla =0,...,n-1 oraz j=0,...,k-1 2 j 1 ( 1 j1 p ) ) 2 ( j j jp 3) Połączene w jedną grupę wszystkch tych sygnałów wejścowych x spośród próbek x 0, x1... x n 1, których odległość od środka mj klasy j jest mnejsza od odległośc tychże Krok 3 sygnałów wejścowych x od środków ml nnych klas (l j) w celu utworzena klasy j. Czynność ta wykonywana jest dla wszystkch numerów klas j=0,...,k-1. 4) Znalezene nowych środków klas, poprzez wyszukane wśród sygnałów x tej próbk, której współrzędne są najblższe wartoścom średnm współrzędnych wyznaczonym dla wszystkch sygnałów wejścowych, które zostały ulokowane w klase j. (W warance metody pozwalającym na Krok to, żeby 4 wzorzec klasy mógł być obektem abstrakcyjnym, ne należącym do zboru próbek x 0, x1,..., x n 1 środkem klasy j staje sę po prostu punkt, którego współrzędne są wartoścam średnm współrzędnych elementów x przypsanych do tej klasy.) 5) Jeśl w cągu ostatnej teracj żaden z elementów x ne zmenł swojej klasy należy zakończyć proces klasterngu, w przecwnym Krok 5 przypadku trzeba wrócć do punktu 3. Punktem wyjśca do algorytmu k średnch jest zbór danych, o których sądzmy, że tworzą k skupsk. Na rysunku k = 3. W losowy sposób wyberamy k punktów (rozrzuconych) nazywamy te punkty prowzorycznym centram budowanych skupsk. Na rysunku punkty wybrane jako centra są oznaczone znakem X, a skupska są nazwane red, green oraz blue 11

12 Na podstawe odległośc od wybranych centrów skupsk z przypsanym m nazwam klas zalcza sę wszystke punkty do odpowednch klas. Każdy punkt wejścowy jest zalczony do tej klasy której centrum znajduje sę najblżej ze wszystkch centrów. Teraz dla każdej z klas wyznacza sę nowe centrum na podstawe średnej współrzędnych wszystkch punktów przypsanych do danej klasy Dokonuje sę ponownego przypsana punktów do poszczególnych klas ponowne wyznacza sę w poszczególnych klasach średne. Seć z radalnym funkcjam bazowym używanym pomocnczo Czynnośc powyższe powtarza sę tak długo, jak długo chocaż jeden punkt zmen swoją przynależność do klasy. Po przerwanu algorytmu ostatno użyte średne wskazują centra klas. Zastosowane RBF (zamast MLP) spowoduje, że seć neuronowa znajdze aproksymację lepej dopasowaną do lokalnych właścwośc zboru danych, ale gorzej ekstrapolującą. Sec RBF bywają nadmerne wrażlwe na nawet nelczne błędy w danych uczących MLP RBF Funkcja bazowe Wynk dopasowana 12

13 Przykład dobrego złego dopasowana wartośc wyjścowych uzyskwanych z sec radalnej A tak wygląda struktura nnej praktyczne użytecznej sec klasy GRNN warstwa wejścowa służy do wprowadzana danych do sec warstwa radalna każdy z neuronów reprezentuje grupę (skupene) występujące w danych wejścowych warstwa regresyjna wyznacza elementy nezbędne do oblczena wartośc wyjścowej Złe dostosowane spowodowane tym, że funkcja charakterystyczna jest zbyt wąska Złe dostosowane spowodowane tym, że funkcja charakterystyczna zbyt jest szeroka warstwa wyjścowa wyznacza odpowedź sec Połączene w sec GRNN właścwośc neuronów RBF (z charakterystyką w forme funkcj Gaussa) oraz neuronów MLP (z charakterystyką sgmodalną) pozwala modelować wyjątkowo wyrafnowane zależnośc nelnowe) Idea dzałana sec realzujących regresję uogólnoną (GRNN -Generalzed Regresson Neural Network) Wejścowe wektory uczące dzelone są na skupena - w szczególnym przypadku każdy wektor tworzy oddzelne skupene, Dla każdego skupena znana jest wartość zmennej objaśnanej (wyjśce sec), wartość zmennej objaśnanej dla dowolnego wektora wejścowego szacowana jest jako średna ważona lczona z wartośc tej zmennej dla skupeń - wag uzależnone są od odległośc wejśca od centrów skupeń. Najbardzej stotny problem wąże sę z ustalenem, le elementów pownna meć warstwa ukryta?... duża z pewnoścą spraw węcej kłopotów podczas uczena? Mała może sę okazać zbyt prymtywna, żeby sobe poradzć z trudnoścą rozwązywanego zadana... Jako dobre przyblżene można przyjąć lczbę neuronów w warstwe ukrytej jako średną geometryczną wymarów wejść wyjść sec: K NM 13

14 Jest wele dowodów na to, że sec o wększej lczbe neuronów w warstwe ukrytej lepej sobe radzą z rozwązywanem różnych zadań Sec o wększej lczbe neuronów ukrytych osągają lepsze wynk uczena skuteczność klasyfkacj [%] Przykład: zadane rozpoznawana 75 znaków n. (lter) 96 na podstawe różnej lczby cech (50, ) przez 50 n. sec 94mające 100, 2575, n neuronów ukrytych n. 75 n. 50 n. 100 n. 75 n. 50 n. 100 n. 25 n. 50 cech 100 cech 150 cech 25 n. lczba neuronów ukrytych szybkość klasyfkacj [zn/s] Typowa zależność jakośc uczena sec od lczby neuronów ukrytych jest jednak nemonotonczna Inny przykład podobnych (nemonotoncznych) zależnośc 100 Błąd Lczba neuronów ukrytych Równeż w wyborze lczby elementów drugej warstwy ukrytej (jeśl występuje) trzeba zachować umar. Na rysunku lczba neuronów w perwszej warstwe ukrytej odkładany jest na pozomej os, a lczba neuronów w drugej warstwe pokazana jest kolorem. Jednak jest równe wele przykładów, że nekorzystne jest zarówno użyce zbyt prostej, jak zbyt skomplkowanej sec Seć zbyt prosta (jeden neuron) Seć zbyt skomplkowana 14

15 Mało skomplkowane sec szybko sę uczą wykazują powtarzalne zachowane, chocaż jest to często zachowane błędne Wynk kolejnych prób uczena za małej sec Przy projektowanu sec pożyteczne bywa spojrzene na warstwę ukrytą jako na kanał przez który mus być przepuszczona nformacja z wejśca sec zanm sę ukaże (w postac oblczonego wynku przetwarzana) na jej wyjścu Czasem korzysta sę z tej własnośc, żeby w autoasocjacyjnej sec neuronowej wytworzyć w warstwe ukrytej oszczędną reprezentację wejścowego sygnału (na przykład obrazu) w postac wektora cech Przyjrzyjmy sę temu, jak wzbogacane struktury sec neuronowej o dodatkowe neurony wpływa na jakość procesu rozwązywana zadana przez seć Mamy proste zadane: seć ma odwzorować zależność typu y = f(x) y = e 0.2x sn x Wdać, że seć marne sobe radz Zaznaczona jako odpowedź sec odwzorowuje tylko nelczne elementy uczące X Berzemy seć o typowej strukturze: uczymy ją a potem egzamnujemy: x y Co gorsza zupełne źle odwzorowuje ta elementy egzamnujące O, które ne były pokazywane w zborze uczącym, co oznacza brak zdolnośc do generalzacj wedzy. X elementy uczące O elementy egzamnujące --- odpowedź sec Wnosek: seć o tej strukturze: jest za słaba żeby nauczyć sę odwzorowana y = e 0.2x sn x 15

16 Trzeba sec dołożyć trochę ntelgencj, to znaczy dodać klka neuronów. Tylko jak to najskutecznej zrobć? Najlepej jest (zawsze!) dodać neurony wejścowe nosące dodatkową nformację: e 0. 2x x sn x Take doładowane sec dodatkową wedzą radykalne polepsza jej dzałane zarówno w zakrese nterpolacj jak w zakrese ekstrapolacj y Dołożene dwóch neuronów na wejścu przynosło znakomty efekt, ale to dzęk temu, że na tych dwóch wejścach podane zostały dodatkowe nformacje wejścowe dobrze skojarzone z natura rozwązywanego zadana. Neco mnej efektowny, ale łatwejszy do powtórzena sukces można odneść dokładając dodatkowe dwa neurony do warstwy ukrytej. Taka seć o wększej wrodzonej ntelgencj poradz sobe wyraźne lepej z zadanem, nż seć o mnejszych zasobach elementów ukrytych Dla porównana przypomnjmy Czasem może pojawć sę pokusa, żeby dodatkowe neurony dołożyć w postac elementów dodatkowej warstwy ukrytej Rozwązane take jest zawsze wyraźne gorsze! Warto zauważyć, że wyraźne gorszy efekt uzyskuje sę, gdy perwsza warstwa ukryta jest mnej lczna, nż druga. Wynka to z faktu, że casna perwsza warstwa ukryta stanow wąske gardło dla nformacj przesyłanych z wejśca na wyjśce. Następnym zagadnenem, które warto rozważyć, jest problem lośc wyjść Częsty dylemat twórcy sec: czy zastosować jedną seć o welu wyjścach, czy klka oddzelnych sec mających te same sygnały wejścowe, ale każdorazowo tylko jedno wyjśce? Na pozór sprawa jest oczywsta z góry przesądzona: Seć, która pownna dostarczyć k rozwązań pownna meć k neuronów wyjścowych W zwązku z tym seć, która na podstawe trzech danych wejścowych ma wyznaczyć dwa sygnały wyjścowe pownna wyglądać tak: Ne zawsze jednak to rozumowane jest poprawne! 16

17 Załóżmy, że uczymy jedną seć neuronową o dwóch wyjścach A oraz B. A B Lepej jest wtedy zbudować dwe osobne sec: A Pewnym rozwązanem pośrednm jest seć z weloma wyjścam ale z rozdzeloną warstwą ukrytą W neuronach obu warstw ukrytych będą musały być zgromadzone nformacje potrzebne do wyznaczana wartośc A oraz B. Czasem może to być korzystne, wtedy gdy mędzy wyjścam zachodz synerga doskonaląc pracę sec zmerzającą do wyznaczana poprawnych wartośc A przy okazj gromadz sę wedzę przydatna przy wyznaczanu wartośc B. Częścej jednak bywa tak, że mędzy wyjścam jest konflkt wyznaczając wartośc przydatne do oblczena A psujemy wartośc potrzebne dla B vce versa. Każdą z nch można wtedy będze w całośc optymalne dostroć do oblczana wymaganego wyjśca A albo B. B Zasada połączeń każdy z każdym skutkuje tym, że w sec neuronowej jest wele nepotrzebnych połączeń. Można je elmnować technkam usuwana nepotrzebnych połączeń już po nauczenu sec. Inny przykład redukowana struktury sec po jej nauczenu Struktury sec odzwercedlają czasem pomysł autora chcącego na przykład wspomagać rozpoznawane przy użycu opn udzelanych przez ekspertów Przykład usuwana nepotrzebnych połączeń z sec o netypowej strukturze 17

18 Dla lustracj rozważanych problemów przyjrzyjmy sę, jak rozwązują problem uczena sec o różnej archtekturze Wyobraźmy sobe przestrzeń percepcyjną pewnego zwerzaka. Postrzega on otoczene za pomocą wzroku słuchu, węc każde środowsko stanow dla nego punkt na płaszczyźne dźwęku śwatła. Dźwęk Tu jest głośno cemno (dyskoteka) Tu jest ccho cemno (sypalna) Przedmotem uczena będze to, w jakm środowsku zwerzak sę dobrze czuje Śwatło Tu jest jasno gwarno A tu są dane dla konkretnego środowska w którym umeszczamy naszego zwerzaka. Tu jest ccho jasno (plaża) Samopoczuce zwerzaka będze sygnalzowane przez kolor odpowednch punktów w przestrzen sygnałów wejścowych Dźwęk Tu zwerzak jest zadowolony Śwatło Tu zwerzak jest neszczęślwy Dźwęk Przykładowa mapa samopoczuca zwerzaka Mapę taką będzemy dalej rysowal zwykle w postac wygładzonej: Informację o tym, jak sę pownen zachowywać, zwerzak dostawać będze w postac zboru uczącego, składającego sę z przypadkowo wylosowanych punktów ( środowsk ) do których przypsane będą wymagane przez nauczycela stany samopoczuca (sygnalzowane kolorem) Śwatło Oto przykładowy zbór uczący......wygenerowany dla tej mapy Zakładamy, że pomędzy stanam: pełnego szczęśca: całkowtej depresj: Możlwe są jeszcze stany pośredne, które będzemy oznaczać koloram podobnym, jak na mapach geografcznych pośredne wysokośc pomędzy szczytam (entuzjazmu) a dnem (melanchol). Przykładowa mapa: Dźwęk Wyposażmy naszego zwerzaka w mózg w postac bardzo prostej jednowarstwowej sec neuronowej spróbujmy przeprowadzć jego uczene Zacznemy od próby wyuczena zwerzaka, żeby lubł gwarne śródmeśce w samo połudne: Śwatło Zwerzak początkowo wcale ne ma na to ochoty, bo jego zachowane Jasno wynkające z początkowych bardzo (przypadkowych!) wartośc wag głośno! neuronów obrazuje mapa: Jest to jak wdać zwolennk dyskotek sypaln (?) Ale zwerzak nam sę trafł! 18

19 No to zaaplkujemy zwerzakow uczene Po kolejnych klku epokach uczena zwerzak już we, o co chodz: Wzorzec Stan Początek Dalszy etap początkowy uczena uczena Już sę dostosował! Wdać, że na początku ma opory, ale powol zaczyna sę uczyć... Poprzedne zadane udało sę rozwązać, bo było bardzo proste, węc bardzo głuputk zwerzak (seć neuronowa bez warstw ukrytych) zdołał sę go nauczyć. Zobaczmy jednak, jak ta sama seć będze sę uczyć trudnejszego zadana. Nech zadane polega na stworzenu preferencj dla złotego środka Nasz zwerzak mota sę zmena swoje upodobana, ale mmo dowolne długego uczena ne zdoła wykryć, o co tym razem chodz! Wyposażmy go węc w bardzej skomplkowany mózg zawerający pewną lczbę neuronów ukrytych. Teraz proces uczena przebega zupełne naczej. Seć startuje od stanu totalnego optymzmu (prawe wszystko sę zwerzakow podoba!). Zauważmy: Ten cyber-kretyn ngdy sę ne nauczy robć tego, czego sę od nego wymaga, ale jego poglądy są zawsze bardzo kategoryczne (wszystko jest albo bardzo dobre, albo bardzo złe) chocaż za każdym razem nestety błędne... 19

20 Wystarczy jednak klka nepowodzeń w trakce procesu uczena, by zwerzak popadł w stan totalnego pesymzmu Potem jednak proces uczena przebega coraz skutecznej kończy sę całkowtym sukcesem Dostał klka razy karę od nauczycela sę załamał! Ta sama seć wystartowana powtórne (z nnym początkowym wartoścam wag) także dochodz do właścwego rozwązana, chocaż nną drogą. Dzęk prostemu programow symulacyjnemu można zebrać bardzo wele podobnych hstor uczena. Porażka sec z jedną warstwą ukrytą Inny przykład Seć z dwoma warstwam ukrytym (powyżej) radz sobe z problemem, który przerasta możlwośc sec z jedną warstwą ukrytą 20

21 Oto jeszcze jedna przykładowa hstora uczena sec o wększej złożonośc Take zabawy można kontynuować bez końca! 21