Nie istnieje ogólna recepta, każdy przypadek musi być rozważany indywidualnie!

Transkrypt

1 Preprocesing Postprocesing Kwestia wyboru struktury modelu neuronowego Nie istnieje ogólna recepta, każdy przypadek musi być rozważany indywidualnie! Schematyczne przedstawienie etapów przetwarzania danych w procesie neuronowego modelowania dane wejściowe zmienne wejściowe zmienne wyjściowe dane wyjściowe Niektóre metody przetwarzania wstępnego danych wejściowych Typy sztucznych sieci neuronowych Sztuczne Sieci Neuronowe jednokierunkowe rekurencyjne Bayesa modularne specjalne częściowo połączone całkowicie połączone komitety asocjacyjne dynamiczne jednowarstwowe perceptrony Jordana Elmana Boltzmanna kompozytowe pulsacyjne liniowe komórkowe Hopfielda kaskadowe RBF wielowarstwowe perceptrony neuronoworozmyte Kohonena MLP ontogeniczne uczenia ciągłego probabilistyczne 1

2 Sumaryczny błąd popełniany przez sieć Dobór typu sieci neuronowej oraz sposobu jej strukturalizacji oraz uczenia w przykładowym zadaniu (diagnostyka wibroakustyczna przekładni) Strukturę sieci można wybrać samemu albo można do jej wyboru użyć algorytm genetyczny Te sieci już sobie znakomicie radzą z zadaniem! Numer populacji Algorytm genetyczny nie zawsze daje dobre wyniki, więc trzeba także umieć samemu zaprojektować odpowiednią sieć Pierwsze pytanie do rozstrzygnięcia: Sieć liniowa czy nieliniowa? 2

3 Sieć liniowa jako najprostszy (ale użyteczny!) model regresyjny Przesłanki przemawiające za stosowaniem liniowej sieci neuronowej: Liniowa sieć neuronowa Iteracyjne uczenie sieci liniowej nie jest konieczne, gdyż może być zastąpione procedurą pseudo-inwersji macierzy Popatrzmy bowiem, jak działa liniowa sieć neuronowa: jest doskonałym narzędziem do opisu zależności liniowych, stanowi punkt odniesienia przy ocenie modeli nieliniowych, struktura i uczenie nie stwarza żadnych problemów. x 1 x 2 x n w 11 w 21 y 1 y 1 = w 11 x 1 + w 21 x w n1 x.. n w n1 y k = w 1k x 1 + w 2k x w nk x n y k W zapisie macierzowym: Y = W X Liniowa sieć neuronowa Prawdziwa sieć liniowa ma z reguły wiele wyjść, dlatego jest często przedstawiana w sposób przytoczony na tym obrazku P X W 1 W 2 Y X W Y Sieć liniowa z zasady nie posiada warstw ukrytych, bo nawet jeśli się je wprowadzi, to nie wzbogacą one zachowania sieci P = W 1 X Y = W 2 P Y = W 2 W 1 X Y = W X ; W = W 1 W 2 Sieć nieliniowa - Perceptron wielowarstwowy P X W 1 W 2 P = [W 1 X] Y = [ W 2 P ] Y = [ W 2 [ W 1 X ] ] Y W perceptronie na skutek istnienia nieliniowości w neuronach ukrytych nie jest możliwe zwinięcie jego wielowarstwowej struktury Dlatego najpowszechniej używana architektura sieci to klasyczny perceptron wielowarstwowy oznaczany jako MLP 3

4 Skala możliwości sieci zależy od liczby warstw Struktura sieci nieliniowej Typ obszaru decyzyjnego Przykładowy kształt obszaru na płaszczyźnie sygnałów wejściowych Zdolność do rozwiązania zadania klasyfikacji Ale ile warstw zastosować? X 1 X 2 X 1 X 2 X 1 Jedno-warstwowa X 2 Dwu-warstwowa Trój-warstwowa półprzestrzeń ograniczona przez hiperpłaszczyznę wypukłe oraz jednospójne ograniczone hiperpłaszczyznami simpleksy dowolny obszar o złożoności ograniczonej wyłącznie liczbą neuronów X 2 X 2 X 2 X 1 X 1 X 1 Trójwarstwowa sieć neuronowa Ważne pytanie: Liczba wejść? Optymalny wybór danych wejściowych jest problemem NP-trudnym, ponieważ przestrzeń wyborów jest określona przez liczbę kombinacji k-elementowych podzbiorów w n-elementowym zbiorze danych Ta liczba kombinacji wyraża się wzorem: n k n! n k! k! Dla całkiem niewielkich wartości n i k można uzyskać ogromne liczby kombinacji! 4

5 Kontrahent Kontrahent Przy ustalaniu, ile wejść ma mieć sieć neuronowa trzeba wziąć pod uwagę fakt, że nieliczne (z reguły) dane uczące będą w przestrzeni o większym wymiarze bardzo mocno rozproszone Produkt Czas 300 Przykładowo przy założeniu że różnorodność produktów wynosi 100 elementów, parametr kontrahent ma 500 elementów a wymiar czas 365 dni - przestrzeń wejściowa będzie zawierała 500*100*365 = komórek. Czas Czas sepal - listek kielicha / płatek kielicha kwiatowego petal - płatek Przykład tego, że do prawidłowego działania sieci wystarczy użycie tylko części dostępnych danych wejściowych Przykładowe zagadnienie: rozpoznawanie irysów Dane In the 1920's, botanists collected measurements on the sepal length (X 1 ), sepal width(x 2 ), petal length (X 3 ), and petal width (X 4 ) of 150 iris specimens, 50 from each of three species (Setosa, Versicolour and Virginica). In 1936, R.A. Fisher created this data set and did some research work on it. The measurements became known as Fisher's iris data. It was updated by C. Blake. Setosa Rozkład danych irysów 5

6 Sieć potrafi w procesie uczenia odrzucić nieprzydatne dane wejściowe. Poniżej podana struktura sieci rozpoznającej irysy po procesie uczenia Kategorie lingwistyczne s, m, l oznaczają odpowiednio wartości małe, średnie i duże. Liczba wejść do sieci powinna być też limitowana ze względu na fakt, że od każdego wejścia do każdego elementu warstwy ukrytej będzie musiało w sieci być połączenie, oraz współczynnik wagowy, którego wartość trzeba będzie wyznaczyć w wyniku procesu uczenia. Dlatego zwłaszcza przy sieciach wykorzystywanych do analizy obrazów musimy wybierać dane wprowadzane na wejście sieci w sposób bardzo przemyślany Tymczasem wzrost liczby współczynników wymagających uczenia nie jest okolicznością korzystną! Liczba współczynników wagowych, jakie trzeba wyznaczyć w toku uczenia wyznacza bowiem minimalną niezbędną liczbę danych uczących, które są konieczne do tego, żeby sieć nie weszła w pułapkę uczenia się na pamięć Podstawową wielkością określającą ryzyko uczenia na pamięć jest tzw. miara Vapnika- Chervonenkisa, zwana w skrócie VCdim. Miara VCdim systemu została zdefiniowana jako liczebność n największego zbioru S danych wzorców, dla których system klasyfikujący może zrealizować wszystkie możliwe 2 n dychotomii liniowych zbioru S Dychotomia liniowa to podział zbioru na 2 części za pomocą formuł liniowych, czyli w N-wymiarowej przestrzeni za pomocą hiperpłaszczyzn (N-1)-wymiarowych. 6

7 Podstawową wielkością określającą ryzyko uczenia na pamięć jest tzw. miara Vapnika- Chervonenkisa, zwana w skrócie VCdim. Miara VCdim systemu została zdefiniowana jako liczebność n największego zbioru S danych wzorców, dla których system klasyfikujący może zrealizować wszystkie możliwe 2 n dychotomii liniowych zbioru S Dychotomia liniowa to podział zbioru na 2 części za pomocą formuł liniowych, czyli w N-wymiarowej przestrzeni za pomocą hiperpłaszczyzn (N-1)-wymiarowych. Podstawową wielkością określającą ryzyko uczenia na pamięć jest tzw. miara Vapnika- Chervonenkisa, zwana w skrócie VCdim. Miara VCdim systemu została zdefiniowana jako liczebność n największego zbioru S danych wzorców, dla których system klasyfikujący może zrealizować wszystkie możliwe 2 n dychotomii liniowych zbioru S Dychotomia liniowa to podział zbioru na 2 części za pomocą formuł liniowych, czyli w N-wymiarowej przestrzeni za pomocą hiperpłaszczyzn (N-1)-wymiarowych. Dla pojedynczego neuronu o N wejściach miara VCdim wynosi N+1 Dla przykładu VCdim dla neuronu o dwóch wejściach wynosi n=3. Łatwo można wykazać, że zbiór złożony z trzech danych uczących jest największym zbiorem, w którym można przeprowadzić podział na dwie liniowo separowalne grupy na 2 3 = 8 sposobów: Jednak o ile łatwo jest wyznaczyć wartość VCdim dla pojedynczego neuronu, o tyle w przypadku sieci neuronowej nie jest to już takie proste Niestety nie istnieje prosty związek między architekturą sieci wielowarstwowej, a miarą VCdim. Można podać jedynie oszacowanie górnego i dolnego zakresu tej miary: gdzie: K 2 N VC dim 2N w 1 log N n 2 [ ] oznacza część całkowitą liczby, N wymiar wektora wejściowego, K liczba neuronów w warstwie ukrytej, N w całkowita liczba wag w sieci, N n całkowita liczba neuronów w sieci K 2 N VC dim 2N w 1 log N n 2 Jak widać z powyższej zależności, dolna granica przedziału jest w przybliżeniu równa liczbie wag łączących warstwę wejściową z warstwą ukrytą, górna granica natomiast jest większa niż dwukrotna liczba wszystkich wag sieci. Oszacowanie miary VCdim umożliwia ocenę minimalnego wymiaru zbioru uczącego. W wyniku przeprowadzenia wielu testów numerycznych stwierdzono dobre zdolności uogólniania sieci, jeśli liczba próbek uczących jest 10 razy większa od miary VCdim 7

8 Przykład z badań autora: w zadaniu prognozowania zapotrzebowania na energie elektryczną kolejno usuwano najmniej znaczące wejścia Z drugiej strony nie zawsze ograniczenie wymiaru sieci jest korzystne, bo w oczywisty sposób pomniejsza jej zdolność do rozwiązywania powierzonego jej zadania. Często redukcja wymiaru znacznie polepsza wyniki sieci. Najlepszy okazał się model o 7 zmiennych wejściowych Kolejny problem: Ile danych wejściowych zastosować? Kolejny istotny problem wiąże się z ustaleniem, ile elementów powinna mieć warstwa ukryta?... duża z pewnością sprawi więcej kłopotów podczas uczenia? Mała może się okazać zbyt prymitywna, żeby sobie poradzić z trudnością rozwiązywanego zadania... Jako dobre przybliżenie można przyjąć liczbę neuronów w warstwie ukrytej jako średnią geometryczną wymiarów wejść i wyjść sieci: K NM 8

9 skuteczność klasyfikacji [%] Jakość działania sieci Q Stosowane są też inne formuły: n ukr Sieci o większej liczbie neuronów ukrytych osiągają lepsze wyniki uczenia nwej liczba neuronów ukrytych nwyj 2 Jest wiele dowodów na to, że sieci o większej liczbie neuronów w warstwie ukrytej lepiej sobie radzą z rozwiązywaniem różnych zadań Liczba neuronów ukrytych n decyduje o jakości działania sieci Q. Wskaźnik Q jest tak dobrany, że im większa wartość tym lepsza sieć Przykład: zadanie rozpoznawania 75 znaków n. (liter) 96 na podstawie różnej liczby cech (50, 100 i 150) przez 50 n. sieci 94mające 100, 2575, n. 50 i 25 neuronów ukrytych n. 75 n. 50 n. 100 n. 75 n. 50 n. 100 n. 25 n. 50 cech 100 cech 150 cech sieć jest zbyt mało inteligentna Jakość działania sieci nie zależy od wielkości warstwy ukrytej sieci, czyli od jej inteligencji n szybkość klasyfikacji [zn/s] Liczba neuronów ukrytych n informatyka + 52 IQ Q W zasadzie można by było na tym poprzestać, popatrzmy jednak, co się stanie, kiedy zamienimy n na m oraz Q na IQ. Wykres ten przedstawia teraz znaną z psychologii zależność miary inteligencji człowieka (IQ to tzw. iloraz inteligencji) w zależności od masy jego mózgu m! m n informatyka + 53 Przykładowa zależność błędu popełnianego przez sieć od liczby neuronów ukrytych 100 Błąd Liczba neuronów ukrytych 9

10 Jakość działania sieci Q Strukturę sieci można uzupełniać w trakcie uczenia Również w wyborze liczby elementów drugiej warstwy ukrytej (jeśli występuje) trzeba zachować umiar. Na rysunku liczba neuronów w pierwszej warstwie ukrytej odkładany jest na poziomej osi, a liczba neuronów w drugiej warstwie pokazana jest kolorem. Obraz skuteczności uczenia sieci z dwiema warstwami ukrytymi w zależności od liczby neuronów w obu warstwach Inny przykład podobnych (niemonotonicznych) zależności Duży obszar równomiernie dobrych rozwiązań Druga warstwa ukryta Jednak jest równie wiele przykładów, że niekorzystne jest zarówno użycie zbyt prostej, jak i zbyt skomplikowanej sieci Mało skomplikowane sieci szybko się uczą i wykazują powtarzalne zachowanie, chociaż jest to często zachowanie błędne Wyniki kolejnych prób uczenia za małej sieci Sieć zbyt prosta (jeden neuron) Sieć zbyt skomplikowana 10

11 Mamy proste zadanie: sieć ma odwzorować zależność typu y = f(x) y e 0.2x sin x Proporcje liczby neuronów w poszczególnych warstwach Bierzemy sieć o typowej strukturze: uczymy ją a potem egzaminujemy: x y X elementy uczące O elementy egzaminujące --- odpowiedź sieci Widać, że sieć marnie sobie radzi Wniosek: sieć o tej strukturze: jest za słaba żeby nauczyć się odwzorowania y e 0.2x sin x Zaznaczona jako odpowiedź sieci odwzorowuje tylko nieliczne elementy uczące X Co gorsza zupełnie źle odwzorowuje ta elementy egzaminujące O, które nie były pokazywane w zbiorze uczącym, co oznacza brak zdolności do generalizacji wiedzy. Trzeba sieci dołożyć trochę inteligencji, to znaczy dodać kilka neuronów. Tylko jak to najskuteczniej zrobić? Najlepiej jest (zawsze!) dodać neurony wejściowe niosące dodatkową informację: e 0. 2x x sin x Takie doładowanie sieci dodatkową wiedzą radykalnie polepsza jej działanie zarówno w zakresie interpolacji jak i w zakresie ekstrapolacji y Dołożenie dwóch neuronów na wejściu przyniosło znakomity efekt, ale to dzięki temu, że na tych dwóch wejściach podane zostały dodatkowe informacje wejściowe dobrze skojarzone z natura rozwiązywanego zadania. Nieco mniej efektowny, ale łatwiejszy do powtórzenia sukces można odnieść dokładając dodatkowe dwa neurony do warstwy ukrytej. Taka sieć o większej wrodzonej inteligencji poradzi sobie wyraźnie lepiej z zadaniem, niż sieć o mniejszych zasobach elementów ukrytych Dla porównania przypomnijmy 11

12 Czasem może pojawić się pokusa, żeby dodatkowe neurony dołożyć w postaci elementów dodatkowej warstwy ukrytej Rozwiązanie takie jest zawsze wyraźnie gorsze! Warto zauważyć, że wyraźnie gorszy efekt uzyskuje się, gdy pierwsza warstwa ukryta jest mniej liczna, niż druga. Reprezentacja danych w sieciach neuronowych Wynika to z faktu, że ciasna pierwsza warstwa ukryta stanowi wąskie gardło dla informacji przesyłanych z wejścia na wyjście Całkiem poważnym problemem jest sposób reprezentacji danych w sieci neuronowej Jeśli dane mają od początku charakter numeryczny to problemu nie ma najwyżej trzeba je przeskalować Uwaga: przy skalowaniu należy unikać wchodzenia w obszar nasycenia charakterystyki neuronu cel skalowania: dopasowanie zakresu wartości zmiennej do charakterystyki neuronu y :=1/(1+exp(-0.5*x)) Typowo stosowane formuły skalowania xi min( xi ) x i max( x ) min( x ) i xi min( xi ) x i 2 1 max( x ) min( x ) x i i xi min( xi ) ( b a) a max( x ) min( x ) i i i i 12

13 Czasem korzysta się też z formuły angażującej wartość średnią i odchylenie standardowe xˆ x x ( x) Gorzej, jeśli dane mają charakter jakościowy. Konieczne jest wtedy przekształcenie jeden-z-n Jeden-z-N to sposób na przekształcenie wartości nominalnych do postaci numerycznej. Przykład: Pochodzenie ={Azja, Ameryka, Europa} Azja: {1, 0, 0} Ameryka: {0, 1, 0} Europa: {0, 0, 1} jedna zmienna trzy neurony! Obszar najczęstszego stosowania kodowania 1 z N: Klasyfikacja wzorcowa Sposób prezentacji danych jakościowych zgodnie z metodą 1 z N Celem klasyfikacji wzorcowej jest przypisanie badanych obiektów do jednej ze znanych klas. Zaklasyfikowanie obiektu dokonywane jest na podstawie wartości opisujących go zmiennych. wartości zmiennych charakteryzujących klasyfikowane obiekty Sieć neuronowa identyfikator klasy Przykład reprezentacji 1-z-N (rozpoznawanie znaków alfanumeryczych) q w e r t Mało wyraźne C : C Właściwej interpretacji wymagają też dane wyjściowe, otrzymywane z sieci jako rozwiązanie postawionego zadania Jeśli wymagane są wyniki numeryczne, to sprawa jest prosta, bo wystarczy je odczytać na wyjściach neuronów i tylko odpowiednio przeskalować. Trudności zaczynają się wtedy, gdy sieć pracuje jako klasyfikator, więc jej odpowiedzi trzeba interpretować jako decyzje. 13

14 y :=1/(1+exp(-0.5*x)) y :=1/(1+exp(-0.5*x)) Sieć z kodowaniem wyjść 1-z-n x 1 x 2... y 1 =0 y 2 =0 y 3 =1 y 4 =0 Idealna sytuacja związana użyciem zmiennej nominalnej na wyjściu sieci neuronowej x n Rzeczywisty rozkład wartości sygnałów w sieci neuronowej ze zmienną nominalną na wyjściu Przykład rozkładu sygnałów wyjściowych, przy którym lepiej jest nie wyznaczać wcale wartości zmiennej nominalnej, niż narazić się na błąd, który jest w tej sytuacji bardzo prawdopodobny Klasyfikacja w przypadku dwóch klas Warstwa wyjściowa - neuron z sigmoidalną funkcją aktywacji Reprezentacja klas: klasa 1 - wartość 1 klasa 2 - wartość 0 KLASA 1 próg akceptacji BRAK DECYZJI próg odrzucenia KLASA 2 Wartość wyjściowa neuronu może być interpretowana jako prawdopodobieństwo przynależności do klasy Klasyfikacja w przypadku większej liczby klas Każdej klasie odpowiada jeden neuron w warstwie wyjściowej. Aby obiekt został w sposób pewny zaliczony do i-tej klasy: wartość wyjściowa i-tego neuronu - wyższa od poziomu akceptacji, wartości wyjściowe pozostałych neuronów - niższe od poziomu odrzucenia. 1 0 KLASA głos 1za klasą i próg akceptacji BRAK DECYZJI próg odrzucenia KLASA wycofanie 2 klasy i Interpretacja wartości wyjściowych jako prawdopodobieństw przynależności do klas - konieczne jest ich sumowanie do jedności - zapewnia to funkcja aktywacji SoftMax 14

15 Sieć z wyjściami zblokowanymi (przy zmiennej wyjściowej typu nominalnego z wieloma możliwymi klasami wyjściowymi) MLP 15: :1 Przykład klasyfikacji binarnej i wieloklasowej Problem praktyczny: Czy wszystkie dostępne zmienne objaśniające należy wprowadzać na wejścia sieci? Wzrastająca liczba danych wejściowych uwzględnianych przy budowie modelu neuronowego prowadzi do wzrostu liczby połączeń, dla których trzeba w sieci ustalić wartości wag w toku uczenia Nie, w miarę możliwości należy ograniczać liczbę zmiennych wejściowych, Dlaczego? Bo stosując mniejszą liczbę zmiennych wejściowych uzyskujemy prostszą sieć, która: posiada mniejszą liczbę parametrów nastawianych podczas uczenia, a to powoduje łatwiejsze uczenie i daje lepsze zdolności do generalizacji, ma krótszy czas uczenia, gdyż mniej jest danych A tymczasem pamiętamy: ilość informacji, jakie zdobywa (i utrwala) sieć w czasie uczenia jest nie większa, niż ilość informacji zawarta w zbiorze uczącym! MLP czy RBF? 15

16 Każdy model budowany z pomocą sieci neuronowych klasy MLP cechuje zwykle obecność urwisk sigmoidalnych Inny przykład funkcji rozważanego typu Przykład działania sieci MLP Przykład zadania klasyfikacyjnego i jego rozwiązanie uzyskane z użyciem sieci MLP i techniki urwisk sigmoidalnych Często w różnych warstwach sieci MLP neurony mają różne charakterystyki, zarówno nieliniowe jak i liniowe Inne zadanie klasyfikacyjne i jego dwa rozwiązania 16

17 Typowa sieć RBF Technika ta jest szczególnie przydatna przy wyodrębnianiu obszarów o kształcie wydzielonych wysp Jednak złożenie takich elementarnych wiadomości pochodzących od różnych danych uczących pozwala wypowiadać się na temat całych rejonów przestrzeni sygnałów wejściowych Sieci MLP w zadaniu klasyfikacji Y X Y Sieci RBF w zadaniu klasyfikacji Zastosowanie RBF (zamiast MLP) spowoduje, że sieć neuronowa znajdzie aproksymację lepiej dopasowaną do lokalnych właściwości zbioru danych, ale gorzej ekstrapolującą. MLP RBF X Funkcja bazowe Wynik dopasowania 17

18 Ekstrapolacja i interpolacja Sieci RBF bywają nadmiernie wrażliwe na nawet nieliczne błędy w danych uczących Przykład dobrego i złego dopasowania wartości wyjściowych uzyskiwanych z sieci radialnej Dla tego samego zadania (rozpoznawania raka jajnika) sieć MLP i RBF Typ : MLP 11:29-7-1:1 Jakość ucz. = 0,943333, Jakość test. = 1, Typ : RBF 13: :1 Jakość ucz. = 0,908333, Jakość test. = 0, Złe dostosowanie spowodowane tym, że funkcja charakterystyczna jest zbyt wąska Złe dostosowanie spowodowane tym, że funkcja charakterystyczna zbyt jest szeroka Sieć z radialnymi funkcjami bazowymi używanymi pomocniczo A tak wygląda struktura innej praktycznie użytecznej sieci klasy GRNN warstwa wejściowa służy do wprowadzania danych do sieci warstwa radialna każdy z neuronów reprezentuje grupę (skupienie) występujące w danych wejściowych warstwa regresyjna wyznacza elementy niezbędne do obliczenia wartości wyjściowej warstwa wyjściowa wyznacza odpowiedź sieci 18

19 Połączenie w sieci GRNN właściwości neuronów RBF (z charakterystyką w formie funkcji Gaussa) oraz neuronów MLP (z charakterystyką sigmoidalną) pozwala modelować wyjątkowo wyrafinowane zależności nieliniowe) Idea działania sieci realizujących regresję uogólnioną (GRNN -Generalized Regression Neural Network) Wejściowe wektory uczące dzielone są na skupienia - w szczególnym przypadku każdy wektor tworzy oddzielne skupienie, Dla każdego skupienia znana jest wartość zmiennej objaśnianej (wyjście sieci), wartość zmiennej objaśnianej dla dowolnego wektora wejściowego szacowana jest jako średnia ważona liczona z wartości tej zmiennej dla skupień - wagi uzależnione są od odległości wejścia od centrów skupień. Następnym zagadnieniem, które warto rozważyć, jest problem ilości wyjść Częsty dylemat twórcy sieci: czy zastosować jedną sieć o wielu wyjściach, czy kilka oddzielnych sieci mających te same sygnały wejściowe, ale każdorazowo tylko jedno wyjście? Na pozór sprawa jest oczywista i z góry przesądzona: Sieć, która powinna dostarczyć k rozwiązań powinna mieć k neuronów wyjściowych W związku z tym sieć, która na podstawie trzech danych wejściowych ma wyznaczyć dwa sygnały wyjściowe powinna wyglądać tak: Nie zawsze jednak to rozumowanie jest poprawne! Załóżmy, że uczymy jedną sieć neuronową o dwóch wyjściach A oraz B. A B Lepiej jest wtedy zbudować dwie osobne sieci: A Pewnym rozwiązaniem pośrednim jest sieć z wieloma wyjściami ale z rozdzieloną warstwą ukrytą W neuronach obu warstw ukrytych będą musiały być zgromadzone informacje potrzebne do wyznaczania wartości A oraz B. Czasem może to być korzystne, wtedy gdy między wyjściami zachodzi synergia i doskonaląc pracę sieci zmierzającą do wyznaczania poprawnych wartości A przy okazji gromadzi się wiedzę przydatna przy wyznaczaniu wartości B. Częściej jednak bywa tak, że między wyjściami jest konflikt i wyznaczając wartości przydatne do obliczenia A psujemy wartości potrzebne dla B i vice versa. Każdą z nich można wtedy będzie w całości optymalnie dostroić do obliczania wymaganego wyjścia A albo B. B 19

20 Zasada połączeń każdy z każdym skutkuje tym, że w sieci neuronowej jest wiele niepotrzebnych połączeń. Można je eliminować technikami usuwania niepotrzebnych połączeń już po nauczeniu sieci. Inny przykład redukowania struktury sieci po jej nauczeniu Struktury sieci odzwierciedlają czasem pomysł autora chcącego na przykład wspomagać rozpoznawanie przy użyciu opinii udzielanych przez ekspertów Przykład usuwania niepotrzebnych połączeń z sieci o nietypowej strukturze Dla ilustracji rozważanych problemów przyjrzyjmy się, jak rozwiązują problem uczenia sieci o różnej architekturze Wyobraźmy sobie przestrzeń percepcyjną pewnego zwierzaka. Postrzega on otoczenie za pomocą wzroku i słuchu, więc każde środowisko stanowi dla niego punkt na płaszczyźnie dźwięku i światła. Dźwięk Tu jest głośno i ciemno (dyskoteka) Tu jest cicho i ciemno (sypialnia) Przedmiotem uczenia będzie to, w jakim środowisku zwierzak się dobrze czuje Światło Tu jest jasno i gwarno A tu są dane dla konkretnego środowiska w którym umieszczamy naszego zwierzaka. Tu jest cicho i jasno (plaża) Samopoczucie zwierzaka będzie sygnalizowane przez kolor odpowiednich punktów w przestrzeni sygnałów wejściowych Dźwięk Tu zwierzak jest zadowolony Światło Tu zwierzak jest nieszczęśliwy 20

21 Dźwięk Dźwięk Przykładowa mapa samopoczucia zwierzaka Mapę taką będziemy dalej rysowali zwykle w postaci wygładzonej: Informację o tym, jak się powinien zachowywać, zwierzak dostawać będzie w postaci zbioru uczącego, składającego się z przypadkowo wylosowanych punktów ( środowisk ) do których przypisane będą wymagane przez nauczyciela stany samopoczucia (sygnalizowane kolorem) Światło Oto przykładowy zbiór uczący......wygenerowany dla tej mapy Zakładamy, że pomiędzy stanami: pełnego szczęścia: i całkowitej depresji: Możliwe są jeszcze stany pośrednie, które będziemy oznaczać kolorami podobnymi, jak na mapach geograficznych pośrednie wysokości pomiędzy szczytami (entuzjazmu) a dnem (melancholii). Przykładowa mapa: Wyposażmy naszego zwierzaka w mózg w postaci bardzo prostej jednowarstwowej sieci neuronowej i spróbujmy przeprowadzić jego uczenie Zaczniemy od próby wyuczenia zwierzaka, żeby lubił gwarne śródmieście w samo południe: Światło Zwierzak początkowo wcale nie ma na to ochoty, bo jego zachowanie Jasno i wynikające z początkowych bardzo (przypadkowych!) wartości wag głośno! neuronów obrazuje mapa: Jest to jak widać zwolennik dyskoteki i sypialni (?) Ale zwierzak nam się trafił! No to zaaplikujemy zwierzakowi uczenie Po kolejnych kilku epokach uczenia zwierzak już wie, o co chodzi: Wzorzec Stan Początek Dalszy etap początkowy uczenia uczenia Już się dostosował! Widać, że na początku ma opory, ale powoli zaczyna się uczyć... 21

22 Poprzednie zadanie udało się rozwiązać, bo było bardzo proste, więc bardzo głupiutki zwierzak (sieć neuronowa bez warstw ukrytych) zdołał się go nauczyć. Zobaczmy jednak, jak ta sama sieć będzie się uczyć trudniejszego zadania. Niech zadanie polega na stworzeniu preferencji dla złotego środka Nasz zwierzak miota się i zmienia swoje upodobania, ale mimo dowolnie długiego uczenia nie zdoła wykryć, o co tym razem chodzi! Wyposażmy go więc w bardziej skomplikowany mózg zawierający pewną liczbę neuronów ukrytych. Teraz proces uczenia przebiega zupełnie inaczej. Sieć startuje od stanu totalnego optymizmu (prawie wszystko się zwierzakowi podoba!). Zauważmy: Ten cyber-kretyn nigdy się nie nauczy robić tego, czego się od niego wymaga, ale jego poglądy są zawsze bardzo kategoryczne (wszystko jest albo bardzo dobre, albo bardzo złe) chociaż za każdym razem niestety błędne... Wystarczy jednak kilka niepowodzeń w trakcie procesu uczenia, by zwierzak popadł w stan totalnego pesymizmu Potem jednak proces uczenia przebiega coraz skuteczniej i kończy się całkowitym sukcesem Dostał kilka razy karę od nauczyciela i się załamał! 22

23 Ta sama sieć wystartowana powtórnie (z innymi początkowymi wartościami wag) także dochodzi do właściwego rozwiązania, chociaż inną drogą. Dzięki prostemu programowi symulacyjnemu można zebrać bardzo wiele podobnych historii uczenia. Porażka sieci z jedną warstwą ukrytą Inny przykład Sieć z dwoma warstwami ukrytymi (powyżej) radzi sobie z problemem, który przerasta możliwości sieci z jedną warstwą ukrytą Oto jeszcze jedna przykładowa historia uczenia sieci o większej złożoności Koniec wykładu o wyborze struktury sieci Takie zabawy można kontynuować bez końca! 23