SZTUCZNA INTELIGENCJA WYKŁAD 8. SZTUCZNE SIECI NEURONOWE INNE ARCHITEKTURY Częstochowa 24 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska
SIEĆ O RADIALNYCH FUNKCJACH BAZOWYCH (RBF) Funkca aktywaci: G i ( ) ep C i = 2 σ i 2 gdzie:. - norma euklidesowa, C centrum, σ parametr decyduący o szerokości funkci radialne. σ <σ 2 <σ 3 G().5 σ σ 2 σ 3 2 4 C 6 8 Wyście: K + w ig i ( ) i= F( ) = w 2
SIEĆ RBF Sieć RBF uczy się tróetapowo:. ustala się liczbę neuronów w warstwie ukryte oraz dobiera się centra funkci radialnych (np. metodami grupowania danych), 2. wyznacza się szerokości pól recepcynych (σ) każdego neuronu ukrytego (np. ako funkcę odległości między centrami), 3. oblicza się wagi powiązań między warstwą ukrytą i wyściową w = ( G' T G') gdzie G' to macierz odpowiedzi warstwy ukryte na wszystkie wektory uczące, rozszerzona o wiersz edynek, Y macierz pożądanych odpowiedzi dla wszystkich wektorów uczących. G' T Y 3
SIEĆ RBF Aproksymaca funkci wielowarstwowym perceptronem (po lewe) i siecią RBF (po prawe) (a) Wyścia neuronów warstwy ukryte (a) z i.5 -.5 z i.8.6.4.2 (b) - - -.5.5 2 - -.5.5 Weścia do neuronu warstwy wyściowe i odpowiedź sieci (b) 2 z i v i, y - z i v i, y -2 - -.5.5 - - -.5.5 4
SIEĆ GRNN GRNN (Generalized Regression Neural Network) sieć neuronowa realizuąca regresę uogólnioną Liczba neuronów radialnych = liczbie punktów uczących. Odpowiedzi warstwy z neuronami radialnymi przemnażane są przez wartości pożądanych odpowiedzi (G T Y), a wynik L dzielony est przez sumę odpowiedzi neuronów radialnych M. W trakcie treningu ustala się edynie szerokości funkci radialnych σ. Wyście: F( ) N = = N G = G y 5
SIEĆ GMDH GMDH (Group Method of Data Handling) sieć wielomianowa; adaptacyna rozbudowa sieci. Sieć GMDH realizue tzw. wielomian Iwachnienki. Wielomian ten, zaimplementowany w strukturze sieci, ewoluue od postaci elementarne do optymalne poprzez selekcę różnych kombinaci prostych modeli cząstkowych. Modele cząstkowe (realizowane przez neurony) to funkce dwóch zmiennych i i : 2 2 f ( i, ) = a + ai + a2 + ai + a22 + a2 gdzie: i i sygnały weściowe neuronów, a współczynniki. i 6
SIEĆ GMDH Sposób syntezy sieci GMDH: Tworzy się warstwę weściową neuronów; każdy z nich realizue funkcę f( i, ) dla inne kombinaci sygnałów weściowych i,. Dla każdego neuronu określa się współczynniki wielomianu f( i, ) minimalizuące błąd aproksymaci (np. metodą namnieszych kwadratów). Selekca neuronów usuwane są te neurony, dla których obserwue się duży błąd. Analogicznie budue się kolene warstwy, przy czym sygnałami weściowymi do neuronów są sygnały wyściowe z neuronów zoptymalizowane warstwy poprzednie. Proces syntezy sieci GMDH należy przerwać w momencie wzrostu wartości błędu w kolenych warstwach lub gdy błąd ten osiąga zadany próg. Warstwa, w które została osiągnięta satysfakconuąca wartość błędu pełni rolę warstwy wyściowe z ednym neuronem zwycięskim. Neurony z warstwy wyściowe oraz warstw wewnętrznych, które nie prowadzą do neuronu zwycięskiego są usuwane. 7
SIEĆ Z ROZSZERZENIEM FUNKCYJNYM Wektor weściowy est poszerzony o funkce składowych wektora oryginalnego. Naczęście są to funkce ortogonalne: sinπ, cosπ, sin2π, cos2π itd. lub iloczyny poszczególnych składowych wektora oryginalnego: i, i k, k, i k itd. Rzutowanie danych weściowych na przestrzeń o większe liczbie wymiarów pozwala uprościć problem. Zysk: zamiast skomplikowane wielowarstwowe sieci można zastosować edną warstwę neuronów krótszy czas uczenia 8
SIEĆ TYPU COUNTERPROPAGATION Sieć CP zawiera warstwę z konkurencyną regułą uczenia bez nadzoru (warstwa Kohonena) oraz warstwę Grossberga uczoną z nauczycielem. W warstwie Grossberga uczeniu podlegaą tylko wagi powiązań zwycięzcy z neuronami wyściowymi według reguły outstar Grossberga: w k = η (y k w k ) Warstwa konkurencyna dzieli dane weściowe na skupiska reprezentowane przez wagi weściowe neuronu konkurencynego. Wagi wyściowe neuronu konkurencynego stanowią wyścia sieci. Sieć CP może działać w dwóch kierunkach: X Y lub Y X. 9
SIEĆ REKURENCYJNA HOPFIELDA Sieć Hopfielda pamięć asocacyna: zadaniem sieci est zapamiętanie zbioru wzorców uczących w taki sposób, aby w trakcie odtwarzania przy prezentaci nowego wzorca układ mógł wygenerować odpowiedź, która będzie odpowiadać ednemu z wzorców uczących, położonemu nabliże próbki testowe. Występuą tu zależności dynamiczne, a zmiana stanu ednego neuronu przenosi sie na całą sieć. Zakłada się symetryczność połączeń w i = w i i brak połączenia wyścia i-tego neuronu z ego weściem. Dobór wag: W T = X( X X) X T
SIEĆ REKURENCYJNA HOPFIELDA Tryb odtworzeniowy Wyznacza się odpowiedzi sieci w kolenych iteracach k przy czym y i () = i, gdzie to wzorzec testowy podany na weście. Proces kończy się gdy sieć osiądzie w atraktorze (stan stabilny): Sieć potrafi odtworzyć nauczony wzorzec na podstawie uszkodzonego lub zaszumionego wzorca weściowego: