Odporne na wpływ tolerancji, słownikowe metody diagnostyki uszkodzeń układów elektronicznych ze specjalizowanym klasyfikatorem neuronowym

Transkrypt

1 POLITECHNIKA GDAŃSKA Wydział Elektroniki, Telekomunikacji i Informatyki Michał Kowalewski Odporne na wpływ tolerancji, słownikowe metody diagnostyki uszkodzeń układów elektronicznych ze specjalizowanym klasyfikatorem neuronowym Rozprawa doktorska Promotor: prof. dr inż. Romuald Zielonko Wydział Elektroniki, Telekomunikacji i Informatyki Politechnika Gdańska Gdańsk, 2010

2 Spis treści: Wykaz ważniejszych oznaczeń i skrótów Wstęp Wprowadzenie Cel i teza pracy Treść pracy Klasyfikatory neuronowe w diagnostyce elektronicznej Podstawowe modele neuronów Architektury sieci neuronowych Metody uczenia sieci neuronowych jednokierunkowych Zdolności uogólniające sieci neuronowych Podstawowe typy klasyfikatorów w diagnostyce AUE Sieci sigmoidalne Metody uczenia sieci sigmoidalnych Sieci z radialnymi funkcjami bazowymi Metody uczenia sieci radialnych Sieci samoorganizujące się Zasoby sprzętowe i programowe nowych generacji mikrokontrolerów Zasoby sprzętowe mikrokontrolerów Częstotliwości pracy mikrokontrolerów Zasoby programowe mikrokontrolerów Języki programowania Wybór mikrokontrolera sterującego testerem IµBIST Metody konstrukcji słownika uszkodzeń Uwagi ogólne Metody konstrukcji krzywych identyfikacyjnych w dziedzinie częstotliwości Metody konstrukcji krzywych identyfikacyjnych w dziedzinie czasu Wybór pobudzenia Wybór punktów próbkowania Zastosowanie analizy składowych głównych w konstrukcji słownika uszkodzeń Uwagi końcowe Specjalizowane sieci neuronowe z dwucentrowymi radialnymi funkcjami bazowymi Konstrukcja dwucentrowej radialnej funkcji bazowej Konstrukcja funkcji DRB ze stałym współczynnikiem skalującym Konstrukcja funkcji DRB ze zmiennym współczynnikiem skalującym

3 Algorytm obliczania wartości funkcji DRB Architektura klasyfikatora neuronowego DRB Metoda wyznaczania parametrów klasyfikatora DRB Dobór centrów funkcji DRB Dobór parametrów skalujących funkcji DRB Ustalenie połączeń między warstwą ukrytą a wyjściową Wstępne badania symulacyjne Porównanie klasyfikatora DRB i sieci radialnej Porównanie klasyfikatora DRB i sieci sigmoidalnej Podsumowanie Specjalizowane sieci neuronowe z dwucentrowymi elipsoidalnymi funkcjami bazowymi Konstrukcja dwucentrowej elipsoidalnej funkcji bazowej Konstrukcja funkcji DEB ze stałym współczynnikiem skalującym Konstrukcja funkcji DEB ze zmiennym współczynnikiem skalującym Hybrydowa sieć neuronowa z funkcjami DEB i DRB Metoda wyznaczania parametrów klasyfikatora DEB Dobór macierzy i parametrów skalujących funkcji DEB Wyznaczenie macierzy skalujących funkcji DEB Wyznaczenie parametrów skalujących funkcji DEB Wstępne badania symulacyjne Lokalizacja uszkodzeń pojedynczych Lokalizacja uszkodzeń pojedynczych i wielokrotnych Podsumowanie Implementacja finalna nowych neuronowych metod diagnostyki AUE Opracowanie systemu pomiarowego Optymalizacja obliczeniowa algorytmu diagnostycznego Konstrukcja stałoprzecinkowej dwucentrowej funkcji bazowej SDB Architektura klasyfikatora neuronowego z funkcjami SDB Optymalizacja macierzy i parametrów skalujących funkcji SDB Badania doświadczalne nowych metod diagnostycznych na wybranych układach testowych Porównanie metod i wnioski końcowe Podsumowanie Bibliografia

4 Wykaz ważniejszych oznaczeń i skrótów Oznaczenia A macierz skalująca elipsoidy koncentracji f S A1, A2, B obszary w przestrzeni R n ograniczone elipsoidami f a1 i f a2 a d, a g wektory przechowujące współczynniki macierzy A d, A g A d, A g macierz trójkątna dolna, górna b liczba bitów c (0) wierzchołek stożka Λ c (1), c (2) centra dwucentrowej funkcji bazowej C macierz skalująca d = [d 1, d 2,..., d K ] T wektor wartości żądanych D macierz zawierająca wektory żądane d ( π i, π j) odległość między hiperpłaszczyznami π i i π j d max maksymalna odległość pomiędzy krzywą nominalną a interpolującą E(W) funkcja celu E L, E T błąd klasyfikacji na zbiorze uczącym, testującym F dystrybuanta rozkładu χ 2 f 0, f 1, f 2, f a1, f a2, f m sfera lub elipsoida f C, f S elipsoidy koncentracji F i funkcja układowa parametru p i G macierz wartości funkcji bazowych G(i, x k ) funkcja sąsiedztwa w sieci Kohonena g(x) funkcja normalizacyjna G + macierz pseudoodwrotna do macierzy G H(W) macierz drugich pochodnych (hesjan) h(x) funkcja pomocnicza h opt optymalna wartość miary VCdim K liczba neuronów wyjściowych K 0 klaster stanu nominalnego K 1, K 2 klaster w otoczeniu centrum c (1), c (2) K ik k-ty klaster na i-tej krzywej identyfikacyjnej K p rodzina rozproszonych krzywych identyfikacyjnych K u transmitancja napięciowa układu K w klaster uszkodzeń wielokrotnych L zbiór uczący m punkt w przestrzeni R n M liczba neuronów w warstwie ukrytej n, N wymiar przestrzeni n L, n T liczba danych uczących, testujących n m liczba symulacji UT w metodzie Monte-Carlo n p liczba punktów węzłowych sygnału odcinkowo-liniowego PWL n w liczba centrów na krzywej identyfikacyjnej O(h 3 ) składnik zawierający pochodne wyższych rzędów P liczba parametrów testowanego układu p(x) funkcja gęstości prawdopodobieństwa p, p(w) kierunek minimalizacji funkcji celu P, Q macierze ortogonalne w rozkładzie SVD p 12 prosta łącząca punkty c (1) i c (2) 3

5 p i i-ty parametr układu testowego p + i /p i minimalne, wykrywalne wartości uszkodzenia parametrycznego p imin, p imax minimalna oraz maksymalna wartość uszkodzenia parametrycznego p inom nominalna wartość parametru p i p m prosta przechodząca przez punkty c (0) i m P r prawdopodobieństwo Q macierz współczynników wagowych R zbiór danych wejściowych r 1,..., r n promienie elipsoidy koncentracji f S,..., r1 rn promienie elipsoidy koncentracji f C s odległość Mahalanobisa S macierz pseudodiagonalna w rozkładzie SVD s(x) funkcja skalująca S i elementy na głównej przekątnej macierzy S n S τ o p i, S τ U p p i, S pi wrażliwość parametrów τ n, τ 0 i U p na zmiany parametru p i T zbiór testujący t c czas wykonywania pojedynczej instrukcji mikrokontrolera t i i-ty moment próbkowania sygnału odpowiedzi układu testowego t min, t max początek oraz koniec czasu próbkowania w metodzie PCA tr(s) ślad macierzy S t w czas trwania pobudzenia U macierz wektorów własnych u 1,, u n wektory własne u i wartość napięcia wyjściowego w momencie próbkowania t i U m amplituda pobudzenia w postaci skoku napięcia U p przeregulowanie VCdim miara Vapnika-Chernovenkisa W macierz współczynników wagowych w = [w 1, w 2,..., w n ] T wektor współczynników wagowych neuronu w(x) wektor funkcji centrowych w 0 polaryzacja neuronu w c centrum neuronu konkurencyjnego w i (x) i-ta funkcja centrowa w ij element macierzy W x = [x 1, x 2,..., x n ] T wektor wejściowy y wartość wyjściowa y min minimalna wartość funkcji SDB Y we admitancja wejściowa układu β k współczynnik sprzężenia w algorytmie gradientów sprzężonych Γ( ) funkcja Gamma t odstęp czasu między punktami węzłowymi sygnału PWL η współczynnik uczenia Λ stożek λ 1,..., λ n wartości własne,..., λ1 λn wartości własne macierzy skalującej C µ = [ x,..., ] T 1 xn wektor wartości oczekiwanych π 0, π 1, π 2, π m hiperpłaszczyzna Σ macierz kowariancji 4

6 Σ + σ Φ ϕ(x) χ 2 Ω macierz pseudoodwrotna do macierzy S parametr skalujący funkcji bazowej macierz operatora liniowego w metodzie PCA funkcja bazowa rozkład Chi-kwadrat walec Skróty A/C ALU AUE BIST C/A CISC CPU DEB DRB EB FCM FPU GPIO HBIST IµBIST KM LM LVQ OBIST PCA PWL PWM RAM RB RISC RPROP RTC S&H SAR SAT SBT SDB SDEB SDRB SNN SRAM SVD UT przetwornik analogowo-cyfrowy jednostka arytmetyczno-logiczna (ang. Arithmetic Logic Unit) analogowy układ elektroniczny samotestowanie wbudowane (ang. Built-in Self-Test) przetwornik cyfrowo-analogowy rozszerzona lista rozkazów (ang. Complex Instruction Set Computer) jednostka centralna (ang. Central Processing Unit) dwucentrowa elipsoidalna funkcja bazowa dwucentrowa radialna funkcja bazowa elipsoidalna funkcja bazowa algorytm klasteryzacji (ang. Fuzzy C-Means) jednostka zmiennoprzecinkowa - koprocesor (ang. Floating Point Unit) pin ogólnego przeznaczenia (ang. General Purpous Input-Output) tester histogramowy (ang. Histogram BIST) tester wewnętrzny (ang. Inside Microcontroller BIST) algorytm K-średnich (ang. K-Means) algorytm Levenberga-Marquardta algorytm adaptacyjnego kwantowania wektorowego (ang. Learning Vector Quantization) tester oscylacyjny (ang. Oscillation BIST) analiza składowych głównych (ang. Principal Component Analysis) sygnał odcinkowo-liniowy (ang. Piece Wise Linear) modulacja szerokości impulsu (ang. Pulse Width Modulation) pamięć danych (ang. Random Access Memory) radialna funkcja bazowa zredukowana lista rozkazów (ang. Reduced Instruction Set Computer) algorytm uczenia Resilient backpropagation układ czasu rzeczywistego (ang. Real Time Clock) układ pamiętająco-próbkujący (ang. Sample and Hold) metoda sukcesywnej aproksymacji (ang. Successive Approximation) metoda z analizą potestową (ang. Simulation After Test) metoda z symulacją przedtestową (ang. Simulation Before Test) stałoprzecinkowa, dwucentrowa funkcja bazowa stałoprzecinkowa funkcja DEB stałoprzecinkowa funkcja DRB sztuczna sieć neuronowa statyczna pamięć danych (ang. Static RAM) rozkład według wartości szczególnych (ang. Singular Value Decomposition) układ testowany 5

7 1. Wstęp 1.1. Wprowadzenie Nieustanny wzrost złożoności układów elektronicznych przy równoczesnym zmniejszaniu się ich wymiarów fizycznych dezaktualizuje konwencjonalne metody ich diagnostyki i stwarza zapotrzebowanie na metody nowe na wszystkich poziomach diagnostyki (detekcji, lokalizacji i identyfikacji uszkodzeń), jak też w różnych etapach życia układu (projektowania, produkcji i eksploatacji). Zapotrzebowanie to implikuje duże zainteresowanie badawcze diagnostyką elektroniczną, zwłaszcza metodami diagnozowania analogowych i mieszanych sygnałowo układów elektronicznych (AUE). Teoretyczne podstawy diagnostyki układów elektronicznych, zwłaszcza AUE, są trudnym problemem naukowym, bowiem układ elektroniczny jest złożonym wieloparametrowym obiektem wysokiego rzędu, modelowanym siecią zawierającą dziesiątki, setki lub tysiące elementów składowych i ze względu na postępującą miniaturyzację, trudno dostępnym pomiarowo z nielicznych węzłów, często tylko z zacisków we/wy. Z tego względu równania wiążące przestrzeń możliwych do uzyskania pomiarów R N z przestrzenią poszukiwanych parametrów R P są niezwykle złożone. Zatem informacja o uszkodzeniach AUE, zwłaszcza parametrycznych które są przedmiotem tej pracy, jest w uwikłany sposób ukryta w przestrzeni R N i dodatkowo maskowana tolerancjami elementów nieuszkodzonych. Wydobywanie tej informacji wymaga stosowania zaawansowanych metod pomiarowych i analitycznych. Jest to nadal otwarty problem naukowy, wymagający nieustannych badań i budzący nieustannie duże zainteresowanie badawcze i publikacyjne na świecie [2,20,21,73,88,115], również z tego względu, że niektóre metody diagnostyki AUE można zastosować do parametrycznej identyfikacji i diagnostyki innych obiektów technicznych modelowanych obwodami elektrycznymi [51,52]. Istnieje wiele metod diagnostyki AUE o różnej złożoności i przydatności praktycznej, ich klasyfikację i krótką charakterystykę można znaleźć w pracy [116]. Ogólnie można je podzielić, wg kryterium kiedy w procesie testowania następuje analiza lub symulacja układu testowanego (UT), na dwie kategorie: metody z symulacją przedtestową SBT (ang. Simulation Before Test) i metody z analizą potestową SAT (Simulation After Test). W metodach SAT, matematyczna analiza UT odbywa się on-line po wykonaniu pomiarów, stąd duże jest zapotrzebowanie na moc obliczeniową i wydłużenie procesu testowania. W metodach SBT, modelowanie UT i symulacja a priori przewidywanych uszkodzeń odbywa się w trybie off-line, przed fizycznym procesem testowania, czego pozytywnym następstwem jest krótki czas testowania, tożsamy lub zbliżony do czasu surowych pomiarów. Osobną klasę stanowią metody i środki z nadmiarowością układową (nazywane też hardwerowymi), do których należą magistrale testujące przeznaczone do testowania układów cyfrowych (IEEE ), mieszanych sygnałowo (IEEE ) oraz zorientowane na testowanie systemów elektronicznych (IEEE ), a także wbudowane układy testujące BIST (Built in Self Tester) wymagające wbudowania dodatkowych struktur ułatwiających testowanie. Są to testery specjalizowane, dedykowane określonej klasie układów, np. przetworników A/C i C/A, filtrów, torów pomiarowych, stąd duża różnorodność rozwiązań: różnicowa implementacja układów [94], testery oscylacyjne OBIST (Oscillation BIST) [6,54,97], testery histogramowe HBIST (Histogram BIST) [41,102], modulatory Σ [53,98]. Zaletą BISTów jest ich duża efektywność, wadą dodatkowy koszt i zaburzenie struktury UT. W ostatnich latach w związku z postępem rozwoju mikroprocesorów i mikrokontrolerów stosowanych w systemach elektronicznych, zwłaszcza w systemach wbudowanych (embedded systems) pojawiła się możliwość realizacji samotestujących układów BIST bez nadmiarowości układowej, na bazie własnych zasobów sprzętowych i programowych 6

8 mikrokontrolerów sterujących [29-35,68]. Mikrokontrolery nowych generacji produkowane przez wiodące firmy w branży elektronicznej posiadają takie możliwości. Jest to nowa, obiecująca możliwość, której wykorzystanie jest podstawowym założeniem tej pracy. Rozwijane w niej metody będą zorientowane na zastosowanie w tego rodzaju testerach wewnętrznych, nazywanych dalej Inside Microcontroller BIST (IµBIST). Niezależnie od nowych możliwości technicznych realizacji testerów diagnostycznych, które oferują nowe generacje mikrokontrolerów, istnieje zapotrzebowanie na specyficzne metody diagnostyczne zdatne do implementacji w IµBISTach. Głównie na takie algorytmiczne metody diagnostyczne, które może obsłużyć moc obliczeniowa współczesnych mikrokontrolerów jest ukierunkowana ta praca. Ogólnie biorąc, najbardziej efektywne w zastosowaniach praktycznych są metody SBT, z których najważniejszą jest metoda słownikowa [13-16,66,116]. W odróżnieniu od metod SAT, gdzie wykrywanie uszkodzeń odbywa się w przestrzeni parametrów R P, w metodach SBT odbywa się ono w przestrzeni pomiarów R N lub przestrzeni składowych głównych (po kompresji pomiarów). Na etapie potestowym wyniki pomiarów porównuje się z sygnaturami słownika uszkodzeń za pomocą klasyfikatorów. Klasyfikacja sygnatur uszkodzeń jest kluczowym, najbardziej istotnym problemem procesu diagnostycznego. W przypadku diagnozowania uszkodzeń parametrycznych w warunkach maskującego wpływu tolerancji elementów nieuszkodzonych, sygnatury słownika uszkodzeń mają postać rozmytych (rozproszonych) krzywych identyfikacyjnych. W takich warunkach korzystne jest stosowanie klasyfikatorów neuronowych, które charakteryzują dobre zdolności uogólniające. Na podstawie analizy sztucznych sieci neuronowych stosowanych w diagnostyce elektronicznej stwierdzono, że dobre zdolności klasyfikacji rozmytych krzywych identyfikacyjnych posiadają sieci z radialnymi funkcjami bazowymi [19-21,23,69] oraz sieć sigmoidalna [14,49,92], zwana także perceptronem wielowarstwowym. Korzystną cechą sieci z radialnymi funkcjami bazowymi jest dobra zdolność klasyfikacji zbiorów radialnie rozmytych wokół punktów centralnych. Jednakże sieci takie są mało efektywne w klasyfikacji zbiorów rozproszonych wokół krzywych identyfikacyjnych, ze względu na dużą liczbę neuronów radialnych niezbędnych do odwzorowania tych krzywych. Stąd zrodziła się idea dwucentrowych (wydłużonych) funkcji bazowych, które lepiej (w sposób bardziej oszczędny) odwzorowują krzywe rozproszone. Jest to oczywiste, ponieważ reprezentacja odcinkowa krzywej jest bardziej oszczędna od reprezentacji punktowej. Biorąc pod uwagę wymienione argumenty, jako główny kierunek badań w tej pracy obrano rozwijanie metod SBT diagnozowania AUE z tolerancją, z zastosowaniem słownika uszkodzeń w postaci rozmytych krzywych identyfikacyjnych i specjalizowanych klasyfikatorów neuronowych z wydłużonymi funkcjami bazowymi, które lepiej odwzorowują te krzywe. 7

9 1.2. Cel i teza pracy Na podstawie dotychczasowych wyników badań autora nad nowymi wariantami sieci neuronowych z dwucentrowymi radialnymi i elipsoidalnymi funkcjami bazowymi (DRB i DEB), ukierunkowanych na zastosowania w klasyfikatorach diagnostycznych metodami SBT, został sformułowany następujący cel i teza pracy. Cel pracy Celem jest opracowanie nowych, przydatnych do zastosowań w testerach wbudowanych BIST, słownikowych metod diagnostyki klasy SBT, z klasyfikatorami neuronowymi do lokalizacji uszkodzeń parametrycznych analogowych układów elektronicznych, o podwyższonej odporności na maskujący wpływ rozrzutów tolerancyjnych elementów nieuszkodzonych. Teza pracy Drogą odpowiedniej konstrukcji sygnatur słownika uszkodzeń analogowych układów elektronicznych z tolerancjami, w postaci wiązek rozproszonych krzywych identyfikacyjnych na płaszczyźnie lub w przestrzeniach wielowymiarowych oraz zastosowania specjalizowanych klasyfikatorów neuronowych, dopasowanych do takich sygnatur, można uzyskać nowe, słownikowe metody lokalizacji uszkodzeń parametrycznych, bardziej odporne na tolerancje elementów nieuszkodzonych od znanych metod i przydatne do zastosowań w BISTach Treść pracy W rozdziale drugim przedstawione zostały podstawowe informacje dotyczące sieci neuronowych stosowanych jako klasyfikatory w diagnostyce elektronicznej. Omówiono kilka wariantów jednokierunkowych sieci neuronowych mających największe zastosowanie w diagnostyce analogowych układów elektronicznych z tolerancją. W rozdziale trzecim zaprezentowano podstawowe informacje dotyczące zasobów sprzętowych i programowych nowych generacji mikrokontrolerów pod kątem implementacji nowych słownikowych metod lokalizacji uszkodzeń parametrycznych AUE. Rozdział czwarty zawiera omówienie metod konstrukcji słownika uszkodzeń w postaci krzywych identyfikacyjnych w oparciu o analizę układu w dziedzinie częstotliwości, w dziedzinie czasu oraz z zastosowaniem analizy składowych głównych. W rozdziale piątym przedstawiono nową sieć neuronową z dwucentrowymi radialnymi funkcjami bazowymi DRB do diagnostyki uszkodzeń parametrycznych AUE. Omówiono kolejne etapy konstrukcji funkcji DRB, architekturę klasyfikatora neuronowego z funkcjami DRB, metodę wyznaczania parametrów klasyfikatora oraz wyniki badań symulacyjnych na wybranych AUE. Porównano efektywność diagnostyki uszkodzeń parametrycznych w stosunku do innych klasyfikatorów neuronowych. W rozdziale szóstym zaprezentowano sieć neuronową z dwucentrowymi elipsoialnymi funkcjami bazowymi DEB. Przedstawiono sposób konstrukcji funkcji DEB, architekturę klasyfikatora z funkcjami DEB oraz metodę wyznaczania parametrów klasyfikatora na podstawie analizy statystycznej AUE. Dokonano oceny skuteczności diagnostyki uszkodzeń parametrycznych AUE z wykorzystanie klasyfikatora DEB. Rozdział siódmy zawiera opis implementacji nowych słownikowych metod diagnostyki uszkodzeń parametrycznych AUE w mikrosystemie pomiarowym IµBIST. Omówiono zabiegi optymalizacyjne pozwalające na zmniejszenie złożoności obliczeniowej klasyfikatorów DRB i DEB oraz badania doświadczalne na wybranych układach testowych. Rozdział ósmy stanowi podsumowanie pracy. 8

10 2. Klasyfikatory neuronowe w diagnostyce elektronicznej W rozdziale tym zostaną przedstawione podstawowe informacje o sieciach neuronowych stosowanych jako klasyfikatory w diagnostyce elektronicznej, zwłaszcza w diagnostyce analogowych układów elektronicznych z tolerancją, realizowanej metodami SBT Podstawowe modele neuronów Podstawowym ogniwem sztucznej sieci neuronowej (SNN) jest neuron. Najbardziej rozpowszechniony model neuronu realizuje dwie operacje opisane następującymi zależnościami: n i i 0, (2.1) i= 1 u = wx + w y = f( u). (2.2) Pierwszą operacją (2.1) jest wagowe sumowanie sygnałów wejściowych x 1, x 2,..., x n z wagami w 1, w 2,..., w n. Waga w 0 jest progiem lub polaryzacją neuronu. Drugą operacją (2.2) jest przekształcenie wyniku sumowania u za pomocą funkcji aktywacji f(u) w sygnał wyjściowy y. Model ten stosowany jest w wielu typach sztucznych sieci neuronowych, ale głównie w sieciach jednokierunkowych wielowarstwowych. W zależności od funkcji jaką realizuje sieć, liczby warstw neuronów oraz umiejscowienia w konkretnej warstwie, stosownych jest kilka podstawowych funkcji aktywacji, przedstawionych na rys Rys Funkcje aktywacji stosowane w sieciach jednokierunkowych wielowarstwowych: a) funkcje unipolarne, b) funkcje bipolarne, c) funkcja liniowa. Funkcja aktywacji w postaci skoku jednostkowego występuje w dwóch wersjach: a) unipolarnej 1 dla u 0 y =, (2.3) 0 dla u < 0 b) bipolarnej 1 dla u 0 y =. (2.4) 1 dla u < 0 Funkcja skokowa wykorzystywana jest w przypadku prostego perceptronu jednowarstwowego uczonego za pomocą reguły Widrowa-Hoffa [60]. 9

11 Ze względu na nieciągłość funkcji skokowych nie ma możliwości uczenia SNN algorytmami gradientowymi, które uznawane są za najskuteczniejsze [79]. Niedogodność tą można wyeliminować przez zastosowanie różniczkowalnych funkcji aktywacji, stanowiących przybliżenie funkcji skokowej. Stosowane są dwie takie funkcje: a) sigmoidalna unipolarna (sigmoidalna) b) sigmoidalna bipolarna (tangensoidalna) 1 y =, (2.5) 1 + exp( u) ( u) ( u) 1 exp y = tgh( u) =. (2.6) 1 + exp W przypadku funkcji sigmoidalnej unipolarnej, sygnał wyjściowy neuronu przyjmuje wartości z przedziału (0, 1), natomiast w przypadku funkcji sigmoidalnej bipolarnej wartość funkcji zmienia się w przedziale ( 1, 1). Obie wersje stosowane są w przypadku wielowarstwowej jednokierunkowej SNN, nazywanej perceptronem wielowarstwowym, lub też ze względu na wykorzystywane funkcje aktywacji siecią sigmoidalną [79]. Wielowarstwowe SNN przeznaczone do realizacji zadania aproksymacji funkcji wielowymiarowej w warstwie wyjściowej stosują zwykle liniową funkcję aktywacji. Najprostszym przykładem sieci wykorzystującej liniowe funkcje aktywacji jest jednowarstwowa sieć Madaline, zbudowana z neuronów nazywanych Adaline [60,118]. Zastosowanie obciętej funkcji liniowej opisanej zależnością 1 dla u 1 y = u dla 1 u< 1 1 dla u < 1 (2.7) pozwala z kolei na ograniczenie zakresu zmian sygnału wyjściowego neuronu do przedziału [ 1, 1]. Ten typ funkcji aktywacji jest charakterystyczny dla neuronów warstwy wyjściowej w sieci rekurencyjnej Hopfielda [79,118]. Geometryczna interpretacja zasady działania neuronu opisanego zależnościami (2.1) i (2.2) polega na podziale przestrzeni wejściowej R n za pomocą hiperpłaszczyzny, której parametry określone są wartościami wag w 1, w 2,..., w n i polaryzacją w 0. Obszar oddziaływania takiego neuronu jest globalny i obejmuje całą przestrzeń wejściową. Inne podejście do problemu modelowania przestrzeni wejściowej polega na podziale tej przestrzeni za pomocą hipersfery określonej za pomocą środka i promienia. W tym wypadku zakres oddziaływania jest lokalny i obejmuje obszar wokół środka hipersfery. W SNN zadanie to realizuje funkcja bazowa zmieniająca się radialnie wokół punktu w = [w 1, w 2,..., w n ] T stanowiącego centrum tej funkcji. Funkcja taka opisana jest ogólną zależnością yi ( ) = ϕ x w, (2.8) gdzie x = [x 1, x 2,..., x n ] T jest wektorem sygnałów wejściowych neuronu, a operator jest normą euklidesową. 10

12 Zadaniem funkcji bazowej jest odwzorowanie radialne przestrzeni wokół jednego zadanego punktu lub grupy punktów tworzących klaster danych. Koncepcja takiego odwzorowania przestrzeni znalazła zastosowanie w SNN z radialnymi funkcjami bazowymi (sieci radialnej) omówionej szerzej w dalszej części tego rozdziału, ze względu na przydatność do zastosowań w diagnostyce. Istnieje duże zróżnicowanie w doborze kształtu funkcji bazowych (Rys. 2.2), przy czym najczęściej wykorzystywana jest funkcja bazowa Gaussa (Rys 2.2f) opisana zależnością 2 ( ) x w ϕ x = exp, (2.9) 2 2σ w której σ jest współczynnikiem skalującym wyznaczającym obszar aktywacji neuronu. Rys Wykresy funkcji bazowych: a) liniowa, b) kwadratowa, c) sześcienna, d) wielokwadratowa, e) odwrotna wielokwadratowa, f) Gaussa. Jako funkcje bazowe stosuje się również funkcje potęgowe [79], np.: 1. skalowaną liniową (Rys. 2.2a) r ϕ ( x ) =, (2.10) σ 2. skalowaną kwadratową (b) 2 r ϕ ( x ) =, (2.11) σ 3. skalowaną sześcienną (c) 3 r ϕ ( x ) =, (2.12) σ 4. wielokwadratową (d) ϕ x = r + σ, (2.13) ( )

13 5. odwrotną wielokwadratową (e) 1 ϕ ( x ) =, (2.14) 2 2 r + σ gdzie r = x w. Zbliżony model neuronu, jednakże pozbawiony funkcji aktywacji, wykorzystywany jest w sieciach samoorganizujących się typu konkurencyjnego, nazywanych sieciami Kohonena [28,79,81]. Wagi neuronu w sieciach tego typu stanowią współrzędne punktu w przestrzeni wejściowej, będącego centrum obszaru określającego strefę wpływów tego neuronu, w którym znajduje się on w stanie aktywnym. Obszar aktywności, nazywany wielobokiem Voronoia [79], stanowi obszar najbliższy w sensie wybranej metryki z wektorem wag tego neuronu. Z każdym neuronem w sieci związany jest jeden wielobok Voronoia, a dla całej sieci uzyskuje się tzw. Mozaikę Voronoia złożoną z przylegających do siebie wieloboków Voronoia. Przykład mozaiki Voronoia, uzyskanej dla sieci samoorganizującej się zawierającej 21 neuronów konkurencyjnych, odwzorowującej równomierny rozkład danych dwuwymiarowych pokazano na rys Rys Przykładowa mozaika Voronoia sieci samoorganizującej się. Kropkami oznaczono centa neuronów Architektury sieci neuronowych Operacje jakie są wykonywane przez pojedynczy neuron są bardzo proste i mało przydatne w praktycznych aplikacjach technicznych. Faktyczna moc obliczeniowa wynika dopiero z połączenia wielu neuronów w sztuczną sieć neuronową o rozbudowanej strukturze. Sposób realizacji tych połączeń decyduje o architekturze sieci. Wyróżniamy dwie podstawowe architektury SNN [60,79]: a. sieci jednokierunkowe, tj. sieci o jednym kierunku przepływu sygnałów, b. sieci rekurencyjne, tj. sieci ze sprzężeniem zwrotnym. Każda architektura odznacza się innymi właściwościami predestynującymi sieć do określonych zastosowań. Różnice dotyczą reguł projektowania struktury sieci, algorytmów uczenia, sposobu przetwarzania informacji wejściowej oraz złożoności obliczeniowej na etapie uczenia i na etapie odtworzeniowym. Sieci jednokierunkowe zbudowane są z neuronów ułożonych w warstwach o jednym kierunku przepływu sygnałów. Połączenia między warstwami obejmują jedynie warstwy sąsiadujące ze sobą. Zwykle są one tak zaprojektowane, że każdy neuron warstwy poprzedniej jest połączony z każdym neuronem warstwy następnej (połączenie pełne). Istnieją jednakże algorytmy redukcji sieci pozwalające na usunięcie ze struktury połączeń, których wpływ na działanie sieci jest znikomy [79]. Uzyskuje się w ten sposób połączenie częściowe (lokalne) między warstwami. Z sytuacją taką mamy do czynienia w zadaniu klasyfikacji, gdy z neuronami warstwy wyjściowej związane są obszary recepcyjne, którym 12

14 przyporządkowane są określone grupy neuronów z warstwy ukrytej. Połączenia między warstwą ukrytą a wyjściową pełnią wówczas rolę grupowania neuronów w klasy uszkodzeń. Z każdym połączeniem w sieci jest skojarzony współczynnik wagowy, który odgrywa inną rolę w zależności od zastosowanych modeli neuronów. Wartości tych współczynników ustalane są na etapie uczenia sieci, lub na etapie jej tworzenia poprzedzającym etap odtworzeniowy, jeśli sieć nie wymaga procesu uczenia np. probabilistyczna sieć neuronowa. Typowymi przykładami sieci neuronowych jednokierunkowych są sieci sigmoidalne i sieci radialne. Mogą one pełnić różnorodne funkcje jednakże najbardziej przydatna, z punktu widzenia problematyki niniejszej pracy, jest możliwość ich wykorzystania jako klasyfikatorów neuronowych. Szersze omówienie tego zagadnienia, w kontekście diagnostyki AUE, znajduje się w dalszej części rozdziału. Sieci rekurencyjne wyróżniają się występowaniem sprzężenia zwrotnego między warstwami neuronów. Rolę sprzężenia pełnią jednostkowe operatory opóźnienia, których zastosowanie skutkuje pojawieniem się zależności dynamicznych na każdym etapie działania sieci. Zmiana stanu jednego neuronu poprzez sprzężenie zwrotne oddziałuje na całą sieć, wywołując stan przejściowy, który w kolejnych cyklach zmierza w kierunku stanu ustalonego nazywanego atraktorem. Stan ustalony odpowiada minimum funkcji energetycznej sieci [60]. Typowym przykładem sieci rekurencyjnej jest sieć Hopfielda (Rys. 2.4), ze względu na pełnioną funkcję nazywana także pamięcią asocjacyjną. Jest to sieć jednowarstwowa, w której występuje sprzężenie wyjścia z wejściem, przy czym rolę sygnałów wejściowych sieci w bieżącym cyklu pełnią sygnały występujące na wyjściu sieci w poprzednim cyklu. Wobec powyższego, wzorce wykorzystywane na etapie uczenia oraz obrazy wygenerowane przez sieć na etapie odtworzeniowym prezentowane są na wyjściu sieci. z -1 z -1 z -1 W 12 W 1N + y 1 W 21 W 2N + y 2 W N1 W N,N-1 + y N Rys Architektura pamięci asocjacyjnej Hopfielda. Sieci rekurencyjne wykorzystywane są najczęściej jako pamięci asocjacyjne oraz w przetwarzaniu sygnałów w czasie rzeczywistym [79,118]. Zastosowanie ich jako klasyfikatorów neuronowych w diagnostyce AUE wymaga dużych mocy obliczeniowych ze względu na złożony opis działania neuronów bazujący na równaniach różniczkowych nieliniowych. Biorąc pod uwagę ograniczone zasoby programowe współczesnych mikrokontrolerów, sieci rekurencyjne nie będą brane pod uwagę przy implementacji klasyfikatorów neuronowych w systemach samotestujących IµBIST. 13

15 2.3. Metody uczenia sieci neuronowych jednokierunkowych Większość sieci tego typu wymaga przeprowadzenia procesu uczenia polegającego na adaptacyjnym doborze współczynników wagowych połączeń między neuronami. Celem uczenia jest umożliwienie działania sieci polegającego na odpowiednim odwzorowywaniu danych wejściowych w wyjściowe. W diagnostyce AUE, ukierunkowanej na testowanie i lokalizację elementów uszkodzonych, sygnałami wejściowymi są sygnatury uszkodzeń uzyskane na drodze symulacji modelu AUE, a wartościami wyjściowymi zakodowane numery klas przyporządkowanych różnym stanom pracy układu, obejmującym stan nominalny i poszczególne uszkodzenia. Stosowane są dwa podstawowe sposoby kodowania numerów klas: unitarne i binarne. W przypadku kodowania unitarnego w wektorze sygnałów żądanych na wyjściu sieci występuje jedynka na pozycji odpowiadającej numerowi klasy do której należy dany wektor wejściowy, natomiast pozostałe elementy są zerowe. W kodowaniu binarnym, numer klasy uszkodzenia jest zakodowany binarnie w postaci wektora zerojedynkowego i w takiej postaci prezentowany jest jako wektor żądany na wyjściu sieci. W sieciach jednokierunkowych stosowane są dwie metody uczenia: uczenie pod nadzorem i uczenie samoorganizujące się typu konkurencyjnego [79]. W pierwszym przypadku wejściowym sygnałom uczącym towarzyszą wartości żądane na wyjściu sieci. Celem takiego uczenia jest minimalizacja funkcji celu, zwykle w postaci błędu średniokwadratowego, określonego wzorem [79] E = 1 K n nl K n L 2 1 e j L k= 1 j= 1 K nl k= 1 j= 1 K ( j j ) ( k) = d ( k) y ( k) 2, (2.15) określającego stopień dopasowania wartości aktualnych odpowiedzi neuronów wyjściowych y(k) = [y 1 (k), y 2 (k),..., y K (k)] T do wartości żądanych d(k) = [d 1 (k), d 2 (k),..., d K (k)] T dla wszystkich n L par uczących. Adaptacji w trakcie uczenia pod nadzorem mogą podlegać wszystkie współczynniki wagowe występujące w strukturze sieci (sieć sigmoidalna), lub też tylko współczynniki występujące pomiędzy konkretnymi warstwami, jak to ma miejsce w przypadku sieci radialnej. W sieci tej uczenie pod nadzorem dotyczy wyłącznie połączeń między warstwą ukrytą a wyjściową. W uczeniu pod nadzorem głównym czynnikiem decydującym o wyborze konkretnego algorytmu uczącego jest różniczkowalność funkcji aktywacji neuronów w sieci. Dla funkcji aktywacji typu skokowego korzysta się z reguły perceptronu lub reguły Widrowa-Hoffa [60]. W przypadku sieci sigmoidalnych, zawierających różniczkowalne funkcje aktywacji, wykorzystuje się natomiast metody gradientowe oparte na algorytmie propagacji wstecznej [60,79]. Odmienny sposób doboru współczynników wagowych SNN polega na procesie samoorganizacji typu konkurencyjnego [79]. W tym przypadku nie występują lub nie są wykorzystywane informacje o sygnałach na wyjściu sieci, a jedynie zbiór danych wejściowych. W trakcie samoorganizacji neurony współzawodniczą między sobą, aby stać się aktywnymi. Rywalizacja polega na porównaniu odległości (w sensie wybranej metryki) wszystkich neuronów w sieci, reprezentowanych przez centra w i, z podanym na wejście sieci wektorem wejściowym x k, oraz wybraniu neuronu zwycięskiego położonego najbliżej wektora x k. Neuron zwyciężający konkurencję oraz neurony z jego sąsiedztwa stają się aktywne i podlegają aktualizacji w kierunku wektora x k zgodnie z regułą Kohonena [79] w i (k + 1) = w i (k) + η i G(i, x k ) [x k w i (k)], (2.16) 14

16 w której G(i, x k ) jest funkcją sąsiedztwa, a η i współczynnikiem uczenia. W strategii uczenia typu WTA (Winner Takes All) funkcja sąsiedztwa ma wartość 1 dla neuronu zwycięzcy i zero dla pozostałych neuronów. Z kolei w strategii typu WTM (Winner Takes Most) funkcja sąsiedztwa ma wartość równą jeden dla zwycięzcy i wartości z przedziału [0, 1] dla pozostałych neuronów, przy czym im dalej położony jest neuron względem neuronu zwycięzcy tym mniejsza jest wartość funkcji sąsiedztwa. Podobnie jak w uczeniu pod nadzorem, adaptacji mogą podlegać wszystkie współczynniki wagowe w sieci (sieć Kohonena), lub tylko współczynniki wagowe pomiędzy konkretnymi warstwami. Przykładowo w sieci LVQ (Learning Vector Quantization) samoorganizacja obejmuje tylko połączenia między warstwą wejściową a warstwą ukrytą Zdolności uogólnianiające sieci neuronowych Każdy rodzaj SNN powinien posiadać zdolność do generalizacji nabytej wiedzy poprzez generowanie właściwego rozwiązania dla danych, które nie występowały w zbiorze danych uczących. Przykładowo klasyfikacja stanu pracy AUE powinna przebiegać prawidłowo również przy założeniu tolerancji elementów występujących w diagnozowanym układzie. Na zdolności uogólniające sieci neuronowej ma wpływ wiele czynników: a) typ sieci neuronowej, b) wielkość struktury sieci, określona liczbą warstw neuronów, liczbą neuronów w każdej warstwie oraz sposobem realizacji połączeń międzyneuronowych, c) rodzaj zastosowanego algorytmu uczenia, dobór jego parametrów, przebieg uczenia oraz warunek zatrzymania algorytmu, d) wybór danych uczących, odzwierciedlających cechy charakterystyczne problemu klasyfikacyjnego. Dysponując zbiorem danych wejściowych R należy przed rozpoczęciem uczenia wyodrębnić dwa podzbiory: uczący L oraz testujący T. Oceny zdolności uogólniających dokonuje się po zakończeniu procesu uczenia porównując odpowiedzi sieci na dane zawarte w zbiorach L i T. Ilościowe określenie zdolności uogólniających sieci jednokierunkowych wielowarstwowych jest oparte na zależnościach statystycznych odnoszących się do zbiorów. W tym ujęciu zdolność uogólniania sieci neuronowej określona jest miarą Vapnika- Chernovenkisa VCdim [79]. W ogólności miara VCdim jest funkcją złożoności sieci, a jej wartość wzrasta przy zwiększaniu liczby współczynników wagowych. Wykazano [79], że dla określonej liczby danych uczących n L występuje optymalna wartość miary VCdim (równa h opt ), pozwalająca zminimalizować maksymalny błąd uogólniania sieci (Rys. 2.5b). W ten sposób można dopasować wielkość struktury sieci do liczby danych uczących i vice versa. 1.5 a) b) c) Rys Zdolności uogólniające sieci neuronowej na przykładzie aproksymacji funkcji: a) sieć przewymiarowana, b) optymalnie dobrana struktura sieci, c) sieć niedouczona. 15

17 Dla VCdim > h opt liczba danych uczących jest zbyt mała. Następuje dobre dopasowanie sieci do danych uczących, ale złe uogólnianie, gdyż w procesie uczenia nastąpił nadmiar dobieranych współczynników. Parametry te zostały dobrane precyzyjnie do danych uczących, ale również do wszelkiego rodzaju nieregularności i szumów występujących w tych danych (Rys. 2.5a). Jest to zjawisko przewymiarowania sieci lub przeuczenia. W przypadku gdy VCdim < h opt występuje nadmiarowość danych uczących. Nie jest wówczas możliwe dopasowanie odpowiedzi sieci do wartości żądanych ze względu na niewystarczającą liczbę współczynników wagowych. W rezultacie sieć jest niedouczona i charakteryzuje się dużym błędem uogólniania (Rys. 2.5c). Jakkolwiek znajomość miary VCdim pozwala na dokonanie oceny zdolności uogólniających SNN oraz dopasowanie wielkości sieci do ilości danych uczących, to jednak podstawowa trudność polega na niemożliwości wyznaczenia dokładnej wartości tej miary. W związku z tym, w praktyce oceny zdolności uogólniających dokonuje się przez obliczenie i porównanie wartość błędu uczenia sieci na zbiorze L i błędu testowania na zbiorze T. Następnie przeprowadza się szereg eksperymentów ze zmienioną strukturą sieci w celu wyboru tej sieci, która może być uznana za optymalną. W zadaniu aproksymacji za wartości błędów uczenia i testowania można przyjąć wartości funkcji celu obliczone dla danych ze zbiorów L i T. Im mniejsze wartości tej funkcji dla obu zbiorów tym lepsze zdolności uogólniające sieci. W zadaniu klasyfikacji natomiast za błędy uczenia i testowania należy przyjąć procent błędnych decyzji klasyfikacji na zbiorach L i T korzystając ze wzorów: nl pl bl E L = 100% = 100% (2.17) nl nl nt pt bt E T = 100% = 100% (2.18) nt nt gdzie: E L błąd klasyfikacji na zbiorze uczącym; n L liczba danych uczących; p L liczba prawidłowo sklasyfikowanych danych uczących; b L liczba błędnie sklasyfikowanych danych uczących; E T błąd klasyfikacji na zbiorze testującym; n T liczba danych testujących; p T liczba prawidłowo sklasyfikowanych danych testujących, b T liczba błędnie sklasyfikowanych danych testujących. Im mniejsze wartości błędów klasyfikacji E L i E T na zbiorach L i T tym lepsze zdolności uogólniające klasyfikatora neuronowego Podstawowe typy klasyfikatorów w diagnostyce AUE Sieci sigmoidalne Szerokie zastosowanie w diagnostyce uszkodzeń AUE mają sieci sigmoidalne złożone z jednej lub kilku warstw neuronów realizujących operacje określone zależnościami (2.1) i (2.2) [14,49,92]. Przykładową strukturę dwuwarstwowej sieci sigmoidalnej pokazano na rys W przypadku, gdy w strukturze sieci nie ma warstwy ukrytej, wówczas możliwa jest klasyfikacja tylko takich zbiorów sygnatur uszkodzeń, które są liniowo separowalne. Przy małej liczbie parametrów AUE i diagnostyce ukierunkowanej wyłącznie na wykrywanie uszkodzeń katastroficznych, taka struktura sieci neuronowej może być wystarczająca, jednakże w bardziej złożonych problemach klasyfikacyjnych obejmujących np. wykrywanie 16

18 uszkodzeń parametrycznych, konieczne jest zastosowanie przynajmniej jednej warstwy ukrytej. W takim wypadku każdy neuron warstwy ukrytej rozdziela przestrzeń wejściową na dwie półprzestrzenie za pomocą hiperpłaszczyzny, separując obszary sygnatur uszkodzeń należące do różnych skupisk. Neurony wyjściowe pełnią natomiast funkcję układu łączącego poszczególne półprzestrzenie, grupując skupiska sygnatur w klasy uszkodzeń. Graficzne wyjaśnienie problemu liniowej separowalności sygnatur należących do dwóch klas przedstawiono na rys Założono przy tym jednorodne rozmieszczenie sygnatur w dwuwymiarowej przestrzeni wejściowej. x 1 + x 2 x y 1 y2 x N + + y K + Rys Architektura dwuwarstwowej sieci sigmoidalnej. (a) (b) Klasa I Klasa I Klasa II Klasa II Oznaczenia: - granica decyzyjna neuronu w warstwie ukrytej; - granica decyzyjna neuronu wyjściowego; - sygnatury należące do I klasy; - sygnatury należące do II klasy. Rys Problem liniowej separowalności sygnatur należących do dwóch klas. Dane liniowo separowalne można sklasyfikować przy pomocy jednej warstwy neuronów (a). Klasyfikacja danych nie separowalnych liniowo wymaga dwóch warstw neuronów (b). O ile zastosowanie jednej warstwy ukrytej w sieci sigmoidalnej pozwala na rozwiązanie większości zadań klasyfikacyjnych, to jednak w pewnych szczególnych przypadkach należy zastosować sieć zawierającą dwie warstwy ukryte. Sytuacja taka ma miejsce przy klasyfikacji uszkodzeń parametrów AUE bez wskazania znaku uszkodzenia. Rozproszona krzywa identyfikacyjna składa się bowiem z dwóch stref. Jedna związana jest ze zmniejszaniem, a druga ze zwiększaniem wartości parametru p i względem wartości nominalnej p inom. Strefy te rozdzielone są zatem obszarem reprezentującym stan nominalny, a ich połączenie w jeden spójny obszar plateau wymaga zastosowania drugiej warstwy neuronów ukrytych. Klasyfikacja stanu pracy AUE w przypadku sieci sigmoidalnej zależy od przyjętego sposobu kodowania wektorów wyjściowych. W przypadku kodowania unitarnego obliczany 17

19 jest wektor zawierający jedynkę na pozycji o największej wartości sygnału wyjściowego i zero na pozostałych pozycjach. Położenie jedynki wskazuje na numer klasy uszkodzenia. Z kolei w przypadku kodowania binarnego klasyfikacja stanu pracy układu jest bardziej złożona, gdyż najpierw na podstawie wektora wyjściowego należy wyznaczyć wektor zerojedynkowy, a następnie w oparciu o wyznaczony wektor zdekodować numer klasy uszkodzenia Metody uczenia sieci sigmoidalnych Do uczenia sieci neuronowych tego typu wykorzystuje się metody gradientowe oparte na algorytmie propagacji wstecznej, w których minimalizuje się funkcję celu zdefiniowaną zwykle w postaci błędu średniokwadratowego określonego wzorem (2.15). Podstawą obliczeń jest rozwinięcie funkcji celu E(W) w szereg Taylora w najbliższym sąsiedztwie znanego rozwiązania W, gdzie W jest macierzą współczynników wagowych. Rozwinięcie to w otoczeniu punktu W na kierunku p można przedstawić zależnością [79] T 1 T 3 ( + p) = E( W) + [ E] p + p H( W) p + O( h ) E W, (2.19) 2 gdzie E jest wektorem gradientu, H(W) jest macierzą drugich pochodnych zwaną hesjanem, natomiast O(h 3 ) jest składnikiem zawierającym pochodne wyższych rzędów. Aktualizacja wag w metodach gradientowych odbywa się zgodnie ze wzorem W(k + 1) = W(k) + (W) = W(k) +ηp(w), (2.20) gdzie η jest współczynnikiem uczenia, a p(w) kierunkiem w przestrzeni wielowymiarowej. Poszukując minimum wartości funkcji celu dobiera się taki kierunek wektora p oraz kroku η, aby dla nowego punktu spełniona była zależność E[W(k + 1)] < E[W(k)]. (2.21) Kolejne cykle uczące powtarzane są do momentu, w którym osiągnięty zostanie określony poziom błędu lub jeśli przekroczona zostanie określona liczba iteracji. Poszczególne algorytmy różnią się między sobą sposobem wyznaczania wektora p i kroku η. Najprostszy jest algorytm największego spadku wykorzystujący liniowe przybliżenie funkcji celu (2.19) w sąsiedztwie znanego rozwiązania W. Kierunek minimalizacji p(w) jest w tym algorytmie zgodny z kierunkiem ujemnego gradientu p(w) = E(W). (2.22) Ze względu na wolną zbieżność algorytmu największego spadku, stosowane są różne jego modyfikacje przyspieszające proces uczenia, np. zastosowanie współczynnika momentu i adaptacyjnego współczynnika uczenia. Dużo bardziej efektywne są algorytmy wykorzystujące kwadratowe przybliżenie funkcji celu E(W) w sąsiedztwie znanego rozwiązania W. Informacja o krzywiźnie funkcji celu zawarta jest bowiem w hesjanie H(W). Przykładowo w newtonowskiej metodzie uczenia kierunek minimalizacji funkcji celu określony jest wzorem [79] p(w) = [H(W)] -1 E(W). (2.23) 18

20 Trudności związane z koniecznością zapewniania w każdym cyklu uczącym dodatniej określoności hesjanu doprowadziły do powstania algorytmów quasi newtonowskich. W algorytmach tych nie wyznacza się macierzy hesjanu, ale określa tylko jego przybliżenie. Przykładem takiego algorytmu jest algorytm Levenberga-Marquardta (LM). Kolejną grupę algorytmów uczenia sieci sigmoidalnych stanowią metody gradientów sprzężonych, w których kierunek poszukiwań p k w k-tej iteracji dobiera się w taki sposób, aby był ortogonalny oraz sprzężony ze wszystkimi poprzednimi kierunkami p 0, p 1,..., p k 1. W pierwszym kroku przyjmuje się kierunek poszukiwań p 0 zgodny z kierunkiem ujemnego gradientu p 0 (W 0 ) = E(W 0 ), (2.24) gdzie W 0 jest macierzą współczynników wagowych sieci przy starcie algorytmu. Począwszy od drugiego cyklu uczącego, kierunek poszukiwań p k dobierany jest przez połączenie wartości gradientu w danym punkcie W k z poprzednim kierunkiem p k 1 p k (W k ) = E(W k ) + β k p k 1 (W k 1 ), (2.25) gdzie współczynnik sprzężenia β k kumuluje informacje o poprzednich kierunkach poszukiwań p 0, p 1,..., p k 1. Poszczególne warianty metody gradientów sprzężonych różnią się właśnie sposobem wyznaczania współczynnika sprzężenia β k. W przykładowym algorytmie Fletchera-Reeve a współczynnik ten obliczany jest ze wzoru: g g β k =, (2.26) g T k k T k 1g k 1 gdzie g k = E(W k ). Współczynnik uczenia η k w metodach gradientów sprzężonych dobierany jest natomiast przez minimalizację kierunkową w każdym cyklu uczącym. Jego wartość obliczana jest w taki sposób, aby zminimalizować wartość funkcji celu w kierunku określonym przez aktualny wektor poszukiwań p k. Istnieją algorytmy, które wykorzystują jednocześnie gradientowe metody uczenia oraz wiedzę heurystyczną. Jednym z nich jest algorytm RPROP (Resilient backpropagation). Aktualizacja wag w tym algorytmie odbywa się zgodnie ze wzorem [79] w ij ( k) = ( k) ( W( k) ) E η ij sgn, (2.27) wij gdzie w ij jest elementem macierzy współczynników wagowych W. Uwzględniany jest zatem tylko znak składowej gradientu, przy pominięciu informacji o jej wartości. Zalety takiego sposobu modyfikacji wag widoczne są głównie w okolicach minimów lokalnych funkcji celu, kiedy moduł gradientu posiada małą wartość. Dla porównania, w metodzie największego spadku zmiany wartości wag są wówczas niewielkie, co znacząco wydłuża czas uczenia. Algorytm RPROP eliminuje ten niekorzystny efekt i przyspiesza proces minimalizacji funkcji celu. W każdym cyklu uczącym wartości współczynników uczenia η ij dobierane są dla każdej wagi w ij oddzielnie zgodnie ze wzorem [79]: 19

21 gdzie S ( k) ij E = w ( aηij ( k ) ηmax ) ( ( ) min ) η ( k 1) min 1, dla Sij ( k) Sij ( k 1) > 0 ηij ( k) = max bηij k 1, η dla Sij ( k) Sij ( k 1) < 0, (2.28) Sij ( k) = 0 ij ( W ( k) ) ij, natomiast ηmin i η max oznaczają odpowiednio minimalną oraz maksymalną wartość współczynnika uczenia. Przy ustalaniu wartości tych współczynników korzysta się z informacji o znaku pochodnej funkcji celu względem danej wagi w bieżącym oraz poprzednim cyklu. Wartość współczynnika η ij jest zwiększana o wartość a, jeżeli pochodne w dwóch kolejnych cyklach mają takie same znaki. Jeżeli znaki są różne, wówczas wartość współczynnika η ij jest zmniejszana o wartość b. W przypadku, gdy pochodna funkcji celu względem danej wagi ma wartość zerową, współczynnik uczenia nie ulega zmianie. Z badań przeprowadzonych przez autora w pracy [61] wynika, iż spośród wymienionych algorytmów uczenia sieci sigmoidalnych, najbardziej efektywne w diagnostyce AUE są algorytmy LM i RPROP. Zapewniają one szybką minimalizację funkcji celu i są odporne na zjawisko utykania w minimach lokalnych. Algorytm LM posiada jednak znaczne wymagania odnośnie wolnej pamięci przy przechowywaniu macierzy hesjanu. W związku z tym jest użyteczny głównie w przypadku sieci o niewielkiej złożoności, w których liczba współczynników wagowych nie przekracza kilkuset. Dla bardziej złożonych sieci, lub też w przypadku ograniczonych zasobów pamięci, lepsze rezultaty uzyskuje się korzystając z algorytmu RPROP Sieci z radialnymi funkcjami bazowymi Sieci tego typu, obok sieci sigmoidalnych, mają również szerokie zastosowanie w diagnostyce uszkodzeń AUE [19-21,23,69,99]. Posiadają one strukturą dwuwarstwową pokazaną na rys. 2.8a. a) b) x 1 x 2 x y 1 y 2 x N Rys Architektura radialnej sieci neuronowej (a), oraz kształt funkcji Gaussa (b). Neuron w warstwie ukrytej stanowi bazę dla wektorów wejściowych, realizując funkcję ϕ(x) zmieniającą się radialnie wokół wybranego centrum w, stąd nazwa funkcji - radialna funkcja bazowa. Przykłady funkcji bazowych stosowanych w sieciach radialnych przedstawiono w rozdziale 2.1. Ich wspólną cechą jest wykorzystanie parametru skalującego σ, za pośrednictwem którego określany jest obszar aktywacji neuronu wokół centrum w. Wraz ze wzrostem wartości tego parametru zwiększa się również promień hipersfery ograniczającej obszar aktywacji neuronów radialnych. W przeciwieństwie do sieci sigmoidalnej, w której każdy neuron warstwy ukrytej rozdzielał przestrzeń wejściową na dwie półprzestrzenie za pomocą hiperpłaszczyzny, neuron 20

22 ukryty w sieci radialnej reprezentuje hipersferę rozdzielającą przestrzeń na obszar wewnątrz i na zewnątrz tej hipersfery. Osiągnięcie prawidłowych zdolności uogólniających przez sieć radialną, ze względu na lokalny zakres oddziaływania neuronów radialnych, wymaga zastosowania dostatecznej ich liczby w warstwie ukrytej. W przypadku symetrii kołowej skupisk danych w przestrzeni wejściowej wymagana liczba neuronów radialnych w strukturze SNN jest niewielka, gdyż dla każdego skupiska przyporządkowuje się tylko jedną funkcję radialną. W przeciwnym wypadku złożoność sieci wzrasta, gdyż do odwzorowania skupisk danych o złożonych kształtach należy zastosować większą liczbę neuronów radialnych. Sytuacja taka ma miejsce w przypadku klasyfikacji uszkodzeń parametrycznych AUE. Sygnatury słownika uszkodzeń reprezentowane są wówczas w postaci wydłużonych stref skupienia danych rozproszonych w otoczeniu nominalnych krzywych identyfikacyjnych. Odwzorowanie każdej krzywej w słowniku uszkodzeń, w zależności od założonego zakresu zmian wartości parametrów AUE, wymaga od kilkunastu do kilkudziesięciu neuronów radialnych. Skutkiem tego jest zwykle większa złożoność sieci radialnej w stosunku do sieci sigmoidalnej, przeznaczonych do rozwiązania tego samego problemu klasyfikacyjnego. Neurony warstwy ukrytej sieci radialnej połączone są z liniowymi neuronami warstwy wyjściowej, których zadaniem jest sumowanie wagowe sygnałów pochodzących z neuronów ukrytych. Ze względu na lokalny zakres oddziaływania funkcji bazowych oraz ich nieliniowy charakter, sieć radialna potrafi modelować dowolną funkcję przy użyciu tylko jednej warstwy ukrytej. W przeciwieństwie do sieci sigmoidalnej, zwalnia to z konieczności podejmowania na etapie projektowania decyzji odnośnie liczby warstw. Łatwiejszy jest także sposób uczenia sieci radialnej, gdyż prosta transformacja liniowa realizowana przez warstwę wyjściową może być zoptymalizowana przy zastosowaniu technik modelowania liniowego Metody uczenia sieci radialnych W przebiegu uczenia sieci radialnej można wyróżnić dwa zasadnicze etapy [79]: 1. Dobór centrów i parametrów skalujących funkcji radialnych w warstwie ukrytej; 2. Wyznaczenie wag neuronów warstwy wyjściowej. Centra funkcji radialnych mogą być ustalane na trzy sposoby: losowo, przy zastosowaniu procesu samoorganizacji, poprzez uczenie pod nadzorem. W pierwszym przypadku centrami są punkty odpowiadające losowo wybranym elementom ze zbioru uczącego. Takie rozwiązanie przynosi zadowalające efekty tylko wówczas, gdy wielkość zbioru uczącego jest dostatecznie duża, oraz gdy wybrane centra stanowią dobrą reprezentację rozkładu danych w przestrzeni wejściowej. Oznacza to zwykle konieczność zastosowania w strukturze SNN wielu neuronów radialnych powodując znaczny wzrost złożoności obliczeniowej. Lepszym rozwiązaniem jest zastosowanie procesu samoorganizującego się podziału na klastry. Centra funkcji radialnych umieszcza się wówczas w centrach klastrów, a liczba funkcji odpowiadająca liczbie klastrów może być korygowana w procesie samoorganizacji. Najczęściej wykorzystuje się tutaj algorytm K-Means (KM) [79], stanowiący odpowiednik strategii uczenia typu WTA, lub rozszerzoną wersję tego algorytmu z elementami logiki rozmytej Fuzzy C-Means (FCM) [2,20,21,79]. W uczeniu sieci radialnej pod nadzorem, podobnie jak w sieciach sigmoidalnych, przyjmuje się funkcję celu uwzględniającą odchyłki sygnałów wyjściowych sieci od wartości żądanych, oraz dokonuje się minimalizacji tej funkcji w oparciu o jeden z algorytmów gradientowych. Istotną sprawą jest w tym przypadku właściwy dobór początkowych wartości parametrów sieci, gdyż ze względu na silną nieliniowość funkcji bazowych Gaussa prawdopodobieństwo utknięcia algorytmu w minimum lokalnym jest większe niż w przypadku sieci sigmoidalnych. Dobrym rozwiązaniem jest wstępne rozmieszczenie centrów funkcji bazowych z wykorzystaniem jednego z algorytmów samoorganizacji. 21