Alternatywne metody grupowana wzualzacj wykorzystujące sec konkurencyjne Janusz Stal Akadema Ekonomczna w Krakowe Katedra Informatyk Streszczene: Samoogranzujące sę mapy cech (SOM) są jednym z rodzajów sztucznych sec neuronowych wykorzystywanych w klasyfkacj wzualzacj danych. Artykuł ten jest próbą przedstawena porównana SOM z nnym alternatywnym metodam opartym na secach konkurencyjnych. Abstract: The Self-Organzng Feature-Mappng (SOM) s one of the Artfcal eural etwork (A) whch acts as a compettve network for classfcaton purposes. Ths artcle presents and compares alternatve compettve networks for classfcaton and vsualzaton. 1. Wstęp W samoorganzujących sę mapach cech Kohonena (SOM) występuje koneczność zdefnowana a pror wymaru mapy, co przy neznajomośc rozkładu prawdopodobeństwa obektów w przestrzen wejść może być trudne do określena. Ponadto klasyczna SOM ma z góry ustaloną topologę ogranczającą sposób defnowana sąsedztwa [10], co przez welu badaczy jest wskazywane jako wada tego rodzaju sec. Z tych powodów poszukwane są rozwązana, które nwelowałyby przytoczone problemy w szczególnośc ne wymuszałyby korzystana ze statycznej welkośc mapy podczas całego procesu uczena. 2. euronowe metody grupowana oparte o sec herarchczne samorozwjające sę 2.1. Seć GCS z dynamczną zmaną struktury Jednym z możlwych rozwązań nwelujących ten problem jest proponowana przez Frtzke [2] metoda dynamcznej zmany struktury sec (ang. Growng Cell Structures GCS) w czase procesu jej samoorganzacj. Seć GCS oparta została równeż na dzałanu sec samoorganzujących sę. Dla opsu jednorodnych grup w przestrzen sygnałów wejścowych R n tworzone są struktury na płaszczyźne, składające sę z połączonych neuronów. Lczba neuronów oraz lczba połączeń pomędzy poszczególnym jednostkam sec (lub ch brak) odzwercedlają rozkład obektów w przestrzen wejść. Punktem wyjśca w tworzenu struktur opsujących jednorodne grupy jest najczęścej układ połączeń trzech neuronów, tworzących trójkąt. Algorytm uczena sec GCS składa sę z dwóch zasadnczych faz: 1. Fazy adaptacj wektorów wagowych neuronów 2. Fazy modyfkacj struktury sec (dodawana usuwana neuronów oraz połączeń pomędzy neuronam)
Faza adaptacj wektorów wagowych jest zblżona do algorytmu Kohonena [5]. Różnca w tej faze wyraża sę przyjęcem stałego zakresu sąsedztwa dla neuronu wygrywającego. Ponadto dla każdego neuronu stnejącego w strukturze defnowana jest zmenna adaptacyjna τ, której wartość jest zwększana tylko dla neuronu zwycęzcy (dla pozostałych neuronów następuje jej zmnejszene). Druga faza następuje zawsze po wykonanu stałej (z góry przyjętej) lczby cykl fazy perwszej polega na procese dodawana bądź usuwana neuronu zwązanej z tym modyfkacj struktury połączeń sec. Po zakończenu fazy adaptacj dla neuronu p z najwększą względną wartoścą zmennej adaptacyjnej λ, wyznaczany jest najdalej położony (w sense określonej metryk) neuron q z najblższego sąsedztwa (Rys. 1). p λ max r q Rys. 1. Tworzene nowego elementu dla sec GCS: p neuron o najwększej względnej wartośc zmennej adaptacyjnej λ, q najbardzej oddalony neuron z najblższego sąsedztwa p, r nowo dodany neuron. owy element sec r jest tworzony pomędzy neuronam p q (w przestrzen wejść). Dodany neuron jest łączony z najblższym sąsadam (w zależnośc, czy powstał on na krawędz struktury, czy też w jej wnętrzu, możlwe jest połączene nowego neuronu z trzema bądź czterema sąsadam). Tak utworzona struktura reprezentuje rozkład gęstośc prawdopodobeństwa sygnału wejścowego (Rys. 2). Rys. 2. Dynamczna zmana struktury sec GCS (bały punkt oznacza nowo dodany neuron). Dla pełnejszego zobrazowana gęstośc rozkładu w przestrzen wejść, po zadanej a pror lczbe cykl fazy adaptacyjnej, nektóre elementy struktury mogą być usuwane. Jeżel lczba zwycęstw neuronu ne przekroczy z góry ustalonej wartośc progowej, element sec wraz ze wszystkm połączenam jest elmnowany. W pracy [3] dokonano analzy porównawczej model sec Kohonena GCS wskazując jednocześne na korzyśc z zastosowana proponowanej metody w stosunku do SOM. ajczęścej wymenane to: nezmenna wartość parametrów algorytmu w trakce procesu uczena sec
brak konecznośc defnowana a pror rozmaru sec 1 zmnejszene czasu adaptacj sec do poprawnych rozwązań (co umożlwa zastosowane sec GCS w procesach czasu rzeczywstego) Jak jednak zauważa Köhle [4], algorytm GCS jest bardzej wrażlwy na początkowe wartośc parametrów uczena, a ponadto SOM wykazuje sę wększą zbeżnoścą do tych samych oszacowań w szerokm zakrese zman zarówno współczynnka uczena jak zakresu funkcj sąsedztwa. 2.2. Seć IGG z dynamczną zmaną struktury Rozwązane wyznaczana jednorodnych grup w n wymarowej przestrzen o neznanym rozkładze proponuje Blackmore [1]. Założena proponowanej metody (ang. Incremental Grd Growng IGG) oparte są równeż na dynamcznej zmane struktury sec w trakce procesu jej uczena. W procese tym, który jest modyfkacją algorytmu SOM można wyróżnć trzy zasadncze etapy: 1. Proces adaptacj wektorów wagowych neuronów na podawane wzorce sygnałów wejścowych 2. Dodane nowych neuronów do struktury 3. Modyfkacja połączeń pomędzy neuronam sec (dodane nowych lub usunęce już stnejących połączeń) W każdym kroku teracj, wyznaczany jest neuron zwycęzca, dla którego oblczany jest skumulowany błąd kwantyzacj: SBK ( t + 1) = SBK c c ( t) + n ( X k Wck ) k = 1 2 gdze: SBK skumulowany błąd kwantyzacj neuronu dla podawanych wzorców sygnału X wektor sygnału wejścowego W wektor wag neuronu c ndeks neuronu zwycęzcy W celu dodana nowej jednostk do stnejącej już struktury sec wyznaczany jest neuron granczny struktury z maksymalnym skumulowanym błędem kwantyzacj. owe neurony dodawane są w każdym możlwym bezpośrednm sąsedztwe tak wyznaczonego neuronu (Rys. 3). 1 W przypadku SOM dla uzyskana poprawnej reprezentacj gęstośc rozkładu prawdopodobeństwa obektów przeprowadza sę procedurę dla różnych welkośc (wymarów) map. Powoduje to jednak znaczne wydłużene czasu oblczeń, który rośne z kwadratem wymaru mapy.
U U a) b) c) D U d) e) D U f) Rys. 3.Dynamczna modyfkacja struktury sec IGG (bały punkt oznacza neuron z najwększym skumulowanym błędem kwantyzacj MAX SBK ); przyjęte oznaczena: nowo dodany neuron, D dodane nowe połączene, U usunęte połączene. Dla nowo dodanych neuronów wektory wagowe ncjowane są przy uwzględnenu warunków [9]: jeżel nowo dodany neuron posada w swym sąsedztwe nne neurony, składowe wektora wagowego ncjowane są według formuły: w OWYk 1 = s s = 1 w k gdze: W OWY wektor wagowy dodanego neuronu S zbór bezpośrednch sąsadów nowego neuronu W wektor wagowy -tego neuronu, S k ndeks składowych wektora wagowego s lczba bezpośrednch sąsadów nowego neuronu jeżel nowo dodany neuron ne posada w swom sąsedztwe nnych neuronów, wartośc składowych wektora wagowego są zależne od lczby sąsadów neuronu z maksymalnym skumulowanym błędem kwantyzacj: w OWYk = w MAXSBKk ( m + 1) m = 1 w k gdze: W OWY wektor wagowy dodanego neuronu W MAXSBK wektor wagowy neuronu z maksymalnym skumulowanym błędem kwantyzacj (MAXSBK) M zbór stnejących bezpośrednch sąsadów neuronu z MAXSBK W wektor wagowy -tego neuronu, M k ndeks składowych wektora wagowego m lczba już stnejących bezpośrednch sąsadów neuronu z MAXSBK
Oprócz dodawana nowych neuronów do stnejącej już struktury sec, analze poddawana jest równeż odległość pomędzy sąsadującym neuronam sec (w przestrzen wejść). W przypadku, gdy odległość ta przekroczy arbtralne ustaloną wartość progową, połączene to jest usuwane. Analogczne, gdy odległość ta jest mnejsza od z góry przyjętej wartośc progowej, tworzone jest nowe połączene pomędzy sąsadującym neuronam. Przedstawone rozwązane, podobne jak seć IGS, oparte zostało na dynamcznej zmane struktury sec podczas procesu jej samoorganzacj. ewątplwą korzyścą z jej stosowana w stosunku do sec SOM jest fakt, ż ne jest wymagane określene a pror welkośc mapy oraz możlwość uzyskana w procese wzualzacj nformacj o występujących zależnoścach mędzygrupowych dla badanego zboru danych. Jak jednak zauważa [9] dla uzyskana podzału zboru na grupy konecznym staje sę arbtralne określene welkośc parametrów mających zasadnczy wpływ na ten proces, tj. przede wszystkm wartośc progowych PRG POŁ PRG ROZŁ, od których zależne są połączena pomędzy poszczególnym jednostkam (węzłam) sec. Ponadto dla sec IGG, ze względu na przyjęte założena, ogranczona staje sę możlwość analzy struktury wewnątrz grupowej. 2.3. Seć HSOM jako neuronowa metoda grupowana herarchcznego Interesujące podejśce do zagadneń podzału zboru obektów prezentuje Mükkulanen [8]. Zaproponowana metoda, którą można określć termnem Herarchczny SOM (HSOM) (ang. Herarchcal Feature Maps) opera sę na wykorzystanu szeregu map cech Kohonena ułożonych warstwowo, przy czym lczebność SOM w każdej następnej warstwe struktury jest ścśle zależna od całkowtej lczby neuronów występującej w warstwe poprzednej (Rys. 4). Przy tego typu podejścu lczba warstw struktury sec HSOM, a także wymar map w każdej warstwe jest określany a pror. wektor wejścowy warstwa 3 warstwa 2 warstwa 1 Rys. 4. Herarchczna metoda podzału zboru obektów na grupy przy wykorzystanu map cech Kohonena. Podczas procesu uczena (który przebega zawsze w kolejnośc od warstwy perwszej do ostatnej) ma mejsce adaptacja współczynnków wagowych każdej z map SOM. Przejśce do procesu adaptacj SOM w kolejnych warstwach jest możlwe wyłączne po zakończenu procesu w warstwe poprzednej. ależy zauważyć ż określene, która z map SOM w kolejnych warstwach będze podlegać adaptacj jest ścśle zależne od prezentacj wektora wejścowego 2 jak równeż od mapy SOM znajdującej sę w warstwe nadrzędnej. Dzała ona 2 Dla przyspeszena procesu uczena, wartośc składowych kolejno prezentowanego wektora wejścowego przechowywane są w tymczasowych zmennych prezentowane każdej z map SOM podlegającej procedurze
tutaj jak rodzaj fltra reagującego na podawany sygnał wejścowy wskazując, która z map SOM kolejnej (następnej) warstwy będze podlegać procesow adaptacj. Końcowym efektem procesu jest uzyskane podzborów obektów, a także dodatkowo (co wynka z przyjętych założeń metody HSOM) możlwość określena kolejnych szczebl podzału obektów na grupy. Sec HSOM, ze względu na przyjęte założena odnośne archtektury algorytmu ch uczena, oferują newątplwe korzyśc przy ch zastosowanu, wśród których można przytoczyć [8]: mnejsza sumaryczna lczba połączeń 3 pomędzy warstwą wejścową sec, a neuronam warstw przetwarzających, w stosunku do SOM znaczne zmnejszene czasu oblczeń 4, wynkające zarówno z mnejszej lczby połączeń na wejścu sec jak z jej herarchcznego procesu uczena ależy jednak zauważyć, ż dla stosowana HSOM konecznym staje sę: zdefnowane mechanzmu doboru rozmaru map oraz lczby pozomów (warstw) w zależnośc od zboru danych wejścowych prawdłowy dobór wartośc współczynnków uczena dla poszczególnych warstw sec 3. euronowe metody grupowana oparte o klasyczny algorytm Kohonena 3.1. Metoda UMATRIX Idea metody UMATRIX (ang. unfed dstance matrx method) [11] opera sę na wyznaczanu odległośc pomędzy sąsadującym neuronam na mape SOM przy zachowanu tej samej metryk, która została użyta w procese modyfkacj współczynnków wagowych neuronów. ależy jednak zauważyć, ż proces ten, w odróżnenu od sec IGG GCS, przeprowadzany jest na wytrenowanej mape SOM. ne jest zatem koneczna modyfkacja podstawowego algorytmu Kohonena. Przyjmując topologę prostokątną mapy, lczba neuronów sąsadujących jest zależna od lokalzacj neuronu na mape (Rys. 5). Rys. 5. Określene lczebnośc sąsedztwa w metodze UMATRIX w zależnośc od lokalzacj neuronu. Dla każdego neuronu SOM wyznaczana jest wartość ampltudy, którą stanow średna odległość od neuronów bezpośredno sąsadujących 5 : przetwarzana (tj. adaptacj współczynnków wagowych lub fltracj, czyl określena kooperującej z neuronem zwycęskm mapy SOM w kolejnej warstwe). 3 Dla wektora wejścowego o 360 składowych, lczba połączeń przy założenu 3-warstwowej HSOM wynos 3744, natomast dla SOM o 144 neuronach 51840 (Mükkulanen, 1990) 4 Mükkulanen podaje, ż całkowty czas uczena sec HSOM w stosunku do SOM (dla wektora wejścowego o 360 składowych) różnł sę co najmnej o 2 rzędy welkośc (HSOM ok. 3 mnut, SOM 9,5 godzny)
AMP B j= = 1 DIST B j gdze: AMP średna odległość pomędzy -tym neuronem, a neuronam sąsadującym DIST j odległość pomędzy -tym, a j-tym neuronem B lczba neuronów sąsadujących, dla -tego neuronu Wyznaczona wartość średnej odległośc mędzy neuronowej (AMP) stanow marę nepodobeństwa pomędzy neuronam w n wymarowej przestrzen wejść poprzez dokonane jej wzualzacj w przestrzen R 3 możlwe jest określene struktury badanego zboru danych. Algorytm samoorganzuących sę map cech Kohonena (SOM) ne pozwala na wykrywane jednorodnych grup w zborze danych, jednakże w połączenu z metodą UMATRIX możlwe staje sę określene lczebnośc rozkładu grup w przestrzen R n, bez znajomośc a pror lczby rozmaru tych grup. ależy pamętać, że ze względu właścwośc samoorganzujących sę map SOM, grupy o zblżonym położenu w przestrzen wejść lokowane są na mape SOM w swym sąsedztwe. Jak jednak zauważa [9]: ze względu na przyjęty w metodze UMATRIX sposób prezentacj, utrudnona lub wręcz nemożlwa staje sę prawdłowa wzualzacja dla map o newelkch rozmarach, w których grupy reprezentowane są poprzez jedyne klka neuronów; w takm wypadku proponuje sę zwększene rozmaru mapy o 20-40%. jeżel pojedynczy neuron jest reprezentantem dużego podzboru wektorów wejścowych tworzących jednorodną grupę, to wysoke wartośc ampltud dla neuronów sąsednch (oznaczające stopeń nepodobeństwa do sąsednch grup) mogą utrudnać lub wręcz unemożlwać prawdłową analzę struktury mędzygrupowej danych w tym obszarze SOM; w takm wypadku celowym równeż wydaje sę zwększene wymaru mapy 3.2. Grupowane z dynamczną zmaną koordynat neuronów metoda Adaptve Coordnates Metoda adaptacj koordynat neuronów na płaszczyźne, AC, (ang. Adaptve Coordnates) [6] stanow rozszerzene algorytmu Kohonena. Założena przyjęte w tej metodze pozwalają uzyskać obraz rozkładu gęstośc prawdopodobeństwa dla cągu wejścowego, a jednocześne ne jest koneczna ngerencja w podstawowy algorytm Kohonena. Podejśce to opera sę na założenu wynkającym z dzałana sec SOM, gdze dla podawanych sygnałów wejścowych następuje modyfkacja wektorów wagowych neuronów zwycęskch znajdujących sę w ch najblższym sąsedztwe, w wynku czego położene tychże wektorów w przestrzen wejść odpowada rozkładow gęstośc prawdopodobeństwa dla danych wejścowych. 5 Ścślej: wartość ampltudy jest określana poprzez odległość (w przestrzen wejść) pomędzy wektoram sąsadujących neuronów przy zastosowanu mary odległośc analogcznej, jak w przypadku wyznaczana neuronu zwycęskego
a) b) Rys. 6. Grupowane danych metodą Adaptve Coordnate; a układ neuronów dla wrtualnej mapy VSOM przed rozpoczęcem procesu uczena, b układ neuronów po zakończenu procesu uczena. Dla wszystkch neuronów SOM tworzony jest układ odpowadających m jednostek na płaszczyźne (wrtualnej mape SOM VSOM) o początkowych koordynatach odpowadających położenu neuronów na mape cech. W trakce procesu uczena, w zależnośc od tego, czy neuron SOM podlega procesow adaptacj (czy jest neuronem zwycęskm) następuje zmana położena jednostek VSOM (zmana ch koordynat) reprezentująca zmany położena wektorów wagowych neuronów w przestrzen wejść: ax ( t + 1) = ax ( t) + Ψ ( t + 1) ( ax ay ( t + 1) = ay ( t) + Ψ ( t + 1) ( ay c c ( t) ax ( t)) ( t) ay ( t)) gdze: ax, ay koordynaty -tego neuronu na mape VSOM ax c, ay c koordynaty neuronu zwycęskego na mape VSOM Ψ względna zmana wartośc funkcj aktywacj -tego neuronu Wzualzacja VSOM na płaszczyźne pozwala określć stnejące jednorodne grupy w badanym zborze danych w przestrzen wejść (Rys. 6). Formalną analzę algorytmu AC można znaleźć w pracy [6]. Metodę AC należy traktować jako rozszerzene klasycznego algorytmu SOM, umożlwającego wzualzację odległośc pomędzy obektam z przestrzen wejść, które przynależą do tej samej grupy, jak pomędzy obektam z różnych grup. Główne założene metody opera sę na stwerdzenu, ż w algorytme Kohonena ne jest możlwe jednoznaczne wyznaczene granc pomędzy zdentyfkowanym klasam obektów na dwuwymarowej satce neuronów. 3.3. Cluster Connectons Podejścem bazującym na wyznaczanu odległośc pomędzy wektoram wagowym SOM w przestrzen R n jest technka wzualzacj określana termnem (ang. Cluster Connecton - CC) [7]. Jej założena operają sę na analze odległośc pomędzy poszczególnym wektoram wagowym neuronów w przestrzen wejść (dla tej samej metryk, która stosowana była w procese nauczana sec), podobne jak w przypadku metody UMATRIX. Wartość odległośc mędzy wektoram wagowym sąsadujących neuronów SOM jest stosowana do ustanowena połączena pomędzy neuronam, które w ten sposób stają sę reprezentantam jednorodnej grupy. Procedura przeprowadzana jest w faze postprocessngu na wytrenowanej mape SOM, co powoduje, ż ne jest koneczna ngerencja w podstawowy algorytm Kohonena. Dla prezentacj struktury wewnątrz grupowej jak równeż w celu określena stopna nepodobeństwa mędzygrupowego, wzualzacja wyznaczonych odległośc pomędzy wektoram wagowym SOM może być przedstawona poprzez:
porównane odległośc pomędzy wektoram wagowym sąsadujących neuronów ze zdefnowaną stałą lczbą wartośc progowych tychże odległośc (wartośc mnmum, maksmum, czy też średnej odległośc pomędzy wektoram wagowym SOM) manualną zmanę wartośc progowej w przedzale <mn,max> analzę mapy połączonych neuronów konwersję wartośc odległośc na stopeń ntensywnośc połączena mędzy sąsadującym neuronam; ntensywność połączena mędzy neuronam (określająca stopeń ch podobeństwa) jest przedstawona jako stopeń szarośc, gdze kolor czarny określa maksymalne podobeństwo, a kolor bały maksymalne nepodobeństwo dwóch neuronów (Rys. 7) Rys. 7. Grupowane danych dla mapy SOM o wymarach 7x7 metodą Cluster Connecton dla trzech wartośc progowych odległośc pomędzy wektoram wagowym. W przypadku stosowana CC należy zwrócć uwagę, ż ze względu na fakt, ż mechanzm wzualzacj występuje w faze postprocessngu SOM, ne jest koneczne określane wartośc dodatkowych parametrów, jak to ma mejsce przy wykorzystanu sec IGG, czy GCS. 4. Podsumowane Przedstawone w poprzednch punktach metody grupowana wzualzacj operają sę na dwóch podejścach: modyfkacj podstawowego algorytmu Kohonena (sec GCS, IGG oraz HSOM), wykorzystana procedury grupującej w faze postprocessngu SOM (sec AC, CC oraz metoda wzualzacj UMATRIX) mogą stanowć alternatywę dla SOM. W szczególnośc można tu wymenć: brak konecznośc defnowana a pror rozmaru sec, skrócene czasu adaptacj sec do poprawnych rozwązań (skrócene czasu oblczeń), czy też możlwość uzyskana w procese wzualzacj nformacj o występujących zależnoścach mędzygrupowych dla zboru danych. ależy jednak zauważyć, ż zaprezentowane metody umożlwają przede wszystkm określane lczebnośc grup badanej zborowośc natomast utrudnona lub wręcz nemożlwa staje sę analza struktury wewnątrzgrupowej wyróżnonych klas. Ponadto brak jest realzacj programowych dla tych metod w przecweństwe do SOM, jednakże nc ne sto na przeszkodze w dokonanu mplementacj w dowolnym języku programowana. Lteratura [1] Blackmore J., Mükkulanen R. [1993], Incremental grd growng: Encodng hghdmensonal structure nto a two-dmensonal feature map, Proceedngs of the IEEE Interantonal Conferernce on eural etworks (IC 93), San Francsco, USA
[2] Frtzke B. [1992], Growng cell structures a self-organzng network n k dmensons, Artfcal eural etworks II, I. Aleksander & J. Taylor, eds., orth-holland, Amsterdam, 1051-1056 [3] Frtzke B. [1993], Kohonen Feature Maps and Growng Cell Structures a Performance Comparson, n Advances n eural Informaton Processng 5, L. Gles, S. Hanson & J. Cowan, eds., Morgan Kaufmann Publshers, San Mateo, CA [4] Köhle M., Merkl D. [1996], Vsualzng smlartes n hgh dmensonal nput spaces wth a growng and splttng neural network, Proc. 6 th Interantonal Conference on Artfcal eural etworks (ICA 96) July 16-19, Bochum, Germany [5] Kohonen T. [1995], Self-Organzng Maps, Sprnger-Verlag, Hedelberg [6] Merkl D., Rauber A. [1997], Alternatve Ways for Cluster Vsualzaton n Self- Organzng Maps, Proc of the Workshop on Self-Organzng Maps (WSOM97), Helsnk, Fnland [7] Merkl D., Rauber A. [1997a], Cluster Connectons: A vsualzaton technque to reveal cluster boundares n self-organzng maps, Proc 9 th Italen Workshop on eural ets (WIR97), Vetr sul Mare, Italy [8] Mükkulanen R. [1990], Scrpt recognton wth herarchcal feature maps, Connecton Scence 2, pp 83-101 [9] Rauber A. [1996], Cluster vsualzaton n unsupervsed neural networks, Dplomarbet, Technsche Unverstät, Wen [10] Skubalska Rafajłowcz E. [2000], Samoorganzujące sec neuronowe, W: Bocybernetyka nzynera bomedyczna, Tom 6 Sec neuronowe, ałęcz M. (red.), Akademcka Ofcyna Wydawncza EXIT, Warszawa [11] Ultsch A. [1993], Self-organzng eural etworks for Vsualzaton and Classfcaton, n Optz O., Lausen B. and. Klar R., (Eds.) Informaton and Classfcaton, 307-313, Sprnger-Verlag, Berln