Daniel Kierepka. Kompresja obrazów za pomoc sztucznych sieci neuronowych

Transkrypt

1 Daniel Kierepka Kompresja obrazów za pomoc sztucznych sieci neuronowych We współczesnym wiecie do duym problemem jest przesyłanie danych o znacznej wielkoci w sieciach telekomunikacyjnych. W tej pracy zostanie pokazana jedna z metod rozwizania tego problemu z wykorzystaniem sztucznych sieci neuronowych. 1. Historia sztucznych sieci neuronowych Rozwój sztucznych sieci neuronowych został zapocztkowany w latach czterdziestych prób opisania w matematyczny sposób komórki nerwowej. Zauwaono wtedy cenne własnoci zarówno pojedynczego neuronu jak równie zbudowanych poprzez ich rónorodne połczenia- sztucznych sieci neuronowych (SSN). Pierwsz z nich jest równoległe przetwarzanie informacji w tym nieliniowych. Stwierdzono take, e ogromnym atutem sztucznych sieci neuronowych jest ich zdolno do uczenia, zastpujca tradycyjne programowanie. 2. Mózg a komputer Interesujcym zagadnieniem, z naukowego punktu widzenia, jest porównanie własnoci systemów komputerowych z własnociami mózgu. Jak wiadomo, mózg zbudowany jest z komórek nerwowych, które pełni rol mikroprocesorów. Przesyłaj one midzy sob sygnały, które przy pewnym uproszczeniu moemy potraktowa jako impulsy elektryczne. Komórka nerwowa (Rys.1.) zbudowana jest z dendrytów, które s wejciami do komórki nerwowej i aksonu który jest przedłueniem komórki nerwowej i jednoczenie połczeniem z innymi komórkami (wyjcie) w miejscu zwanym synaps. Poprzez połczenia synaptyczne transmitowane s sygnały do innych komórek nerwowych.

2 Rys.1. Komórka nerwowa Z cybernetycznego punktu widzenia neuron biologiczny mona traktowa jako specyficzny przetwornik sygnałów. Jest to układ o wielu wejciach (synapsy) i jednym wyjciu (akson). Podobnie jak w przypadku neuronowych sieci biologicznych, podstawowymi elementami z których buduje si sztuczne sieci neuronowe s sztuczne neurony. Z technicznego punktu widzenia sztuczny neuron jest elementem, którego własnoci odpowiadaj wybranym własnociom neuronu biologicznego. Sztuczny neuron (Rys.2.) z załoenia nie jest wic wiern kopi neuronu biologicznego, lecz mniej lub bardziej uproszczonym jego modelem, który powinien spełnia okrelone funkcje w sztucznej sieci neuronowej. Rys.2. Sztuczny neuron 3. Sztuczny neuron Ogólnie sztuczny neuron mona rozpatrywa jako specyficzny przetwornik sygnałów (Rys.3.) działajcy według nastpujcej zasady. Na wejcie przetwornika podawane s sygnały wejciowe, które nastpnie s mnoone przez odpowiednie współczynniki wag. "Waone" sygnały wejciowe s nastpnie sumowane i korygowane o stał warto progow b. Na tej podstawie wyznacza si pobudzenie neuronu. Pobudzone sygnały przechodz z kolei przez nieliniow funkcje aktywacji dajc na wyjciu sieci odpowiedni sygnał wyjciowy.

3 Rys.3. Model sztucznego neuronu 4. Uczenie sztucznych sieci neuronowych Jak ju wspomniano na pocztku, sztuczne sieci neuronowe posiadaj zdolno do uczenia si. Mona tu wyróni dwa sposoby uczenia sztucznych sieci neuronowych: z nauczycielem (uczenie nadzorowane) i bez nauczyciela (uczenie nienadzorowane). W trybie uczenia z nauczycielem (Rys.4.) przyjmuje si, e znany jest podany sygnał wyjciowy neuronu, a dobór wag musi by przeprowadzany w taki sposób, aby aktualny sygnał wyjciowy neuronu był najbliszy wartoci zadanej. Istotnym elementem jest tu znajomo podanej wartoci sygnału wyjciowego neuronu. Rys.4. Uczenie neuronu w trybie nadzorowanym

4 Jeli nie mona tego zapewni, to dla okrelonej klasy problemów, pozostaje wybór strategii uczenia bez nauczyciela. Dobór wag odbywa si wtedy na innej zasadzie wykorzystujc konkurencj neuronów midzy sob Sieci autoasocjacyjne Sie autoasocjacyjna jest sieci, która jest uczona w taki sposób, aby dokonywała maksymalnie wiernej reprodukcji wartoci sygnałów wejciowych na swoich wyjciach. Na pozór takie działanie nie ma sensu, skoro mamy pewne dane na wejciu, to po co budowa sie i uczy j eby odtworzyła na swoim wyjciu, moliwie wiernie, te same dane? Jednak jeli skonstruujemy sie w taki sposób, e w warstwie wewntrznej podamy mniejsz liczb neuronów ni w warstwach wejciowej i wyjciowej to zadanie to bdzie miało cechy kompresji sygnału 2. Wtedy przez t warstw o zmniejszonym wymiarze musz zosta przesłane sygnały z wejcia na wyjcie. Dlatego te w celu realizacji stawianego jej zadania reprodukcji informacji wejciowej na wyjciu sie musi si najpierw nauczy innej reprezentacji obszernych danych wejciowych przy pomocy mniejszej liczby sygnałów produkowanej przez neurony warstwy ukrytej. Nastpnie musi opanowa umiejtno rekonstrukcji na wyjciu pełnych danych wejciowych na podstawie skompresowanej informacji. 6. Program bada Prowadzc badania, skonstruowano sztuczn sie neuronow, której zadaniem była kompresja obrazu podawanego na wejciu sieci. Jako obrazy przeznaczone do kompresji przyjto znaki, litery alfabetu rysowane na matrycy wielkoci 10x10. Model badawczy (Rys.5.) stanowiły sieci MLP (Multilayer Perceptron). W trakcie prowadzonych bada zauwaono, e sie najlepiej radzi sobie z tym problemem, jeli umieszczono w niej jeszcze dwie dodatkowe, symetryczne warstwy ukryte. Nasze obserwacje w pełni pokrywaj si w tym wzgldzie z opisami znajdujcymi si w studiowanej literaturze dot. zastosowa sztucznych sieci neuronowych [5]. W zwizku z tym do ostatecznych bada przyjto modele sieci neuronowych o trzech warstwach ukrytych i nastpujcych wymiarach: 1 Wicej informacji o uczeniu sieci w trybie bez nauczyciela mona znale w: Jacek urada, Introduction to Artificial Neural Systems, West Publishing Company, USA 1992, str Inny przykład wykorzystania sieci autoasocjacyjnych do preprocessingu danych wejciowych do modeli neuronowych, został szczegółowo opisany w: Andrzej Burda, Budowa optymalnego modelu prognostycznego z wykorzystaniem preprocessingu w sztucznych sieciach neuronowych, Zamojskie Studia i Materiały, Rok wyd.iv, zeszyt 2, Wyd. WSZiA w Zamociu, Zamo 2002

5 MLP 100:65:20:65:100 (liczby neuronów w kolejnych warstwach sieci) MLP 100:50:10:50:100 MLP 100:40:5:40:100 W przypadku sieci pierwszej stopie kompresji wyniósł: 5, drugiej: 10, a trzeciej: 20. Rys.5. Model badawczy Konkludujc- sie po rozdzieleniu na dwie czci posłuyła jako nadajnik i odbiornik (Rys.6.) przekazywanego sygnału. Zadaniem sieci była najpierw kompresja obrazu, przesłanie danych przez medium transmisyjne, a nastpnie dekompresja do rzeczywistego obrazu podawanego na wejciu. Rys.6. Schemat zastosowania modelu Badano działanie sieci przy rónych stopniach kompresji. Przy 5- krotnej kompresji sie znakomicie radziła sobie z postawionym jej zadaniem. Natomiast

6 przy wikszych stopniach kompresji zaczły pojawia si zniekształcenia, które utrudniały interpretacj obrazów na wyjciu sieci Dotyczyły one liter, których wzorce s do siebie bardzo podobne (Rys.7.). Rys.7. Typowe zniekształcenie obrazów Wnioski Zastosowanie autoasocjacyjnych sztucznych sieci neuronowych jako narzdzi do kompresji sygnałów, stanowi ciekawe dowiadczenie badawcze i daje dobre wyniki praktyczne. Sieci przedstawione w badaniach przy wikszych stopniach kompresji nieco zniekształcały wzorce wejciowe. Zauwaono jednak, e zniekształcenia te nie dotycz translacji pionowej ani poziomej. Nie dotycz te obrotów wokół własnej osi. Mona wic w łatwy sposób wyeliminowalimy te zakłócenia wprowadzajc na wyjciu dodatkow sie, która poprawnie sklasyfikuje te wzorce mimo ich zniekształce. Zaproponowany model SSN, nawet przy 20-krotnej kompresji sygnału, dobrze radzi sobie z postawionym problemem i z powodzeniem moe by stosowany to tego typu zada. Literatura: 1. Andrzej Burda, Budowa optymalnego modelu prognostycznego z wykorzystaniem preprocessingu w sztucznych sieciach

7 neuronowych, Zamojskie Studia i Materiały, Rok wyd. IV, zeszyt 2, Wyd. WSZiA w Zamociu, Zamo Stanisław Osowski, Sieci neuronowe, Oficyna Wydawnicza Politechniki Warszawskiej, Warszawa Ryszard Tadeusiewicz, Mariusz Flasiski, Rozpoznawanie obrazów, Pastwowe Wydawnictwo Naukowe, Warszawa Jacek urada, Introduction to Artificial Neural Systems, West Publishing Company, USA Podrcznik programu Statistica Neural Networks PL, Wprowadzenie do sieci neuronowych, StatSoft, Kraków 2001