Marcin IWANOWSKI Instytut Sterowania i Elektroniki Przemysłowej Politechnika Warszawska ul.koszykowa 75 00-662 Warszawa ZASTOSOWANIE MORFOLOGII MATEMATYCZNEJ DO PRZEMYSŁOWEGO PRZETWARZANIA ORAZÓW Artykuł przedstawia zastosowanie metod morfoloii matematycznej do przemysłoweo przetwarzania obrazów. Morfoloia matematyczna jest efektywnym narzędziem nielinioweo przetwarzania obrazów, sięającym swoją historią lat 60-tych XX wieku. Od sweo powstania znajdowała ona zastosowanie do automatyczneo przetwarzania i analizy obrazów, w wielu dziedzinach, w tym także w aplikacjach przemysłowych. W artykule szczeólny nacisk został położony na zastosowanie operacji rekonstrukcji morfoloicznej i wykorzystujących ją zaawansowanych filtrów morfoloicznych rekonstrukcyjnych. Pokazane przykłady wykorzystania opisanych metod pokazują ich przydatność do rozwiązywania praktycznych problemów spotykanych w przemysłowym przetwarzaniu obrazów. Obejmują one zaadnienia wykrywania naczyń krwionośnych w obrazach siatkówki, sementacji obrazów próbek eoloicznych oraz wykrywania defektów na obrazach przedstawiających powierzchnie metalu. 1. WSTĘP Morfoloia matematyczna jest efektywnym narzędziem nielinioweo przetwarzania obrazów. Jej historia sięa lat 60-tych XX wieku, kiedy to na bazie prac teoretycznych prowadzonych przez prof. G.Matherona, prof. J.Serra wprowadził i zdefiniował pierwsze operatory morfoloiczne przeznaczone do analizy struktur eoloicznych [7]. Od sweo powstania morfoloia matematyczna znajdowała zastosowanie do automatyczneo przetwarzania i analizy obrazów. Wraz z rozwojem techniki komputerowej powiększał się jej obszar zastosowań obecnie obejmuje on praktycznie wszystkie obszary, w których konieczne jest zautomatyzowane podejście do obrazów cyfrowych [1,2,5,8,9,11]. Są wśród nich kodowanie, przekształcanie, zniekształcanie, filtracja i sementacja obrazów. Szczeólnie dwa ostatnie obszary są istotne w przemysłowych zastosowaniach przetwarzania obrazów. Artykuł pokazuje zastosowania jedneo z narzędzi morfoloiczneo przetwarzania obrazów filtrów rekonstrukcyjnych [8,10,11]: otwarcia i zamknięcia przez rekonstrukcję. Operatory te pozwalają na usuwanie elementów obrazu w zależności od ich wielkości będących szumem lub obiektami na obrazie bez zniekształcania pozostałych jeo framentów. Cecha ta nie występuje w popularnych
filtrach liniowych oraz w prostych filtrach morfoloicznych, a pozwala na poprawę efektywności i dokładności operacji przetwarzania obrazów. W punkcie 2 artykułu opisane są skrótowo podstawy morfoloiczneo przetwarzania obrazów niezbędne do zdefiniowania filtrów rekonstrukcyjnych. Punkt 3 zawiera trzy praktyczne przykłady zastosowania tych filtrów: do wykrywania naczyń krwionośnych w obrazie siatkówki oka ludzkieo, do sementacji obrazów eoloicznych minerałów, oraz do wykrywania uszkodzeń powierzchni. Punkt 4 zawiera podsumowanie. 2.PODSTAWY MORFOLOGICZNEGO PRZETWARZANIA ORAZÓW 2.1 EROZJA, DYLACJA, ELEMENT STRUKTURUJĄCY, FILTRY MORFOLOGICZNE Morfoloia matematyczna jest oparta się na dwóch nieliniowych operatorach lokalnych: minimum (inf) oraz maksimum (sup) stosowanych w sąsiedztwie każdeo punktu obrazu. Kształt sąsiedztwa jest określany przy pomocy elementu strukturujaceo. Podstawową jeo własnością jest niezmienniczość wzlędem przesunięcia, co oznacza, że element ten ma tę samą postać dla każdeo punktu obrazu. Jednym z najczęściej stosowanych w zastosowaniach praktycznych elementem strukturującym jest element tzw. jednostkowy (lub: elementarny). Kształtem swoim obejmuje on jednopunktowe najbliższe sąsiedztwo punktu. Często też stosuje się element strukturujący kierunkowy, który zawiera sąsiedztwo tylko w jednym kierunku. Operacje z takim elementem strukturującym nazywane są kierunkowymi. Dylacja 1 i erozja obrazu f z elementem strukturującym poleają na wyznaczeniu dla każdeo punktu wartości odpowiednio maksymalnej lub minimalnej w sąsiedztwie określonym przez. Są one zdefiniowane następująco (odpowiednio: dylacja i erozja): [ δ ( f )]( p) = max f ( p + b), [ ε ( f )]( p) = min f ( p b) [ ] [ ] + b b Dylacja i erozja o zadanym rozmiarze n są definiowane jako, odpowiednio: ( f ) = (... ( f )..) δ δ δ δ ; n razy ε ( f ) = ε ( ε... ε ( f )..) (2) n razy dzie: ε ( f ) = ε ( f ), δ ( f ) = δ ( f ). Dwoma podstawowymi filtrami morfoloicznymi są otwarcie i zamknięcie 2. Definiuje się je jako odpowiednio: γ ( f ) = δ ( ε ( f )) ϕ ( f ) = ε ( δ ( f )) (3) T dzie T = { x, x } oznacza element strukturujący tzw. transponowany. T 1 Dylacja nazywana jest także dylatacją. 2 Zamknięcie jest też określane jako domknięcie.
Otwarcie i zamknięcie o zadanym rozmiarze n są wyznaczane zodnie ze wzorami: γ ( f ) = δ ( ε ( f )) ; ϕ ( f ) = ε ( δ ( f )) (4) Otwarcie i zamknięcie pozwalają na usuwanie z obrazu jeo elementów (obiektów, szumu) odpowiednio jaśniejszeo i ciemniejszeo od tła. Efektem ubocznym jest jednak zniekształcenie krawędzi obiektów znajdujących się na obrazie. Odmiennie niż w przypadku filtrów liniowych (np. filtru Gaussa) zniekształcenie nie polea na rozmyciu krawędzi, lecz na zmianie ich kształtu, tym wyraźniejszej im większy jest zadany rozmiar operacji. Filtry morfoloiczne przemienne składają się z otwarć i zamknięć teo sameo rozmiaru i moą wylądać następująco: ϕγ, γϕ, γϕγ, ϕγϕ. Pozwalają one na usuwanie elementów obrazu zarówno ciemniejszych od tła jak i od nieo jaśniejszych. Filtry przemienno-sekwencyjne (an. alternatin sequencial filters - ASF) składają się z otwarć i/lub zamknięć o rosnących rozmiarach następujących kolejno po sobie. Ich działanie polea na usuwaniu kolejno coraz większych szczeółów obrazu. Definiuje się dwa podstawowe typy filtrów przemienno-sekwencyjnych: N = (2) (2) (2) (2) i = γ ϕ... γ ϕ γ ϕ ; M i ϕ γ... ϕ γ ϕ γ (5) Ciekawą i przydatną z praktyczneo punktu widzenia operacją jest tzw. transformacja cylindryczna. Pozwala ona na usuwanie tła obrazu z pozostawieniem obiektów znajdujących się na nim. Wyróżnia się dwa rodzaje transformacji cylindrycznej: biała (white Top-Hat) oraz czarna (black Top-Hat). Pierwsza z nich usuwa tło pozostawiając obiekty od nieo jaśniejsze, drua natomiast - ciemniejsze. Definiuje się je w sposób następujący (odpowiednio biała i czarna transformacja cylindryczna): WTH ( f ) = f γ ( f ), TH ( f ) = ϕ ( f ) f (6) Kombinacja obu operatorów cylindrycznych umożliwia poprawę kontrastu obrazu: = f + WTH ( f ) TH ( f ) = 3 f γ ( f ) ϕ ( f ) (7) dzie f jest obrazem wejściowym, a wyjściowym. 2.2 REKONSTRUKCJA MORFOLOGICZNA I JEJ ZASTOSOWANIA Obraz minimalny (infinimum) dwóch obrazów f i jest definiowany jako: [ f ]( p) = min{ f ( p), ( p)} (8)
Analoicznie, obrazem maksymalnym (supremum) dwóch obrazów f i definiujemy jako: [ f ]( p) = max{ f ( p), ( p)} (9) Dylacja eodezyjna jednostkowa (o rozmiarze 1) obrazu w odcieniach szarości f ( 1 z maską jest oznaczana δ ) ( f ) jest obrazem minimalnym maski i obrazu f poddaneo dylacji o rozmiarze 1: δ ( f ) = δ ( f ) (10) Erozja eodezyjna jednostkowa (o rozmiarze 1) obrazu w odcieniach szarości f z ( 1 maską, oznaczana ε ) ( f ) jest obrazem maksymalnym maski i obrazu f poddaneo erozji o rozmiarze 1. ε ( f ) = ε ( f ) (11) Dylacja eodezyjna o rozmiarze n jest złożeniem n dylacji eodezyjnych jednostkowych: δ ( f ) = δ ( δ... δ ( f )...)) (12) n razy Analoicznie, erozja eodezyjna o rozmiarze n jest złożeniem n erozji eodezyjnych jednostkowych: ( 1) ( 1) ( 1) ε ( f ) = ε ( ε... ε ( f )...)) n razy (13) Erozja i dylacja eodezyjna o rozmiarze n spełniają zależności: δ ( f ) δ ; ε ( f ) ε (14) Rekonstrukcja przez dylację obrazu f z maską jest oznaczana jako R i definiowana jako dylacja eodezyjna o rozmiarze jednostkowym obrazu f z maską wykonywana iteracyjnie aż do spełnienia warunku idempotentności (czyli wykonywaną dopóki obraz ulea zmianie po każdej jednostkowej dylacji eodezyjnej): dzie i jest najmniejszą wartością, taką, że: δ R ( f ) = δ ( f ), (15) ( i+1) f = δ ( ) ( f ). Rekonstrukcja przez erozję obrazu f z maską jest definiowana jako erozja eodezyjna jednostkowa obrazu f z maską wykonywana aż do spełnienia warunku idempotentności (czyli wykonywaną dopóki obraz ulea zmianie po każdej jednostkowej erozji eodezyjnej): dzie i jest najmniejszą wartością, taką, że: ε R ( f ) = ε ( f ), (16) ( i+1) f = ε ( ) ( f ).
Powyższe definicje rekonstrukcji moą być podstawą do stworzenia alorytmów realizujących tę operację. Jednak alorytmy na nich bazujące są dość wolne. Dlateo częściej stosuje się alorytmy oparte o strukturę kolejki hierarchicznej (priorytetowej). Rekonstrukcja jest operatorem wykorzystywanym w wielu operacjach przetwarzania obrazów. Szczeólnie przydatna jest do selekcji obiektów na obrazie. Pozwala m.in. na wykrywanie obiektów dotykających brzeów obrazu, zodnie ze wzorem: = R (b) (17) dzie f jest obrazem wejściowym, b jest obrazem zawierającym jednopunktowe obramowanie obrazu, a jest obrazem wyjściowym. Analoicznie do definicji tradycyjneo otwarcia i zamknięcia definiuje się otwarcie i zamknięcie przez rekonstrukcję: f * γ ( f ) = R ( ε ( f )), ϕ ( f ) = R ( δ ( f )) (18) R f R dzie f - jest obrazem początkowym. Otwarcie i zamknięcie przez rekonstrukcję, podobnie jak klasyczne otwarcie i zamknięcie, pozwala na usuwanie z obrazu obiektów lub szumu ciemniejszeo (zamknięcie) lub jaśniejszeo (otwarcie) od tła. Jednak w tym przypadku kontury obiektów na obrazie przefiltrowanym nie uleają zniekształceniu. Stanowi to oromną zaletę teo typu filtrów. Moą one być z dobrym skutkiem stosowane zamiast klasyczneo otwarcia i zamknięcia we ich wszystkich zastosowaniach, w tym w wymienionych powyżej: filtrach przemiennych, przemienno-sekwencyjnych (noszących w tym przypadku nazwę ASFR alternatin sequencial filter by reconstruction) czy operatorze cylindrycznym. Wspomniane filtry typu ASFR znajdują także zastosowanie do sementacji obrazu. Pozwalają bowiem na takie przetworzenie obrazu wejścioweo, aby w kolejnym, druim, kroku stosując klasteryzację odcieni szarości uzyskać obraz posementowany. f 3. PRZYKŁADY MORFOLOGICZNEGO PRZETWARZANIA ORAZÓW 3.1. WYKRYWANIE NACZYŃ KRWIONOŚNYCH W ORAZIE SIATKÓWKI OKA LUDZKIEGO Pierwszy przykład pokazuje zastosowanie narzędzi morfoloicznych do wykrywania naczyń krwionośnych na obrazie siatkówki oka ludzkieo. Obraz siatkówki (rys. 1a) charakteryzuje się dwoma cechami. Po pierwsze, jeo tło jest niejednolite w środku obrazu ciemniejsze, rozjaśniające się stopniowe ku brzeom. Po druie, oprócz naczyń krwionośnych na obrazie oka znajdują się pojedyncze punkty o zbliżonej jasności. Obie te cechy wymaają zastosowania odpowiednich narzędzi morfoloicznych: transformacji cylindrycznej i rekonstrukcji.
Rys. 1 Wykrywane naczyń krwionośnych w obrazie siatkówki oka W pierwszym kroku z obrazu początkoweo usunięte zostanie niejednolite tło przy pomocy operatora cylindryczneo białeo (white top-hat) wzór (6). Jeo rozmiar jest zależny od wielkości obiektów znajdujących się na obrazie. Są nimi w tym przypadku naczynia krwionośne, co przy początkowej rozdzielczości obrazu 256x256 wymaało zastosowaniu operacji o rozmiarze 6. Jej wynik pokazuje rys.1b. Obraz ten zawiera jednak ciąle pojedyncze punkty. Ich usunięcie bez poarszania konturów naczyń wymaa zastosowania operacji rekonstrukcji. Możliwe są (co najmniej) dwa podejścia. Pierwsze, oparte na filtracji wymaa wykonania otwarcia przez rekonstrukcję (wzór 18) o rozmiarze usuwającym jasne punkty (wynoszącym ok. 2). Druie podejście jest oparte na obserwacji, że naczynia krwionośne muszą dotykać brzeu obrazu oraz być ze sobą połączone. Implikuje to zastosowanie operacji wykrywania obiektów dotykających brzeu obrazu wzór 17, której wynik przedstawia rys. 1c. Przez odjęcie obrazu 1c od 1b otrzymujemy usunięte punkty w obrazie siatkówki rys. 1d. 3.2 SEGMENTACJA ORAZÓW MINERAŁÓW Drui przykład dotyczy sementacji obrazów przedstawiających minerały. Sementacja jest oparta na kombinacji filtracji morfoloicznej z wykorzystaniem filtrów rekonstrukcyjnych oraz klasteryzacji zastosowanej do redukcji liczby odcieni szarości w obrazie. Rys. 2 Sementacja obrazu rudy mananu Zastosowanie morfoloicznych filtrów rekonstrukcyjnych umożliwiło usunięcie z obrazu nieznaczących detali bez rozmywania krawędzi pozostałych obiektów. Do filtracji zastosowano filtry sekwencyjno-przemienne (ASFR) zdefiniowane równaniem 5, składające się z otwarcia przez rekonstrukcję i zamknięcia przez rekonstrukcję (wzór 18)
zastosowanymi w tej właśnie kolejności. W efekcie filtracji o rozmiarze 2 uzyskano dla przykładoweo obrazu rudy mananu (rys.2a) w wyniku obraz (rys. 2c), który nadawał się do poddania o klasteryzacji. Dla porównania, zastosowanie klasycznych filtrów otwarcia i zamknięcia (wzór 3) dało w wyniku, oprócz usunięcia zbędnych detali, także rozmycie krawędzi istotnych obiektów na obrazie (rys. 2b), co w istotny sposób wpłynęłoby na dokładność sementacji. W wyniku zastosowanej klasteryzacji metodą średnich wewnętrznych (k-means) dla zadanej liczby klastrów 2 otrzymano wynikowy obraz posementowany (rys. 2d). Rys. 3 Sementacja obrazów ranitu i rudy miedzi Wyniki działania teo alorytmu dla innych materiałów (ranitu i miedzi) przedstawia rysunek 3. W pierwszym przypadku (rys. 3a) filtr ASFR miał rozmiar 2, a klasteryzacji została dokonana dla liczby klastrów n=3. W druim przypadku (rys.3c) rudy miedzi rozmiar filtru wynosił 1, a parametr n=2. Wyniki sementacji przedstawione są odpowiednio na rys. 3b i 3d. Rys. 4 Obrazy pokazujące uszkodzenia powierzchni metalicznych.
3.3 WYKRYWANIE USZKODZEŃ POWIERZCHNI Zadanie polea na automatycznym wykryciu uszkodzeń powierzchni metalicznych poprzez analizę ich zdjęć [3,4]. Analizowane obrazy przedstawione są na rysunku 4. Z uwai na różnorodność obrazów zaproponowano trzy alorytmy wykrywania. Alorytm 1 Rys. 5 Wykrywanie uszkodzeń alorytm pierwszy. Pierwszy przypadek dotyczy uszkodzeń na obrazach z rys.4a i 4b. Obrazy te charakteryzują się stosunkowo jednolitymi teksturami zawierającymi ciemne obszary reprezentujące uszkodzenia. W pierwszym kroku wykonywane jest zamknięcie przez rekonstrukcję (wzór 18) o rozmiarze 1 Usuwa ono z obrazu drobny szum typu pieprz (ciemne kropki na teksturze). W druim kroku następuje ujednolicenie tekstury obrazu poprzez zastosowanie otwarcia przez rekonstrukcję (o rozmiarze 6) wynik pokazuje rys. 5b (na rys. 5a pokazane jest uszkodzenie na obrazie oryinalnym). Dzięki temu na obrazie pozostają widoczne uszkodzenia pozostałe ciemne elementy (będące częścią tekstury) są usuwane. W celu polepszenia kontrastu stosowana jest kombinacja dwóch operatorów cylindrycznych (wzór 7) o rozmiarze 5. Jej wynik pokazuje rys.5c. Ostatecznie zastosowanie klasteryzacji metodą średnich wewnętrznych pozwala na binaryzacje. Obraz wynikowy zawiera wykryte uszkodzenia. Są one pokazane rys. 8a i 8b jako kontury naniesione na obrazy oryinalne. Alorytm 2 Rys.6 Wykrywanie uszkodzeń alorytm drui. Drui przypadek dotyczy obrazu pokazaneo na rys. 4c. Sytuacja w tym przypadku jest trudniejsza niż w poprzednim elementy tekstury są większe i mniej jednolite niż w poprzednim przypadku. W pierwszym kroku usuwane jest niereularne tło poprzez zastosowanie operatora cylindryczneo białeo (wzór 6) o rozmiarze 25. Wynik jeo działania pokazuje rys.6b (ten sam frament na obrazie oryinalnym jest pokazany na rys. 6a). Na obrazie wynikowym są obecne jednak oprócz uszkodzeń - także i
framenty tekstury. Charakteryzują się one tym, że dotykają krawędzi obrazu. Dzięki temu moą zostać wykryte (wzór 17) a następnie odjęte od pierwotneo obrazu i w ten sposób usunięte. Operacja taka usuwa większość spośród nich, lecz nie wszystkie (rys. 6c). Pozostałe są usuwane z wykorzystaniem kierunkoweo otwarcia przez rekonstrukcje o rozmiarze 10 (rys. 6d) o kierunku prostopadłym do usuwanych framentów tekstury. Obraz wynikowy jest następnie binaryzowany (alorytm średnich wewnętrznych dla k=2) w celu wyodrębnienia poszukiwanych defektów powierzchni (rys. 6e oraz rys. 8c). Alorytm 3 Rys. 7 Wykrywanie uszkodzeń alorytm trzeci. Trzeci przypadek (rys.4d) przypomina drui, jednak w tym przypadku kontrast tekstury jest większy, a defekty słabiej widoczne. W związku z tym przyjęty został inny schemat postępowania. Wykorzystuje on operację cylindryczną kierunkowa (z elementem strukturującym kierunkowym). Z uwai jednak na fakt iż defekty są w tym przypadku zarówno jaśniejsze jak też i ciemniejsze od tła wykonywane są zarówno operacja cylindryczna kierunkowa biała jak i czarna (obie o rozmiarze 30 w kierunku pionowym). Następnie wyznaczany jest ich obraz maksymalny (wzór 9) pokazany na rys. 7b (frament oryinalny rys. 7a). Zawiera on jednak poza defektami także i zbędne detale. Są one usuwane przy pomocy otwarcia przez rekonstrukcje o rozmiarze 1 (wynik rys. 7c). Tak przyotowany obraz jest poddawany klasteryzacji z wykorzystaniem, podobnie jak w poprzednich przypadkach, alorytmu średnich wewnętrznych. Jej wynik pokazuje rys. 7d oraz dla całeo obrazu rys. 8d. 4. PODSUMOWANIE Artykuł przedstawił zastosowanie narzędzi morfoloii matematycznej do przemysłoweo przetwarzania obrazów. Szczeólny nacisk został położony na zastosowanie operacji rekonstrukcji morfoloicznej i wykorzystujących ją filtrów rekonstrukcyjnych: otwarcia i zamknięcia przez rekonstrukcję. Pokazane przykłady wykorzystania opisanych metod pokazują ich przydatność do rozwiązywania praktycznych problemów spotykanych w przemysłowym przetwarzaniu obrazów.
Rys. 8 Wyniki alorytmów wykrywania uszkodzeń powierzchni (wyniki sementacji naniesione jako kontury na obrazy początkowe). LITERATURA [1] GOUTSIAS J., SERRA J., LOOMERG D.S., Mathematical morpholoy and its applications to imae and sinal processin, Kluwer Academic Publishers, 2000. [2] HEIJMANS H.,ROERDINK J., Mathematical morpholoy and its applications to imae and sinal processin, Kluwer Academic Publishers, 1998. [3] IWANOWSKI M., Fault detection in the imae surfaces usin mathematical morpholoy, Technical Report 6/98, Politechnika Warszawska ISEP, 1998. [4] IWANOWSKI M., Fault detection usin mathematical morpholoy and clusterin, Machine Graphics and Vision, no. 1/2 (9) 2000. [5] MARAGOS P., SCHAFER R.W., UTT M.A., Mathematical morpholoy and its applications to imae and sinal processin, Kluwer Academic Publishers, 1996. [6] NIENIEWSKI M., Morfoloia matematyczna w przetwarzaniu obrazów, PLJ Warszawa, 1998. [7] SERRA J., Imae analysis and mathematical morpholoy, vol.1, Academic Press, 1983. [8] SERRA J., Imae analysis and mathematical morpholoy, vol.2, Academic Press, 1988. [9] SERRA J., SOILLE P., Mathematical morpholoy and its applications to imae and sinal processin, Kluwer Academic Publishers, 1994. [10] SERRA J., VINCENT L., An overview of morpholoical filterin, Circuit systems Sinal Processin, 11, 1992. [11] SOILLE P.,Morpholoical imae analysis, Sprinter Verla, 1999.