AUTOMATYZACJA PROCESÓW DYSKRETNYCH 2014

AUTOMATYZACJA PROCESÓW DYSKRETNYCH 2014 Artur BAL Politechnika Śląska NIENADZOROWANA METODA OCENY JAKOŚCI SEGMENTACJI OBRAZÓW Z FUNKCJA WYBORU WYMAGANEJ DOKŁADNOŚCI WYNIKU SEGMENTACJI Streszczenie. Praca dotyczy zagadnienia oceny jakości wyników segmentacji obrazów cyfrowych. Przedstawione zostało porównanie efektów zastosowania czterech znanych z literatury metod oceny jakości segmentacji tj. miar F (O), Q(O), B 1 (O), B 4 (0) oraz nowej miary C(O, α) na potrzeby zadania wyboru najlepszych wyników segmentacji danego obrazu. Cechą charakterystyczną proponowanej miary C(O, α) jest możliwość wyboru wymaganego dla danego zastosowania stopnia dokładności segmentacji. Badania przeprowadzono wykorzystując zestawy wyników segmentacji czterech obrazów; do segmentacji wykorzystano implementację dwuetapowej metody segmentacji przez łączenie obszarów, dla każdego obrazu segmentacja została przeprowadzona dla wielu różnych kombinacji wartości parametrów tego procesu. UNSUPERVISED IMAGE SEGMENTATION EVALUATION METHOD WITH CHOOSING FUNCTION OF REQUIRED IMAGE SEGMENTATION ACCURACY Summary. This article deals with the problem of evaluation of image segmentation results. In the work comparison of results obtained from different image segmentation evaluation methods used for the choosing of the best image segmentation result is presented. For the test four know from literature i.e. F (O), Q(O), B 1 (O), B 4 (0) and one new method C(O, α) were used. A unique feature of the proposed method C(O, α) is the possibility of choosing of required image segmentation accuracy. For the test purpose segmentation results of four images obtained for many different segmentation parameters have been used. For segmentation an implementation of two-stage region merging algorithm was used. 1. Wprowadzenie Jednym z istotnych problemów związanych z procesem segmentacji obrazów jest zagadnienie oceny jakości wyników otrzymywanych w efekcie realizacji tego procesu. Najbardziej pożądanym rozwiązaniem tego problemu jest opracowanie metod numerycznych pozwalających na nienadzorowaną przez człowieka, obiektywną, ilościową ocenę jakości segmentacji metody takie w dalszej części pracy będą one określane mianem obiektywnych metod oceny. W idealnym przypadku takie metody powinny prawidłowo oceniać wynik segmentacji niezależnie od rodzaju obrazu i celu segmentacji.

8 A. Bal W literaturze zaproponowanych zostało przynajmniej kilkanaście rożnych obiektywnych metod oceny jakości segmentacji [5]. W metodach tych jakość segmentacji wyznaczana jest przez zastosowanie charakterystycznego dla każdej metody funkcjonału F. Wybór najlepszego wyniku segmentacji w opt analizowanego obrazu O spośród rozważanego zbioru wyników jego segmentacji W = {w i } sprowadza się w przypadku rozważanych metod oceny do wskazania wyniku w i, dla którego dany funkcjonał F osiągnął (w zależności od konwencji przyjętej przez autora danej metody) globalne minimum lub maksimum. Autorzy opisywanych metod przyjmują niejawnie założenie o tym, że dla danego obrazu O istnieje charakterystyczny dla niego jeden najlepszy, jedynie słuszny, wynik segmentacji ẘ (na potrzeby dalszych rozważań złożenie to oznaczone zostanie jako Z). Wynik ten, według założenia Z, niezależnie od celu prowadzenia segmentacji obrazu O, jest wynikiem optymalnym. Metody oceny segmentacji działające według tego założenia spośród dostępnych wyników segmentacji w przypadku, gdy wśród dostępnych wyników nie ma ẘ wskazują jako najlepsze te wyniki w i, które są najbardziej zbliżone do ẘ. Zdaniem autora pracy, w ogólnym przypadku, założenie Z o istnieniu jednego idealnego dla danego obrazu O, niezależnie od celu jego segmentacji, wyniku segmentacji ẘ nie znajduje uzasadnienia w praktyce. W niniejszej pracy zaproponowano obiektywną metodę oceny jakości segmentacji, która opracowana została przy zastosowaniu innego podejścia. Podejście to oraz nową metodę oceny zaprezentowano w rozdziale 3., a ich przedstawienie zostało poprzedzone opisem kilku prezentowanych w literaturze obiektywnych metod oceny opracowanych zgodnie z założeniem Z (roz. 2.). W rozdziale 4. opisano warunki testu porównawczego opisanych w pracy obiektywnych metod oceny segmentacji, a także przedstawiono jego wyniki. Rozdział 5. stanowi podsumowanie uzyskanych do tej pory wyników. 2. Obiektywne metody oceny segmentacji W pracy [5] przedstawione zostało porównanie kilkunastu obiektywnych metod oceny jakości segmentacji. Na potrzeby pracy zaimplementowano dwie z pośród prezentowanych tam metod tzn. miarę F (I) i Q(I). Dodatkowo zaimplementowano dwie miary przedstawione w pracy [2] tj. B 1 (I) oraz B 4 (I). W metodach tych poszukiwanie najlepszego wyniku segmentacji w opt analizowanego obrazu O spośród rozważanego zbioru wyników W = {w i } sprowadza się poszukiwania minimów globalnych odpowiednich funkcjonałów przedstawionych poniżej: Q(O) = F (O) = R 10 4 MN R 10 3 MN R k=1 B 1 (O) = 1 MN R k=1 e 2 k ak, (1) e 2 ( k r(ak ) + 1 + log a k R + R e k k=1 a k ) 2, (2), (3)

Nienadzorowana metoda oceny jakości segmentacji obrazów... 9 B 4 (O) = 1 2MN R + M N i=1 j=1 1, (4) 1 e ij gdzie: M N to rozmiar obrazu O, który jest wynikiem segmentacji obrazu O; R to liczba wszystkich obszarów jakie występują w O; a k pole powierzchni obszaru o k ; r(a k ) to liczba obszarów o polu równym a k ; e ij = s {R,G,B} ( Os (p ij ) O s (p ij ) ) 2 to różnica barwy między odpowiadającymi sobie pikselami p ij w obrazach O i O (wartość e ij wyznaczana jest jako różnica barw w przestrzeni RGB, O s i O s oznaczają poszczególne składowe barwne przestrzeni RGB obrazów O i O); e k = p ij o k e ij (6) to sumaryczna różnica barw pikseli należących do obszaru o k. Na rysunku 1 przedstawiono przykładowe wykresy wartości opisywanych miar jakości dla obrazu MOUNTAIN (rys. 2(d)) otrzymanych dla wyników otrzymanych metodą segmentacji zastosowaną do przeprowadzenia testu opisanego w rozdziale 4. (5) (a) F (O) (b) Q(O) (c) B 1 (O) (d) B 4 (O) Rys. 1. Przykładowe wykresy wartości miar: (a) F (O), (b) Q(O), (c) B 1 (O), (d) B 4 (O); wartości wyznaczono dla wyników segmentacji obrazu MOUNTAIN (rys. 2(d)) metodą opisaną w rozdziale 4.

10 A. Bal 3. Nowa metoda oceny jakos ci segmentacji Przedstawione w poprzednim rozdziale metody bazuja na prawdziwos ci załoz enia Z. W praktyce jednak, w zalez nos ci od celu segmentacji, zmienia si e równiez wymaganie odnos nie wyniku segmentacji. Zatem w ogólnym przypadku wynik w nie jest stały dla danego obrazu O (co wynika z Z), a jest jest zalez ny od przyj etego celu segmentacji c. W praktyce cel ten moz na utoz samiac z dokładnos cia segmentacji rozumiana jako zachowanie w wyniku segmentacji okres lonego stopnia szczegółowos ci obrazu. (a) B ULDINGS (c) H AUSE (b) C ASTLE (d) M OUNTAIN Rys. 2. Obrazy wykorzystane w pracy Aby zilustrowac to zagadnienie rozwaz my obraz B ULDINGS (rys. 2(a)). Zdefiniujmy nast epujace przykładowe dwa cele analizy tego obrazu wymagajace policzenia: wszystkich okien widocznych na obrazie, budynków widocznych na obrazie. W zalez nos ci od celu analizy wymagana jest inna dokładnos c segmentacji. Liczba szczegółów, które musza byc widoczne na obrazie po segmentacji jest zdecydowanie wi eksza w przypadku zadania liczenia okien niz to ma miejsce w przypadku drugiego zadania. Co wi ecej wykorzystanie do realizacji zadania liczenia budynków wyniku dokładnej segmentacji przygotowanej pod katem zadania liczenia okien moz e znacznie utrudnic realizacj e tego zadania (konieczne jest zastosowanie dodatkowych etapów okres lenie przynalez nos ci poszczególnych obszarów do konkretnych budynków lub tła), a nawet uniemoz liwic jego realizacj e (taka sytuacja b edzie miała miejsce jez eli wynik segmentacji b edzie zawierac jedynie obszary reprezentujace okna i jeden duz y obszar zawierajacy

Nienadzorowana metoda oceny jakości segmentacji obrazów... 11 pozostałe punkty obrazu). Wydaje się zatem, że chcąc opracować uniwersalną metodę oceny jakości segmentacji konieczne jest uwzględnienie w procesie oceny możliwości określenia celu segmentacji c np. poprzez umożliwienie wyboru preferencji co do wymaganego stopnia szczegółowości otrzymanego idealnego wyniku. Biorąc pod uwagę określone wcześniej wymagania opracowana została miara C(O, α) oceny jakości segmentacji dająca możliwość wyboru wymaganego stopnia dokładności (szczegółowości) segmentacji miara ta zdefiniowana jest następująco C(O, α) = αr + (1 α)e (7) gdzie α 0, 1 jest parametrem pozwalającym na określenie wymaganego stopnia dokładności, a R i E to znormalizowane do zakresu 0, 1 wielkości reprezentujące, odpowiednio, liczbę obszarów wyróżnionych w O oraz sumaryczny błąd barwy między O a O. Wartość R określona następująca zależność R = R 1 R max 1, (8) gdzie R jest liczbą obszarów wyróżnionych w O, a R max jest liczbą obszarów jakie można wyróżnić w O jako obszary w O traktowane są spójne grupy pikseli o takiej samej barwie, na potrzeby wyznaczenia R max przyjmowana jest taka sama definicja spójności jaka stosowana jest do wyznaczenia R (w przypadku obrazów scen naturalnych większość znalezionych w O stanowią obszary o wielkości 1 piksela). Wartość E wyznaczana jest według wzoru E = 1 E max gdzie e ij wyznaczane jest zgodnie z (5), a E max = M N i=1 j=1 M N i=1 j=1 s {R,G,B} e ij, (9) ( Os (p ij ) Ōs) ) 2 jest maksymalną wartością błędu barwy dla całego obrazu jaka może wystąpić w procesie segmentacji w przypadku, gdy obszary przyjmują średnią barwę należących do nich pikseli, Ō s = 1 M N O s (p ij ). (11) MN i=1 j=1 to wartość poszczególnych składowych przestrzeni barw RGB (s {R, G, B}) uśredniona dla całego obrazu O. Proponowana miara C(O, α) pozwala na wybór między dokładną segmentacją (małe wartości α) a segmentacją zgrubną (wartości α zbliżone do 1). Takie działanie jest efektem połączenia w mierze C(O, α) wartości R i E mających swoje minima globalne dla przeciwnych jeżeli chodzi o stopień szczegółowości wyników segmentacji i umożliwienia wyboru stopnia ich wpływu na wynik oceny poprzez parametr α. R ma swoje minimum dla segmentacji zgrubnej w takim przypadku w obrazie utworzonych jest mała liczba obszarów o stosunkowo dużym błędzie barwy. Natomiast E ma swoje minimum dla segmentacji dokładnej błąd barwy przyjmuje stosunkowo małe wartości, jednak liczba obszarów jest w takim przypadku bardzo duża. Odpowiednio dobierając wartość α można dowolnie wybierać wymaganą dokładność procesu segmentacji. (10)

12 A. Bal 4. Porównanie metod oceny segmentacji Do porównania wykorzystano wyniki otrzymane z dwuetapowej obszarowej metody segmentacji opisanej w pracy [1]. W metodzie tej, w ramach jej 1. etapu odbywa się łączenie ze sobą wszystkich sąsiadujących ze sobą par obszarów o w i o v między którym różnica barwy δ(o v, o w ) d (wartość d jest parametrem ustalanym przez użytkownika) obraz przed segmentacja traktowany jest jako obraz zawierający M N obszarów o wielkości 1 piksela. Etap 2. to równoległe usuwanie z obrazu obszarów o i, których pole powierzchni a(o i ) A (wartość A jest drugim parametrem określanym przez użytkownika). Usuwanie obszarów polega na dołączaniu obszarów o i do sąsiadujących z nimi obszarów o j, do których odległość δ(o i, o j ) spełnia warunek δ(o i, o j ) = min ok N o i δ(o i, o k ), (12) gdzie N (o i ) to zbiór obszarów sąsiadujących z o i. W obu etapach procesy łączenia obszarów realizowane są równolegle na całym obrazie i łączone są ze sobą wszystkie obszary spełniające warunki ich połączenia. Dzięki takiemu rozwiązaniu zastosowana metoda odporna jest m.in. na zmianę orientacji obrazu o wielokrotność kąta prostego. Na potrzeby testu przeprowadzono segmentację opisaną metodą czterech obrazów przedstawionych na rysunku 2. Segmentację przeprowadzono dla prawie 3 000 różnych zestawów par parametrów (d, A), dających w efekcie wszystkie elementy iloczynu kartezjańskiego d A, gdzie i d d = {0 : 1 : 25, 30 : 5 : 50, 60 : 10 : 150} (13) A A = {0 : 5 : 50, 75 : 25 : 250, 500 : 250 : 5000, 5500 : 500 : 10000; 11000 : 1000 : 25000, 27500 : 2500 : 50000}, zapis x α : : x ω oznacza ciąg arytmetyczny zaczynający się od x α, którego różnica ciągu wynosi, a ostatni wyraz jest nie większy niż x ω. Na rysunkach 3 6 przedstawiono najlepsze w sensie miar Q, B 1 i B 4 wyniki segmentacji dla każdego z obrazów testowych. Wyników dla miary F nie zamieszczono ponieważ dla każdego obrazu miara ta jako najlepszy wynik segmentacji każdego obrazu wskazywała obraz oryginalny. Dla porównania na rysunkach 7 i 8 przedstawiono najlepsze w sensie miary C wyniki segmentacji obrazów testowych dla różnych wartości parametru α. 5. Podsumowanie Na potrzeby analizy wyników przedstawionych w poprzednim rozdziale założono, że prawidłowy wynik segmentacji powinien zawierać obszary reprezentujące obiekty występujące w obrazie i mające znaczenie z punktu widzenia rożnego typu zadań analizy obrazu. W przypadku, gdy duża część wyznaczonych obszarów nie jest obiektem rozróżnianym przez człowieka a zwykle taki sposób podziału obrazów jest wymagany do większości zadań analizy obrazów wynik taki oceniany był jako niewłaściwy. Dobrymi przykładami takich nieprawidłowych wyników są wyniki uzyskane dla miary Q dla obrazu BULDINGS (rys. 3(a) i 3(d)) i miary B 4 dla obrazu MO- UNTAIN (rys. 6(c) i 6(f)) wyniki te są przykładami, odpowiednio, nadsegmentacji (ang. over-segmentation) i niedosegmentacji (ang. under-segmentation) obrazów [4]. (14)

Nienadzorowana metoda oceny jakości segmentacji obrazów... 13 (a) d = 1, A = 5 (b) d = 3, A = 25 (c) d = 13, A = 150 (d) n = 11 787 (e) n = 1 787 (f) n = 66 Rys. 3. Najlepsze wyniki segmentacji obrazu BULDINGS według miar (od lewej): Q, B 1 i B 4 ; wyniki zostały pokazane w kolorach uśrednionych (rząd górny) i w pseudokolorach (rząd dolny); dla każdego wyniku podano wartości parametrów d i A oraz liczbę obszarów n (a) d = 1, A = 20 (b) d = 1, A = 30 (c) d = 4, A = 2 000 (d) n = 2 008 (e) n = 1 375 (f) n = 19 Rys. 4. Najlepsze wyniki segmentacji obrazu CASTLE według miar (od lewej): Q, B 1 i B 4 ; wyniki zostały pokazane w kolorach uśrednionych (rząd górny) i w pseudokolorach (rząd dolny); dla każdego wyniku podano wartości parametrów d i A oraz liczbę obszarów n

14 A. Bal (a) d = 1, A = 5 (b) d = 3, A = 50 (c) n = 4 854 (d) n = 385 Rys. 5. Najlepsze wyniki segmentacji obrazu HAUSE według miar: Q kolumna lewa, B 1 i B 4 kolumna prawa; wyniki zostały pokazane w kolorach uśrednionych (rząd górny) i w pseudokolorach (rząd dolny); dla każdego wyniku podano wartości parametrów d i A oraz liczbę obszarów n (a) d = 0, A = 5 (b) d = 0, A = 75 (c) d = 7, A = 35 000 (d) n = 10 577 (e) n = 823 (f) n = 2 Rys. 6. Najlepsze wyniki segmentacji obrazu CASTLE według miar (od lewej): Q, B 1 i B 4 ; wyniki zostały pokazane w kolorach uśrednionych (rząd górny) i w pseudokolorach (rząd dolny); dla każdego wyniku podano wartości parametrów d i A oraz liczbę obszarów n

Nienadzorowana metoda oceny jakości segmentacji obrazów... 15 (a) α = 0.6, n = 711 (b) α = 0.8, n = 385 (c) α = 0.9, n = 191 (d) α = 0.95, n = 100 (e) α = 0.975, n = 34 (f) α = 0.99, n = 26 (g) α = 0.999, n = 9 (h) α = 0.9995, n = 4 (i) α = 0.99975, n = 2 Rys. 7. Najlepsze według miary C(O, α) wyniki segmentacji obrazu HAUSE otrzymane dla różnych wartości α; dla każdego obrazu podano wartość parametru α oraz liczbę wyróżnionych obszarów n; wyniki przedstawiono w postaci konturów obszarów (czarne linie) nałożonych na oryginalny obraz

16 A. Bal (a) α = 0.975, n = 324 (b) α = 0.995, n = 33 (c) α = 0.999, n = 7 (d) α = 0.9825, n = 109 (e) α = 0.999, n = 15 (f) α = 0.99975, n = 4 (g) α = 0.995, n = 36 (h) α = 0.9995, n = 4 (i) α = 0.99985, n = 3 (j) α = 0.9995, n = 13 (k) α = 0.9999, n = 2 (l) α = 0.99995, n = 2 Rys. 8. Najlepsze według miary C(O, α) wyniki segmentacji obrazów: B ULDINGS (kolumna 1.), C ASTLE (kolumna 2), M OUNTAIN (kolumna 3.), otrzymane dla róz nych wartos ci α; dla kaz dego obrazu podano wartos c parametru α oraz liczb e wyróz nionych obszarów n; wyniki przedstawiono w postaci konturów obszarów (czarne linie) nałoz onych na oryginalne obrazy

Nienadzorowana metoda oceny jakości segmentacji obrazów... 17 Terminy te oznaczają, odpowiednio podział obrazu na zbyt dużą i zbyt małą liczbę obszarów w stosunku do potrzeb wynikających z celu segmentacji oraz treści segmentowanego obrazu. Zjawiska nadsegmentacji i niedosegmentacji można opisać wykorzystując wprowadzone w rozdziale 3. pojęcie dokładności segmentacji w przypadku nadsegmentacji otrzymany wynik charakteryzuje się nadmiernie dokładnym (zbyt drobiazgowym) podziałem na obszary, natomiast w przypadku niedosegmentacji podział na obszary jest za mało dokładny (zgrubny). Należy zaznaczyć, że klasyfikowanie wyniku segmentacji jako wyniku obarczonego nadsegmentacją lub niedosegmentacją jest zazwyczaj uproszczeniem wynikającym z tego, że stosunkowo często na jednym obrazie wynikowym występują zarówno fragmenty obarczone nadsegmentacją jak i takie w których występuje niedosegmentacja. O zakwalifikowaniu obrazu będącego wynikiem segmentacji jako wyniku obarczonego nadsegmentacją lub niedosegmentacją decyduje zazwyczaj to które z tych zjawisk, w danym przypadku, ma charakter dominujący. Analizując całościowo wyniki uzyskane dla miar Q, B 1 i B 4 (rys. 3 6) można zaobserwować, że w zdecydowanej większości przypadków obrazy te cechuje nadsegmentacja największą nadsegmentacją cechują się wyniki wskazywane przez miarę Q, a następnie B 1 i B 4. Należy jednak zaznaczyć, że w przypadku wyników wybranych na podstawie miary B 4 w przypadku obrazów BULDINGS (rys. 3(c) i 3(f)) i CA- STLE (rys. 4(c) i 4(f)) można mówić o wynikach spełniających przedstawione wcześniej kryterium prawidłowego wyniku segmentacji. Na podstawie otrzymanych rezultatów można stwierdzić miary Q, B 1 i B 4 w zdecydowanej większości przypadków jako najlepsze wyniki segmentacji zwracają wyniki, które są wynikami nieprzydatnymi z punktu widzenia typowych zadań analizy obrazów. W analizie pominięto przedstawioną w rozdziale 2. miarę F ponieważ miara ta dla każdego testowanego obrazu jako najlepszy segmentacji wynik wskazywała oryginalny obraz. Porównując omówione do tej pory wyniki stosowania miar Q, B 1 i B 4 z wynikami uzyskanymi dzięki stosowaniu miary C (rys.7 i 8) należy stwierdzić, że ta nowa miara pozwoliła na wybór dla każdego z segmentowanych obrazów wyników użytecznych z punktu widzenia typowych zadań analizy obrazów. Oczywiście to jakie obrazy zostaną wybrane przy zastosowaniu miary C zależy wartości parametru α. Na rysunku 7 można zaobserwować jak zmiana wartości α od 0,6 do prawie 1 wpływa na wybór wyników segmentacji obrazu HAUSE. Dla α 0,9 wybrane wyniki charakteryzują się dużą nadsegentacją (rys. 7(a) (c)), która powoduje, że obrazy te nie są przydatne do wykorzystania ich w typowych zadaniach analizy obrazów. Jak można zaobserwować dla większych wartości α wybrane obrazy cechują się znacznie niższym rozdrobnieniem obszarów aż do uzyskania dla α = 0,99975 podziału obrazu na dwa obszary, z których jeden reprezentuje budynek, a drugi tło. Podobne zależności można zaobserwować dla wyników przedstawionych na rysunku 8. Zastosowanie w mierze C możliwości wyboru dokładności segmentacji poprzez wybór wartości parametru α znacząco zwiększa możliwości wykorzystania tej miary w praktyce. Optymalny dobór wartości α jest jednak problematyczny ponieważ dla różnych obrazów do osiągnięcia takiego samego, w sensie jakości segmentacji, wyniku konieczne jest zastosowanie rożnych wartości α. Poszukiwanie metod doboru wartości parametru α będzie jednym z celów przyszłych badań. Podsumowując przedstawione w niniejszej pracy badania wydaje się, że zaproponowana w pracy nowa miara oceny jakości segmentacji C(O, α) udowodniła swoją

18 A. Bal przydatność. Uzyskiwane przy pomocy tej miary wyniki są znacznie lepsze niż wyniki uzyskane przy zastosowaniu miar F, Q, B 1, B 4. Warto zaznaczyć, że miary te zostały opracowane przy założeniu, że dla każdego obrazu O istnieje jeden optymalny wynik segmentacji tego obrazu niezależnie od celu prowadzenia procesu segmentacji. Miara C została natomiast opracowana przy założeniu, że dla każdego obrazu istnieje wiele, w ogólnym przypadku, różnych wyników, które ze względu za przyjęty cel segmentacji mogą być uznane za optymalne. Porównanie wyników uzyskanych przy pomocy miary C z wynikami uzyskanymi przy zastosowaniu miar F, Q, B 1, B 4 wydaje się potwierdzać słuszność przyjętego założenia będącego punktem wyjścia do opracowania tej nowej miary oceny jakości segmentacji. Podziękowania Praca została częściowo sfinansowana ze środków na badania statutowe Instytutu Automatyki Politechniki Śląskiej w 2014 roku. Część badań wykorzystanych w pracy została przeprowadzona w Laboratorium Obrazowania i Pomiarów Kolorymetrycznych Instytutu Automatyki Politechniki Śląskiej działającego w Centrum Biotechnologii Politechniki Śląskiej w Gliwicach. LITERATURA 1. Bal A.: Wyznaczanie odpowiedniości elementów obrazów z wykorzystaniem informacji o ich strukturze, Rozprawa doktorska, Wydział Automatyki Elektroniki i Informatyki, Politechnika Śląska, Gliwice, 2005. 2. Bal, A.: Wieloetapowa metoda usuwania nadsegmentacji, Materiały XV Krajowej Konferencji Automatyzacji Procesów Dyskretnych, Zakopane, 20-23 września 2006r., Zeszyty Naukowe Politechniki Śląskiej. Seria Automatyka. z. 145, Politechnika Śląska, Gliwice, 2006, s. 39 44. 3. Borsotti M., Campadelli P., Schettini R.: Quantitative evaluation of color image segmentation results, Pattern Recognition Letters, 19(8), 1998, s. 741 747. 4. Palus H.: Przetwarzanie końcowe w segmentacji obszarowej obrazów barwnych, Przegląd Elektrotechniczny, 84(9), 2008, s. 96 99. 5. Zhang H., Fritts J. E., Goldman S. A.: Image Segmentation Evaluation: A Survey of Unsupervised Methods, Computer Vision and Image Understanding, 110(2), 2008, s. 260 280.