Techniki wizualizacji. Ćwiczenie 4. Podstawowe algorytmy przetwarzania obrazów

Transkrypt

1 Doc. dr inż. Jacek Jarnicki Instytut Informatyki, Automatyki i Robotyki Politechniki Wrocławskiej jacek.jarnicki@pwr.wroc.pl Techniki wizualizacji Ćwiczenie 4 Podstawowe algorytmy przetwarzania obrazów Celem ćwiczenia jest zilustrowanie kilku najważniejszych problemów z dziedziny komputerowego przetwarzania obrazów cyfrowych. Ogólnie zadanie przetwarzania obrazu można sformułować jako obliczanie na podstawie obrazu wejściowego, traktowanego w tym przypadku jako dane, obrazu wyjściowego, czyli wyniku. Algorytmy przetwarzania obrazów można podzielić na dwie grupy. Przekształcenia punkt w punkt i przekształcenia obszaru w punkt. Po pierwsze zaprezentowane zostaną często stosowane w praktyce przekształcenia punkt w punkt, czyli takie, w których opis punktu (piksela) obrazu wyjściowego wyliczany jest na podstawie jedynie opisu odpowiadającego mu (w sensie współrzędnych) piksela obrazu wejściowego. Pokazane będą dwa problemy: korekcja liniowa, używana do regulacji jasności i kontrastu obrazu oraz korekcja gamma, stosowana przy kalibracji monitorów. Jako przykłady z drugiej grupy algorytmów, czyli przekształceń obszaru w punkt, omówione będą tak zwane algorytmy splotowe (konwolucyjne), przekształcające kwadratowy obszar z obrazu wejściowego w jeden punkt obrazu wyjściowego. Jako przykłady wybrano: filtr liniowy, usuwający z obrazu drobne zakłócenia, filtr górnoprzepustowy, uwydatniający szczegóły i prosty detektor krawędzi. Rozważane będą, więc trzy zagadnienia: korekcja liniowa, korekcja gamma, wybrane operacje splotowe (filtracja liniowa i detekcja krawędzi),. Korekcja liniowa Operacja korekcji liniowej polega na obliczaniu jasności punktów obrazu wyjściowego według zależności w postaci: gdzie: y ( i, j ) = a x( i, j ) + b ()

2 x(i, j) jasność punktu obrazu wejściowego, y(i, j) jasność punktu obrazu wyjściowego, a, b - współczynniki. y(i, j) - biały - czarny y = ax + b x(i, j) Rys.. Odwzorowanie liniowe Opisane tak prostym wzorem () odwzorowanie liniowe jest jednak w praktyce niezwykle przydatne, bowiem przy pomocy współczynników a i b można wpływać na jasność i kontrast obrazu wyjściowego. Zasadę zmiany jasności i kontrastu za pomocą współczynników a i b ilustruje rysunek 2. y(i, j) y(i, j) Jasny Duży kontrast b > a > b = a < b < Ciemny x(i, j) a = Mały kontrast x(i, j) (2.) (2.2) Rys. 2. Wpływ współczynników a i b na jasność i kontrast obrazu Jak widać z rysunku 2. zmiana współczynnika b wpływa na jasność obrazu wyjściowego. Dla ujemnych wartości b obraz ciemnieje a dla dodatnich staje się jaśniejszy. Na podstawie

3 analizy rysunku 2. można łatwo zauważyć, że równanie opisujące zmianę jasności powinno mieć postać: y ( i, j ) = x( i, j ) + b b (2) Zmiana kontrastu, której zasada pokazana została na rysunku 2.2 realizowana jest przy pomocy zmiany współczynnika a. Jeśli a jest większe od kontrast jest większy a w przeciwnym przypadku maleje. Ponadto przy zmianie kontrastu wymagane jest spełnienie zależności pomiędzy współczynnikami a i b w postaci: b = a 2 ( ) Spowoduje to, że prosta z rysunku 2.2 przy zmianie współczynnika a będzie się zawsze obracała wokół punktu o współrzędnych (x, y) = (/2, /2) co ostatecznie prowadzi do równania: y( i, j ) = ax( i, j ) + 2 ( a) (3) Oczywiście możliwe jest stosowanie sekwencji opisanych operacji, na przykład najpierw zmiana jasności a później regulacja kontrastu. Zmiana jasności i kontrastu obrazu Należy napisać dwie proste funkcje o nazwach n.p. brightness(b) i contrast(a) służące do zmiany odpowiednio jasności i kontrastu. W przypadku zmiany jasności trzeba skorzystać z równania (2) natomiast dla zmiany kontrastu z równania (3). Dodatkowym elementem zadania będzie sporządzenie wykresów podobnych do tych z rysunku 2. Algorytm jest następujący: Przeczytać z pliku Lena_gray_8.tif obraz źródłowy. Przekonwertować przeczytany obraz do formatu double. Stosując równanie (2) dla funkcji brightness() lub (3) dla funkcji contrast() obliczyć obraz wyjściowy. Przekonwertować obraz wyjściowy do formatu uint8. Wykorzystując funkcję subplot() wyświetlić obrazy wejściowy i wyjściowy w oknie graficznym. W nowym oknie graficznym narysować wykres y(i, j) = f (x(i, j)), używając do rysowania funkcji plot()z odpowiednimi opcjami, użytej według poniższego wzorca.

4 %********************************************************************** % Przykład rysowania wykresu funkcji y = a*x + b %********************************************************************** %... x = (:.: ); y = a*x + b; figure(2) % Deklaracja tablicy x zawierającej % wartości zmiennej niezależnej. % Elementy tablicy x to liczby od O do % rosnące co.. % Obliczenie elementów tablicy y % zawierającej wartości zmiennej % zależnej % Otwarcie nowego okna graficznego plot(x,y,'linewidth',2,'color','black'); % Narysowanie wykresu y = f(x) jako połączonych punktów o % współrzędnych (x, y). Kolejne wartości x pobierane są % z tablicy x a wartości y z tablicy y. Opcje 'LineWidth',2 % i 'Color','black' określają grubość i kolor linii łączącej % rysowane punkty. axis([ ]); % Określenie zakresu osi rysowanego % wykresu. Oś x od do, oś y tak samo %... Uwaga: Funkcja plot()jest jedną z podstawowych funkcji rysujących w systemie MATLAB. Jest to funkcja o bardzo rozbudowanych możliwościach, dająca wiele możliwości kształtowania wyglądu wykresu. Przykładowy rezultat wykonania programu zmieniającego kontrast obrazu, napisanego według powyższego wzorca pokazano na rysunkach 3 i 4. Przy pomocy funkcji brightness() i contrast()można łatwo przekształcać obraz zmieniając za każdym razem tylko jeden parametr. Funkcje tego typu, wyposażone oczywiście w odpowiednio rozbudowany interfejs użytkownika występują w każdym programie do programie do przetwarzania obrazów cyfrowych.

5 Rys. 3. Efekt zmiany kontrastu obrazu przy pomocy funkcji contrast()dla a =.5 Rys. 4. Zależność przekształcająca obraz wejściowy w wyjściowy z rysunku 3, narysowana przy pomocy funkcji plot()

6 2. Korekcja gamma Monitory CRT, LCD czy plazmowe, na których wyświetlane są obrazy cyfrowe są urządzeniami nieliniowymi. Oznacza to, że operacja odwzorowania sygnału sterującego doprowadzanego do monitora w jasność świecenia odpowiedniego punktu na ekranie jest inna niż liniowa. Najprostszy model opisujący związek pomiędzy poziomem sygnału sterującego a jasnością świecenia punktu na ekranie, wynikający z analizy zasad działania monitorów CRT opisany jest zależnością wykładniczą w postaci: gdzie: I γ = C V (4) I jasność punktu na ekranie, V poziom sygnału sterującego doprowadzanego do monitora, C, γ - współczynniki zależne od konstrukcji monitora Decydujący o charakterze nieliniowości monitora współczynnik γ zawiera się w przedziale od około.2 do 3. Dla monitorów przeznaczonych do pracy z komputerami działającymi z systemem operacyjnym Windows współczynnik γ wynosi 2.2. Przykładowy wykres zależności jasności świecenia punktu ekranu d poziomu sygnału sterującego pokazany został na rysunku 5. W praktyce współczynnik γ dla konkretnego egzemplarza monitora można wyznaczyć w sposób eksperymentalny, posługując się albo specjalnym urządzaniem zwanym kalibratorem monitora, albo przeznaczonym do tego celu programem. I C =, γ = 2.2 V Rys. 5. Zależność pomiędzy jasnością a poziomem sygnału sterującego monitora

7 Obraz wyświetlony na monitorze o współczynniku γ różnym od zostanie oczywiście zniekształcony. Aby skompensować nieliniową charakterystykę monitora stosuje się wiec korektor, czyli układ przekształcający obraz, również o wykładniczej charakterystyce, lecz przeciwnej do krzywej opisującej odwzorowanie monitora. Celem stosowania korektora jest uzyskanie liniowej charakterystyki wynikowej, czyli wykładnik potęgi we wzorze opisującym charakterystykę korektora powinien być odwrotnością współczynnika γ. Zasadę korekcji gamma zilustrowano na rysunku 6. I γ = /2.2 Charakterystyka monitora Charakterystyka korektora γ = 2.2 Charakterystyka wynikowa V Rys. 6. Zasada działania układu korekcji gamma Dla obrazów barwnych korekcja gamma przeprowadzana jest dla każdej ze składowych R, G, B osobno. W zastosowaniach problem korekcji gamma jest szczególnie ważny w przypadku, gdy obraz oglądany na monitorze będzie dalej wykorzystywany na przykład w procesie poligraficznym. Aby osiągnąć dobrą zgodność barw prezentowanych na monitorze z barwami, jakie uzyska się po wydrukowaniu obrazu niezbędna jest kalibracja monitora w skład, której wchodzi także właściwe ustawienie parametrów układu odpowiedzialnego za korekcję gamma. Kalibrację przeprowadza się przy pomocy specjalnych procedur. Korekcja gamma obrazu barwnego Zadnie składa się z trzech części. Po pierwsze należy napisać funkcję realizującą dla zadanego obrazu przekształcenie opisane wzorem (4) a dalej wykorzystując tą funkcję dwa proste programy. Pierwszy z nich ma ilustrować jak działa przekształcenie (4), natomiast drugi pokazać jak wygląda wyświetlony na monitorze obraz bez użycia korekcji i z korekcją.. Proponowana funkcja może być określona tak: Y = gamma_correction(x, gamma_r, gamma_g, gamma_b) gdzie:

8 X tablica zawierająca obraz wejściowy, gamma_r wykładnik γ dla składowej czerwonej, gamma_g wykładnik γ dla składowej zielonej, gamma_b wykładnik γ dla składowej niebieskiej, Y tablica z obrazem wyjściowym (po wykonaniu korekcji). Natomiast wewnątrz definicji funkcji należy wykonać poniższe kroki: Wykonać konwersję obrazu wejściowego do formatu double. Wydzielić z obrazu poszczególne składowe barwne. Dla każdej składowej barwnej zastosować wzór (4) z wykładnikami odpowiednio: gamma_r, gamma_g i gamma_b oraz stałą C =. Otrzymany w ten sposób obraz przekształcić do formatu uint8 i umieścić w tablicy Y. Użycie tak napisanej funkcji może wyglądać następująco: X = imread('lena_color_256.tif') Y = gamma_correction(x, 2.2, 2.2, 2.2); Obraz wyjściowy można będzie zobaczyć po wykonaniu polecenia imshow(y); Drugim etapem zadania jest napisanie z użyciem przygotowanej w poprzednim kroku funkcji gamma_correction(), programu pokazującego obraz przed i po wykonaniu przekształcenia (4) oraz rysującego wykresy odpowiednich krzywych. Program można zorganizować tak: Zadeklarować współczynniki γ dla poszczególnych składowych barwnych. Przeczytać i umieścić w tablicy obraz wejściowy n.p. Lena_color_256.tif. Używając funkcji gamma_correction() i zadeklarowanych współczynników γ obliczyć obraz wyjściowy. W pierwszym oknie graficznym wyświetlić obrazy przed i po przekształceniu. W drugim oknie używając wcześniej opisanej funkcji plot() wyświetlić krzywe według zależności (4) dla poszczególnych barw. Efekt powinien być taki jak na rysunkach 7 i 8. Na rysunku 7 można zobaczyć jak będzie wyglądał obraz wyświetlony na ekranie monitora bez korekcji gamma. Wyraźnie widać, że obraz ten różni się od obrazu źródłowego.

9 Rys. 7. Obraz wejściowy i obraz wyświetlony na ekranie monitora bez korekcji gamma (gamma_r =.8, gamma_g = 2. i gamma_b = 2.2) Rys. 8. Krzywe odwzorowania (4) dla poszczególnych składowych barwnych (gamma_r =.8, gamma_g = 2. i gamma_b = 2.2) Wreszcie trzecia, ostania część zadania polega na przeprowadzeniu symulacji procesu korekcji gamma i prześledzeniu efektu korekcji. Należy zasymulować dwa tory przetwarzania obrazu, pierwszy bez korekcji gamma i drugi z korekcją, przeprowadzoną według zasady zilustrowanej na rysunku 6. Szkielet programu powinien być mniej więcej taki:

10 Zadeklarować współczynniki γ (gamma_r, gamma_g, gamma_b) dla poszczególnych składowych barwnych opisujące hipotetyczny monitor, na którym będzie wyświetlany obraz. Przeczytać i umieścić w odpowiedniej tablicy obraz wejściowy n.p. Lena_color_256.tif. Używając funkcji gamma_correction() i zadeklarowanych współczynników γ obliczyć obraz wyjściowy, który będzie wyświetlony na monitorze bez korekcji gamma. W górnej części okna graficznego wyświetlić dwa obrazy, wejściowy i wyjściowy uzyskany na monitorze bez korekcji gamma (rysunek 9). Obliczyć obraz wyjściowy wyświetlany na monitorze z korekcją gamma w następujący sposób: Obraz wejściowy, przeczytany z pliku Lena_color_256.tif poddać korekcji przy pomocy przekształcenia gamma_correction() ze współczynnikami (/gamma_r, /gamma_g, /gamma_b), czyli tak jak pokazuje to czerwona krzywa na rysunku 6. Otrzymany w poprzednim kroku obraz przekształcić tak jak przy wyświetlaniu na monitorze przy pomocy funkcji gamma_correction() ze współczynnikami (gamma_r, gamma_g, gamma_b). Odpowiada to niebieskiej krzywej na rysunku 6. W dolnej części okna graficznego wyświetlić dwa obrazy, wejściowy i wyjściowy otrzymany w wyniku dwóch wyżej opisanych przekształceń, czyli taki jak na monitorze z korekcją gamma (rysunek 9). Rezultat działania programu pokazany został na rysunku 9. Widać, że zastosowanie korekcji gamma spowodowało, że obraz na symulowanym monitorze zostanie wyświetlony prawidłowo. W tym przypadku jest on dokładnie taki sam jak obraz źródłowy, bowiem w opisanym symulatorze procesu wyświetlania współczynniki gamma dla korektora były dokładnie odwrotnościami współczynników gamma dla symulowanego monitora. W praktyce nie jest to aż takie proste, bowiem pomiar współczynników gamma monitora obarczony jest zawsze pewnym błędem. Należy podkreślić, że zdecydowanie lepsze rezultaty daje pomiar przy pomocy sprzętowych kalibratorów. W przypadku pomiaru z wykorzystaniem programów wynik jest zawsze subiektywny. Do samodzielnych eksperymentów można polecić dwa programy, do pobrania na stronach: Pierwszy wyświetla charakterystykę kolorymetryczną i podstawowe parametry monitora a drugi pozwala na pomiar parametrów gamma.

11 Rys. 9. Obrazy wejściowe i wyjściowe w torach bez korekcji gamma i z korekcją 3. Wybrane operacje splotowe, filtracja, detekcja krawędzi Opisane w dwóch poprzednich dwóch punktach algorytmy przetwarzania obrazów działały stosunkowo prosto. Piksel obrazu wyjściowego wyliczany był zawsze na podstawie danych opisujących odpowiedni w sensie współrzędnych piksel obrazu wejściowego. W tym punkcie rozważone zostaną trochę bardziej skomplikowane przekształcenia, w których piksel obrazu wyjściowego wyliczany będzie na podstawie informacji pochodzącej z pewnej grupy pikseli obrazu wejściowego. W krańcowym przypadku, grupa ta może zawierać wszystkie piksele obrazu, ale na razie taki przypadek nie będzie rozważany. W dalszej części materiału analizowane będą algorytmy oparte na tak zwanej operacji splotu. Przykład ilustrujący jak działa operacja splotu został pokazany na rysunku. Zakładając, że przetwarzaniu poddawany jest obraz monochromatyczny, jasność piksela obrazu wejściowego obliczana jest według następującego algorytmu: Wokół piksela x(i, j) obrazu wejściowego buduje się tak zwane okno (w przykładzie z rysunku rozmiarze 3x3 piksele). Jasności poszczególnych pikseli okna mnoży się przez odpowiednie liczby zawarte w tablicy h(k, l) zwanej maską operacji splotu i wyniki wszystkich mnożeń sumuje się. Sumę obliczoną w kroku poprzednim normalizuje się, dzieląc ją przez sumę elementów maski. Wynik tej operacji przyjmuje się jako jasność piksela y(i, j) obrazu wyjściowego. Normalizacja zapewnia, że wartość y(i, j) nie przekroczy ustalonego przez format obrazu zakresu jasności.

12 Wzór na podstawie, którego można obliczyć jasność piksela obrazu wyjściowego jest, więc następujący: y( i, j ) = h h k,l K ( k, l) k,l K ( k, l) x( i k, j l) (5) gdzie K jest oknem określającym otoczenie punktu obrazu a funkcja h(k, l) maską filtru. Jak widać algorytm polega na ważonym uśrednianiu jasności pikseli analizowanego okna. Jasność piksela obrazu wyjściowego jest średnią ważoną z jasności odpowiedniego piksela obrazu wejściowego i jego otoczenia. Średnia wyliczana jest z wagami, określonymi przez maskę h(k, l). piksel obrazu wejściowego x(i, j) piksel obrazu wyjściowego y(i, j) i i j Okno K j przykładowa maska filtru h(k, l) y( i, j ) = h h k,l K ( k, l) k,l K ( k, l) x( i k, j l) Rys.. Ilustracja zasady przekształcenia splotowego Maska filtru h(k, l) pokazana na rysunku nie jest przypadkowa. Opisuje ona tak zwany filtr gaussowski. Idea uśredniania przy użyciu filtru gaussowskiego jest prosta. Najważniejszy jest piksel w środku okna (na rysunku ma wagę 8) a dalej w miarę oddalania się od centrum okna wagi maleją. Nazwa filtru pochodzi stąd, że funkcję maski h(k, l) można wyobrazić sobie jako przybliżenie znanej funkcji Gaussa (dzwonu) w dwóch wymiarach. Zarówno okna jak i maski mogą być różne. W ten sposób można budować filtry o różnych własnościach. Poniższe zadania pokażą jak działają trzy różne dość typowe dla wielu zastosowań filtry. Filtracja dolnoprzepustowa Jako pierwszy przykład należy zbadać jak działa filtr gaussowski o masce h(k, l) podanej na rysunku. W systemie MATLAB z pakietem Image Processing Toolbox realizacja filtrów w jest stosunkowo prosta. Programista ma do dyspozycji kilka uniwersalnych funkcji wspomagających filtrację. Jedną z nich jest funkcja imfilter(), której składnia jest następująca:

13 gdzie: Y = imfilter(x, h); X tablica opisująca obraz wejściowy, Y tablica opisująca obraz wyjściowy, h tablica maski filtru, Program wykonujący filtracją gaussowską może, więc wyglądać tak: Zadeklarować tablicę z maską filtru z rysunku. Przeczytać i umieścić w odpowiedniej tablicy obraz wejściowy n.p. Lena_color_256.tif. Znormalizować tablicę maski, dzieląc jej poszczególne elementy przez sumę wszystkich elementów tablicy maski. Przy pomocy funkcji imfilter() obliczyć obraz wyjściowy. Wyświetlić obrazy wejściowy i wyjściowy (rys. ) i zaobserwować efekt filtracji. Rys.. Filtracja gaussowska Widać wyraźnie, że w efekcie filtracji uzyskano obraz trochę rozmyty. Krawędzie obiektów zostały zmiękczone a szczegóły stały się mniej wyraźne. Z drugiej strony filtracja spowodowała redukcję drobnych zakłóceń przejawiających się na przykład błędnym odwzorowaniem pojedynczych pikseli.

14 Filtracja górnoprzepustowa, detekcja krawędzi i i inne operacje liniowe Zadanie polega na wykorzystaniu poprzednio napisanego programu i sprawdzeniu, jaki efekt powstanie po zastosowaniu filtrów o podanych niżej maskach. = 9 ) ( k,l h - filtr górnoprzepustowy = 8 ) ( k,l h - detektor krawędzi = 4 ) ( k,l h - Laplasjan Uwaga: Jeśli suma współczynników maski filtru wynosi normalizację należy pominąć.