Informatyka, studia dzienne, mgr II st. Przetwarzanie obrazu i dźwięku 2011/2012 Prowadzący: dr inż. Bartłomiej Stasiak czwartek, 8:30

Transkrypt

1 Informatyka, studia dzienne, mgr II st. semestr I Przetwarzanie obrazu i dźwięku 2011/2012 Prowadzący: dr inż. Bartłomiej Stasiak czwartek, 8:30 Data oddania: Ocena: Grzegorz Graczyk Andrzej Stasiak Zadanie 1: Szkielet aplikacji do przetwarzania i analizy obrazów, operacje podstawowe, usuwanie szumu, modyfikacje histogramu, filtracja liniowa i nieliniowa, splot. 1. Cel Celem zadania było stworzenie szkieletu aplikacji służącej do przetwarzania obrazów. Aplikacja powinna zawierać podstawowe filtry oraz trzy filtry przydzielone indywidualnie do grupy: Wyjściowa gęstość prawdopodobieństwa podana wzorem Raleigha Wydobywania szczegółów z tła: południe, południowy - zachód, zachód, północny zachód Operator Sobela 2. Wprowadzenie Filtracja obrazu jest to rodzaj operacji wykonywanej na pikselach obrazu źródłowego, w wyniku której otrzymywany jest inny obraz wyjściowy. Wartość przetworzonego piksela może zależeć od wartości innych pikseli z jego otoczenia, dlatego jest to przekształcenie kontekstowe. SVN: zadanie1 1

2 Operacja splotu to rodzaj filtra, w której wartość piksela obrazu wyjściowego jest średnią ważoną pewnego jego otoczenia. Wartość poszczególnych wag opisana jest maską filtru p o [n, m] = ( M[a, b] p i [m a, n b])/k a b W tym wzorze, jak i w innych wzorach użyto oznaczeń: p i [n, m] oznacza wartość piksela o współrzędnych n i m obrazu wejściowego, a p o [n, m] - obrazu wyjściowego. Wartości pikseli należą do zakresu [0, 1]. Ponadto M oznacza maskę filtru, a K - sumę wag maski (jeśli suma wynosi 0, wtedy K = 1) RGB i HSV Omawiane rozwiązanie zadania opiera się na wykonywaniu filtrów na poszczególnych kanałach obrazu, przy czym w zależności od wybranej opcji za kanały traktowane mogą być wartości poszczególnych składowych modelu RGB lub wartości składowych modelu HSV. Do przekształcenia między tymi modelami użyto poniższego algorytmu (przy założeniu, że wartość H zawarta jest w przedziale [0, 360), a R,G,B,S i V - w przedziale [0, 1]: V = max(r,g,b) S = V - min(r,g,b) if R=V: H = (G-B)/S if G=V: H = (B-R)/S if B=V: H = (R-G)/S Dla przekształcenia współrzędnych z przestrzeni HSV do RGB użyto następującej metody: H = H/60; i = floor(h); f = H-i; p = V*(1-S); q = V*(1-(S*f)); t = V*(1-(S*(1-f))); IF i=0: R,G,B = V,t,p IF i=1: R,G,B = q,v,p IF i=2: R,G,B = p,v,t IF i=3: R,G,B = p,q,v IF i=4: R,G,B = t,p,v IF i=5: R,G,B = V,p,q 2

3 2.2. Opis przekształceń Poniżej omówione są poszczególne metody zaimplementowane w ramach zadania. Negacja Zmiana jasności p o [n, m] = 1 p i [n, m] gdzie x to parametr przekształcenia. Zmiana kontrastu p o [n, m] = p i [n, m] + x p o [n, m] = x(p i [n, m] 1 2 ) Użycie powyższego wzoru powoduje, że wartość 1/2 jest punktem stałym przekształcenia. Usuwanie szumów Dwa filtry przeznaczone są usuwania szumów z obrazu: filtr medianowy i filtr ze średnią arytmetyczną. Maska jest kwadratem o danym boku, a działanie filtra polega na znalezieniu odpowiednio mediany lub średniej arytmetycznej dla pikseli z obszaru maski. Do obiektywnej oceny działania filtru użyty jest błąd średniokwadratowy. Wartość błędu średniokwadratowego wyliczana jest ze wzoru: w h (p[i, j] p x [i, j]) 2 (1) i=1 i=1 gdzie w i h to szerokość i wysokość obrazów, p to oryginalny obraz, a p x to obraz poddany przekształceniom. Metody histogramowe Dla danego obrazu histogramy tworzone są dla każdego z kanałów (mogą to być zarówno kanały RGB jak i HSV). Utworzenie histogramu polega na przeiterowaniu po wszystkich pikselach obrazu i zliczeniu wystąpień poszczególnych wartości. Przedstawiony wykres może być ponadto poddany wykładzeniu za pomocą ważonej średniej kroczącej o wybranej liczbie próbek. Przekształcenie obrazu oparte o dostosowanie histogramu do określonej charakterystyki polega na zmianie wszystkich wartości pikseli według odpowiedniego wzoru. Rozkład Releigha jest to rozkład, którego gęstość prawdopodobieństwa określa wzór: f(x) = ( ) x2 x exp 2σ 2 3 σ 2

4 gdzie σ jest parametrem rozkładu. Aby uzyskać taki rozkład, należy dokonać przekształcenia obrazu: p o [n, m] = p min + 2α 2 ln( 1 N p[n,m] q=0 H(q)) (2) gdzie funkcja H odpowiada histogramowi, tzn. H(n) oznacza liczbę pikseli obrazu, których wartość wynosi n. Metody oparte o splot Splot wykuje się zgodnie z równaniem (1). Maski wykorzystane do poszczególnych podzadań są następujące (wszystkie stosują wydobywanie szczegółów z tła, podany jest jedynie kierunek): południe: południowy zachód zachód północny zachód Opis implementacji Szkielet aplikacji powstał w języku c++ wykorzysującą bibliotekę png++ (wrapper na libpng). Przygotowana aplikacja przyjmuje wszystkie argumenty z linii poleceń dzięki czemu możliwe jest wsadowe przetwarzanie obrazów. W celu stworzenia interfejsu użytkownika przygotowano serwer HTTP w języku Python oraz aplikację z wykorzystaniem technologii HTML5 i jquery UI. W aplikacji przetwarzającej obrazy zastosowano polimorfizm. Stworzono bazowy, abstrakcyjny typ filtra, zaś wszystkie istniejące filtrów dziedziczą z niego oferując jednolity interfejs. Zastosowano również dziedziczenie wielostopniowe w miejscach, w których logika filtrów była podobna. 4. Materiały i metody Badaniu poddane zostały następujące elementy: Obiektywna ocena filtrów uśredniających oraz medianowych w oparciu o zaszumiony obraz lenac za pomocą obliczenia błędu średniokwadratowego. Subiektywna ocena filtrów uśredniających oraz medianowych. 4

5 Subiektywna ocena masek służących do wydobywania szczegółów z tła oraz operatora Sobela. Ocena czasu działania filtru niezoptymalizowanego oraz zoptymalizowanego. 5. Wyniki Usuwanie szumów filtrem uśredniającym oraz medianowym Przeprowadzono szereg testów licząc błąd średniokwadratowy dla różnych plików i masek. Czerwony Zielony Niebieski lenac impulse1.png lenac impulse1.png stat 2 med lenac impulse1.png stat 3 med lenac impulse1.png stat 4 med lenac impulse1.png stat 5 med lenac impulse1.png stat 6 med lenac impulse1.png stat 2 avg lenac impulse1.png stat 3 avg lenac impulse1.png stat 4 avg lenac impulse1.png stat 5 avg lenac impulse1.png stat 6 avg lenac impulse2.png lenac impulse2.png stat 2 med lenac impulse2.png stat 3 med lenac impulse2.png stat 4 med lenac impulse2.png stat 5 med lenac impulse2.png stat 6 med lenac impulse2.png stat 2 avg lenac impulse2.png stat 3 avg lenac impulse2.png stat 4 avg lenac impulse2.png stat 5 avg lenac impulse2.png stat 6 avg lenac impulse3.png lenac impulse3.png stat 2 med lenac impulse3.png stat 3 med lenac impulse3.png stat 4 med lenac impulse3.png stat 5 med lenac impulse3.png stat 6 med lenac impulse3.png stat 2 avg lenac impulse3.png stat 3 avg lenac impulse3.png stat 4 avg lenac impulse3.png stat 5 avg lenac impulse3.png stat 6 avg

6 Czerwony Zielony Niebieski lenac normal1.png lenac normal1.png stat 2 med lenac normal1.png stat 3 med lenac normal1.png stat 4 med lenac normal1.png stat 5 med lenac normal1.png stat 6 med lenac normal1.png stat 2 avg lenac normal1.png stat 3 avg lenac normal1.png stat 4 avg lenac normal1.png stat 5 avg lenac normal1.png stat 6 avg lenac normal2.png lenac normal2.png stat 2 med lenac normal2.png stat 3 med lenac normal2.png stat 4 med lenac normal2.png stat 5 med lenac normal2.png stat 6 med lenac normal2.png stat 2 avg lenac normal2.png stat 3 avg lenac normal2.png stat 4 avg lenac normal2.png stat 5 avg lenac normal2.png stat 6 avg lenac normal3.png lenac normal3.png stat 2 med lenac normal3.png stat 3 med lenac normal3.png stat 4 med lenac normal3.png stat 5 med lenac normal3.png stat 6 med lenac normal3.png stat 2 avg lenac normal3.png stat 3 avg lenac normal3.png stat 4 avg lenac normal3.png stat 5 avg lenac normal3.png stat 6 avg lenac uniform1.png lenac uniform1.png stat 2 med lenac uniform1.png stat 3 med lenac uniform1.png stat 4 med lenac uniform1.png stat 5 med lenac uniform1.png stat 6 med lenac uniform1.png stat 2 avg lenac uniform1.png stat 3 avg lenac uniform1.png stat 4 avg lenac uniform1.png stat 5 avg lenac uniform1.png stat 6 avg

7 Czerwony Zielony Niebieski lenac uniform2.png lenac uniform2.png stat 2 med lenac uniform2.png stat 3 med lenac uniform2.png stat 4 med lenac uniform2.png stat 5 med lenac uniform2.png stat 6 med lenac uniform2.png stat 2 avg lenac uniform2.png stat 3 avg lenac uniform2.png stat 4 avg lenac uniform2.png stat 5 avg lenac uniform2.png stat 6 avg lenac uniform3.png lenac uniform3.png stat 2 med lenac uniform3.png stat 3 med lenac uniform3.png stat 4 med lenac uniform3.png stat 5 med lenac uniform3.png stat 6 med lenac uniform3.png stat 2 avg lenac uniform3.png stat 3 avg lenac uniform3.png stat 4 avg lenac uniform3.png stat 5 avg lenac uniform3.png stat 6 avg Poniżej zamieszczone obrazki zostały umieszczone w sprawozdaniu ze zmniejszoną rozdzielczością, która uniemożliwia zauważenie szczegółów. Dyskusja wyników została przeprowadzona jednak w oparciu o obrazki w pełnej rozdzielczości. Obrazek oryginalny: 7

8 Obrazek zaszumiony Filtr medianowy Wydobywanie szczegółów z tła: 8 Filtr uśredniający

9 Operator Sobela: Czasy przetwarzania obrazu 1200x1200, mediana z 11 prób: Brak filtra Filtr niezoptymalizowany Filtr zoptymalizowany 1.5µs 210ms 37ms 9

10 Należy zauważyć, że czasy wczytywania i zapisywania obrazu tego rozmiaru wynoszą między milisekund - zależnie od jego zawartości. 6. Dyskusja W wynikach można zaobserwować znaczną przewagę filtru medianowego nad filtrem uśredniającym podczas usuwania szumów. W większości wypadków najskuteczniejsza była maska o rozmiarze 3 wyjątek stanowiły maski uśredniające dla intensywnie zaszumionych obrazów tu najskuteczniejsze były maski o rozmiarach 5. Zauważono również mniejszą skuteczność filtrów o rozmiarach parzystych. Można domniemywać, iż wynika to z konieczności przesunięcia środka maski o pół piksela. Ocena subiektywna potwierdza powyższą tezę. Obrazki nawet w pomniejszeniu widocznie zmieniają swoją jakość (zwłaszcza przy filtrze medianowym). Na powiększeniu wyraźnie widać, że filtr medianowy pozbywa się znacznej części szumów. Skutkiem ubocznym jest to, że również część oryginalnych szczegółów obrazu o rozmiarach pojedynczych pikseli jest tracona. W przypadku uśredniania szum przestaje przypominać pierwotny szum ulegając znaczącemu rozmyciu, jednak pozostaje widoczny. Powyższy rezultat bardzo łatwo uzasadnić. W wypadku filtru medianowego szum nie zostanie usunięty tylko, gdy przynajmniej 4 jego sąsiednie piksele (w przypadku maski 3x3) również będą zaszumione. Gdyby jednak taka sytuacja powtarzała się dla znaczącej liczby pikseli obraz byłby w znacznym stopniu pokryty szumem. W przypadku filtru uśredniającego każdy zaszumiony piksel stanowi jedynie 4% wyniku (użyto maski 5x5), czyniąc każdy piksel szumu mało znaczącym. Z drugiej strony każdy piksel szumu wpływa na 25 pikseli powodując zauważalne zniekształcenia całości obrazu. Interpretacja filtrów pozwalających wykrywać krawędzie jest znacznie trudniejsza. Można dostrzec, iż filtry z określonym kierunkiem dają podobne efekty, lecz można odnaleźć szczegóły sugerujące która maska została użyta (brak pionowej kreski po lewej stronie na pierwszym obrazku). W wypadku operatora Sobela wszystkie krawędzie zostały wyróżnione intensywnie kontrastującym białym kolorem - widoczne są jednak liczne przejaśnienia w miejscach, gdzie brak fizycznych krawędzi. Optymalizacja filtru, mimo iż filtr wykorzystuje wszystkie piksele z obszaru 3x3 pozwoliła uzyskać 5 krotne przyśpieszenie. Możemy jednak domniemywać, że główną zasługą tego przyśpieszenia mogły być optymalizacje procesora, które umożliwiły przeniesienie części dodawań do rejestrów procesora. Nie zostało to zbadane, jednak można podejrzewać, że optymalizacje filtrów bazujących na większych maskach będą bardziej skuteczne - w szczególności czas przetwarzania jednego piksela może ulec zmniejszeniu z O(k 2 ) przy metodzie naiwnej nawet do O(1) przy prostych maskach. Interesującą obserwacją okazały się jednak nieudane próby pomiaru wydajności uwzględniające czasy wczytywania i zapisywania plików png. Plik po przetworzeniu posiadał znaczną część czarnych pikseli, co powodowało 10

11 jego szybsze zapisywanie. W efekcie porównując czas działania programu bez żadnego filtru z czasem działania programu z szybkim filtrem można było wysnuć błędny wniosek, jakoby filtr działał w ujemnym czasie. Ponieważ w oryginalnej postaci to przekształcenie powoduje odwrócenie koloru (tzn. piksele ciemniejsze od innych stają się jaśniejsze od innych po przekształceniu), po wykaniu przekształcenia zgodnie ze wzorem (2), wykonywana jest dodatkowo negacja wybranych kanałów. W trakcie eksperymentów stwierdzono, że przekształcenie zachowuje się w sposób pożądany (tzn. nie powoduje nadmiernej utraty informacji poprzez nadmierne rozjaśnienie, ani zaciemnienie obrazu) dla parametru α z zakresu około [0.1, 1.5]. Poniżej przedstawione są dwa histogramy odpowiadające obrazowi przed i po przekształceniu (dla α = 0.2) dla kanału V w układzie HSV oraz te obrazy. Widoczne jest, że kanały H i S nie uległy zmianie w wyniku przekształcenia (niewielkie odchylenia wynikają z faktu, że obraz przechowywany jest w postaci RGB o wartościach dyskretnych, w związku z czym zaokrąglenia przy przekształcaniach mogą powodować drobne zniekształcenia). Na histogramie krzywa wartości (niebieska) odpowiada przeciwnemu co do znaku wykresowi rozkładu Raleigha, potwierdzając poprawność wykonanego przekształcenia. 7. Wnioski Filtr medianowy dobrze radzi sobie z likwidowaniem szumu w obrazach. Filtr uśredniający rozmazuje szum, zostawiając jednak zniekształcenia w obrazie. Ogólna implementacja filtru liniowego jest znacznie wolniejsza niż implementacja maski bezpośrednio w kodzie. Filtry bazujące na modyfikacji histogramu wartości w modelu barw HSV modyfikują nieznacznie wartości odcienia i nasycenia z powodu docelowej reprezentacji ich w modelu RGB. W wypadku filtrów wykrywających krawędzie udało się jedynie potwierdzić subiektywnie ich działanie. 11