Filtracja splotowa obrazu

Informatyka, S1 sem. letni, 2012/2013, wykład#3 Filtracja splotowa obrazu dr inż. Paweł Forczmański Katedra Systemów Multimedialnych, Wydział Informatyki ZUT 1 / 53

Proces przetwarzania obrazów Obraz f(x,y) Konwersja obrazu do postaci czytelnej dla komputera Obróbka obrazu Konwersja obrazu do postaci wyjściowej Obraz wyjściowy Wydzielenie cech z obrazu Cechy 2 / 53

Zakres wykładu Splot w ujęciu matematycznym; Rodzaje i cechy splotu; Filtracja splotowa 2D Zastosowania splotu: Rozmywanie obrazu, Wyostrzanie obrazu, Detekcja punktów i krawędzi; Przykłady 3 / 53

Definicja splotu Pojęcie splotu jest ważnym pojęciem w wielu dziedzinach nauki. W przetwarzaniu obrazów jest punktem wyjścia do definicji filtracji splotowej. Splot dwóch funkcji można zapisać następująco: f g= f x t g t dt 4 / 53

Splot - definicja (2) Splot funkcji oznaczany symbolem f * g. Ma on wiele własności analogicznych do zwyczajnego mnożenia funkcji: jest przemienny f * g = g * f, łączny f * (g * h) = (f * g) * h i rozdzielny względem dodawania f * (g + h) = f * g + f * h; Przekształcenie Fouriera F (lub przekształcenie Laplace'a) zmienia splot na iloczyn: F(f * g) = F(f) F(g); 5 / 53

Splot - definicja (3) W technice cyfrowej funkcje f i g zastępowane są tablicami wartości dyskretnych, a operacje całkowania zastępuje się przez sumowanie. t=t h[ x]= n f [ x t] g [t ] t =t 1 Realizacja operacji sumowania w granicach od minus nieskończoności do nieskończoności na skończonych tablicach nie jest możliwa stąd możemy wyróżnić trzy rodzaje operacji splotu ze względu na sposób liczenia wartości tablicy splotu: splot liniowy (aperiodyczny) splot cykliczny (periodyczny) splot sektorowy 6 / 53

Filtracja RGB Obrazy wielopasmowe/wielokanałowe, np. RGB, YUV, HSV; Filtracja przeprowadzana jest niezależnie dla każdego z kanałów. Obraz (1) RGB Kanał R Kanał G Kanał B FILTRACJA Kanał R Kanał G Kanał B Obraz (2) RGB 7 / 53

Splot sektorowy - implementacja Ten rodzaj operacji splotu wykorzystywany jest w przypadkach kiedy liczby elementów tablicy f i g znacznie odbiegają od siebie. Możemy wtedy krótszą tablicę potraktować jako maskę z wpisanymi do niej na stałe wartościami. W rezultacie przeprowadzenia splotu otrzymamy tablicę zmodyfikowanych wartości wejściowych maską g. Proces ten nazywamy filtracją splotową. f 1 f 2 f 3 f 4 f 5 f 6 f 7 f 8 * * * g 3 g 2 g 1 h 1 h 2 h 3 h 4 h 5 h 6 8 / 53

Splot - implementacja Na ogół dla uproszczenia definiowania maski wprowadza się do procesu filtracji specjalną wartość normalizacyjną, przez którą suma mnożonych wartości jest dzielona przed wprowadzeniem do tablicy wyjściowej. f 1 f 2 f 3 f 4 f 5 f 6 f 7 f 8 * * * g 3 g 2 g 1 norm h 1 h 2 h 3 h 4 h 5 h 6 9 / 53

Splot potencjalne problemy Dość istotnym problemem występujący przy filtracji splotowej jest problem obliczania elementów początkowych i końcowych, kiedy to maska jest wysunięta poza sygnał. Najprostszym rozwiązaniem jest pominięcie tych elementów, dzięki czemu uzyskujemy tablicę sygnału wyjściowego krótszą od tablicy wejściowej. Możliwe jest również powielenie elementów początkowych i końcowych tak aby zastąpiły one elementy brakujące. 10 / 53

Splot - definicja (4) Splot funkcji odgrywa ważną rolę w teorii prawdopodobieństwa (jeśli f i g są gęstościami prawdopodobieństwa niezależnych zmiennych losowych X i Y, to f*g jest gęstością prawdopodobieństwa zmiennej losowej X + Y), w teorii równań różniczkowych, teorii aproksymacji i in. Istnieją liczne uogólnienia pojęcia splotu funkcji, np. dla funkcji określonych na grupie, dystrybucji. [http://encyklopedia.pwn.pl/69614_1.html] 11 / 53

Zastosowanie i implementacja filtracji splotowej odszumianie, wykrywanie krawędzi, wyostrzanie (np. unsharp masking ), wygładzanie (filtr uśredniający, filtr Gaussa), efekty typu motion blur i in. Metody tradycyjne (programowanie sekwencyjne); Metody równoległe (wykorzystanie wielu procesorów, GPU: stencil computing ). 12 / 53

Splot potencjalne problemy Dość istotnym problemem występujący przy filtracji splotowej jest problem obliczania elementów początkowych i końcowych, kiedy to maska jest wysunięta poza sygnał. Najprostszym rozwiązaniem jest pominięcie tych elementów, dzięki czemu uzyskujemy tablicę sygnału wyjściowego krótszą od tablicy wejściowej. Możliwe jest również powielenie elementów początkowych i końcowych tak aby zastąpiły one elementy brakujące. 13 / 53

Splot filtracja obrazu 14 / 53

Splot filtracja obrazu???? X? 15 / 53

Splot filtracja obrazu X' 16 / 53

Splot filtracja obrazu S (okno.*maska) norm 17 / 53

Ekstrapolacja elementów brzegowych Obraz źródłowy Powielenie pikseli brzegowych Odbicie lustrzane Interpolacja pomiędzy pikselami brzegowymi 22 / 53

Splot filtracja elementów brzegowych 23 / 53

Zastosowanie wygładzanie obrazu Filtracja obrazu mająca na celu jego rozmycie lub odszumienie jest realizowana za pomocą następujących metod: filtracji uśredniającej, filtracji Gaussa,... 27 / 53

Filtr uśredniający przykłady (1) 1 1 1 1 1 1 1 1 1 1 1 Norm=9 1 1 3 1 1 1 1 1 2 1 1 1 1 Norm=10 0 0 0 1 1 1 Maski filtrów uśredniających 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 Norm=25 Norm=11 Norm=3 28 / 53

Filtr uśredniający przykłady (2) 1 1 1 1 1 1 1 Norm=5 1 1 1 1 1 1 1 1 1 1 1 Norm=5 1 1 1 1 1 1 Maski filtrów uśredniających 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 Norm=24 Norm=21 29 / 53

Filtracja Gaussa Proces f. Gaussa dokonuje się przez wykonanie operacji splotu funkcji obrazowej f z maską g σ będąca dyskretną aproksymacja dwuwymiarowej funkcji Gaussa: Wagi maski filtru zależą od parametru σ zwanego odchyleniem standardowym. Jest on odpowiedzialny za stopień rozmycia obrazu. Im większa jego wartość, tym większy efekt wygładzenia i większa redukcja zakłóceń 30 / 53

Zastosowanie wyostrzanie obrazu Filtracja obrazu mająca na celu jego wyostrzenie lub podkreślenie krawędzi jest realizowana za pomocą następujących metod: filtracji górnoprzepustowej, filtracji różnicowej Gaussa, nieostrego maskowania. 31 / 53

High boost 32 / 53

Zastosowanie detekcja brzegów obszarów Lokalne zmiany jasności obrazu niosą informację często wykorzystywaną w zadaniach przetwarzania i analizy obrazów informację o granicach obszarów (obiektów) w obrazie. Metody wykrywania dużych, lokalnych zmian jasności w obrazie (np. brzegów, konturów) należą do podstawowych technik segmentacji obrazu. Do lokalnych zmian jasności zalicza się punkty, linie i brzegi. 33 / 53

Definicja i model krawędzi Dla obrazów monochromatycznych krawędź definiuje się zazwyczaj jako fizyczne, fotometryczne i geometryczne nieciągłości funkcji obrazowej. Fizycznie krawędzie często pokrywają się z miejscami występowania znacznych zmian oświetlenia, orientacji, współczynnika odbicia czy głębi obiektów sceny obrazu. Zazwyczaj wyrazistość obrazu jest proporcjonalna do jasności sceny, dlatego tez krawędzie zwykło się definiować w miejscu wystąpienia zmian intensywności funkcji obrazowej. 34 / 53

Definicja i model krawędzi Krawędź powstaje na granicy obszarów o różnych wartościach funkcji obrazowej (różnych poziomach szarości) i ma charakter krzywoliniowy. Z punktu widzenia powierzchni funkcji obrazowej, krawędzie można scharakteryzować rozpatrując ich przekrój poprzeczny: 35 / 53

Detekcja punktów i linii Najprostszym sposobem detekcji prostych kształtów w obrazie (np. punktów, linii) jest wyznaczanie korelacji obrazu z maską detekcyjną (najczęściej stosuje się maski kwadratowe o wymiarach 3x3 i 5x5). Wielkość maski i wartości jej współczynników zależą od rodzaju kształtu podlegającego detekcji. 36 / 53

8 2 2 2 2 37 / 53

Detekcja brzegów Brzegiem nazywamy granicę pomiędzy dwoma obszarami o różnych jasnościach. Detekcja brzegów obszarów pozwala na identyfikację położenia obiektów w obrazie. Z tego też względu metody detekcji brzegów należą do najważniejszych narzędzi w przetwarzaniu i analizie obrazów. W większości metody detekcji brzegów bazują na wyznaczaniu lokalnych pochodnych obrazu (tzw. operatorów gradientowych). 38 / 53

Detekcja brzegów Podstawowe własności operatorów gradientowych: Pierwsza pochodna obrazu może być wykorzystywana do detekcji brzegu oraz jego kierunku Punkt zmiany znaku drugiej pochodnej, tj. jej miejsce zerowe (zero crossing), obrazu może służyć do wyznaczania miejsca wystąpienia brzegu Wadą operatorów gradientowych jest uwypuklenie zakłóceń impulsowych w obrazach (może to powodować pogorszenie jakości obrazu lub detekcję fałszywych brzegów) 39 / 53

Detekcja granic obszarów operatorami gradienowymi 40 / 53

Gradient obrazu Dla obrazów dyskretnych gradient jest aproksymowany różnicami jasności obrazu dla kierunku poziomego i pionowego lub kierunków ukośnych 41 / 53

Przykładowe filtry krawędziowe Filtr Robertsa, Filtr Sobela, Filtr Prewitta, Filtr Laplace'a, Filtr Kirscha, 42 / 53

F. Robertsa o(j,k) Krawędzie poziome / pionowe 0 Krawędzie ukośne o w j, k = [o j, k o j 1,k 1 ] 2 [o j,k 1 o j 1, k ] 2 43 / 53

Filtr Sobela (1) A 1 A 2 A 3 A 4 A 5 A 6 A 7 A 8 A 9 ow j,k = X 2 Y 2 X = A 2 2 A 3 A 4 A 0 2 A 7 A 6 Y = A 0 2 A 1 A 2 A 6 2 A 5 A 4 44 / 53

Filtr Sobela (2) Pionowe / poziome ukośne 45 / 53

Filtr Prewitta Pionowe / poziome ukośne 46 / 53

Filtr Laplace'a Laplasjan obrazu zdefiniowany jest jako druga pochodna obrazu f w punkcie (x,y) Z 1 Z 2 Z 3 Z 4 Z 5 Z 6 Z 7 Z 8 Z 9 47 / 53

Filtr Laplace'a 48 / 53

Filtr Kirscha (1) o w ( j, k)=max { 1, max i 0 ;7 5 S i 3 T i } S i =A i + A i+1 + A i +2 T i = A i+3 + A i+ 4 + A i+ 5 + A i+6 + A i+7 gdzie i 0 ;7 indeksy składników zmieniają się modulo 8 49 / 53

Filtr Kirscha (2) 50 / 53

Filtr Canny'ego Detektor Canny ego jest znacznie bardziej rozbudowanym operatorem w stosunku do omówionych wcześniej. Nie wykorzystuje on tylko informacji o natężeniu zmian funkcji obrazowej (gradiencie) ale także usiłuje w jak największym stopniu zmniejszyć wpływ zakłóceń, oraz poprawić jakość otrzymanego obrazu krawędzi. W roku 1986 John Canny określił wymogi jakie powinien spełniać optymalny detektor krawędzi Zawierają sie one w trzech kryteriach... 51 / 53

Filtr Canny'ego -kryteria 1. optymalizacja kryterium stosunku sygnału do szumu - skuteczność detektora, który powinien znajdować tylko krawędzie i żadna krawędź nie powinna być pominięta; 2. dokładność lokalizacji - błąd położenia, rozumiany jako odległość pomiędzy rzeczywistą krawędzią a pikselem brzegowym znalezionym przez detektor, powinien być jak najmniejszy; 3. błąd odpowiedzi - wymaga sie od detektora pojedynczej odpowiedzi na pojedynczą krawędź, kryterium to wywodzi się z definicja modelu idealnej krawędzi skokowej, dla której odpowiedzią detektora powinna być linia o szerokości jednego piksela; 52 / 53

Filtr Canny'ego - algorytm 1. Wygładzenie funkcji obrazowej za pomocą filtru Gaussa. Ma to na celu redukcje ewentualnych zakłóceń występujących w obrazie. 2. Różniczkowanie obrazu przy użyciu pary ortogonalnych operatorów różniczkowych dla obliczenia modułu gradientu i jego kierunku. Operacje różniczkowania przeprowadza się, podobnie jak we wcześniejszych detektorach, przez dokonanie splotu masek aproksymujacych składowe gradientu z wygładzona funkcja obrazowa. Jako składowe gradientu, pozwalające wyznaczyć moduł gradientu, wykorzystuje się najprostsze operatory: [-1 0 1] i [-10 1]'. Informacja o module gradientu uzyskiwana jest przez obliczenie pierwiastka kwadratowego z sumy kwadratów wartości składowych gradientu otrzymanych wcześniej, a jego kierunek jako arcustangens stosunku tych składowych. Bezwzględna wartość modułu gradientu wygładzonej funkcji obrazowej nie umożliwia jednak jednoznacznej lokalizacji punktów krawędzi. 53 / 53

Filtr Canny'ego - algorytm 3. Znalezienie lokalnych maksimów modułu gradientu funkcji obrazowej. Realizowane jest to poprzez przeglądanie mapy gradientowej, badanie otoczenia każdego punktu na kierunku prostopadłym do kierunku gradientu w tym punkcie i usuwanie tych punktów, w których moduł gradientu nie jest większy od modułu sąsiadów. W wyniku zastosowania powyższej operacji szerokie, rozmyte krawędzie zostają pocienione, gdyż pozostają punkty krawędzi o lokalnie największym module gradientu. 4. Progowanie z histerezą 54 / 53