Przetwarzanie sygnaªów Wykªad 8 - Wst p do obrazów 2D Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 1 / 27
Plan wykªadu 1 Informacje wstepne 2 Przetwarzanie obrazu 3 Wizja komputerowa 4 Analiza obrazów Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 2 / 27
Informacje wstepne Denicja obrazu Obrazem 2D nazywamy grak dwuwymiarow, która jest zbiorem pikseli. Pikselem nazywamy najmniejszy jednolity element obrazu wy±wietlanego na ekranie, drukowanego lub uzyskiwanego za pomoc urz dze«przetwarzania obrazu. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 3 / 27
Informacje wstepne Parametry obrazu 2D Rysunek: Dªugo± i szeroko± obrazu. Obraz o szeroko±ci w i dªugo±ci h b dzie zªo»ony z wh pikseli. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 4 / 27
Informacje wstepne Parametry obrazu 2D Najwa»niejsze informacje s zawarte w pikselach, które mog tworzy specjalny obszar na obrazie dla celów detekcji, czy rozpoznawania obiektów. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 5 / 27
Informacje wstepne Parametry obrazu 2D Najwa»niejsze informacje s zawarte w pikselach, które mog tworzy specjalny obszar na obrazie dla celów detekcji, czy rozpoznawania obiektów. Ka»dy piksel ma zadan barw w systemie RGB. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 5 / 27
Wªasno±ci piksela Informacje wstepne HSL (lub HSB) jest modelem opisu dla kolorów postrzeganych przez ludzkie oko ka»dej barwie jest przyporz dkowany jeden punkt w przestrzeni 3D identykowanej przez trzy skªadowe: Hue (odcie«) o warto±ciach z przedziaªu od 0 do 360 stopni. Saturation (nasycenie) z przedziaªu 0...1 lub 0...100%. Lightness lub brightness (jasno± ) ±rednie ±wiatªo biaªe, z przedziaªu 0...1 albo 0...100%. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 6 / 27
Wªasno±ci piksela Informacje wstepne Rysunek: Wizualizacja modelu HSL. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 7 / 27
Przetwarzanie obrazu Potrzeba przetwarzania Problem analizy Analiza obrazu polega na szukaniu konkretnych pikseli na obrazie, który mo»e by wykonany w ró»nych warunkach np.: rozmazane, zªe o±wietlenie, czy nawet uszkodzenia obiektywu. Rozwi zanie Przed przyst pieniem do analizy obrazu 2D, nale»y upro±ci obraz w taki sposób aby nie utraci jego cech, a pozby si nie potrzebnych. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 8 / 27
Przetwarzanie obrazu Metody przetwarzania obrazu Pzykªadowe metody przetwarzania (upraszczania) obrazów 2D Wyostrzenie, Rozmycie, U±redniania barwy, Wykrywanie kraw dzi, Filtry medianowe. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 9 / 27
Dziaªanie ltrów Przetwarzanie obrazu Zastosowanie ltrów w przetwarzaniu obrazów oznacza,»e do obliczenia nowej warto±ci punktu brane s pod uwag warto±ci punktów z jego otoczenia. Ka»dy piksel z otoczenia wnosi swój wkªad - wag podczas przeprowadzania oblicze«. Wagi te zapisywane s w postaci maski. Typowe rozmiary masek to 3 x 3, 5 x 5 b d¹ 7 x 7. Rozmiary masek s z reguªy nieparzyste poniewa» piksel na ±rodku reprezentuje piksel dla którego wykonywana jest operacja przeksztaªcania ltrem. Filtracj przeprowadza si osobno dla ka»dej skªadowej obrazu. Zatem je»eli mamy obraz reprezentowany w modelu RGB, to wówczas b dziemy wykonywa oddzielne przeksztaªcenia dla skªadowej R, G oraz B. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 10 / 27
Przetwarzanie obrazu Rozmycie Gaussa Maska rozmycia Gaussa A= 1 2 1 2 4 2 1 2 1 s = 3 i=1 j=1 3 δ(i, j) A[i, j], (1) gdzie δ jest funkcj zwracaj c konkretn warto± piksela tak jak warto± R, G lub B, jasno± czy nasycenie. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 11 / 27
Przetwarzanie obrazu Rozmycie Gaussa mask 3 3 Rysunek: Efekt rozmycia Gaussa. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 12 / 27
Przetwarzanie obrazu Wykrywanie kraw dzi Filtry przesuwania i odejmowania, wykonuj przesuni cie obrazu a nast pnie odejmowanie obrazu od swojej kopii. Filtry te sªu» do wykrywania kraw dzi w obrazie. W zale»no±ci od kierunku przesuwania obrazu b d to kraw dzie pionowe, poziome b d¹ uko±ne. Nale»y zauwa»y,»e w wyniku dziaªania tego rodzaju ltrów wynikowa warto± skªadowej punktu mo»e wyj± ujemna. W takim wypadku nale»y u»y warto±ci bezwzgl dnej albo sprowadzi warto± do 0. Maska 3 3 A= 0 0 0-1 1 0 0 0 0 Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 13 / 27
Przetwarzanie obrazu Wykrywanie kraw dzi Rysunek: Wykrywanie kraw dzi. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 14 / 27
Filtr Sobela Przetwarzanie obrazu Operator Sobela jest operatorem dyskretnego ró»niczkowania, umo»liwiaj cy aproksymacj pochodnych kierunkowych intensywno±ci obrazu w jednym z kierunków. Maska 3 3 Operator Sobela dla k tu 45 jest nast puj c mask A= 1 0-1 2 0-2 1 0-1 Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 15 / 27
Filtr Sobela Przetwarzanie obrazu Rysunek: Efekt zastosowania ltru Sobela. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 16 / 27
Wizja komputerowa Wizja komputerowa a maszynowa Wizja komputerowa Wizja komputerowa to dziaª informatyki zajmuj cy si analiz przechwytywanego obrazu. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 17 / 27
Wizja komputerowa Wizja komputerowa a maszynowa Wizja komputerowa Wizja komputerowa to dziaª informatyki zajmuj cy si analiz przechwytywanego obrazu. Wizja maszynowa Wizja maszynowa to dziaª informatyki polegaj cy na przechwytywaniu obrazu i jego zapisie. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 17 / 27
Wizja komputerowa Przechwytywany obraz Automatyczny system sztucznego widzenia to poª czenie wizji maszynowej i komputerowej. Wizja maszynowa odpowiada przede wszystkim za pobranie obrazu za pomoc pewnego urz dzenia (przede wszystkim kamery i aparatu) i jego zapis na dysku. Nast pnie uruchamiany jest moduª widzenia komputerowego i przetworzenie obrazu w celu identykacji pewnych obiektów. Rysunek: Ta±ma lmowa. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 18 / 27
Wizja komputerowa Przechwytywany obraz Obraz video to zbiór obrazów 2D. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 19 / 27
Wizja komputerowa Przechwytywany obraz Obraz video to zbiór obrazów 2D. Obrazem 2D nazywamy grak dwuwymiarow, która jest zbiorem pikseli. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 19 / 27
Wizja komputerowa Przechwytywany obraz Obraz video to zbiór obrazów 2D. Obrazem 2D nazywamy grak dwuwymiarow, która jest zbiorem pikseli. Pikselem nazywamy najmniejszy jednolity element obrazu wy±wietlanego na ekranie, drukowanego lub uzyskiwanego za pomoc urz dze«przetwarzania obrazu. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 19 / 27
Wizja komputerowa Przechwytywany obraz Problemy wizji komputerowej Przetworzenie graki, Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 20 / 27
Wizja komputerowa Przechwytywany obraz Problemy wizji komputerowej Przetworzenie graki, Analiza graki, Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 20 / 27
Wizja komputerowa Przechwytywany obraz Problemy wizji komputerowej Przetworzenie graki, Analiza graki, Detekcja obiektów, Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 20 / 27
Wizja komputerowa Przechwytywany obraz Problemy wizji komputerowej Przetworzenie graki, Analiza graki, Detekcja obiektów, Klasykacja obiektów. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 20 / 27
Wizja komputerowa Przechwytywany obraz Problemy wizji komputerowej Uwaga Przetworzenie graki, Analiza graki, Detekcja obiektów, Klasykacja obiektów. Wszystkie problemy wizji komputerowej sprowadzaj si do analizy konkretnych obrazów 2D. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 20 / 27
Punkty kluczowe Analiza obrazów Punktami kluczowymi nazywamy piksele deniuj ce fragmenty obrazu o unikalnych wªasno±ciach wizualnych. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 21 / 27
Punkty kluczowe Analiza obrazów Punktami kluczowymi nazywamy piksele deniuj ce fragmenty obrazu o unikalnych wªasno±ciach wizualnych. Detektory a deskryptory Deskryptor to identykator danego punktu, czyli jego opis. Detektor posªuguje si deskryptorami w celu detekcji ró»nych obiektów czy (dokªadniej) punktów kluczowych. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 21 / 27
Punkty kluczowe Analiza obrazów Punktami kluczowymi nazywamy piksele deniuj ce fragmenty obrazu o unikalnych wªasno±ciach wizualnych. Detektory a deskryptory Deskryptor to identykator danego punktu, czyli jego opis. Detektor posªuguje si deskryptorami w celu detekcji ró»nych obiektów czy (dokªadniej) punktów kluczowych. Najbardziej znane detektory i deskryptory punktów kluczowych Harris, SIFT, SURF. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 21 / 27
Detektor Harrisa Analiza obrazów 1 Policz pochodne cz stkowe dla obrazu za pomoc zadanego ltru, Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 22 / 27
Detektor Harrisa Analiza obrazów 1 Policz pochodne cz stkowe dla obrazu za pomoc zadanego ltru, 2 Policz l x, l y, l 2 x i l 2 y, Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 22 / 27
Detektor Harrisa Analiza obrazów 1 Policz pochodne cz stkowe dla obrazu za pomoc zadanego ltru, 2 Policz l x, l y, l 2 x i l 2 y, 3 Oblicz splot l y, lx 2 i l y 2 l 2 x, ly 2, l x l y, z ltrem prostok tnym w celu obliczenia sum: Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 22 / 27
Detektor Harrisa Analiza obrazów 1 Policz pochodne cz stkowe dla obrazu za pomoc zadanego ltru, 2 Policz l x, l y, l 2 x i l 2 y, 3 Oblicz splot l y, lx 2 i l y 2 l 2 x, ly 2, l x l y, z ltrem prostok tnym w celu obliczenia sum: 4 Oblicz warto± R wg wzoru Harrisa lub Shi-Tomasi, Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 22 / 27
Detektor Harrisa Analiza obrazów 1 Policz pochodne cz stkowe dla obrazu za pomoc zadanego ltru, 2 Policz l x, l y, l 2 x i l 2 y, 3 Oblicz splot l y, lx 2 i l y 2 l 2 x, ly 2, l x l y, z ltrem prostok tnym w celu obliczenia sum: 4 Oblicz warto± R wg wzoru Harrisa lub Shi-Tomasi, 5 Wybierz tylko punkty speªniaj ce warunek R > θ, gdzie θ jest zadan warto±ci progow, Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 22 / 27
Detektor Harrisa Analiza obrazów 1 Policz pochodne cz stkowe dla obrazu za pomoc zadanego ltru, 2 Policz l x, l y, l 2 x i l 2 y, 3 Oblicz splot l y, lx 2 i l y 2 l 2 x, ly 2, l x l y, z ltrem prostok tnym w celu obliczenia sum: 4 Oblicz warto± R wg wzoru Harrisa lub Shi-Tomasi, 5 Wybierz tylko punkty speªniaj ce warunek R > θ, gdzie θ jest zadan warto±ci progow, 6 We¹ lokalne maxima. Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 22 / 27
Detektor Harrisa Analiza obrazów Rozwa»my dwa fragmenty obrazu o ±rodkach w punktach (x, y) oraz (x + x, y + y), Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 23 / 27
Detektor Harrisa Analiza obrazów Rozwa»my dwa fragmenty obrazu o ±rodkach w punktach (x, y) oraz (x + x, y + y), Suma kwadratów ró»nic pomi dzy nimi wynosi SSD( x, y) = ( ) l(x, y) l(x + x, y + y) 2 2 xy P (2) Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 23 / 27
Detektor Harrisa Analiza obrazów Rozwa»my dwa fragmenty obrazu o ±rodkach w punktach (x, y) oraz (x + x, y + y), Suma kwadratów ró»nic pomi dzy nimi wynosi SSD( x, y) = ( ) l(x, y) l(x + x, y + y) 2 2 xy P Pochodne cz stkowe z obrazu I to I x = I (x,y) x i I y = I (x,y) y. Przybli»aj c szeregiem Taylora (pierwszego stopnia) otrzymujemy I (x + x, y + y) I (x, y) + I x (x, y) x + I y (x, y) y, (3) a to daje nast puj ce przybli»enie SSD( x, y) (I x (x, y) x + I y (x, y) y) 2 (4) x,y P (2) Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 23 / 27
Detektor Harrisa Analiza obrazów Poprzednio uzyskane przybli»enie mo»emy zapisa w formie macierzowej SSD( x, y) [ ] x [ x y]m, (5) y gdzie M = x,y P [ l 2 x l x l y l x l y l 2 y ] = [ ] l 2 x lx l y lx l y l 2 y (6) Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 24 / 27
Detektor Harrisa Analiza obrazów Zaªó»my,»e naro»nik jest wyrównany do osi ukªadu wspóªrz dnych, wtedy dominuj cy gradient jest wzdªu» osi x lub y, a wi c mamy [ λ1 0 M = [ l 2 x lx l y lx l y l 2 y ] = 0 λ 2 ]. (7) Je±li która± z warto±ci wªasnych macierzy M jest bliska 0, to punkt nie jest naro»nikiem (a wi c nie jest równie» punktem kluczowym). Wektory wªasne wskazuj kierunek najwi kszej i najmniejszej zmiany SSD. Punkty s punkami kluczowymi gdy speªniaj nast puj cy warunek R = min(λ 1, λ 2 ) > θ. (8) Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 25 / 27
Detektor Harrisa Analiza obrazów Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 26 / 27
Analiza obrazów Dzi kuj za uwag ;) Marcin Wo¹niak, Dawid Poªap Przetwarzanie sygnaªów Pa¹dziernik, 2018 27 / 27