Wykrywanie obiektów na obrazach cyfrowych. Marcin Kuczyński

Transkrypt

1 Wykrywanie obiektów na obrazach cyfrowych Marcin Kuczyński

2 Spis treści 1. Wprowadzenie 2. System rozpoznawania obrazów 3. Wykrywanie w oparciu o kolor i tekstury 4. Wykrywanie krawędzi 5. Detekcja rogów 6. Wykrywanie kształtów okrągłych

3 1. Wprowadzenie Wykrywanie obiektów jest jednym z ważniejszych zadań realizowanych w ramach zaawansowanego przetwarzania i rozpoznawania obrazów. Stwierdzenie co znajduje się na zdjęciu wymaga najpierw określenia jakie obiekty i w których miejscach się na nim znajdują. Przykładowo, jeżeli konieczne jest zidentyfikowanie osoby na zdjęciu, pierwszym etapem jest zawsze określenie jej dokładnego położenia. Wykrywanie obiektów wiąże się zwykle z ich wstępnym rozpoznaniem. Przy czym w przypadku obiektów bardzo prostych dalszy proces obróbki danych nie zawsze jest już konieczny. Taka sytuacja ma miejsce w przypadku obiektów bardzo licznych o niewielkich rozmiarach. Przykładem mogą być krople wody.

4 1. Wprowadzenie Wykrywanie obiektów może służyć nie tylko do określenia co się znajduje na zdjęciu, ale i do określenia liczebności obiektów. Przykładowo dysponując zdjęciem powierzchni szyby pokrytej kroplami wody można określić ich liczebność oraz rozmiary, a to jest już podstawą do przeprowadzenia procesu decyzyjnego, który może na przykład prowadzić do uruchomienia wycieraczki samochodowej.

5 2. System rozpoznawania obrazów Elementy składowe kompletnego systemu rozpoznawania obrazów: przetwarzanie niskiego poziomu - obejmuje akwizycje obrazu, przetwarzanie wstępne, poprawę jakości obrazu, np. eliminacja zakłóceń, poprawa kontrastu, filtracja itd. przetwarzanie średniego poziomu - dotyczy segmentacji obrazu oraz wydzielania i opisu cech obiektów obrazu, np. detekcja brzegów i konturów, przetwarzanie morfologiczne, itd. przetwarzanie wysokiego poziomu - polega na klasyfikacji, rozpoznawaniu i interpretacji analizowanej sceny.

6 2.System rozpoznawania obrazów Wzorzec to zbiór cech, który tworzy ilościowy i jakościowy opis obiektu. Ściślej, wzorzec to wektor cech x=[x1, x2,..., xn] Klasa wzorców - to zbiór wzorców charakteryzujących się podobnymi wektorami cech. Klasy wzorców oznaczmy ω1, ω2,...ωm gdzie indeks M jest numerem klasy. Rozpoznawanie wzorców (nazywane też klasyfikacją) jest zadaniem polegającym na przyporządkowaniu wzorców do ich klas.

7 2. System rozpoznawania obrazów Klasyfikacja wzorców

8 2. System rozpoznawania obrazów Selekcja cech i ich właściwości dyskryminacja - cechy powinny przyjmować znacząco różne wartości dla obiektów z różnych klas, np. średnica owocu jest dobrą cechą dla rozróżnienia wiśni i grejpfrutów, niezawodność - cechy powinny przyjmować podobne wartości dla wszystkich obiektów danej klasy, np. kolor jest złą cechą dla jabłek, niezależność - cechy wykorzystywane w danym systemie klasyfikacji powinny być nieskorelowane ze sobą, np. waga i wielkość owocu są cechami silnie skorelowanymi, mała liczba - złożoność systemu klasyfikacji rośnie szybko wraz z liczba klasyfikowanych cech, np. należy eliminować cechy skorelowane.

9 2. System rozpoznawania obrazów Współczynnik korelacji cech x i y: gdzie: P - liczna klasyfikowanych obiektów, μ,σ - oznaczają odpowiednio wartości średnie i odchylenie standardowe danego zbioru cech. Jeżeli wsp. Korelacji jest bliski 1 (-1) cechy x i y uważa się za silnie skorelowane (np. jedną z nich można odrzucić).

10 2. System rozpoznawania obrazów Przykład miary separacji cechy x pomiędzy klasami j i k: Duża wartość tej miary świadczy o dobrej separacji cechy x pomiędzy klasami j i k.

11 3. Wykrywanie na podstawie koloru i tekstury Istnieje wiele obiektów, którym nie można przypisać żadnego kształtu lub kształt jest bardzo skomplikowany, albo zmienny. Przykładem tego typu obiektów jest twarz. Każdy człowiek ma nieco inny kształt twarzy, ponadto twarz widziana pod różnymi kątami, wygląda odmiennie. Na twarzy mogą pojawić się obiekty, które zmieniają jej kształt, na przykład włosy, czapka, okulary itp. Wszystko to w znaczący sposób utrudnia wykrywanie twarzy. Wspólną cechą wszystkich twarzy jest kolor. Dla każdej rasy człowieka jest on bardzo charakterystyczny. Sprawia to, że kolor jest wykorzystywany do wykrywania twarzy lub jako jeden z czynników pozwalających wykryć twarz.

12 3. Wykrywanie na podstawie koloru i tekstury Przy wykrywaniu obiektów na podstawie koloru konieczne jest określenie koloru jaki ma być wykrywany oraz jego zakresu. Dokonać tego można poprzez pobranie próbek koloru obiektów wzorcowych (rysunek). Proces pobierania próbek koloru polega na oznaczeniu obszarów w którym znajdują się obiekty wzorcowe. Oznaczenie to jest wykonywane ręcznie. Po oznaczeniu obszarów wyznacza się średni kolor i dopuszczalne odchyłki współrzędnych koloru od koloru wzorcowego. Daje to możliwość określenia jego zakresu.

13 3. Wykrywanie na podstawie koloru i tekstury Określenie koloru twarzy

14 3. Wykrywanie na podstawie koloru i tekstury Wykrywanie na podstawie koloru nie ogranicza się tylko do twarzy. Możliwe jest wszędzie tam, gdzie kolor obiektu znacznie odbiega od kolorów innych otaczających go obiektów. Takie podejście stosować można do wykrywania różnego rodzaju obszarów o charakterystycznym kolorze na zdjęciach satelitarnych. Przykładem mogą być skały zawierające tlenek żelaza. Są one zabarwione na charakterystyczny brązowo-czerwony kolor. Dzięki czemu łatwo mogą być wykryte na podstawie koloru.

15 3. Wykrywanie na podstawie koloru i tekstury Obraz skał zawierających tlenek żelaza po lewej, natomiast wynik wykrywania na rysunku po prawej stronie. Obszary wykryte oznaczono kolorem białym.

16 3. Wykrywanie na podstawie koloru i tekstury W praktyce w większości przypadków wykrywanie obiektów na podstawie tylko koloru jest mało skuteczne. Wynika to ze zmiennej charakterystyki oświetlenia obiektów. Kolor obiektu zależy od pory dnia. O każdej porze dnia promienie słoneczne pokonują inną drogę poprzez atmosferę, w związku z tym inne jest zabarwienie światła słonecznego rano, a inne w samo południe. To zabarwienie wpływa bezpośrednio na rejestrowany przez aparat kolor obiektu. Kolor światła słonecznego zależy nie tylko od pory dnia, ale również od stanu atmosfery i miejsca w którym znajduje się fotografowany obiekt. Inny jest kolor światła słonecznego w bezchmurny dzień, inny kiedy słońce zakrywają chmury, a jeszcze inny gdy światło słoneczne nie pada bezpośrednio na obiekt, ale w sposób pośredni (gdy obiekt znajduje się w cieniu).

17 3. Wykrywanie na podstawie koloru i tekstury Obiekt fotografowany może być oświetlany nie tylko światłem słonecznym, ale również światłem sztucznym. Światło sztuczne jest tak generowane aby przypominało światło słoneczne, ale zawsze ma nieco inny skład widmowy. Inny jest kolor światła żarówek wolframowych, inny świetlówek, a jeszcze inny żarówek LED-owych. Wszystko to również przekłada się na kolor rejestrowanego obiektu. Człowiek aby zniwelować zmiany kolorów obiektów posiada specjalny "system" usuwania dominującego zabarwienia, który pozwala odbierać kolory w podobny sposób niezależnie od oświetlenia. Podobnie jest w przypadku aparatów fotograficznych, które również wyposażone są w taki system. Jest on jednak mniej doskonały niż u człowieka, co powoduje, że często może dojść do przekłamania kolorów obiektów.

18 3. Wykrywanie na podstawie koloru i tekstury Ze wglądu na wspomniane wyżej problemy z rejestracją kolorów wykrywanie na podstawie koloru jest mało skuteczne. Jeżeli zakres kolorów przyjmie się zbyt mały to przy zmianie oświetlenia obiekt może zostać nie wykryty. Jeżeli natomiast zakres kolorów przyjmie się zbyt duży to wykryte zostają te obiekty, które nie powinny zostać wykryte. Z tego względu łączy się wykrywanie na podstawie koloru, z wykrywaniem na podstawie zmienności kolor obiektu. Większość obiektów charakteryzuje się lokalnymi niewielkimi zmianami kolorystyki. Zmiany te określa się mianem tekstury pokrywającej obiekt. Daje to możliwość wykrycia obiektów na podstawie tekstury.

19 3. Wykrywanie na podstawie koloru i tekstury Przykładem łączonego wykrywania obiektów na podstawie zarówno koloru, jak i tekstury może być wykrywanie określonych obszarów rolniczych. W tym celu pobiera się "próbki" kolorów i tekstur z obiektów wzorcowych. Pobieranie próbek tekstur Oznakowane obszary Wzorcowe kolory i tekstury pozwalają na oznakowanie obszarów rolniczych na zdjęciu. Kolorami czerwonym, zielonym i niebieskim zaznaczono znalezione obszary. Natomiast kolorem czarnym i białym obszary niesklasyfikowane.

20 3. Wykrywanie na podstawie koloru i tekstury Innym przykładem łączonego wykrywania obiektów na podstawie zarówno koloru, jak i tekstury jest wykrywanie czystego nieba. Niebo posiada charakterystyczny kolor, jednak wiele obiektów na ziemi posiada kolor zbliżony. Przykładem może być woda. Do wykrycia nieba niezbędne jest zatem wykorzystanie również tekstury. Tekstura nieba jest bardzo regularna, jednak regularność ta jest możliwa do wykrycia jedynie za pomocą analizy częstotliwościowej. Z analizy częstotliwościowej wynika, że obraz czystego nieba jest w bardzo charakterystyczny sposób pofalowany. Przez niebo przebiegają dwa rodzaje fal: fale płaskie poziome i fale płaskie pionowe. Przy czym fal tych jest bardzo wiele, różnią się częstotliwością i fazą. Ze względu na to, że nakładają się na siebie są praktycznie niedostrzegalne. Wykonując jednak analizę częstotliwościową można je wyraźnie zaobserwować.

21 3. Wykrywanie na podstawie koloru i tekstury Wykryty obszar nieba jest on mniejszy od faktycznego. Wynika to z faktu, że do wykonania analizy częstotliwościowej konieczne jest wyodrębnienie fragmentu zdjęcia o określonych minimalnych rozmiarach. Jeżeli w ramach tego fragmentu znajduje się fragment jakiegokolwiek obiektu nie będącego niebem to wykrycie fal przebiegających przez niebo staje się niemożliwe.

22 4. Wykrywanie krawędzi Czym jest krawędź? Zdefiniowanie krawędzi wbrew pozorom nie jest takie proste gdyż, krawędzie na obrazie mogą występować pod różnymi postaciami. Najczęściej krawędź identyfikujemy z przejściem od obszaru ciemnego do jasnego lub na odwrót, dlatego też często możemy natknąć się na definicje krawędzi jako granice pomiędzy dwoma obszarami o różnych jasnościach. Najłatwiejsze do identyfikacji jest gwałtowne, skokowe przejście (jak w obrazach binarnych), jednak zazwyczaj przejście to bywa mniej lub bardziej rozmyte. Inny rodzaj krawędzi to lokalne rozjaśnienie lub ściemnienie. Można też spotkać krawędzie wynikające ze zmiany wzoru (tekstury) tworzonego przez punkt obrazu.

23 4. Wykrywanie krawędzi Każdy z wymienionych rodzajów krawędzi wymaga nieco innego sposobu detekcji. Ponieważ jednak najczęściej spotykamy krawędzie takie, jak na rysunku poniżej, to właśnie im poświęcam najwięcej uwagi.

24 4. Wykrywanie krawędzi Jednoznaczne ustalenie, gdzie przebiega krawędź jest trudne z powodu różnic w ostrości przejścia oraz w poziomach szarości poszczególnych cząstek. Większość metod detekcji brzegów bazuje na wyznaczeniu lokalnych pochodnych obrazu (tzw. operatorów gradientowych).

25 4. Wykrywanie krawędzi Wykorzystanie różniczkowania do detekcji krawędzi Jednym z najprostszych sposobów detekcji krawędzi jest wykorzystanie w tym celu pierwszej pochodnej funkcji opisującej zmiany stopni szarości obrazu (rysunek). Po zróżniczkowaniu sygnału wystarczy wykorzystać odpowiedni próg detekcji podczas binaryzacji i mamy już obraz krawędzi. Dodatkową zaletą tego rozwiązania jest fakt, że dla bardziej rozmytych krawędzi (łagodniejsze przejście) maksimum pierwszej pochodnej ma niższą wartość. Jeszcze bardziej jednoznaczne wyniki daje zastosowanie drugiej pochodnej. W tym przypadku krawędź odpowiada wprost miejscu zerowemu drugiej pochodnej.

26 4. Wykrywanie krawędzi

27 4. Wykrywanie krawędzi Na obrazie komputerowym trudno jest wyznaczyć pochodne lecz dobrym ich przybliżeniem są lokalne gradienty. Własności operatorów gradientowych: pierwszą pochodną można wykorzystać do detekcji brzegu oraz jego kierunku punkt zmiany znaku drugiej pochodnej, tj. jej miejsce zerowe obrazu może służyć do wyznaczania miejsca wystąpienia brzegu. Wadą operatorów gradientowych jest uwypuklanie zakłóceń impulsowych w obrazach (może pogorszyć jakości obrazu lub zidentyfikować fałszywe brzegi) Gradient obrazu I(x, y) definiuje się w dwóch prostopadłych kierunkach x i y jako: W przypadku obrazu traktowanego jako tablica liczb - gradient może być w przybliżeniu wyznaczony jako różnica wartości dwóch sąsiednich punktów. Wykonuje się to praktycznie dzięki zastosowaniu tzw. operatorów Robertsa, które pozwalają na wyznaczenie gradientów w czterech różnych kierunkach.

28 4. Wykrywanie krawędzi Operatory Robertsa Przedstawione operatory (lub inaczej maski) używa się w ten sposób, że macierz porównuje się z analizowanym obrazem (środkowy punkt macierzy odpowiada analizowanemu punktowi), a następnie oblicza się nową wartość środkowego punktu, która jest sumą wartości odpowiednich punktów obrazu pomnożonych przez wartości poszczególnych komórek matrycy.

29 4. Wykrywanie krawędzi

30 4. Wykrywanie krawędzi W stosowaniu masek, występuje efekt brzegowy polega to na tym, że analizowany pierwszy i ostatni wiersz oraz pierwsza i ostatnia kolumna punktów obrazu nie posiadają 8 sąsiadów, przez co nie mogą być równoważnie analizowane. Jednym z rozwiązań tego problemu jest pominięcie w analizie tych wierszy i kolumn, w efekcie obraz po filtracji jest mniejszy. Dodatkowo, na podstawie analizy wartości składowych można wyznaczyć amplitudę i kąt gradientu. Należy zwrócić uwagę, że w kierunku detekcji gradientu otrzymujemy zarówno wartości dodatnie, jak i ujemne, co ma znaczenie przy tworzeniu wynikowego obrazu, gdzie wartości kolorów składowych RGB muszą mieścić się w dziedzinie Dodatkowo, obraz po obróbce operatorem gradientowym ma niecodzienny, nieraz trudny do akceptacji wygląd.

31 4. Wykrywanie krawędzi Niestety, operator Robertsa jest bardzo czuły na lokalne zakłócenia obrazu, czyli szumy i z powodów znacznych błędów nie może być używany do analizy obrazów o dużym poziomie szumów.

32 5. Detekcja rogów róg w pojęciu "gwałtownie zakręcającej krawędzi" przecięcie 2 krawędzi/linii punkty,które w swoim otoczeniu mają więcej niż jedne dominujący kierunek rodzaj interesujących punktów, punktów (inne:zakończenia linii, jasne lub ciemne punkty) szczególnych algorytmy wykrywające rogi opierają się na detekcji krawędzi, a następnie śledzeniu wyodrębnionych krawędzi i detekcji nagłej zmiany ich kierunku nowsza generacja algorytmów oparta na wysokiej krzywiźnie (curvature) gradientu wskazane wcześniejsze wygładzenie obrazu

33 5. Detekcja rogów Nagłe załamania krawędzi Wzór na krzywiznę gradientu

34 6. Wykrywanie kształtów okrągłych Metoda I - wyszukiwanie okręgów na obrazie binarnym Metoda ta polega na doborze wartości progu dla operacji progowania i dopasowywaniu okręgów do obszarów wyróżnionych podczas progowania. Kluczowym etapem tej metody jest dobór wartości progu. Dobór wartości doskonale odróżniającej obszary tła i obiektów jest często utrudnione i wymaga filtracji zakłóceń obrazu źródłowego i/lub wynikowego. Dodatkowych parametrów służących do filtrowania wyników wyszukiwania okręgów dostarcza zakres akceptowanych promieni okręgów (rmin. rmaks.). Metoda ta stosowana może być do obrazów, na których wyszukiwane obiekty maja kolor wyraźnie odróżniający je od tła.

35 6. Wykrywanie kształtów okrągłych Rezultat wykrywania okręgów na obrazie przekształconym do postaci binarnej

36 6. Wykrywanie kształtów okrągłych Metoda II zastosowanie filtru Hougha Działanie filtru Hougha polega na wykrywaniu umieszczaniu w obszarze analizowanego obrazu okręgów testowych o określonej średnicy i wykrywaniu krawędzi na ich obwodach. W ten sposób wyróżniane są krawędzie obiektów o okrągłych kształtach, których średnica jest zbliżona do średnic okręgów testowych.

37 6. Wykrywanie kształtów okrągłych Rezultat wykrywania okręgów na obrazie w odcieniach szarości z użyciem filtru Hougha

38 6. Wykrywanie kształtów okrągłych Metoda III - wyszukiwanie okręgów na obrazie w odcieniach szarości Metoda ta polega na wyszukiwaniu okręgu o otoczeniu losowo wybranego punktu na podstawie wykrytych w tym obszarze zarysów krawędzi. Polega ona na wykonaniu kolejnych kroków: wstępna lokalizacja środka okręgu wyznaczenie zbioru odcinków o długościach lo=rmin. rmaks. ułożonych promieniście detekcji krawędzi na tych odcinkach dopasowaniu okręgu do punktów krawędzi

39 6. Wykrywanie kształtów okrągłych Przykładowy rezultat wyszukiwania włókien w odcieniach szarości (widoczne wyraźne przesunięcie środka obszaru wyszukiwania w stosunku do znalezionego środka okręgu); kierunek wyszukiwania krawędzi na zewnątrz obszaru. Przykładowy rezultat działania automatycznego algorytmu rozpoznawania i pomiarów obiektów o okrągłym kształcie rozmieszczonych losowo w obszarze obrazu a) obraz surowy, b) obraz w odcieniach szarości z nałożonymi wynikami wyszukiwania.

40 Dziękuję za uwagę