Wyszukiwanie obrazów 1

Wyszukiwanie obrazów 1

Wyszukiwanie według zawartości Wyszukiwanie wg zawartości jest procesem wyszukiwania w bazach danych (zbiorach dokumentów ) obiektów o treści najbardziej zbliżonej do zadanego wzorca. Proces wyszukiwania może dotyczyć praktycznie obiektów dowolnego typu dla którego może być zdefiniowana funkcja podobieństwa/odległości. Najbardziej znanym przykładem wyszukiwania według zawartości jest wyszukiwanie tekstu. Kluczowym etapem procesu jest ustalenie reprezentacji obiektów sprowadzające się do wyodrębnienia informatywnych, istotnych cech (atrybutów). Odpowiada to zredukowaniu fizycznych obiektów do wektorów przestrzeni wielowymiarowej. Po zdefiniowaniu reprezentacji kolejne kroki analizy są wykonywane nie na obiektach, ale na ich reprezentacji. Ten etap jest wspólny dla wielu metod analizy danych. Błąd popełniony na tym etapie propaguje przez wszystkie kolejne etapy analizy. Błąd może polegać na: włączeniu do analizy nieistotnych cech, pominięciu cech istotnych. W zastosowaniach wyszukiwania tekstów standardową reprezentacją obiektów jest liczba wystąpień poszczególnych słów. Operacje tego typu powodują silną utratę informacji, w tym lokalny kontekst. 2

Wyszukiwanie obrazów ze względu na zawartość (CBIR) Rys. Schemat procesu wyszukiwania obrazów ze względu na zawartość. Wyszukiwanie obrazów ze względu na zawartość (content-based image retrieval, CBIR) jest techniką przeszukiwania dużych kolekcji obrazów w oparciu o ich własności wizualne. W odróżnieniu od tradycyjnych metod wyszukiwania ze względu na format, rozmiar, czas utworzenia, algorytm kompresji, rozdzielczość, etc. metody wyszukiwania ze względu na zawartość dążą do symulowania procesu wyszukiwania właściwego dla człowieka wyszukiwania ze względu na treść obrazu. Wykorzystanie tekstowego opisu obrazów w wielu przypadkach jest niewystarczające i niepraktyczne. Operacje oceny podobieństwa obrazów wykorzystujące odpowiednią funkcję podobieństwa operują na deskryptorach (wektorach cech) obrazów, a nie bezpośrednio na obrazach. Kluczowym zagadnieniem jest ekstrakcja cech wizualnych obrazów. Proces ten wykonywany w trybie off-line. Wyszukiwanie obrazów ze względu na zawartość wymaga technik automatycznej ekstrakcji takich własności wizualnych. Do najczęściej wykorzystywanych własności należą: kolor (histogram, momenty statystyczne, etc.), tekstura, kształt (wymaga segmentacji, tzn. podziału obrazu na obszary o jednakowym kolorze lub poziomie jasności) oraz lokalizacja (położenie segmentów, kolorów i kształtów w obrazie). Sformułowanie zapytania (query) przez użytkownika polega na zadaniu obrazu wzorca, określonego kształtu, tekstury lub określeniu własności statystycznych obrazów, które powinny być wyszukane. W systemie QBIC (Query By Image Content, IBM) własnościami wizualnymi na podstawie których przebiega proces wyszukiwania mogą być: procentowy udział kolorów w obrazie, kształty, tekstury oraz ich lokalizacja w obrazie. Wyszukiwanie polega na porównywaniu deskryptora wyznaczonego na podstawie zapytania użytkownika z deskryptorami obrazów przechowywanych w bazie. Konieczne jest zadanie funkcji porównania. Sprzężenie zwrotne (dla polepszenia jakości wyszukiwania). 3

Problemy związane z CBIR Problem 1: Efektywna reprezentacja obrazów. akie własności wybrać jako reprezentację (treści) obrazu? Odpowiedź: Niezmiennicze (odporne) ze względu na zmienne warunki, w których obraz może być pozyskany (zmiany poziomu oświetlenia, przesłanianie, przestawianie elementów sceny, odległość kamera-obiekt, etc.) Posługiwanie się cechami o takich własnościach może zapewnić poprawne klasyfikowanie obrazów obiektów w różnych warunkach. Najczęściej wykorzystywane deskryptory to: momenty statystyczne, histogram, tekstura, kształty. Przed określeniem wartości poszczególnych cech najczęściej wykonywana jest odpowiednia modyfikacja obrazu umożliwiająca pozyskanie cech reprezentujących obraz. Modyfikacja może sprowadzać się do: zmiany przestrzeni barw, kwantyzacji, segmentacji, wyodrębnienia określonych fragmentów obrazu, wyeliminowania szumu, etc. Nie istnieje uniwersalna przestrzeń nadająca się do opisu obrazów niezależnie od zastosowania. Najczęściej wykorzystywanymi przestrzeniami barw są: rgb, CIELUV, CIELAB, Munsell, HSV oraz modele barw przeciwstawnych. W wielu zastosowaniach pożądaną cechą przestrzeni barw jest percepcyjna jednorodność (spośród wymienionych, cechę tę posiadają CIELUV oraz CIELAB). Problem 2: Miary podobieństwa. Jakich miar podobieństwa wektorów cech użyć? Różne miary prowadzą do różnej efektywności procesu wyszukiwania. Nie istnieje miara idealna, niezależna od zastosowania. W praktyce wykorzystuje się również funkcje, które nie są metrykami (odległościami). Problem 3: Z jednej strony, użytkownik zainteresowany jest wyszukiwaniem ze względu na treść obrazu. Z drugiej strony, wyszukiwanie polega na ustalaniu stopnia podobieństwa wektora cech obrazów, a nie ich treści. W zależności od konkretnego zastosowania należy więc zapewnić reprezentowanie obrazu przez takie cechy, które mogą zapewnić związek (korelacje) z treścią obrazu. Problem tzw. przepaści semantycznej (semantic gap): odległość obiektów matematycznych nie musi korelować z intuicyjnie (percepcyjnie) pojmowaną odległością. a b c d e f Rys. Kwantyzacja sześcianu barw RGB. (a) obraz oryginalny; (b)-(f) obraz po kwantyzacji do odpowiednio 64, 16, 8, 4 oraz 2 wartości na każdą składową wektora koloru. Zadaniem kwantyzacji jest zmniejszenie dynamiki wartości pikseli na potrzeby procesu wyszukiwania. Kwantyzacja niweluje również nieistotne fluktuacje wartości pikseli. 4

Deskryptory obrazu Najczęściej wykorzystywaną własnością do definiowania deskryptorów obrazu jest kolor. Informacja o poziomach szarości (luminancja) jest niewystarczająca do porównywania obrazów. Deskryptory Momenty statystyczne. Najczęściej wykorzystuje się trzy pierwsze momenty statystyczne: średnia, wariancja oraz moment trzeciego rzędu, będący miarą asymetrii. W przypadku obrazów o trzech składowych koloru, obraz reprezentowany jest przez 9 liczb: 3 deskryptory dla każdej z trzech składowych. Wyszukiwanie w oparciu o momenty statystyczne może stanowić etap wstępny służący do zawężenia przestrzeni poszukiwań, po którym następuje proces wyszukiwania w oparciu o inne cechy. Entropia. Prosty deskryptor, ale o mocno ograniczonej efektywności. Entropia względna (odległości Kullbacka-Leiblera) i funkcje z nią związane. Histogramy składowych barwy. Histogram uważany jest za bardzo efektywną i zwięzłą reprezentację zawartości wizualnej obrazu cyfrowego. Do jego zalet należą prostota wyznaczenia, odporność ze względu na translacje i obroty osi widzenia, oraz ograniczona wrażliwość na zmianę skali, przesłanianie i zmianę kąta widzenia. Histogram nie zawiera jednak informacji o strukturze przestrzennej. Histogramy można interpretować jako elementy wielowymiarowych przestrzeni wektorowych. Wymiarem przestrzeni można regulować przez proces kwantyzacji obrazów. Wektor spójności koloru (Color Coherence Vector). Wektor spójności stanowi rozszerzenie koncepcji histogramu o informacje przestrzenne. Dany kolor (słupek histogramu, składowa koloru) jest klasyfikowany jako spójny (coherent) lub niespójny (coherent) w zależności od tego, czy piksele go reprezentujące tworzą spójny, zamknięty obszar w obrazie, czy też są rozproszone. Wektor spójności ma postać: { (a 1,b 1 ), (a 2,b 2 ),, (a N,b N )}, gdzie a i oznacza liczbę pikseli tworzących spójny obszar, b i liczbę pikseli obszarów niespójnych. 5

Konstrukcja histogramu jako deskryptora Jak budować histogramy jako wektory cech? Stosowanie histogramów obrazów nieprzetworzonych, np. histogram RGB, gdzie każda składowa przyjmuje 256 różnych wartości jest niepraktyczne, wymaga bowiem posługiwania się wektorami o 256 3 składowych! W praktyce przeprowadza się redukcję liczby możliwych barw w drodze kwantyzacji. Grupowanie słupków histogramu. Technika ta polega na zmniejszaniu liczby kolorów występujących w obrazie przez utożsamianie ze sobą sąsiednich wartości (słupków) składowych koloru, np. wartości [0,3] składowej R w obrazie RGB sklejane są ze sobą i reprezentowane przez wartość 0; wartości [5,8] reprezentowane przez 1; wartości [10,13] reprezentowane przez 2 itd. dla całego dopuszczalnego zakresu i wszystkich składowych. Efektywnie jest to równoważne kwantyzacji obrazu; w tym przypadku kwantyzacji do 256/4=64 wartości dla jednej składowej, co daje histogramy o rozmiarze 64 3. Składowe wektora opisujące kolor piksela nie muszą być kwantyzowane w jednakowy sposób. W przypadku przestrzeni HSV uzasadniona może być silna kwantyzacja składowych S i/lub V, podczas gdy składowa H powinna być kwantowana w sposób znacznie słabszy. Kafelkowanie obrazu polega na pokryciu całego obrazu oknami (kafelkami) o ustalonym rozmiarze, np. 4x4 i wyznaczeniu dla każdego takiego bloku średniej wartości poszczególnych składowych. Lista średnich wziętych ze wszystkich bloków obrazu stanowi listę możliwych wartości jakie przyjmują składowe koloru. Histogram obrazu nie zawiera informacji o rozkładzie przestrzennym pikseli. Istnieje wiele różnych sposobów włączenia takiej informacji do histogramu. Do najprostszych należy podział każdego słupka histogramu na określoną liczbę składowych, które opisują liczbę pikseli danego koloru leżących w określonych partiach (blokach) obrazu. Metoda ta wymaga podziału obrazu na rozdzielne bloki (patrz rysunek). W takim przypadku zwiększa się wymiar wektora cech. a 1 b c 3 5 4 2 1 2 3 4 5 Rys. (a) - Przykładowy podział obrazu na bloki; (b) W standardowym przypadku wszystkie piksele określonej wartości reprezentowane są przez słupek histogramu; (c) Podział słupka histogramu na części opisujące liczbę pikseli danej wartości w poszczególnych blokach obrazu. 6

Funkcje podobieństwa histogramów W przypadku porównywania obrazów reprezentowanych przez histogramy zaproponowanych zostało wiele różnych miar podobieństwa. Niech dane są dwa obrazy cyfrowe reprezentowane przez odpowiednio histogramy H 1 oraz H 2. Niech obrazy są jednakowego rozmiaru (dlaczego to założenie jest istotne), a kolory pikseli opisane są w N wymiarowej przestrzeni wektorowej (histogramy są wówczas N-wymiarowymi wektorami). Odległość Manhattan Odległość Euklidesa Odległość kosinusowa Miara przekroju histogramów Unormowana korelacja wzajemna 7

Odległości Manhattan oraz Euklidesa (1) Odległości Manhattan oraz Euklidesa są przykładami miar wywodzących się od uogólnionej metryki Minkowskiego. Ich wykorzystanie jest uzasadnione wtedy, gdy składowe wektora cech (w tym przypadku słupki histogramów) są od siebie niezależne i posiadają jednakową wagę. Chociaż warunki te nie są najczęściej spełnione (dlaczego?), to miary tego typu należą do najbardziej popularnych i najczęściej wykorzystywanych. H 1 H 2 1 2 3 4 5 6 7 8 9 10 Przykład. Niech dane są trzy obrazy o jednakowej liczbie pikseli równej N, których histogramy (nieunormowane) przedstawione są na rysunku obok (wysokość każdego słupka jest równa 1/3 N). Histogramy zostały uporządkowane w taki sposób, że sąsiednie słupki histogramów odpowiadają barwom percepcyjnie podobnym. Odległości obrazów w przestrzeni histogramów obliczone na podstawie odległości Manhattan są równe odpowiednio: Podobnie, wykorzystując odległość Euklidesa otrzymujemy: 1 2 3 4 5 6 7 8 9 10 H 3 W obu przypadkach odległość w przestrzeni histogramów nie odpowiada percepcyjnemu podobieństwu obrazów. Obrazem percepcyjnie najbardziej podobnym do (1) jest obraz (2). W przestrzeni histogramów obrazem bliższym jest jednak obraz (3). 1 2 3 4 5 6 7 8 9 10 8

Odległości Manhattan oraz Euklidesa (2) Rozwiązaniem problemu przedstawionego na poprzednim rysunku może być posługiwanie się odległościami Manhattan oraz Euklidesa w przestrzeni skumulowanych histogramów (odpowiedniki dystrybuant), zamiast w przestrzeniach samych histogramów. Ilustruje to poniższy przykład. h 1 Rysunki przedstawiają skumulowane histogramy (dystrybuanty) obrazów opisanych na poprzedniej stronie. Odległości Manhattan oraz Euklidesa dla dystrybuant są równe odpowiednio: 1 2 3 4 5 6 7 8 9 10 h 2 oraz 1 2 3 4 5 6 7 8 9 10 Wniosek: W tym przypadku wyznaczone odległości odpowiadają percepcyjnemu podobieństwu obrazów. h 3 1 2 3 4 5 6 7 8 9 10 9

Odległość biliniowa (kwadratowa) a H 1 H 2 Z odległością Euklidesa związana jest odległość biliniowa, zaproponowana w jednym z pierwszych systemów wyszukiwania obrazów systemie QBIC. 1 2 3 1 2 3 Odległość pary obrazów definiuje się zgodnie z równaniem: H 3 b 1 2 3 1 0.5 0. 0.5 1 0.2 0. 0.2 1 Rys. (a) - Histogramy trzech przykładowych obrazów, których piksele są elementami trójwymiarowej przestrzeni barw: (czerwony, pomarańczowy, zielony). Dla uproszczenia przyjęto, że obrazy zawierają piksele tylko jednego koloru oraz, że są identycznego rozmiaru (każdy zawiera N pikseli). (b) Przykładowa macierz podobieństwa w rozpatrywanej trójwymiarowej przestrzeni barw. Jest jasne, że odległości Manhattan pomiędzy histogramami H1 i H2 oraz H1 i H3 są identyczne i równe 2N. Odległość kwadratowa pomiędzy tymi samymi histogramami jest równa odpowiednio: N oraz 1.41 N. Sugeruje to, że obraz reprezentowany przez H1 jest bardziej podobny do obrazu reprezentowanego przez H2 niż obrazu reprezentowanego przez H3. Jest to zbieżne z wrażeniem postrzeganym przez człowieka. gdzie H 1 oraz H 2 reprezentują histogramy obrazów (uporządkowane w postaci wektorów), natomiast A jest macierzą podobieństwa kolorów w rozpatrywanej przestrzeni barw (w której opisane są kolory obrazów). Macierz podobieństwa kolorów A jest kwadratową macierzą symetryczną, której element (i,j) określa podobieństwo kolorów C i oraz C j w przestrzeni barw: W macierzy podobieństwa elementy diagonalne osiągają wartość maksymalną równą 1, ponieważ podobieństwo barwy do samej siebie jest równe 1. Podobieństwo barw najbardziej odległych jest równe 0. Działanie macierzy podobieństwa sprowadza się do ważenia różnic wartości histogramów tak, by uwzględnić podobieństwo lub brak określonych barw obrazu. W tym przypadku barwy powinny być reprezentowane w przestrzeniach percepcyjnie jednorodnych (odległość proporcjonalna do postrzeganego podobieństwa pomiędzy barwami). W przeciwieństwie do wcześniej opisanych funkcji, odległość tego typu uwzględnia wzajemne podobieństwo barw. 10

Entropia względna (odległość Kullbacka-Leiblera) Entropia Shannona pozwala reprezentować obrazy w przestrzeni jednowymiarowej (przestrzeń wartości entropii), podobnie jak pojedyncze momenty statystyczne. Entropia względna (odległość Kullbacka-Leiblera) jest funkcją określającą podobieństwo dwóch rozkładów prawdopodobieństwa. Entropia względna dwóch dyskretnych rozkładów prawdopodobieństwa określona jest równaniem: gdzie dla zapewnienia ciągłości wymaga się by: Entropia względna nie jest stabilna numerycznie (nieskończoności) dlatego w praktyce stosować można funkcję Jeffreya zdefiniowaną w następujący sposób: 11

Ocena efektywności procesu wyszukiwania (1/2) Ocena systemów wyszukiwania różni się od oceny modeli predykcyjnych, np. klasyfikacyjnych, chociaż istnieją między nimi duże podobieństwa. W przypadku systemów wyszukiwania istnieje wiele jednoczesnych klasyfikacji. Dodatkowo wynik klasyfikacji zależy od konkretnego zapytania. W przypadku zagadnień klasyfikacyjnych można w większości przypadków wyróżnić jedną obiektywną klasyfikację. Punktem wyjścia do oceny jest zwykle macierz pomyłek (confusion matrix): w rzeczywistości: istotny Wg systemu: istotny TP FP Wg systemu: nieistotny FN TN w rzeczywistości: nieistotny Całkowita liczba dokumentów: TP + FN + FP + FN, liczba dokumentów istotnych: TP + FN Precyzja (precision, positive predictive value): TP / ( TP + FP) - odsetek dokumentów istotnych w zbiorze wszystkich dokumentów zwróconych przez system jako istotne. Precyzja = 1 odpowiada sytuacji, gdzie FP = 0, tzn. Wskaźnik reprezentuje zdolność systemu do identyfikacji obiektów istotnych. Przywołanie (recall, hit rate, true positive rate) : TPR = TP / P = TP / (TP + FN) stosunek faktycznie istotnych dokumentów zwróconych przez system jako istotne do wszystkich istotnych w bazie danych. Wskaźnik reprezentuje zdolność systemu do identyfikowania dokumentów istotnych (trafienia we właściwy dokument hit rate). Oba wskaźniki definiuje się dla ustalonej wartości progu akceptowanego podobieństwa/odległości: ustala się parametr maksymalnej odległości pomiędzy obiektami, która pozwala na traktowanie obiektów jako podobne. Wraz ze wzrostem progu akceptowanej odległości wzrasta wartość TPR oraz maleje wartość precyzji 12

Ocena efektywności procesu wyszukiwania (2/2) Rys. (a) Zależność wskaźników precyzji i przywołania od liczby zwróconych obrazów na wyjściu systemu. (b) Analiza systemu wyszukiwania sprowadza się często do jednoczesnego badania obu wskaźników. Który z systemów jest najlepszy? 13

Ilustracja Rys. Przykładowy podzbiór obrazów wykorzystanych do prezentacji algorytmu wyszukiwania obrazów ze względu na zawartość. 14

Ilustracja a b c Rys. Rezultat wyszukiwania w zbiorze obrazów obrazu najbardziej podobnego do obrazu podanego w pierwszej kolumnie. (a), (b) i (c) stanowią wyniki wyszukiwania z miarą podobieństwa, odpowiednio: odległość Euklidesa, modułowa, przekrój histogramów. Obrazy uszeregowane są w wierszu ze względu na stopień podobieństwa (podobieństwo maleje w kierunku do prawej). 15

Ilustracja a b c Wnioski? Rys. Inny przykład wyszukiwania obraz z funkcjami jak na poprzednim slajdzie. 16