Algorytmy graficzne Charakterystyki oraz wyszukiwanie obrazów cyfrowych 1
Pojęcie i reprezentacje obrazu Obraz cyfrowy, I, definiuje się jako odwzorowanie z przestrzeni pikseli P do przestrzeni kolorów C, tzn. I: P C. Klasy obrazów obrazy k-spektralne. W tym przypadku przestrzeń kolorów to k - wymiarowa przestrzeń wektorowa R k. Przykładem są wielozakresowe obrazy satelitarne lub meteorologiczne. W przypadku obrazów wielozakresowych wykonanych przez próbkowanie poza spektrum widzialnym, konieczne jest kolorowanie przy użyciu sztucznych kolorów. obrazy 3-spektralne (RGB) są szczególnym przypadkiem obrazów k-spektralnych. obrazy w odcieniach szarości. Przestrzeń kolorów jest przestrzenią liczbową (skalarną): C={0,1,2,,L-1}. obrazy binarne przypadek szczególny obrazów z odcieniami szarości. W tym przypadku C={0,1}. Obraz cyfrowy reprezentowany jest najczęściej przez macierz lub zbiór macierzy. Elementy macierzy odpowiadają podstawowym elementom obrazu pikselom. Przyjętymi formatami reprezentacji obrazów cyfrowych są formaty z przeplotem pikseli (pixel interleaved) oraz przeplotem koloru (color interleaved). a b c 118 0 91 110 1 91 0 0 0 Rys. 1. Sposoby reprezentacji obrazów cyfrowych. a) reprezentacja obrazu w odcieniach szarości za pomocą pojedynczej macierzy prostokątnej; reprezentacja obrazów RGB w formacie: b) color interleaved za pomocą trzech macierzy kwadratowych. Każda macierz reprezentuje inny kanał barwny; c) pixel interleaved. W tym przypadku, cały obraz jest reprezentowany pojedynczą macierzą, której elementami są wektory trójwymiarowe.
Deskryptory obrazu Najprostszymi deskryptorami obrazu są deskryptory statystyczne. Niech dany jest obraz cyfrowy reprezentowany macierzą NxN, dla którego wartości pikseli opisane są funkcją f(x,y). Wówczas: Średnia jasność obrazu a Wariancja (moment centralny drugiego rzędu) b Wariancja niesie informację o dynamice (zróżnicowaniu) obrazu. Stanowi prostą miarę kontrastu: mała wartość wariancji obraz o małym kontraście; duża wartość wariancji obraz o dużym kontraście. W praktyce wykorzystuje się też momenty wyższych rzędów. Dla przykładu, moment centralny trzeciego rzędu jest miarą asymetrii rozkładu prawdopodobieństwa poziomów jasności (asymetrii histogramu). Wartość momentu centralnego dla rozkładów symetrycznych jest zerowy, ujemny dla rozkładów o asymetrii lewostronnej i dodatni dla rozkładów o symetrii prawostronnej. Kontrast: gdzie f max oraz f min stanowią odpowiednio maksymalną oraz minimalną wartość jasności w obrazie lub w bloku (kontrast lokalny). Rys. Obraz (a) średnia: 218, wariancja: 1134.5, entropia: 5.89, wartość minimalna: 2, wartość maksymalna 255. Obraz (b) średnia: 218, wariancja: 42.17, entropia: 3.80, wartość minimalna: 176, wartość maksymalna: 225 3
Histogram Histogram Jest jednym z podstawowych narzędzi wykorzystywanych w przetwarzaniu i analizie obrazów. Jest wykorzystywany m. in. jako etap procedur korekcji jakości wizualnej obrazu, kwantyzacji, kompresji, segmentacji, wyszukiwania obrazów, etc. Histogram jest funkcją przyporządkowującą możliwym poziomom jasności lub możliwym kolorom liczbę odpowiadających im pikseli w obrazie. Jest narzędziem globalnego opisu obrazu zawiera informacje o liczbie wystąpień poszczególnych wartości pikseli, ale nie o ich strukturze przestrzennej!. Odtworzenie obrazu na podstawie znajomości histogramu nie jest praktycznie możliwe. W jakim przypadku na podstawie histogramu obraz można jednak odtworzyć? W praktyce często stosuje się histogramy unormowane: h(k)=n k /N, gdzie N liczba pikseli obrazu. Dla dużych wartości N (teoretycznie, zmierzających do nieskończoności), prawo wielkich liczb pozwala identyfikować częstość wystąpienia poszczególnych wartości jako prawdopodobieństwo ich wystąpienia. Innym deskryptorem obrazu jest dystrybuanta histogramu unormowanego (suma wysokości słupków jest równa 1): a 500 b Histogram 462 316 6 0.008 c Histogram znormalizowany 400 0.006 300 0.004 200 100 0.002 50 100 150 200 250 Rys. Przyk ładowy obraz (a), jego histogram (b) oraz histogram znormalizowany (c). 50 100 150 200 250 4
Histogram jako deskryptor obrazu Histogram nie reprezentuje obrazu w sposób jednoznaczny. Wiele obrazów może posiadać identyczny histogram. a b e 50 40 30 20 10 c d Rys. (a) (d) przykładowe obrazy o rozmiarze 10x10 o identycznym histogramie przedstawionym na rysunku (e). Przykład pokazuje, że w nietrywialnych przypadkach histogram nie jest odwzorowaniem odwracalnym. 5
Histogram obrazu (przykłady) Istotne cechy histogramu: liczby punktów dla których wartości w histogramie są niezerowe, szerokość, środek ciężkości, liczba modów, entropia dziecko.tif dziecko.tif dziecko.tif a b c d dziecko.tif 0.025 0.02 0.015 0.01 0.005 Histogram, PDF 0.3 0.2 0.1 Histogram, PDF 0.7 0.6 0.5 0.4 0.3 0.2 0.1 Histogram, PDF 0.25 0.2 0.15 0.1 0.05 Histogram, PDF 50 100 150 200 250 50 100 150 200 250 50 100 150 200 250 50 100 150 200 250 1 0.8 0.6 0.4 Dystrybuanta, CDF 1 0.8 0.6 0.4 Dystrybuanta, CDF 1 0.8 0.6 0.4 Dystrybuanta, CDF 1 0.8 0.6 0.4 Dystrybuanta, CDF 0.2 0.2 0.2 0.2 50 100 150 200 250 50 100 150 200 250 50 100 150 200 250 50 100 150 200 250 Rys. Obrazy czterech typów oraz ich histogramy i dystrybuanty histogramów: a) - obraz o średnim kotraście; b) obraz o słabym kontraście; c) obraz prześwietlony; d) obraz niedoświetlony. Entropia obrazów jest równa odpowiednio: 6.99, 2.72, 3.02 oraz 5.38. 6
Histogramy wielowymiarowe Histogramy wielowymiarowe (2D) wykorzystywane są do wizualizacji korelacji zachodzących pomiędzy wyróżnionymi składowymi obrazu cyfrowego. Ze względu na łatwość wizualizacji w praktyce wykorzystywane są najczęściej histogramy dwuwymiarowe. Histogramy 3D wykorzystuje się jako narzędzie porównywania obrazów kolorowych w systemach wyszukiwania obrazów. Reprezentują względną liczbę (częstość) wystąpień pikseli przyjmujących określone wartości dwóch lub więcej składowych (korelacje) patrz rysunki. Mogą być wykorzystane do podziału wielowymiarowej przestrzeni atrybutów obrazu we wstępnej fazie kwantyzacji wektorowej. a Rysunek beans.tif Brak pikseli przyjmujących wartości jednocześnie r=[0..10] oraz b=[0..10]. W obrazie przeważają piksele dla których składowe r i b leżą w przedziałach odpowiednio: r=[5..20], b=[10..30] Histogram 2D, RG Histogram 2D, RB c d e Histogram 2D, BG b 200 150 100 n 50 0 10 Red 20 30 10 80 60 30 n 40 20 20 0 Green 10 Red 20 30 10 30 20 Blue 40 n30 20 10 0 10 Blue 20 30 30 20 Green 10 5 10 15 20 25 30 Rys. (a) - przykładowy obraz RGB; (b) - histogram RGB; odpowiednio (c), (d) oraz (e) - histogram składowych RG; histogram składowych RB; histogram składowych BG. 7
Entropia obrazu a b W przypadku, gdy znany jest rozkład prawdopodobieństwa wartości pikseli w obrazie możliwe jest oszacowanie entropii obrazu jako miary ilości informacji w nim zawartej. Zakładając, że wartość piksela obrazu jest zmienną losową przyjmującą wartości n=1,2,,n, entropia jest dana równaniem c d gdzie H(n) odpowiada prawdopodobieństwu wystąpienia piksela o wartości n i jest wartością n-tego słupka histogramu unormowanego do jedności. Takie oszacowanie entropii zakłada, że wartość danego piksela jest zmienną losową i nie zależy od wartości pikseli sąsiednich. W ogólności założenie takie nie jest poprawne, ponieważ w obrazach istnieją bardzo silne korelacje przestrzenne (fakt ten wykorzystuje się w kompresji). Rys. Przykładowe obrazy cyfrowe. Prawdopodobieństwo wystąpienia czarnych pikseli na kolejnych obrazach wynosi odpowiednio 1/2, 95/100, 1 oraz 0. Entropia obrazów wynosi odpowiednio 1.0, 0.29, 0 oraz 0. Ramka wokół obrazu (d) nie stanowi jego fragmentu. Obrazy (c) i (d) są nierozróżnialne z punktu widzenia entropii. Entropię można interpretować jako nieoznaczoność (losowość) związaną z wynikiem eksperymentu (pojawieniem się symbolu źródła, etc.). Entropia jest równa minimalnej liczbie bitów koniecznych do reprezentacji wartości pojedynczego piksela obrazu. Entropia, podobnie jak momenty statystyczne, pozwala reprezentować obrazy w przestrzeni liczb rzeczywistych. Oznacza to radykalną redukcję wymiaru przestrzeni reprezentacji w porównaniu z wielowymiarowymi przestrzeniami wektorowymi histogramów. 8
Korelacje w danych obrazowych (1) Jedną z cech charakteryzujących dane obrazowe są silne korelacje przestrzenne objawiające się podobnymi wartościami pikseli sąsiadujących w obrazie (o podobnych współrzędnych przestrzennych). Wielkość korelacji zależy do rodzaju obrazu oraz od przyjętego modelu barw zgodnie z którym obraz jest reprezentowany. Model RGB prowadzi do bardzo dużych korelacji pomiędzy składowymi R, G oraz B. Istnienie korelacji wykorzystuje się w procedurach kompresji danych obrazowych. a b c Rys. Przykład korelacji w obrazie. (a) przykładowy obraz; (b) zależność wartości sąsiednich pikseli w wierszach obrazu; (b) zależność wartości pikseli przesuniętych względem siebie o 5 (w wierszach obrazu). Widoczna koncentracja punktów na prostej y=x. 9
Korelacje w danych obrazowych (2) a b Rys. Kolejny przykład korelacji pomiędzy wartościami sąsiednich pikseli. 10
Korelacje w danych obrazowych (3) Statystyczną miarą liniowych zależności w zbiorze danych jest kowariancja. Dla dwóch zmiennych losowych X 1 oraz X 2 kowariancja ma postać: W przypadku, gdy zmienne losowe są niezależne kowariancja jest równa zero: Zmienne losowe o takiej własności nazywa się nieskorelowanymi. Kowariancja niesie zatem informację o tym czy zmienne losowe są ze sobą powiązane zależnością liniową. Dla wektora n zmiennych losowych X 1, X 2,, X n utworzyć można macierz kowariancji M, której (i,j) elementem jest cov(x i,x j ), tzn. Macierz korelacji uzyskuje się przez normalizację elementów macierzowych macierzy kowariancji. Elementy macierzy korelacji posiadają własność: 1. 11
Korelacje w danych obrazowych (4) a 100 b 100 80 80 60 60 40 40 20 20 0 0 20 40 60 80 100 0 0 20 40 60 80 100 c 200 150 100 50 d 200 150 100 50 Rys. (a) Losowa macierz kwadratowa 100x100 o wartościach z przedziału [0,255]. Na rysunku (b) przedstawiona jest macierz korelacji wyznaczona dla wierszy macierzy losowej (a). Wyraźnie widoczna jest główna przekątna macierzy na której elementy osiągają maksymalną wartość równą 1. Rysunek (c) przedstawia przykładowy obraz oraz macierz korelacji (d) dla jego wierszy. Postać macierzy kowariancji sugeruje istnienie silnych korelacji pomiędzy wierszami obrazu. 0 0 50 100 150 200 250 300 0 0 50 100 150 200 12
Wyszukiwanie obrazów ze względu na zawartość (CBIR) Rys. Schemat procesu wyszukiwania obrazów ze względu na zawartość. Wyszukiwanie obrazów ze względu na zawartość (content-based image retrieval, CBIR) jest techniką przeszukiwania dużych kolekcji obrazów w oparciu o ich własności wizualne. W odróżnieniu od tradycyjnych metod wyszukiwania ze względu na format, rozmiar, czas utworzenia, algorytm kompresji, rozdzielczość, etc. metody wyszukiwania ze względu na zawartość dążą do symulowania procesu wyszukiwania właściwego dla człowieka wyszukiwania ze względu na treść obrazu. Wykorzystanie tekstowego opisu obrazów w wielu przypadkach jest niewystarczające i niepraktyczne. Operacje oceny podobieństwa obrazów wykorzystujące odpowiednią funkcję podobieństwa operują na deskryptorach (wektorach cech) obrazów, a nie bezpośrednio na obrazach. Kluczowym zagadnieniem jest ekstrakcja cech wizualnych obrazów. Proces ten wykonywany w trybie off-line. Wyszukiwanie obrazów ze względu na zawartość wymaga technik automatycznej ekstrakcji takich własności wizualnych. Do najczęściej wykorzystywanych własności należą: kolor (histogram, momenty statystyczne, etc.), tekstura, kształt (wymaga segmentacji, tzn. podziału obrazu na obszary o jednakowym kolorze lub poziomie jasności) oraz lokalizacja (położenie segmentów, kolorów i kształtów w obrazie). Sformułowanie zapytania (query) przez użytkownika polega na zadaniu obrazu wzorca, określonego kształtu, tekstury lub określeniu własności statystycznych obrazów, które powinny być wyszukane. W systemie QBIC (Query By Image Content, IBM) własnościami wizualnymi na podstawie których przebiega proces wyszukiwania mogą być: procentowy udział kolorów w obrazie, kształty, tekstury oraz ich lokalizacja w obrazie. Wyszukiwanie polega na porównywaniu deskryptora wyznaczonego na podstawie zapytania użytkownika z deskryptorami obrazów przechowywanych w bazie. Konieczne jest zadanie funkcji porównania. Sprzężenie zwrotne (dla polepszenia jakości wyszukiwania). 13
Problemy związane z CBIR Problem 1: Jakie własności wybrać jako reprezentację (treści) obrazu? Odpowiedź: Niezmiennicze (odporne) ze względu na zmienne warunki, w których obraz może być pozyskany (zmiany poziomu oświetlenia, przesłanianie, przestawianie elementów sceny, odległość kamera-obiekt, etc.) Posługiwanie się cechami o takich własnościach może zapewnić poprawne klasyfikowanie obrazów obiektów w różnych warunkach. Najczęściej wykorzystywane deskryptory to: momenty statystyczne, histogram, tekstura, kształty. Przed określeniem wartości poszczególnych cech najczęściej wykonywana jest odpowiednia modyfikacja obrazu umożliwiająca pozyskanie cech reprezentujących obraz. Modyfikacja może sprowadzać się do: zmiany przestrzeni barw, kwantyzacji, segmentacji, wyodrębnienia określonych fragmentów obrazu, wyeliminowania szumu, etc. Nie istnieje uniwersalna przestrzeń nadająca się do opisu obrazów niezależnie od zastosowania. Najczęściej wykorzystywanymi przestrzeniami barw są: rgb, CIELUV, CIELAB, Munsell, HSV oraz modele barw przeciwstawnych. W wielu zastosowaniach pożądaną cechą przestrzeni barw jest percepcyjna jednorodność (spośród wymienionych, cechę tę posiadają CIELUV oraz CIELAB). Problem 2: Miary podobieństwa. Jakich miar podobieństwa wektorów cech użyć? Różne miary prowadzą do różnej efektywności procesu wyszukiwania. Nie istnieje miara idealna, niezależna od zastosowania. W praktyce wykorzystuje się również funkcje, które nie są metrykami (odległościami). Problem 3: Z jednej strony, użytkownik zainteresowany jest wyszukiwaniem ze względu na treść obrazu. Z drugiej strony, wyszukiwanie polega na ustalaniu stopnia podobieństwa wektora cech obrazów, a nie ich treści. W zależności od konkretnego zastosowania należy więc zapewnić reprezentowanie obrazu przez takie cechy, które mogą zapewnić związek (korelacje) z treścią obrazu. Problem tzw. przepaści semantycznej (semantic gap). a b c d e f Rys. Kwantyzacja sześcianu barw RGB. (a) obraz oryginalny; (b)-(f) obraz po kwantyzacji do odpowiednio 64, 16, 8, 4 oraz 2 wartości na każdą składową wektora koloru. Zadaniem kwantyzacji jest zmniejszenie dynamiki wartości pikseli na potrzeby procesu wyszukiwania. Kwantyzacja niweluje również nieistotne fluktuacje wartości pikseli. 14
Deskryptory obrazu Najczęściej wykorzystywaną własnością do definiowania deskryptorów obrazu jest kolor. Informacja o poziomach szarości (luminancja) jest niewystarczająca do porównywania obrazów. Deskryptory Momenty statystyczne. Najczęściej wykorzystuje się trzy pierwsze momenty statystyczne: średnia, wariancja oraz moment trzeciego rzędu, będący miarą asymetrii. W przypadku obrazów o trzech składowych koloru, obraz reprezentowany jest przez 9 liczb: 3 deskryptory dla każdej z trzech składowych. Wyszukiwanie w oparciu o momenty statystyczne może stanowić etap wstępny służący do zawężenia przestrzeni poszukiwań, po którym następuje proces wyszukiwania w oparciu o inne cechy. Entropia. Prosty deskryptor, ale o mocno ograniczonej efektywności. Entropia względna (odległości Kullbacka-Leiblera) i funkcje z nią związane. Histogramy składowych barwy. Histogram uważany jest za bardzo efektywną i zwięzłą reprezentację zawartości wizualnej obrazu cyfrowego. Do jego zalet należą prostota wyznaczenia, odporność ze względu na translacje i obroty osi widzenia, oraz ograniczona wrażliwość na zmianę skali, przesłanianie i zmianę kąta widzenia. Histogram nie zawiera jednak informacji o strukturze przestrzennej. Histogramy można interpretować jako elementy wielowymiarowych przestrzeni wektorowych. Wymiarem przestrzeni można regulować przez proces kwantyzacji obrazów. Wektor spójności koloru (Color Coherence Vector). Wektor spójności stanowi rozszerzenie koncepcji histogramu o informacje przestrzenne. Dany kolor (słupek histogramu, składowa koloru) jest klasyfikowany jako spójny (coherent) lub niespójny (coherent) w zależności od tego, czy piksele go reprezentujące tworzą spójny, zamknięty obszar w obrazie, czy też są rozproszone. Wektor spójności ma postać: { (a 1,b 1 ), (a 2,b 2 ),, (a N,b N )}, gdzie a i oznacza liczbę pikseli tworzących spójny obszar, b i liczbę pikseli obszarów niespójnych. 15
Konstrukcja histogramu jako deskryptora Jak budować histogramy jako wektory cech? Stosowanie histogramów obrazów nieprzetworzonych, np. histogram RGB, gdzie każda składowa przyjmuje 256 różnych wartości jest niepraktyczne, wymaga bowiem posługiwania się wektorami o 256 3 składowych! W praktyce przeprowadza się redukcję liczby możliwych kolorów w drodze kwantyzacji. Grupowanie słupków histogramu. Technika ta polega na zmniejszaniu liczby kolorów występujących w obrazie przez utożsamianie ze sobą sąsiednich wartości (słupków) składowych koloru, np. wartości [0,3] składowej R w obrazie RGB sklejane są ze sobą i reprezentowane przez wartość 0; wartości [5,8] reprezentowane przez 1; wartości [10,13] reprezentowane przez 2 itd. dla całego dopuszczalnego zakresu i wszystkich składowych. Efektywnie jest to równoważne kwantyzacji obrazu; w tym przypadku kwantyzacji do 256/4=64 wartości dla jednej składowej, co daje histogramy o rozmiarze 64 3. Składowe wektora opisujące kolor piksela nie muszą być kwantyzowane w jednakowy sposób. W przypadku przestrzeni HSV uzasadniona może być silna kwantyzacja składowych S i/lub V, podczas gdy składowa H powinna być kwantowana w sposób znacznie słabszy. Kafelkowanie obrazu polega na pokryciu całego obrazu oknami (kafelkami) o ustalonym rozmiarze, np. 4x4 i wyznaczeniu dla każdego takiego bloku średniej wartości poszczególnych składowych. Lista średnich wziętych ze wszystkich bloków obrazu stanowi listę możliwych wartości jakie przyjmują składowe koloru. Histogram obrazu nie zawiera informacji o rozkładzie przestrzennym pikseli. Istnieje wiele różnych sposobów włączenia takiej informacji do histogramu. Do najprostszych należy podział każdego słupka histogramu na określoną liczbę składowych, które opisują liczbę pikseli danego koloru leżących w określonych partiach (blokach) obrazu. Metoda ta wymaga podziału obrazu na rozdzielne bloki (patrz rysunek). W takim przypadku zwiększa się wymiar wektora cech. a 1 b c 3 5 4 2 1 2 3 4 5 Rys. (a) - Przykładowy podział obrazu na bloki; (b) W standardowym przypadku wszystkie piksele określonej wartości reprezentowane są przez słupek histogramu; (c) Podział słupka histogramu na części opisujące liczbę pikseli danej wartości w poszczególnych blokach obrazu. 16
Pojęcie kwantyzacji a Rys. 1. Podział zakresu dopuszczalnych wartości zmiennej x na 8 przedziałów kwantyzacji określonych przez granice decyzyjne b (9 granic decyzyjnych) oraz poziomy rekonstrukcji y. a b M k 3 2 1 Numery przedziałów kwantyzacji Kwantyzacja jest procesem redukcji zbioru możliwych wartości jakie może przyjmować zmienna reprezentująca kwantyzowane źródło. W szczególności kwantyzacja może polegać na aproksymacji zmiennej ciągłej przez zmienną dyskretną przyjmującą wartości ze skończonego zbioru dopuszczalnych wartości. Projektowanie układu kwantyzatora polega na określeniu sposobu podziału przedziału dopuszczalnych wartości kwantyzowanej zmiennej na określoną liczbę przedziałów kwantyzacji oraz wyznaczeniu w każdym z takich przedziałów wartości reprezentującej dany przedział. Wartości reprezentujące przedziały nazywane są poziomami rekonstrukcji. Przedziały kwantyzacji scharakteryzowane są przez tzw. granice decyzyjne. Działanie kwantyzatora sprowadza się do mapowania wartości pojawiającej się na wejściu na określony poziom rekonstrukcji: Wejście kwantyzatora, x 11111111 c 11111110 00000011 00000010 00000001 00000000 Rys. 2. Schemat pracy kwantyzatora. Zaakceptowany przedział kwantyzacji Kody przedziałów gdzie Q oznacza działanie kwantyzatora, x jest jego wejściem, natomiast y i jest poziomem rekonstrukcji przedziału kwantyzacji wyznaczonego przez granice decyzyjne b i-1 oraz b i. Kwantyzacja jest podstawową techniką metod kompresji stratnej. Jest odwzorowaniem typu wiele do jednego, a przez to wprowadza nieodwracalną utratę informacji. Metody kwantyzacji różnią się sposobem podziału zbioru dopuszczalnych wartości oraz sposobem wyznaczenia poziomów rekonstrukcji w danym przedziale.
Kwantyzacja: postawienie problemu Zagadnienie kwantyzacji danych obrazowych: dany jest przedział zmienności [0,L-1] funkcji obrazu (np. poziomy jasności). Podany przedział należy podzielić na podprzedziały kwantyzacji w taki sposób, aby zminimalizować błąd kwantyzacji oraz średnią bitową. Zgodnie z powyższym ogólnym sformułowaniem problemu kwantyzacji granice decyzyjne oraz poziomy rekonstrukcji powinny być wybrane w taki sposób, aby zminimalizować zniekształcenia pojawiające się w obrazie wynikowym (po kwantyzacji). Jako miarę zniekształcenia można przyjąć średniokwadratowy błąd kwantyzacji MSQE, który dla zmiennej f(x) aproksymującej funkcję obrazu opisany jest równaniem: Biorąc pod uwagę, że wyjście kwantyzatora jest dyskretne oraz zależne od wartości x podanej na wejściu, powyższe równanie można przepisać w równoważnej postaci: W przypadku kodowania wyjść kwantyzatora przy użyciu kodów stałej długości średnia bitowa jest zależna od liczby możliwych wyjść kwantyzatora: liczby przedziałów kwantyzacji. Zależność taka pokazuje, że w tym przypadku jednoczesna minimalizacja dwóch wymienionych wielkości nie jest możliwa (sprzeczność). Kwantyzatory minimalizujące średniokwadratowy błąd kwantyzacji nazywane są kwantyzatorami optymalnymi.
Kwantyzacja równomierna a b c 56 157 177 157 49 22 15 198 155 17 104 22 244 23 180 116 11 134 55 52 168 182 124 216 106 197 16 220 155 101 157 150 96 253 138 153 8 58 206 144 114 86 23 15 124 195 209 254 36 229 197 181 63 37 212 195 59 121 15 36 239 251 202 197 64 192 192 192 64 64 64 192 192 64 64 64 192 64 192 64 64 192 64 64 192 192 64 192 64 192 64 192 192 64 192 192 64 192 192 192 64 64 192 192 64 64 64 64 64 192 192 192 64 192 192 192 64 64 192 192 64 64 64 64 192 192 192 192 48 144 176 144 48 16 16 208 144 16 112 16 240 16 176 112 16 144 48 48 176 176 112 208 112 208 16 208 144 112 144 144 112 240 144 144 16 48 208 144 112 80 16 16 112 208 208 240 48 240 208 176 48 48 208 208 48 112 16 48 240 240 208 208 Najprostszą metodą kwantyzacji jest kwantyzacja równomierna sprowadzająca się do równomiernego podziału przedziału zmienności analizowanej wielkości. Niech przedziałem zmienności wielkości wejściowej jest przedział [0,L-1] oraz niech M określa zadaną liczbę przedziałów kwantyzacji. W takim przypadku zadany przedział [0,L-1] powinien być podzielony na M równych podprzedziałów, przy czym ich szerokość określona jest przez stosunek: W najprostszym przypadku, kwantyzacja równomierna może być realizowana zgodnie z równaniem: Rys. 1. Przykład kwantyzacji równomiernej dla obrazu wejściowego przedstawionego w postaci macierzy na rysunku (a). Rysunku (b) i (c) przedstawiają wynik kwantyzacji odpowiednio do M=2 oraz M=8 przedziałów kwantyzacji, zgodnie z równaniem podanym obok. Kwantyzacja do M=2 poziomów wprowadza oczywiście większe zniekształcenie niż kwantyzacja do większej liczby poziomów. Kolorem czerwonym zaznaczona jest wartość piksela w obrazie wejściowym oraz w obrazie po kwantyzacji.
Przykład: kwantyzacja równomierna dla źródła o rozkładzie jednostajnym Jako przykład rozpatrzymy kwantyzację równomierną do M poziomów dla źródła o rozkładzie równomiernym (obrazy o płaskim histogramie). Niech przedziałem zmienności wartości pikseli jest przedział [0,L-1] i każda wartość nie jest reprezentowana w obrazie z częstością 1/L (zgodnie z założeniem równomierności). W takim przypadku długość kroku kwantyzacji wynosi: =L/M. Granice decyzyjne: Poziomy rekonstrukcji: Błąd średniokwadratowy kwantyzacji w takim przypadku jest równy:
Kwantyzacja równomierna - przykłady a b MSE=7.67 c MSE=22.39 d MSE=84.52 e MSE=334.67 f MSE=1271.29 Rys. 1. Ilustracja procesu kwantyzacji spreparowanego obrazu cyfrowego przedstawionego na rysunku (a). Rysunki (b)- (f) przedstawiają wynik kwantyzacji do odpowiednio 32, 16, 8, 4 oraz 2 poziomów kwantyzacji. Zmniejszająca się liczba przedziałów (rosnąca długość kroku kwantyzacji) ujawnia stopniowo coraz bardziej widoczne zniekształcenia konturowe, szczególnie dobrze zaznaczone w obszarze testowym.
Binaryzacja (płaszczyzny bitowe) a Płaszczyzna b 7 (najstarszy bit) c d e Płaszczyzna b 0 (najmłodszy bit) b f g h Rys. Podział obrazu cyfrowego na płaszczyzny bitowe: a) schemat podziału, b) obraz oryginalny poddawany podziałowi, (c) płaszczyzna 7 (bit najbardziej znaczący wartości pikseli); (d) płaszczyzna 6; (e) płaszczyzna 5; (f) płaszczyzna 4 wartości pikseli zostały wzmocnione x16; (g) płaszczyzna 3 wzmocnienie x32; (h) płaszczyzna 2 wzmocnienie x64; (i) płaszczyzna 1 wzmocnienie x128; (j) płaszczyzna 0 (bit najmniej znaczący) wzmocnienie x256; (k) obraz powstały przez zsumowanie płaszczyzn 7, 6, 5. i j k
Kwantyzacja adaptacyjna Jednym ze sposobów na zmniejszenie zniekształceń wprowadzanych przez kwantyzację równomierną jest dostosowywanie (adaptacja) parametrów kwantyzatora do lokalnej charakterystyki obrazu. W kwantyzacji adaptacyjnej obraz dzielony jest na bloki. Parametry kwantyzatora (granice decyzyjne, poziomy rekonstrukcji, liczba przedziałów kwantyzacji) ustalane są dla każdego bloku niezależnie. Wadą takiego rozwiązania jest konieczność dołączenia parametrów kwantyzacji do strumienia bitowego, co powoduje wzrost objętości danych po zakodowaniu, a tym samym zmniejszenie stopnia kompresji w stosunku do rozwiązań tradycyjnych. Wyjście każdego kwantyzatora może być dodatkowo kodowane dla zwiększenia stopnia kompresji. Cechą kwantyzatora adaptacyjnego jest mniejsza podatność na kompresję RLE niż kwantyzatorów pracujących w schemacie kwantyzacji globalnej (tradycyjnej). Dlaczego?
Kwantyzacja adaptacyjna. Przykład a d MSE=1271.3, bitrate=1.0 b MSE=84.2, bitrate=1.25 e MSE=334.7, bitrate=2.0 c MSE=20.7, bitrate=2.25 Rys. Rysunek (a) przedstawia obraz oryginalny (nie poddany kwantyzacji). Na rysunkach (b) i (c) przedstawiony jest wynik kwantyzacji adaptacyjnej do odpowiednio 2 oraz 4 poziomów (odpowiednio 1 oraz 2 bity na piksel). W tym przypadku obraz jest dzielony na rozdzielne bloki 8x8 pikseli. W każdym bloku wyznaczany jest zakres poziomów jasności, a następnie zakres ten jest dzielony na zadaną liczbę przedziałów kwantyzacji, zgodnie z regułą kwantyzacji równomiernej przedstawionej na poprzednich stronach. W tym przypadku, do każdych 64 pikseli dołączana jest informacja dodatkowa w postaci minimalnej oraz maksymalnej wartości w bloku, co jest konieczne do poprawnego zdekodowania strumienia danych. Wiąże się to ze wzrostem średniej bitowej z 1 bita na piksel do 1.25 bita na piksel w przypadku (b) oraz 2 bitów na piksel do 2.25 bitów na piksel dla przypadku (c). Dla porównania, na rysunkach (d) i (e) przedstawiony jest wynik globalnej kwantyzacji równomiernej do odpowiednio 2 oraz 4 poziomów.
Funkcje podobieństwa histogramów W przypadku porównywania obrazów reprezentowanych przez histogramy zaproponowanych zostało wiele różnych miar podobieństwa. Niech dane są dwa obrazy cyfrowe reprezentowane przez odpowiednio histogramy H 1 oraz H 2. Niech obrazy są jednakowego rozmiaru (dlaczego to założenie jest istotne), a kolory pikseli opisane są w N wymiarowej przestrzeni wektorowej (histogramy są wówczas N-wymiarowymi wektorami). Odległość Manhattan Odległość Euklidesa Odległość kosinusowa Miara przekroju histogramów Unormowana korelacja wzajemna 25
Odległości Manhattan oraz Euklidesa (1) Odległości Manhattan oraz Euklidesa są przykładami miar wywodzących się od uogólnionej metryki Minkowskiego. Ich wykorzystanie jest uzasadnione wtedy, gdy składowe wektora cech (w tym przypadku słupki histogramów) są od siebie niezależne i posiadają jednakową wagę. Chociaż warunki te nie są najczęściej spełnione (dlaczego?), to miary tego typu należą do najbardziej popularnych i najczęściej wykorzystywanych. H 1 H 2 1 2 3 4 5 6 7 8 9 10 Przykład. Niech dane są trzy obrazy o jednakowej liczbie pikseli równej N, których histogramy (nieunormowane) przedstawione są na rysunku obok (wysokość każdego słupka jest równa 1/3 N). Histogramy zostały uporządkowane w taki sposób, że sąsiednie słupki histogramów odpowiadają barwom percepcyjnie podobnym. Odległości obrazów w przestrzeni histogramów obliczone na podstawie odległości Manhattan są równe odpowiednio: Podobnie, wykorzystując odległość Euklidesa otrzymujemy: 1 2 3 4 5 6 7 8 9 10 H 3 W obu przypadkach odległość w przestrzeni histogramów nie odpowiada percepcyjnemu podobieństwu obrazów. Obrazem percepcyjnie najbardziej podobnym do (1) jest obraz (2). W przestrzeni histogramów obrazem bliższym jest jednak obraz (3). 1 2 3 4 5 6 7 8 9 10 26
Odległości Manhattan oraz Euklidesa (2) Rozwiązaniem problemu przedstawionego na poprzednim rysunku może być posługiwanie się odległościami Manhattan oraz Euklidesa w przestrzeni skumulowanych histogramów (odpowiedniki dystrybuant), zamiast w przestrzeniach samych histogramów. Ilustruje to poniższy przykład. h 1 Rysunki przedstawiają skumulowane histogramy (dystrybuanty) obrazów opisanych na poprzedniej stronie. Odległości Manhattan oraz Euklidesa dla dystrybuant są równe odpowiednio: 1 2 3 4 5 6 7 8 9 10 h 2 oraz 1 2 3 4 5 6 7 8 9 10 Wniosek: W tym przypadku wyznaczone odległości odpowiadają percepcyjnemu podobieństwu obrazów. h 3 1 2 3 4 5 6 7 8 9 10 27
Odległość biliniowa (kwadratowa) a H 1 H 2 Z odległością Euklidesa związana jest odległość biliniowa, zaproponowana w jednym z pierwszych systemów wyszukiwania obrazów systemie QBIC. 1 2 3 1 2 3 Odległość pary obrazów definiuje się zgodnie z równaniem: H 3 b 1 2 3 1 0.5 0. 0.5 1 0.2 0. 0.2 1 Rys. (a) - Histogramy trzech przykładowych obrazów, których piksele są elementami trójwymiarowej przestrzeni barw: (czerwony, pomarańczowy, zielony). Dla uproszczenia przyjęto, że obrazy zawierają piksele tylko jednego koloru oraz, że są identycznego rozmiaru (każdy zawiera N pikseli). (b) Przykładowa macierz podobieństwa w rozpatrywanej trójwymiarowej przestrzeni barw. Jest jasne, że odległości Manhattan pomiędzy histogramami H1 i H2 oraz H1 i H3 są identyczne i równe N. Odległość kwadratowa pomiędzy tymi samymi histogramami jest równa odpowiednio: N oraz 1.41 N. Sugeruje to, że obraz reprezentowany przez H1 jest bardziej podobny do obrazu reprezentowanego przez H2 niż obrazu reprezentowanego przez H3. Jest to zbieżne z wrażeniem postrzeganym przez człowieka. gdzie H 1 oraz H 2 reprezentują histogramy obrazów (uporządkowane w postaci wektorów), natomiast A jest macierzą podobieństwa kolorów w rozpatrywanej przestrzeni barw (w której opisane są kolory obrazów). Macierz podobieństwa kolorów A jest kwadratową macierzą symetryczną, której element (i,j) określa podobieństwo kolorów C i oraz C j w przestrzeni barw: W macierzy podobieństwa elementy diagonalne osiągają wartość maksymalną równą 1, ponieważ podobieństwo barwy do samej siebie jest równe 1. Podobieństwo barw najbardziej odległych jest równe 0. Działanie macierzy podobieństwa sprowadza się do ważenia różnic wartości histogramów tak, by uwzględnić podobieństwo lub brak określonych barw obrazu. W tym przypadku barwy powinny być reprezentowane w przestrzeniach percepcyjnie jednorodnych (odległość proporcjonalna do postrzeganego podobieństwa pomiędzy barwami). W przeciwieństwie do wcześniej opisanych funkcji, odległość tego typu uwzględnia wzajemne podobieństwo barw. 28
Entropia względna (odległość Kullbacka-Leiblera) Entropia Shannona pozwala reprezentować obrazy w przestrzeni jednowymiarowej (przestrzeń wartości entropii), podobnie jak pojedyncze momenty statystyczne. Entropia względna (odległość Kullbacka-Leiblera) jest funkcją określającą podobieństwo dwóch rozkładów prawdopodobieństwa. Entropia względna dwóch dyskretnych rozkładów prawdopodobieństwa określona jest równaniem: gdzie dla zapewnienia ciągłości wymaga się by: Entropia względna nie jest stabilna numerycznie (nieskończoności) dlatego w praktyce stosować można funkcję Jeffreya zdefiniowaną w następujący sposób: 29
Ocena efektywności procesu wyszukiwania Zaproponowanych zostało kilka miar służących ocenie efektywności wyszukiwania informacji (niekoniecznie obrazów). Powszechnie stosowanymi miarami jest dokładność (precision) oraz kompletność (recall) dokładność (precision) jest miarą zdefiniowaną jako stosunek liczby dokumentów istotnych (na temat, relewantnych) podanych w odpowiedzi na zapytanie do całkowitej liczby dokumentów wygenerowanych jako odpowiedź na zapytanie. Miara ta przyjmuje wartości z przedziału [0,1]. Wartość 1 przyjmuje gdy wszystkie dokumenty podane w odpowiedzi są relewantne (odpowiadają wzorcowi). W kontekście wyszukiwania obrazów, w przypadku gdy zbiór obrazów podzielony jest na rozłączne kategorie, dokładność określa stosunek liczby obrazów wygenerowanych na wyjściu i pochodzących z kategorii identycznej z kategorią wzorca do całkowitej liczby obrazów na wyjściu. kompletność (recall) jest definiowana jako stosunek liczby dokumentów istotnych obecnych w odpowiedzi na zapytanie do całkowitej liczby dokumentów istotnych w zbiorze dokumentów. Kompletność przyjmuje wartości z przedziału [0,1]. Aby zapewnić możliwość przyjęcia wartości 1 liczba dokumentów na wyjściu powinna być równa co najmniej liczbie elementów istotnych. Parametr ten nazywany jest czasem czułością metody. R(q) Q(q) Rys. Ilustracja miar dokładności i kompletności. R(q) oraz Q(q) oznaczają odpowiednio zbiór elementów istotnych skojarzonych z wzorcem q oraz zbiór elementów wygenerowanych jako odpowiedź na zapytanie. 30
Ilustracja Rys. Przykładowy podzbiór obrazów wykorzystanych do prezentacji algorytmu wyszukiwania obrazów ze względu na zawartość. 31
Ilustracja a b c Rys. Rezultat wyszukiwania w zbiorze obrazów obrazu najbardziej podobnego do obrazu podanego w pierwszej kolumnie. (a), (b) i (c) stanowią wyniki wyszukiwania z miarą podobieństwa, odpowiednio: odległość Euklidesa, modułowa, przekrój histogramów. Obrazy uszeregowane są w wierszu ze względu na stopień podobieństwa (podobieństwo maleje w kierunku do prawej). 32
Ilustracja a b c Wnioski? Rys. Inny przykład wyszukiwania obraz z funkcjami jak na poprzednim slajdzie. 33
Projekt (laboratorium) Projekt w wersji podstawowej obejmuje: Przygotowanie systemu wyszukiwania obrazów cyfrowych barwnych w zbiorze obrazów o jednakowych wymiarach (np. 100x100 pikseli). Obrazy powinny pochodzić z następujących zbiorów (co najmniej 2000 obrazów): 1. galerii dostępnej pod adresem https://picasaweb.google.com/cicfinder 2. zestawu UCID dostępnego pod adresem http://homepages.lboro.ac.uk/~cogs/datasets/ucid/ucid.html Uproszczony interfejs, pełna funkcjonalność systemu Redukcja liczby barw przez kwantyzację do zadanej liczby poziomów (parametr wykonania) oraz praca w przestrzeniach RGB oraz HSV. Deskryptory w postaci histogramów RGB oraz korelogramów barw Porównanie efektywności wyszukiwania w oparciu o różne funkcje odległości: Manhattan, Euklidesa, przekroju histogramów, Jeffreya, Kullbacka-Leiblera Ocena efektywności wyszukiwania (wyznaczenie wartości miar precision oraz recall) Całość: 15 punktów Czas i warunki: Czas na przygotowanie projektu: 3 tygodnie 34