Chrkterystyki orz wyszukiwnie obrzów cyfrowych 1
Pojęcie i reprezentcje obrzu Obrz cyfrowy, I, definiuje się jko odwzorownie z przestrzeni pikseli P do przestrzeni kolorów C, tzn. I: P C. Klsy obrzów obrzy k-spektrlne. W tym przypdku przestrzeń kolorów to k - wymirow przestrzeń wektorow R k. Przykłdem są wielozkresowe obrzy stelitrne lub meteorologiczne. W przypdku obrzów wielozkresowych wykonnych przez próbkownie poz spektrum widzilnym, konieczne jest kolorownie przy użyciu sztucznych kolorów. obrzy 3-spektrlne (RGB) są szczególnym przypdkiem obrzów k-spektrlnych. obrzy w odcienich szrości. Przestrzeń kolorów jest przestrzenią liczbową (sklrną): C={0,1,2,,L-1}. obrzy binrne przypdek szczególny obrzów z odcienimi szrości. W tym przypdku C={0,1}. Obrz cyfrowy reprezentowny jest njczęściej przez mcierz lub zbiór mcierzy. Elementy mcierzy odpowidją podstwowym elementom obrzu pikselom. Przyjętymi formtmi reprezentcji obrzów cyfrowych są formty z przeplotem pikseli (pixel interleved) orz przeplotem koloru (color interleved). b c 118 0 91 110 1 91 0 0 0 Rys. 1. Sposoby reprezentcji obrzów cyfrowych. ) reprezentcj obrzu w odcienich szrości z pomocą pojedynczej mcierzy prostokątnej; reprezentcj obrzów RGB w formcie: b) color interleved z pomocą trzech mcierzy kwdrtowych. Kżd mcierz reprezentuje inny knł brwny; c) pixel interleved. W tym przypdku, cły obrz jest reprezentowny pojedynczą mcierzą, której elementmi są wektory trójwymirowe.
Deskryptory obrzu Njprostszymi deskryptormi obrzu są deskryptory sttystyczne. Niech dny jest obrz cyfrowy reprezentowny mcierzą NxN, dl którego wrtości pikseli opisne są funkcją f(x,y). Wówczs: Średni jsność obrzu Wrincj (moment centrlny drugiego rzędu) b Wrincj niesie informcję o dynmice (zróżnicowniu) obrzu. Stnowi prostą mirę kontrstu: mł wrtość wrincji obrz o młym kontrście; duż wrtość wrincji obrz o dużym kontrście. W prktyce wykorzystuje się też momenty wyższych rzędów. Dl przykłdu, moment centrlny trzeciego rzędu jest mirą symetrii rozkłdu prwdopodobieństw poziomów jsności (symetrii histogrmu). Wrtość momentu centrlnego dl rozkłdów symetrycznych jest zerowy, ujemny dl rozkłdów o symetrii lewostronnej i dodtni dl rozkłdów o symetrii prwostronnej. Kontrst: gdzie f mx orz f min stnowią odpowiednio mksymlną orz minimlną wrtość jsności w obrzie lub w bloku (kontrst loklny). Rys. Obrz () średni: 218, wrincj: 1134.5, entropi: 5.89, wrtość minimln: 2, wrtość mksymln 255. Obrz (b) średni: 218, wrincj: 42.17, entropi: 3.80, wrtość minimln: 176, wrtość mksymln: 225 3
Histogrm Histogrm Jest jednym z podstwowych nrzędzi wykorzystywnych w przetwrzniu i nlizie obrzów. Jest wykorzystywny m. in. jko etp procedur korekcji jkości wizulnej obrzu, kwntyzcji, kompresji, segmentcji, wyszukiwni obrzów, etc. Histogrm jest funkcją przyporządkowującą możliwym poziomom jsności lub możliwym kolorom liczbę odpowidjących im pikseli w obrzie. Jest nrzędziem globlnego opisu obrzu zwier informcje o liczbie wystąpień poszczególnych wrtości pikseli, le nie o ich strukturze przestrzennej!. Odtworzenie obrzu n podstwie znjomości histogrmu nie jest prktycznie możliwe. W jkim przypdku n podstwie histogrmu obrz możn jednk odtworzyć? W prktyce często stosuje się histogrmy unormowne: h(k)=n k /N, gdzie N liczb pikseli obrzu. Dl dużych wrtości N (teoretycznie, zmierzjących do nieskończoności), prwo wielkich liczb pozwl identyfikowć częstość wystąpieni poszczególnych wrtości jko prwdopodobieństwo ich wystąpieni. Innym deskryptorem obrzu jest dystrybunt histogrmu unormownego (sum wysokości słupków jest równ 1): 500 b Histogrm 462 316 6 0.008 c Histogrm znormlizowny 400 0.006 300 0.004 200 100 0.002 50 100 150 200 250 Rys. Przyk łdowy obrz (), jego histogrm (b) orz histogrm znormlizowny (c). 50 100 150 200 250 4
Histogrm jko deskryptor obrzu Histogrm nie reprezentuje obrzu w sposób jednoznczny. Wiele obrzów może posidć identyczny histogrm. b e 50 40 30 20 10 c d Rys. () (d) przykłdowe obrzy o rozmirze 10x10 o identycznym histogrmie przedstwionym n rysunku (e). Przykłd pokzuje, że w nietrywilnych przypdkch histogrm nie jest odwzorowniem odwrclnym. 5
Histogrm obrzu (przykłdy) Istotne cechy histogrmu: liczby punktów dl których wrtości w histogrmie są niezerowe, szerokość, środek ciężkości, liczb modów, entropi dziecko.tif dziecko.tif dziecko.tif b c d dziecko.tif 0.025 0.02 0.015 0.01 0.005 Histogrm, PDF 0.3 0.2 0.1 Histogrm, PDF 0.7 0.6 0.5 0.4 0.3 0.2 0.1 Histogrm, PDF 0.25 0.2 0.15 0.1 0.05 Histogrm, PDF 50 100 150 200 250 50 100 150 200 250 50 100 150 200 250 50 100 150 200 250 1 0.8 0.6 0.4 Dystrybunt, CDF 1 0.8 0.6 0.4 Dystrybunt, CDF 1 0.8 0.6 0.4 Dystrybunt, CDF 1 0.8 0.6 0.4 Dystrybunt, CDF 0.2 0.2 0.2 0.2 50 100 150 200 250 50 100 150 200 250 50 100 150 200 250 50 100 150 200 250 Rys. Obrzy czterech typów orz ich histogrmy i dystrybunty histogrmów: ) - obrz o średnim kotrście; b) obrz o słbym kontrście; c) obrz prześwietlony; d) obrz niedoświetlony. Entropi obrzów jest równ odpowiednio: 6.99, 2.72, 3.02 orz 5.38. 6
Histogrmy wielowymirowe Histogrmy wielowymirowe (2D) wykorzystywne są do wizulizcji korelcji zchodzących pomiędzy wyróżnionymi skłdowymi obrzu cyfrowego. Ze względu n łtwość wizulizcji w prktyce wykorzystywne są njczęściej histogrmy dwuwymirowe. Histogrmy 3D wykorzystuje się jko nrzędzie porównywni obrzów kolorowych w systemch wyszukiwni obrzów. Reprezentują względną liczbę (częstość) wystąpień pikseli przyjmujących określone wrtości dwóch lub więcej skłdowych (korelcje) ptrz rysunki. Mogą być wykorzystne do podziłu wielowymirowej przestrzeni trybutów obrzu we wstępnej fzie kwntyzcji wektorowej. Rysunek bens.tif Brk pikseli przyjmujących wrtości jednocześnie r=[0..10] orz b=[0..10]. W obrzie przewżją piksele dl których skłdowe r i b leżą w przedziłch odpowiednio: r=[5..20], b=[10..30] Histogrm 2D, RG Histogrm 2D, RB c d e Histogrm 2D, BG b 200 150 100 n 50 0 10 Red 20 30 10 80 60 30 n 40 20 20 0 Green 10 Red 20 30 10 30 20 Blue 40 n30 20 10 0 10 Blue 20 30 30 20 Green 10 5 10 15 20 25 30 Rys. () - przykłdowy obrz RGB; (b) - histogrm RGB; odpowiednio (c), (d) orz (e) - histogrm skłdowych RG; histogrm skłdowych RB; histogrm skłdowych BG. 7
Entropi obrzu b W przypdku, gdy znny jest rozkłd prwdopodobieństw wrtości pikseli w obrzie możliwe jest oszcownie entropii obrzu jko miry ilości informcji w nim zwrtej. Zkłdjąc, że wrtość piksel obrzu jest zmienną losową przyjmującą wrtości n=1,2,,n, entropi jest dn równniem c d gdzie H(n) odpowid prwdopodobieństwu wystąpieni piksel o wrtości n i jest wrtością n-tego słupk histogrmu unormownego do jedności. Tkie oszcownie entropii zkłd, że wrtość dnego piksel jest zmienną losową i nie zleży od wrtości pikseli sąsiednich. W ogólności złożenie tkie nie jest poprwne, poniewż w obrzch istnieją brdzo silne korelcje przestrzenne (fkt ten wykorzystuje się w kompresji). Rys. Przykłdowe obrzy cyfrowe. Prwdopodobieństwo wystąpieni czrnych pikseli n kolejnych obrzch wynosi odpowiednio 1/2, 95/100, 1 orz 0. Entropi obrzów wynosi odpowiednio 1.0, 0.29, 0 orz 0. Rmk wokół obrzu (d) nie stnowi jego frgmentu. Obrzy (c) i (d) są nierozróżnilne z punktu widzeni entropii. Entropię możn interpretowć jko nieoznczoność (losowość) związną z wynikiem eksperymentu (pojwieniem się symbolu źródł, etc.). Entropi jest równ minimlnej liczbie bitów koniecznych do reprezentcji wrtości pojedynczego piksel obrzu. Entropi, podobnie jk momenty sttystyczne, pozwl reprezentowć obrzy w przestrzeni liczb rzeczywistych. Ozncz to rdyklną redukcję wymiru przestrzeni reprezentcji w porównniu z wielowymirowymi przestrzenimi wektorowymi histogrmów. 8
Korelcje w dnych obrzowych (1) Jedną z cech chrkteryzujących dne obrzowe są silne korelcje przestrzenne objwijące się podobnymi wrtościmi pikseli sąsidujących w obrzie (o podobnych współrzędnych przestrzennych). Wielkość korelcji zleży do rodzju obrzu orz od przyjętego modelu brw zgodnie z którym obrz jest reprezentowny. Model RGB prowdzi do brdzo dużych korelcji pomiędzy skłdowymi R, G orz B. Istnienie korelcji wykorzystuje się w procedurch kompresji dnych obrzowych. b c Rys. Przykłd korelcji w obrzie. () przykłdowy obrz; (b) zleżność wrtości sąsiednich pikseli w wierszch obrzu; (b) zleżność wrtości pikseli przesuniętych względem siebie o 5 (w wierszch obrzu). Widoczn koncentrcj punktów n prostej y=x. 9
Korelcje w dnych obrzowych (2) b Rys. Kolejny przykłd korelcji pomiędzy wrtościmi sąsiednich pikseli. 10
Korelcje w dnych obrzowych (3) Sttystyczną mirą liniowych zleżności w zbiorze dnych jest kowrincj. Dl dwóch zmiennych losowych X 1 orz X 2 kowrincj m postć: W przypdku, gdy zmienne losowe są niezleżne kowrincj jest równ zero: Zmienne losowe o tkiej włsności nzyw się nieskorelownymi. Kowrincj niesie ztem informcję o tym czy zmienne losowe są ze sobą powiązne zleżnością liniową. Dl wektor n zmiennych losowych X 1, X 2,, X n utworzyć możn mcierz kowrincji M, której (i,j) elementem jest cov(x i,x j ), tzn. Mcierz korelcji uzyskuje się przez normlizcję elementów mcierzowych mcierzy kowrincji. Elementy mcierzy korelcji posidją włsność: 1. 11
Korelcje w dnych obrzowych (4) 100 b 100 80 80 60 60 40 40 20 20 0 0 20 40 60 80 100 0 0 20 40 60 80 100 c 200 150 100 50 d 200 150 100 50 Rys. () Losow mcierz kwdrtow 100x100 o wrtościch z przedziłu [0,255]. N rysunku (b) przedstwion jest mcierz korelcji wyznczon dl wierszy mcierzy losowej (). Wyrźnie widoczn jest główn przekątn mcierzy n której elementy osiągją mksymlną wrtość równą 1. Rysunek (c) przedstwi przykłdowy obrz orz mcierz korelcji (d) dl jego wierszy. Postć mcierzy kowrincji sugeruje istnienie silnych korelcji pomiędzy wierszmi obrzu. 0 0 50 100 150 200 250 300 0 0 50 100 150 200 12
Wyszukiwnie obrzów ze względu n zwrtość (CBIR) Rys. Schemt procesu wyszukiwni obrzów ze względu n zwrtość. Wyszukiwnie obrzów ze względu n zwrtość (content-bsed imge retrievl, CBIR) jest techniką przeszukiwni dużych kolekcji obrzów w oprciu o ich włsności wizulne. W odróżnieniu od trdycyjnych metod wyszukiwni ze względu n formt, rozmir, czs utworzeni, lgorytm kompresji, rozdzielczość, etc. metody wyszukiwni ze względu n zwrtość dążą do symulowni procesu wyszukiwni włściwego dl człowiek wyszukiwni ze względu n treść obrzu. Wykorzystnie tekstowego opisu obrzów w wielu przypdkch jest niewystrczjące i nieprktyczne. Opercje oceny podobieństw obrzów wykorzystujące odpowiednią funkcję podobieństw operują n deskryptorch (wektorch cech) obrzów, nie bezpośrednio n obrzch. Kluczowym zgdnieniem jest ekstrkcj cech wizulnych obrzów. Proces ten wykonywny w trybie off-line. Wyszukiwnie obrzów ze względu n zwrtość wymg technik utomtycznej ekstrkcji tkich włsności wizulnych. Do njczęściej wykorzystywnych włsności nleżą: kolor (histogrm, momenty sttystyczne, etc.), tekstur, ksztłt (wymg segmentcji, tzn. podziłu obrzu n obszry o jednkowym kolorze lub poziomie jsności) orz loklizcj (położenie segmentów, kolorów i ksztłtów w obrzie). Sformułownie zpytni (query) przez użytkownik poleg n zdniu obrzu wzorc, określonego ksztłtu, tekstury lub określeniu włsności sttystycznych obrzów, które powinny być wyszukne. W systemie QBIC (Query By Imge Content, IBM) włsnościmi wizulnymi n podstwie których przebieg proces wyszukiwni mogą być: procentowy udził kolorów w obrzie, ksztłty, tekstury orz ich loklizcj w obrzie. Wyszukiwnie poleg n porównywniu deskryptor wyznczonego n podstwie zpytni użytkownik z deskryptormi obrzów przechowywnych w bzie. Konieczne jest zdnie funkcji porównni. Sprzężenie zwrotne (dl polepszeni jkości wyszukiwni). 13
Problemy związne z CBIR Problem 1: Jkie włsności wybrć jko reprezentcję (treści) obrzu? Odpowiedź: Niezmiennicze (odporne) ze względu n zmienne wrunki, w których obrz może być pozyskny (zminy poziomu oświetleni, przesłninie, przestwinie elementów sceny, odległość kmer-obiekt, etc.) Posługiwnie się cechmi o tkich włsnościch może zpewnić poprwne klsyfikownie obrzów obiektów w różnych wrunkch. Njczęściej wykorzystywne deskryptory to: momenty sttystyczne, histogrm, tekstur, ksztłty. Przed określeniem wrtości poszczególnych cech njczęściej wykonywn jest odpowiedni modyfikcj obrzu umożliwijąc pozysknie cech reprezentujących obrz. Modyfikcj może sprowdzć się do: zminy przestrzeni brw, kwntyzcji, segmentcji, wyodrębnieni określonych frgmentów obrzu, wyeliminowni szumu, etc. Nie istnieje uniwersln przestrzeń ndjąc się do opisu obrzów niezleżnie od zstosowni. Njczęściej wykorzystywnymi przestrzenimi brw są: rgb, CIELUV, CIELAB, Munsell, HSV orz modele brw przeciwstwnych. W wielu zstosownich pożądną cechą przestrzeni brw jest percepcyjn jednorodność (spośród wymienionych, cechę tę posidją CIELUV orz CIELAB). Problem 2: Miry podobieństw. Jkich mir podobieństw wektorów cech użyć? Różne miry prowdzą do różnej efektywności procesu wyszukiwni. Nie istnieje mir ideln, niezleżn od zstosowni. W prktyce wykorzystuje się również funkcje, które nie są metrykmi (odległościmi). Problem 3: Z jednej strony, użytkownik zinteresowny jest wyszukiwniem ze względu n treść obrzu. Z drugiej strony, wyszukiwnie poleg n ustlniu stopni podobieństw wektor cech obrzów, nie ich treści. W zleżności od konkretnego zstosowni nleży więc zpewnić reprezentownie obrzu przez tkie cechy, które mogą zpewnić związek (korelcje) z treścią obrzu. Problem tzw. przepści semntycznej (semntic gp). b c d e f Rys. Kwntyzcj sześcinu brw RGB. () obrz oryginlny; (b)-(f) obrz po kwntyzcji do odpowiednio 64, 16, 8, 4 orz 2 wrtości n kżdą skłdową wektor koloru. Zdniem kwntyzcji jest zmniejszenie dynmiki wrtości pikseli n potrzeby procesu wyszukiwni. Kwntyzcj niweluje również nieistotne fluktucje wrtości pikseli. 14
Deskryptory obrzu Njczęściej wykorzystywną włsnością do definiowni deskryptorów obrzu jest kolor. Informcj o poziomch szrości (luminncj) jest niewystrczjąc do porównywni obrzów. Deskryptory Momenty sttystyczne. Njczęściej wykorzystuje się trzy pierwsze momenty sttystyczne: średni, wrincj orz moment trzeciego rzędu, będący mirą symetrii. W przypdku obrzów o trzech skłdowych koloru, obrz reprezentowny jest przez 9 liczb: 3 deskryptory dl kżdej z trzech skłdowych. Wyszukiwnie w oprciu o momenty sttystyczne może stnowić etp wstępny służący do zwężeni przestrzeni poszukiwń, po którym nstępuje proces wyszukiwni w oprciu o inne cechy. Entropi. Prosty deskryptor, le o mocno ogrniczonej efektywności. Entropi względn (odległości Kullbck-Leibler) i funkcje z nią związne. Histogrmy skłdowych brwy. Histogrm uwżny jest z brdzo efektywną i zwięzłą reprezentcję zwrtości wizulnej obrzu cyfrowego. Do jego zlet nleżą prostot wyznczeni, odporność ze względu n trnslcje i obroty osi widzeni, orz ogrniczon wrżliwość n zminę skli, przesłninie i zminę kąt widzeni. Histogrm nie zwier jednk informcji o strukturze przestrzennej. Histogrmy możn interpretowć jko elementy wielowymirowych przestrzeni wektorowych. Wymirem przestrzeni możn regulowć przez proces kwntyzcji obrzów. Wektor spójności koloru (Color Coherence Vector). Wektor spójności stnowi rozszerzenie koncepcji histogrmu o informcje przestrzenne. Dny kolor (słupek histogrmu, skłdow koloru) jest klsyfikowny jko spójny (coherent) lub niespójny (coherent) w zleżności od tego, czy piksele go reprezentujące tworzą spójny, zmknięty obszr w obrzie, czy też są rozproszone. Wektor spójności m postć: { ( 1,b 1 ), ( 2,b 2 ),, ( N,b N )}, gdzie i ozncz liczbę pikseli tworzących spójny obszr, b i liczbę pikseli obszrów niespójnych. 15
Konstrukcj histogrmu jko deskryptor Jk budowć histogrmy jko wektory cech? Stosownie histogrmów obrzów nieprzetworzonych, np. histogrm RGB, gdzie kżd skłdow przyjmuje 256 różnych wrtości jest nieprktyczne, wymg bowiem posługiwni się wektormi o 256 3 skłdowych! W prktyce przeprowdz się redukcję liczby możliwych kolorów w drodze kwntyzcji. Grupownie słupków histogrmu. Technik t poleg n zmniejszniu liczby kolorów występujących w obrzie przez utożsminie ze sobą sąsiednich wrtości (słupków) skłdowych koloru, np. wrtości [0,3] skłdowej R w obrzie RGB sklejne są ze sobą i reprezentowne przez wrtość 0; wrtości [5,8] reprezentowne przez 1; wrtości [10,13] reprezentowne przez 2 itd. dl cłego dopuszczlnego zkresu i wszystkich skłdowych. Efektywnie jest to równowżne kwntyzcji obrzu; w tym przypdku kwntyzcji do 256/4=64 wrtości dl jednej skłdowej, co dje histogrmy o rozmirze 64 3. Skłdowe wektor opisujące kolor piksel nie muszą być kwntyzowne w jednkowy sposób. W przypdku przestrzeni HSV uzsdnion może być siln kwntyzcj skłdowych S i/lub V, podczs gdy skłdow H powinn być kwntown w sposób zncznie słbszy. Kfelkownie obrzu poleg n pokryciu cłego obrzu oknmi (kfelkmi) o ustlonym rozmirze, np. 4x4 i wyznczeniu dl kżdego tkiego bloku średniej wrtości poszczególnych skłdowych. List średnich wziętych ze wszystkich bloków obrzu stnowi listę możliwych wrtości jkie przyjmują skłdowe koloru. Histogrm obrzu nie zwier informcji o rozkłdzie przestrzennym pikseli. Istnieje wiele różnych sposobów włączeni tkiej informcji do histogrmu. Do njprostszych nleży podził kżdego słupk histogrmu n określoną liczbę skłdowych, które opisują liczbę pikseli dnego koloru leżących w określonych prtich (blokch) obrzu. Metod t wymg podziłu obrzu n rozdzielne bloki (ptrz rysunek). W tkim przypdku zwiększ się wymir wektor cech. 1 b c 3 5 4 2 1 2 3 4 5 Rys. () - Przykłdowy podził obrzu n bloki; (b) W stndrdowym przypdku wszystkie piksele określonej wrtości reprezentowne są przez słupek histogrmu; (c) Podził słupk histogrmu n części opisujące liczbę pikseli dnej wrtości w poszczególnych blokch obrzu. 16
Pojęcie kwntyzcji Rys. 1. Podził zkresu dopuszczlnych wrtości zmiennej x n 8 przedziłów kwntyzcji określonych przez grnice decyzyjne b (9 grnic decyzyjnych) orz poziomy rekonstrukcji y. b M k 3 2 1 Numery przedziłów kwntyzcji Kwntyzcj jest procesem redukcji zbioru możliwych wrtości jkie może przyjmowć zmienn reprezentując kwntyzowne źródło. W szczególności kwntyzcj może polegć n proksymcji zmiennej ciągłej przez zmienną dyskretną przyjmującą wrtości ze skończonego zbioru dopuszczlnych wrtości. Projektownie ukłdu kwntyztor poleg n określeniu sposobu podziłu przedziłu dopuszczlnych wrtości kwntyzownej zmiennej n określoną liczbę przedziłów kwntyzcji orz wyznczeniu w kżdym z tkich przedziłów wrtości reprezentującej dny przedził. Wrtości reprezentujące przedziły nzywne są poziommi rekonstrukcji. Przedziły kwntyzcji schrkteryzowne są przez tzw. grnice decyzyjne. Dziłnie kwntyztor sprowdz się do mpowni wrtości pojwijącej się n wejściu n określony poziom rekonstrukcji: Wejście kwntyztor, x 11111111 c 11111110 00000011 00000010 00000001 00000000 Rys. 2. Schemt prcy kwntyztor. Zkceptowny przedził kwntyzcji Kody przedziłów gdzie Q ozncz dziłnie kwntyztor, x jest jego wejściem, ntomist y i jest poziomem rekonstrukcji przedziłu kwntyzcji wyznczonego przez grnice decyzyjne b i-1 orz b i. Kwntyzcj jest podstwową techniką metod kompresji strtnej. Jest odwzorowniem typu wiele do jednego, przez to wprowdz nieodwrclną utrtę informcji. Metody kwntyzcji różnią się sposobem podziłu zbioru dopuszczlnych wrtości orz sposobem wyznczeni poziomów rekonstrukcji w dnym przedzile.
Kwntyzcj: postwienie problemu Zgdnienie kwntyzcji dnych obrzowych: dny jest przedził zmienności [0,L-1] funkcji obrzu (np. poziomy jsności). Podny przedził nleży podzielić n podprzedziły kwntyzcji w tki sposób, by zminimlizowć błąd kwntyzcji orz średnią bitową. Zgodnie z powyższym ogólnym sformułowniem problemu kwntyzcji grnice decyzyjne orz poziomy rekonstrukcji powinny być wybrne w tki sposób, by zminimlizowć znieksztłceni pojwijące się w obrzie wynikowym (po kwntyzcji). Jko mirę znieksztłceni możn przyjąć średniokwdrtowy błąd kwntyzcji MSQE, który dl zmiennej f(x) proksymującej funkcję obrzu opisny jest równniem: Biorąc pod uwgę, że wyjście kwntyztor jest dyskretne orz zleżne od wrtości x podnej n wejściu, powyższe równnie możn przepisć w równowżnej postci: W przypdku kodowni wyjść kwntyztor przy użyciu kodów stłej długości średni bitow jest zleżn od liczby możliwych wyjść kwntyztor: liczby przedziłów kwntyzcji. Zleżność tk pokzuje, że w tym przypdku jednoczesn minimlizcj dwóch wymienionych wielkości nie jest możliw (sprzeczność). Kwntyztory minimlizujące średniokwdrtowy błąd kwntyzcji nzywne są kwntyztormi optymlnymi.
Kwntyzcj równomiern b c 56 157 177 157 49 22 15 198 155 17 104 22 244 23 180 116 11 134 55 52 168 182 124 216 106 197 16 220 155 101 157 150 96 253 138 153 8 58 206 144 114 86 23 15 124 195 209 254 36 229 197 181 63 37 212 195 59 121 15 36 239 251 202 197 64 192 192 192 64 64 64 192 192 64 64 64 192 64 192 64 64 192 64 64 192 192 64 192 64 192 64 192 192 64 192 192 64 192 192 192 64 64 192 192 64 64 64 64 64 192 192 192 64 192 192 192 64 64 192 192 64 64 64 64 192 192 192 192 48 144 176 144 48 16 16 208 144 16 112 16 240 16 176 112 16 144 48 48 176 176 112 208 112 208 16 208 144 112 144 144 112 240 144 144 16 48 208 144 112 80 16 16 112 208 208 240 48 240 208 176 48 48 208 208 48 112 16 48 240 240 208 208 Njprostszą metodą kwntyzcji jest kwntyzcj równomiern sprowdzjąc się do równomiernego podziłu przedziłu zmienności nlizownej wielkości. Niech przedziłem zmienności wielkości wejściowej jest przedził [0,L-1] orz niech M określ zdną liczbę przedziłów kwntyzcji. W tkim przypdku zdny przedził [0,L-1] powinien być podzielony n M równych podprzedziłów, przy czym ich szerokość określon jest przez stosunek: W njprostszym przypdku, kwntyzcj równomiern może być relizown zgodnie z równniem: Rys. 1. Przykłd kwntyzcji równomiernej dl obrzu wejściowego przedstwionego w postci mcierzy n rysunku (). Rysunku (b) i (c) przedstwiją wynik kwntyzcji odpowiednio do M=2 orz M=8 przedziłów kwntyzcji, zgodnie z równniem podnym obok. Kwntyzcj do M=2 poziomów wprowdz oczywiście większe znieksztłcenie niż kwntyzcj do większej liczby poziomów. Kolorem czerwonym zznczon jest wrtość piksel w obrzie wejściowym orz w obrzie po kwntyzcji.
Przykłd: kwntyzcj równomiern dl źródł o rozkłdzie jednostjnym Jko przykłd rozptrzymy kwntyzcję równomierną do M poziomów dl źródł o rozkłdzie równomiernym (obrzy o płskim histogrmie). Niech przedziłem zmienności wrtości pikseli jest przedził [0,L-1] i kżd wrtość nie jest reprezentown w obrzie z częstością 1/L (zgodnie z złożeniem równomierności). W tkim przypdku długość kroku kwntyzcji wynosi: =L/M. Grnice decyzyjne: Poziomy rekonstrukcji: Błąd średniokwdrtowy kwntyzcji w tkim przypdku jest równy:
Kwntyzcj równomiern - przykłdy b MSE=7.67 c MSE=22.39 d MSE=84.52 e MSE=334.67 f MSE=1271.29 Rys. 1. Ilustrcj procesu kwntyzcji spreprownego obrzu cyfrowego przedstwionego n rysunku (). Rysunki (b)- (f) przedstwiją wynik kwntyzcji do odpowiednio 32, 16, 8, 4 orz 2 poziomów kwntyzcji. Zmniejszjąc się liczb przedziłów (rosnąc długość kroku kwntyzcji) ujwni stopniowo corz brdziej widoczne znieksztłceni konturowe, szczególnie dobrze zznczone w obszrze testowym.
Binryzcj (płszczyzny bitowe) Płszczyzn b 7 (njstrszy bit) c d e Płszczyzn b 0 (njmłodszy bit) b f g h Rys. Podził obrzu cyfrowego n płszczyzny bitowe: ) schemt podziłu, b) obrz oryginlny poddwny podziłowi, (c) płszczyzn 7 (bit njbrdziej znczący wrtości pikseli); (d) płszczyzn 6; (e) płszczyzn 5; (f) płszczyzn 4 wrtości pikseli zostły wzmocnione x16; (g) płszczyzn 3 wzmocnienie x32; (h) płszczyzn 2 wzmocnienie x64; (i) płszczyzn 1 wzmocnienie x128; (j) płszczyzn 0 (bit njmniej znczący) wzmocnienie x256; (k) obrz powstły przez zsumownie płszczyzn 7, 6, 5. i j k
Kwntyzcj dptcyjn Jednym ze sposobów n zmniejszenie znieksztłceń wprowdznych przez kwntyzcję równomierną jest dostosowywnie (dptcj) prmetrów kwntyztor do loklnej chrkterystyki obrzu. W kwntyzcji dptcyjnej obrz dzielony jest n bloki. Prmetry kwntyztor (grnice decyzyjne, poziomy rekonstrukcji, liczb przedziłów kwntyzcji) ustlne są dl kżdego bloku niezleżnie. Wdą tkiego rozwiązni jest konieczność dołączeni prmetrów kwntyzcji do strumieni bitowego, co powoduje wzrost objętości dnych po zkodowniu, tym smym zmniejszenie stopni kompresji w stosunku do rozwiązń trdycyjnych. Wyjście kżdego kwntyztor może być dodtkowo kodowne dl zwiększeni stopni kompresji. Cechą kwntyztor dptcyjnego jest mniejsz podtność n kompresję RLE niż kwntyztorów prcujących w schemcie kwntyzcji globlnej (trdycyjnej). Dlczego?
Kwntyzcj dptcyjn. Przykłd d MSE=1271.3, bitrte=1.0 b MSE=84.2, bitrte=1.25 e MSE=334.7, bitrte=2.0 c MSE=20.7, bitrte=2.25 Rys. Rysunek () przedstwi obrz oryginlny (nie poddny kwntyzcji). N rysunkch (b) i (c) przedstwiony jest wynik kwntyzcji dptcyjnej do odpowiednio 2 orz 4 poziomów (odpowiednio 1 orz 2 bity n piksel). W tym przypdku obrz jest dzielony n rozdzielne bloki 8x8 pikseli. W kżdym bloku wyznczny jest zkres poziomów jsności, nstępnie zkres ten jest dzielony n zdną liczbę przedziłów kwntyzcji, zgodnie z regułą kwntyzcji równomiernej przedstwionej n poprzednich stronch. W tym przypdku, do kżdych 64 pikseli dołączn jest informcj dodtkow w postci minimlnej orz mksymlnej wrtości w bloku, co jest konieczne do poprwnego zdekodowni strumieni dnych. Wiąże się to ze wzrostem średniej bitowej z 1 bit n piksel do 1.25 bit n piksel w przypdku (b) orz 2 bitów n piksel do 2.25 bitów n piksel dl przypdku (c). Dl porównni, n rysunkch (d) i (e) przedstwiony jest wynik globlnej kwntyzcji równomiernej do odpowiednio 2 orz 4 poziomów.
Funkcje podobieństw histogrmów W przypdku porównywni obrzów reprezentownych przez histogrmy zproponownych zostło wiele różnych mir podobieństw. Niech dne są dw obrzy cyfrowe reprezentowne przez odpowiednio histogrmy H 1 orz H 2. Niech obrzy są jednkowego rozmiru (dlczego to złożenie jest istotne), kolory pikseli opisne są w N wymirowej przestrzeni wektorowej (histogrmy są wówczs N-wymirowymi wektormi). Odległość Mnhttn Odległość Euklides Odległość kosinusow Mir przekroju histogrmów Unormown korelcj wzjemn 25
Odległości Mnhttn orz Euklides (1) Odległości Mnhttn orz Euklides są przykłdmi mir wywodzących się od uogólnionej metryki Minkowskiego. Ich wykorzystnie jest uzsdnione wtedy, gdy skłdowe wektor cech (w tym przypdku słupki histogrmów) są od siebie niezleżne i posidją jednkową wgę. Chociż wrunki te nie są njczęściej spełnione (dlczego?), to miry tego typu nleżą do njbrdziej populrnych i njczęściej wykorzystywnych. H 1 H 2 1 2 3 4 5 6 7 8 9 10 Przykłd. Niech dne są trzy obrzy o jednkowej liczbie pikseli równej N, których histogrmy (nieunormowne) przedstwione są n rysunku obok (wysokość kżdego słupk jest równ 1/3 N). Histogrmy zostły uporządkowne w tki sposób, że sąsiednie słupki histogrmów odpowidją brwom percepcyjnie podobnym. Odległości obrzów w przestrzeni histogrmów obliczone n podstwie odległości Mnhttn są równe odpowiednio: Podobnie, wykorzystując odległość Euklides otrzymujemy: 1 2 3 4 5 6 7 8 9 10 H 3 W obu przypdkch odległość w przestrzeni histogrmów nie odpowid percepcyjnemu podobieństwu obrzów. Obrzem percepcyjnie njbrdziej podobnym do (1) jest obrz (2). W przestrzeni histogrmów obrzem bliższym jest jednk obrz (3). 1 2 3 4 5 6 7 8 9 10 26
Odległości Mnhttn orz Euklides (2) Rozwiązniem problemu przedstwionego n poprzednim rysunku może być posługiwnie się odległościmi Mnhttn orz Euklides w przestrzeni skumulownych histogrmów (odpowiedniki dystrybunt), zmist w przestrzenich smych histogrmów. Ilustruje to poniższy przykłd. h 1 Rysunki przedstwiją skumulowne histogrmy (dystrybunty) obrzów opisnych n poprzedniej stronie. Odległości Mnhttn orz Euklides dl dystrybunt są równe odpowiednio: 1 2 3 4 5 6 7 8 9 10 h 2 orz 1 2 3 4 5 6 7 8 9 10 Wniosek: W tym przypdku wyznczone odległości odpowidją percepcyjnemu podobieństwu obrzów. h 3 1 2 3 4 5 6 7 8 9 10 27
Odległość biliniow (kwdrtow) H 1 H 2 Z odległością Euklides związn jest odległość biliniow, zproponown w jednym z pierwszych systemów wyszukiwni obrzów systemie QBIC. 1 2 3 1 2 3 Odległość pry obrzów definiuje się zgodnie z równniem: H 3 b 1 2 3 1 0.5 0. 0.5 1 0.2 0. 0.2 1 Rys. () - Histogrmy trzech przykłdowych obrzów, których piksele są elementmi trójwymirowej przestrzeni brw: (czerwony, pomrńczowy, zielony). Dl uproszczeni przyjęto, że obrzy zwierją piksele tylko jednego koloru orz, że są identycznego rozmiru (kżdy zwier N pikseli). (b) Przykłdow mcierz podobieństw w rozptrywnej trójwymirowej przestrzeni brw. Jest jsne, że odległości Mnhttn pomiędzy histogrmmi H1 i H2 orz H1 i H3 są identyczne i równe N. Odległość kwdrtow pomiędzy tymi smymi histogrmmi jest równ odpowiednio: N orz 1.41 N. Sugeruje to, że obrz reprezentowny przez H1 jest brdziej podobny do obrzu reprezentownego przez H2 niż obrzu reprezentownego przez H3. Jest to zbieżne z wrżeniem postrzegnym przez człowiek. gdzie H 1 orz H 2 reprezentują histogrmy obrzów (uporządkowne w postci wektorów), ntomist A jest mcierzą podobieństw kolorów w rozptrywnej przestrzeni brw (w której opisne są kolory obrzów). Mcierz podobieństw kolorów A jest kwdrtową mcierzą symetryczną, której element (i,j) określ podobieństwo kolorów C i orz C j w przestrzeni brw: W mcierzy podobieństw elementy digonlne osiągją wrtość mksymlną równą 1, poniewż podobieństwo brwy do smej siebie jest równe 1. Podobieństwo brw njbrdziej odległych jest równe 0. Dziłnie mcierzy podobieństw sprowdz się do wżeni różnic wrtości histogrmów tk, by uwzględnić podobieństwo lub brk określonych brw obrzu. W tym przypdku brwy powinny być reprezentowne w przestrzenich percepcyjnie jednorodnych (odległość proporcjonln do postrzegnego podobieństw pomiędzy brwmi). W przeciwieństwie do wcześniej opisnych funkcji, odległość tego typu uwzględni wzjemne podobieństwo brw. 28
Entropi względn (odległość Kullbck-Leibler) Entropi Shnnon pozwl reprezentowć obrzy w przestrzeni jednowymirowej (przestrzeń wrtości entropii), podobnie jk pojedyncze momenty sttystyczne. Entropi względn (odległość Kullbck-Leibler) jest funkcją określjącą podobieństwo dwóch rozkłdów prwdopodobieństw. Entropi względn dwóch dyskretnych rozkłdów prwdopodobieństw określon jest równniem: gdzie dl zpewnieni ciągłości wymg się by: Entropi względn nie jest stbiln numerycznie (nieskończoności) dltego w prktyce stosowć możn funkcję Jeffrey zdefiniowną w nstępujący sposób: 29
Ocen efektywności procesu wyszukiwni Zproponownych zostło kilk mir służących ocenie efektywności wyszukiwni informcji (niekoniecznie obrzów). Powszechnie stosownymi mirmi jest dokłdność (precision) orz kompletność (recll) dokłdność (precision) jest mirą zdefiniowną jko stosunek liczby dokumentów istotnych (n temt, relewntnych) podnych w odpowiedzi n zpytnie do cłkowitej liczby dokumentów wygenerownych jko odpowiedź n zpytnie. Mir t przyjmuje wrtości z przedziłu [0,1]. Wrtość 1 przyjmuje gdy wszystkie dokumenty podne w odpowiedzi są relewntne (odpowidją wzorcowi). W kontekście wyszukiwni obrzów, w przypdku gdy zbiór obrzów podzielony jest n rozłączne ktegorie, dokłdność określ stosunek liczby obrzów wygenerownych n wyjściu i pochodzących z ktegorii identycznej z ktegorią wzorc do cłkowitej liczby obrzów n wyjściu. kompletność (recll) jest definiown jko stosunek liczby dokumentów istotnych obecnych w odpowiedzi n zpytnie do cłkowitej liczby dokumentów istotnych w zbiorze dokumentów. Kompletność przyjmuje wrtości z przedziłu [0,1]. Aby zpewnić możliwość przyjęci wrtości 1 liczb dokumentów n wyjściu powinn być równ co njmniej liczbie elementów istotnych. Prmetr ten nzywny jest czsem czułością metody. R(q) Q(q) Rys. Ilustrcj mir dokłdności i kompletności. R(q) orz Q(q) oznczją odpowiednio zbiór elementów istotnych skojrzonych z wzorcem q orz zbiór elementów wygenerownych jko odpowiedź n zpytnie. 30
Ilustrcj Rys. Przykłdowy podzbiór obrzów wykorzystnych do prezentcji lgorytmu wyszukiwni obrzów ze względu n zwrtość. 31
Ilustrcj b c Rys. Rezultt wyszukiwni w zbiorze obrzów obrzu njbrdziej podobnego do obrzu podnego w pierwszej kolumnie. (), (b) i (c) stnowią wyniki wyszukiwni z mirą podobieństw, odpowiednio: odległość Euklides, modułow, przekrój histogrmów. Obrzy uszeregowne są w wierszu ze względu n stopień podobieństw (podobieństwo mleje w kierunku do prwej). 32
Ilustrcj b c Wnioski? Rys. Inny przykłd wyszukiwni obrz z funkcjmi jk n poprzednim sljdzie. 33