Model układu wzrokowego człowieka

Model układu wzrokowego człowieka Ang. Human Visual System (HVS)

Model ludzkiego widzenia Rodzaje widzenia widzenie skotopowe (ang. scotopic) - pręciki - duża czułość na kontrast - brak widzenia barw widzenie mezotopowe (ang. mesotopic) - pręciki i czopki widzenie fotopowe (ang. photopic) - czopki - słaba czułość na kontrast - widzenie barwne Bardzo duży zakres dynamiki widzenia możliwy dzięki adaptacji wzroku do różnych warunków oświetlenia (różnych jasności otoczenia, tzn. luminancji adaptacji).

Bodziec wzrokowy Bodziec wzrokowy w postaci funkcji progowej (ang. step/edge function)

Widzenie progowe: Kontrast Webera Progowy model widzenia - definiuje granicę pomiędzy widzialnym i niewidzialnym. Threshold-vs.-Intensity (TVI) function Zależność najmniejszej dostrzegalnej różnicy luminancji od luminancji adaptacji. Prawo Webera - dla dużych zakresów luminancji adaptacji zależność luminancji adaptacji od najmniejszego rozróżnialnego kontrastu jest funkcją liniową (w skali logarytmicznej). Definicja kontrastu według Webera: contrast = L L b L b Obraz kontrastów jest obrazem siatkówkowym (ang. retinal image) stałym dla różnych warunków oświetlenia. Ze wzrostem luminancji tła (adaptacji) maleje czułość ludzkiego oka na kontrast (różnice luminancji). Kontrast Webera stosowany jest dla małych obiektów na dużym jednorodnym tle.

Wzór Gabora Wzór Gabora wygenerowany dla różnych częstotliwości kątowych i różnych kolorów

Widzenie progowe: Funkcja CSF Contrast Sensitivity Function (CSF) Zależność czułości na kontrast od częstotliwości zmiany kontrastu. czułośc na kontrast (ang. contrast sensitivity) contrast _ sensitivity = 1 threshold _ contrast Kontrast według Michaelsona: contrast = (L max L min ) (L max + L min ) L max,l min - maksymalna i minimalna luminancja obrazu wzorcowego używanego w testach. Wykresy dla różnych luminancji adaptacji

Widzenie progowe: Funkcja CSF dla różnych adaptacji Zależność CSF od luminancji adaptacji Czułość na kontrast rośnie ze wzrostem luminancji adaptacji. Przeciwnie niż dla funkcji TVI. Ze wzrostem luminancji adaptacji wykres przesuwa się w prawo (z filtra dolnoprzepustowego staje się filtrem pasowym (ang. band-pass filter). Wiąże się to z przejściem od widzenia skotopowego do widzenia fotopowego. Ze wzrostem luminancji maleje wartość najmniejszej dostrzegalnej różnicy luminancji (najmniejszy kontrast). Wiąże się to z poprawą rozdzielczości (ang. spatial resolution) i czułości widzenia (ang. visual acuity).

Widzenie progowe: Funkcja CSF dla koloru Funkcje CSF dla koloru

Widzenie progowe: Kierunkowa funkcja CSF Zależność czułości na kontrasty od kąta widzenia współczynnik k definiuje szybkość spadku czułości na kontrast

Widzenie progowe: Funkcja CSF dla lokalne adaptacji Adaptacja widzenia do lokalnej luminancji adaptacji Dla złożonych obrazów (zwierających wiele częstotliwości) luminancja adaptacji zmienia się lokalnie. Krzywa CSF jest obwiednią (ang. envelope) poszczególnych krzywych dla lokalnej adaptacji (wyznaczonych dla różnych poziomów częstotliwości obrazu) Oszacowanie wartości lokalnej adaptacji dla złożonego obrazu polega na rozłożeniu obrazu na szereg podobrazów reprezentujących poszczególne częstotliwości (ang. band-pass filtering) i podzielenie tych podobrazów przez średnią lokalną luminancję. Srednią lokalną luminancję można policzyć poprzez filtrację dolnoprzepustową oryginalnego obrazu (konkretniej obrazu siatkówkowego).

Widzenie ponadprogowe Widzenie ponadprogowe (ang. suprathreshold).

Widzenie ponadprogowe Ponadprogowy model widzenia - definiuje jak zmiany luminancji adaptacji wpływają na widzenie (dostrzeganie szczegółów, zmiana intesywności barw, itp.). Jaskrawość (ang. brighthess) - percepcyjne postrzeganie jasności. Model widzenia ponadprogowego opracowany przez Stevensów; pomiar jaskrawości szarego obiektu na jasnym tle. W zależności od kontrastu pomiędzy obiektem i tłem, wzrost jaskrawości tła powoduje wzrost lub spadek jaskrawości obiektu. Ze wzrostem jasności rośnie nasycenie. Obiekty jasne stają się jaśniejsze, obiekty ciemne - ciemniejsze. Nie jest to zgodne z prawem Weber a.

Widzenie ponadprogowe (2) Maladaptacja - niepełna adaptacja do warunków widzenia. warunki widzenia ponadprogowego warunki laboratoryjne, zapewniona pełna adaptacja Funkcja TVI ma inny przebieg dla niepełnej adaptacji (obserwowane punkty zapalane są na krótki czas). Różnice w luminancji muszą być znacznie większe, żeby były dostrzeżone.

Widzenie ponadprogowe (2) Zjawisko stałego kontrastu Ze wzrostem kontrastów krzywa CSF staje się coraz bardziej płaska. Dla warunków lab. jest zgodna z krzywą CSF dla widzenia progowego (górna krzywa na wykresie). Dla większych jasności mamy do czynienia ze zjawiskiem stałego kontrastu (ang. contrast constancy phenomenon). Funkcja przejścia (ang. tranducer function) - opisuje zjawisko nieliniowej zmiany postrzegania kontrastu w różnych warunkach oświetlenia. Dla małych kontrastów zmiany w postrzeganiu są duże, dla dużych kontrastów krzywe zbiegają się wskazując na małe zmiany.

Visual Masking (Contrast Masking) Natural image of zebra (masker signal) reduces visibility of the sinusoidal grating (target signal). The effect increases when both signals are neighboring in space and frequency images courtesy of Tunc Ozan Aydın self-masking occurs when both masker and target match in frequency and orientation inter-channel masking - masking between contrasts at the same spatial location, but in different frequency channels neighborhood masking - drop of contrast sensitivity due to high activity of spatially adjacent neurons located in the same frequency channel

Literatura Sumanta N. Pattanaik, James A. Ferwerda, Mark D. Fairchild, and Donald P. Greenberg. A multiscale model of adaptation and spatial vision for realistic image display. In Pro- ceedings of ACM SIGGRAPH 1998, Computer Graphics Proceedings, Annual Conference Series, pages 287-298, July 1998. Erik Reinhard, Greg Ward, Sumanta Pattanaik, Paul Debevec, High Dynamic Range Imaging Auqusition, Display and Image-Based Lighting, Elsevier 2006, ISBN 978-0-12-585263-0.

Percepcja w grafice komputerowej Ang. Perception in computer graphics

Adaptacja do zmian luminancji Adaptacja zależy od zmiany luminancji i od wartości luminancji (od tego czy mamy do czynienia z widzeniem skotopowym, czy fotopowym). Operator tonów (Reihard 2002): Y a = Y Adaptacja do jasnego otoczenia: - źrenica - redukcja światła 1:10 - zmiana koncentracji pigmentu - zmiany w procesach nerwowych na siatkówce - zmiany w procesie interpretacji sygnału przez HVS T - czas pomiędzy klatkami animacji Proces adaptacji do ciemnego otoczenia może być realizowany liniowo, ponieważ zmiany odbywają sie bardzo powoli (mogą trwać dziesiątki minut).

Zmiana postrzegania barw Utrata widzenia kolorów - ang. scotopic vision Pręciki nie są zdolne do rozpoznawania kolorów. Poniżej wartości luminancji 3.4 cd/m2 człowiek zaczyna przestawać widzeć kolory. Całkowity zanik postrzegania barw następuje poniżej 0.03 cd/m2. Model czułości pręcików [Hunt 1995]:

Utrata ostrości widzenia (1) Ang. visual aquity. Największa rozróżnialna częstotliwość w cyklach na jeden stopień kąta widzenia: Czerwona linia wyznacza maksymalna częstotliwość uzyskiwaną na 15 calowym monitorze LCD w standardowych warunkach obserwacji. Utrata ostrości widzenia zależała będzie od rozmiarów ekranu, rozdzielczości i odległości z jakiej obserwowany jest ekran. W standardowych warunkach dla 15 calowego monitora LCD o rozdzielczości 1024x768 i odległości obserwacji 50 cm, na jeden stopień kąta widzenia przypadało będzie 45 pikseli. Maksymanie można więc uzyskać 22 (45 / 2) cykle na stopień. Dla powyższego przypadku utrata ostrości widzenia może być symulowana poniżej wartości luminancji 0.5 cd/m2.

Utrata ostrości widzenia (2) Ang. visual aquity. Utrata ostrości widzenia symulowana za pomocą splotu obrazu z jądrem wyznaczonym za pomocą funkcji Gaussa: Przykłady funkcji Gaussa dla różnych wartości luminancji:

Spadek kontrastu w pobliżu jasnych obszarów Ang. veiling luminance - pojawianie się efekty glare spowodowanego rozpraszaniem swiatła w oku. Funkcja rozproszenia (ang. Ocular Transfer Function) - pośrednio opisuje częstotliwości widziane na obrazie w funkcji jasności. częstotliwość średnica źrenicy średnica źrenicy dla danej średniej luminancji W dziedzinie obrazu stosuje się ang. Point Spread Functions (PSF), które można uzyskać stosując odwrotną transformatę Fouriera do ww. równania.

Przykłady Veiling luminance - utrata kontrastu

Przykłady Visual acuity - utrata ostrości widzenia, utrata kolorów

Literatura Grzegorz Krawczyk. Perceptual effects in real-time tone mapping. In Proc. of Spring Conference on Computer Graphics SCCG 2005, Budmerice, Slovak Republic, May 2005. GOODNI GHT, N., WANG, R., WOOL L E Y, C., AND HUMP HR E YS, G. 2003. Interactive time-dependent tone mapping using programmable graphics hardware. In Proceedings of the 14th Eurographics workshop on Rendering, Eurographics Association, 26 37. HUNT, R. 1995. The Reproduction of Colour in Photography, Printing and Television: 5th Edition. Fountain Press.

Percepcyjne porównywanie obrazów

Porównywanie obrazów Subiektywne - eksperymenty z udziałem ludzi. Zastosowanie metod statystycznych dąży do obiektywizacji uzyskanych rezultatów. Obiektywne - algorytmy komputerowe porównujące obrazy poprzez modelowanie ludzkiego aparatu widzenia (HVS).

Structural Similarity Index Metric (SSIM) wcześniejsza wersja: Universal Quality Index (UQI) full reference (FR) wymagany obraz wzorcowy obraz wzorcowy obraz testowany mapa różnic

SSIM: Architektura Porównanie trzech komponentów: lokalnej luminancji (średnia luminancja dla okna), kontrastu (odchylenie standardowe) i struktury (znormalizowane odchylenie standardowe).

SSIM: Implementacja Różnica pomiędzy dwoma obrazami dla każdego piksela tworzone okno o rozmiarze NxN pikseli (np. 8x8) (x okno pierwszego obrazu, y okno drugiego obrazu): SSIM(x, y) = f (l(x, y), c(x, y), s(x, y)) SSIM(x, y) = [l(x, y)] α [c(x, y)] β [s(x, y)] γ SSIM(x, y) = (2µ x µ y + c 1 )(2σ xy + c 2 ) (µ x 2 + µ y 2 + c 1 )(σ x 2 +σ y 2 + c 2 ) c 1 = (k 1 L) 2,c 2 = (k 2 L) 2 L = 2 # bits _ per _ pixel 1 k 1 = 0.01, k 2 = 0.03 µ - średnia wartość pikseli w oknie σ - odchylenie standardowe

Błąd średniokwadratowy (ang. Mean Square Error, MSE) Obliczanie błędu średniokwadratowego (ang. Mean Square Error) pomiędzy wartościami pikseli obrazów. MSE = 1 N N i=1 (x i y i ) 2 sygnał błędu liczba pikseli w obrazie kolor piksela obrazu 1 kolor piksela obrazu 2 miara odległości Bardzo łatwe obliczanie MSE, dwa dodawania i jedno mnożenie na piksel, algorytm obliczany w czasie rzeczywistym. Posiada własności miary odległości (dla p=2 w R 2 ). Posiada prostą interpretację fizyczną - energia sygnału błędu. Energia nie zmienia się po transformacji do przestrzeni Fourier'a. Łatwość obliczania w procedurach optymalizacyjnych (np. w Minimum-MSE problem optymalizacji ma często rozwiązanie analityczne). Powszechni używany z uwagi na konwencje stosowane w literaturze naukowej.

Błąd średniokwadratowy - ograniczenia (a-g) obrazy o zbliżonym MSE

Błąd średniokwadratowy - nie zależy od układu pikseli Jeżeli położenie pikseli zmienione zostanie na dwóch obrazach w identyczny sposób, to błąd MSE pozostaje taki sam, pomimo że obrazy wyglądają inaczej.

Błąd średniokwadratowy - korelacja z szumem Nie zależy od korelacji pomiędzy sygnałem i szumem.

Błąd średniokwadratowy - znak sygnału błędu Nie zależy od znaku sygnału błędu.

Błąd średniokwadratowy różnice lokalne Błąd średniokwadratowy nie bierze pod uwagę lokalnych różnic.

Model HVS - Visual Differences Predictor Obiektywne porównywanie obrazów. Porównanie dwóch obrazów pod kątem znalezienia różnic między tymi obrazami widocznymi dla obserwatora w pewnych warunkach obserwacji. warunki obserwacji - odległość oka od monitora, rozmiar monitora, rozdzielczość obrazu, luminancja adaptacji

VDP - Etapy Algorytmu Wejście: dwa obrazy - obraz referencyjny i obraz, którego podobieństwo do referencyjnego oceniamy. Wartości pikseli obrazów powinne być wyrażone w jednostkach fotometrycznych (fizycznych). Kompresja luminancji. Człowiek postrzega wzrost luminancji w sposób nieliniowy (czułość wzroku jest różna dla różnych poziomów luminancji). Uwzględnienie czułości oka na zmiany częstotliwości w obrazie. Oko ludzkie w różny sposób postrzega różne zmiany kontrastu (CSF - contrast sensitivity function - czułość oka w funkcji częstotliwości). Pogorszenie postrzegania wskutek występowania dominującego tła. Widzialność poszczególnych elementów obrazu jest uzależniona od otoczenia, w którym występują. Jeżeli kontrast otoczenia jest duży, dane elementy stają się mniej widoczne. Skala zjawiska zależy od orientacji i częstotliwości otoczenia oraz jest powiązana z CSF. Wyjście: mapa różnic pomiędzy dwoma obrazami wejściowymi. Dla każdego piksela zdefiniowane czy będzie dostrzeżona różnica (z prawdopodobieństwem dostrzeżenia różnicy), czy jest on ciemniejszy czy jaśniejszy od piksela referencyjnego.

VDP - schemat działania

VDP - zależność czułości od jasności Ang. amplitude nonlinearity. R(i, j) R max = c 1 =12.6, b = 0.63 L(i, j) (L(i, j) + (c 1 L a (i, j)) b ) Kompresja jasności. Dla każdego piksela obliczane jest R(i,j) (dzielenie przez Rmax normalizuje tą wartość). Wartość R(i,j) zależna jest od danej luminancji adaptacji.

VDP - czułość na kontrast Ang. Contrast Sensitivity Function (CSF). Zmiana w czułości oka jako funkcja częstotliwości przestrzennej. S = f (ρ,θ,l,i 2,d,e) Czułość oka w funkcji: przestrzennej częstotliwości radialnej [cyckle/deg], orientacji [deg], stopnia adaptacji [cd/m2], rozmiarów obrazu w stopniach kątowych [deg], odległości od ekranu [m], mimośrodowości widzenia [deg]. Implementacja - splot z odpowiednio dobranym jądrem.

VDP struktura obrazu (maskowanie) ang. masking Zmiana w czułości zależna od lokalnego tła. Postrzeganie danych częstotliwości na obrazie może się zmieniać w zależności od wyglądu otoczenia.

VDP - maskowanie Ang. masking Implementacja mechanizmu maskowania polega na rozbiciu obrazu na szereg obrazów reprezentujących różne częstotliwości (ang. band pass filters) oraz odzwierciedlające kierunkowość zmian kontrastu. Rysunek pokazuje kształt filtrów, filtracja odbywa się w dziedzinie częstotliwości. Porównanie poszczególnych obrazów pozwala na oszacowanie widzialności szczegółów na obrazie.

VDP - maskowanie Ang. masking

VDP - maskowanie Orientacja

VDP - Wynik działania

Literatura Rafal Mantiuk, Karol Myszkowski, and Hans-Peter Seidel. Visible difference predicator for high dynamic range images. In Proceedings of IEEE International Conference on Systems, Man and Cybernetics, pages 2763-2769, 2004. S. Daly. The Visible Differences Predictor: An algorithm for the assessment of image fidelity. In A.B. Watson, editor, Digital Image and Human Vision, pages 179-206. Cam- bridge, MA: MIT Press, 1993. S. Daly. Method and apparatus for determining visually perceptible differences between images. In US Patent 5,394,483. 1995.

Iluzje optyczne

Defnicja iluzje optyczne obrazy, które nie są zgodne z fizyczną reprezentacją sceny, powstają na skutek percepcyjnej/nieliniowej intepretacji sceny przez układ wzrokowy człowieka iluzje fizjologiczne wynikające z fizjologii widzenia (np. powidoki, pasma Macha) iluzje patologiczne wynikające z nieprawidłowego działania ukłądu wzrokowego (np. halo, zniekształcenia obiektów), halucynacje widzenie obiektów, których nie ma na scenie iluzje kognitywne/percepcyjne wynikają z interakcji pomiędzy tym co widzimy i tym co zakładamy, że zobaczymy niejednoznaczne obrazy obrazy, które można w różny sposób interpretować zniekształcenia zniekształcenie rozmiaru, odległości, pozycji, krzywizny obrazy niemożliwe fikcje figura jest widoczna pomimo, że bodziec wzrokowy jej nie zawiera teoria formowania (ang. Gestalt theory) układ wzrokowy dąży do utworzenia całości obrazu z fragmentarycznych informacji docierających z sensorów

Właściwe iluzje optyczne ang. simultanous contrast

Właściwe iluzje optyczne

Iluzje fizjologiczne powidoki

Iluzje fizjologiczne pasma Macha

Iluzje percepcyjne: Niejednoznaczność

Iluzje percepcyjne: Niejednoznaczność Rabbit-Duck

Iluzje percepcyjne: Zniekształcenia Cafe wall illusion

Iluzje percepcyjne: Figury niemożliwe

Iluzje percepcyjne: Fikcja

Iluzje fizjologiczne

Lightness lightness - brightness obiektu mierzone względem brightness innego białego i podobnie oświetlonego obiektu Kartka książki w pomieszczeniu oświetlonym lampą ma mała brightness, ale dużą lightness, ponieważ jest najbielszym obiektem w polu widzenia. Ta sam książka na słońcu ma b. dużą brightness, ponieważ odbija promienie słoneczne. Natomiast jej lightness pozostaje bez zmian, dalej jest najjaśniejszym obiektem, ale jasności ocenianej względem okolicznych białych obiektów (które też mają b. dużą brightness).