Obrazy o rozszerzonym zakresie luminancji

Obrazy o rozszerzonym zakresie luminancji (ang. High Dynamic Range images, HDRi) Radosław Mantiuk radoslaw.mantiuk@gmail.com 1

Literatura Kristian Bloch, "Technika HDRI w fotografii. Od inspiracji do obrazu", Helion, 2010 Erik Reinhard, Greg Ward, Sumanta Pattanaik, Paul Debevec, High Dynamic Range Imaging Acquisition, Display, and Image-Based Lighting, Morgan Kaufmann, 2006. Rafal Mantiuk, Grzegorz Krawczyk, and Karol Myszkowski, High Dynamic Range Imaging and Perception Issues in Graphic, http://www.mpii.mpg.de/departments/d4/ areas/hdri/index.html 2

Jasność (luminancja) naturalnych scen Wzrok człowieka jest czuły b. szeroki zakres dynamiki jasności, od obiektów oświetlonych światlem gwiazd do jasności zbliżonej do jasności słońca. 3*10-5 [cd/m2] ciemnie niebo, 2*10 9 [cd/m2] słońce Courtesy of Garrett M. Johnson scena świat widziany przez człowieka 3

Zakres dynamiki luminancji (jasności) Luminance [log cd/m^2] -6-4 -2 0 2 4 6 8 CRT Monitor LCD Monitor camera sensor Human eye 4

Obrazy o ograniczonym zakresie dynamiki (1) Obraz LDR (ang. Low Dynamic Range) - ograniczony zakres dynamiki nie pozwala na zarejestrowanie szczegółów w jasnych i ciemnych obszarach. Obraz za ciemny Obraz za jasny 5

Zakres dynamiki matrycy światloczułej Stopień naświetlenia matrycy (ekspozycja) decyduje o zakresie luminancji, który jest rejestrowany na zdjęciu. Luminance [log cd/m^2] 10-6 -4-2 0 2 4 6 8 Przykładowe zdjęcia LDR wykonane przy różnych ustawieniach ekspozycji (wartość ekspozycji wynika z ustawień przesłony i czasu naświetlania w aparacie fotograficznym). Podobny mechanizm działa w aparacie widzenia człowieka: widzimy 4-ry rzędy dynamiki luminancji, ale dzięki mechanizmowi adaptacji do luminancji zakres jest rozszerzony do 13-14 rzędów. 6

Obrazy o pełnym zakresie luminancji Obrazy HDR! Obrazy HDR rejestrują pełny zakres luminancji widziany przez człowieka.! Obrazy HDR rejestrują również pełną gamę barw postrzeganą przez chłowieka (zdefiniowaną przez CIE na wykresie chromatyczności). 11700 cd/m2 zakres dynamiki: M = 3.7 log10(cd/m2) L = 1:5043 EL = 12.3 SNR = 74 db 2.32 cd/m2 7

Radiometria Radiometria - pomiar światła. Radiant energy Q e [J] Energia zależna od liczby fotonów w wiązce światła Radiant power Radiant existance Irradiance Radiant intensity Radiance L e = P e = dq e dt [J s = W ] M e = dp e da e [ W m 2 ] E e = dp e da e [ W m 2 ] I e = dp e dω [W sr ] d 2 P e dacosθ dω [ W sr m ] 2 Moc na powierzchnię. Moc na kąt bryłowy. Strumień energii dochodzący lub wychodzący z danego punktu w danym kierunku. 8

Fotometria Pomiar światła widzialnego z uwzględnieniem zmiany czułości ludzkiego oka na różne długości fal świetlnych. Luminous energy Luminous power Luminous existence Illuminance Liminous intensity Q v [lm s] = [talbot] P v [lm(lumen)] M v [ lm m ] 2 E v [ lm m = lux] 2 I v [ lm sr = cd(candela)] Luminance L v [ cd m 2 ] 9

Zakres dynamiki (ang. dynamic range) (1) Definicja zakresu dynamiki:! Stosunek największej wartości luminancji w obrazie do najmniejszej wartości.! Stosunek największej reprezentatywnej wartości sygnału do wartości szumu. Reprezentatywna wartość sygnału powinna uwzględniać saturację dla dużych wartości luminancji. Jednostki pomiaru zakresu dynamiki: współczynnik kontrastu (np. 1:256) rząd wielkości (log10) 10

Zakres dynamiki (ang. dynamic range) (2) Jednostki pomiaru zakresu dynamiki: stosunek sygnału do szumu (ang. signal-to-noise ratio) (specyfikacja kamer cyfrowych) zakres dynamiki (ang. exposure latitude) (fotografia) średnica równa jest długości ogniskowej podzielonej na # F-number (ilość światła docierająca do czujnika) f-stops: f/0.7, f/1, f/1.4, f/2, f/2.8, f/4, f/5.6, f/8 (w kolejnych krokach dwa razy mniej światła) 3.32 f-stops ~ 1 rząd wielkości 11

Potok HDR Akwizycja (ang. Aqusition) Generowanie obrazów HDR. Przechowywanie (ang. Storage) Zapamiętanie obrazów HDR w postaci plików graficznych. Przetwarzanie i Analiza (ang. Processing and Analysis) Przetwarzanie i analiza obrazów HDR z wykorzystaniem pełnego zakresu luminancji. Wyświetlanie (ang. Displaying) Kompresja luminancji obrazu HDR do zakresu możliwego do wświetlenia przez np. monitor LDR. 12

Akwizycja obrazów HDR! Metody syntezy obrazów! Kamery HDR! Lars III (Silicon Vision), Autobrite (SMal Camera Technologies), HDRC (IMS Chips), LM9628 (National), Digital Pixel System (Pixim)! Składanie obrazów HDR z kilku obrazów LDR o różnych ekspozycjach! Składanie z obrazów LDR wykonywanych przy różnych ekspozycjach! Wykorzystanie filtrów zmieniających ekspozycję kolejnych obrazów LDR! Akwizycja obrazu za pomocą sensorów z pikselami o różnych zakresach dynamiki! Wykorzystanie kilku pikseli sensora do akwizycji jednego piksela obrazu HDR! Wykorzystanie elementów światłoczułych o zmiennej ekspozycji! Wykorzystanie kilku elementów światłoczułych o różnych charakterystykach 13

Kamery HDR Sensory HDRC IMS CMOS - odpowiedź logarytmiczna ImsVision The HDRC Company 14 Przykładowe technologie: HDRC (IMS Chips) Lars III (Silicon Vision) Autobrite (SMal Camera Technologies) LM9628 (National) Digital Pixel System (Pixim)

Akwizycja - Kamery HDR - SpheroCam HDR 15 Produkt firmy Spheron - Kamera HDR służąca do rejestracji obrazów panoramicznych. - Czas rejestracji - około 5 min. - Rozdzielczość: horyzontalna 10 600, wertykalna 5 300. - 3x 32 bity na pixel (RGB). - Zakres dynamiki 26 f-stops.

Akwizycja - Kamery HDR - SpheroCam HDR Oprogramowanie Spheron VR 16

Składanie HDRa z kilku obrazów LDR (1)! wykonanie sekwencji zdjęć LDR różniących się ekspozycją! łączenie zdjęć LDR w obraz HDR Skrócenie czasu ekspozycji ----> 17

Formaty zapisu obrazów HDR! 24 bity na piksel (8 bitów na kanał (R,G i B)) nie wystarcza na rejestrację pełnego zakresu luminancji oraz pełnego zakresu kolorów.! Format RAW - 4-bajtowa (32-bitowa) liczba zmiennoprzecinkowa na kanał.! 3 x 4 bytes = 12 bytes/pixel.! Mało efektywna kompresja liczb zmiennoprzecinkowych. Formaty zapisu obrazów HDR:! Pixar Log Encoding (TIFF).! Radiance RGBE (Radiance)! OpenEXR (ILM)! SGI LogLuv (SGI)! scrgb! HDR JPEG! HDR MPEG! Camera Raw! Digital Negative (Adobe) 18

Analiza i przetwarzanie obrazów HDR Wykorzystanie pełnego zakresu dynamiki do analizy i przetwarzania obrazów.! Możliwość uzyskania efektów zgodnych z ludzką percepcją.! Większa dokładność obliczeń (wizualizacji i analizy).! Generowanie efektów niemożliwych do uzyskania dla danych 8- bitowych. 19

Filtr dolnoprzepustowy Gaussa (1) Standardowy filtr Gaussowski, obraz LDR Obraz bazowy 20 Filtr Gaussowski, obraz HDR HDR disk blur

Filtr dolnoprzepustowy Gaussa (2) HDR annular blur 21

Bloom Silne źródło światła wylewa się na krawędzie obiektów, które je przesłaniają. 22

Podniesienie kontrastu. Obraz LDR powstały w wyniku podniesienia kontrastu w obrazie HDR. 23

Wyświetlanie obrazów HDR! Wyświetlacze HDR! Operatory mapowania tonów (kompresja luminancji) (ang. tone mapping operator, TMO) 24

Monitory HDR (1) Monitor HDR opracowany na University of British Columbia Zakres dynamiki 50 000 : 1 Min. luminance: 0.1 cd/m 2 Max. luminance: 3,000-10,000 cd/m 2 25

Monitory HDR (2) 26

Monitory HDR (3) 27

Operatory Tonów (TMO - tone mapping operator) Kompresja luminancji obrazów HDR Dostosowanie zakresu dynamiki danego obrazu do zakresu dynamiki możliwego do wyświetlenia przez monitor. mapowanie tonów scena: poziomów jasności monitor LDR: 256 poziomów jasności 28

TMO: Krzywa kompresji A B Obcięcię za dużych i za małych luminancji w obrazie HDR (w stosunku do możliwości monitora). Maksymalna luminancja obrazu HDR odpowiada maksymalnej luminancji monitora (podobnie minimalna). Pozostałe wartości interpolowane liniowo. C Filtr S-shaped (stosowany w fotografii). D Histogram. luma 29 luminancja [log10(cd/m2)]

TMO: Przykłady operator globalny operator lokalny 30

Klasyfikacja TMO! Według podstaw teoretycznych działania.! Percepcyjne.! Wykorzystujące techniki przetwarzania obrazów.! Według sposobu działania.! Operatory globalne - sposób kompresji jest taki sam dla wszystkich pikseli.! Operatory lokalne - sposób kompresji piksela zależy od otoczenia piksela.! Według szybkości działania.! Dla obrazów statycznych.! Dynamiczne, pracujące w czasie rzeczywistym I uwzględniające efekty czasowe.! Zastosowania.! Dobre wrażenie wizualne.! Realistyczne odwzorowanie obrazu.! Optymalna wizualizacja detali.! Optymalny kontrast, itp. 31

Globalne operatory tonów - Przykłady Ferwerda et al. Tumblin (1999) Ward et al. Schlick 32

Przykłady zastosowania obrazów HDR 33

Porównanie obrazów HDR i LDR (1) 34 LDR HDR

Porównanie obrazów HDR i LDR (1) 1/64 oryginalnej jasności 35 LDR HDR

Porównanie obrazów HDR i LDR (1) 32 razy jaśniejsze 36 LDR HDR

Motion blur! Mniejsze rozmycie w obszarach o wysokiej luminancji.! Mniejszy wpływ ciemnych obszarów na obszary bardzo jasne.! Fotorealistyczny wygląd.! Poprawność wizualizacji zjawiska. LDR blur HDR blur Oryginalna fotografia 37

Przykłady - horyzontalny motion blur Obraz LDR Obraz HDR 38

Akwizycja - Składanie z kilku obrazów LDR o różnej ekspozycji Light Probes 39

Przykłady light probes Funston Beach Eucalyptus Grove Uffizi Gallery Grace Cathedral 40 Lighting Environments from the Light Probe Image Gallery: http://www.debevec.org/probes/

Wykorzystanie Light Probes (3) 41

Łączenie sztucznych obiektów i fotografii 42

Łączenie sztucznych obiektów i fotografii 43

Wykorzystanie Light Probes (4) 1) Photographs of mirror sphere at varying exposure times 3) Use as light source in Monte Carlo radiosity algorithm 44 2) High-dynamic range environment map

Łączenie sztucznych obiektów i fotografii 45

Łączenie sztucznych obiektów i fotografii 46

Literatura 1. Erik Reinhard, Greg Ward, Sumanta Pattanaik, Paul Debevec, High Dynamic Range Imaging Acquisition, Display, and Image-Based Lighting, Morgan Kaufmann, 2006. 2. Greg Ward, High Dynamic Range Image Encodings, http://www.anyhere.com/gward/hdrenc/ hdr_encodings.html 3. Andrejs Vorozcovs, Directions in High Dynamic Range Imaging, http://www.cs.yorku.ca/~av/ HDR_report.htm 4. H. Seetzen, W. Heidrich, W. Stuerzlinger, G. Ward, L. WhiteheadM. Trentacoste, A. Ghosh, A. Vorozcovs, High Dynamic Range Display Systems, ACM Transactions on Graphics, 23(3): 757-765, 2004. 5. Rafal Mantiuk, Grzegorz Krawczyk, and Karol Myszkowski, High Dynamic Range Imaging and Perception Issues in Graphic, http://www.mpii.mpg.de/departments/d4/areas/hdri/index.html 47