Wykorzystanie obrazów HDR jako $róde#!wiat#a, które o!wietlaj" syntezowan" scen%. Obliczanie o!wietlenia bazuj"ce na wykorzystaniu obrazów Rados#aw Mantiuk radoslaw.mantiuk@gmail.com Obrazy HDR stosowane w metodach IBL musz! rejestrowa" #wiat$o docieraj!ce do punktu ze wszystkich kierunków (ang. omnidirectional light). Obrazy HDR rejestruj! bezwgl%dn! warto#" #wiat$a mo&na wi%c stosowa" zaawansowane modele o#wietlenia. Zastosowania IBL: w metodach syntezy obrazów uwzgl!dniaj"cych o#wietlenie globalne, do $"czenia obiektów syntezowanych z rzeczywistymi fotografiami, do o#wietlania obiektów naturalnych (aktorów graj"cych w bluebox'ach) w technikach mapowania #rodowiska (ang. environment mapping). - Rezultaty syntezy obrazów - Rezultaty syntezy obrazów Przyk$ady Light Probes IBL: Tworzenie light probe (1) Funston Beach Eucalyptus Grove Wykonanie serii zdj!% LDR lustrzanej kuli. Utworzenie obrazu HDR na podstawie zdj!% LDR. Uffizi Gallery Grace Cathedral Lighting Environments from the Light Probe Image Gallery: http://www.debevec.org/probes/
IBL: Tworzenie light probe (2) Tworzenie light probe. Fotografowanie lustrzanej kuli: musi by% zachowana odpowiednia odleg$o#% aparatu od kuli (obiektyw o d$ugiej ogniskowej), aby unikn"% zniekszta$ce& geometrii, nale'y zwróci% uwag! na obszary, w których informacja jest niepe$na (obszar zas$oni!ty przez fotografa, brzeg fotografowanej kuli), rozwi"zaniem problemu jest wykonanie czterech zdj!% co 90 stopni, odbijalno#% kuli powinna by% skalibrowana (kula odbija w przybli'eniu po$ow! energii, która w ni" trafia), kula nie jest idealnie odbijaj"ca, trzeba wzi"% pod uwag! wyst!powanie sk$adowych diffuse i specular (kula nie mo'e by% porysowana i mokra), na kuli wyst!puje efekt Fresnal a wywo$any polaryzacj" padaj"cego na ni" #wiat$a, fotografia musi mie% dostateczn" rozdzielczo#%. IBL: Synteza obrazów Etapy: 1. Utworzenie light probe (próbka #wiat$a). 2. Modelowanie geometrii i w$asno#ci powierzchni. 3. Mapowanie light probe na powierzchni! otaczaj"c" scen! (o w$asno#ciach emisyjnych). 4. Renderowanie sceny (#ledzenie fotonów). 5. Postprocesing. 6. Kompresja luminancji otrzymanego obrazu (TMO). Inne sposoby tworzenia obrazów!rodowiska: ("czenie wielu obrazów w panoram! (ang. tiled photographs). Zastosowanie obiektywu fish-eye (wad" jest silne winietowanie tego typu obiektywów. Zastosowanie kamer do fotografowania panoram (np. firmy Spheron). IBL - Mapowanie light probe Mapowanie light probe na powierzchnie otaczaj"ce scen%. IBL - Rendering metod" #ledzenia fotonów Obliczanie o!wietlenia globalnego z uwzgl%dnieniem light probe. Wykorzystany zosta$ do tego celu sze#cian zawieraj"cy obiekty sceny. Light probe mapowany jest na wewn!trzne #ciany sze#cianu. Wn!trzne sfery traktowane jest jak zbiór obiektów zawieraj"cy rownie' )ród$a #wiat$a. IBL - Rendering metod" #ledzenia fotonów Obliczanie o!wietlenia globalnego z uwzgl%dnieniem light probe. Dla ka'dego piksela obrazu, dla którego promie& trafia w obiekt trzeba wygenerowa% du'" liczb! promieni wtórnych próbkuj"cych light probe. Dla light probe o du'ej wariancji pojawiaj" si! problemy z dok$adno#ci" próbkowania. Je'eli wys$ana zosta$a zbyt ma$a liczba promieni i który# z tych promieni trafi$ w jasny obszar na light probe (np. s$o&ce) to wp$yw tego obszaru na kolor piksela jest bardzo du'y (piksel jest zbyt jasny). IBL - Optymalizacja rendering Identyfikacja $róde#!wiat#a. + = Jasne obszary na light probe zast!powane s" powierzchniowymi )ród$ami #wiat$a o charakterystyce obliczanej na podstawie light probe (kolor, rozmiary, po$o'enie). Renderowane s" dwa obrazy: jeden z uwzgl!dnieniem light probe bez )ród$a #wiat$a (s$o&ce zamalowane jest na czarno), drugi tylko z uwzgl!dnieniem )ród$a #wiat$a. Obrazy s" sk$adane. Zabieg taki pozwala na generowanie poprawnych obrazów przy ma$ej liczbie próbek na piksel. Identyczna liczba próbek jak w przyk$adzie z poprzedniego slajdu.
IBL w czasie rzeczywistym Zamiana light probe na zestaw punktowych b"d$ powierzchniowych $róde#!wiat#a. Obraz mo'na wygenerowa% za pomoc" metod o#wietlenia globalnego. Dobre efekty uzyskuje si! równie' wykorzystuj"c algorytmy uwzgl!dniaj"ce wy$"cznie #wiat$o kierunkowe. IBL - Cienie i odbicia Wp#yw sztucznych obiektów na light probe. Obiekty rzucaj" cie& na otoczenie oraz zmieniaj" kolor otoczenia wskutek odbijania #wiat$a (np. w pobli'u sztucznej czerwonej kuli otoczenie (pod$o'e) powinno by% lekko czerwone). Identyfikacja po!o"enia #róde! $wiat!a w obrazie HDR. Generowanie cieni polega na przygotowaniu modelu 3D fragmentu #rodowiska, na który maj" pada% cienie. - Rezultaty syntezy obrazów - Rezultaty syntezy obrazów
- Rezultaty syntezy obrazów - Rezultaty syntezy obrazów - Rezultaty syntezy obrazów Referencje: Debevec Paul, Image-Based Lighting, ACM SIGGRAPH 2006 Courses. Debevec Paul, Rendering synthetic objects into real scenes: bridging traditional and image-based graphics with global illumination and high dynamic range photography, ACM SIGGRAPH 2008 classes. Paul Debevec homepage, http://ict.debevec.org/~debevec/ IBL - O#wietlanie rzeczywistych obiektów O!wietlanie obrazem HDR rzeczywistych obiektów (np. ludzkiej twarzy). O!wietlenie mo&na sumowa', tzn. dodawa' do siebie obrazy przedstawiaj"ce obiekty o!wietlone pojedynczymi $ród#ami!wiat#a w celu uzyskania o!wietlenia z#o&onego (wieloma $ród#ami!wiat#a). O#wietlanie rzeczywistych obiektów Obraz HDR otaczaj"cy obiekt + 1. Zdj!cie przedstawiaj"ce np. ludzk" twarz 2. Szukanie )róde$ #wiat$a na obrazie HDR 3. Sumowanie obrazów z bazy danych. Wybór obrazów z bazy zale"y od znalezionego po!o"enia #róde! $wiat!a.
IBL - Rejestracja modelu twarzy w bazie danych IBL - Rejestracja modelu twarzy Urz"dzenie Light Stage - wykonanie serii zdj!% z o#wietleniem z ró'nych kierunków. Przygotowanie modelu o#wietlenia rzeczywistego obiektu (serii zdj!% wykonanych przy o#wietleniu pojedynczym )ród$em #wiat$a z ró'nych kierunków) Urz"dzenie Light Stage - wykonanie serii zdj!% z o#wietleniem z ró'nych kierunków. IBL - Rejestracja modelu IBL - Rejestracja modelu Light Stage 6 IBL - Przyk$adowe fotografie z bazy danych IBL: Funkcja odbicia Dla ka'dego piksela obrazu, który chcemy o#wietli%, tworzona jest funkcja odbicia (ang. reflectance function). Funkcja odbicia definiuje wp#yw poszczególnych $róde#!wiat#a na dany piksel. Przyk$adowe fotografie modelu i odpowiadaj"ce im po$o'enie )ród$a #wiat$a. Funkcja odbicia sk$ada si! z tylu warto#ci, ile po$o'e& )ród$a #wiat$a zosta$o zarejestrowane podczas przygotowania modelu o#wietlenia obiektu.
IBL - Algorytm sumowania obrazów O!wietlanie obrazem HDR ludzkiej twarzy. Kolor piksela obrazu wynikowego powstaje poprzez wymno'enie HDRa (light map) i funkcji odbicia piksela, a nast!pnie zsumowanie wszystkich punktów w próbce. HDR z map" otoczenia zmniejszany jest do wielko#ci odpowiadaj"cej liczbie punktów w próbce (liczbie po$o'e& )ród$a #wiat$a w czasie akwizycji modelu). Zmiana o#wietlenia (ang. image based relighting) wykonywana jest w czasie rzeczywistym. Mo'liwe jest wykonywanie oblicze& na obrazach skompresowanych (w dziedzinie cz!stotliwo#ci). Technologia stosowana w grach komputerowych i do produkcji efektów specjalnych w filamach. O!wietlanie obrazem HDR ludzkiej twarzy. Analiza obrazów, wyodr%binienie kana#ów. Literatura 1. P.E. Debevec and J. Malik. Recovering high dynamic range radiance maps from photographs. In Proceedings of SIGGRAPH 97, Computer Graphics Proceedings, Annual Conference Series, pages 369-378, August 1997. 2. Erik Reinhard, Greg Ward, Sumanta Pattanaik, and Paul Debevec. High Dynamic Range Imaging. Morgan Kaufman, Elsevier, 2005. 3. Paul Debevec, Tim Hawkins, Chris Tchou, Haarm-Pieter Duiker, Westley Sarokin and Mark Sagar. Acquiring the Reflectance Field of a Human Face. SIGGRAPH 2000 Conference Proceedings.