Katedra Systemów Multimedialnych Wydział Elektroniki,Telekomunikacji i Informatyki Technologie multimedialne wykład Stereoskopia i holografia Opracowanie: dr inż. Bartosz Kunka dr inż. Piotr Odya Wprowadzenie Stereoskopia jest techniką obrazowania, która pozwala człowiekowi za pomocą specjalnych technik obserwacji percypować obraz przestrzenny, powstały w wyniku złożenia dwóch dwuwymiarowych obrazów widzianych z perspektywy lewego i prawego oka Te dwa obrazy zwane stereoparą reprezentują obiekt z dwóch punktów widzenia, oddalonych tak jak oczy obserwatora (65 mm średnia odległość ludzkich oczu) Mózg scala obrazy z dwojga oczu, dostarczając naszej świadomości jeden trójwymiarowy obraz (tzw. fuzja) W odczucie głębi przekształcone zostają rozbieżności między obrazami z lewego i prawego oka 1
Wprowadzenie Analizując położenie obiektów obserwowanych przez jedno i drugie oko, mózg dostarcza informacji o odległości obiektów między nimi i odległości, jaka dzieli je od obserwatora Percepcja trzeciego wymiaru Ze względu na sposób łączenia obrazów stereopary i metody ich oglądania, wyróżnia się wiele technik obrazowania stereoskopowego 3 Paralaksa stereoskopowa Paralaksa to efekt niezgodności obrazów tej samej sceny obserwowanej z różnych punktów widzenia w dużej mierze decyduje o postrzeganiu głębi (lewe oko widzi świat trochę inaczej niż prawe) rodzaj paralaksy wpływa na rozsunięcie lewej składowej obrazu stereoskopowego względem prawej składowej paralaksa zerowa obraz 2D paralaksa pozytywna wrażenie głębi za ekranem paralaksa negatywna wrażenie głębi przed ekranem efekt pop-out Na paralaksę wpływają: szerokość stereobazy (odległość między środkami obiektywów) relacje geometryczne (położenie) filmowanych/fotografowanych obiektów 4 2
Paralaksa perspektywa widza paralaksa zerowa płaszczyzna ekranu L R 5 Paralaksa perspektywa widza R L płaszczyzna ekranu paralaksa negatywna (ujemna) L R 6 3
Paralaksa perspektywa widza paralaksa pozytywna (dodatnia) L R płaszczyzna ekranu L R 7 Strefa komfortowego oglądania ang. comfort zone (na rysunku CVR) 9 4
Akomodacja a zbieżność W przypadku obrazu 3D (negatywna lub pozytywna paralaksa) mamy do czynienia z niezgodnością akomodacji i zbieżności wzroku niezgodność akomodacji i zbieżności wzroku nie jest naturalna dla ludzkiego wzroku, więc mózg musi podjąć się dodatkowego wysiłku męczące dla widza 10 Rejestracja obrazu stereoskopowego Rejestracja obrazu w większości technik stereoskopowych polega na zastosowaniu: 2 identycznych kamer - kamery umieszczone na specjalnym rigu - metoda najczęściej stosowana kamery dwuobiektywowej - stosowana w profesjonalnych, a ostatnio coraz częściej w amatorskich produkcjach specjalnego adaptera (nasadki na obiektyw) -rozwiązanie głównie amatorskie 11 5
Konwersja 2D do 3D Możliwa jest konwersja obrazu 2D do obrazu 3D Obecnie nawet telewizory zapewniają konwersję 2D -> 3D w czasie rzeczywistym Przykład filmu: Titanic 3D reż.j. Cameron: zaangażowanie 300 osób, 60 tygodni, koszt: 18 mln $ 12 Podział technik stereoskopowych Techniki stereoskopowe można podzielić w zależności od stosowanego filtru kolor (technika anaglifowa, Dolby 3D), polaryzacja (techniki polaryzacyjne) czas (techniki migawkowe) przestrzeń (kaski wirtualne, wyświetlacze autostereoskopowe) 13 6
Technika anaglifowa oparta na filtrach kolorów, wymaga stosowania okularów anaglifowych, w których szkiełko (filtr) na oku lewym jest koloru czerwonego, a szkiełko na oku prawym zależy od oglądanego obrazu: zielone: najlepsze do patrzenia na anaglify monochromatyczne (najbardziej rozpowszechnione kilkadziesiąt lat temu); niebieskie: używane do oglądania kolorowych anaglifów, jego wadą jest usuwanie kolorów w ciemniejszych obrazach; cyjanowe: do anaglifów kolorowych, lepsza separacja składowych obrazu stereoskopowego; pozostawia jaśniejsze i bardziej nasycone kolory obrazu niż szkło niebieskie 14 Technika anaglifowa obraz anaglifowy charakteryzuje się podwójnymi krawędziami większości obiektów prezentowanej sceny wynik połączenia dwóch obrazów: lewy obraz stereopary (z dominującym komponentem czerwonym) prawy obraz stereopary (z dominującym komponentem niebieskim/cyjanowym) komponenty: czerwony i cyjanowy leżą po przeciwnych stronach palety barw (model HSV), filtr czerwony stosunkowo dobrze filtruje składową czerwoną z obrazu anaglifowego nie przepuszcza składowej cyjanowej (analogicznie filtr cyjanowy) 15 7
Technika Dolby 3D wynaleziona w 2007 roku, ulepszona wersja techniki anaglifowej, do lewego i prawego oka trafia światło o nieco innym odcieniu: osobne "zestawy" barwne, które różnią się między sobą tonalnie, 16 Technika Dolby 3D w celu wyświetlenia obrazu stereoskopowego stosuje się specjalny filtr krążkowy, umieszczony między lampą a projektorem, projektor odtwarza film z prędkością 144 klatek na sekundę (tripple flash), na każde oko przypadają 72 klatki, czyli 3 razy więcej niż film kinowy (24) dzięki temu film 3D nie wywołuje nudności i zmęczenia oczu (można oglądać filmy pełnometrażowe), kontroler filtru 17 8
Technika Dolby 3D wymaga stosowania specjalnych okularów, których szkła składają się z 50 warstw (bardzo zaawansowane optycznie) filtry w okularach zapewniają precyzyjne odseparowanie poszczególnych komponentów koloru w każdym zestawie RGB (dla oka lewego i prawego) 18 Technika Dolby 3D możliwość zastosowania w każdym kinie, posiadającym cyfrowy projektor, niepotrzebny specjalny ekran (ale: stosunkowo duża utrata światła - trudność stosowania na dużych ekranach), wysoka jakość 3D z każdego miejsca sali, bardzo dobre odwzorowanie barw, przykładowe filmy prezentowane w Dolby 3D: 19 9
Technika polaryzacyjna oparta na filtrach polaryzacyjnych, wymaga stosowania okularów polaryzacyjnych, których szkiełka (filtry) w przypadku pol. liniowej są spolaryzowane w przeciwfazie, tzn. różnica między polaryzacją jednego i drugiego filtra powinna wynosić 90 o ) w przypadku polaryzacji kołowej (częściej spotykanej) są spolaryzowane w przeciwnych kierunkach (lewo- i prawoskrętnie) L R R L 20 Technika polaryzacyjna Implementacje techniki polaryzacyjnej: IMAX 3D specjalna kamera jednocześnie zapisuje obraz lewej i prawej składowej (stereopary) na dwóch 70mm taśmach filmowych klatka filmowa (70mm, 15 perforacji): 10 razy większa od tradycyjnej taśmy filmowej (35mm, 4 perforacje) technologia IMAX jest wdrażana powoli ze względu na bardzo wysokie koszty wyposażenia sal projekcyjnych 21 10
Technika polaryzacyjna Implementacje techniki polaryzacyjnej: IMAX 3D c.d. ekran kina IMAX: 24m szerokości, 18m wysokości, płaski z rysującą się złożoną krzywizną, rozciągającą się poza krawędź peryferyjnego pola widzenia Porównanie ekranu kina IMAX z ekranem w kinie tradycyjnym Sala kina IMAX 22 Technika polaryzacyjna Implementacje techniki polaryzacyjnej: RealD 3D oparta na polaryzacji kołowej, w kinie: wymagany tylko 1 projektor (wyświetla 144 klatki na sek., bezpośrednio przy soczewce projektora znajduje się modulator (Z-Screen) zmieniający polaryzację światła), konieczność wymiany ekranu na srebrny, w domu: wymagany telewizor 3D, znikoma cena okularów (można je traktować jako jednorazowe) 23 11
Technika polaryzacyjna Problem z rozdzielczością w TV każdy obraz ma 1920x1080 transmisja odbywa się w trybie SBS (Side-by-Side), obraz ma 1920x1080, ale dla jednego oka jest 960x1080 Linie w telewizorze są spolaryzowane naprzemiennie, co ogranicza maksymalną rozdzielczość do 1920x540. Ale dla materiału SBS otrzymuje się 960x540! Rozwiązanie: telewizor 4k ma rozdzielczość 3840x1080 dla każdego z oczu. 24 Technika migawkowa oparta na filtrze czasu, zasada działania (wykorzystanie bezwładności ludzkiego oka): gdy wyświetlany jest obraz dla oka lewego, zasłonięte zostaje oko prawe, dla oka prawego - analogicznie 25 12
Technika migawkowa wyświetlanie obrazów dla lewego i prawego oka na przemian (z równoczesnym przysłanianiem oka dla którego obraz nie jest przeznaczony), częstotliwość wyświetlania obrazów: zazwyczaj 100 klatek na sekundę (im więcej, tym mniejsze zmęczenie wzroku), okulary migawkowe zamiast soczewek mają powierzchnie pokryte ciekłymi kryształami (ang. LCD shutter glasses), 26 Technika migawkowa okulary migawkowe zawsze są aktywne (zasilane: przewodowo lub bezprzewodowo), wymagana jest synchronizacja z wyświetlaczem, tak by w odpowiedniej chwili do odpowiedniego oka trafiał odpowiedni obraz, najczęściej stosowana w grach komputerowych 3D i animacji, ale również w systemach kina domowego 3D 27 13
Porównanie technik Technika stereoskopowa Technika anaglifowa Dolby 3D Zalety - obraz anaglifowy łatwo można uzyskać, - łatwość wyświetlania - dowolny wyświetlacz, -tanie, łatwo dostępne okulary -nie męczy wzroku, - bardzo dobry efekt 3D, -pełna informacja o kolorach, -możliwa do zastosowania w każdym kinie, posiadającym cyfrowy projektor Wady -utrataczęści kolorów, - stosunkowo słaby efekt 3D, - szybko męczy wzrok - stosunkowo drogie okulary, - obecnie stosowana głównie w kinach 28 Porównanie technik Technika stereoskopowa Technika polaryzacyjna Technika migawkowa Zalety -wyświetla wszystkie kolory, - efekt 3d zdecydowanie lepszy niż w technice anaglifowej - dobry efekt 3D, - stosowana w domowych warunkach (gry komputerowych, telewizory 3D), - łatwa dostępność Wady -problemy z wyświetlaniem: - 2 rzutniki z filtrami + ekran dobrze odbijający światło, - specjalny telewizor, -męczy wzrok - okulary aktywne, -częstotliwość odświeżania wyświetlacza co najmniej 100 Hz, -męczy wzrok przy dłuższym oglądaniu 29 14
Kaski wirtualne HMD oparte na filtrze przestrzeni ang. Head-Mounted Display przed każdym okiem umieszczony jest niezależny ekran Najczęstsze zastosowania: symulacje wojskowe, szkolenia personelu specjalistycznego (pilotów, kosmonautów) terapie polisensoryczne systemy rzeczywistości wirtualnej (głównie gry komputerowe) 30 Wyświetlacze autostereoskopowe Autostereoskopia: Technika oglądania obrazów stereoskopowych bez użycia specjalnych okularów i bez stosowania specjalnych technik patrzenia Technologie najczęściej stosowane w autostereoskopii: - raster cylindryczny (soczewki lentikularne), - blokada paralaksy, - holografia (na etapie badań). 31 15
Wyświetlacze autostereoskopowe Raster cylindryczny (układ soczewek) dwa obrazy stereopary są wyświetlane jednocześnie w dwóch kolumnach pikseli (jedna dla oka lewego, druga oka prawego) za rastrem, dla każdego oka tworzy się główna strefa widzenia (w kształcie diamentu), z optymalną separacją stereo. 32 Wyświetlacze autostereoskopowe Bariera paralaksy jednoczesne wyświetlanie dwóch obrazów stereopary, których piksele ułożone są w poziomie (L 1,1 -R 1,1 -L 1,2 -R 1,2 ) w celu ukierunkowania promieni stosuje się barierę (nazywaną również blokadą paralaksy), bariera paralaksy zbudowana jest z elektrycznie przełączalnego LCD, wady: efekt występuje w bardzo wąskim przedziale kątów patrzenia przyciemnienie obrazu konieczność stosowania monitorów o dużej rozdzielczości w poziomie 33 16
Wyświetlacze autostereoskopowe Panoramogram standardowy stereogram (klatka obrazu powstała w wyniku złożenia dwóch obrazów dla lewego i prawego oka) umożliwia ujrzenie efektu 3D tylko naprzeciwko ekranu w celu zwiększenia obszaru w którym oglądany obraz jest rzeczywiście trójwymiarowy stosuje się panoramogramy, w skład których wchodzi znacznie większa ilość obrazów bazowych (stereogramów) firma Sunny Ocean Studio, zaprezentowała na targach CeBIT w 2010 r., 27-calowy monitor umożliwiający oglądanie trójwymiarowego obrazu aż w 64 punktach przed ekranem problem odpowiednie przygotowanie materiału, gdyż konieczne jest renderowanie w tym samym czasie 64 odmiennych klatek obrazu panoramogramy mogą (i powinny) być stosowane w wyświetlaczach opartych na rastrze cylindrycznym i na barierze paralaksy 34 Wyświetlacze autostereoskopowe Wyświetlacz holograficzny wykorzystuje technikę elektroholografii wąskim gardłem rozwoju wyświetlaczy holograficznych jest rozdzielczość przestrzenna od końca lat osiemdziesiątych XX w. laboratorium MIT Media Lab rozwija generowanie hologramów przez komputer 35 17
Zastosowania stereoskopii Film, telewizja, Gry komputerowe, Robotyka: ludzki wzrok zostaje skutecznie zastąpiony przez 2 kamery, operator za pomocą komputera steruje elementem wykonawczym, obraz wyświetlany: anaglifowy lub migawkowy, wykorzystanie np. w miejscach zagrożonych wpływem substancji radioaktywnych lub chemicznych 36 Zastosowania stereoskopii Medycyna: zdalne operacje chirurgiczne lub wsparcie chirurga na sali operacyjnej w edukacji przyszłych lekarzy: filmy 3D z operacji medycznych 37 18
Zastosowania stereoskopii Pomoc nawigacyjna dla niewidomych przetwarzanie informacji zawartej w obrazie trójwymiarowym: wielkość i lokalizacja obiektu w przestrzeni przekazana za pomocą specjalnie kodowanych dźwięków, informacja o odległości za pomocą komunikatów słownych Projektowanie architektoniczne podgląd trójwymiarowego modelu projektowanego obiektu na monitorze 3D 38 Holografia jest jedyną prawdziwą techniką obrazowania 3D, zobrazowane obiekty są perspektywiczne (można je oglądać z dowolnej perspektywy), teoretycznie obiekt i jego obraz powinny być nierozróżnialne, wady (najważniejsze): rejestracja obrazu obiektu musi być wykonywana w ciemnym pomieszczeniu rejestracja i rekonstrukcja obrazu wymaga specjalistycznych urządzeń światło lasera jest niebezpieczne dla ludzkiego wzroku rejestracja obrazu większych obiektów nie jest praktyczna, ponieważ wymagane są lasery dużych mocy (bardzo ciężkie) ciągle rozwijana. 39 19
Holografia w tworzeniu obrazów 3D wykorzystuje falowe właściwości światła (modulację amplitudy (jak w fotografii) i dodatkowo zmiany fazy fali świetlnej) rejestracja polega na zapisie interferencji fali rozproszonej przez przedmiot z falą niezaburzoną (tzw. wiązką odniesienia) wiązka lasera jest dzielona na dwie przez płytkę szklaną (ang. beam splitter); pierwsza (wiązka przedmiotowa) oświetla przedmiot, po odbiciu którego pada na kliszę fotograficzną (ang. photographic plate), natomiast druga (wiązka odniesienia) pada na kliszę bezpośrednio lub po odbiciu od płaskiego zwierciadła kierującego ją na kliszę; w ten sposób otrzymuje się kliszę zwaną hologramem 40 Holografia rekonstrukcja oparta na dyfrakcji; w przypadku rekonstrukcji hologram stanowi siatkę dyfrakcyjną aby uzyskać obraz 3D należy oświetlić kliszę spójnym światłem laserowym, światło to interferując na hologramie odtworzy w polu za siatką konfigurację przestrzenną światła odbitego od obiektu 41 20
Przyszłość holografii (?) teleobecność podczas wideokonferencji interakcja z treścią przestrzenną wyświetlaną przez smartfon, tablet inne 42 Dziękuję za uwagę! 43 21