TECHNOLOGIE MULTIMEDIALNE

Transkrypt

1 KTED SYSTEMÓW MUTIMEDINYCH OTOIUM TECHNOOIE MUTIMEDINE Ćwiczenie 8: METODY TWOZENI OZÓW STEEOSKOPOWYCH 1. Wprowadzenie Opracowanie: dr inż. artosz Kunka dr inż. Piotr Odya Stereoskopia pozwala człowiekowi za pomocą specjalnych technik obserwacji percypować obraz przestrzenny, powstały w wyniku złożenia dwóch dwuwymiarowych obrazów widzianych z perspektywy lewego i prawego oka. Te dwa obrazy zwane stereoparą reprezentują obiekt z dwóch punktów widzenia, oddalonych tak jak oczy obserwatora. Obrazy składowe stereopary różnią się więc jedynie niewielkim kątem widzenia obiektów i szczegółami wzajemnego przesłaniania się obiektów na scenie [3, 7]. Mózg scala obrazy z dwojga oczu, dostarczając jeden trójwymiarowy obraz (jest to tzw. fuzja). 2. Techniki obrazowania stereoskopowego Technika anaglifowa w porównaniu z techniką polaryzacyjną jest, historycznie rzecz biorąc, starsza i efekt trójwymiarowości nie jest w niej tak efektowny jak w technice polaryzacyjnej. Percypowany obraz przestrzenny posiada mniej kolorów w porównaniu z obrazem oryginalnym. Technika anaglifowa wymaga okularów z czerwonym filtrem dla lewego oka i niebieskim (lub cyjanowym, czy zielonym) dla oka prawego. Ze względu na tematykę niniejszego ćwiczenia laboratoryjnego, technika anaglifowa została omówiona bardziej szczegółowo w następnym rozdziale. Technika polaryzacyjna pozwala uzyskać wysokiej jakości efekt obrazu 3D. Jest stosowana zarówno w wybranych kinach 3D (5D Extreme lub IMX 3D), jak i w wybranych telewizorach/monitorach 3D. Ideę techniki polaryzacyjnej najlepiej można zobrazować posługując się przykładem projektorów w kinie. Para projektorów wyświetla obraz przez filtry polaryzacyjne. Obraz odbity od specjalnego ekranu trafia do oczu widza. Dzięki okularom polaryzacyjnym, każde oko odbiera odpowiadającą mu polaryzację fali, związaną z lewą/prawą składową obrazu stereoskopowego [5, 8] rys. 1a. Technika migawkowa (sekwencyjne odtwarzanie obrazów) polega natomiast na wyświetlaniu na ekranie monitora (lub telewizora) obrazów dla lewego i prawego oka na przemian z określoną częstotliwością. W czasie wyświetlania obrazu dla oka lewego zasłonięte zostaje oko prawe i odwrotnie. Wykorzystywane w tej technice okulary noszą nazwę okularów migawkowych (ang. shutter glasses) i mogą być synchronizowane przewodowo lub bezprzewodowo. Jednak zawsze są to okulary aktywne (wymagające zasilania) rys. 1b. 1

2 a) b) ys. 1. Techniki wyświetlania obrazu stereoskopowego w: a) technice polaryzacyjnej, b) technice migawkowej Dolby 3D Technologia Dolby 3D została opracowana przez firmę Dolby aboratories. Po raz pierwszy zaprezentowano ją w październiku 27 r. Cechą charakterystyczną tej technologii jest możliwość wykorzystania jej we większości sal kinowych. W celu wyświetlenia obrazu stereoskopowego stosuje się tutaj specjalny filtr krążkowy, wielkości płyty CD i umieszcza się go między lampą a projektorem. Do lewego i prawego oka trafia światło o nieco innym odcieniu jest to pewne nawiązanie do techniki anaglifowej (wręcz udoskonalenie jej), gdzie rozdzielane były całe kanały barwne. W przypadku Dolby 3D są to osobne "zestawy" barwne, które różnią się między sobą tonalnie - dla każdego oka obraz ma trochę inny odcień. ys. 2 dobrze wyjaśnia tę ideę. ys. 2. Komponenty w poszczególnych kanałach (dla oka i oka ) W wyniku połączenia składowych obrazów widz otrzymuje informacje o pełnej gamie kolorów. Projektor odtwarza film z prędkością 144 klatek na sekundę, na każde oko przypadają 72 klatki, czyli 3 razy więcej niż ma film kinowy (24). Jest to tzw. tripple flash i jest to przewaga systemu cyfrowego nad IMXem. Dzięki temu film wyświetlany w technologii Dolby 3D nie wywołuje nudności i zmęczenia oczu, można więc oglądać bez problemu filmy pełnometrażowe (stąd coraz częstsze propozycje filmów 3D w repertuarach kin). 2

3 a) b) Paralaksa ys. 3. Komponenty warstwy sprzętowej, wykorzystywane w Dolby 3D: a) filtr krążkowy; b) okulary stereoskopowe Dolby 3D [13] Istotnym pojęciem w stereoskopii jest paralaksa. Paralaksę można zdefiniować jako punkt zbieżności osi optycznych obu obiektywów kamer/kamery rejestrujących obraz 3D. W technice obrazowania stereoskopowego przekłada się to bezpośrednio na odległość tego samego punktu (przypisanego do jednego obiektu) pomiędzy lewą i prawą składową obrazu stereoskopowego a) b) c) ys. 4. raficzna interpretacja paralaksy: a) p. negatywna, b) p. zerowa, c) p. pozytywna 3. Technika anaglifowa Technika anaglifowa, podobnie jak większość technik stereoskopowych, polega na rejestracji obrazu z dwóch punktów widzenia, symulujących ludzki wzrok. Środki obiektywów urządzeń rejestrujących obraz (aparaty fotograficzne lub kamery) powinny być oddalone od siebie o 65 mm, czyli o tyle ile wynosi średnia odległość ludzkich oczu. W wyniku rejestracji z użyciem kamer uzyskuje się dwa niezależne strumienie wizyjne. Obraz anaglifowy powstaje w procesie obróbki zapisanych strumieni wideo. Strumień zarejestrowany z perspektywy lewego oka zostaje wykorzystany jako lewa składowa, natomiast strumień niosący informację o obrazie widzianym z perspektywy prawego oka jako prawa składowa obrazu stereoskopowego. Także w procesie postprodukcji dokonywana jest zmiana wartości komponentów koloru każdej składowej. W lewej składowej wartość maksymalną przyjmuje komponent koloru czerwonego, natomiast w prawej komponent niebieski lub zielony. Obecnie najczęściej prawa składowa jest 3

4 4 koloru cyjanowego, w tym przypadku komponenty zielony i niebieski przyjmują wartości maksymalne. Te dwie składowe obrazu zostają scalone w jeden obraz, nazywany anaglifowym. W celu oglądania tak powstałego obrazu, należy korzystać ze specjalnych okularów, które stanowią filtr koloru oddzielny dla każdego oka. Obraz anaglifowy charakteryzuje się podwójnymi krawędziami (czerwoną i niebieską/zieloną/cyjanową) większości obiektów prezentowanej sceny, jak widać na rys. 5. Charakterystyczna w technice anaglifowej jest również utrata części kolorów w percypowanym obrazie przestrzennym. Pomimo tego, że inne techniki stereoskopowe, jak chociażby technika polaryzacyjna czy sekwencyjne odtwarzanie obrazów, dają lepsze efekty, technika anaglifowa jako jedyna umożliwia oglądanie obrazu stereoskopowego na ekranie telewizora czy na monitorze komputera, bez dodatkowego dedykowanego sprzętu. Wymagane są jedynie tanie i łatwo dostępne okulary anaglifowe. a) b) ys. 5. Technika anaglifowa: a) przykładowe zdjęcie anaglifowe [2], b) okulary anaglifowe Podczas laboratorium zbadane zostaną trzy najczęściej stosowane algorytmy tworzenia obrazu anaglifowego: anaglif kolorowy (Photoshop), anaglif pół-kolorowy (zmodyfikowany Photoshop) oraz anaglif Dubois a. naglif kolorowy (ang. Color anaglyph) częściowe odwzorowanie barw, powoduje rywalizację siatkówkową, algorytm Photoshop

5 5 ys. 6. Obraz anaglifowy anaglif kolorowy naglif pół-kolorowy (ang. Half color anaglyph) częściowe odwzorowanie barw słabsze niż dla anaglifu kolorowego mniejsza rywalizacja siatkówkowa w porównaniu z anaglifem kolorowym zmodyfikowany algorytm Photoshop. 1 1,114,587,299 ys. 7. Obraz anaglifowy anaglif pół-kolorowy naglif Dubois a najbardziej zaawansowany algorytm, w każdej składowej obrazu anaglifowego zawarta jest informacja o wszystkich trzech komponentach koloru, najwierniejsze odwzorowanie kolorów, WŻNE! wymaga sprawdzenia dopuszczalnych zakresów jeżeli wartość otrzymana według powyższego wzoru jest mniejsza od to należy przyjąć, analogicznie jeżeli jest większa od 255 to należy przyjąć wartość 255 (dotyczy każdego komponentu koloru obrazu wynikowego) 1,2264,112961,721527,18453,73364,378476,155529,879388,43476,546856,25971,152161,157689,378246,4822,176381,5484,4561

6 Inna postać powyższego równania macierzowego: = = = Technika polaryzacyjna ys. 8. Obraz anaglifowy anaglif Dubois a W odróżnieniu od techniki anaglifowej, wyświetlanie obrazu stereoskopowego w technice polaryzacyjnej wymaga spełnienia pewnych warunków. W przypadku wyświetlania obrazu na ekranie projektora konieczne jest zastosowanie dwóch projektorów, przy czym przed każdym z nich powinien być umieszczony odpowiedni filtr polaryzacyjny (filtry przed lewym i prawym projektorem powinny być spolaryzowane względem siebie w przeciwfazie) jak pokazano na rys. 9. Poza dwoma projektorami należy również zastosować specjalny ekran w celu zniwelowania zmian polaryzacji światła, która następuje przy odbiciu promieni świetlnych od powierzchni ekranu. W technice polaryzacyjnej najczęściej stosuje się specjalne ekrany pokryte cienką warstwą srebra lub aluminium. ys. 9. Technika wyświetlania obrazu stereoskopowego w technice polaryzacyjnej z wykorzystaniem 2 projektorów 6

7 Obraz w technice polaryzacyjnej może być również wyświetlany na ekranie monitora lub telewizora, jednak w tym przypadku wymagane jest zastosowanie specjalnej matrycy. Technikę wyświetlania obrazu stereoskopowego na monitorze polaryzacyjnym przedstawiono na rys. 1. Do oglądania filmu 3D prezentowanego w technice polaryzacyjnej konieczne jest zastosowanie pary okularów polaryzacyjnych, których szkła stanowią filtry zmieniające polaryzację światła odpowiednich składowych obrazu stereoskopowego. Warto dodać, że przy wyświetlaniu obrazu stereoskopowego mamy do czynienia z 2- krotnym zmniejszeniem rozdzielczości pionowej obrazu percypowanego przez widza. Wynika to z faktu, że każda ze składowych obrazu jest wyświetlana naprzemiennie, czyli co drugą linię. Podczas laboratorium zbadana zostanie efektywność obrazowania 3D w technice polaryzacyjnej na monitorze Zalman ZM-M22W. Monitor ten, podobnie jak wszystkie tego typu wyświetlacze stereoskopowe może pracować w dwóch trybach wyświetlania: w trybie 2D i w trybie 3D. Wybór trybu wyświetlania stereoskopowego powoduje ograniczenie obszaru efektywnego wyświetlania z 16 (w płaszczyźnie poziomej) i 16 (w płaszczyźnie pionowej) na 9 (w płaszczyźnie poziomej) i 1 ~12 (w płaszczyźnie pionowej). ys. 1. Technologia obrazowania 3D stosowana w monitorach polaryzacyjnych (tu: Zalman) 7

8 Uwaga! Należy pamiętać o tym, że percepcja obrazu 3D nie następuje od razu po założeniu okularów. Obraz przestrzenny zaczynamy percypować po upływie 2-5 s. 5. Przebieg ćwiczenia Niniejsze ćwiczenie laboratoryjne składa się z trzech części. W pierwszej części studenci implementują cztery algorytmy tworzenia obrazów stereoskopowych w środowisku MT. lgorytmy te powinny być zaimplementowane w skryptach Matlaba (.m). Założeniem tej części jest zapoznanie studentów z technicznymi aspektami powstawania obrazu stereoskopowego w wyniku połączenia dwóch obrazów 2D. W drugiej części ćwiczenia studenci zapoznają się z przykładowym darmowym programem służącym do tworzenia obrazów 3D StereoPhoto Maker. Przy pomocy tego programu studenci będą mogli oceniać wpływ poszczególnych parametrów (m.in. rozsunięcie lewej i prawej składowej) na jakość percypowanego efektu 3D - zarówno w technice anaglifowej, jak i polaryzacyjnej. Założeniem trzeciej części niniejszego ćwiczenia laboratoryjnego jest zapoznanie studentów z darmowym oprogramowaniem do tworzenia wizyjnego obrazu stereoskopowego StereoMovie Maker MT Materiałem badawczym wykorzystywanym w ramach tej części niniejszego ćwiczenia są kolorowe obrazy statyczne. Jak wynika z równań macierzowych opisujących poszczególne algorytmy w rozdziale 4., stworzenie obrazu anaglifowego wymaga operacji na poszczególnych komponentach koloru każdej ze składowych obrazu. Uwzględniając fakt, że obraz kolorowy jest reprezentowany w Matlabie w postaci trzech macierzy dwuwymiarowych, z których każda reprezentuje konkretny komponent koloru (kolejno:, i ). Poniżej zapisano przykładowe instrukcje Matlaba, które mogą okazać się przydatne w implementacji algorytmów tworzenia anaglifów: zdefiniowanie wymiarów obrazu wynikowego oraz określenie typu liczb (przykład): % macierz r domyślnie jest wypełniona zerami, % jest takiego samego rozmiaru jak macierz, a zapisywane % w niej wartości są typu uint8 (zakres: -255) r = zeros(size(), 'uint8'); 8

9 zdefiniowanie odpowiednich komponentów obrazu (przykładowe): r = (:,:,1); (:,:,2) = (:,:,2); obraz r jest komponentem ed obrazu komponent reen obrazu anaglifowego równy jest komponentowi reen obrazu instrukcja warunkowa if (przykład): if x < x = ; end 5.2. StereoPhoto Maker Program służący do tworzenia obrazu stereoskopowego z dwóch obrazów statycznych (fotografii) dostępny w Internecie jako oprogramowanie na licencji freeware. Umożliwia tworzenie użytkowych obrazów 3D w technice anaglifowej, ale nie tylko. Możliwe jest bowiem także przygotowanie obrazu 3D przeznaczonego do wyświetlania na monitorach polaryzacyjnych z zastosowaniem przeplotu (Interlaced). Wyboru metody dokonuje się za pomocą ikon na pasku narzędziowym programu, w razie potrzeby rozwijając listę dostępnych metod: Ponadto należy pamiętać o tym, że wszystkie obrazy powinny być oglądane w trybie pełnoekranowym (skrót klawiszowy: Enter). Wybrane funkcje programu: przesuwanie jednej składowej obrazu względem drugiej (strzałka w lewo, w prawo ); zamiana składowych obrazu ys. 11. Interfejs programu StereoPhoto Maker 9

10 5.3. StereoMovie Maker Ostatnim zadaniem w ramach niniejszego ćwiczenia jest stworzenie filmu 3D z dostarczonych materiałów wizyjnych. W pierwszej kolejności należy wczytać do programu lewą i prawą składową obrazu. Następnie na pasku w dolnej części programu, należy wybrać ikonę odpowiedzialną za wybór metody prezentacji obrazu stereoskopowego: Color naglyph -> color (red/cyan) Color naglyph -> half color (red/cyan) Interlaced W razie potrzeby zamienić składowe obrazu. Sprawdzić jak zmiany wzajemnego położenia obrazów składowych wpływają na percepcję obrazu stereoskopowego (klawisze strzałek). Pamiętać, by oglądać filmy na pełnym ekranie. Nie ma potrzeby zapisywania przygotowanych filmów, należy jednak zademonstrować je prowadzącemu. 6. Zadania 6.1. W katalogu D:\Technologie multimedialne\nazwisko1 nazwisko2\ stworzyć podkatalog 3D. W tym podkatalogu będą zapisywane pliki wynikowe MT: Zaimplementować 3 algorytmy tworzenia obrazów anaglifowych (kolorowy, półkolorowy, Dubois a) oraz algorytm tworzenia obrazów w technice polaryzacyjnej (z przeplotem) w Matlabie. Napisane skrypty (m-file) należy przedstawić prowadzącemu przed zakończeniem zajęć. Obrazy należy oglądać na monitorze polaryzacyjnym (firmy Zalman). Nazwy plików zostaną podane przez prowadzącego. Obrazy otrzymane w wyniku przetworzenia obrazów składowych przez poszczególne algorytmy należy zapisywać w formacie PN. Obrazy wynikowe należy nazwać zgodnie z poniższym schematem: 1_color 2_half-color 3_Dubois 4_polar Wszystkie otrzymane obrazy stereoskopowe należy przedstawić prowadzącemu przed zakończeniem laboratorium StereoPhoto Maker: Dla plików wskazanych przez prowadzącego znaleźć optymalne rozsunięcie lewej i prawej składowej obrazu. Dokonać oceny jakości uzyskanego obrazu 3D oraz percypowanego efektu przestrzenności. 1

11 Porównać efekt obrazu 3D dla czterech różnych algorytmów: color (red/cyan), halfcolor, Dubois oraz Interlaced StereoMovie Maker: Wczytać próbki filmowe wskazane przez prowadzącego. Ocenić wpływ przesuwania składowych obrazu w płaszczyźnie horyzontalnej i wertykalnej na jakość percypowanego efektu 3D. Obie próbki filmowe obejrzeć w trybach: color, half color i Interlaced. Ocenić jakość obrazu stereoskopowego (głębię, fuzję, pojawienie się duchów ) dla różnych metod Po zaprezentowaniu prowadzącemu wykonanych zadań, usunąć z dysku katalog, do którego były zapisywane pliki robocze. 7. Sprawozdanie Każda grupa laboratoryjna powinna przyjść na zajęcia z wydrukowaną formatką sprawozdania. Formatka jest dołączona do niniejszej instrukcji laboratoryjnej. Sprawozdanie jest przygotowywane podczas zajęć. Warunkiem zaliczenia ćwiczenia jest oddanie podpisanego i wypełnionego sprawozdania prowadzącemu zajęcia. 8. ibliografia [1] E.M. Mouaddib, Stereovision with a Single Camera and Multiple Mirrors, IEEE Int. Conf. obotics and utomation, IC 25, 8-85, 25. [2] M. Inaba, stereo viewer based on a single camera with view-control mechanisms, IEEE International Conference on Intelligent obots and Systems, vol. 3, , [3] NKHEDE S., OSHNI F., Stereoscopic imaging: a real-time, in depth look, IEEE Potentials, vol. 23, issue 1, 38-42, 24. [4] O. Schreer, 3D Videocommunication, Wiley 25. [5] [6] [7] [8] [9] [1] [11] [12] [13] 11

12 TECHNOOIE MUTIMEDINE Ćw. 8 Wykonujący: Metody tworzenia obrazów stereoskopowych iczba punktów: rupa: Data wykonania ćwiczenia: 1. Ustosunkować się do różnic w percepcji efektu 3D porównując poszczególne algorytmy tworzenia obrazów anaglifowych. 2. Jakie są zalety i wady metody anaglifowej, a jakie metody polaryzacyjnej? Która pozwala na uzyskanie lepszej jakości obrazu 3. Jak przesuwanie składowych obrazu (w płaszczyźnie poziomej) wpływa na obraz stereoskopowy? 12

13 4. Jak przesuwanie składowych obrazu (w płaszczyźnie pionowej) wpływa na obraz stereoskopowy? 5. Co należy zrobić, by uzyskać efekt wychodzenia obiektu przed ekran? W przypadku której metody efekt ten jest najlepiej dostrzegalny? Dlaczego? 6. Czy zmiany położenie głowy (lewo-prawo, bliżej-dalej) wpływają na jakość obrazu 3D? Dlaczego? 7. Dla jakich scen najłatwiej dostrzec efekt 3D? 8. Własne spostrzeżenia, wnioski i komentarze 13