(12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP (96) Data i numer zgłoszenia patentu europejskiego:

Transkrypt

1 RZECZPOSPOLITA POLSKA (12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP (96) Data i numer zgłoszenia patentu europejskiego: (13) (51) T3 Int.Cl. H04N 13/00 ( ) Urząd Patentowy Rzeczypospolitej Polskiej (97) O udzieleniu patentu europejskiego ogłoszono: Europejski Biuletyn Patentowy 2015/52 EP B1 (54) Tytuł wynalazku: SPOSÓB PRZETWARZANIA INFORMACJI O PARALAKSIE ZAWARTEJ W SYGNALE (30) Pierwszeństwo: EP (43) Zgłoszenie ogłoszono: w Europejskim Biuletynie Patentowym nr 2011/24 (45) O złożeniu tłumaczenia patentu ogłoszono: Wiadomości Urzędu Patentowego 2016/05 (73) Uprawniony z patentu: Koninklijke Philips N.V., Eindhoven, NL (72) Twórca(y) wynalazku: PL/EP T3 BART G. B. BARENBRUG, Eindhoven, NL CHRISTIAN BENIEN, Eindhoven, NL HARALD H. A. VAN WOERKOM, Eindhoven, NL (74) Pełnomocnik: rzecz. pat. Mariusz Kondrat KONDRAT I PARTNERZY Al. Niepodległości 223/ Warszawa Uwaga: W ciągu dziewięciu miesięcy od publikacji informacji o udzieleniu patentu europejskiego, każda osoba może wnieść do Europejskiego Urzędu Patentowego sprzeciw dotyczący udzielonego patentu europejskiego. Sprzeciw wnosi się w formie uzasadnionego na piśmie oświadczenia. Uważa się go za wniesiony dopiero z chwilą wniesienia opłaty za sprzeciw (Art. 99 (1) Konwencji o udzielaniu patentów europejskich).

2 SPOSÓB PRZETWARZANIA INFORMACJI O PARALAKSIE ZAWARTEJ W SYGNALE Opis DZIEDZINA WYNALAZKU [0001] Niniejszy wynalazek dotyczy sposobu i urządzenia do przetwarzania informacji o paralaksie zawartej w sygnale. TŁO WYNALAZKU [0002] Urządzenia do wyświetlania trójwymiarowego (3D) dodaje trzeci wymiar (głębia) do wrażenia wizualnego poprzez dostarczenie do każdego oka widza różnych widoków sceny, która jest oglądana. EP ujawnia sposób i urządzenie wyświetlające zapewniające film trójwymiarowy. Wiele urządzeń wyświetlających 3D używa wejścia stereo, co oznacza, że dostarczane są dwa różne, ale powiązane ze sobą widoki. Jest to wykorzystywane, na przykład, w standardowym kinie 3D, (w którym okulary są wykorzystywane do oddzielania lewego i prawego widoku oczu widza). Zamiast tego, dostarczanych jest na przykład 50 klatek (danych widoku) na sekundę, w systemie stereofonicznym dostarczanych jest 100 klatek na sekundę, z których 50 dla lewego oka i 50 dla prawego oka. Każda klatka z pary zawiera nieco inny widok tej samej sceny, które mózg łączy, żeby stworzyć obraz trójwymiarowy. W wyniku przyjęcia tej technologii w kinach 3D, istnieje wiele dostępnych zawartości stereo. Możliwe jest również, że istnieją entuzjaści kina domowego, którzy zechcą powtórzyć doświadczenie kinowe w domu i zbudować lub zainstalować systemy projekcji stereo. [0003] Jednakże, stosowanie okularów, które są związane z systemami stereo 3D jest kłopotliwe dla wielu zastosowań, takich jak znakowanie 3D, a także bardziej swobodnego oglądania 3DTV w domu. Systemy niewymagające okularów (zwane również systemami auto-stereoskopowymi) często dostarczają więcej niż dwa widoki sceny, aby zapewnić swobodę ruchu widza, a ponieważ liczba widoków zmienia się, przedstawienie, które jest często używane w tych zastosowaniach to obraz + format głębi, w którym jeden obraz i jego mapa głębi dostarczają informacji wymaganych do renderowania tylu widoków, ilu potrzeba. [0004] Problem, który wiąże się z systemami, które dostarczają informację o paralaksie jest to, że struktura informacji o paralaksie (która jest dodatkowa do danych obrazu) będzie optymalizowana dla szczególnego docelowego systemu lub urządzenia do renderowania. Na przykład, jeśli dostarczana jest mapa głębi, może być zaprojektowana wraz ze szczególnym systemem docelowym, w pamięci. Na przykład, przy tworzeniu mapy można przyjąć, że 1

3 system końcowy jest zaprojektowany w celu zapewnienia 6 różnych widoków (użytkownik będzie zawsze widział tylko dwa z sześciu widoków, w zależności od ich położenia). Wybór 6 widoków może być oparty na tym, co jest odbierane jako najbardziej (lub średnio) prawdopodobna konfiguracja systemu końcowego. Jednakże informacja o paralaksie zawarta w sygnale może nie być odpowiednia do renderowania, które jest wykonywane w urządzeniu wyświetlającym. KRÓTKI OPIS WYNALAZKU [0005] Przedmiotem niniejszego wynalazku jest poprawa wynalazku znanego ze stanu techniki. [0006] Niniejszy wynalazek jest określony w zastrzeżeniach niezależnych. Według jednego aspektu, niniejszy wynalazek dotyczy sposobu przetwarzania sygnału, zawiera: otrzymanie sygnału zawierającego informację o paralaksie i informację o obrazie, uzyskanie pierwszych danych z sygnału wskazującego pierwsze ograniczenia mapy paralaksy, uzyskanie drugich danych z sygnału wskazującego drugie ograniczenia mapy paralaksy, określenie trzecich danych odpowiadających trzecim ograniczeniom mapy paralaksy docelowego urządzenia wyświetlającego za pomocą środków do przetwarzania przynajmniej pierwszych danych i drugich danych, pierwsze dane i drugie dane wykorzystywane są jako wejściowe w generowaniu trzecich danych, trzecie dane są przystosowane do generowania uaktualnionego sygnału odpowiadającego ograniczeniom informacji o mapie paralaksy docelowego urządzenia wyświetlającego. [0007] Jest możliwe, w przypadku, gdy ani pierwsze, ani drugie dane nie odpowiadają ograniczeniom urządzenia docelowego, aby korzystać z danych jako wejściowych w generowaniu uaktualnionych trzecich danych, które odpowiadają urządzeniu docelowemu. Informacją o obrazie może być nieruchomy obraz lub klatka lub zakres sekwencji wideo. [0008] W jednym z przykładów wykonania, pierwsze dane i drugie dane są przekształceniami informacji o paralaksie, pierwsze i drugie ograniczenia mapy paralaksy są pierwszym i drugim zakresem głębi dla informacji o obrazie, trzecie dane są przekształceniem trzeciej informacji o paralaksie i trzecie ograniczenie mapy paralaksy jest trzecim zakresem głębi. [0009] Termin informacji o paralaksie rozumie się jako informacja dotycząca głębi lub informacja związana z rozbieżnością, lub kombinację ich obu. Tutaj informacja związana z głębią jest używana do informacji, która stanowi wskazówkę, co do pozornej odległości 2

4 informacji o obrazie do widza/kamery. Z kolei informacja związana z rozbieżnościami jest używana do informacji, która stanowi wskazówkę, co do pozornego przesunięcia elementów obrazu między widokami, czyli przemieszczenia w obrazach dla lewego oka i prawego oka. [0010] W jednym z przykładów wykonania, przekształcenie pierwszej informacji o paralaksie jest przekształceniem informacji o tożsamości odbieranej mapy paralaksy. [0011] W jednym z przykładów wykonania, drugie przekształcenie informacji o paralaksie jest przekształceniem informacji o paralaksie uzyskanym poprzez zastosowanie przekształcenia informacji o tożsamości jako wejściowej, które jest przetwarzane, wynikiem przetwarzania jest wyprowadzenie drugiego przekształcenia informacji o paralaksie. [0012] W jednym z przykładów wykonania, sygnał jest sygnałem wizyjnym i w którym drugie przekształcenie informacji o paralaksie zawiera się w sygnale wizyjnym jako metadane. [0013] W jednym z przykładów wykonania, metadane zawierają przynajmniej jedną spośród: funkcję mapowania odnoszącą się do informacji o paralaksie, odwrotność funkcji mapowania odnoszącą się do informacji o paralaksie, oraz współczynnik dla funkcji mapowania odnoszącej się do informacji o paralaksie. [0014] W niektórych przypadkach może być konieczne lub możliwe określenie, na przykład informacji różnicującej z kina stereo, a następnie dodanie mapowania w celu przekształcenia tych rozbieżności do formatu bardziej pożądanego dla zmniejszonego zakresu głębi wyświetlacza domowego 3D. Rozbieżności dla końcowego zakresu (będąca wynikiem zastosowania przekształcenia) jest to tylko pierwszy zakres generowany na końcu odbiorczym w domu. Te metadane są wstecznym mapowaniem mającym na celu cofnięcie mapowania, które zostało wykonane po stronie tworzenia zawartości. [0015] Według tego, przynajmniej drugie przekształcanie informacji o paralaksie może być uważane za dostosowaną informację o paralaksie odpowiednią dla konkretnego końcowego odbiornika. Zasada metadanych jest taka, że umożliwia uzyskanie danych, które inaczej nie mogłyby być otrzymane z (pierwotnie) informacji o paralaksie bez tych metadanych. Na przykład, pierwsza informacja o paralaksie jest przesyłana do urządzenia wyświetlającego w 3D. Metadane dotyczące generacji informacji o paralaksie, czyli metodologii tego, w jaki sposób zostały one otrzymane (na przykład za pomocą funkcji lub tablicy przeglądowej i tym podobnych). Metadane pozwalają na to, żeby odbiornik działał wstecz z informacji o paralaksie do danych źródłowych, które zostały użyte do utworzenia informacji o paralaksie 3

5 lub nowej informacji o paralaksie lepiej nadającej się do konkretnego urządzenia docelowego. Powoduje to, że tworzone jest wspomniane drugie ograniczenie informacji o paralaksie, tzn. informacja o paralaksie, która jest dostosowana do wyświetlacza 3D po stronie odbiorczej. [0016] W jednym z przykładów wykonania, etap określania trzecich danych odpowiadających trzeciemu ograniczeniu mapy paralaksy urządzenia docelowego zawiera interpolację pomiędzy dwoma odpowiednimi przekształceniami informacji o paralaksie z zestawu przekształceń informacji o paralaksie, ten zestaw przekształceń informacji o paralaksie zawiera przekształcenia pierwszej i drugiej informacji o paralaksie, trzecie dane stanowią przekształcenie trzeciej informacji o paralaksie odpowiadające zakresowi głębi urządzenia docelowego. [0017] Idealnie, wyświetlacz 3D może pokazać szeroki zakres paralaksy. To jednak wymaga kilku warunków oglądania, jakie należy spełnić, np. ekran musi być duży, ekran musi być oglądany z dużej odległości i oddzielenie pomiędzy widokami musi być bardzo dobre. Te warunki oglądania nie zawsze są spełnione. Dlatego też, ta pierwotna głębia prowadzi do wymienionego pierwszego zakresu paralaksy, podczas gdy wymienione drugie przekształcenie informacji o paralaksie ma skutek w drugim sygnale głębi wraz z wymienionym drugim zakresem paralaksy. Zaletą tego przykładu wykonania jest to, że gdy zakres paralaksy urządzenia wyświetlającego 3D nie odpowiada żadnemu z tych zakresów, nowe przekształcenie można zostać obliczone z dwóch (lub więcej) przekształceń, np. interpolacji. W ten sposób, zakres głębi sygnału może być precyzyjnie dopasowany do dostępnego zakresu paralaksy wyświetlacza 3D, umożliwiając w ten sposób lepsze renderowanie 3D. [0018] W jednym z przykładów wykonania, zestaw przekształceń informacji o paralaksie ponadto zawiera dalsze przekształcenia informacji o paralaksie oparte na dalszych danych z sygnału. [0019] W jednym z przykładów wykonania, przekształcenie informacji o paralaksie wykorzystywane jako wejściowe przy określaniu uaktualnionego przekształcenia informacji o paralaksie wybiera się w oparciu o regułę wyboru. W jednym z przykładów wykonania, reguła wyboru określa wybrane przekształcenie informacji o paralaksie, które mieści się w uprzednio określonym zakresie głębi urządzenia docelowego. Ten uprzednio ustalony zakres powinien być np. najbliższą wielkością zakresu głębi. 4

6 [0020] W jednym z przykładów wykonania, urządzenie docelowe jest system wyświetlania 3- wymiarowego (3D), i w którym odpowiednie ograniczenia mapy paralaksy zawierają przynajmniej jeden spośród następujących: paralaksę lub zakres głębi urządzenia wyświetlającego w 3D, odległość wyświetlania pomiędzy widzem a urządzeniem wyświetlającym w 3D oraz parametr lokalizacji wskazujący pozycję widza w stosunku do urządzenia wyświetlającego w 3D. [0021] W jednym z przykładów wykonania, uaktualniony sygnał jest następnie przekazywany do urządzenia docelowego, w którym uaktualniony sygnał jest wykorzystywany do dostosowania mapy paralaksy w celu renderowania elementów obrazu do informacji o widoku dla obrazu trójwymiarowego, który mieści się w dostępnym zakresie paralaksy docelowego urządzenia. W związku z tym, przetwarzanie informacji o paralaksie może być wykonane na zewnątrz np. urządzenia wyświetlającego w trzecim wymiarze (3D). [0022] Według innego aspektu, niniejszy wynalazek dotyczy produktu w postaci programu komputerowego do instruowania jednostki przetwarzającej w celu wykonania powyższych etapów sposobu, gdy produkt jest uruchomiony na komputerze. [0023] Według jeszcze innego aspektu, niniejszy wynalazek dotyczy urządzenia do przetwarzania informacji o paralaksie zawartej w sygnale, zawierającego: odbiornik do odbierania sygnału zawierającego przynajmniej jedną mapę paralaksy związaną z informacją obrazu, procesor do uzyskiwanie pierwszych danych z sygnału wskazującego pierwszego ograniczenia mapy paralaksy, uzyskiwanie drugich danych z sygnału wskazującego drugie ograniczenie mapy paralaksy, i określanie trzecich danych odpowiadających trzeciemu ograniczeniu mapy paralaksy urządzenia docelowego za pomocą środków do przetwarzania przynajmniej pierwszych i drugich danych, trzecie dane są dostosowane do generowania uaktualnionego sygnału odpowiadającego ograniczeniom informacji o mapie paralaksy urządzenia docelowego. [0024] W związku z powyższym, zapewnione jest urządzenie, które jest w stanie, w przypadku, gdy ani pierwsze ani drugie dane nie odpowiadają ograniczeniom urządzenia 5

7 docelowego, zastosować dane jako wyjściowe w generowaniu uaktualnionych trzecich danych, które odpowiadają urządzeniu docelowemu. Informacją o obrazie może być nieruchomy obraz, lub klatka lub pole sekwencji wideo. [0025] Urządzenie może być integralną częścią dekodera, odtwarzacza Blu-ray, urządzenia wyświetlającego w 3D, wyświetlacza stereo, komputera PC lub komputera przenośnego. [0026] Według jeszcze innego aspektu, niniejszy wynalazek odnosi się do urządzenia wyświetlającego w trzecim wymiarze (3D) zawierającego wymienione urządzenie. [0027] W jednym z przykładów wykonania, urządzenie wyświetlające w 3D jest autostereoskopowym systemem wyświetlania. [0028] Urządzenie wyświetlające w 3D jest autostereoskopowym systemem wyświetlania lub autostereoskopowym wyświetlaczem stereo. [0029] Każdy z aspektów niniejszego wynalazku może być łączony z dowolnym z innych aspektów. Te i inne aspekty wynalazku staną się oczywiste i zostaną objaśnione w odniesieniu do przykładów wykonania opisanych poniżej. KRÓTKI OPIS RYSUNKÓW [0030] Przykłady wykonania wynalazku zostaną opisane wyłącznie na zasadzie przykładu, z odniesieniem do rysunków, na których Fig. 1 przedstawia zależność pomiędzy paralaksą ekranu p, odległością wyświetlania D pomiędzy widzem i wyświetlaczem, odległością oka x B i odległością postrzeganą z p obiektu mierzonego od płaszczyzny ekranu, Fig. 2 przedstawia porównanie zakresów głębi typowych dla stereo TV, kina, wyświetlaczy autostereoskopowych według aktualnego stanu wiedzy, Fig. 3 przedstawia schemat blokowy sposobu według niniejszego wynalazku, Fig. 4 przedstawia mapę paralaksy przed przekształceniem, Fig. 5 przedstawia przykład przekształcenia paralaksy dla ograniczonych ekranów, Fig. 6 przedstawia mapę paralaksy po przekształceniu, Fig. 7 przedstawia kolejny przykład mapowania paralaksy, Fig. 8 przedstawia graficznie przykład interpolacji między dwoma przekształceniami informacji o paralaksie w celu otrzymania przekształcenia trzeciej informacji o paralaksie odpowiadającego ograniczeniom urządzenia docelowego, 6

8 Fig. 9 przedstawia urządzenie według niniejszego wynalazku, i Fig. 10 przedstawia urządzenie wyświetlające w trzecim wymiarze (3D) według niniejszego wynalazku, zawierające wymienione urządzenie. OPIS PRZYKŁADÓW WYKONANIA Wprowadzenie do Stereoskopowego Postrzegania Głębi: [0031] Patrząc, w jaki sposób ludzie postrzegają głębię w realnym świecie, ludzie widzą świat za pomocą dwojga oczu, i każde oko widzi świat z nieco innej pozycji. Mózg łączy obrazy z lewego i prawego oka, aby uzyskać wrażenie trójwymiarowości. [0032] Głębia jest postrzegana za pomocą różnych wskaźników głębi, z których niektóre wykazują działanie nawet poprzez zamknięcie jednego oka (lub jeśli osoba patrzy na fotografię lub telewizor). Są one nazywane jednoocznymi wskaźnikami głębi (z wyłączeniem akomodacji). Wskaźniki głębi, które wymagają udziału obu oczu, są nazywane dwuocznymi wskaźnikami głęb. [0033] Jednooczne wskaźniki głębi obejmują perspektywę, paralaksę ruchową, gradient tekstury, względną wielkość, interpozycję, cieniowanie, głębię pola i akomodację. Akomodacja oznacza, że gdy oczy są skupione na określonym obiekcie, mózg może oszacować odległość tego obiektu na podstawie napięcia mięśnia oka, które steruje ostrością. Jest to jedyny absolutny jednooczny wskaźnik, wszystkie inne są względne. [0034] Dwuocznymi wskaźnikami głębi są konwergencja i stereoskopia. Konwergencja oznacza, że osie oczu osoby zbiegają się na obiekcie, na który osoba patrzy. Jeśli dana osoba patrzy na nieskończenie odległy obiekt, oczy są równoległe względem siebie, a gdy osoba stara się patrzeć na czubek własnego nosa, linie oczu stają się skrzyżowane. Konwergencja jest również wskaźnikiem absolutnym, podobnie jak akomodacja. Jednak, akomodacja i konwergencja są tylko niewielkimi wskaźnikami w porównaniu do stereoskopii. Stereoskopia, czasami określana jako triangulacja, oznacza kalkulację głębi dokonywaną za pomocą przetwarzania obrazu, które ludzki mózg stosuje na podstawie rozbieżności między obiektami na siatkówce oka prawego i lewego. [0035] Rozważając, w jaki sposób działa stereoskopowe postrzeganie głębi w kinie 3D lub na innym stereoskopowym lub autostereoskopowym wyświetlaczu, stosuje się technikę pokazania innego obrazu dla każdego oka. Można to osiągnąć przez kodowanie lewego oraz prawego obrazu z innym kolorem (anaglif, Dolby/Infitec), za pomocą światła spolaryzowanego lub pokazując sekwencyjnie obrazy lewe i prawe. Wszystkie te metody 7

9 wymagają noszenia przez widza okularów w celu odfiltrowania lewych i prawych obrazów. Alternatywą są autostereoskopowe wyświetlacze, które nie wymagają od widza noszenia okularów, ale pokazują różne obrazy do lewego i prawego oka, w oparciu np. o bariery lub soczewki na wyświetlaczu. Jakość wszystkich metod jest określona przez to, jaki dobry jest rozdział pomiędzy prawym i lewym obrazem. Jeśli jakaś część lewego obrazu jest widoczna w prawym oku (lub odwrotnie), otrzymany efekt nazywa się zakłóceniem obrazu lub efektem zmieszania obrazów dla lewego i prawego oka, a to może ograniczyć wrażenie 3D. [0036] Obiekty, które pojawiają się na płaszczyźnie ekranu mają identyczne obrazy dla lewego i prawego oka. Każdy obiekt unoszące się za lub przed ekranem jest lekko przesunięty w lewym/w prawym obrazie. Przesunięcie w obrazie jest zazwyczaj mierzone w pikselach, a nazywa się rozbieżnością. Skutkiem tego jest inny efekt zależny od rozdzielczości obrazu i wielkości ekranu, patrzenie tylko na przesunięcie obiektu na płaszczyźnie ekranu, co jest dalej zwane paralaksą ekranu. Jest ona definiowana jako fizyczna odległość, która ma być niezależna od konkretnej rozdzielczości lub wielkości ekranu. [0037] Figura 1 przedstawia stosunek pomiędzy paralaksą ekranu p, odległością wyświetlania D pomiędzy widzem i wyświetlaczem, odległością oka x B i postrzeganą odległością z p obiektu, mierzoną od płaszczyzny ekranu. Oś x przedstawia panel wyświetlacza, a oś z przedstawia odległość od panelu wyświetlacza. [0038] Relacja może być wyrażona w następujący sposób: [0039] Możliwe jest uzyskanie następujących właściwości z równania: Paralaksa ekranu p wynosi 0 wówczas, gdy postrzegana głębia z p wynosi 0. [0040] Paralaksa ekranu p jest dodatnia, kiedy obiekt wydaje się być z tyłu ekranu, jak i ujemna, kiedy obiekt wydaje się być z przodu ekranu. [0041] Dla nieskończenie odległych obiektów (z p ), p jest równe odległości oka x B. Jest to górna granica p. [0042] Obiekt, który unosi się w połowie drogi między widzem a ekran (z p ) ma paralaksę p = -x B. 8

10 [0043] Obiekt, który ma odległość od widza ma paralaksę p = -2x B i obiekt, który ma odległość ma paralaksę p = -3x B, i tak dalej. [0044] Czasami łatwiej jest sformułować równanie w inny sposób. Zamiast na bezwzględnej odległości od płaszczyzny ekranu, możliwe jest, aby skupić się na względnej odległości obiektu od widza (przy użyciu odległości ekranu D jako odniesienia). Względna głębia może być wyrażona jako: [0045] Środek ten jest czasem nazywany pozorną głębią. Jeśli d wynosi 100%, obiekt wydaje się być na płaszczyźnie ekranu, jeśli d wynosi 50%, obiekt unosi się w połowie drogi między widzem a ekranem. Jeśli jest większa niż 100%, obiekt wydaje się być z tyłu ekranu. Przepisując pierwotne równanie w kategoriach d, i rozwiązując je dla d, otrzymujemy [0046] Powyższe równania są ogólne i dotyczą ekranów we wszystkich rozmiarach, i odległości oglądania. Niestety, nie tak łatwo jest uzyskać doskonałe doświadczenie 3D na prawdziwym ekranie, ze względu na następujące powody: rozmiar ekranu jest ograniczony, występuje niedopasowanie akomodacji/konwergencji, brakuje paralaksy ruchowej, i [0047] Pole widzenia jest ograniczone. 9

11 [0048] Aby dowiedzieć się, dlaczego wielkość ekranu jest problemem, trzeba spojrzeć na tak zwane okno stereo, które jest ramką wokół widocznego obrazu. Przez przesunięcie lewego i prawego obrazu w poziomie możliwe jest wpływanie na to, które obiekty pojawiają się na płaszczyźnie ekranu, przed nim lub za nim. Każdy obiekt znajdujący się za płaszczyzną ekranu automatycznie wydaje się naturalny, jak gdyby był oglądany przez prawdziwe okno. Problemy pojawiają się wtedy, gdy obiekty, które unoszą się przed ekranem zostają odcięte przez granicę ekranu. Jest to nazywane wiolacją okna. Jeśli, na przykład, obiekt unosi się przed ekranem i styka się z lewą granicą obrazu dla lewego oka, części obiektu są odcinane w obrazie dla prawego oka. Ludzki mózg dostaje sprzeczne wskaźniki, wskaźniki stereoskopowy informuje go, że obiekt znajduje się przed ekranem, ale wskaźnik okluzji informuje go, że obiekt jest ukryty za granicą ekranu, a zatem musi być z tyłu ekranu. W mniejszym stopniu również staje się nienaturalne to, że obiekty zostają odcięte na górnej lub dolnej granicy. [0049] Obecnie tylko ekran IMAX jest na tyle szeroki, aby nikt nie musiał się martwić o wiolację okna na lewej/prawej granicy. Na normalnych ekranach kinowych (w przybliż. 10 m szerokości), wiolacja okna zaczyna być problemem, a w telewizorach 3D taki problem jest nieunikniony. Patrząc na powyższe równania, można zobaczyć, że aby uzyskać ten sam efekt 3D w zakresie głębi względnej, fizyczna paralaksa ekranu jest identyczna, niezależnie od wielkości ekranu. Aby pokazać nieskończenie dalekie obiekty w kinie, lewe i prawe obrazy są przesuwane o x B = 65 mm. To jest w przybliżeniu 0,5% szerokości ekranu. Aby pokazać nieskończenie dalekie obiekty w telewizorze 3D, lewe i prawe obrazy są przesuwane również o 65 mm, ale teraz zmiana dotyczy prawie 5% szerokości ekranu. Aby pokazać obiekt, który unosi się przed ekranem przy względnej odległości wynoszącej 25%, potrzebny jest margines równy przynajmniej 1,5% szerokości ekranu kinowego, ale już 15% szerokości telewizora. Tak więc, o wiele trudniej jest uzyskać obiekty unoszące się przed nosem widza za pomocą telewizora 3D. Sprawdza się to tylko dla obiektów, które znajdują się bardziej lub mniej po środku ekranu. [0050] Wniosek jest taki, że mniejsze ekrany automatycznie ograniczają głębię, która może być pokazana. [0051] Innym ważnym problemem jest niedopasowanie akomodacji/konwergencji. Niezależnie od tego, gdzie pojawia się obiekt, z tyłu czy z przodu ekranu, widz stale musi skupiać wzrok na ekranie. Po prostu, tylko jeden z dwóch bezwzględnych wskaźników głębi jest używany w stereoskopowej projekcji, co jest sprzeczne z drugim wskaźnikiem. Dla widza niedoświadczonego w trójwymiarze, zasadą jest, aby unikać rozbieżności w siatkówce 10

12 wynoszących ponad 1,5 stopnia. Każda wyższa niż 1,5 stopnia wartość prowadzi do przemęczenia wzroku, a czasami widzowie nie są w stanie połączyć obu obrazów w jeden, i nie widzą żadnego efektu 3D. To zależy przede wszystkim, od jakości jednoocznych wskaźników głębi, które pomagają nam łączyć obrazy ze stereoskopią. Zróżnicowanie siatkówkowe może być obliczone w następujący sposób: [0052] Ponownie, kino 3D ma tę zaletę, ponieważ fizyczna paralaksa p jest mała w porównaniu z odległością ekranu D. Zakładając, że odległość ekranu to D=10m, wówczas zróżnicowanie siatkówkowe dla nieskończenie dalekich obiektów wynosi tylko około 0,37 stopnia. [0053] Obiekty, które unoszą się przy względnej odległości wynoszącej 20% mają zróżnicowanie siatkówkowe równe 1,48 stopnia, i znajdują się prawie tak blisko jak powinny znajdować się w kinie. [0054] Patrząc ponownie na równania dla głębi względnej załóżmy, że widz siedzi przed ekranem stereo. Obiekty z głębią względną równą 50% wydają się być w połowie drogi między widzem a ekranem. Teraz, przysuwając się bliżej ekranu - ten sam obiekt wciąż ma głębię względną równą 50%, ale jego głębia zmienia się w stosunku do wielkości na ekranie. Taki obiekt ma mniejszą głębię absolutną. Jeżeli widz odsuwa się od ekranu, głębia absolutna wzrasta. Tylko w niektórych sweet spot widz zyskuje prawidłowy stosunek pomiędzy głębią i wielkością 2D. Jeśli widz siedzi w takiej pozycji, pole widzenia (tzn. kąt, pod jakim ekran wydaje się duży) jest takie samo jak pole widzenia kamery. Stan ten nazywany jest także orto-stereoskopią, jest to idealne odwzorowanie głębi, która została zaobserwowana przez kamerę. [0055] Możliwe jest osiągnięcie tych warunków dla wszystkich widzów. Nawet dla jednego widza, to znaczy, że cała zawartość ma być utworzona z użyciem jednej kamery i bez powiększenia. Widzowie mogą łatwo tolerować zbyt małą głębię, ponieważ to właśnie do tego są przyzwyczajeni w telewizorach 2D i kinie 2D, dlatego należy unikać zbyt dużej głębi, która wygląda nienaturalnie. Jak Skalowanie Głębi funkcjonuje na różnych Ekranach: 11

13 [0056] Skalowanie głębi jest procesem przekształcania głębi zapisanej w formacie do zakresu głębi ekranu docelowego. Termin skalowanie głębi korzystnie oznacza mapowanie rozbieżności/paralaksy do innej rozbieżności/paralaksy. Różne formaty takie jak format WOWvx mogą pokazać 3D na dowolnym ekranie, od autostereoskopowych wyświetlaczy w telefonach komórkowych do projekcji stereo w kinach, poprzez korzystanie zawsze z możliwości pełnej głębi każdego ekranu, podczas gdy zmęczenie oczu i dyskomfort oglądania zmniejszają się do minimum. Należy jednak zauważyć, że format ten nie powinien być ograniczony do pewnego formatu 3D, ale równie dobrze mogą być stosowane inne formaty takie jak 2D powiększonej głębi i format interfejsu. [0057] Celem jest, aby pokazać zawartość posiadającą odpowiedni format na dowolnym dostępnym ekranie 3D, od ręcznych urządzeń do sali kinowych. Jako taki, format powinien zawierać szeroki zakres głębi, tak, żeby wystarczająco dużo informacji było dostępnych, aby pokazać zawartość na dużych ekranach. Jak wspomniano powyżej, wiele czynników należy uwzględnić, aby znaleźć optymalne przekształcenie pierwotnej informacji o głębi do ekranu docelowego. [0058] Począwszy od dużych ekranów, a następnie poprzez ekrany dostosowane rozmiarowo do trzymania w dłoni bada się, jaka jest optymalna konfiguracja dla każdego rozmiaru ekranu. [0059] Założono, że dostarczono plik, który zawiera zakres głębi równy 25% do nieskończoności w zakresie głębi względnej. Oznacza to, że najbliższe obiekty unoszą się przed publicznością w ¼ odległości od ekranu, a najdalsze obiekty znajdują się w nieskończonej głębi. Zakres paralaksy wynosi od 65 mm (nieskończenie daleko) do -195 mm (25% głębi względnej). Ekrany Kinowe: [0060] Na ekranie kinowym lub dokładniej, na dowolnym ekranie kinowym, odległość między publicznością i ekranem jest wystarczająco duża tak, aby rozbieżność akomodacji/konwergencji nie stanowiła problemu, i żeby nikt nie spodziewał się problemów z oknem stereo. W związku z tym, każdy ekran kinowy może pokazać zakres głębi, który jest zakodowany w odpowiednim formacie i nie ma potrzeby, aby przekształcać informację o głębi. Należy zauważyć, że nie jest tak samo, gdy pokazywany jest ten sam obraz stereo na każdym ekranie - fizyczna paralaksa ekranu pozostaje taka sama, ale prowadzi do rozbieżności pikselowej, która zależy od wielkości ekranu i rozdzielczości pikselowej. Wyjątkiem jest IMAX, ponieważ tam pole widzenia jest większe niż w normalnych kinach. 12

14 Aby zachować proporcje aspektu głębi zawartości, która została utworzona dla normalnego kina, może być korzystne przesunięcie płaszczyzny ekranu z dala od publiczności. Telewizja stereoskopowa 3D: [0061] Biorąc pod uwagę stereoskopową telewizję 3D z okularami 3D oraz ekran o szerokości około 1 m (o przekątnej około 45"), zwykła odległość między publicznością i telewizorem wynosi 3m. [0062] Oczywiste jest, że nie jest możliwe, aby pokazać cały zakres głębi pierwotnej zawartości, ponieważ 25% głębi względnej doprowadzi do zróżnicowania siatkówkowego wynoszącego 3,72 stopnia - ogólnie postrzeganego, jako zbyt wysoki dla komfortowego oglądania. Nawet nieskończona głębia może prowadzić do zmęczenia oczu, jeśli widz musi patrzeć na to w sposób ciągły, choć zróżnicowanie siatkówkowe wynosi tylko 1,24 stopnia. [0063] Innym problemem jest to, że paralaksa ekranu wynosząca -195 mm obejmuje prawie 20% ekranu. Wymagałoby to marginesu wynoszącego przynajmniej 20% po obydwu stronach obiektu, który ma unosić się przed ekranem, aby nie naruszać okna stereo. [0064] Dodatkowo, jeśli pierwotna zawartość była przeznaczona do ekranu kinowego, jest prawdopodobne, że oglądanie takiej zawartości na mniejszym ekranie, ale z tą samą fizyczną paralaksą ekranu doprowadzi do odczucia zbyt dużej głębi. Jest to spowodowane przez nieproporcjonalny współczynnik aspektu głębi spowodowany przez obecnie różne pola widzenia. Obiekty są mniejsze rozmiarowo, ale nadal mają taką samą głębię, na przykład piłka, która pojawia się i ma kształt ogórka. [0065] Wreszcie, należy również starać się obniżyć płaszczyznę ekranu w miejscu, gdzie się znajduje, i nie poruszać ekranem za bardzo w kierunku do lub od widza. Powód jest prosty: większość zawartości, na której widz ma się skupić (np. mały tekst lub inny drobny szczegół) jest najlepiej widoczna na płaszczyźnie ekranu, aby uniknąć zmęczenia oczu, a zawartość jest zwykle tworzona, że umieszcza się obiekty w taki sposób, w jaki twórca zawartości chce, żeby widz skupił się na głębi. Biorąc wszystkie 4 czynniki pod uwagę, dobry zakres głębi do telewizora 3D może wynosić od 25 mm do -75 mm (pod względem paralaksy), i 46,4% do 162,5% (w zakresie głębi względnej). To oczywiście bardzo subiektywna i po prostu bezpieczna wartość domyślna. [0066] Interesujące jest to, aby porównać ten zakres głębi do tego, co widz zobaczy, jeśli widzowi zostanie pokazany film stereo stworzony na potrzeby ekranu kinowego, na tym samym telewizorze. Zakładając, że zawartość jest taka sama, jak wspomniano powyżej, a film został wykonany dla przekątnej ekranu wynoszącej 40', otrzymany zakres głębi wynosi 5,3 13

15 mm do -16 mm (w zakresie paralaksy ekranu) i 80% do 109% (w zakresie głębi względnej). W przykładzie formatu WOWvx, efekt głębi może być od 4 do 5 razy silniejszy. Schemat porównania różnicy jest pokazany na Fig. 2, która przedstawia porównanie zakresów głębi typowej zawartości kinowej pokazanej na ekranie kinowym, tego samego obrazu stereo (L/P) pokazanego na telewizorze stereoskopowym, i tej samej zawartości dostosowanej do technologii WOWvx (skalowanie głębi i przekształcenie informacji o paralaksie) przedstawionej na tym samym telewizorze stereoskopowym. Ekrany Ograniczone i Mniejsze Wyświetlacze: [0067] Współczesne wyświetlacze autostereoskopowe i mniejsze wyświetlacze w ogóle mają ograniczoną głębię i zakres paralaksy, tylko dlatego, że wyświetlacze te nie są wystarczająco szerokie, aby pokazać dostateczną paralaksę bez wykorzystywania znacznej szerokości ekranu, lub dlatego, że wyświetlacze autostereoskopowe z technologią multiview mają renderować kilka widoków i potrzebują wielokrotności zakresów paralaksy używanych przez wyświetlacze stereoskopowe o tej samej wielkości. [0068] Aby wykorzystać ograniczony zakres głębi do osiągnięcia maksymalnego efektu, możliwe jest wykorzystanie jednego z następujących sposobów: Nie każde ujęcie/scena wykorzystuje pełen zakres głębi, i jest możliwe, aby zmapować zakres głębi każdego ujęcia do zakresu głębi wyświetlacza. Nie jest możliwe, aby uzyskać stałą głębię na różnych ujęciach, jak również nie istnieje także bezwzględna miara głębi, ale to nie jest widoczne na takich ekranach. [0069] W przypadku ujęć korzystających z pełnego zakresu głębi, redukcja tego zakresu do zaledwie ułamka pierwotnego zakresu głębi prowadzi do efektu karty pokładowej, gdzie, np. twarze i inne obiekty wydają się płaskie. Korzystnym rozwiązaniem jest zwiększenie głębi wewnątrz obiektów kosztem głębi między obiektami. Można to osiągnąć przez dokonanie przekształcenia paralaksy w formacie. [0070] Obiekty, które są w centrum sceny mogą być otoczone przez bliższą i dalszą płaszczyznę, lub widok bryły ściętej. Na ekranie ograniczonym, wszystko, co znajduje się za daleką płaszczyzną jest rzutowane na dalekiej płaszczyźnie wyświetlacza, a wszystko, co znajduje się przed bliską płaszczyzną zostaje przycięte/rzutowane na bliskiej płaszczyźnie. Można to również osiągnąć przez dokonanie przekształcenia paralaksy w formacie. [0071] Warunki dotyczące widzenia 3D dla urządzenia wyświetlającego nie zawsze są spełnione. Wymagałoby to tego, żeby ekran był duży i żeby był oglądany z dużej odległości, oraz żeby oddzielenie pomiędzy widokami musiało być bardzo dobre. Te warunki oglądania 14

16 nie zawsze jednak są spełnione; dlatego czasem sygnał obraz + głębia może wykazywać zbyt duży zakres paralaksy, jeśli była ona przeznaczona dla urządzenia wyświetlającego w 3D z mniej restrykcyjnymi możliwościami głębi. Może być również tak, że zawartość została stworzona dla wyświetlacza o ograniczonym zakresie głębi, co oznacza, że większa głębia może być wizualizowania na mniej restrykcyjnym wyświetlaczu. Proste liniowe rozciąganie głębi może przejść długą drogę, aby zwiększyć lub zmniejszyć głębię, ale czasami potrzeba większego przekształcenia paralaksy specyficznej sceny. Takie mapowania są znane w dziedzinie, jak opisano na przykład w Nick Holliman, Mapping Perceived Depth to Regions of Interest in Stereoscopic Images, in Stereoscopic Displays and Applications XV, 2004, dostępnej pod adresem htty:// [0072] Przykład zastosowania takiego mapowania przedstawiono na Figurach 4-6. Po lewej stronie Fig. 4 przedstawiono scenę z drogą, która pojawia się z tyłu ekranu, i która rozciąga się od głębi ekranu do nieskończoności, a po prawej stronie przedstawiono mapę paralaksy. Piłka wznosi się bardzo blisko widza. Istnieje duża luka w głębi pomiędzy piłką i widoczną częścią drogi. Zakres paralaksy dla całego zakresu może, jako przykład wynosić -65 mm do 65 mm. W przypadku ekranów z ograniczonym zakresem głębi, piłka wydaje się bardzo płaska podczas liniowego skalowania zróżnicowania. Bardziej przyjemnie byłoby, gdyby piłka wykorzystywała całe dostępne miejsce przed ekranem. Można to osiągnąć za pomocą przekształcenia paralaksy jak to pokazano na Fig. 5, na której oś x zawiera paralaksę wejściową do przekształcenia, a oś y pokazuje paralaksę wyjściową. Wartości dodatnie paralaksy są skalowane liniowo (dodatnia paralaksa jest z tyłu ekranu, w tym przypadku jest to droga). Cokolwiek innego niż liniowe skalowanie spowoduje rozbieżność pomiędzy jednoocznymi wskaźnikami głębi i dwuocznymi wskaźnikami głębi, a odtworzenie innych widoków pokaże zakrzywioną/wygiętą drogę zamiast drogi prostej. Zakres paralaksy piłki wynoszący od -65 mm do, na przykład około -40 mm jest skalowany liniowo w celu wykorzystania pełnej przestrzeni z przodu ograniczonego ekranu. Lika pomiędzy obiektem znajdującym się na pierwszym planie i obiektem w tle (zakres paralaksy -40 mm do 0 mm) jest usuwana. Mapowanie paralaksy, jak pokazano na Fig. 5 doprowadzi do tego w wyniku czego powstaną zmodyfikowane mapy paralaksy (stosując mniejszą skalę paralaksy), jak pokazano na Fig. 6. Jak zostanie to omówione poniżej, tożsamość przekształcenia, to znaczy dane rzeczywistej głębi dla wyświetlacza obrazu na Fig. 4, wraz z dołączonym przekształceniem, dane głębi dla wyświetlacza obrazu na Fig. 6 są stosowane w celu uzyskania nowych danych dla zakresu wyświetlacza określonego urządzenia docelowego. Należy zauważyć, że przekształcenia paralaksy są korzystnie stosowane, ponieważ różne 15

17 wyświetlacze 3D mają inne właściwości wizualizacji zakresu głębi. Jako przykład, na mniejszych ekranach zakres głębi jest zwykle mniejszy niż na dużym ekranie kinowym, gdzie obiekty mogą niemal dotknąć nosa widza. [0073] Inny przykład mapowania paralaksy jest pokazany na Fig. 7, która określa zakres interesów pomiędzy daleką i bliską płaszczyzną, dla której jest przydzielony zakres głębi wyświetlacza, wycinający dowolną wartości głębi spoza tego zakresu. [0074] Należy zauważyć, że poprzez otrzymanie takiej mapy paralaksy jak pokazana na Fig. 4 (prawa figura), z tej mapy paralaksy jest możliwe uzyskanie wymienionego mapowania (w tym przypadku mapowania tożsamości) z mapy paralaksy, np. przekształcenie paralaksy charakteryzujące się (-65 mm, -65 mm), (65 mm, 65 mm), zamiast mapowania pokazanego na Fig. 5. [0075] Jak opisano w niepublikowanym zgłoszeniu patentowym EP (Attorney Docket PH008849EP1), złożonym 13 września 2007 roku, korzystne jest, aby wysłać przekształcenie paralaksy opisujące te mapowania wraz z mapami głębi tak, że mapowanie może być stosowane (lub nie) na końcu odbiorczym, gdzie są znane warunki oglądania i właściwości wyświetlania 3D. W ten sposób, zawartość może być pokazywana na wyświetlaczach z różnymi możliwościami zakresu paralaksy, ponieważ mapy paralaksy mogą wciąż być dostosowywane do wyświetlacza 3D i warunków oglądania. Więc obraz i głębia z Fig. 4 mogą towarzyszyć informacji opisującej przekształcenie paralaksy pokazane na Fig. 5, lub na odwrót, w przypadku, gdy mapa głębi z Fig. 6 zostanie zakodowana w zawartości, odwrotność przekształcenia przedstawiona na Fig. 5 może być wysyłana jako metadane, aby umożliwić odbudowę mapy głębi pokazanej na Fig. 4. [0076] Poza tym, sygnał głębi pierwotnej (lub raczej metadane, jak skala paralaksy i przesunięcie w MPEG-C części 3) prowadzi do jednego zakresu paralaksy, podczas gdy stosowanie dostarczonego przekształcenia paralaksy, jak to opisano w wynikach PH008849EP1 ma skutek w drugim sygnale głębi z drugim zakresem paralaksy. [0077] W jednym z przykładów wykonania, celem niniejszego wynalazku jest znalezienie rozwiązania w scenariuszu, w którym żaden z wymienionych zakresów paralaksy, tj. ani zakres paralaksy sygnału głębi pierwotnej ani drugi zakres paralaksy nie odpowiada zakresowi paralaksy docelowego wyświetlacza 3D. W takiej sytuacji, nowe przekształcenie można obliczyć z dwóch przekształceń (na przykład przekształcenie dostarczone i przekształcenie tożsamości) przez interpolację (lub w razie potrzeby ekstrapolację). W ten 16

18 sposób, zakres głębi sygnału może być dostosowany do dostępnego zakresu paralaksy wyświetlacza 3D. [0078] Figura 3 przedstawia schemat blokowy sposobu według niniejszego wynalazku dotyczącego przetwarzania informacji o paralaksie zawartej w sygnale. [0079] W etapie (S1), 301, odbierany jest sygnał zawierający mapę paralaksy połączoną z dalszą informacją o obrazie. [0080] W etapie (S2) 303, pierwsze dane są uzyskiwane z sygnału wskazującego na pierwsze ograniczenia mapy paralaksy. [0081] Dane wskazujące mapy paralaksy mogą być zarówno informacją o paralaksie (a.k.a informacją o rozbieżności, wskazującą (poziomo) wielkość przemieszczenia pomiędzy widokami), czy informacje o odległości (dane wskazujące, jak daleko z przodu lub z tyłu wyświetlacza znajduje się scena w tym miejscu). Ograniczenia mapy paralaksy mogą, na przykład obejmować odległość wyświetlania pomiędzy widzem a urządzeniem wyświetlającym 3D lub parametr położenia wskazujący położenie widza w stosunku do urządzenia wyświetlającego 3D, lub ich kombinację. [0082] W etapie (S3) 305, drugie dane zostają uzyskane z sygnału wskazującego drugie ograniczenia mapy paralaksy. [0083] W etapie (S4) 307, trzecie dane odpowiadające trzecim ograniczeniom mapy paralaksy urządzenia docelowego są określane za pomocą przetwarzania przynajmniej pierwszych danych i drugich danych. Te trzecie dane są dostosowane do generowania uaktualnionego sygnału odpowiadającego ograniczeniom informacji o mapie paralaksy urządzenia docelowego. [0084] W jednym z przykładów wykonania, pierwsze dane i drugie dane stanowią przekształcenie informacji o paralaksie i pierwsze i drugie ograniczenia mapy paralaksy stanowią pierwszy i drugi zakres głębi dla informacji o obrazie. [0085] Termin informacji o paralaksie może obejmować informacje dotyczące głębi, lub informacje dotyczące rozbieżności, lub kombinację obu. [0086] W tym przykładzie wykonania, trzecie dane stanowią trzecie przekształcenie informacji o paralaksie, a trzecie ograniczenie mapy paralaksy stanowi trzeci zakres głębi. W jednym z przykładów wykonania, to przekształcenie pierwszej informacji o paralaksie stanowi przekształcenie informacji o tożsamości odebranej mapy paralaksy, czyli dane głębi rzeczywistej dla wyświetlacza obrazu, i przynajmniej drugie przekształcenie informacji o 17

19 paralaksie stanowi przekształcenie informacji o paralaksie przetwarzane z przekształcenia informacji o tożsamości (patrz Fig. 4-6). [0087] Jak opisano w PH008849EP1 to przynajmniej drugie przekształcenie informacji o paralaksie może być zawarte w sygnale wideo, jak metadane, gdzie metadane zawierają przynajmniej jedną funkcję mapowania wykorzystywaną do generowania przekształcenia informacji o paralaksie lub przynajmniej jedną odwrotność funkcji mapowania wykorzystywaną do generowania przekształcenia informacji o paralaksie lub przynajmniej jeden współczynnik dla funkcji mapowania wykorzystywany do generowania przekształcenia informacji o paralaksie, lub ich kombinacji. [0088] W jednym z przykładów wykonania, etap określania trzecich danych odpowiadających trzecim ograniczeniom mapy paralaksy urządzenia docelowego obejmuje interpolację pomiędzy dwoma odpowiednimi przekształceniami paralaksy z zestawu przekształcenia informacji o paralaksie, zestaw przekształcenia paralaksy obejmuje przekształcenie pierwszej i drugiej informacji o paralaksie, trzecie dane stanowią przekształcenie trzeciej informacji o paralaksie odpowiadające zakresowi głębi urządzenia docelowego. Dwa lub więcej przekształceń informacji o paralaksie mogą być wybrane z przekształcenia drugiej informacji o paralaksie lub przekształcenia informacji o tożsamości odbieranej mapy paralaksy i jednego lub więcej przekształcenia drugiej informacji o paralaksie. W innym z przykładów wykonania, interpolacja zawiera interpolację między dwoma (lub więcej) mapami głębi, z których każda ma zakres. [0089] Według tego, jeśli więcej niż jedno przekształcenie paralaksy jest dostarczane, może być wykorzystywana interpolacja wyższego rzędu, lub odpowiedni podzbiór dostępnych przekształceń wybranych w celu przeprowadzenia interpolacji. Jedno wspólne niejawne trzecie przekształcenie jest przekształceniem liniowym, które liniowo kompresuje lub rozszerza zakres paralaksy zawartości do zakresu paralaksy wyświetlacza. [0090] Wybór, w którym dwa lub więcej przekształceń informacji o paralaksie wykorzystanych jako wejściowe w określaniu uaktualnionego przekształcenia informacji o paralaksie mogą być wybrane, bazuje na zasadzie wyboru. Ten wybór może być oparty na wyborze tego przekształcenia informacji o paralaksie, które mieści się w uprzednio określonym zakresie głębi urządzenia docelowego. Przykładowo, wybór dwóch lub więcej przekształceń do wykorzystania może być oparty na wyborze tych przekształceń informacji o paralaksie, których zakres leży najbliżej zakresu urządzenia docelowego, z których jeden korzystnie ma mniejszy zakres, a drugi ma większy zakres. 18

20 [0091] Jako przykład, założono, że zakres paralaksy danych głębi pierwotnej wynosi [0..12], i założono, że jest dostępne przekształcenie paralaksy, która mapuje taki zakres do [0..4] przez wybranie podzakresu [4. 0,8] od 0 do 12, i wartości ścięte poniżej 4 i powyżej 8. To przekształcenie można scharakteryzować przez mapowanie 0->0, 4->0, 8->4 i 12->4 (z interpolacją liniową pomiędzy nimi). Jeśli urządzenie docelowe jest urządzeniem wyświetlającym, które posiada zakres głębi wynoszący [0..8], możliwe jest obliczenie nowego przekształcenia paralaksy przez interpolację między przekształceniem tożsamości i przekształceniem dostarczonej paralaksy. Jeśli 8 jest średnią 12 i 4, zostaje to osiągnięte przez uśrednienie mapowania. Rezultatem jest mapowanie: 0->(0+0)/2, 4->(0+4)/2, 8->(4+8)/2, 12- >(4+12)/2. To nowe przekształcenie może być zastosowane do danych paralaksy zamiast dostarczonego przekształcenia (tak na przykład paralaksa wynosząca 2 może być mapowana do 1, gdy 0 jest mapowane do 0, a 4 jest mapowane do 2). Jest to pokazane graficznie na Fig. 8, na której diamenty wskazują zakres paralaksy danych głębi pierwotnej wynoszący [0..12], kwadrat wskazuje zakres paralaksy dostarczanego przekształcenia paralaksy, który mapuje ten zakres do [0..4], a trójkąty stanowią przekształcenie trzeciej i nowej paralaksy wynoszące [0..8]. Jest to przykład tego, jak nowe przekształcenie można obliczyć z dwóch przekształceń przez interpolację. W ten sposób, zakres głębi sygnału może być precyzyjnie dopasowany do dostępnego zakresu paralaksy wyświetlacza docelowego 3D. [0092] Interpolacja może być również wykonana z wykorzystaniem przekształcenia paralaksy, które ma punkty kontrolne w różnych miejscach. Na przykład, nawiązując do poprzedniego przykładu, dostarczone przekształcenie paralaksy w przykładzie ma punkty kontrolne na 0, 4, 8 i 12. Jeśli było inne przekształcenie paralaksy 0-> 0, 6-> 8, 12-> 12 (dodatkowy punkt kontrolny na (6,8) w porównaniu do przekształcenia tożsamości), interpolacja musiałaby obliczyć dla przekształcenia paralaksy to, czym są wartości na 4 i 8, a dla dawnego przekształcenia paralaksy to, czym są wartość na 6, po czym nowe przekształcenie paralaksy może być utworzone z punktami kontrolnymi w 0, 4, 6, 8 i 12. [0093] Kontynuując, na schemacie blokowym na Fig. 3, w etapie (S5) 309 uaktualniony sygnał jest następnie przekazywany do urządzenia docelowego, gdzie aktualizowany sygnał jest używany do dostosowywania mapy paralaksy tak, aby renderować elementy obrazu dla informacji widoku dla trójwymiarowego obrazu, który mieści się w dostępnym zakresie paralaksy urządzenia docelowego. Etap ten opisuje scenariusz, w którym wymienione powyżej etapy przetwarzania wykonywane są na zewnątrz od urządzenia docelowego, to znaczy, że wymienione powyżej etapy przetwarzania nie muszą koniecznie być wykonywane przez urządzenie docelowe, ale z użyciem każdego urządzenia odbiorczego (nie urządzenia 19

21 docelowego). Takie urządzenie może być jednostką przetwarzania, która umożliwia procesorowi przekształcenie danych na drodze interpolacji w celu uzyskania sygnału nadającego się do wymagań przedstawionych przez urządzenia docelowe, np. urządzenie wyświetlające w 3D. W rezultacie urządzenie przetwarzania może być dekoderem STB (np., gdy sygnał wejściowy ma już dwa istotne sygnały powiązane), który może być w urządzeniu wyświetlającym w 3D, może być w karcie graficznej, która przetwarza informacje w pamięci do wideo wyjściowego do wyświetlacza lub programu uruchomionego na komputerze PC. [0094] Figura 9 pokazuje urządzenie 900 do przetwarzania informacji o paralaksie zawartej w sygnale 901, gdy urządzenie 900 zawiera odbiornik (R) 910, i procesor (P) 911. Odbiornik jest przystosowany do odbioru sygnału zawierającego mapę paralaksy związaną z informacją o obrazie 902. Procesor (P) 911 jest przystosowany do otrzymywania pierwszych danych z sygnału wskazującego pierwsze ograniczenia mapy paralaksy, uzyskania drugich danych z sygnału wskazującego na drugie ograniczenia mapy paralaksy i określania trzecich danych odpowiadających trzecim ograniczeniom mapy paralaksy urządzenia docelowego 904 za pomocą środków przetwarzania przynajmniej pierwszych i drugich danych. Trzecie dane są dostosowane do generowania uaktualnionego sygnału odpowiadającego ograniczeniom informacji o mapie paralaksy urządzenia docelowego 904. Etapy przetwarzania wykonywane przez procesor (P) 911 zostały już omówione na schemacie blokowym na Fig. 3. [0095] Urządzenie może być integralną częścią dekodera 905, odtwarzacza płyt Blu-ray 905, urządzenia wyświetlającego w 3D 1000, wyświetlacza stereo, komputera PC 905, komputera przenośnego, itp. [0096] Jak przedstawiono na Fig. 9 i jak to opisano uprzednio na Fig. 3, przetwarzanie może być przeprowadzone po stronie urządzenia wyświetlającego (czyli po stronie końca odbiorczego), albo na zewnątrz, gdzie trzecie dane są następnie transmitowane przez nadajnik (T) 906 do docelowego urządzenia 904 za pomocą przewodowego lub bezprzewodowego kanału komunikacyjnego 907, który jest wyposażony w odbiornik 903 do odbioru przetwarzania informacji, tak aby wygenerować uaktualniony sygnał odpowiadający ograniczeniom informacji o mapie paralaksy urządzenia docelowego 904. W przypadku przetwarzania na zewnątrz, urządzenie wyświetlające 900 może być dostosowane do czytania np. pliku wowvx z przekształconą paralaksą w nim, i ustawienia trybu wyjściowego dla kompozytora do trybu stereo dla pewnego wyświetlacza (który ma pewien zakres). W ten sposób kompozytor renderowałby lewy i prawy obraz za pomocą dostosowanej paralaksy. 20

22 [0097] Na przykład, płyta Blu-ray może zawierać wideo + informację o paralaksie dla określonego zakresu głębi 3D i przekształcenie paralaksy, które umożliwia mapowanie informacji o paralaksie do nowej mapy paralaksy, która może być wykorzystywana dla drugiego typu wyświetlacza z innym zakresem głębi. Odtwarzacz płyt Blu-ray może odtwarzać tę płytę, konwertować informację z formatu skompresowanego do formatu wyświetlacza i wysłać wszystkie te informacje poprzez np. HDMI do urządzenia wyświetlającego w 3D. Zarówno urządzenie wyświetlające jak i odtwarzacz płyt Blu-ray mogą stosować sposób ujawniony w niniejszym opisie do obliczania nowego przekształcenia paralaksy, które może zostać użyte do mapowania informacji o paralaksie do zakresu wyświetlania wyświetlacza 3D, o którym mowa, (odtwarzacz płyt Blu-ray może ustalić zakres wyświetlania wyświetlacza z na przykład na podstawie informacji EDID). Gdyby odtwarzacz płyt Blu-ray mógł wdrożyć ten sposób, mógłby on zastąpić odczyt przekształcenia paralaksy z dysku na nowe przekształcenie, które pasuje do urządzenia wyświetlającego 3D w przypadku przekazywania danych wideo do wyświetlacza. Alternatywnie, odtwarzacz płyt Blu-ray może stosować nowe przekształcenie paralaksy do mapy paralaksy odczytywanej z dysku, i wysłać nowe mapy paralaksy do wyświetlacza zamiast tej, odczytywanej z dysku. Nie będzie wówczas już potrzeby, żeby wysłać przekształcenie paralaksy, która mogłaby zapewnić zgodność dla wyświetlacza w 3D, który nie realizuje sposobu opisanego w niniejszym dokumencie. Alternatywnie, pierwotne przekształcenie paralaksy z płyty przesyłane jest do wyświetlacza 3D, a wyświetlacz 3D wykonuje sposób ujawniony w niniejszym opisie do obliczania nowego przekształcenia paralaksy. [0098] Figura 10 przedstawia urządzenie do trójwymiarowego (3D) wyświetlania 1000, zawierające urządzenie 900 z Fig. 9. To urządzenie 3D może być autostereoskopowym systemem wyświetlania, stereoskopowym systemem wyświetlania lub wyświetlaczem stereo. [0099] Sposób według niniejszego wynalazku może być realizowany, korzystnie, na różnych platformach przetwarzania. Mogą być rozważane implementacje, które działają w komputerze ogólnego przeznaczenia, cyfrowym procesorze sygnałowym lub innym programowalnym procesorze. Alternatywnie, wynalazek może być wdrożony we wstępnie zaprogramowaną implementację sprzętową zawartą w Application-Specific Integrated Circuit. [0100] Chociaż wynalazek został zilustrowany i opisany szczegółowo na rysunkach i w powyższym opisie, takie ilustracje i opis mają być uważane za mające charakter ilustracyjny lub przykładowy, a nie ograniczający; wynalazek nie jest ograniczony do ujawnionych przykładów wykonania. Zauważa się również, jak opisano powyżej w odniesieniu do Fig. 10, że wynalazek może być realizowany w produkcie, takim jak wyświetlacz, dekoder STB lub 21

23 inne urządzenie. W tym ostatnim przypadku wynalazek może być włączony, wdrożony w platformie przetwarzania przeznaczonej do tego właśnie celu i/lub platformie przetwarzania przeznaczonej do bardziej ogólnych celów. [0101] Inne warianty opisanych przykładów wykonania mogą być rozumiane, dokonywane przez fachowców w tej dziedzinie, w realizacji zastrzeganego wynalazku, na podstawie studium rysunków, ujawnienia i załączonych zastrzeżeń. W zastrzeżeniach patentowych słowo zawierający nie wyklucza innych elementów lub etapów, a liczba pojedyncza nie wyklucza liczby mnogiej. Pojedynczy procesor lub inna jednostka może pełnić funkcje kilku obiektów wymienionych w zastrzeżeniach. Sam fakt, że pewne środki są wyszczególnione we wzajemnie różnych zastrzeżeniach zależnych nie wskazuje, że kombinacji tych środków nie można wykorzystać. Program komputerowy może być przechowywany/dystrybuowany na odpowiednim nośniku, takim jak nośnik optyczny lub nośnik półprzewodnikowy dostarczonym razem z, albo jako część innego sprzętu, lecz może również być dystrybuowany w innych postaciach, na przykład za pośrednictwem Internetu lub inne przewodowe lub bezprzewodowe systemy telekomunikacyjne. Jakiekolwiek znaki referencyjne w zastrzeżeniach nie powinny być interpretowane jako ograniczające zakres wynalazku. 22

24 Zastrzeżenia patentowe 1. Sposób przetwarzania sygnału zawierający: otrzymanie sygnału (901) zawierającego informację o paralaksie, informację o obrazie (301) i metadane, uzyskanie przekształcenia pierwszej informacji o paralaksie z sygnału wskazującego pierwszego zakresu głębi dla informacji o obrazie (303), przy czym przekształcenie pierwszej informacji o paralaksie jest uzyskiwane z metadanych lub przekształcenie pierwszej informacji o paralaksie stanowi przekształcenie informacji o tożsamości odbieranej informacji o paralaksie, przy czym przekształcenie informacji o tożsamości jest przekształceniem informacji o paralaksie, otrzymanie przekształcenia drugiej informacji o paralaksie z sygnału wskazującego drugiego zakresu głębi dla informacji o obrazie (305), przy czym przekształcenie drugiej informacji o paralaksie jest uzyskiwane z metadanych (305), określanie przekształcenia docelowej informacji o paralaksie odpowiadającego docelowemu zakresowi głębi docelowego urządzenia wyświetlającego za pomocą środków przetwarzania przekształcenia pierwszej informacji o paralaksie i przekształcenia drugiej informacji o paralaksie (307), przy czym przekształcenie pierwszej informacji o paralaksie i przekształcenie drugiej informacji o paralaksie są wykorzystywane jako wejściowe w celu generowania przekształcenia docelowej informacji o paralaksie, przy czym przekształcenie docelowej informacji o paralaksie jest przystosowane do generowania uaktualnionego sygnału odpowiadającego zakresowi głębi docelowego urządzenia wyświetlającego przy czym przekształcenie informacji o paralaksie wskazujące dla zakresu głębi określa przekształcenie informacji o paralaksie w celu dopasowania zakresu głębi. 2. Sposób według zastrzeżenia 1, przy czym, etap wyznaczania przekształcenia docelowej informacji o paralaksie odpowiadającego zakresowi głębi docelowego urządzenia zawiera - interpolację między przekształceniem pierwszej informacji o paralaksie i przekształceniem drugiej informacji o paralaksie, lub 23

25 - interpolację wyższego rzędu przekształcenia więcej niż dwóch informacji o paralaksie, przekształcenia więcej niż dwóch informacji o paralaksie w tym przekształcenia pierwszej informacji o paralaksie i przekształcenia drugiej informacji o paralaksie. 3. Sposób według zastrzeżenia 1 albo 2, przy czym przekształcenie drugiej informacji o paralaksie stanowi przekształcenie informacji o paralaksie uzyskane z wykorzystaniem przekształcenia informacji o tożsamości jako wejściowej, która jest przetwarzana, przy czym przetwarzanie powoduje wyprowadzanie przekształcenia drugiej informacji o paralaksie. 4. Sposób według zastrzeżenia 1 albo 3, przy czym sygnał jest sygnałem wideo i w którym przekształcenie drugiej informacji o paralaksie zawiera się w sygnale wizyjnym jako metadane. 5. Sposób według zastrzeżenia 4, przy czym metadane zawierają przynajmniej jeden spośród: funkcję mapowania odnoszącą się do informacji o paralaksie, odwrotność funkcji mapowania odnoszącą się do informacji o paralaksie, oraz współczynnik dla funkcji mapowania odnoszącej się do informacji o paralaksie. 6. Sposób według zastrzeżenia 1, przy czym etap wyznaczania przekształcenia docelowej informacji o paralaksie odpowiadającego docelowemu zakresowi głębi urządzenia docelowego zawiera interpolację pomiędzy przekształceniami dwóch odpowiednich informacji o paralaksie z zestawu przekształceń informacji o paralaksie, ten zestaw przekształceń informacji o paralaksie zawiera przekształcenie pierwszej i drugiej informacji o paralaksie, przy czym przekształcenie docelowej informacji o paralaksie odpowiada zakresowi głębi urządzenia docelowego. 7. Sposób według zastrzeżenia 6, przy czym zestaw przekształceń informacji o paralaksie ponadto zawiera dalsze przekształcenia informacji o paralaksie oparte na dalszych danych z sygnału. 8. Sposób według zastrzeżenia 6 albo 7, przy czym przekształcenia informacji o paralaksie wykorzystywane jako wejściowe przy określaniu uaktualnionego przekształcenia informacji o paralaksie wybiera się w oparciu o regułę wyboru. 24

26 9. Sposób według zastrzeżenia 8, przy czym reguła wyboru określa wybór przekształceń informacji o paralaksie, który mieści się w uprzednio określonym zakresie głębi urządzenia docelowego. 10. Sposób według zastrzeżenia 1, przy czym uaktualniony sygnał jest następnie przekazywany do urządzenia docelowego, w którym uaktualniony sygnał jest wykorzystywany do dostosowania informacji o paralaksie w celu renderowania elementów obrazu do informacji o widoku dla obrazu trójwymiarowego, który mieści się w dostępnym zakresie paralaksy docelowego urządzenia. 11. Produkt w postaci programu komputerowego do instruowania jednostki przetwarzającej w celu wykonania powyższych etapów sposobu według zastrzeżenia 1, gdy produkt jest uruchomiony na komputerze. 12. Urządzenie (900) do przetwarzania sygnału (901), zawierające: odbiornik (910) do odbierania sygnału zawierającego informację o paralaksie, informację o obrazie, i metadane, procesor (911) do uzyskania przekształcenia pierwszej informacji o paralaksie z sygnału wskazującego dla pierwszego zakresu głębi dla informacji o obrazie (301), przy czym przekształcenie pierwszej informacji o paralaksie jest uzyskiwane z metadanych lub przekształcenia pierwszej informacji o paralaksie stanowiącego przekształcenie informacji o tożsamości odbieranej informacji o paralaksie, przy czym przekształcenie informacji o tożsamości stanowi przekształcenie informacji o paralaksie, otrzymanie przekształcenia drugiej informacji o paralaksie z sygnału wskazującego drugiego zakresu głębi dla informacji o obrazie (303), przy czym przekształcenie drugiej informacji o paralaksie jest uzyskiwane z metadanych, i określanie przekształcenia docelowej informacji o paralaksie odpowiadającego docelowemu zakresowi głębi docelowego urządzenia wyświetlającego (904, 1000) za pomocą środków przetwarzania przekształcenia pierwszej informacji o paralaksie i przekształcenia drugiej informacji o paralaksie, przekształcenie pierwszej informacji o paralaksie i przekształcenie drugiej informacji o paralaksie są wykorzystywane jako wejściowe w celu generowania przekształcenia docelowej informacji o paralaksie, przy czym przekształcenie docelowej 25

27 informacji o paralaksie jest przystosowane do generowania uaktualnionego sygnału odpowiadającego zakresowi głębi docelowego urządzenia wyświetlającego (904, 1000) przy czym przekształcenie informacji o paralaksie wskazujące dla zakresu głębi określa przekształcenie informacji o paralaksie w celu dopasowania zakresu głębi. 13. Urządzenie (900) do przetwarzania sygnału (901) według zastrzeżenia 12, przy czym określanie przekształcenia docelowej informacji o paralaksie odpowiadającej docelowemu zakresowi głębi urządzenia docelowego zawiera - interpolację między przekształceniem pierwszej informacji o paralaksie i przekształceniem drugiej informacji o paralaksie, lub - interpolację wyższego rzędu przekształcenia więcej niż dwóch informacji o paralaksie, przekształcenia więcej niż dwóch informacji o paralaksie w tym przekształcenia pierwszej informacji o paralaksie i przekształcenia drugiej informacji o paralaksie. 14. Urządzenie do wyświetlania (1000) w trójwymiarze (3D) zawierające urządzenie jak zastrzeżono w zastrzeżeniu 12 albo

28 27

29 28

30 29

31 30

32 31