PREDYKCJA PRZEMIESZCZEŃ PRZY KODOWANIU SEKWENCJI WIELOWIDOKOWYCH Z WYKORZYSTANIEM KODERA SKALOWALNEGO AVC

Transkrypt

1 Krzysztof Klimaszewski Politechnika Poznańska, Katera Telekomunikacji Multimeialnej i Mikroelektroniki ul. Polanka 3, Poznań kklima@et.put.poznan.pl 2006 Poznańskie Warsztaty Telekomunikacyjne Poznań 7-8 grunia 2006 PREDYKCJA PRZEMIESZCZEŃ PRZY KODOWANIU SEKWENCJI WIELOWIDOKOWYCH Z WYKORZYSTANIEM KODERA SKALOWALNEGO AVC Streszczenie: W artykule przestawiona została iea ulepszenia preykcji przemieszczeń przy kompresji sekwencji wielowiokowych oraz wykorzystująca tę ieę moyfikacja koera AVC. Przy użyciu zmoyfikowanego koera przeprowazone zostały próby koowania sekwencji wielowiokowych, wyniki których zamieszczone są w alszej części artykułu. 1.WSTĘP Duży postęp, jaki okonał się na przestrzeni kilku ostatnich lat w ziezinie przetwarzania sekwencji wizyjnych umożliwił buowanie i wykorzystywanie systemów, w których aną scenę rejestruje nie jena czy wie kamery, lecz całe zespoły złożone z kilkunastu a nawet kilkuziesięciu synchronizowanych kamer. Systemy takie umożliwiają swobony i realizowany w czasie rzeczywistym wybór punktu obserwacji sceny przez wiza. Daje to możliwość stworzenia telewizji swobonego punktu wizenia (FTV) punkt obserwacji sceny jest wybierany przez użytkownika, scena może być obserwowana po różnymi kątami. Możliwe jest również stworzenie trójwymiarowego obrazu sceny, czy to przy pomocy meto i urzązeń znanych ze stereowizji, czy też znacznie barziej złożonych wyświetlaczy trójwymiarowych. Działanie tego typu ukłaów wymaga przesyłania o obiorcy wioków z wielu kamer jenocześnie. Z pewnością jenym z największych problemów stojących prze twórcami tego typu systemów jest kwestia przesłania potrzebnych anych o obiorcy. Przesłany musi być bowiem równolegle obraz z wielu kamer. Jak wielkim jest to wyzwaniem pokazuje choćby najprostszy przykła przy założeniu, że rozsąnej jakości obraz telewizyjny wymaga prękości transmisji około 1 2 Mb/s przy zastosowaniu nowoczesnych koerów typu AVC, to przesłanie sygnału z 8 kamer bęzie wymagało przy niezależnym koowaniu (simulcast) 8 16 Mb/s. A należy mieć na uwaze, że buuje się również systemy złożone ze 100 kamer [10]. Wobec tak użych ilości anych, konieczne wyaje się opracowanie stanaru kompresji, który umożliwiłby realizację transmisji sekwencji wielowiokowych za pomocą istniejących technologii ostępu. Jeną z propozycji jest wprowazenie opowienich moyfikacji o opracowanego stanaru kompresji AVC. 2. KOMPRESJA WIELOWIDOKOWA STAN PRAC Wśró gremiów zajmujących się stanaryzacją meto kompresji poczesne miejsce zajmuje grupa robocza MPEG, ziałająca w ramach ISO, której otychczasowe ziałania oprowaziły o powstania licznych stanarów przetwarzania treści multimeialnych. W czerwcu 2005 roku na spotkaniu MPEG w Poznaniu ogłoszony został początek prac stanaryzacyjnych otyczących koowania wielowiokowego [2]. Na postawie porównania efektywności różnych propozycji [3], wyłoniona została najbarziej obiecująca metoa kompresji wielowiokowej [4][1], wykorzystująca koer skalowalny. Zakłaa ona wprowazenie jako obrazów referencyjnych koera AVC obrazów pochozących nie tylko z innych chwil czasu z tej samej kamery, lecz również z innych kamer z tej samej chwili czasu. Schemat konkretnych oniesień przestawiony jest, za [1], na rys. 2. Osiągnięte wyniki przestawione zostały natomiast na rys. 1. Rys. 1. Wykres zależności PSNR o przepływności la koowania wielowiokowego (ane pochozą z [1]) Bazując na metozie opisanej w [1] wiele ośroków baawczych pojęło prace zmierzające o zwiększenia wyajności kompresji [5]. Wśró propozycji znajują się próby zmiany wioku narzęnego, czyli takiego, którego ekoowanie nie

2 różni się w żaen sposób o ekoowania strumienia AVC la pojeynczej kamery (na rys. 2 wiokiem narzęnym jest pierwszy przestawiony w górnym rzęzie). Zmiana taka owocuje zmniejszeniem złożoności procesu ekoowania i poprawą jakości ekoowanych sekwencji. Rozważana jest także kompensacja zmian oświetlenia la obrazów pochozących z różnych kamer, preykcja mięzywiokowa posiłkująca się interpolacją sąsienich wioków oraz preykcja wektorów przemieszczeń. W artykule zaprezentowana została metoa preykcji wektorów przemieszczeń w kompresji sekwencji wielowiokowych, która to kompresja w alszej części określana jest skrótowym terminem kompresja wielowiokowa. I0 I0 Rys. 2. Struktura ramek referencyjnych (z lewej) i kolejność ich koowania (z prawej) la koera wielowiokowego weług [1] 3. KOMPENSACJA PRZEMIESZCZENIA A KOMPENSACJA RUCHU Koowanie wielowiokowe różni się o stanarowego jenowiokowego, tym, że poza preykcją i kompensacją ruchu pomięzy obrazami z kolejnych chwil czasu, występuje konieczność preykcji i kompensacji przemieszczeń mięzy obrazami z różnych kamer, pochozącymi z tej samej chwili czasu. Przesunięcia rozumiane są tu jako różnica pozycji obiektów na obrazach z kolejnych kamer. W przeciwieństwie o ruchu obiektów sceny, którego nie można okłanie przewizieć, przesunięcie jest całkowicie uzależnione o geometrycznych zależności w scenie. Preykcja przesunięć może być zatem okłaniejsza, jeśli tylko znanych jest kilka parametrów sceny i zespołu kamer. W przykłazie z rys. 3, scena obserwowana jest za pomocą trzech ustawionych w jenej linii kamer. W tym przypaku można okłanie wyliczyć położenie (Δ) rogu przemiotu w obrazach z kolejnych kamer, znając ługość ogniskowej kamer (f), ich oległość o przemiotu () oraz ostępy mięzy kamerami (D k nie muszą być jenakowe). Potrzebna jest jeszcze znajomość położenia obiektu w obrazie z owolnej kamery. Za pomocą wzorów wynikających z poobieństwa trójkątów 1 = A f 2 f = B 3 = C f (1) można wyznaczyć przemieszczenia (D i-j) w obrazach z kolejnych kamer. D I II = 1 w 2 w 2 2 = 1 2 D I III = 1 w 2 w 2 3 = 1 3 (2) Różnice pomięzy położeniami obiektów w obrazach sąsienich kamer, czyli przesunięcia D i-j można zatem z łatwością określić na postawie wzorów: D I II = A B f = D k f D II III = C B f = D k f D I III = A C f = 2 D k f (3) Przy równym ostępie mięzy kamerami owolny element sceny przemieszcza się zatem o stałą oległość przy zmianie kamery na sąsienią. Wobec faktu, że parametry takie jak ogniskowa kamer i ich wzajemne oległości są ostępne i mogą być bez problemów poawane o wiaomości koera i ekoera, zaganienie preykcji przesunięć wyaje się być sprawą barzo prostą. Problemem jest jenak to, że oległości obiektu o kamer, zwanej głębią nie są bezpośrenio ostępne. Można je wyliczyć, używając znanych meto ich wyznaczania. Problemem pozostaje zapewnienie możliwości otworzenia wartości preykcji przeprowazonej przez koer w ekoerze. Dekoer musi ysponować opowienimi anymi w tym przypaku konieczne jest, aby mapa głębi była o yspozycji ekoera. Przesyłanie mapy głębi wiąże się z oatkowymi anymi o przesłania, jenak należy wziąć po uwagę fakt, że mapa głębi może być przestawiona jako obraz w skali szarości, pozbawiony złożonych tekstur, zatem obrze poający się kompresji. Istotnym powoem, la którego warto się zainteresować opracowaniem orębnej metoy preykcji la przemieszczeń jest też fakt, iż używana stanarowo preykcja meianowa, czyli preykcja ziałająca na

3 OBIEKT Δ1 Δ2 Δ3 płaszczyzna obrazu f w/2 I II III A B C Dk Dk linia ognisk kamer Rys. 3. Przemieszczenia w systemie z trzema równo oległymi kamerami postawie anych z sąsienich makrobloków z tego samego obrazu, nie ziała zbyt obrze na granicy obiektów. Ilustruje to rys. 4. Przestawia on wartości bezwzglęne błęu preykcji skłaowej poziomej wektora przemieszczenia przy preykcji meianowej. Rys. 4. Obraz z kamery (u góry) i wartość bezwzglęna błęu preykcji wektora przesunięcia (na ole). Im jaśniejszy punkt, tym większa wartość błęu. Użyte były tylko bloki 16 x 16 punktów. 4. PREDYKCJA PRZEMIESZCZEŃ Gy znane są wartości głębi punktów obrazu opowiaających konkretnym obiektom oraz parametry systemu kamer, możliwe jest okłane wyznaczenie pozycji tych obiektów na kolejnych obrazach, pochozących z różnych kamer lecz z tej samej chwili czasu. Oszacowanie mapy głębi jest ość łatwe w przypaku, gy kamery ustawione są w linii prostej, a ich osie optyczne są równoległe. Można wtey wyznaczyć mapę głębi na postawie blokowego poszukiwania opowiaających sobie fragmentów wu obrazów pochozących z tej samej chwili czasu lecz różnych kamer. Warto zauważyć, że okłanie taką samą operację przeprowaza mouł estymacji ruchu w koerze poszukuje fragmentu obrazu oniesienia, la którego różnica (choćby w sensie wartości bezwzglęnej lub kwaratowej różnic) mięzy nim a aktualnym fragmentem przetwarzanej ramki jest minimalizowana. Jeśli kamery nie są przechylone osie poziome obrazów są równoległe o osi ustawienia kamer, a obraz oniesienia jest obrazem z sąsieniej kamery i pochozącym z tej samej chwili czasu co przetwarzany obraz, to wartości poziome wektorów ustalonych przez mouł estymacji ruchu w koerze tworzą mapę głębi. Po stronie ekoera otwarzana jest również mapa głębi ekoer zna wartości wektorów przesunięć w zekoowanym obrazie, zatem bez żanych oatkowych informacji może stworzyć ientyczną mapę głębi. W praktyce przestawione założenia co o ustawień kamer są trune o osiągnięcia, stą zachozi potrzeba przeprowazenia procesu rektyfikacji (korekcji) sekwencji prze ich przetwarzaniem. 5. ALGORYTM PREDYKCJI PRZEMIESZCZEŃ W kompresji wielowiokowej zachozi potrzeba kompresji następujących po sobie obrazów z różnych kamer i tej samej chwili czasu, jak to przestawiono na

4 rys. 5. Kompresja obrazu o numerze i jest stanarową kompresją wewnątrzobrazową, kompresja obrazu i+1 jest natomiast kompresją z użyciem preykcji i kompensacji przemieszczeń. Kompresując ramkę i+1, koer poszukuje w ramce oniesienia i fragmentów opowiaających fragmentom obrazu i+1, przypisując fragmentom obrazu i+1 opowienie wektory przemieszczeń. Równocześnie możliwe jest stworzenie, przy pomocy skłaowych poziomych wektorów przemieszczeń, mapy głębi la obrazu i+1. Preykcja przesunięć la kolejnych obrazów, czyli i+2, i+3 może już wykorzystywać tę mapę głębi. wiok czas I P P P obraz i obraz i+1 obraz i+2 obraz i+3 Rys. 5. Fragment schematu kompresji wielowiokowej Przy kompresji obrazu i+2 i kolejnych, preykcja meianowa może być zatem zastąpiona przez preykcję bazującą na mapach głębi obrazów referencyjnych. Działanie preykcji polega na wyszukiwaniu w mapie głębi aktualnego obrazu oniesienia obszaru o głębi spełniającej poane alej warunki. Jeśli aktualnie przetwarzany makroblok ma współrzęne (X,Y), to poszukiwanie obywa się w mapie głębi obrazu oniesienia na następującej zasazie przeszukiwany jest pas mapy głębi o pozycji (X,Y) o pozycji (MaxX,Y), gzie MaxX jest maksymalną wartością współrzęnej X la anej sekwencji. Jeśli kamera o najniższym numerze jest ustawiona na lewym (patrząc w kierunku, w którym skierowane są kamery) brzegu systemu kamer, a kolejne kamery oznaczane są kolejnymi numerami, to poszukiwany jest fragment mapy głębi spełniający równanie max G i, Y : G i,y a i X b i MaxX (4) gzie G(x,y) jest znormalizowaną wartością głębi la współrzęnych (x,y), a jest współczynnikiem wynikającym z oległości mięzy kamerami, natomiast b założonym z góry współczynnikiem wyznaczającym margines pokrywania się makrobloków. Dla równo oległych o siebie kamer a równa się różnicy ineksów kamer, z których pochozą obraz aktualny i obraz oniesienia. Poszukiwany fragment mapy głębi opowiaać powinien fragmentowi obrazu oniesienia, zawierającemu obraz obiektu, który la aktualnie kompresowanego obrazu znajuje się w pozycji aktualnego makrobloku. Zatem wartość G(i,Y) wyznaczona ze wzoru (4) może być przewiywaną wartością przemiesczenia la aktualnego makrobloku. Wartość wektora przemieszczenia ma skłaową pionową równą wartości skłaowej pionowej wektora z preykcji meianowej la tego makrobloku. Poszukiwana jest wartość i, która aje największą wartość G(i,Y). Warunek wartości maksymalnej jest wprowazony aby onaleźć fragment obrazu oniesienia na którym wioczny jest obiekt położony najbliżej zespołu kamer, czyli taki, który zasłoni pozostałe obiekty sceny przy zmianie wioku. 6. IMPLEMENTACJA ALGORYTMU Koer kompresuje pierwszy obraz sekwencji wewnątrzobrazowo, rugi obraz kompresowany jest z użyciem poprzeniego jako ramki oniesienia. Preykcja przemieszczeń la rugiego obrazu przeprowazana jest jeynie za pomocą algorytmu meianowego. Przeszukiwanie w algorytmie estymacji przemieszczenia przeprowazane jest jeynie w stronę rosnących wartości współrzęnej poziomej. Po zakoowaniu rugiego i każego kolejnego obrazu, skłaowe poziome wektorów przemieszczeń wszystkich makrobloków w obrazie, po pozieleniu przez oległość mięzy kamerą, z której pochozi aktualny obraz a obrazem oniesienia la makrobloku, zapisywane są o ozielnej tablicy. Każy element takiej tablicy reprezentuje fragment o wielkości 4 x 4 punkty, który jest najmniejszym blokiem w stanarzie AVC. Wartości przemieszczeń wyznaczane są z okłanością o 0,25 punkta. W przypaku, gy any makroblok jest koowany wewnątrzobrazowo, wartość wpisywana o tablicy wynosi zero. Wszystkie kolejne obrazy koowane są z użyciem preykcji bazującej na opisanym wcześniej algorytmie. 7. WYNIKI W celu wyznaczenia osiągów algorytmu zmoyfikowany został koer skalarny AVC w wersji JSVM 6 [6]. Wprowazona została alternatywna metoa preykcji, oparta na opisanej powyżej. Baanie algorytmu zostało przeprowazone przy użyciu różnych sekwencji testowych [2]. W alszej części prezentowane są jeynie wyniki la sekwencji Ballroom [7], gyż wyniki la wszystkich sekwencji są zbliżone. Sekwencja Ballroom stworzona została przy użyciu 8 kamer ustawionych wzłuż jenej linii. Sekwencja poana została korekcji, zatem osie optyczne kamer są równoległe o siebie, a zarazem prostopałe o linii ustawienia kamer. Oległość mięzy kamerami jest jenakowa. Do testów użyta została sekwencja skłaająca się z 8 obrazów, bęących obrazami z kolejnych kamer, pochozącymi z tej samej chwili czasu. W przypaku sekwencji Ballroom, preykcja przemieszczenia la makrobloku realizowana jest weług wzoru (4), przy współczynniku a równym różnicy numerów kamer: aktualnej i kamery, z której pochozi obraz bęący aktualnym obrazem referencyjnym. W celu przyspieszenia obliczeń, kompresowane były kolejne 4 obrazy sekwencji testowej.

5 Wykorzystywane były poziały makrobloku na bloki o wymiarach 16 x 16, 8 x 8, 8 x 4, 4 x 8, 4 x 4 punkty. Makrobloki mogły być koowane jako typu I lub P. Przy koowaniu makrobloku porównywane były wartości preykcji meianowej i proponowanej. Jeśli preykcja wykorzystująca mapy głębi awała wynik bliższy oszacowanemu przez mouł estymacji przesunięcia niż preykcja meianowa, o strumienia wyjściowego zapisywana była wartość preykcji wyznaczona przez opisywany algorytm. W przeciwnym przypaku wykorzystywano wartości preykcji meianowej. Porównanie okonywane było już po wykonaniu proceur poszukujących ostateczny wektor przemieszczenia. Takie rozwiązanie uniemożliwia wprawzie poprawne zekoowanie strumienia (ekoer nie wie, która z wóch meto preykcji była użyta przez koer), lecz pozwala na zorientowanie się, na ile użyteczna jest proponowana metoa. Makrobloki typu skip wykorzystywały zawsze preykcję meianową. Testowana była również wyajność kompresji gy jeynym algorytmem preykcji był proponowany algorytm. Uzyskane wyniki przestawione są w tabeli 1. Tabela 1. Porównanie wyników la różnych algorytmów preykcji Współczynniki b QP Fragment sekwencji Tylko preykcja meianowa ługość pliku [Bajty] PSNR [B] Proponowana preykcja (gy lepsza) i preykcja meianowa ługość pliku [Bajty] PSNR [B] Tylko proponowana preykcja ługość pliku [Bajty] PSNR [B] , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,65 Makrobloki, których wartości przesunięcia przewiywane są lepiej przy wykorzystaniu preykcji z użyciem map głębi zaznaczone zostały na rys. 6. Zmniejszeniu uległ przee wszystkim błą preykcji na granicy obiektów, jenak śrenia wartość błęu wzrosła. Rys. 6. Porównanie preykcji. Obszary obrazu, la których preykcja z użyciem map głębi aje lepsze rezultaty niż preykcja meianowa są zaznaczone jako jaśniejsze. Użyte były tylko bloki 16 x WNIOSKI Przeprowazone eksperymenty pokazują, że zysk wynikający z wprowazenia nowej metoy preykcji przesunięć w obecnej wersji jest zbyt mały, aby ało się tę metoę wykorzystać w praktyce. Ewentualna sygnalizacja typu preykcji wprowaziłaby wzrost ilości koniecznych o przesłania bitów przewyższający zyski z lepszej preykcji wektora przesunięcia. Wykonane już wcześniej analizy [8,9] pokazują, że w przypaku proponowanego schematu ramek oniesienia prawie zawsze najczęściej wybieraną ramką jest ramka poprzezająca aktualnie kompresowaną o jeną chwilę czasu i pochoząca z tej samej kamery. Świaczy to o barzo użej korelacji mięzy obrazami z tej samej kamery i bezpośrenio po sobie następujących chwil czasu. Wybór ramek z sąsienich kamer jest okonywany rzaziej korelacja mięzy zawartością ramek z sąsienich kamer okazuje się być mniejsza niż korelacja w czasie z jenej kamery. Nie można zatem spoziewać się po proponowanej tu metozie znaczącej poprawy wyajności kompresji. Uzyskane wyniki wskazują jenak, że preykcja wykorzystująca mapy

6 głębi może ać pewną poprawę wyajności kompresji, po warunkiem, że zostanie opracowana. W toku alszych prac należy sprawzić, czy wprowazenie oatkowych ograniczeń spowouje wzrost efektywności kompresji wykorzystującej wyłącznie preykcję bazującą na mapie głębi. Należy równeż przetestować różne kombinacje parametrów kompresji. Zaletą proponowanej, nowej metoy jest możliwość jej wykorzystania niezależnie o metoy kompresji sąsiaujących makrobloków w przypaku preykcji meianowej nie można wykorzystać wartości przesunięcia sąsieniego bloku, jeśli jest on koowany wewnątrzobrazowo lub z użyciem innego obrazu oniesienia. PODZIĘKOWANIA Praca, której wyniki zostały przestawione w artykule wykonana została przy wsparciu śroków Funuszu na rzecz Nauki Polskiej. LITERATURA [1] ISO/IEC JTC1/SC29/WG11, Multiview Coing using AVC, Dokument M12945, Bangkok, Tajlania, Styczeń 2006 [2] ISO/IEC JTC1/SC29/WG11, Call for Proposals on Multi-view Vieo Coing, Dokument N7327, Poznań, Polska, Lipiec 2005 [3] ISO/IEC JTC1/SC29/WG11, Subjective test results for the CfP on Multi-view Vieo Coing, Dokument N7779, Bangkok, Tajlania, Styczeń 2006 [4] ISO/IEC JTC1/SC29/WG11, AHG on 3DAV Coing, Dokument M12727, Bangkok, Tajlania, Styczeń 2006 [5] ISO/IEC JTC1/SC29/WG11, Description of Core Experiments in MVC, Dokument N7798, Bangkok, Tajlania, Styczeń 2006 [6] ITU-T i ISO/IEC JTC1, JSVM 6 Software, Dokument JVT-S203, Genewa, Szwajcaria, Kwiecień [7] ISO/IEC JTC1/SC29/WG11, Multiview Vieo Test Sequences from MERL, Dokument M12077, Busan, Korea, Kwiecień 2005 [8] ISO/IEC JTC1/SC29/WG11, Statistical Analysis of Temporal an Spatial Block Matching for Multi- View Sequences, Dokument M11546, Hong Kong, Chiny, Styczeń 2005 [9] ISO/IEC JTC1/SC29/WG11, Statistical Evaluation of Spatiotemporal Preiction for MVC, Dokument M12301, Poznań, Polska, Lipiec 2005 [10] ISO/IEC JTC1/SC29/WG11, Test Sequences for Call for Proposals on Multiview Vieo Coing, Dokument M12022, Busan, Korea, Kwiecień 2005