Wpływ kompresji obrazów i map głębi na syntezę widoków w systemie wielowidokowym

Podobne dokumenty
Algorytmy kompresji sekwencji wielowidokowych

Przedmowa 11 Ważniejsze oznaczenia 14 Spis skrótów i akronimów 15 Wstęp 21 W.1. Obraz naturalny i cyfrowe przetwarzanie obrazów 21 W.2.

Algorytmy kompresji sekwencji wielowidokowych

Techniki kodowania i wyznaczania map głębi stereoskopowej w systemach telewizji wielowidokowej

WPŁYW PREDYKCJI MIĘDZYWIDOKOWEJ NA PRZEPŁYWNOŚĆ STRUMIENI H264 MVC

Zalecane ustawienia przepływności bitowej dla różnych typów kodeka dla kamer serii i7-c, i7-p oraz i5-c

Kodowanie informacji o ruchu dla kompresji sekwencji trójwymiarowych

Pomiar jakości postrzeganej przez użytkownika dla usługi 3D IPTV

BADANIA NAD TECHNIKAMI PRZETWARZANIA OBRAZU TRÓJWYMIAROWEGO REALIZOWANE W EUROPEJSKIM PROGRAMIE WSPÓŁPRACY NAUKOWO-TECHNICZNEJ

Bartosz Bazyluk SYNTEZA GRAFIKI 3D Grafika realistyczna i czasu rzeczywistego. Pojęcie sceny i kamery. Grafika Komputerowa, Informatyka, I Rok

GRAFIKA RASTROWA. WYKŁAD 1 Wprowadzenie do grafiki rastrowej. Jacek Wiślicki Katedra Informatyki Stosowanej

Mobilne Aplikacje Multimedialne

Grafika Komputerowa Wykład 4. Synteza grafiki 3D. mgr inż. Michał Chwesiuk 1/30

Stereoskopia i holografia

ZAKŁAD SYSTEMÓW ELEKTRONICZNYCH I TELEKOMUNIKACYJNYCH Laboratorium Podstaw Telekomunikacji WPŁYW SZUMÓW NA TRANSMISJĘ CYFROWĄ

Oprogramowanie. DMS Lite. Podstawowa instrukcja obsługi

Oprogramowanie IPCCTV. ipims. Podstawowa instrukcja obsługi

Korelacje wzrokowo-słuchowe

Materiały pomocnicze do laboratorium

Dwufazowy system monitorowania obiektów. Karina Murawko, Michał Wiśniewski

Zygmunt Kubiak Instytut Informatyki Politechnika Poznańska

Stereoskopia i holografia

Automatyczne tworzenie trójwymiarowego planu pomieszczenia z zastosowaniem metod stereowizyjnych

KATEDRA MECHANIKI I PODSTAW KONSTRUKCJI MASZYN. Instrukcja do ćwiczeń laboratoryjnych z elementów analizy obrazów

Produkcja materiałów stereoskopowych dr inż. Piotr Odya

Sprzęt i architektura komputerów

Kamera CCD wysokiej rozdzielczości Dzień / Noc INSTRUKCJA OBSŁUGI

KATEDRA SYSTEMÓW MULTIMEDIALNYCH. Transmisja nagrań wideofonicznych w sieci TCP/IP

Wideokonferencje MGR INŻ. PAWEŁ SPALENIAK

Synteza i obróbka obrazu HDR. Obrazy o rozszerzonym zakresie dynamiki

Kompresja dźwięku w standardzie MPEG-1

Eksperymentalna analiza częstotliwości wyboru trybów zaawansowanego kodowania wizyjnego.

W YDZIA Ł EL E KTRONIKI I TELEKOMUNIK A C J I. Katalog promocyjny. aparatury i laboratoriów Politechniki Poznańskiej

21. W STARYM KINIE ŚWIATŁO

EXTENDER VGA, transmisja VGA po skrętce, max zasięg 300 m, TRVGA-300-P

Inteligentna Platforma CCTV IP

Sposoby opisu i modelowania zakłóceń kanałowych

Depth Estimation in Free-Viewpoint Television

STEREOSKOPIA. Stereoskopia. Synteza i obróbka obrazu

Technologia tworzenia. metody i parametry obliczeń. Dr inż. Artur KUBOSZEK INSTYTUT INŻYNIERII PRODUKCJI

Simp-Q. Porady i wskazówki

gdmss Lite Android DVR Mobile Client Instrukcja obsługi oprogramowania

PRACA PRZEJŚCIOWA SYMULACYJNA. Zadania projektowe

(12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP (96) Data i numer zgłoszenia patentu europejskiego:

(12) TŁUMACZENIE PATENTU EUROPEJSKIEGO (19) PL (11) PL/EP (96) Data i numer zgłoszenia patentu europejskiego:

Karta Video USB DVR-USB/42

Cyfrowe przetwarzanie obrazów i sygnałów Wykład 12 AiR III

Zastosowanie ultradźwięków w technikach multimedialnych

Jak tworzyć dobre wizualizacje? Porady do wykorzystania w programie KD Max. MTpartner s.c.

KAM-TECH sklep internetowy Utworzono : 17 marzec 2015

GRAFIKA CZASU RZECZYWISTEGO Podstawy syntezy grafiki 3D i transformacji geometrycznych

Oprogramowanie wspierające kalibrację kamer 3D oraz analizę głębi obrazu stereoskopowego. Piotr Perek. Łódź, 7 grudnia Politechnika Łódzka

SZCZEGÓŁOWY OPIS PRZEDMIOTU ZAMÓWIENIA

EXPERIENCE THE NEXT. Otwarta Platforma VMS AxxonSoft

HDR. Obrazy o rozszerzonym zakresie dynamiki

Instrukcja Obsługi HyperMedia Center Spis Treści V1.5

Analiza wpływu obrazów źródłowych na efektywność granulometrycznej analizy teksturowej w wyodrębnianiu wybranych klas pokrycia terenu

KAMERA IP GT-CI11V1-28W ONVIF 2.0, - 720p 2.8 mm GEMINI TECHNOLOGY Numer produktu: 20868

Metodyka i system dopasowania protez słuchu w oparciu o badanie percepcji sygnału mowy w szumie

PROJEKTORY-POZNAŃ. Oferta:

BADANIE METOD I PROJEKTOWANIE USŁUG LOKALIZACYJNYCH W SIECIACH RADIOKOMUNIKACYJNYCH

Przetwarzanie i transmisja danych multimedialnych. Wykład 9 Kodowanie podpasmowe. Przemysław Sękalski.

Synchronizacja dźwięku i obrazu

SYLABUS ECCC MOD U Ł : C S M2 GR A F I K A KO M P U T E R O W A PO Z I O M: PO D S T A W O W Y (A)

Wielokanałowe systemy kodowania dźwięku

INSTRUKCJA OBSŁUGI KARTY PRZECHWYTUJĄCEJ PCI-E

Dokładność obliczeń. Obszary detekcji Raport mapy ciepła i linii zliczających. Profile raportów. Format zapisu. MBX_0613_MxQ24_v1

Podstawy grafiki komputerowej

Praktyczne zastosowanie grafiki komputerowej

WYBRANE ASPEKTY ZACHOWAŃ OSÓB TESTOWANYCH Z WYKORZYSTANIEM SYMULATORA JAZDY KLASY VR

Synteza i obróbka obrazu. Tekstury. Opracowanie: dr inż. Grzegorz Szwoch Politechnika Gdańska Katedra Systemów Multimedialnych

NIEPRZERWANIE ŁĄCZ SIĘ Z OTOCZENIEM TWOJEGO DOMU I FIRMY

System Wymiany Informacji. Instrukcja obsługi mapy

SERWIS INTERNETOWY WYDZIAŁU GEODEZJI MIASTA GDYNIA. pl/geoserwer/e-mapa.htm

Kinect vs VR, czyli technologie sensoryczne stosowane w konsolach do gier.

Bartosz Kulawik Koordynator Projektu Centrum Badań Kosmicznych PAN Zespół Obserwacji Ziemi

PYTANIA I ODPOWIEDZI, WYJAŚNIENIA DO SIWZ ORAZ ZMIANA TERMINÓW SKŁADANIA I OTWARCIA OFERT

Szczegółowa charakterystyka przedmiotu zamówienia

STUDENCKIE KOŁO ASTRONAUTYCZNE WYDZIAŁ MECHANICZNY ENERGETYKI I LOTNICTWA POLITECHNIKA WARSZAWSKA PW-SAT2. Kamery Cameras

Przetwarzanie obrazu stereo. Zuzanna Pietrowska 9 czerwca 2010

KAMERA WANDAL V-CAM 430 (600TVL 3,6mm 0,01lxIR20)

Program ochrony środowiska przed hałasem

CZĘŚĆ III ZAMÓWIENIA. Opis przedmiotu zamówienia sprzętu audiowizualnego

Oferta kamer IP Copyright Siemens AG 2010

27 stycznia 2009

Przetwarzanie obrazów rastrowych macierzą konwolucji

UONET+ moduł Dziennik

Przedstawiamy Państwu tekst będący

KAM-TECH sklep internetowy Utworzono : 22 grudzień 2015

Podstawy 3D Studio MAX

KOMPRESJA SEKWENCJI WIZYJNYCH Z MAŁYM OPÓŹNIENIEM KODOWANIA

Zestaw CCTV Rejestrator + 4 kamery. Cechy: Opis:

MIKROFALOWEJ I OPTOFALOWEJ

ZAPYTANIE OFERTOWE. Dotyczy projektu: Menadżer projektów badawczych

VDG Sense inteligentna platforma zarządzania obrazem. Inteligentna Platforma CCTV IP

Studia podyplomowe realizowane w ramach zadania 5 Systemy mobilne i techniki multimedialne

Laboratorium przez Internet w modelu studiów inżynierskich

Przegląd oprogramowania do monitoringu IP firmy Geovision. Maciej Mantaj Konsorcjum FEN Sp. z o.o.

KAM-TECH sklep internetowy Utworzono : 18 listopad 2014

Podstawy obsługi oscyloskopu cyfrowego

Transkrypt:

Wpływ kompresji obrazów i map głębi na syntezę widoków w systemie wielowidokowym Krzysztof Klimaszewski, Krzysztof Wegner Politechnika Poznańska Katedra Telekomunikacji Multimedialnej i Mikroelektroniki KKRRiT 2009, Warszawa

Systemy wielowidokowe Możliwości zmiany punktu obserwacji sceny Prace nad standardem (MPEG) Rektyfikacja Korekcja Estymacja Map Głębi Transmisja Widoków i Map Głębi Dekompresja Wrażenie trójwymiarowości oglądanej sceny Kompresja Synteza Widoków Wyświetlanie Wyświetlacz 2

Systemy wielowidokowe Rektyfikacja Korekcja Estymacja Map Głębi Transmisja Widoków i Map Głębi Dekompresja Część akwizycyjna Kompresja Synteza Widoków Wyświetlanie Wyświetlacz Kamery części akwizycyjnej systemu wielowidokowego budowanego w Katedrze Telekomunikacji Multimedialnej i Mikroelektroniki Politechniki Poznańskiej 3

Systemy wielowidokowe Rektyfikacja Korekcja Estymacja Map Głębi Transmisja Widoków i Map Głębi Dekompresja Przetwarzanie i kompresja Kompresja Synteza Widoków Wyświetlanie Wyświetlacz ZDJĘCIE MISIÓW Komputery części przechwytującej i przetwarzającej systemu wielowidokowego budowanego w Katedrze Telekomunikacji Multimedialnej i Mikroelektroniki Politechniki Poznańskiej 4

Systemy wielowidokowe Rektyfikacja Korekcja Estymacja Map Głębi Transmisja Widoków i Map Głębi Dekompresja Dekompresja, przygotowanie danych do wyświetlania Kompresja Synteza Widoków Wyświetlanie Wyświetlacz Komputer dekodujący systemu wielowidokowego 5

Systemy wielowidokowe Rektyfikacja Korekcja Estymacja Map Głębi Transmisja Widoków i Map Głębi Dekompresja Wyświetlanie Kompresja Synteza Widoków Wyświetlanie Wyświetlacz Monitory polaryzacyjne Monitory autostereoskopowe Rzutniki z polaryzatorami 6

Mapy głębi Dostarczają informacji o głębi obiektów odległość od obiektywów poszczególnych punktów sceny 7

Synteza widoków Generowanie widoków wirtualnych z miejsc, w których nie można ustawić kamery Ograniczenie liczby kamer (koszty) Niezbędne dane: Dane o głębi obiektów Znajomość parametrów systemu kamerowego 8

Kompresja w systemach wielowidokowych standaryzowana metoda kompresji widoków: MVC oparta na AVC predykcja międzywidokowa informacje o systemie kamer Widok Czas I0 B1 I0 B1 b4 b4 b4 b4 B1 P0 B1 P0 B1 b4 b4 b4 b4 B1 P0 B1 P0 B1 b4 b4 b4 b4 B1 P0 B1 P0 P0 B1 P0 9

Kompresja w systemach wielowidokowych Kompresja głębi brak propozycji standardu Propozycja - wykorzystanie kodeka MVC do kompresji map głębi Mapy Głębi tylko jedna składowa uboga tekstura wyraźne kontury istotna dokładna wartość Widoki trzy składowe koloru bogactwo tekstur kontury rozmyte dopuszczalne zmiany wartości 10

Wpływ kompresji na jakość obrazu syntezowanego Wykorzystane jedynie 3 kamery, z czego jedna tylko do celów pomiaru jakości syntezy Ocena przydatności kodeka MVC na podstawie jakości uzyskanych obrazów syntetycznych A Widok A QP B Widok C C Mapa Głębi A Mapa Głębi C Kompresja MVC Kompresja MVC Dekompresja MVC Dekompresja MVC QD Mapy Głębi Widoki Synteza Widoku Wirtualny Widok B 11

Kompresja w systemach wielowidokowych Jakość oceniana miarą PSNR, jako referencyjny brany jest widok z odpowiedniej rzeczywistej kamery 12

Wpływ kompresji na jakość obrazu syntezowanego Decymacja mapy głębi 512 1024 384 x2 768 256 192 x4 13

Wyniki Book Arrival - Jakość syntezy QP=26 Synteza - PSNR [db] 36 QP=31 34 QP=36 32 QP=41 30 QP=46 28 QP=51 Decymacja 2x Bez decymacji 26 0 QP=21 0.5 1 1.5 2 2.5 Całkowita Przepływność [Mbps] 3 3.5 14

Wyniki Newspaper - Jakość syntezy 31 Decymacja 2x Bez decymacji Synteza - PSNR [db] 30 QP=31 29 QP=26 QP=21 QP=36 28 QP=41 27 QP=46 26 QP=51 25 0 1 2 3 4 5 6 Całkowita Przepływność [Mbps] 7 8 15

Wyniki Pantomime - Jakość syntezy 36 Synteza - PSNR [db] 34 QP=31 QP=36 32 QP=41 30 QP=46 28 QP=51 Decymacja 2x Bez decymacji 26 0 QP=21 QP=26 1 2 3 4 5 6 7 8 Całkowita Przepływność [Mbps] 9 10 11 16

Wyniki Book Arrival - Jakość syntezy QP=21 36 QP=26 Synteza - PSNR [db] QP=31 34 QP=36 32 QP=41 30 QP=46 28 QP=51 Decymacja 2x Bez decymacji 26 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 Stosunek Przepływności 0.8 0.9 1 17

Wyniki Newspaper - Jakość syntezy 31 Decymacja 2x Bez decymacji Synteza - PSNR [db] 30 QP=21 29 QP=26 QP=31 QP=36 28 QP=41 27 QP=46 26 QP=51 25 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 Stosunek Przepływności 0.8 0.9 1 18

Wyniki Pantomime - Jakość syntezy 36 QP=21 QP=26 QP=31 Synteza - PSNR [db] 34 QP=36 32 QP=41 30 QP=46 QP=51 28 Decymacja 2x Bez decymacji 26 0 0.1 0.2 0.3 0.4 0.5 Stosunek Przepływności 0.6 0.7 0.8 19

Wyniki Book Arrival - Jakość syntezy 37 QP=26 QP=21 Synteza - PSNR [db] 36 35 QP=31 34 QP=36 33 32 QP=41 Decymacja 4x Decymacja 2x Bez decymacji 31 0 0.5 1 1.5 2 2.5 Całkowita Przepływność [Mbps] 3 3.5 20

Wyniki Book Arrival - Jakość syntezy 37 QP=21 Synteza - PSNR [db] 36 QP=26 QP=31 35 34 QP=36 33 QP=41 32 Decymacja 4x Decymacja 2x Bez decymacji 31 0 0.1 0.2 0.3 0.4 0.5 0.6 Stosunek Przepływności 0.7 0.8 0.9 1 21

Podsumowanie Na finalną jakość syntezy znacznie większy wpływ niż jakość mapy głębi ma jakość widoku Pożądana jest dwukrotna decymacja map głębi Udział strumienia bitowego głębi powinien zawierać się w granicach: 10% - 30% dla niezdecymowanej mapy głębi 5% - 20% dla zdecymowanej mapy głębi 22

Dziękuję za uwagę 23

Wzory mapa głębi Jasność punktu mapy głębi d d min i = 255 d max d min d rozbieżność Wartość głębi Z = 1 1 1 1 i Z far 255 Z near Z far 24