Wpływ kompresji obrazów i map głębi na syntezę widoków w systemie wielowidokowym

Transkrypt

1 Wpływ kompresji obrazów i map głębi na syntezę widoków w systemie wielowidokowym Krzysztof Klimaszewski, Krzysztof Wegner Politechnika Poznańska Katedra Telekomunikacji Multimedialnej i Mikroelektroniki KKRRiT 2009, Warszawa

2 Systemy wielowidokowe Możliwości zmiany punktu obserwacji sceny Prace nad standardem (MPEG) Rektyfikacja Korekcja Estymacja Map Głębi Transmisja Widoków i Map Głębi Dekompresja Wrażenie trójwymiarowości oglądanej sceny Kompresja Synteza Widoków Wyświetlanie Wyświetlacz 2

3 Systemy wielowidokowe Rektyfikacja Korekcja Estymacja Map Głębi Transmisja Widoków i Map Głębi Dekompresja Część akwizycyjna Kompresja Synteza Widoków Wyświetlanie Wyświetlacz Kamery części akwizycyjnej systemu wielowidokowego budowanego w Katedrze Telekomunikacji Multimedialnej i Mikroelektroniki Politechniki Poznańskiej 3

4 Systemy wielowidokowe Rektyfikacja Korekcja Estymacja Map Głębi Transmisja Widoków i Map Głębi Dekompresja Przetwarzanie i kompresja Kompresja Synteza Widoków Wyświetlanie Wyświetlacz ZDJĘCIE MISIÓW Komputery części przechwytującej i przetwarzającej systemu wielowidokowego budowanego w Katedrze Telekomunikacji Multimedialnej i Mikroelektroniki Politechniki Poznańskiej 4

5 Systemy wielowidokowe Rektyfikacja Korekcja Estymacja Map Głębi Transmisja Widoków i Map Głębi Dekompresja Dekompresja, przygotowanie danych do wyświetlania Kompresja Synteza Widoków Wyświetlanie Wyświetlacz Komputer dekodujący systemu wielowidokowego 5

6 Systemy wielowidokowe Rektyfikacja Korekcja Estymacja Map Głębi Transmisja Widoków i Map Głębi Dekompresja Wyświetlanie Kompresja Synteza Widoków Wyświetlanie Wyświetlacz Monitory polaryzacyjne Monitory autostereoskopowe Rzutniki z polaryzatorami 6

7 Mapy głębi Dostarczają informacji o głębi obiektów odległość od obiektywów poszczególnych punktów sceny 7

8 Synteza widoków Generowanie widoków wirtualnych z miejsc, w których nie można ustawić kamery Ograniczenie liczby kamer (koszty) Niezbędne dane: Dane o głębi obiektów Znajomość parametrów systemu kamerowego 8

9 Kompresja w systemach wielowidokowych standaryzowana metoda kompresji widoków: MVC oparta na AVC predykcja międzywidokowa informacje o systemie kamer Widok Czas I0 B1 I0 B1 b4 b4 b4 b4 B1 P0 B1 P0 B1 b4 b4 b4 b4 B1 P0 B1 P0 B1 b4 b4 b4 b4 B1 P0 B1 P0 P0 B1 P0 9

10 Kompresja w systemach wielowidokowych Kompresja głębi brak propozycji standardu Propozycja - wykorzystanie kodeka MVC do kompresji map głębi Mapy Głębi tylko jedna składowa uboga tekstura wyraźne kontury istotna dokładna wartość Widoki trzy składowe koloru bogactwo tekstur kontury rozmyte dopuszczalne zmiany wartości 10

11 Wpływ kompresji na jakość obrazu syntezowanego Wykorzystane jedynie 3 kamery, z czego jedna tylko do celów pomiaru jakości syntezy Ocena przydatności kodeka MVC na podstawie jakości uzyskanych obrazów syntetycznych A Widok A QP B Widok C C Mapa Głębi A Mapa Głębi C Kompresja MVC Kompresja MVC Dekompresja MVC Dekompresja MVC QD Mapy Głębi Widoki Synteza Widoku Wirtualny Widok B 11

12 Kompresja w systemach wielowidokowych Jakość oceniana miarą PSNR, jako referencyjny brany jest widok z odpowiedniej rzeczywistej kamery 12

13 Wpływ kompresji na jakość obrazu syntezowanego Decymacja mapy głębi x x4 13

14 Wyniki Book Arrival - Jakość syntezy QP=26 Synteza - PSNR [db] 36 QP=31 34 QP=36 32 QP=41 30 QP=46 28 QP=51 Decymacja 2x Bez decymacji 26 0 QP= Całkowita Przepływność [Mbps]

15 Wyniki Newspaper - Jakość syntezy 31 Decymacja 2x Bez decymacji Synteza - PSNR [db] 30 QP=31 29 QP=26 QP=21 QP=36 28 QP=41 27 QP=46 26 QP= Całkowita Przepływność [Mbps]

16 Wyniki Pantomime - Jakość syntezy 36 Synteza - PSNR [db] 34 QP=31 QP=36 32 QP=41 30 QP=46 28 QP=51 Decymacja 2x Bez decymacji 26 0 QP=21 QP= Całkowita Przepływność [Mbps]

17 Wyniki Book Arrival - Jakość syntezy QP=21 36 QP=26 Synteza - PSNR [db] QP=31 34 QP=36 32 QP=41 30 QP=46 28 QP=51 Decymacja 2x Bez decymacji Stosunek Przepływności

18 Wyniki Newspaper - Jakość syntezy 31 Decymacja 2x Bez decymacji Synteza - PSNR [db] 30 QP=21 29 QP=26 QP=31 QP=36 28 QP=41 27 QP=46 26 QP= Stosunek Przepływności

19 Wyniki Pantomime - Jakość syntezy 36 QP=21 QP=26 QP=31 Synteza - PSNR [db] 34 QP=36 32 QP=41 30 QP=46 QP=51 28 Decymacja 2x Bez decymacji Stosunek Przepływności

20 Wyniki Book Arrival - Jakość syntezy 37 QP=26 QP=21 Synteza - PSNR [db] QP=31 34 QP= QP=41 Decymacja 4x Decymacja 2x Bez decymacji Całkowita Przepływność [Mbps]

21 Wyniki Book Arrival - Jakość syntezy 37 QP=21 Synteza - PSNR [db] 36 QP=26 QP= QP=36 33 QP=41 32 Decymacja 4x Decymacja 2x Bez decymacji Stosunek Przepływności

22 Podsumowanie Na finalną jakość syntezy znacznie większy wpływ niż jakość mapy głębi ma jakość widoku Pożądana jest dwukrotna decymacja map głębi Udział strumienia bitowego głębi powinien zawierać się w granicach: 10% - 30% dla niezdecymowanej mapy głębi 5% - 20% dla zdecymowanej mapy głębi 22

23 Dziękuję za uwagę 23

24 Wzory mapa głębi Jasność punktu mapy głębi d d min i = 255 d max d min d rozbieżność Wartość głębi Z = i Z far 255 Z near Z far 24