Kompresja sekwencji obrazów

Transkrypt

1 Kompresja sekwencji obrazów - algorytm MPEG-2 Moving Pictures Experts Group (MPEG) ISO - International Standard Organisation CCITT - Comité Consultatif International de Téléphonie T et TélégraphieT CCIR - Comité Consultatif de la Radiodiffusion Pierwszy raport z prac (MPEG-1) dr inż.. Jacek Jarnicki 1 Pierwsza demonstracja wyników Raport z opisem MPEG MPEG-1 - kodowanie sekwencji obrazów i dźwid więku dla potrzeb zapisu na dyskach kompaktowych i wizyjnych MPEG-2 - kodowanie sekwencji obrazów i dźwid więku głównie g dla potrzeb przekazu telewizyjnego dr inż.. Jacek Jarnicki 2 1

2 Potrzeba kompresji - proste oszacowanie: sekwencja obrazów w (film czarno-bia biały): - rozdzielczość 640 x 480 punktów, - 8 bitów w na punkt ( 256 stopni szarości ), - 25 klatek (ramek) na sekundę, - dźwięk k 44 khz,, 16 bitów w na próbk bkę,, stereo, 640 x 480 x 8 x x 10 3 x 16 x 2» 60 Mb/s pojemność dysku kompaktowego: 640 MB = 5120 Mb fi ~ 85 s filmu dr inż.. Jacek Jarnicki 3 Norma MPEG-2 -dokumenty ISO/TEC DIS SYSTEM opisuje synchronizację i przełą łączanie sygnałów w dźwid więkowych i wizyjnych. ISO/TEC DIS VIDEO opisuje sposób b kodowania sygnału u video, udostępnia odświe wieżanie wraz z przeplotem. ISO/TEC DIS AUDIO opisuje kodowanie dźwięków, w, rozszerzenie dla kodowania wielu kanałów (dźwi więków surround,, dźwid więków w wielojęzycznych). ISO/TEC DIS Testy Porównawcze opisuje czynności ci służąs żące do określenia charakterystyki kodowania i dekodowania oraz do testowania zgodności z innymi częś ęściami standardu. dr inż.. Jacek Jarnicki 4 2

3 Norma MPEG-2 -dokumenty c.d. ISO/TEC DIS Symulacja Programowa jest opisem technicznym programowego wykonania pierwszych trzech częś ęści standardu. ISO/TEC DIS Rozszerzenie Systemu Komendy i Kontrola Cyfrowego Przetwarzania Mediów opisuje protokół dla aplikacji klient serwer. ISO/TEC DIS Specyfikacja Interfejsu do Przetwarzania Aplikacji Wysokiej Jakości w Czasie Rzeczywistym definiuje zależno ności czasowe dla transmisji MPEG-2 2 w czasie rzeczywistym. + Dodatki dr inż.. Jacek Jarnicki 5 Ogólny algorytm kompresji sekwencji obrazów 1. Próbkowanie i kwantowanie kolejnych ramek obrazu 2. Kodowanie ramek ramki Próbkowanie i kwantowanie ramki Kodowanie ramek strumień bitów dr inż.. Jacek Jarnicki 6 3

4 1. Próbkowanie i kwantowanie kolejnych ramek Wynik próbkowania i kwantowania ramki - trzy tablice liczb opisujące obraz w kategoriach modelu telewizyjnego ( YIQ lub YUV ). Stosuje się następuj pujące schematy próbkowania: 4:4:4 4:2:2 4:2:0 4:1:1 próbki luminancji próbki chrominancji dr inż.. Jacek Jarnicki 7 Typowe rozmiary tablic dla ramki (PAL- 625 linii): 4:4:4 Y 720 x 576 U 720 x 576 V 720 x bitów/punkt 8 bitów/punkt 8 bitów/punkt 4:2:2 Y 720 x 576 U 360 x 576 V 360 x bitów/punkt 8 bitów/punkt 8 bitów/punkt 4:2:0 Y 720 x 576 U 360 x 288 V 360 x bitów/punkt 8 bitów/punkt 8 bitów/punkt TV 4:1:1 Y 720 x 576 U 180 x 576 V 180 x bitów/punkt 8 bitów/punkt 8 bitów/punkt luminancja chrominancja chrominancja dr inż.. Jacek Jarnicki 8 4

5 2. Kodowanie ramek Określenie porządku kodowania Kodowanie kolejnych ramek według określonego porządku 2.1. Określenie porządku kodowania Przykładowy porządek kodowania ramek:... I I B B P B B PP B B I I... Ramka typu I (Intra) Ramka typu P (Predicted) Ramka typu B (Bidirectional) dr inż.. Jacek Jarnicki Kodowanie ramek typu I (Intra) Ramki typu I koduje się używając c algorytmu JPEG. Jest to najdokładniejszy adniejszy sposób b kodowania ramek wykorzystywany w algorytmie MPEG Kodowanie ramek typu P (Predicted) Kodowanie obrazu przy pomocy wektorów w ruchu Założenia: ramki zostały y podzielone na mniejsze częś ęści (makrobloki), częś ęści te dalej będąb traktowane niezależnie, nie, ramki bliskie są do siebie dość podobne. dr inż.. Jacek Jarnicki 10 5

6 Podstawowa zasada: (x,y) kodowany makroblok ramka odniesienia m kod (x, y) (x o, y o ) [u, v]= [x o -x, y o -y] wektor ruchu m 0 o makroblok odniesienia Jeśli m o jest podobny do m kod, to w przybliżeniu m kod można zapisać jako m ( i, j) = m ( i + u, j v) kod o + dr inż.. Jacek Jarnicki 11 Tak więc, dla zakodowania makrobloku m kod przy założeniu, że e zapisana jest ramka odniesienia, wystarczy podać jedynie wektor ruchu [u,[ v]. v Zastosowanie powyższej zasady w praktyce wymaga jednak udzielenia odpowiedzi na szereg pytań. Jaki rozmiar powinien mieć makroblok? Która ramka jest ramką odniesienia? Poprzednia? Następna? Co to znaczy podobny makroblok? W jakim obszarze ramki odniesienia poszukiwać podobnego makrobloku? Co zrobić,, gdy nie ma podobnego makrobloku? dr inż.. Jacek Jarnicki 12 6

7 Kodowanie ramek typu P (Predicted)) c.d. Rozmiar makrobloku wynosi 16 X16 pikseli (norma MPEG-2). Ramką odniesienia jest najbliższa poprzednia ramka typu I lub P (norma MPEG-2). Co to znaczy podobny makroblok i w jakim obszarze go poszukiwać,, norma MPEG-2 2 nie precyzuje. Metoda poszukiwania wektora ruchu [u, v] zależy y w tym przypadku od implementacji. Jeżeli eli metoda poszukiwania wektora ruchu dopuszcza wynik negatywny, makroblok koduje się używając c algorytmu JPEG (norma MPEG-2). dr inż.. Jacek Jarnicki 13 Wyznaczanie wektora ruchu (przykład metody) ramka kodowana ramka odniesienia (x-64, y-64) (x-64, y+63) (x,y) kodowany makroblok kod (16 x 16) m kod (x,y) (x+63, y-64) m o (16 x 16) (x+63, y+63) obszar poszukiwania W obszarze poszukiwania bada się wszystkie możliwe położenia makrobloku m o i wybiera to, które minimalizuje kryterium d(u,v). dr inż.. Jacek Jarnicki 14 7

8 d ( u,v) = mkod ( x + i, y + j) mo ( x + i + u, y + j + v) przy czym i= 0 j= 0 64 u,v 63 Liczby u,v są składowymi poszukiwanego wektora ruchu. Wektor ruchu [u,[ v] zawsze będzie b znaleziony. Bezpośrednie rozwiązanie zanie zadania poszukiwania [u,v]] dla jednego makrobloku wymaga obliczenia wartości funkcji d(u,v ), tyle razy ile pikseli zawiera obszar poszukiwania, czyli razy. Licząc c wartość d(u,v),, należy y równier wnież wykonać kilkaset operacji arytmetycznych. dr inż.. Jacek Jarnicki 15 Kodowanie ramek typu P - algorytm 1 o Podzielić kodowaną ramkę na makrobloki. 2 o Wykorzystując c ramkę odniesienia wyznaczyć wektory ruchu dla makrobloków. 3 o Dla zakodowanej przy pomocy wektorów w ruchu ramki wyznaczyć i zakodować błąd d predykcji. Na podstawie ramki odniesienia i wektorów ruchu, zrekonstruować kodowaną ramkę Obliczyć różnicę ramki źródłowej i ramki zrekonstruowanej - wynikiem jest tak zwany obraz błęb łędu predykcji. Zakodować obraz błęb łędu predykcji przy pomocy algorytmu JPEG (inna tablica kwantyzacji). dr inż.. Jacek Jarnicki 16 8

9 Kodowanie ramek typu B (Bidirectional) Ramkę typu B koduje się wykorzystując c najbliższe, poprzednią i następn pną ramkę typu I lub P. Przykładowo: T 1 T 2 T 1 T 2... II BB BB PP BB BB PP... T 1 T 2 T1 T 2 czas Dla różnych r ramek typu B czasy T 1 i T 2 mogą być różne. dr inż.. Jacek Jarnicki 17 Wyznacza się dwa wektory ruchu [u[ 1, v 1 ] i [u[ 2, v 2 ]. czas T 1 ramka odniesienia 1 (x, y) ramka odniesienia 2 T 2 (x, y) ramka kodowana (x,y) kodowany makroblok m kod (x 1, y 1 ) (x 2, y 2 ) m 2 [u 2, v 2 ]= [x 2 -x, y 2 -y] makroblok odniesienia [u 1, v 1 ]= [x 1 -x, y 1 -y] m 1 T T m kod 1 + T + T 2 ( i, j) = m ( i+ u, j+ v ) + m ( i + u, j v ) 1 makroblok odniesienia T1 + T2 dr inż.. Jacek Jarnicki 18 9

10 Kodowanie ramek typu B - algorytm 1 o Podzielić kodowane ramki na makrobloki. 2 o Wykorzystując c ramki odniesienia wyznaczyć pary wektorów w ruchu dla makrobloków. 3 o Dla zakodowanej przy pomocy wektorów w ruchu ramki wyznaczyć i zakodować błąd d predykcji. Na podstawie ramek odniesienia i par wektorów w ruchu, zrekonstruować kodowaną ramkę Obliczyć różnicę ramki źródłowej i ramki zrekonstruowanej - wynikiem jest obraz błęb łędu predykcji. Zakodować obraz błęb łędu predykcji przy pomocy algorytmu JPEG. dr inż.. Jacek Jarnicki Kolejność kodowania i dekodowania ramek Kodowanie:... II BB BB PP BB BB PP Zapis, transmisja, dekodowanie:... II PP BB BB PP BB BB dr inż.. Jacek Jarnicki 20 10

11 4. Ograniczenia systemu MPEG-2 Poziom Próbki/ Wiersze Ramki/ Ramki/ Próbki Próbki Mb/s Mb/s wiersz wiersz /ramkę /ramkę sekundę luminancji/s Wysoki Wysoki Główny Niski Niski dr inż.. Jacek Jarnicki 21 11