Kompresja sekwencji obrazów - algorytm MPEG-2 Moving Pictures Experts Group (MPEG) - 1988 ISO - International Standard Organisation CCITT - Comité Consultatif International de Téléphonie T et TélégraphieT CCIR - Comité Consultatif de la Radiodiffusion Pierwszy raport z prac (MPEG-1) - 1990 dr inż.. Jacek Jarnicki 1 Pierwsza demonstracja wyników - 1991 Raport z opisem MPEG-2-1994 MPEG-1 - kodowanie sekwencji obrazów i dźwid więku dla potrzeb zapisu na dyskach kompaktowych i wizyjnych MPEG-2 - kodowanie sekwencji obrazów i dźwid więku głównie g dla potrzeb przekazu telewizyjnego dr inż.. Jacek Jarnicki 2 1
Potrzeba kompresji - proste oszacowanie: sekwencja obrazów w (film czarno-bia biały): - rozdzielczość 640 x 480 punktów, - 8 bitów w na punkt ( 256 stopni szarości ), - 25 klatek (ramek) na sekundę, - dźwięk k 44 khz,, 16 bitów w na próbk bkę,, stereo, 640 x 480 x 8 x 25 + 44 x 10 3 x 16 x 2» 60 Mb/s pojemność dysku kompaktowego: 640 MB = 5120 Mb fi ~ 85 s filmu dr inż.. Jacek Jarnicki 3 Norma MPEG-2 -dokumenty ISO/TEC DIS 13818-1 SYSTEM opisuje synchronizację i przełą łączanie sygnałów w dźwid więkowych i wizyjnych. ISO/TEC DIS 13818-2 VIDEO opisuje sposób b kodowania sygnału u video, udostępnia odświe wieżanie wraz z przeplotem. ISO/TEC DIS 13818-3 AUDIO opisuje kodowanie dźwięków, w, rozszerzenie dla kodowania wielu kanałów (dźwi więków surround,, dźwid więków w wielojęzycznych). ISO/TEC DIS 13818-4 Testy Porównawcze opisuje czynności ci służąs żące do określenia charakterystyki kodowania i dekodowania oraz do testowania zgodności z innymi częś ęściami standardu. dr inż.. Jacek Jarnicki 4 2
Norma MPEG-2 -dokumenty c.d. ISO/TEC DIS 13818-5 Symulacja Programowa jest opisem technicznym programowego wykonania pierwszych trzech częś ęści standardu. ISO/TEC DIS 13818-6 Rozszerzenie Systemu Komendy i Kontrola Cyfrowego Przetwarzania Mediów opisuje protokół dla aplikacji klient serwer. ISO/TEC DIS 13818-9 Specyfikacja Interfejsu do Przetwarzania Aplikacji Wysokiej Jakości w Czasie Rzeczywistym definiuje zależno ności czasowe dla transmisji MPEG-2 2 w czasie rzeczywistym. + Dodatki dr inż.. Jacek Jarnicki 5 Ogólny algorytm kompresji sekwencji obrazów 1. Próbkowanie i kwantowanie kolejnych ramek obrazu 2. Kodowanie ramek ramki Próbkowanie i kwantowanie ramki Kodowanie ramek strumień bitów dr inż.. Jacek Jarnicki 6 3
1. Próbkowanie i kwantowanie kolejnych ramek Wynik próbkowania i kwantowania ramki - trzy tablice liczb opisujące obraz w kategoriach modelu telewizyjnego ( YIQ lub YUV ). Stosuje się następuj pujące schematy próbkowania: 4:4:4 4:2:2 4:2:0 4:1:1 próbki luminancji próbki chrominancji dr inż.. Jacek Jarnicki 7 Typowe rozmiary tablic dla ramki (PAL- 625 linii): 4:4:4 Y 720 x 576 U 720 x 576 V 720 x 576 8 bitów/punkt 8 bitów/punkt 8 bitów/punkt 4:2:2 Y 720 x 576 U 360 x 576 V 360 x 576 8 bitów/punkt 8 bitów/punkt 8 bitów/punkt 4:2:0 Y 720 x 576 U 360 x 288 V 360 x 288 8 bitów/punkt 8 bitów/punkt 8 bitów/punkt TV 4:1:1 Y 720 x 576 U 180 x 576 V 180 x 576 8 bitów/punkt 8 bitów/punkt 8 bitów/punkt luminancja chrominancja chrominancja dr inż.. Jacek Jarnicki 8 4
2. Kodowanie ramek Określenie porządku kodowania Kodowanie kolejnych ramek według określonego porządku 2.1. Określenie porządku kodowania Przykładowy porządek kodowania ramek:... I I B B P B B PP B B I I... Ramka typu I (Intra) Ramka typu P (Predicted) Ramka typu B (Bidirectional) dr inż.. Jacek Jarnicki 9 2.1.1. Kodowanie ramek typu I (Intra) Ramki typu I koduje się używając c algorytmu JPEG. Jest to najdokładniejszy adniejszy sposób b kodowania ramek wykorzystywany w algorytmie MPEG-2. 2.1.2. Kodowanie ramek typu P (Predicted) Kodowanie obrazu przy pomocy wektorów w ruchu Założenia: ramki zostały y podzielone na mniejsze częś ęści (makrobloki), częś ęści te dalej będąb traktowane niezależnie, nie, ramki bliskie są do siebie dość podobne. dr inż.. Jacek Jarnicki 10 5
Podstawowa zasada: (x,y) kodowany makroblok ramka odniesienia m kod (x, y) (x o, y o ) [u, v]= [x o -x, y o -y] wektor ruchu m 0 o makroblok odniesienia Jeśli m o jest podobny do m kod, to w przybliżeniu m kod można zapisać jako m ( i, j) = m ( i + u, j v) kod o + dr inż.. Jacek Jarnicki 11 Tak więc, dla zakodowania makrobloku m kod przy założeniu, że e zapisana jest ramka odniesienia, wystarczy podać jedynie wektor ruchu [u,[ v]. v Zastosowanie powyższej zasady w praktyce wymaga jednak udzielenia odpowiedzi na szereg pytań. Jaki rozmiar powinien mieć makroblok? Która ramka jest ramką odniesienia? Poprzednia? Następna? Co to znaczy podobny makroblok? W jakim obszarze ramki odniesienia poszukiwać podobnego makrobloku? Co zrobić,, gdy nie ma podobnego makrobloku? dr inż.. Jacek Jarnicki 12 6
Kodowanie ramek typu P (Predicted)) c.d. Rozmiar makrobloku wynosi 16 X16 pikseli (norma MPEG-2). Ramką odniesienia jest najbliższa poprzednia ramka typu I lub P (norma MPEG-2). Co to znaczy podobny makroblok i w jakim obszarze go poszukiwać,, norma MPEG-2 2 nie precyzuje. Metoda poszukiwania wektora ruchu [u, v] zależy y w tym przypadku od implementacji. Jeżeli eli metoda poszukiwania wektora ruchu dopuszcza wynik negatywny, makroblok koduje się używając c algorytmu JPEG (norma MPEG-2). dr inż.. Jacek Jarnicki 13 Wyznaczanie wektora ruchu (przykład metody) ramka kodowana ramka odniesienia (x-64, y-64) (x-64, y+63) (x,y) kodowany makroblok kod (16 x 16) m kod (x,y) (x+63, y-64) m o (16 x 16) (x+63, y+63) obszar poszukiwania W obszarze poszukiwania bada się wszystkie możliwe położenia makrobloku m o i wybiera to, które minimalizuje kryterium d(u,v). dr inż.. Jacek Jarnicki 14 7
d 1 256 15 15 ( u,v) = mkod ( x + i, y + j) mo ( x + i + u, y + j + v) przy czym i= 0 j= 0 64 u,v 63 Liczby u,v są składowymi poszukiwanego wektora ruchu. Wektor ruchu [u,[ v] zawsze będzie b znaleziony. Bezpośrednie rozwiązanie zanie zadania poszukiwania [u,v]] dla jednego makrobloku wymaga obliczenia wartości funkcji d(u,v ), tyle razy ile pikseli zawiera obszar poszukiwania, czyli 16384 razy. Licząc c wartość d(u,v),, należy y równier wnież wykonać kilkaset operacji arytmetycznych. dr inż.. Jacek Jarnicki 15 Kodowanie ramek typu P - algorytm 1 o Podzielić kodowaną ramkę na makrobloki. 2 o Wykorzystując c ramkę odniesienia wyznaczyć wektory ruchu dla makrobloków. 3 o Dla zakodowanej przy pomocy wektorów w ruchu ramki wyznaczyć i zakodować błąd d predykcji. Na podstawie ramki odniesienia i wektorów ruchu, zrekonstruować kodowaną ramkę Obliczyć różnicę ramki źródłowej i ramki zrekonstruowanej - wynikiem jest tak zwany obraz błęb łędu predykcji. Zakodować obraz błęb łędu predykcji przy pomocy algorytmu JPEG (inna tablica kwantyzacji). dr inż.. Jacek Jarnicki 16 8
2.1.3. Kodowanie ramek typu B (Bidirectional) Ramkę typu B koduje się wykorzystując c najbliższe, poprzednią i następn pną ramkę typu I lub P. Przykładowo: T 1 T 2 T 1 T 2... II BB BB PP BB BB PP... T 1 T 2 T1 T 2 czas Dla różnych r ramek typu B czasy T 1 i T 2 mogą być różne. dr inż.. Jacek Jarnicki 17 Wyznacza się dwa wektory ruchu [u[ 1, v 1 ] i [u[ 2, v 2 ]. czas T 1 ramka odniesienia 1 (x, y) ramka odniesienia 2 T 2 (x, y) ramka kodowana (x,y) kodowany makroblok m kod (x 1, y 1 ) (x 2, y 2 ) m 2 [u 2, v 2 ]= [x 2 -x, y 2 -y] makroblok odniesienia [u 1, v 1 ]= [x 1 -x, y 1 -y] m 1 T T m kod 1 + T + T 2 ( i, j) = m ( i+ u, j+ v ) + m ( i + u, j v ) 1 makroblok odniesienia 2 1 1 1 2 2 2 T1 + T2 dr inż.. Jacek Jarnicki 18 9
Kodowanie ramek typu B - algorytm 1 o Podzielić kodowane ramki na makrobloki. 2 o Wykorzystując c ramki odniesienia wyznaczyć pary wektorów w ruchu dla makrobloków. 3 o Dla zakodowanej przy pomocy wektorów w ruchu ramki wyznaczyć i zakodować błąd d predykcji. Na podstawie ramek odniesienia i par wektorów w ruchu, zrekonstruować kodowaną ramkę Obliczyć różnicę ramki źródłowej i ramki zrekonstruowanej - wynikiem jest obraz błęb łędu predykcji. Zakodować obraz błęb łędu predykcji przy pomocy algorytmu JPEG. dr inż.. Jacek Jarnicki 19 3. Kolejność kodowania i dekodowania ramek Kodowanie:... II BB BB PP BB BB PP... 1 2 3 4 5 6 7 Zapis, transmisja, dekodowanie:... II PP BB BB PP BB BB... 1 4 2 3 7 5 6 dr inż.. Jacek Jarnicki 20 10
4. Ograniczenia systemu MPEG-2 Poziom Próbki/ Wiersze Ramki/ Ramki/ Próbki Próbki Mb/s Mb/s wiersz wiersz /ramkę /ramkę sekundę luminancji/s Wysoki 1920 1920 1152 1152 60 60 62.668.800 80 80 Wysoki 1440 1440 1152 1152 60 60 47.001.600 60 60 1440 1440 Główny 720 720 576 576 30 30 10.368.000 15 15 Niski Niski 352 352 288 288 30 30 3.041.280 4 dr inż.. Jacek Jarnicki 21 11