Podstawy transmisji multimedialnych podstawy kodowania dźwięku i obrazu Autor Wojciech Gumiński
Podstawy transmisji multimedialnych Plan wykładu Wprowadzenie 1. Wprowadzenie 2. Ilość informacji 3. Kodowanie dźwięku 4. Kompresja dźwięku 5. Kodowanie obrazu 6. Kompresja obrazu
Ilość informacji I = log 2 1 p gdzie: p - prawdopodobieństwo pojawienia się wiadomości Przykład: Dla zbioru M równoprawdopodobnych zdarzeń I = log2( M ) [ bit] Średnia ilość informacji w zbiorze wiadomości to entropia E = p i Ii = pi log 2 i i pi 1 Przykład: Entropia tekstu pisanego w jęz. angielskim wynosi 4,2 [bit].
Dźwięk Definicja: Fala zmian ciśnienia rozchodząca się w ośrodku sprężystym Podstawowe parametry: Prędkość rozchodzenia się w powietrzu - ok. 340 m/s Zakres dźwięków rejestrowanych przez człowieka - 16Hz - 20000Hz Rozpiętość dynamiczna 90dB Dźwięki niesłyszalne: <16Hz infradźwięki >20kHz ultradźwięki
Konwersja dźwięku na postać cyfrową Etapy konwersji: 1. Przetwornik elektroakustyczny 2. Układ próbkujący 3. Kwantyzer 4. Koder S/H 010101
Próbkowanie Próbkowanie: Zgodnie z twierdzeniem o próbkowaniu, aby możliwe było odtworzenie wszystkich składowych częstotliwościowych sygnału częstotliwość próbkowania powinna być przynajmniej dwukrotnie większa od największej częstotliwości występującej w sygnale (podstawowopasmowym). Najczęściej wykorzystywane częstotliwości próbkowania: 44100 Sa/s -płyta CD 8000 Sa/s - kodowanie mowy inne używane to np. 16000, 32000, 48000, 96000
Przebieg czasowy i widmo mowy Licensed under Public domain via Wikimedia Commons
Kwantyzacja Kwantyzacja: Kwantyzacja sygnału, czyli przyporządkowanie skończonej liczby dyskretnych poziomów do wartości sygnału analogowego prowadzi do powstania błędu kwantyzacji nazywanego często szumem kwantyzacji. Dla równomiernego kwantowania i sygnału sinusoidalnego obowiązuje uproszczona zależność: SNR = 1.8 + 6.02 * R [db] Stosunek mocy sygnału do mocy szumu SNR kwantyzacji wzrasta o 6dB dla każdego kolejnego bitu rozdzielczości R kwantyzera.
Jakość kwantyzacji równomiernej Jakość kwantyzera równomiernego R Liczba bitów kwantyzera L Liczba poziomów kwantyzacji SNR Jakość [db] 4 16 25,8 8 256 49,8 10 1024 61,8 12 4096 73,8 14 16384 85,8 16 65536 97,8
Rozpiętość dynamiczna dźwięków
Krzywe izofoniczne Podstawy kodowania dźwięku i obrazu
Kodowanie dźwięku Ilość informacji w dźwięku Aby oddać wiernie cały zakres zarówno częstotliwości jak i rozpiętości dynamicznej dźwięków słyszanych przez człowieka przyjęto następujące parametry kodowania dźwięku na płytach CD: szybkość próbkowania 44100 Sa/s - pasmo 20Hz-20000Hz kwantyzacja równomierna 16-bitowa - SNR >96dB Co daje 2*16*44100 = 1,4 Mb/s Ilość informacji w treści mowy ok. 37 fonemów wypowiadanych nie częściej niż 10 na sekundę I = 10*log 2 (1/37) = 53 b/s
Kwantyzacja równomierna i nierównomierna Błąd kwantyzacji równomiernej 5 4 3 2 1 0 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 103 109 115 121 127 133 139 145 151 157 163 169 175 181 187 193 199 205 211 217 223 229 235 241 247 253-1 -2-3 -4 Sygnał Kwant. Błąd
Kwantyzacja równomierna i nierównomierna Błąd kwantyzacji nierównomiernej 5 4 3 2 1 0 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 103 109 115 121 127 133 139 145 151 157 163 169 175 181 187 193 199 205 211 217 223 229 235 241 247 253-1 -2-3 -4 Sygnał Kwant. Błąd
Kwantyzacja równomierna i nierównomierna SNR [db] 70 Kwantyzer o charakterystyce liniowej i logarytmicznej 60 8-bitowy A-law 14-bitowy równomierny 50 40 30 20 10 0 Poziom sygnału[db] 30 35 40 45 50 55 60 65 70 75 80 cisza szept rozmowa krzyk
Kodowanie mowy G.711 Kodek G.711 PCM (PulseCodeModulation) 14 bitowe próbki (13 bitowe ze znakiem) sygnału z kwantyzera równomiernego są kodowane na 8 bitach logarytmicznie 1-bit znak, 3- bity wykładnik i 4-bity mantysa. Stosowane są dwie krzywe logarytmiczne: tzw. μ-law (USA i Japonia) A-law (Europa i reszta świata oraz rozmowy międzynarodowe) Dla standardowego próbkowania mowy 8000 [Sa/s] otrzymujemy strumień 64kb/s. G.711 64kb/s (0ms opóźnienia)
Kodowanie PCM, DPCM, ADPCM x(t) ADPCM DPCMPCM t
G.726 (wcześniej G.723, G.721) i G.727, G.728 Kodek G.726 ADPCM (AdaptiveDifferentialPulseCodeModulation) Adaptacyjna różnicowa modulacja impulsowo-kodowa umożliwia uzyskanie stratnej kompresji mowy przez kodowanie nie wartości sygnału ale różnicy pomiędzy sygnałem, a adaptacyjnie estymowaną ekstrapolatą sygnału. Dla standardowym próbkowania mowy 8000 [Sa/s] otrzymujemy strumień danych o szybkości 40kb/s, który poprzez przerzedzanie (odrzucanie najmniej znaczących bitów) można zmniejszyć do 32, 24 albo 16 kb/s. G.727 pozwala na brak synchronizacji między nadajnikiem i odbiornikiem oraz dynamiczną zmiany szybkości, a G.728 pozwala na przesyłanie sygnału faksu i sygnałów DTFM. G.721 32kb/s G.72324 i 40kb/s G.726 i G.727 16, 24, 32, 40 kb/s (0.125ms opóźnienia) (10MIPS)
Koder ADPCM Podstawy kodowania dźwięku i obrazu
G.729 (wcześniej podobnie G.723.1) Kodek G.729 Zawansowany koder sygnału mowy (ACELP Algebraic Code Excited Linear Prediction) o stosunkowo dużej złożoności obliczeniowej pozwalający uzyskać jakość zbliżoną do G.711 przy strumieniu danych o przepływności zaledwie 8kb/s. Operuje na ramkach o czasie trwania 10ms z 5ms opóźnieniem niezbędnym dla pamięci wstecznej sygnału. Istnieją warianty G.729A o zmniejszonej złożoności obliczeniowej (kosztem jakości) i G.729B z wykrywaniem ciszy (Silence Suppresion) i generowaniem szumu dla poprawienia subiektywnych wrażeń odsłuchowych (CNG Comfort Noise Generation) i wiele innych mniej popularnych wariantów. G.723.1 5.3 i 6.3kb/s (37.5ms opóźnienia) (15-20MIPS) G.729 8kb/s (15ms opóźnienia) (20MIPS)
Kodowanie dźwięku jakości Hi-Fi CDDA - Compact Disk Digital Audio Aby oddać wiernie cały zakres zarówno częstotliwości jak i rozpiętości dynamicznej dźwięków słyszanych przez człowieka przyjęto następujące parametry kodowania dźwięku na płytach CD: szybkość próbkowania 44100 Sa/s - pasmo 20Hz-20000Hz kwantyzacja równomierna 16-bitowa - SNR >96dB strumień surowych danych to 2*16*44100 = 1,4Mb/s CDDA 1,4Mb/s
Kodowanie dźwięku MPEG Zawansowane kodowanie dźwięku bazujące na modelu psychoakustycznymludzkiego słuchu. W modelu tym wykorzystywane są następujące właściwości słuchu: - Zależny od częstotliwości próg słyszalności - Maskowanie słabszych tonów przez silniejsze o zbliżonej częstotliwości - Maskowanie słabszych dźwięków przez następujące po nich (i przed nimi silniejsze dźwięki - Nierozróżnianie kierunku dźwięków o najniższych i najwyższych częstotliwościach (Join Stereo)
Maskowanie w dziedzinie częstotliwości [db] 100 80 60 40 20 0 20 50 100 200 500 1k 2k 5k 10k 20k [Hz]
Maskowanie w dziedzinie czasu [db] 80 60 40 t
Kodowanie dźwięku MPEG - MP2 MPEG-1 Layer II (MP2) Dźwięk jest dzielony na 1152 próbkowe bloki, analizowany czasowo dla niewielkich opóźnień, filtrowany w 32 pasmowych bankach częstotliwości i poddawany 1024 punktowej analizie widmowej z wykorzystaniem FFT. W dziedzinie częstotliwości modelowanie psychoakustyczne pozwala usunąć część nieistotnej informacji. Jakość kompresji jest uzyskuje subiektywne oceny bardzo dobre przy strumieniu 256kb/s co daje 6-krotną kompresję w stosunku do CD Audio. MP2 225kb/s
Kodowanie dźwięku MPEG - MP3 MPEG-1 Layer III (MP3) Dźwięk jest dzielony na 1152 próbkowe bloki, analizowany czasowo wraz z porównaniem z poprzednimi i następnymi blokami, w miejsce banku filtrów z MP2 stosowana jest DTC dyskretna transformata kosinusowa i wszystkie operacje modelu psychoakustycznego są przeprowadzane w dziedzinie częstotliwości na współczynnikach transformaty DTC. Jakość kompresji jest uzyskuje subiektywne oceny niemal bardzo dobre przy strumieniu 128kb/s co daje 12-krotną kompresję w stosunku do CD Audio. MP3 128 kb/s (64-320kb/s)
Kodowanie obrazu nieruchomego JPEG W kodowaniu JPEG wykonuje się następujące etapy: 1. ZmianamodelubarwzRGBdoYCrCb 2. Zmniejszenie rozdzielczości dla składowych chrominancji 4:4:4 brak redukcji rozdzielczości 4:2:2 redukcja rozdzielczości tylko w poziomie 4:2:0 redukcja rozdzielczości w poziomie i w pionie 3. Podział obrazu na podobrazy 8x8 pikseli 4. Dyskretna transformata kosinusowa DCT 5. Kwantyzacja współczynników wg wag zależnych od stopnia kompresji 6. Bezstratne kodowanie współczynników kodami RLE i Huffmana
Kodowanie obrazu nieruchomego JPEG
Kodowanie obrazu ruchomego (wideo) Ilość informacji w obrazie wideo Telewizja standardowej rozdzielczości 720x576 pikseli, 25 obrazów na sekundę, model braw RGB, kwantyzacja równomierna 8-bitowa I SDTV = 3*8*25*720*576 = 249 Mb/s Telewizja wysokiej rozdzielczości 1920x1080 pikseli, 25 obrazów na sekundę, model barw RGB, kwantyzacja równomierna 8-bitowa: I HDTV = 3*8*25*1920*1080 = 1,24 Gb/s
Kodowanie obrazu ruchomego (wideo) W kodowaniu MPEG obrazu ruchomego wykorzystuje się model barw dobrze odpowiadający modelowi ludzkiego widzenia YCrCb czyli luminancja, chrominancja koloru czerwonego i chrominancja koloru niebieskiego. Oko ludzkie jest bardzie wrażliwe na jasność niż na kolor, stosuje się zatem dwukrotne zmniejszenie rozdzielczości sygnałów chrominancji wpionieiwpoziomie(4:2:0). Wzrok zwraca uwagę głównie na poruszające się elementy obrazu pomijając elementy statyczne obrazu ruchomego.
Kodowanie obrazu ruchomego (wideo) Zasadniczą kompresję uzyskuje się przez zastosowanie bardzo zgrubnej kwantyzacji prowadzącej do eliminacji większości informacji o empirycznie określonym najmniejszym znaczeniu oraz kodowanie jedynie wektorów przesunięcia (ruchu) i różnic pomiędzy małymi obszarami obrazu(8x8 pikseli). Ze względu na mniejszą rozdzielczość chrominancji operuje się na 6 ramkach 8x8 tworzących jeden obraz 16x16 pikseli. Wektory przesunięcia obrazu są wyznaczane z dokładnością do połowy piksela.
Kodowanie obrazu ruchomego (wideo) Kodowanie MPEG W strumieniu MPEG występują 3 zasadnicze rodzaje ramek obrazu: I-frame - Ramka typu I jest kompletnym nieruchomym obrazem sceny zakodowanym podobnie jak obrazy nieruchome w standardzie JPEG. P-frame - ramka typu P koduje jedynie różnice pomiędzy poprzednią ramką, a ramką bieżącą po uwzględnieniu wektorów ruchu. Do odtworzenia obrazu ramki typu P niezbędna jest znajomość ostatniej ramki typu I i wszystkich kolejnych ramek typu P. B-frame - ramka typu B koduje różnice pomiędzy ramkami poprzednimi i następnymi. Do odtworzenia jej obrazu niezbędna jest znajomość ramki typu I i wszystkich poprzednich i następnych ramek typu P.
Kodowanie obrazu ruchomego (wideo) Kodowanie MPEG - ramka typu P (predicted) Obraz podzielony zostaje na niewielkie obszary. Po wyznaczeniu i kompensacji wektorów ruchu i wyznaczeniu różnicy z poprzednim obrazem podlega on kodowaniu. Kodowaniu podlegają współczynniki dyskretnej transformaty kosinusowej DCT. Transformata częstotliwościowa skupia w jednym obszarze współczynniki decydujące o średnim poziomie jasności i średniej barwie danego obszaru i rozprasza współczynniki niewielkich szybkich zmian. Zastosowanie kwantyzacji o zróżnicowanych współczynnikach dla każdej z wartości DCT pozwala na wyzerowanie większości z nich w obrazie różnicowym. Współczynniki DCT są kodowane najpierw algorytmem RLE w celu eliminacji powtarzających się zer a następnie poddawane są bezstratnej kompresji optymalnym kodem Huffmana.
Kodowanie obrazu ruchomego (wideo) Kodowanie MPEG-4 Grupa standardów MPEG-4 bazująca na poprzednich MPEG-1 i MPEG- 2 wprowadza bardzo szerokie uogólnienie technik strumieniowego kodowania dźwięku i obrazu. Niektóre z cech: obiektowy model strumienia danych i plików modelowanie obiektów 2D i 3D synteza mowy (TTS Text To Speach) i animacja twarzy zarządzanie własnością intelektualną (DRM Digital Rights Management) i inne Najbardziej znane implementacje to MPEG-4 part 2 -DivX, Xvid, QT6 MPEG-4 part 10 -AVC (Advanced Video Coding), zalecenie ISO/ITU H.264 -BR, HDTV, DVB, QT7, CCTV
Kodowanie obrazu ruchomego (wideo) Kodowanie MPEG Maksymalna praktycznie użyteczna kompresja pozwala na zminimalizować ilość informacji do ok. 1 bita na piksel dla ramek I, 0.1 bita na piksel dla ramek typu P i 0.06 bita na piksel dla ramek typu B. Typowe praktycznie uzyskiwane strumienie danych: 1-4 Mb/s (DivXSD) 4-10 Mb/s (DVD MPEG2) 5-20 Mb/s (DivX HD) 20-80 Mb/s (HDTV, BR -H.264)
Dziękuję za uwagę