[1/28] Wybrane algorytmu kompresji dźwięku [dr inż. Paweł Forczmański] Katedra Systemów Multimedialnych, Wydział Informatyki, Zachodniopomorski Uniwersytet Technologiczny w Szczecinie
[2/28] Podstawy kompresji dźwięku Kwantyzacja jednorodna i niejednorodna Kompresja entroipijna Kompresja z modelem psychoakustycznym Klasyfikacja metod Metody stratne Metody bezstratne Charakterystyka wybranych metod
[3/28] Kompresja bezstratna: zachowanie pełnej informacji o przebiegu sygnału dźwiękowego zmiana sposobu zapisu sygnału wejściowego do postaci o mniejszym rozmiarze, z zachowaniem jakości dynamiki, pasma przenoszenia i tzw. bazy stereo Kompresja stratna: eliminowanie z przebiegu sygnału wyjściowego składowych (dźwięków), które nie są słyszalne przez człowieka zmiana sposobu zapisu informacji o przebiegu wejściowego sygnału dźwiękowego jak w kompresji bezstratnej
[4/28] Kompresja bazująca na teorii informacji (RLE, ByteRun, LZW...) Oznaczanie obszarów ciszy i ich zapis w sposób bardziej oszczędny niż np. 16 bitów na jeden kanał i jedną próbkę Dla dźwięku stereo, w którym różnice między kanałami są niewielkie, zapisywać pełną informację o dźwięku mono, a różnicę kodować w odrębny sposób
[5/28] Maskowanie dźwięków tzn. obniżenie progu detekcji jednego dźwięku wskutek istnienia innego dźwięku Rodzaje maskowania: maskowanie sąsiednich częstotliwości (ciche dźwięki o częstotliwościach zbliżonych do częstotliwości dźwięku głośnego nie są słyszalne) maskowanie dźwięków następujących (głośny dźwięk potrafi zagłuszyć cichsze dźwięki następujące zaraz po nim) maskowanie dźwięków poprzedzających (cichy dźwięk poprzedzający w krótkim czasie dźwięk głośny nie jest słyszalny)
[6/28] Zmienna przepływność (ang. variable bit rate VBR) - zróżnicowanie ilości danych wyjściowych przypadających na poszczególne segmenty czasowe w zależności od złożoności danych wejściowych w tych segmentach. Celem jest utrzymanie stałej jakości sygnału wyjściowego, nie zaś stałej ilości danych przypadających na daną jednostkę czasu. Technika VBR jest preferowana w przypadku przechowywania danych ze względu na bardziej efektywne wykorzystanie objętości danych - więcej miejsca przeznaczane jest na bardziej skomplikowane segmenty, mniej zaś na segmenty zawierające dane o mniejszej złożoności. Zmienna przepływność utrudnia kompresję i dekompresję, lecz daje lepszą jakość przy tej samej wielkości pliku.
[7/28] Stała przepływność (ang. constant bit rate) - zapis określonego czasu nagrania zawsze przy pomocy tej samej liczby bitów, niezależnie od stopnia skomplikowania zapisywanych danych. Celem jest zagwarantowanie wypełnienia określonego pasma transmisyjnego Rozwiązanie proste, bez analizy danych Nie jest optymalnym rozwiązaniem dla składowania danych multimedialnych - strumień może być niewystarczający przy złożonych nagraniach Zastosowanie w streamingu
[8/28] PCM pulse-code modulation Zapis spróbkowanej i skwantowanej fali w formie cyfrowej, czyli jako sekwencji kolejnych amplitud sygnału ogólna nazwa wielu metod LPCM (Linear PCM) to szczególna metoda PCM, która wykorzystuje liniową kwantyzację LPCM zapisuje próbki za pomocą wartości wprost proporcjonalnych do amplitudy sygnału
[9/28] Najprostszy kwantyzator jednorodny Wszystkie przedziały (z wyjątkiem skrajnych) o tej samej szerokości Poziomy rekonstrukcji równomiernie rozłożone w odległościach równych szerokościom przedziałów (w połowie przedziałów)
[10/28] DPCM (Differential Pulse Code Modulation) ADPCM (Adaptive Differential Pulse Codev Modulation) u-law A-Law
[11/28] DPCM (ang. Differential Pulse Code Modulation) opiera się na zasadach kodowania sygnału zastosowanych w modulacji kodowo- impulsowej (PCM) nadajnik DPCM próbkuje otrzymany sygnał, a następnie koduje jedynie różnicę pomiędzy próbką rzeczywistą a przewidywaną słowa kodowe metody DPCM reprezentują różnice pomiędzy próbkami Odbiornik odtwarza oryginalny sygnał na podstawie przewidzianej przez siebie wartości oraz otrzymanej różnicy.
Wariant 1: - pobierz wartości sąsiadujących próbek s(t) i s(t+1), oblicz ich różnicę d=s(t+1)-s(t), zapisz różnicę d, skwantuj d Wariant 2: Pobierz różnicę d pomiędzy próbką s(t+1) a wyjściem z lokalnego modelu dekodera, skwantuj d Poprzez powyższe podejścia eliminuje się krótkoterminową redundancję (po kodowaniu entropijnym, kompresja rzędu 2:1 i 4:1) [12/28] U.S. patent 2605361, C. Chapin Cutler, "Differential Quantization of Communication Signals", filed June 29, 1950, issued July 29, 1952
[13/28] Wariant 1: - pobierz wartości sąsiadujących próbek s(t) i s(t+1), oblicz ich różnicę d=s(t+1)-s(t), zapisz różnicę d, skwantuj d
[14/28]
[15/28] Efektywność DPCM zależy od zdolności algorytmu predykcji (przewidywania), który jest zależny od wartości próbek poprzedzających. Jeśli w kanale transmisyjnym nie występują szumy, to sygnał wyjściowy odbiornika różni się od oryginalnego sygnału wejściowego tylko błędem kwantyzacji. Brak możliwości swobodnego dostępu do strumienia: dekodowanie każdej próbki wymaga znajomości całej historii (problem ten rozwiązuje się wprowadzając cykliczne zerowanie predyktora, co pogarsza efektywność kompresji) Rozszerzeniem metody DPCM jest technika ADPCM.
[16/28] Typowa przepływność kodowanego DPCM sygnału mowy to 48 kbps Problem z kwantyzacją różnic w sygnale (kwantyzacja liniowa, jednorodna) Słaby sygnał mały SNR Silny sygnał duży SNR
[17/28] ADPCM z ang. Adaptive Differential Pulse Code Modulation to adaptacyjna różnicowa modulacja kodowo-impulsowa. Zwykle wykorzystuje kanały o przepływnościach od 16 do 32 kb/s. Liczba bitów informacji o zmianie jest automatycznie dopasowywana do złożoności sygnału. Na płycie CD-ROM zapisać około 16 godzin muzyki ADPCM jest często używana do kodowania mowy, jest wykorzystywana w standardzie kompresji dźwięku G.726.
[18/28] Algorytm kodowania ITU G.726 Wejście to próbka zapisana jako LPCM Oblicz przewidywaną wartość następnej próbki Oblicz różnicę pomiędzy aktualną próbką a wartością przewidywaną Zakoduj różnicę jako 4 bity, wyślij zakodowany symbol na wyjście Odeślij zakodowany symbol do predyktora Odeślij zakodowany symbol do kwantyzera Skalibruj kwantyzer
[19/28] Algorytm µ-law (zwany u-law, ulaw, or mu-law) stosowany w telekomunikacji w Ameryce Pn i Japonii Redukuje zakres dynamiki sygnału audio Zwiększa jednocześnie Signal-to-Distortion Zmniejsza szumy kwantyzacji Zakłada nieliniowe (logarytmiczne) kodowanie wartości 14- bitowych w słowach 8-bitowych Sygnał telefoniczny jest samplowany z częstotliwością 8kHz, 14bit/próbkę co daje 112,000 bit/s. Kompresja na poziomie 1.75:1 daje 64kbit/s
[20/28] Usuń znak (+/-) z próbki wejściowej t s(t) = abs( input (t) ) Jeżeli s(t)<256 to przesuń 16-bitową wartość bitowo w dół o 4 bity i zapisz na 8 bitach (utrata górnych 4 bitów!) W przeciwnym przypadku zastosuj logarytmiczne próbkowanie i zapisz wynik na 8 bitach
[21/28] Standard kodowania zdefiniowany w ITU-T Recommendation G.711 Sygnał 14-bitowy zapisany z kwantyzacją Skompresowany Sygnał 8-bitowy LPCM
[22/28] Standard kodowania zdefiniowany w ITU-T Recommendation G.711 const int cbias = 0x84; const int cclip = 32635; unsigned char LinearToMuLawSample(short sample) { static char MuLawCompressTable[256] = { 0,0,1,1,2,2,2,2,3,3,3,3,3,3,3,3, 4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4, 5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5, 5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5, 6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6, 6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6, 6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6, 6,6,6,6,6,6,6,6,6,6,6,6,6,6,6,6, 7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7, 7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7, 7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7, 7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7, 7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7, 7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7, 7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7, 7,7,7,7,7,7,7,7,7,7,7,7,7,7,7,7 }; int sign = (sample >> 8) & 0x80; if (sign) sample = (short)-sample; if (sample > cclip) sample = cclip; sample = (short)(sample + cbias); int exponent = (int)mulawcompresstable[(sample>>7) & 0xFF]; int mantissa = (sample >> (exponent+3)) & 0x0F; int compressedbyte = ~ (sign (exponent << 4) mantissa); return (unsigned char)compressedbyte; }
[23/28] Standard kodowania zdefiniowany w ITU-T Recommendation G.711 static short MuLawDecompressTable[256] = { -32124,-31100,-30076,-29052,-28028,-27004,-25980,-24956, -23932,-22908,-21884,-20860,-19836,-18812,-17788,-16764, -15996,-15484,-14972,-14460,-13948,-13436,-12924,-12412, -11900,-11388,-10876,-10364, -9852, -9340, -8828, -8316, -7932, -7676, -7420, -7164, -6908, -6652, -6396, -6140, -5884, -5628, -5372, -5116, -4860, -4604, -4348, -4092, -3900, -3772, -3644, -3516, -3388, -3260, -3132, -3004, -2876, -2748, -2620, -2492, -2364, -2236, -2108, -1980, -1884, -1820, -1756, -1692, -1628, -1564, -1500, -1436, -1372, -1308, -1244, -1180, -1116, -1052, -988, -924, -876, -844, -812, -780, -748, -716, -684, -652, -620, -588, -556, -524, -492, -460, -428, -396, -372, -356, -340, -324, -308, -292, -276, -260, -244, -228, -212, -196, -180, -164, -148, -132, -120, -112, -104, -96, -88, -80, -72, -64, -56, -48, -40, -32, -24, -16, -8, -1, 32124, 31100, 30076, 29052, 28028, 27004, 25980, 24956, 23932, 22908, 21884, 20860, 19836, 18812, 17788, 16764, 15996, 15484, 14972, 14460, 13948, 13436, 12924, 12412, 11900, 11388, 10876, 10364, 9852, 9340, 8828, 8316, 7932, 7676, 7420, 7164, 6908, 6652, 6396, 6140, 5884, 5628, 5372, 5116, 4860, 4604, 4348, 4092, 3900, 3772, 3644, 3516, 3388, 3260, 3132, 3004, 2876, 2748, 2620, 2492, 2364, 2236, 2108, 1980, 1884, 1820, 1756, 1692, 1628, 1564, 1500, 1436, 1372, 1308, 1244, 1180, 1116, 1052, 988, 924, 876, 844, 812, 780, 748, 716, 684, 652, 620, 588, 556, 524, 492, 460, 428, 396, 372, 356, 340, 324, 308, 292, 276, 260, 244, 228, 212, 196, 180, 164, 148, 132, 120, 112, 104, 96, 88, 80, 72, 64, 56, 48, 40, 32, 24, 16, 8, 0 }; Wydajna metoda dekompresji nie wymagająca realizacji odwróconego algorytmu kompresji Pobranie 8-bitowego kodu i odtworzenie 16-bitowej próbki za pomocą odwołania do tablicy Look-up-table (LUT)
[24/28] Algorytm A-law jest standardem w cyfrowych systemach telekomunikacyjnych w Europie Podobny do μ-law Redukuje zakres dynamiczny sygnału Zwiększa efektywność kodowania Dla tej samej liczby bitów charakteryzuje się zwiększonym stosunkiem Signal-to-Distortion w porównaniu do LPCM. Algorytm μ-law charakteryzuje się niewiele większą dynamiką w porównaniu do A-law, kosztem większych zniekształceń dla słabych sygnałów
[25/28] Standard kodowania zdefiniowany w ITU-T Recommendation G.711 static char ALawCompressTable[128] = { 1,1,2,2,3,3,3,3, 4,4,4,4,4,4,4,4, 5,5,5,5,5,5,5,5, 5,5,5,5,5,5,5,5, 6,6,6,6,6,6,6,6, 6,6,6,6,6,6,6,6, 6,6,6,6,6,6,6,6, 6,6,6,6,6,6,6,6, 7,7,7,7,7,7,7,7, 7,7,7,7,7,7,7,7, 7,7,7,7,7,7,7,7, 7,7,7,7,7,7,7,7, 7,7,7,7,7,7,7,7, 7,7,7,7,7,7,7,7, 7,7,7,7,7,7,7,7, 7,7,7,7,7,7,7,7 }; unsigned char LinearToALawSample(short sample) { int sign; int exponent; int mantissa; unsigned char compressedbyte; sign = ((~sample) >> 8) & 0x80; if (!sign) sample = (short)-sample; if (sample > cclip) sample = cclip; if (sample >= 256) { exponent = (int)alawcompresstable[(sample >> 8) & 0x7F]; mantissa = (sample >> (exponent + 3) ) & 0x0F; compressedbyte = ((exponent << 4) mantissa); } else { compressedbyte = (unsigned char)(sample >> 4); } compressedbyte ^= (sign ^ 0x55); return compressedbyte; }
[26/28] Standard kodowania zdefiniowany w ITU-T Recommendation G.711 static short ALawDecompressTable[256] = { -5504, -5248, -6016, -5760, -4480, -4224, -4992, -4736, -7552, -7296, -8064, -7808, -6528, -6272, -7040, -6784, -2752, -2624, -3008, -2880, -2240, -2112, -2496, -2368, -3776, -3648, -4032, -3904, -3264, -3136, -3520, -3392, -22016,-20992,-24064,-23040,-17920,-16896,-19968,-18944, -30208,-29184,-32256,-31232,-26112,-25088,-28160,-27136, -11008,-10496,-12032,-11520,-8960, -8448, -9984, -9472, -15104,-14592,-16128,-15616,-13056,-12544,-14080,-13568, -344, -328, -376, -360, -280, -264, -312, -296, -472, -456, -504, -488, -408, -392, -440, -424, -88, -72, -120, -104, -24, -8, -56, -40, -216, -200, -248, -232, -152, -136, -184, -168, -1376, -1312, -1504, -1440, -1120, -1056, -1248, -1184, -1888, -1824, -2016, -1952, -1632, -1568, -1760, -1696, -688, -656, -752, -720, -560, -528, -624, -592, -944, -912, -1008, -976, -816, -784, -880, -848, 5504, 5248, 6016, 5760, 4480, 4224, 4992, 4736, 7552, 7296, 8064, 7808, 6528, 6272, 7040, 6784, 2752, 2624, 3008, 2880, 2240, 2112, 2496, 2368, 3776, 3648, 4032, 3904, 3264, 3136, 3520, 3392, 22016, 20992, 24064, 23040, 17920, 16896, 19968, 18944, 30208, 29184, 32256, 31232, 26112, 25088, 28160, 27136, 11008, 10496, 12032, 11520, 8960, 8448, 9984, 9472, 15104, 14592, 16128, 15616, 13056, 12544, 14080, 13568, 344, 328, 376, 360, 280, 264, 312, 296, 472, 456, 504, 488, 408, 392, 440, 424, 88, 72, 120, 104, 24, 8, 56, 40, 216, 200, 248, 232, 152, 136, 184, 168, 1376, 1312, 1504, 1440, 1120, 1056, 1248, 1184, 1888, 1824, 2016, 1952, 1632, 1568, 1760, 1696, 688, 656, 752, 720, 560, 528, 624, 592, 944, 912, 1008, 976, 816, 784, 880, 848 }; Wydajna metoda dekompresji nie wymagająca realizacji odwróconego algorytmu kompresji Pobranie 8-bitowego kodu i odtworzenie 16-bitowej próbki za pomocą odwołania do tablicy Look-up-table (LUT)
[27/28] Kodek GSM - implementacją jednego ze standardów:hr, FR, EFR, AMR w systemie telefonii GSM. Niskie wymagania związane z prędkością transmisji przy akceptowalnej jakości zakodowanej mowy stosunkowo niewielka złożoność obliczeniowa popularność także w transmisji VoIP Kodeki GSM pracują na oknach o dł. 20 ms, ponieważ w ciągu tego czasu mowa nie zmienia się znacząco Próbkowanie 8 khz, zapis 13 bitów 20 ms dźwięku to 160 próbek
[28/28] Half Rate (HR) : 112 bitów 160 próbek kodowanych jest 50 segmentów (8000/160), osiągana prędkość transmisji to 5,6 kbit/s (112*50). Full Rate (FR) : 260 bitów 160 próbek kodowanych jest 50 segmentów (8000/160), osiągana prędkość transmisji to 13 kbit/s (260*50). Enhanced Full Rate (EFR) : 244 bitów 160 próbek kodowanych jest 50 segmentów (8000/160), osiągana prędkość transmisji to 12,2 kbit/s (244*50). rozmowa ma lepszą jakość niż ta zakodowana przez FR dzięki metodzie kodowania Algebraic-Code-Excited Linear Predictive (ACELP). Adaptive Multi Rate (AMR) : 95, 103, 118, 134, 148, 159, 204 i 244 bitów 160 próbek, transmisja 4.75, 5.15, 5.90, 6.70, 7.40, 7.95, 10.2 lub 12.2 kbit/s. Adaptive Multi Rate WideBand (AMR-WB) transmisja 6.60, 8.85, 12.65, 14.25, 15.85, 18.25, 19.85, 23.05, 23.85 kbit/s