Kodowanie i kompresja Streszczenie Studia dzienne Wykład 9,

Transkrypt

1 1 Kody Tunstalla Kodowanie i kompresja Streszczenie Studia dzienne Wykład 9, Inne podejście: słowa kodowe mają ustaloną długość, lecz mogą kodować ciągi liter z alfabetu wejściowego o różnej długości. Niech n oznacza długość słowa kodowego (liczba słów kodowych musi być większa od rozmiaru alfabetu). Dane: alfabet a 1,..., a N i prawdopodobieństwa występowania symboli z alfabetu p 1,..., p N. Tworzenie kodu. 1. Przyporządkowanie symbolom alfabetu N różnych ciągów o długości n. 2. Dopóki liczba ciągów długości n, które nie są wykorzystane jest większa od N 1: wybierz element e książki kodowej o największym prawdopodobieństwie usuń e z książki kodowej dodaj do książki kodowej elementy powstałe przez połączenie e z a 1,..., a N. przyporządkuj prawdopodobieństwa nowym elementom książki kodowej: P (ea i ) = P (e)p (a i ). Przyklad 1 Niech P (a) = 0.6, P (b) = 0.3, P (c) = 0.1. Utwórz 3-bitowy kod Tunstalla. Uwaga: kodowanie końcówki tekstu wymaga specjalnej obsługi. Dlaczego? Dla sytuacji tej rezerwujemy słowo kodowe 1 n. Zaleta: błędy transmisji nie propagują się (dzięki temu, że długość słowa kodowego jest stała). 2 Kodowanie arytmetyczne Motywacje 1. średnia dlugość kodu Huffmana może odbiegać o p max od entropii, gdzie p max to największe z prawdopodobieństw występowania symboli - może to powodować duże odchylenia od wartości entropii 1

2 2. efekt ten można zniwelować poprzez zastosowanie kodów Huffmana, w którym alfabet stanowią ciągi symboli określonej długości - ale wtedy rośnie gwałtownie rozmiar alfabetu. Idea kodowania arytmetycznego: zastosowanie podejścia z punktu 2. bez konieczności tworzenia książki kodowej dla wszystkich ciągów symboli (w szczególności tych, które nie wystepują). Uogólnienie kodowania Shannona. Ogólna metoda kodowania: tekst zostaje odwzorowany na liczbę z przedziału [0, 1) nazywaną ZNACZNI- Kiem. zakodowaną postać tekstu tworzy ZNACZNIK, reprezetowany z odpowiednio dobraną dokładnością oraz n - długość kodowanego tekstu. Znacznik dla jednej litery alfabetu: elementy alfabetu numerujemy a 1, a 2,..., a n ; oznaczmy ich prawdopodobieństwa przez p 1, p 2,..., p n ; literze a i przyporządkowujemy dowolną liczbę z przedziału [F (i), F (i + 1)), gdzie F (i) = i 1 j=1 p i Kodowanie ciągu b 1... b n nad alfabetem a 1,..., a m : 1. z = [0, 1); l = 0; p = 1; 2. Dla i = 1, 2,..., n: (a) niech b i = a j (b) l = l + F (j)/(p l) (c) p = l + F (j + 1)/(p l) 3. znacznik = (l + p)/2 (lub dowolna liczba z przedziału [l, p)) Przyklad 2 P (a) = 0.7, P (b) = 0.1, P (c) = 0.2. Kodujemy tekst abc. Tekst Lewy Prawy Znacznik a b c

3 Lemat 1 Dla ustalonej długości tekstu n, każdy ciag jest odzorowany na przedział rozłaczny z przedziałami odpowiadajacymi innym ciagom. Gwarantuje to jednoznaczność kodowania. Dekodowanie ciągu o długości n ze znacznika z: 1. l = 0; p = 1; 2. Dla i = 1, 2,..., n: (a) wybierz j takie, że l + F (j)(p l) z < l + F (j + 1)(p l) (b) przyjmij, że b i = a j (c) l = l + F (j)(p l); p = l + F (j + 1)(p l). 3. Ciąg oryginalny to b 1... b n. Przyklad 3 Niech z = 0.55 dla P (a) = 0.7, P (b) = 0.1, P (c) = 0.2 i n = 3. Własności kodowania arytmetycznego: Tekst Lewy Prawy Znacznik 0 1 a b c Wygenerowanie znacznika dla konkretnego ciągu nie wymaga wyznaczania bądź pamiętania znaczników innych ciągów 2. Problem! Komputerowa reprezentacja znacznika może wymagać dużej pamięci - jak dobrać wartość znacznika aby zminimalizować potrzebną pamięć? Twierdzenie 1 Niech x = x 1... x n będzie ciagiem danych o prawdopodobieństwie wystapienia P (x) = n i=1 P (x i ). Zaokraglenie znacznika ciagu x do m(x) = log 1/P (x) + 1 bitów (polegajace na usunięciu dalszych bitów) gwarantuje jednoznaczność kodowania. Dowód. Wystarczy pokazać, że zaokrąglenie gwarantuje, że znacznik pozostanie w przedziale [l, p) dla l i p wyznaczonych przy omawianiu algorytmu. Jest to równoważne własności, że wartość bezwzględna różnicy między znacznikiem dokładnym ((l +p)/2) a jego zaokrągleniem jest mniejsza od odległości znacznika oryginalnego od końców przedziału - (p l)/2. Oznaczenia: z = (l+p)/2 - znacznik; z - zaokrąglenie do m = m(x) bitów. Zauważmy, że z < z < p oraz 0 <= z z < 2 m. Pozostaje lewy koniec przedziału, zauważmy: 3

4 z z p; p l = P (x) (dla ciągów jednoliterowych z definicji, dla dłuższych dowód indukcyjny) z(x) l = P (x)/2, z (x) > z(x) 1/2 m(x) > log(1/p (x))+1 z(x) 1/2 > z(x) 1/(2 1/P (x)) = z(x) P (x)/2 = (p + l)/2 (p l)/2 = l. Jednoznaczność dekodowania - wynika z rozłączności przedziałów. Twierdzenie 2 Kod arytmetyczny jest (dla ustalonej długości kodowanego tekstu) przy zaokraglaniu do log 1/P (x) + 1 bitów kodem prefiksowym. Dowód. Wynika z jednoznaczności i faktu, że przybliżenie z znacznika z do log 1/P (x) + 1 bitów znajduje się w przedziale przypisanym ciągowi x, a przedziały różnych ciągów są rozłączne. Z drugiej strony, każde słowo (liczba) o prefiksie z przybliżenia też mieści się w przedziale przypisanym ciągowi x. Przyklad 4 Znacznik dla P(a)=0.7, P(b)=0.1, P(c)=0.2 i tekstu abc to 0.553, binarnie Liczba potrzebnych bitów to (log 1/(1/10)) + 1 = 5. Czyli zakodowana postać tekstu to Efektywność kodowania arytmetycznego Średnia długość kodu dla ciągów o ustalonej długości n a entropia: {x x =n} P (x)m(x) = {x x =n} P (x)( log 1/P (x) + 1) {x x =n} P (x)(log(1/p (x)) ) = {x x =n} P (x) log P (x) + 2 {x x =n} P (x) = H(X (n) ) + 2 Wniosek 1 Kodowanie arytmetyczne gwarantuje, że średnia liczba bitów przypadaja- cych na 1 symbol tekstu źródłowego jest równa co najwyżej H(X) + 2/n, gdzie X to źródło danych, a n długość kodowanego tekstu. 4

5 2.2 Implementacja Problemy: wraz ze wzrostem długości ciągu potrzebna coraz większa precyzja reprezentacji liczb a arytmetyka (dokładna) wbudowana w języki programowania (i szybko działająca) jest ograniczona do liczb o stałej długości. Zatem powstają zaokrąglenia niszczące informacje o ciągu. Dla efektywności transmisji danych - potrzebny algorytm przyrostowy (znacznik powstaje wraz z wydłużaniem się ciągu, nie dopiero po przeczytaniu całego ciągu). Algorytm z przeskalowaniem 1. licznik := 0 2. Jeśli cały przedział zawarty w [0, 0.5): (a) Przesyłamy bit 0 i przeskalowujemy przedział funkcją E 1 (x) = 2x. (b) Przesyłamy ciąg jedynek o długości licznik (c) licznik := 0 3. Jeśli cały przedział zawarty w [0.5, 1): (a) Przesyłamy bit 1 i przeskalowujemy przedział używając funkcji E 2 (x) = 2(x 0.5) (b) Przesyłamy ciąg zer o długości licznik (c) licznik := 0 4. Wartość 0.5 zawiera się w aktualnym przedziale [l, p): Jeśli [l, p) zawiera się w [0.25, 0.75): (a) przeskalowujemy przedział używając funkcji E 3 (x) = 2(x 0.25) (b) licznik := licznik + 1; Lemat 2 Ciag przeskalowań E 1 E2 i jest równoważny E3E i 1. Podobnie, ciag przeskalowań E 2 E1 i jest równoważny E3E i 2 Przyklad 5 Kodowanie dla P (a) = 0.8, P (b) = 0.02 i P (c) = 0.18, kodujemy acba. Dekodowanie z przeskalowaniem: 5

6 1. Niech p = max ai log(1/p (a i )). Odczytujemy pierwsze p bitów znacznika i ustalamy pierwsze przybliżenie znacznika z i pierwszy symbol w tekście, a j. 2. l := F (j); r := F (j + 1); 3. licznik := 0; 4. Kontynuacja dekodowania: (a) zawsze gdy przedział, w którym jest z spełnia warunki dla przeskalowania E1 lub E2: i. przeskalowanie przedziału znacznika, ii. usuwamy 1 + licznik najbardziej znaczących bitów z i dołączamy kolejne 1 + licznik bitów jako najmniej znaczące bity z iii. licznik := 0 (b) jeśli przedział spełnia warunki dla E3: przeskalowanie przedziału i z i zwiększenie licznik o 1; (c) jeśli przedział nie spełnia żadnego z warunków dla E1, E2, E3: odczytujemy kolejne bity z tak aby było ich co najmniej p i jednoznacznie dekodowały kolejną literę; na podstawie z wyznaczamy literę tekstu i kolejny przedział. Przyklad 6 Dekodujemy ciag uzyskany w poprzednim przykładzie dla P (a) = 0.8, P (b) = 0.02 i P (c) = 0.18, czyli ciag Omówione też zostało zastosowanie kodowania arytmetycznego w standardzie JBIG. 6