Kompresja danych kodowanie Huffmana. Dariusz Sobczuk

HTML
DOWNLOAD

Wielkość: px

Rozpocząć pokaz od strony:

Download "Kompresja danych kodowanie Huffmana. Dariusz Sobczuk"

Lech Jankowski
8 lat temu
Przeglądów:

1 Kompresja danych kodowanie Huffmana Dariusz Sobczuk

2 Plan wykładu Kodowanie metodą Shannona-Fano Kodowanie metodą Huffmana Elementarny kod Golomba Kod Golomba Kod Rice a kompresja danych 2

3 Efektywny kod symboli Słowa kodowe przyporządkowane są pojedynczym symbolom i mają różną liczbę bitów (warunek efektywnego kodu symboli) Słowa symboli o większym prawdopodobieństwie wystąpienia na wejściu są krótsze (długość słów proporcjonalna do il. Informacji związanej z danymi wydarzeniami) Kod jest przedrostkowy, czyli jednoznacznie dekodowalny (można korzystać za struktury drzewa binarnego) kompresja danych 3

4 Kodowanie Shannona Fano ( ) Pierwsza propozycja budowy kodu efektywnego o minimalnej redundancji Algorytm konstrukcji kodu nie gwarantuje, że zawsze zostanie uzyskany kod o minimalnej redundancji kompresja danych 4

5 Kod Shannona-Fano 1. Określ wagi (il wystąpień) poszczególnych symboli 2. Posortuj listę symboli w nierosnącym porządku wag, i ustal ją jako grupę początkową 3. Podziel grupę symboli na dwie części o możliwie równej sumie wag z zachowaniem porządku listy 4. Przyporządkuj symbolom grupy z większą wagą 0, a symbolom z mniejszą wagą 1 5. Rekursywnie powtórz kroki 3 i 4, aż grupa początkowa podzielona zostanie na jednoelementowe grupy kompresja danych 5

6 Przykład kodowania metodą S-F Dany alfabet As={a,b,c,d,e} z wagami odpowiednio w(a)=6, w(b)=12, w(c)=4, w(d)=5, w(e)=4 Posortowanie b,a,d,c,e wagi 12,6,5,4,4 Pierwszy podział wagi 12,6 5,4,4 kod 0,0,1,1,1 Następne ,4 kod 00,01,10,11,11 Końcowy kod 00,01,10,110,111 kompresja danych 6

7 Binarne drzewo dla metody S-F b a d 0 1 c e kompresja danych 7

8 Efektywność metody S-F Entropia H dla tego przypadku wynosi H = Średnia bitowa L = Nie jest to wartość optymalna, nawet w tej klasie koderów Pomimo to używana jest w takich koderach jak WinZip, oraz Cabarc firmy Microsoft kompresja danych 8

9 Optymalne drzewo binarne kodu symboli Własności takiego drzewa to: Liść symbolu o najmniejszej wadze ma najdłuższe słowo, czyli leży najgłębiej w drzewie drzewo jest binarne i lokalnie pełne, a więc liść leżący na najgłębszym poziomie ma brata, którym jest liść o drugiej w kolejności najmniejszej wadze Własność tę posiada drzewo Huffmana, które jest optymalne w swojej klasie kodów symboli kompresja danych 9

10 Kodowanie Huffmana (1952) Shannon opowiada na wykładzie o problemach związanych z konstrukcją kodu o minimalnej redundancji Huffman, student Shannona po niedługim czasie proponuje właściwe rozwiązanie, dzięki czemu... zostaje zwolniony ze zdawania egzaminu kompresja danych 10

11 Kod Huffmana założenia Symbolom o większym prawdopodobieństwie wystąpienia odpowiadają kody krótsze niż symbolom o mniejszym prawdopodobieństwie wystąpienia Dwóm najrzadziej występujące symbolom odpowiadają kody tej samej długości Niemożliwe skrócenie kodu dla żadnego symbolu kompresja danych 11

12 Kod Huffmana 1. Określ wagi dla symboli, tworząc zbiór wolnych wierzchołków 2. Sortuj listę wierzchołków wolnych nierosnąco 3. Dwa wolne wierzchołki z najmniejszymi wagami i połącz z tworzonym węzłem rodzica. Wagę rodzica ustal jako sumę wag dzieci. Zastąp te wierzchołki wierzchołkiem rodzica nadając dzieciom etykiety odpowiednio 0 i 1 4. Powtarzaj krok 3, aż zostanie wolny korzeń drzewa 5. Odczytaj ze struktury drzewa słowa kodowe liści kompresja danych 12

13 Przykład drzewa Huffmana porównanie b b a d a d c e c 0 1 e Drzewo Huffmana Shanona-Fano kompresja danych 13

14 Kodowanie Huffmana porównanie Weźmy ten sam przykład co dla S-F Otrzymujemy inne drzewo kodowe Entropia H dla tego wynosi H = Średnia bitowa dla S-F Średnia bitowa dla Huffmana Dla kodowania Huffmana jest to wartość optymalna w klasie koderów symboli kompresja danych 14

15 Przykładowy sekwencja poddawana kompresji Jakżeż ja się uspokoję Pełne strachu oczy moje, Pełne grozy myśli moje, Pełne trwogi serce moje, Pełne drżenia piersi moje Jakżeż ja się uspokoję... kompresja danych 15

16 Drzewo Huffmana dla badanego tekstu d h l ś ł m n e w g t z ę k p s u y,. N i a r o c ż j W S P kompresja danych 16

17 Kod Huffmana dla badanego tekstu Symbol L. wyst. Kod Symbol L. wyst. Kod a p c r d s e ś ę t g u h w i y j z k ż l , ł m n <spacja> o <nw> kompresja danych 17

18 Kod Huffmana cechy Nieskomplikowany sposób budowy drzewa Huffmana Kod jest optymalny, tzn. nie istnieje sposób kodowania przyporządkowujący symbolom kody o innych długościach, dla którego średnia długość kodu byłaby mniejsza kompresja danych 18

19 Kod Huffmana przykład tekstu Zastosowanie kodu Huffmana dla testowej wiadomości powoduje otrzymanie średniej długości kodu na symbol 4,48 bit (przy entropii 4,45 bit na symbol) kompresja danych 19

20 Czy kod Huffmana to już koniec? Kodowanie Huffmana jest optymalne w klasie algorytmów przypisujących symbolom kody o długości wyrażonej w całkowitej liczbie bitów Możliwe jest skonstruowanie kodu, który średnio będzie przypisywał kody o długościach będących ułamkami bitów kompresja danych 20

21 Kod dwójkowy o prawie stałej długości W kodzie dwójkowym o prawie stałej wartości B n dla n-elementowego alfabetu As={a 0,...,a n-1 } pierwszym r symbolom przypisywane są słowa k=[log 2 n] bitowe postaci B n (a i )=B k (i) a pozostałym słowa o długości (k+1) bitów postaci B n (a i )=B k+1 (r+i), r=2 k+1 n Dla źródeł o alfabecie zawierającym n=2 i, i=1,2,... symboli B n =B i a r=0, kod staje się kodem o stałej długości kompresja danych 21

22 Przypomnienie: kod unarny Symbol Kod Symbol Kod kompresja danych 22

23 Elementarny kod Golomba Niech dla parametru m (rząd kodu), EGm oznacza kod o zmienno-zmiennej wartości zdefiniowany przez alfabet As={1,01,...,0 i 1,...,0 m-1 1,0 m } (ciąg prawie jak przy kodowaniu unarnym), gdzie 0 i oznacza ciąg 0 o długości i. Kod EGm przypisuje rozszerzonemu symbolowi a m = 0 m wartość ζ m = 0, podczas gdy symbole a i =0 i 1 są kodowane za pomocą przedrostka 1 z dołączoną reprezentacją i w kodzie dwójkowym prawie stałej wartości B n. Warto zwrócić uwagę, że kod jest korzystny w przypadku często pojawiających się wartości 0 m kompresja danych 23

24 Słowa elementarnego kodu Golomba Alfabet Bit ciągi alfabetu dla m=8 Słowa kodowe Bit ciągi alfabetu dla m=9 Słowa kodowe a a a a a a a a a a kompresja danych 24

25 Kod Golomba Kod Golomba to kod symboli o nieskończonym alfabecie źródła z rzędem kodu m oznaczany Gm. Alfabet, składający się w wersji podstawowej z kolejnych liczb całkowitych nieujemnych, dzielony jest na rozłączne przedziały o stałej długości określonej przez rząd kodu A S ={(0,1,...,m-1),(m,m+1,...,2m-1),...} lub A S ( = { π m) 0 (, π m) 1,...} kompresja danych 25

26 Kod Golomba cd Formułując słowo kodowe ζ i należy wskazać numer przedziału u do którego trafia symbol i, a potem miejsce i od początku tego przedziału d. Długość przedziału m powinna się korelować z geometrycznym rozkładem prawdopodobieństwa źródła (gdzie p i+1 = ρ p i ) Szybsze opadanie charakterystyki (mniejsze ρ) wymaga krótszych przedziałów, wolniejsze dłuższych Odpowiedni dobór wartości m do szacowanej wartości ρ decyduje o efektywności kodu kompresja danych 26

27 Kod Golomba cd Słowo Golomba składa się z dwóch części: przedrostka będącego numerem przedziału symbolu zapisanego w kodzie unarnym, o potencjalnie nieograniczonej liczbie symboli przyrostka wskazującego odległość od początku przedziału wyrażoną słowem kodu dwójkowego prawie stałej długości Kod Golomba dla m=1 jest kodem unarnym kompresja danych 27

28 Kod Golomba - różne rzędy i m=1 m=2 m= kompresja danych 28

29 Przykład tworzenia kodu Golomba Wyznaczymy słowo kodowe dla m=3 oraz i=13 [i/m]=[13/3]=4; U(4)=11110 Przyrostek słowa zapisany w kodzie dwójkowym prawie stałej długości dla wartości d= (i mod m) =1; B (1)=10 Daje to słowo kodowe G(13)= kompresja danych 29

30 Wyznaczanie rzędu kodu Golomba Rząd kodu Golomba powinien określać długość serii powtórzeń bardziej prawdopodobnych symboli źródła Warunek Golomba określa rząd jako: m log(1 + ρ) log ρ = 1 kompresja danych 30

31 Kod Rice a Szczególny przypadek kodu Golomba, dla m=2 k nazwany jest kodem Rice a R k k mniej znaczących bitów zostaje zapisana jako przyrostek słowa kodowego bardziej znaczące bity po przesunięciu o k pozycji w prawo zostaje zapisane w kodzie unarnym kompresja danych 31

32 Kod Rice a - różne rzędy i k=1 k=2 k= kompresja danych 32

33 Przykład kodowania Rice a Słowo kodu R 2 dla i=6 Dwójkową reprezentację i=110 dzielimy na dwie części 1 10 Starszą część zapisujemy w postaci kodu unarnego U(1)=10 Dołączamy przyrostek 10 Otrzymujemy R 2 (6)=1010 kompresja danych 33

34 Kod Rice a realizacja Kody Rice a definiowane są jako dynamiczne kody Goloba Źródłowy ciąg dzielony jest na bloki o stałych lub zmiennych rozmiarach. W każdym bloku ustalony zostaje najkorzystniejszy kod Rice a Do każdego bloku trzeba dołączyć identyfikator określonej postaci kodu Rice a Kod Rice a z adaptacyjnie dobieraną wartością k dla każdej kodowanej wartości wykorzystano w standardzie JPEG-LS kompresja danych 34

35 Plan następnego wykładu Kodowanie arytmetyczne Kodowanie adaptacyjne Dla kodowania arytmetycznego Dla kodowania Huffmana Porównanie różnych kodowań adaptacyjnych kompresja danych 35

Podobne dokumenty

KODY SYMBOLI. Kod Shannona-Fano. Algorytm S-F. Przykład S-F

KODY SYMBOLI. Kod Shannona-Fano. Algorytm S-F. Przykład S-F KODY SYMBOLI Kod Shannona-Fano KODOWANIE DANYCH, A.Przelaskowski Metoda S-F Kod Huffmana Adaptacyjne drzewo Huffmana Problemy implementacji Kod Golomba Podsumowanie Kod drzewa binarnego Na wejściu rozkład: