WST P DO TEORII INFORMACJI I KODOWANIA. Grzegorz Szkibiel. Wiosna 2013/14

Transkrypt

1 WST P DO TEORII INFORMACJI I KODOWANIA Grzegorz Szkibiel Wiosna 2013/14

2 Spis tre±ci 1 Kodowanie i dekodowanie Kodowanie a szyfrowanie Podstawowe poj cia Dekodowanie jednoznaczne Kody blokowe i natychmiastowe Przykªady znanych kodów blokowych Twierdzenia Krafta i McMillana Konstruowanie kodów natychmiastowych Twierdzenia Kody Humana ródªo informacji Denicja kodu Humana Konstrukcja kodu Humana Kompresowanie kodów i entropia Przykªad kompresowania danych Idea entropii Denicja entropii Maximum i minimum entropii Rozszerzenie ¹ródªa Entropia a przeci tna dªugo± sªowa kodowego Twierdzenie Shannona o kodowaniu bezszumowym Pewna komunikacja poprzez niepewne ª cza Symetryczne ª cze binarne Pr dko± przepªywu informacji

3 5.3 Bariera pojemno±ci Odlegªo± Hamminga Wykrywanie i poprawianie bª dów Kody liniowe Denicja Macierz generuj ca Równania opisuj ce kody Macierz sprawdzaj ca parzysto± Waga Hamminga Syndrom Wykrywanie i poprawianie bª dów Kody Hamminga Optymalne kody poprawiaj ce pojedyncze bª dy Przykªady kodów Hamminga Dekodowanie kodów Hamminga Uwagi ko«cowe Kody ReedaMüllera Funkcje Boole'a Wielomiany Boole'a Kody ReedaMüllera Geometria aniczna nad ciaªem Z Dekodowanie kodu Reeda-Müllera

4 Rozdziaª 3 Kody Humana Kod Humana stanowi rozwi zanie minimalizacji dªugo±ci kodu dla danego tekstu. Dla przykªadu, rozwa»my problem znalezienia takiego kodu binarnego dla alfabetu {A, B, D, K, R}, aby sªowo abrakadabra miaªo mo»liwie najkrótszy kod. Interesuj nas przy tym, oczywi±cie, tylko kody jednoznacznie dekodowalne. Je±li zastosujemy tu kod blokowy, to b dzie on miaª dªugo± nie mniejsz ni» 3. Wówczas nasze sªowo b dzie miaªo kod przynajmniej trzydziesto-trzy znakowy. Kod Humana daje mo»liwo± zakodowania sªowa abrakadabra kodem natychmiastowym dªugo±ci 23, co daje prawie trzydziesto procentow oszcz dno±. 3.1 ródªo informacji ródªem informacji nazywamy alfabet ¹ródªowy wraz z dystrybucj prawdopodobie«stw wyst powania poszczególnych liter tego alfabetu, tj. zbiór A = {a 1, a 2,..., a n }, przy czym n > 1 wraz z funkcj P : A (0, 1) speªniaj c warunek n P (a i ) = 1. i=1 Zaªó»my jeszcze,»e prawdopodobie«stwa wyst powania poszczególnych liter w tek±cie s niezale»ne, tj. P (a i1 a i2... a ik ) = 13 n P (a ij ), j=1

5 czyli prawdopodobienstwo wyst pienia sªowa a i1 a i2... a ik jest równe iloczynowi prawdopodobie«stw wyst pienia poszczególnych liter. 3.2 Denicja kodu Humana Niech K b dzie kodowaniem ¹ródªa informacji, tj. alfabetu A = {a 1, a 2,..., a n } wraz z przyporz dkowan mu dystrybucj prawdopodobie«stw. Oznaczmy przez d i (gdzie 1 i n) dªugo± sªowa kodowego K(a i ). redni dªugo±ci sªowa kodowego nazywamy wielko± n L(K) = d i P (a i ), (3.1) i=1 czyli warto± oczekiwan zmiennej losowej {(d i, P (a i )) : i {1, 2,..., n}} lub ±redni wa»on prawdopodobie«stw. Najbardziej efektywnym jest taki kod natychmiastowy, dla którego wielko± L(K) jest najmniejsza. Dla danego ¹ródªa informacji S oznaczmy przez L min (S) najmniejsz dªugo± ±redni sªowa kodowego, czyli minimum po L(K) dla wszystkich mo»liwych kodowa«alfabetu A. Minimum to istnieje, poniewa» mamy tylko sko«czon liczb warto±ci sumy (3.1) mniejszych od n. Kod K, dla którego L(K) = L min (S) nazywamy kodem Humana. 3.1 Przykªad. Rozwa»my nast puj ce ¹ródªo informacji. x A B D K R P (x) 5 2 Przypiszmy sªowa kodowe w trzech ró»nych kodach K 1, K 2 i K 3 nast puj co. Otrzymujemy x A B D K R K 1 (x) K 2 (x) K 3 (x) L(K 1 ) = 3 L(K 2 ) = 24 L(K 3 ) = 23. Zatem L min (S) 23. Analizuj c warto±ci sumy (3.1) pod k tem znalezienia warto±ci minimalnej, szybko zauwa»amy»e mamy tu równo±. 14

6 3.3 Konstrukcja kodu Humana Zaªó»my,»e nasze ¹ródªo informacji ma alfabet dwuelementowy. Wówczas przyporz dkowanie jednemu elementowi zera, a drugiemu jedynki jest tu optymalnym kodem i w tym przypadku L min = 1. Je±li ¹ródªo ma n symboli, to sprowadzimy je do przypadku dwuelementowego. W tym celu zaªó»my,»e A = {a 1, a 2,..., a n } jest alfabetem ¹ródªowym oraz»e zachodzi P (a 1 ) P (a 2 ) P (a n ). Powy»sze ¹ródªo informacji oznaczmy przez S. ródªem zredukowanym S nazywamy ¹ródªo, w którym alfabetem jest A = {a 1, a 2,..., a n 2, a n 1 a n } (ostatnia litera alfabetu A jest sªowem w alfabecie A), natomiast dystrybucja prawdopodobie«stw wygl da nast puj co: P (a i ) = P (a i ) dla 1 i n 2 P (a n 1 a n ) = P (a n 1 ) + P (a n ). Šatwo jest sprawdzi,»e S jest faktycznie ¹ródªem informacji. 3.2 Twierdzenie. Stosuj c powy»sze oznaczenia, zaªó»my,»e K jest kodem Humana dla zredukowanego ¹ródªa informacji. Wówczas kod K(a i ) = K (a i ) dla 1 i n 2 K(a n 1 ) = K (a n 1 a n )0 K(a n ) = K (a n 1 a n )1 jest kodem Humana dla ¹ródªa S. Dowód. Zaªó»my,»e elementy a 1, a 2,..., a n s uporz dkowane wedªug malej cych prawdopodbie«stw. Dowód konstrukcyjny przeprowadzimy w trzech krokach. Krok 1. Poka»emy,»e dla ¹ródªa S istnieje kod Humana K 0, dla którego d 1 d 2 d n, gdzie d i oznacza dªugo± K 0 (a i ) oraz 1 i n. Zauwa»my,»e L min (S) jest równy minimum z L(K), gdzie K przebiega wszystkie mo»liwe kody natychmiastowe okre±lone na alfabecie A ¹ródªa informacji S. Poniewa» minimum to jest osi galne, wi c kod Humana zawsze istnieje. Niech K b dzie pewnym kodem Humana dla ¹ródªa informacji S. Je»eli istnieje litera a i, dla której d i > d i+1, zamieniamy sªowa kodowe liter 15

7 a i oraz a i+1. Zatem a i ma teraz kod dªugo±ci d i+1, a a i+1 kod dªugo±ci d i. Otrzymany kod K 1 w dalszym ci gu jest natychmiastowy. Poka»emy,»e jest on te» kodem Humana. Istotnie, L(K) L(K 1 ) = d i P (a i ) + d i+1 P (a i+1 ) (d i+1 P (a i ) + d i P (a i+1 )) = (d i d i+1 )(P (a i ) P (a i+1 ). Poniewa» elementy alfabetu A s uporz dkowane wedªug malej cych prawdopodobie«stw, wi c P (a i ) P (a i+1 ). Z drugiej strony, zaªo»yli±my,»e d i > d i+1. Zatem L(K) L(K 1 ) 0, czyli L(K) L(K 1 ). Ale K jest kodem Humana, wi c L(K) = L min (S). St d L(K) = L(K 1 ) = L min (S) i K 1 te» jest kodem Humana. Post pujemy podobnie a» dªugo±ci sªów kodowych zostan uporz dkowane rosn co. Odpowiadaj cy kod Human'a jest poszukiwanym kodem K 0. Krok 2. Poprawimy kod K 0 otrzymuj c kod Humana K 1 taki,»e sªowa kodowe K 1 (a n ) oraz K 1 (a n 1 ) ró»ni si tylko ostatnim bitem. Niech K 0 b dzie kodem otrzymanym z K 0 poprzez odrzucenie ostatniego bitu z K 0 (a n ). Poniewa» P (a n ) > 0, wi c L( K 0 ) < L(K 0 ) = L min (S) i K 0 nie mo»e by kodem natychmiastowym (inaczej K 0 nie byªby kodem Humana). Zatem K 0 (a n ) musi by pocz tkiem pewnego sªowa kodowego K 0 (a i ) = K 0 (a i ) dla 1 i n 1. Oznaczmy przez d n dªugo± sªowa K 0 (a n ). Mamy d n 1 = d n. Skoro K 0 (a n ) jest pocz tkiem sªowa K 0 (a i ), wi c d n d i d n. Je±li jednak d n = d i, to K 0 (a i ) = K 0 (a n ) jest pocz tkiem sªowa kodowego K 0 (a n ) co przeczy natychmiastowo±ci kodu K 0. Zatem musi by d i = d n. Oznacza to, po pierwsze,»e d i = d i+1 = = d n oraz, po drugie,»e sªowa K 0 (a i ) oraz K 0 (a n ) ró»ni si tylko ostatnim bitem. Mo»emy zatem zamieni sªowa kodowe liter a n 1 oraz a i (o ile jest to konieczne) i otrzymamy» dany kod K 1. Krok 3. Zako«czymy dowód twierdzenia. Zauwa»my,»e dla zdeniowanego w tezie twierdzenia kodu K zachodzi równo± L(K) = L(K ) + P (a n 1 ) + P (a n ). Niech K 1 b dzie kodem dla ¹ródªa S otrzymanym w kroku 2. Oznaczmy przez K 1 kod dla zredukowanego ¹ródªa informacji, gdzie sªowo kodowe K 1(a n 1 a n ) jest równe K 1 (a n 1 ) lub K 1 (a n ) z odrzuconym ostatnim bitem oraz K 1(a j ) = K 1 (a j ) dla n j n 1. Wówczas K 1 jest natychmiastowy. Mamy te» L(K 1 ) L(K 1) = P (a n 1 ) + P (a n ) = L(K) L(K ). 16

8 St d L(K) = L(K 1 ) L(K 1) + L(K ). Ale K jest z zaªo»enia kodem Humana, wi c L(K 1) + L(K ) 0. Zatem L(K) L(K 1 ). Ale skoro K 1 jest kodem Humana, wi c takowym musi te» by K. Konstrukcja kodu Humana dla ¹ródªa informacji S polega na tworzeniu kolejnych ¹ródeª zredukowanych S, S,... S (h) a» otrzymamy ¹ródªo z alfabetem dwuelementowym. Nast pnie deniujemy tak jak w poprzednim twierdzeniu kody Humana dla ¹ródeª S (h 1), S (h 2),... S. 3.3 Przykªad. Dla ¹ródªa informacji z przykªadu 3.1 tworzymy kolejne zredukowane ¹ródªa x A B DK R S : P (x) S : x A BDK R P (x) 5 4 x BDKR A S (3) : 6 P (x) którym odpowiadaj kody 5 2 K (3) (BDKR) = 0, K (3) (A) = 1; K (A) = 1, K (BDK) = 00, K (R) = 01; K (A) = 1, K (B) = 000, K (DK) = 001, K (R) = 01. Ostatecznie, otrzymamy dla naszego ¹ródªa informacji nast puj cy kod Humana x A B D K R K(x) Zatem L min (S) = 23 i najkrótszy jednoznacznie dekodowalny kod sªowa abrakadabra ma 23 znaki. Kody Humana mo»emy te» tworzy dla alfabetów kodowych o wi kszej ni» dwa liczbie znaków. Caªe rozumowanie tego podrozdziaªu mo»na przenie± na ten przypadekz t tylko ró»nic,»e inaczej deniujemy kolejne ¹ródªa zredukowane. 17