WST P DO TEORII INFORMACJI I KODOWANIA Grzegorz Szkbel Wosna 204/5
Sps tre±c Kodowane dekodowane 4. Kodowane a szyfrowane..................... 4.2 Podstawowe poj ca........................ 5.3 Dekodowane jednoznaczne.................... 7.4 Kody blokowe natychmastowe................. 7.5 Przykªady znanych kodów blokowych.............. 8 2 Twerdzena Krafta McMllana 0 2. Konstruowane kodów natychmastowych............ 0 2.2 Twerdzena............................ 3 Kody Humana 3 3. ródªo nformacj......................... 3 3.2 Dencja kodu Humana..................... 4 3.3 Konstrukcja kodu Humana................... 5 4 Kompresowane kodów entropa 8 4. Przykªad kompresowana danych................. 8 4.2 Idea entrop............................ 9 4.3 Dencja entrop......................... 20 4.4 Maxmum mnmum entrop.................. 2 4.5 Rozszerzene ¹ródªa........................ 22 4.6 Entropa a przec tna dªugo± sªowa kodowego......... 23 4.7 Twerdzene Shannona o kodowanu bezszumowym....... 24 5 Pewna komunkacja poprzez nepewne ª cza 27 5. Symetryczne ª cze bnarne.................... 27 5.2 Pr dko± przepªywu nformacj.................. 29 2
5.3 Barera pojemno±c........................ 30 5.4 Odlegªo± Hammnga....................... 3 5.5 Wykrywane poprawane bª dów................ 33 6 Kody lnowe 35 6. Dencja.............................. 35 6.2 Macerz generuj ca........................ 36 6.3 Równana opsuj ce kody..................... 39 6.4 Macerz sprawdzaj ca....................... 40 6.5 Waga Hammnga......................... 4 6.6 Syndrom.............................. 43 6.7 Wykrywane poprawane bª dów................ 44 7 Kody Hammnga 46 7. Optymalne kody poprawaj ce pojedyncze bª dy........ 46 7.2 Przykªady kodów Hammnga................... 48 7.3 Dekodowane kodów Hammnga................. 49 7.4 Uwag ko«cowe.......................... 50 8 Kody ReedaMüllera 5 8. Funkcje Boole'a.......................... 5 8.2 Welomany Boole'a........................ 54 8.3 Kody ReedaMüllera....................... 56 8.4 Geometra anczna nad caªem Z 2............... 60 8.5 Dekodowane kodu Reeda-Müllera................ 63 3
Rozdzaª 4 Kompresowane kodów entropa 4. Przykªad kompresowana danych W poprzednm rozdzale zauwa»yl±my,»e kody Humana s najkrótszym mo»lwym kodowanam danego alfabetu ¹ródªowego. Zatem, aby dany kod byª krótszy, musmy kompresowa ju» sam kod, czyl,,kodowa kod. Przypu- ± my,»e zakodowal±my pewn wadomo± w kodze dwójkowym. W nast pstwe tej czynno±c okazaªo s,»e 90% kodu to zera, a tylko 0% to jedynk. Nasz zakodowan wadomo± mo»emy skompresowa koduj c blok btów. Dokªadne, zauwa»my,»e zakªadaj c nezale»no± wyst powana poszczególnych btów w zakodowanej wadomo±c, prawdopodobe«stwa wyst pena bloków 00, 0, 0, s równe, odpowedno 8, 9, 9 oraz procent. Otrzymujemy w c nast puj ce ¹ródªo nformacj 00 0 0 0,8 0,09 0,09 0,0 Dla powy»szego ¹ródªa nformacj konstruujemy kod Humana otrzymuj c 00 0 0 0 0 0 Otrzymany kod ma przec tn dªugo± równ 0, 8 + 2 0, 09 + 3 0, 09 + 3 0, 0 =, 29. 8
Ponewa» kodujemy blok dwubtowe, w c na ka»de dwa bty,,starego kodu potrzebujemy, 29 btów,,nowego kodu. Zyskal±my zatem ponad sedem dzes tych bta, co kompresuje nasz kod do okoªo 64% (, 29/2) jego perwotnej dªugo±c. Próbuj c kodowa w ksze blok otrzymujemy kompresj 53% przy blokach trzybtowych oraz 49% przy blokach czterobtowych. Pojawa s zatem pytane, czy dany kod mo»na skompresowa do dowolne maªej obj to±c. Odpowed¹ na to pytane daje teora entrop, któr opszemy pon»ej. 4.2 Idea entrop Zaªó»my,»e mamy dane ¹ródªo nformacj S. Chcemy wprowadz welko± H(S), która wyra»a lo± nformacj zawart w jednym symbolu ¹ródªowym. Lczb H(S) nazwemy entrop. Chcemy, aby H(S) zale»aªo jedyne od statystyk ¹ródªa S, a ne od nazw poszczególnych symbol ¹ródªowych. Dlatego H(S) mo»e by rozwa»ana jako funkcja prawdopodobe«stw symbol ¹ródªa S. Oznaczmy przez p, p 2,..., p n prawdopodobe«stwa odpowadaj ce poszczególnym symbolom alfabetu ¹ródªowego. Zatem Funkcja ta pownna by ) Dodatna; H : (p, p 2,..., p n ) H(p, p 2,..., p n ). 2) C gªa, co oznacza,»e maªym zmanom prawdopodobe«stw odpowada newelka zmana entrop; 3) Symetryczna, co oznacza,»e zmana porz dku symbol ¹ródªowych ne powoduje zmany entrop ¹rodªa; 4) Koherentna, co w tym przypadku oznacza,»e entropa ¹ródªa nelementowego mo»e by oblczona je±l znamy entrop mnejszych ¹ródeª. Wytªumaczmy dokªadnej, co oznacza termn w podpunkce 4). Zaªó»my w tym celu,»e czytamy pewen tekst ne rozró»naj c lter a a 2. Aby w peªn zrozume tekst ne musmy go ju» czyta po raz drug w caªo±c, tylko koncentrujemy s na symbolach a a 2. Zatem znaj c entrop ¹ródeª zredukowanego (ze zredukowanym symbolam a oraz a 2 ) oraz entrop 9
¹ródªa dwuelementowego {a, a 2 }, mo»emy oblczy entrop caªego ¹ródªa. Dokªadne, ( ) p p 2 H(p, p 2,..., p n ) = H(p + p 2, p 3..., p n ) + (p + p 2 )H,. p + p 2 p + p 2 4. Twerdzene. Istneje dokªadne jedna, z dokªadno±c do staªej k, dodatna, symetryczna koherentna funkcja H nzmennych. Jest ona okre- ±lona wzorem H(p, p 2,..., p n ) = k p log. (4.) p Skomplkowany ne bardzo zw zany z tematem dowód tego twerdzena pomjamy. 4.3 Dencja entrop Operaj c s na twerdzenu 4., wprowadzmy nast puj c dencj. Przedtem jednak ustalmy pewne oznaczena. Staªa k, która pojawa s w (4.) stanow wybór jednostk entrop. Zapszmy k =. Je»el r = 2, jednostk log r nazywamy btem. Zatem H(p, p 2,..., p n ) = p p. (4.2) Je±l ¹ródªo S ma dokªadne dwe jednakowo prawdopodobne ltery, to = = H(S) = 2 2 + 2 2 = bt. Entrop ¹ródªa nformacj S, którego symbole a, a 2,..., a n wyst puj z prawdopodobe«stwam p, p 2,..., p n nazywamy lczb okre±lon przez równane (4.2). Przykªady W naszym pocz tkowym przykªadze kompresowana danych mamy p = 0, 9 oraz p 2 = 0,. Zatem entropa tego ¹ródªa jest równa H(S) = 0, 0, 0, 9 0, 9 0, 469bta. Oznacza to,»e po przeczytanu jednego symbolu tekstu ¹ródªowego otrzymujemy okoªo 0,469 btów nformacj lub,»e ka»de tys c lter tekstu mo»na zast p przez 469 cyfr dwójkowych. 20
U»ywaj c kodu blokowego, 26 lter alfabetu angelskego mo»na zakodowa w blok dwójkowe dªugo±c 5. Z drugej strony, je±l polczymy entrop ¹ródªa nformacj, którym jest alfabet angelsk, otrzymamy lczb,5. Oznacza to,» ka»dy tekst angelsk zakodowany kodem blokowym dªugo±c 5 mo»na skompresowa nawet do 30% jego perwotnej dªugo±c! Oblczmy entrop ¹ródªa nformacj M jakm jest rzut monet. Mamy tu dwa symbole ¹ródªowe orªa reszk, którym odpowadaj równe prawdopodobe«stwa. Zatem H(M) =. Tak w c tekstu pochodz - cego z tego ¹ródªa ne mo»na skompresowa, ponewa» ka»dy symbol ¹ródªowy to dokªadne bt nformacj. Ogólnej, je±l ¹ródªo nformacj ma dokªadne dwa symbole, to ch prawdopodobe«stwa mo»na wyraz jako p oraz p, a jego entrop przez H(p, p) = p p + (p ) ( p). Funkcja p H(p, p) os ga maxmum w punkce. Natomast jej nmum wynos 0 jest os gane granczne, gdy p lub p 2 0. 4.4 Maxmum mnmum entrop Gdyby jeden symbol ¹ródªowy maª prawdopodobe«stwo blske, pozostaªe musaªyby me prawdopodobe«stwa blske 0. Dla tego rodzaju ¹ródeª entropa byªaby najbl»sza swojego nmum. Fakt ten udowodnmy pon»ej. 4.2 Twerdzene. Je±l jeden z symbol ¹ródªowych ma prawdopodobe«stwo blske, to entropa tego ¹ródªa jest blska 0. Dowód. Zaªó»my,»e p. Zatem p 0 dla 2 n. St d p p 0 ponewa» ( p ) = o(p ) dla 2 n oraz p p 0 gdy» p 0, a p jest welko±c ogranczon. Zatem H(S) 0. Przykªad entrop rzutu monet oraz rozwa»ana poprzedzaj ce nnejszy rozdzaª sugeruj,»e najw ksz entrop maj ¹ródªa, w których prawdopodobe«stwa poszczególnych symbol s równe. Nast puj ce twerdzene uzasadn to rozumowane. 4.3 Twerdzene. Maxmum entrop jest os gane dla takch ¹ródeª nformacj, gdze p = p 2 = = p n = n. Jest ono równe n. 2
Dowód. Zauwa»my najperw,»e faktyczne, je±l p = p 2 = = p n =, n to H(p, p 2,..., p n ) = n. Aby pokaza,»e jest to maxmum u»yjemy nerówno±c log x x, w której równo± zachodz wtedy tylko wtedy, gdy x =. Mamy H(S) n = = = = = = p p log p 2 n ( ) p log p 2 n p (log ) log n p p log np ( ) p np ( ) n p ( n p ) = 0. Zatem H(S) n, przy czym równo± zachodz wtedy tylko wtedy, gdy np =, czyl gdy p = n. 4.5 Rozszerzene ¹ródªa 4.4 Przykªad. Je»el ¹ródªem nformacj M 2 jest rzut dwema symetrycznym monetam, to H(M 2 ) = 2. Czyl ka»dy rzut nese dwa bty nformacj. Jest to zgodne z naszym wcze±nejszym rozwa»anem rzutu jedn monet, kedy to entropa wynosªa. Powró my do naszego perwotnego przykªadu ¹ródªa nformacj, w którym 0 wyst powaªo z prawdopodobe«stwem 0, 9, a z prawdopodobe«stwem 0,. Aby skompresowa wadomo± dzell±my j na blok po dwe ltery. Czynno± t b dzemy nazywal rozszerzanem ¹ródªa. Dokªadne, 22
ktym rozszerzenem ¹ródªa S w którym symbolom a, a 2,..., a n odpowadaj, odpowedno, prawdopodobe«stwa p, p 2,..., p n nazywamy ¹ródªo nformacj S k, którego alfabet skªada s z bloków klterowych a a 2... a k lter alfabetu ¹ródªa S, którym to blokom odpowadaj prawdopodobe«stwa P (a a 2... a k ) = P (a )P (a 2 )... P (a k ). ródªo rzutu dwema monetam M 2 jest rozszerzenem ¹ródªa rzutu jedn monet. Jak ju» zauwa»yl±my, H(M 2 ) = 2H(M). Istotne, jest to reguªa, o czym mów nast puj ce twerdzene. 4.5 Twerdzene. Dla dowolnego ¹ródªa nformacj, H(S k ) = kh(s). Dowód. Wynka z nast puj cych oblcze«: H(S k ) = p p 2... p k (p p 2... p k ), 2,..., k = p p 2... p k ( p + p 2 + + p k ) 2 k = p p p 2 p k 2 k p 2 p 2 p p 3 p k 2 3 k p k p k p k p k k = p p 2 p 2 p 2 k p k p k = kh(s). 4.6 Entropa a przec tna dªugo± sªowa kodowego Skoro entropa, to lczba btów zawartych w jednym symbolu tekstu ¹ródªowego, w c ne pownna ona by w ksza n» przec tna dªugo± sªowa kodowego. To ntucyjne spostrze»ene potwerdza nast puj ce twerdzene. 23
4.6 Twerdzene. Ka»dy dwójkowy kod natychmastowy dla ¹ródªa S ma dªugo± przec tn w ksz lub równ entrop tego ¹ródªa. Dowód. Oznaczaj c przez d dªugo± tego sªowa kodowego, a przez L przec tn dªugo± sªowa kodowego, otrzymujemy H(S) L = = p p d p ( ) p log p 2 2 d = p p 2 d = p log p 2 d ( ) p p 2 d = ( ) 2 p d = ( 2 d ( ) = 0, gdze ostatna nerówno± jest konsekwencj nerówno±c Krafta, a perwsza wynka ze wzoru log x x. Zatem H(S) L. 4.7 Twerdzene Shannona o kodowanu bezszumowym W naszym pocz tkowym przykªadze mel±my H(S) = 0, 469, 2 L mn(s 2 ) = 0, 645, p ) 3 L mn(s 3 ) = 0, 533. Zw kszaj c blok, a nast pne koduj c je, ngdy ne zejdzemy pon»ej pozomu entrop dla danego ¹ródªa. Nast puj ce twerdzene mów o tym,»e 24
entropa stanow granczny pozom kompresowana tekstów zapsanych za pomoc alfabetu danego ¹ródªa nformacj. Grancy tej ne mo»na przekroczy, ale mo»na s do nej zbl»y na dowoln odlegªo±. 4.7 Twerdzene. (Shannona o kodowanu bezszumowym) Dla dowolnego ¹ródªa nformacj S zachodz nast puj cy zw zek m dzy entrop tego ¹ródªa a przec tn dªugo±c kodu Humana dla tego ¹ródªa H(S) L mn (S) H(S) +. (4.3) W szczególno±c, dla ktego rozszerzena»ródªa S mamy lm k k L mn(s k ) = H(S). (4.4) Dowód. Udowodnmy najperw wzór (4.4) zakªadaj c (4.3). Mamy kh(s) = H(S k ) L mn (S k ) H(S k ) + = kh(s) +. St d bezpo±redno wynka H(S) k L mn(s k ) H(S) + k stosuj c twerdzene o trzech grancach otrzymujemy (4.4). Aby udowodn (4.3), zauwa»my, ze wobec twerdzena 4.6, wystarczy pokaza,»e L mn (S) H(S) +. W tym celu elementom»ródªowym a, a 2,..., a n, których prawdopodobe«- stwa wynosz, odpowedno, p, p 2,..., p n przyporz dkujmy sªowa kodowe dªugo±c d, d 2,..., d n, gdze d = p. Ponewa» nerówno± Krafta dla tych dªugo±c zachodz (dokªadne, 2 d 2 p = p = ), = = w c odpowedn kod natychmastowy stneje. Kod ten ma przec tn dlugo± L równ ( ) p d p + = + H(S). p = = Zatem L mn (S) L H(S) +, sk d (4.3). 25 =
Nasze rozwa»ana na temat entrop zako«czymy uwag,»e caªe powy»sze rozumowane bez trudu przenos s na przypadek dowolnego r. Wówczas entrop ¹ródªa S oznaczamy H r (S) welko± ta jest równa p log r p. 26