WST P DO TEORII INFORMACJI I KODOWANIA. Grzegorz Szkibiel. Wiosna 2014/15

Transkrypt

1 WST P DO TEORII INFORMACJI I KODOWANIA Grzegorz Szkbel Wosna 204/5

2 Sps tre±c Kodowane dekodowane 4. Kodowane a szyfrowane Podstawowe poj ca Dekodowane jednoznaczne Kody blokowe natychmastowe Przykªady znanych kodów blokowych Twerdzena Krafta McMllana 0 2. Konstruowane kodów natychmastowych Twerdzena Kody Humana 3 3. ródªo nformacj Dencja kodu Humana Konstrukcja kodu Humana Kompresowane kodów entropa 8 4. Przykªad kompresowana danych Idea entrop Dencja entrop Maxmum mnmum entrop Rozszerzene ¹ródªa Entropa a przec tna dªugo± sªowa kodowego Twerdzene Shannona o kodowanu bezszumowym Pewna komunkacja poprzez nepewne ª cza Symetryczne ª cze bnarne Pr dko± przepªywu nformacj

3 5.3 Barera pojemno±c Odlegªo± Hammnga Wykrywane poprawane bª dów Kody lnowe Dencja Macerz generuj ca Równana opsuj ce kody Macerz sprawdzaj ca Waga Hammnga Syndrom Wykrywane poprawane bª dów Kody Hammnga Optymalne kody poprawaj ce pojedyncze bª dy Przykªady kodów Hammnga Dekodowane kodów Hammnga Uwag ko«cowe Kody ReedaMüllera 5 8. Funkcje Boole'a Welomany Boole'a Kody ReedaMüllera Geometra anczna nad caªem Z Dekodowane kodu Reeda-Müllera

4 Rozdzaª 4 Kompresowane kodów entropa 4. Przykªad kompresowana danych W poprzednm rozdzale zauwa»yl±my,»e kody Humana s najkrótszym mo»lwym kodowanam danego alfabetu ¹ródªowego. Zatem, aby dany kod byª krótszy, musmy kompresowa ju» sam kod, czyl,,kodowa kod. Przypu- ± my,»e zakodowal±my pewn wadomo± w kodze dwójkowym. W nast pstwe tej czynno±c okazaªo s,»e 90% kodu to zera, a tylko 0% to jedynk. Nasz zakodowan wadomo± mo»emy skompresowa koduj c blok btów. Dokªadne, zauwa»my,»e zakªadaj c nezale»no± wyst powana poszczególnych btów w zakodowanej wadomo±c, prawdopodobe«stwa wyst pena bloków 00, 0, 0, s równe, odpowedno 8, 9, 9 oraz procent. Otrzymujemy w c nast puj ce ¹ródªo nformacj ,8 0,09 0,09 0,0 Dla powy»szego ¹ródªa nformacj konstruujemy kod Humana otrzymuj c Otrzymany kod ma przec tn dªugo± równ 0, , , , 0 =, 29. 8

5 Ponewa» kodujemy blok dwubtowe, w c na ka»de dwa bty,,starego kodu potrzebujemy, 29 btów,,nowego kodu. Zyskal±my zatem ponad sedem dzes tych bta, co kompresuje nasz kod do okoªo 64% (, 29/2) jego perwotnej dªugo±c. Próbuj c kodowa w ksze blok otrzymujemy kompresj 53% przy blokach trzybtowych oraz 49% przy blokach czterobtowych. Pojawa s zatem pytane, czy dany kod mo»na skompresowa do dowolne maªej obj to±c. Odpowed¹ na to pytane daje teora entrop, któr opszemy pon»ej. 4.2 Idea entrop Zaªó»my,»e mamy dane ¹ródªo nformacj S. Chcemy wprowadz welko± H(S), która wyra»a lo± nformacj zawart w jednym symbolu ¹ródªowym. Lczb H(S) nazwemy entrop. Chcemy, aby H(S) zale»aªo jedyne od statystyk ¹ródªa S, a ne od nazw poszczególnych symbol ¹ródªowych. Dlatego H(S) mo»e by rozwa»ana jako funkcja prawdopodobe«stw symbol ¹ródªa S. Oznaczmy przez p, p 2,..., p n prawdopodobe«stwa odpowadaj ce poszczególnym symbolom alfabetu ¹ródªowego. Zatem Funkcja ta pownna by ) Dodatna; H : (p, p 2,..., p n ) H(p, p 2,..., p n ). 2) C gªa, co oznacza,»e maªym zmanom prawdopodobe«stw odpowada newelka zmana entrop; 3) Symetryczna, co oznacza,»e zmana porz dku symbol ¹ródªowych ne powoduje zmany entrop ¹rodªa; 4) Koherentna, co w tym przypadku oznacza,»e entropa ¹ródªa nelementowego mo»e by oblczona je±l znamy entrop mnejszych ¹ródeª. Wytªumaczmy dokªadnej, co oznacza termn w podpunkce 4). Zaªó»my w tym celu,»e czytamy pewen tekst ne rozró»naj c lter a a 2. Aby w peªn zrozume tekst ne musmy go ju» czyta po raz drug w caªo±c, tylko koncentrujemy s na symbolach a a 2. Zatem znaj c entrop ¹ródeª zredukowanego (ze zredukowanym symbolam a oraz a 2 ) oraz entrop 9

6 ¹ródªa dwuelementowego {a, a 2 }, mo»emy oblczy entrop caªego ¹ródªa. Dokªadne, ( ) p p 2 H(p, p 2,..., p n ) = H(p + p 2, p 3..., p n ) + (p + p 2 )H,. p + p 2 p + p 2 4. Twerdzene. Istneje dokªadne jedna, z dokªadno±c do staªej k, dodatna, symetryczna koherentna funkcja H nzmennych. Jest ona okre- ±lona wzorem H(p, p 2,..., p n ) = k p log. (4.) p Skomplkowany ne bardzo zw zany z tematem dowód tego twerdzena pomjamy. 4.3 Dencja entrop Operaj c s na twerdzenu 4., wprowadzmy nast puj c dencj. Przedtem jednak ustalmy pewne oznaczena. Staªa k, która pojawa s w (4.) stanow wybór jednostk entrop. Zapszmy k =. Je»el r = 2, jednostk log r nazywamy btem. Zatem H(p, p 2,..., p n ) = p p. (4.2) Je±l ¹ródªo S ma dokªadne dwe jednakowo prawdopodobne ltery, to = = H(S) = = bt. Entrop ¹ródªa nformacj S, którego symbole a, a 2,..., a n wyst puj z prawdopodobe«stwam p, p 2,..., p n nazywamy lczb okre±lon przez równane (4.2). Przykªady W naszym pocz tkowym przykªadze kompresowana danych mamy p = 0, 9 oraz p 2 = 0,. Zatem entropa tego ¹ródªa jest równa H(S) = 0, 0, 0, 9 0, 9 0, 469bta. Oznacza to,»e po przeczytanu jednego symbolu tekstu ¹ródªowego otrzymujemy okoªo 0,469 btów nformacj lub,»e ka»de tys c lter tekstu mo»na zast p przez 469 cyfr dwójkowych. 20

7 U»ywaj c kodu blokowego, 26 lter alfabetu angelskego mo»na zakodowa w blok dwójkowe dªugo±c 5. Z drugej strony, je±l polczymy entrop ¹ródªa nformacj, którym jest alfabet angelsk, otrzymamy lczb,5. Oznacza to,» ka»dy tekst angelsk zakodowany kodem blokowym dªugo±c 5 mo»na skompresowa nawet do 30% jego perwotnej dªugo±c! Oblczmy entrop ¹ródªa nformacj M jakm jest rzut monet. Mamy tu dwa symbole ¹ródªowe orªa reszk, którym odpowadaj równe prawdopodobe«stwa. Zatem H(M) =. Tak w c tekstu pochodz - cego z tego ¹ródªa ne mo»na skompresowa, ponewa» ka»dy symbol ¹ródªowy to dokªadne bt nformacj. Ogólnej, je±l ¹ródªo nformacj ma dokªadne dwa symbole, to ch prawdopodobe«stwa mo»na wyraz jako p oraz p, a jego entrop przez H(p, p) = p p + (p ) ( p). Funkcja p H(p, p) os ga maxmum w punkce. Natomast jej nmum wynos 0 jest os gane granczne, gdy p lub p Maxmum mnmum entrop Gdyby jeden symbol ¹ródªowy maª prawdopodobe«stwo blske, pozostaªe musaªyby me prawdopodobe«stwa blske 0. Dla tego rodzaju ¹ródeª entropa byªaby najbl»sza swojego nmum. Fakt ten udowodnmy pon»ej. 4.2 Twerdzene. Je±l jeden z symbol ¹ródªowych ma prawdopodobe«stwo blske, to entropa tego ¹ródªa jest blska 0. Dowód. Zaªó»my,»e p. Zatem p 0 dla 2 n. St d p p 0 ponewa» ( p ) = o(p ) dla 2 n oraz p p 0 gdy» p 0, a p jest welko±c ogranczon. Zatem H(S) 0. Przykªad entrop rzutu monet oraz rozwa»ana poprzedzaj ce nnejszy rozdzaª sugeruj,»e najw ksz entrop maj ¹ródªa, w których prawdopodobe«stwa poszczególnych symbol s równe. Nast puj ce twerdzene uzasadn to rozumowane. 4.3 Twerdzene. Maxmum entrop jest os gane dla takch ¹ródeª nformacj, gdze p = p 2 = = p n = n. Jest ono równe n. 2

8 Dowód. Zauwa»my najperw,»e faktyczne, je±l p = p 2 = = p n =, n to H(p, p 2,..., p n ) = n. Aby pokaza,»e jest to maxmum u»yjemy nerówno±c log x x, w której równo± zachodz wtedy tylko wtedy, gdy x =. Mamy H(S) n = = = = = = p p log p 2 n ( ) p log p 2 n p (log ) log n p p log np ( ) p np ( ) n p ( n p ) = 0. Zatem H(S) n, przy czym równo± zachodz wtedy tylko wtedy, gdy np =, czyl gdy p = n. 4.5 Rozszerzene ¹ródªa 4.4 Przykªad. Je»el ¹ródªem nformacj M 2 jest rzut dwema symetrycznym monetam, to H(M 2 ) = 2. Czyl ka»dy rzut nese dwa bty nformacj. Jest to zgodne z naszym wcze±nejszym rozwa»anem rzutu jedn monet, kedy to entropa wynosªa. Powró my do naszego perwotnego przykªadu ¹ródªa nformacj, w którym 0 wyst powaªo z prawdopodobe«stwem 0, 9, a z prawdopodobe«stwem 0,. Aby skompresowa wadomo± dzell±my j na blok po dwe ltery. Czynno± t b dzemy nazywal rozszerzanem ¹ródªa. Dokªadne, 22

9 ktym rozszerzenem ¹ródªa S w którym symbolom a, a 2,..., a n odpowadaj, odpowedno, prawdopodobe«stwa p, p 2,..., p n nazywamy ¹ródªo nformacj S k, którego alfabet skªada s z bloków klterowych a a 2... a k lter alfabetu ¹ródªa S, którym to blokom odpowadaj prawdopodobe«stwa P (a a 2... a k ) = P (a )P (a 2 )... P (a k ). ródªo rzutu dwema monetam M 2 jest rozszerzenem ¹ródªa rzutu jedn monet. Jak ju» zauwa»yl±my, H(M 2 ) = 2H(M). Istotne, jest to reguªa, o czym mów nast puj ce twerdzene. 4.5 Twerdzene. Dla dowolnego ¹ródªa nformacj, H(S k ) = kh(s). Dowód. Wynka z nast puj cych oblcze«: H(S k ) = p p 2... p k (p p 2... p k ), 2,..., k = p p 2... p k ( p + p p k ) 2 k = p p p 2 p k 2 k p 2 p 2 p p 3 p k 2 3 k p k p k p k p k k = p p 2 p 2 p 2 k p k p k = kh(s). 4.6 Entropa a przec tna dªugo± sªowa kodowego Skoro entropa, to lczba btów zawartych w jednym symbolu tekstu ¹ródªowego, w c ne pownna ona by w ksza n» przec tna dªugo± sªowa kodowego. To ntucyjne spostrze»ene potwerdza nast puj ce twerdzene. 23

10 4.6 Twerdzene. Ka»dy dwójkowy kod natychmastowy dla ¹ródªa S ma dªugo± przec tn w ksz lub równ entrop tego ¹ródªa. Dowód. Oznaczaj c przez d dªugo± tego sªowa kodowego, a przez L przec tn dªugo± sªowa kodowego, otrzymujemy H(S) L = = p p d p ( ) p log p 2 2 d = p p 2 d = p log p 2 d ( ) p p 2 d = ( ) 2 p d = ( 2 d ( ) = 0, gdze ostatna nerówno± jest konsekwencj nerówno±c Krafta, a perwsza wynka ze wzoru log x x. Zatem H(S) L. 4.7 Twerdzene Shannona o kodowanu bezszumowym W naszym pocz tkowym przykªadze mel±my H(S) = 0, 469, 2 L mn(s 2 ) = 0, 645, p ) 3 L mn(s 3 ) = 0, 533. Zw kszaj c blok, a nast pne koduj c je, ngdy ne zejdzemy pon»ej pozomu entrop dla danego ¹ródªa. Nast puj ce twerdzene mów o tym,»e 24

11 entropa stanow granczny pozom kompresowana tekstów zapsanych za pomoc alfabetu danego ¹ródªa nformacj. Grancy tej ne mo»na przekroczy, ale mo»na s do nej zbl»y na dowoln odlegªo±. 4.7 Twerdzene. (Shannona o kodowanu bezszumowym) Dla dowolnego ¹ródªa nformacj S zachodz nast puj cy zw zek m dzy entrop tego ¹ródªa a przec tn dªugo±c kodu Humana dla tego ¹ródªa H(S) L mn (S) H(S) +. (4.3) W szczególno±c, dla ktego rozszerzena»ródªa S mamy lm k k L mn(s k ) = H(S). (4.4) Dowód. Udowodnmy najperw wzór (4.4) zakªadaj c (4.3). Mamy kh(s) = H(S k ) L mn (S k ) H(S k ) + = kh(s) +. St d bezpo±redno wynka H(S) k L mn(s k ) H(S) + k stosuj c twerdzene o trzech grancach otrzymujemy (4.4). Aby udowodn (4.3), zauwa»my, ze wobec twerdzena 4.6, wystarczy pokaza,»e L mn (S) H(S) +. W tym celu elementom»ródªowym a, a 2,..., a n, których prawdopodobe«- stwa wynosz, odpowedno, p, p 2,..., p n przyporz dkujmy sªowa kodowe dªugo±c d, d 2,..., d n, gdze d = p. Ponewa» nerówno± Krafta dla tych dªugo±c zachodz (dokªadne, 2 d 2 p = p = ), = = w c odpowedn kod natychmastowy stneje. Kod ten ma przec tn dlugo± L równ ( ) p d p + = + H(S). p = = Zatem L mn (S) L H(S) +, sk d (4.3). 25 =

12 Nasze rozwa»ana na temat entrop zako«czymy uwag,»e caªe powy»sze rozumowane bez trudu przenos s na przypadek dowolnego r. Wówczas entrop ¹ródªa S oznaczamy H r (S) welko± ta jest równa p log r p. 26