. Przyjmijmy,»e chcemy u»y alfabetu Morse'a {,, _} by zakodowa alfabet A B C D E F G H I J K L M N O P Q R S T U V W X Y Z () kodem blokowym. Jaka jest najmniejsza dªugo± takiego kodu? 2. Zakoduj alfabet () blokowym kodem dwójkowym, a nast pnie skonstruuj kod jednoznacznie dekodowalny dla tego alfabetu. Oblicz ±redni dªugo± sªowa kodowego dla swojego kodu jednoznacznie dekodowalnego. 3. W nast puj cych kodach zatarª si jeden znak (y). Zidentykuj go. (a) 97594y35, (b) ISBN-3-2y4-2366-X. 4. Dla kodu ISBN-0-37-97245-5 napisz odpowiednik 3-znakowy. 5. Czy poni»szy kod jest jednoznacznie dekodowalny? Czy jest natychmiastowo dekodowalny? Je±li nie, czy potrasz znale¹ kod natychmiastowy z takimi samymi dªugo±ciami sªów kodowych? 0 3 0 5 00 2 0 4 000 6 0 6. Czy poni»szy kod jest jednoznacznie dekodowalny? Je»eli nie, podaj dwie wiadomo±ci o tym samym kodzie. A 00 C 0 E 0 B 00 D 000 F 0 7. Czy poni»szy kod jest jednoznacznie dekodowalny? 0 AA 4 ABBAA 7 AAAABB AABAB 5 BABBA AAAABA 2 ABBBBB 6 BBBAB 9 AAAAAB 3 ABABA. Czy u»ywaj c nierówno±ci Kraft'a mo»na rozstrzygn, czy dwa poni»sze kody s jednoznacznie dekodowalne? A 00 D 0 F 00 B 00 E 00 G 00 C 000 A 00 D 0 F 0 B 0 E G 00 C 0 9. Czy istnieje trójkowy kod natychmiastowy alfabetu o±mio-elementowego, dla którego w nierówno±ci Krafta zachodzi równo±? 0. Skonstruuj dwójkowy kod natychmiastowy dla nast puj cego alfabetu ¹ródªowego z przypisanymi dªugo±ciami sªów kodowych. Symbol A B C D E F G H I J K L Dªugo± 2 4 7 7 3 4 7 7 3 4 7 7 Semestr letni 204/5
cd.. Znajd¹ trójkowy kod natychmiastowy dla nast puj cego alfabetu ¹ródªowego z przypisanymi dªugo±ciami sªów kodowych. Symbol 2 3 4 5 6 7 9 0 Dªugo± 3 3 3 3 3 3 2 2 2 2. Ile najmniej symboli musi mie alfabet kodowy, aby mo»na byªo zakodowa poni»- szy alfabet ¹ródªowy kodem natychmiastowym z przypisanymi dªugo±ciami sªów kodowych? Podaj przykªad takiego kodu. A B C D E F G H I J K L M N O P 2 2 2 2 2 2 2 2 2 2 2 2 3. Poka»,»e do ka»dego kodu natychmiastowego, dla którego nierówno± Krafta jest ostra, mo»na doda nowy symbol ¹ródªowy i rozszerzy dany kod do pewnego kodu natychmiastowego (alfabet kodowy pozostaje bez zmian). Zademonstruj to na przykªadzie nast puj cego kodu. A 00 D 0 F 00 B 00 E 00 G 00 C 000 4. Poka»,»e L min (S) = je±li alfabet ¹ródªowy ma nie wi cej znaków ni» alfabet kodowy. 5. Dla nast puj cych ¹ródeª informacji wska» dªugo±ci sªów kodowych w kodzie (dwójkowym) Humana. S : S 2 : S 3 : A B C 0,5 0,25 0,25 A B C 0,5 0,375 0,25 A B D K R 6. Poka»,»e dla ¹ródªa informacji z -elementowym alfabetem jednakowo prawdopodobnych symboli, trójkowy kod Humana jest kodem blokowym. Poni»sze ¹ródªa informacji odnosz si do trzech nast pnych zada«. Symbol s i A B C D E F G H P (s i ) (. ¹ródªo) P (s i ) (2. ¹ródªo) 0, 0,2 0, 0,3 0,05 0, 0,05 0, P (s i ) (3. ¹ródªo) 0,5 0,5 0,5 0,5 0, 0, 0, 0, 7. Znajd¹ dwójkowy kod Humana dla ka»dego z podanych ¹ródeª.. Znajd¹ trójkowy i czwórkowy kod Humana dla ka»dego z podanych ¹ródeª. 9. Znajd¹ najmniejsz liczb symboli kodowych, tak aby dla podanych ¹ródeª informacji mo»na byªo skonstruowa kod natychmiastowy o przeci tnej dªugo±ci sªowa kodowego L.5. 20. Dane jest ¹ródªo informacji S z alfabetem m-elementowym oraz alfabet kodowy, który ma n znaków. Wyprowad¹ wzór na liczb elementów, które ª czymy w celu dokonania pierwszej redukcji ¹ródªa S. 5 2 2 (2) Semestr letni 204/5
2. Skonstruuj dwójkowy oraz trójkowy kod Humana dla ¹ródªa informacji A E B C D F 0,4 0, 0,3 0,05 0,05 0, 22. Znajd¹ taki kod trójkowy dla alfabetu {A, B, D, K, R} aby sªowo abrakadabra miaªo mo»liwie najkrótszy kod. Jaka jest dªugo± tego kodu? Ile najmniej liter musi mie alfabet kodowy, aby dªugo± kodu sªowa abrakadabra byªa nie dªu»sza ni» 2? 23. Znajd¹ wszystkie mo»liwe dwójkowe kody Humana dla ¹ródªa informacji skªadaj - cego si z liter A, B, C i D, gdzie A ma dwa razy tak cz sto± wyst powania co B, a B wyst puje dwa razy cz ±ciej ni» C lub D. 24. Poka»,»e dla o±mio-elementowego ¹ródªa informacji z równymi cz sto±ciami wyst powania symboli, istnieje kod Humana, który jest kodem blokowym. Czy dla takiego ¹ródªa informacji mo»na znale¹ kod Humana, który nie jest kodem blokowym? 25. Opisz dwójkowy kod Humana dla ¹ródªa 6elementowego, w którym cz sto±ci wyst powania symboli s takie same. 26. Opisz dwójkowy kod Humana dla ¹ródªa 23elementowego, w którym cz sto±ci wyst powania symboli s takie same. 27. Opisz dwójkowy kod Humana dla ¹ródªa informacji, w którym cz sto±ci wyst powania symboli s takie same oraz (a) je±li liczba symboli ¹ródªowych jest pot g dwójki, (b) je±li liczba symboli ¹ródªowych nie jest pot g dwójki. 2. Opisz dwójkowe kody Humana dla ¹ródeª speªniaj cych p < p n + p n (gdzie p p 2 p n s prawdopodobie«stwami wyst powania symboli ¹ródªowych). Porównaj z poprzednim zadaniem. 29. Poka»,»e dla dowolnego kodu dwójkowego Humana, w nierówno±ci Krafta zachodzi równo±, tj. je»eli K jest dwójkowym kodem Humana o dªugo±ciach sªów kodowych d, d 2,..., d n, to n j= 2d j =. 30. Poka»,»e dla dowolnego dwójkowego kodu Humana o dªugo±ciach sªów kodowych d d 2 d n, mamy d n = d n. 3. Wiadomo± jest napisana w alfabecie A, B, C, D, gdzie A pojawia si siedem razy cz ±ciej ni» którakolwiek z pozostaªych liter. Znajd¹ taki kod dwójkowy dla powy»szego ¹ródªa informacji,»e przeci tny zakodowany stuliterowy tekst nie b dzie dªu»szy ni» 40 znaków. 32. Znajd¹ entropi poni»szego ¹ródªa informacji Symbol s i A B C D E F P (s i ) 0, 0, 0, 45 0, 05 0, 2 0, 33. Udowodnij,»e funkcja H(S) okre±lona w Twierdzeniu 4. jest dodatnia, ci gªa, symetryczna i koherentna. 34. Udowodnij twierdzenie 4.3 korzystaj c z pochodnych czastkowych. 35. Strzelec, który traa do celu z prawdopodobie«stwem strzela dwa razy. Natomiast 2 strzelec, który traa do celu z prawdopodobie«stwem strzela trzy razy. Który strzelec ma 3 wi ksz entropi (inaczej mówi c, która seria strzaªów niesie wi cej informacji)? Semestr letni 204/5
cd. 36. Maj c dane dwa ¹ródªa informacji S i S 2, oznaczmy przez S S 2 ¹ródªo informacji, którego elementami s wszystkie pary symboli (s, s 2 ), gdzie s i S i, i {, 2}. Poka»,»e je»eli ¹ródªa S i S 2 s niezale»ne (tzn. P (s, s 2 ) = P (s )P (s 2 )), to H(S S 2 ) = H(S ) + H(S 2 ). 37. Zaªó»my,»e ¹ródªo posiada trzy symbole A, B oraz C o prawdopodobie«stwach 0, 5; 0, 33 i 0, 09. Oblicz entropi wiadomo±ci zªo»onej z 24 liter, a nast pnie entropi wiadomo±ci zªo»onej z o±miu liter. Jaka jest zale»no± mi dzy tymi dwoma wielko±ciami? 3. Efektywno±ci ¹ródªa informacji nazywamy stosunek entropii (w bitach) do ±redniej dªugo±ci dwójkowego kodu Humana. Poka»,»e efektywno± zawiera si pomi dzy 0 i oraz przedyskutuj dwie skrajne warto±ci. Znajd¹ efektywno± ¹ródeª informacji (2). 39. Znajd¹ efektywno± ¹ródªa informacji, zªo»onego z liter A, B, C oraz D, w którym litera A ma dwa razy tak cz sto±, co ka»da z liter B, C oraz D. Nast pnie znajd¹ efektywno± drugiego rozszerzenia tego ¹ródªa. 40. Znajd¹ efektywno± binarnego ¹ródªa S, w którym 0 wyst puje z prawdopodobie«- stwem 9%. Znajd¹ rozszerzenie S, które ma efektywno± wi ksz ni» 63%. 4. Znajd¹ kody natychmiastowe dla poni»szych ¹ródeª i oblicz ich efektywno±. Symbol s i A B C D E F G H P (s i ) (. ¹ródªo) 6% 5% 5% 7% 5% 30% % 4% P (s i ) (2. ¹ródªo) 4 4 6 6 6 6 P (s i ) (3. ¹ródªo) 0,2 0, 0,6 0,4 0, 0, 0,06 0,06 42. Przypu± my,»e du»a wiadomo± binarna zawiera dwa razy tyle zer co jedynek. Opisz, jak zakodowa t wiadomo±, aby kod przeci tnego 00znakowego wycinka nie miaª wi cej ni» 94 bity. 43. Przypu± my,»e dwójkowe ¹ródªo informacji ma prawdopodobie«stwa p = P () i q = p = P (0) i zaªó»my,»e wyemitowanych zostaªo n symboli. (a) Poka»,»e prawdopodobie«stwo otrzymania sªowa dªugo±ci n, które ma na k ustalonych pozycjach jest równe p k q n k. (b) Poka»,»e prawdopodobie«stwo tego,»e wyemitowane n literowe sªowo ma k jedynek jest równe ( n k) p k q n k. 44. Zaªó»my,»e dane jest symetryczne ª cze dwójkowe (BSC) o prawdopodobie«stwie bª du p. (a) Poka»,»e prawdopodobie«stwo tego,»e w nelementowym sªowie, dokªadnie i bitów jest znieksztaªconych jest równe ( n i) p i q n i. (b) Niech K b dzie binarnym kodem blokowym dªugo±ci n o minimalnej odlegªo±ci 2t+. Poka»,»e P err (K) n i=t+ ( ) n p i q n i i Wskazówka: Spróbuj oszacowa z doªu prawdopodobie«stwo przeciwne. (c) Sprawd¹,»e dla kodu powtórze«nierówno± w punkcie (b) jest równo±ci. Semestr letni 204/5
45. Oblicz prawdopodobie«stwo tego,»e w wyniku zastosowania kodu sprawdzaj cego parzysto± dªugo±ci n nie zostanie wykryty bª d. 46. Oblicz prawdopodobie«stwo bª du przy dekodowaniu kodu K 4. 47. Zaªó»my,»e dane jest symetryczne ª cze dwójkowe (BSC) o prawdopodobie«stwie bª du p = 0,. (a) Znajd¹ dªugo± kodu powtórze«k, by P err (K) < 0 2. (b) Znajd¹ P err (K 6). 4. Zaªó»my,»e alfabet kodowy ma 3 elementy: 0,, 2. Poka»,»e kod {00, 20, 02,, 22} wykrywa pojedyncze bª dy, a kod {000, 20, 20, 02, 02, 222} poprawia pojedyncze bª dy. Zauwa»,»e odlegªo± Hamminga nie jest tu dobr miar poprawiania lub wykrywania bª dów. 49. Mówimy,»e kod poprawia t bª dów i wykrywa s bª dów jednocze±nie, je»eli dla dowolnego sªowa kodowego v oraz dowolnego sªowa w zachodzi implikacja d(v, w) s d(w, x) > t dla dowolnego sªowa kodowego x v, gdzie d oznacza odlegªo± Hamminga. Poka»,»e kod K poprawia t bª dów i wykrywa s bª dów jednocze±nie wtedy i tylko wtedy, gdy jego odlegªo± minimalna jest wi ksza od t + s. 50. Zaªó»my,»e kod K poprawia t bª dów i wykrywa s bª dów jednocze±nie. Poka»,»e wówczas (a) K wykrywa s bª dów. (b) K poprawia t bª dów. 5. Przypu± my,»e K jest kodem blokowym speªniaj cym nast puj cy warunek: dla dowolnych sªów kodowych a = a a 2... a n oraz b = b b 2... b n, sªowo a + b = (a + 2 b )(a 2 + 2 b 2 )... (a n + 2 b n ) jest sªowem kodowym, gdzie + 2 oznacza dodawanie modulo 2. Taki kod nazywamy dwójkowym kodem liniowym. Oznaczmy przez a liczb jedynek w sªowie a. Poka»,»e (a) a + b a + b ; (b) a = 0 wtedy i tylko wtedy, gdy a = 00... 0; 52. Dla kodu liniowego K (patrz poprzednie zadanie) z okre±lon funkcj udowodnij,»e funkcja d zdeniowana wzorem d(a, b) = a + b jest odlegªo±ci Hamminga. 53. Poka»,»e kod,,sprawdzaj cy nieparzysto±, tj. taki,»e ostatni bit jest ustalony tak, by liczba jedynek w sªowie byªa nieparzysta, nie jest kodem liniowym. 54. Znajd¹ minimaln odlegªo± dla kodu blokowego K dªugo±ci, w którym trzy pierwsze bity s bitami informacyjnymi, czwarty bit jest sum modulo 2 pierwszego i drugiego bitu, pi ty jest taki sam jak trzeci, szósty, siódmy i ósmy s sumami wszystkich bitów o mniejszych numerach. Napisz kod, który ma tyle samo bitów informacyjnych co K, tak sam minimaln odlegªo±, ale mniej bitów sprawdzaj cych. Semestr letni 204/5
cd. 55. Niech K b dzie kodem blokowym dªugo±ci 6, w którym bity, 2, 4 i 5 s bitami informacyjnymi, a bity 3 oraz 6 sprawdzaj parzysto±, odpowiednio, bitów i 2 oraz 4 i 5. Znajd¹ minimaln odlegªo± dla kodu K. Czy kod ten poprawia pojedy«cze bª dy? Czy u»ywaj c kodu sprawdzaj cego parzysto± dªugo±ci 3 osi gniemy ten sam efekt co stosuj c kod K (tj. czy prawdopodobie«stwo P err bª dnego przekazu przez ª cze BSC b dzie takie samo)? 56. Zaªó»my,»e BSC znieksztaªca 99 symboli na 00. Wyka»,»e wbrew pozorom jest to dosy pewne ª cze. Napisz, jak rozkodowa kod K 3, aby nie wyst piªo wi cej bª dów ni» 3 na 0000 bitów. 57. Mówimy,»e kod liniowy poprawia t bª dów i wykrywa s bª dów jednocze±nie, je»eli dla dowolnego sªowa w zachodzi implikacja w s w x > t dla dowolnego sªowa kodowego x 0. Poka»,»e kod K poprawia t bª dów i wykrywa s bª dów jednocze±nie wtedy i tylko wtedy, gdy jego waga minimalna jest wi ksza od t + s. 5. Zaªó»my,»e kod liniowy K poprawia t bª dów i wykrywa s bª dów jednocze±nie. Poka»,»e wówczas (a) K wykrywa s bª dów. (b) K poprawia t bª dów. 59. Sprawd¹, czy dwójkowy kod blokowy zªo»ony z palindromów (sªów brzmi cych tak samo wprost i wspak) jest kodem liniowym? Je»eli tak, to opisz go za pomoc równa«i skonstruuj macierz generuj c. 60. Opisz jak wykry potrójne bª dy, gdy u»yty jest kod prostok tny. 6. Ile ró»nych macierzy generuj cych ma kod K n? 62. Ile ró»nych macierzy generuj cych ma kod K 6? 63. Niech K b dzie dwójkowym kodem blokowym dªugo±ci 7 i takim,»e (a) trzeci bit sprawdza parzysto± pierwszych dwóch bitów, (b) szósty bit sprawdza parzysto± czwartego i pi tego bita oraz (c) ostatni bit sprawdza parzysto± caªego sªowa. Opisz K równaniami i okre±l liczb bª dów, jakie ten kod wykrywa (poprawia). 64. Uogólnij kod prostok tny do kodu prostopadªo±ciennego. Czy taki kod jest w stanie poprawi dwa bª dy? A trzy bª dy? Spróbuj uogólni dalej na przypadek wymiaru m. 65. Dwójkowy kod liniowy dªugo±ci jest opisany nast puj cymi równaniami x 5 =x 2 +x 3 +x 4 x 6 =x +x 2 +x 3 x 7 =x +x 2 +x 4 x =x +x 3 +x 4. Znajd¹ macierz sprawdzaj c dla tego kodu i poka»,»e minimalna odlegªo± jest równa 4. Znajd¹ macierz generuj c. Semestr letni 204/5
66. Maj c dan macierz generuj c 0 0 G = 0 0 0 0 0 0 znajd¹ macierz sprawdzaj c oraz wypisz wszystkie sªowa kodowe. 67. Zakoduj ci gi informacyjne 0 oraz 00 w kodzie, który ma nast puj c macierz generuj c 0 0 0 0 G = 0 0. 0 0 0 0 6. Czy kod liniowy o macierzy generuj cej 0 0 0 0 G = 0 0 0 0 0 0 jest kodem systematycznym? Je»eli nie, znajd¹ równowa»ny mu kod systematyczny. Zakoduj sªowa 0 i 0 u»ywaj c macierzy G i wska» odpowiedniki zakodowanych sªów w znalezionym wªa±nie kodzie systematycznym. 69. Udowodnij,»e je±li kod liniowy ma macierz sprawdzaj c H = [A I], to macierz generuj c jest G = [ I A T ]. 70. Opisz (za pomoc ukªadu równa«) kod dualny do nast puj cego x = x 4 ; x 2 = x 5 ; x 3 = x 6. 7. Znajd¹ kod dualny do (a) K 4, (b) K 6. 72. Oblicz prawdopodbie«stwo bª du P err (K), gdzie K jest kodem Hamminga dªugo- ±ci 7 u»ytym w BSC znieksztaªcaj cym jeden bit na sto. Uogólnij swoje rozumowanie na przypadek 2 m. 73. Udowodnij,»e kod dwójkowy dªugo±ci 5 opisany równaniami x 3 = x + x 2 x 4 = x x 5 = x + x 2 poprawia pojedyncze bª dy. Napisz tabel syndromów i odpowiadaj cych im reprezentantów warstw. Nast pnie rozkoduj sªowa 000, i 00. 0 0 74. Kod K ma macierz sprawdzaj c H = 0 0 0. Ile bitów informacyjnych i 0 sprawdzaj cych ma ten kod? Czy K wykrywa pojedyncze bª dy? Semestr letni 204/5
cd. 75. Niech K b dzie kodem liniowym generowanym przez 00, 00 i 000 (tj. K = lin {00, 00, 000}). Znajd¹ macierz sprawdzaj c ten kod, a nast pnie rozkoduj 0 i 000. 76. Znajd¹ macierz generuj c kodu dualnego do kodu Hamminga H 3. 77. Opisz równaniami kod ortogonalny do kodu K, który jest generowany przez 0 i 0, a nast pnie rozkoduj oraz 00. 7. Poka»,»e dla dowolnego kodu K mamy dim K = n dim K, gdzie n jest dªugo±ci kodu K. 79. Znajd¹ wszystkie rozwi zania ukªadu równa«x + x 2 + x 4 = 0 x 3 + x 4 + x 5 = 0 x + x 3 + x 5 = 0. 0. Dla kodu Hamminga H 3 rozkoduj nast puj ce sªowa: 000 0000 000. Za pomoc sumy oraz iloczynu logicznego zapisz f g, f g oraz (f g). 2. Poni»sze funkcje zapisz jako wielomiany Boole'a 0 0 3. Opisz kod R(2, ), tj. Podaj jego macierz generuj c oraz macierz sprawdzaj c. 4. Opisz kod R(3, ), tj. Podaj jego macierz generuj c oraz macierz sprawdzaj c. 5. Wska» takie m,»e kod R(m, ) poprawia potrójne b dy. 6. Poka»,»e rozszerzeniem kodu sprawdzaj cego parzysto± jest kod sprawdzaj cy parzysto±. 7. Jaki kod jest rozszerzeniem kodu K 6? Odpowied¹ uzasadnij.. Które z pªaszczyzn {p, p 3, p 5, p 7 }, {p 0, p, p 2, p 3 }, {p 2, p 3, p 4, p 7 } s parzyste wzgl dem sªowa 000. Semestr letni 204/5
9. To zadanie wymaga dokªadnej znajomo±ci wykªadu oraz niektórych zada«domowych. Udziel mo»liwie najkrótszej odpowiedzi (uzasadnienie nie jest konieczne) na ka»de z poni»szych pyta«. (a) Co koduje kod dwa-z-pi ciu? (b) Co oznacza liczba 3 w kodzie ISBN-3-0-069-4? (c) Rozwa»my poni»szy kod. 0 AA 4 ABBAA 7 AAAABB AABAB 5 BABBA AAAABA 2 ABBBBB 6 BBBAB 9 AAAAAB 3 ABABA Napisz dwie wiadomo±ci o tym samym kodzie. (d) Czy ka»dy kod jednoznacznie dekodowalny jest natychmiastowy? (e) Czy rzut symetryczn monet reprezentuje ¹ródªo informacji o maksymalnej entropii? (f) Czy ¹ródªo zredukowane pierwszego rozszerzenia ¹ródªa informacji S jest identyczne z S? (g) Czy kod powtórze«k 2 jest kodem sprawdzaj cym parzysto±? (h) Przypu± my,»e stosujemy zasad MLD do rozkodowywania pewnego kodu blokowego. Co robimy, je±li otrzymane sªowo jest w tej samej odlegªo±ci Hamminga od czterech ró»nych sªów kodowych? (i) Czy macierz generuj ca kod systematyczny jest jednoznacznie okre±lona? (j) Wymie«wszystkie poznane terminy zwi zane z nazwiskiem R.W. Hamminga. (k) Ile bitów sprawdzaj cych ma kod liniowy dªugo±ci 023 wykrywaj cy pojedyncze bª dy? (l) Ile wynosi P err (K 6)? Wersja z 29 pa¹dziernika 204 Typeset by LA TE X. Semestr letni 204/5