Teoria Informacji i Metody Kompresji Danych

Teoria Informacji i Metody Kompresji Danych 1

Przykładowe zadania (dodatkowe materiały wykładowe) 2

Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL kontakt osobisty Centrum Wykładowe, blok informatyki, pok. 7 3

Wyłączenie odpowiedzialności Prezentowane materiały, będące dodatkiem pomocniczym do wykładów, z konieczności fragmentarycznym i niedopracowanym, należy wykorzystywać z pełną świadomością faktu, że mogą nie być pozbawione przypadkowych błędów, braków, wypaczeń i przeinaczeń :-) Autor

Odebrano przekaz 0. Pytanie: Ile informacji (w bitach) zawiera ten przekaz, jeżeli informuje on o tym, czy student R.S. zdał test z przedmiotu TIMKoD ( 1 : tak, 0 : nie), przy czym dodatkowo wiadomo, że prawdopodobieństwo zdania tego testu przez tego studenta wynosi 50%. czyli: p( 1 ) = 0.50 i p( 0 ) = 0.50

Odebrano przekaz 1. Pytanie: Ile informacji (w bitach) zawiera ten przekaz, jeżeli informuje on o tym, czy student R.S. zdał test z przedmiotu TIMKoD ( 1 : tak, 0 : nie), przy czym dodatkowo wiadomo, że prawdopodobieństwo zdania tego testu przez tego studenta wynosi 50%. czyli: p( 1 ) = 0.50 i p( 0 ) = 0.50

Odebrano przekaz 0. Pytanie: Ile informacji (w bitach) zawiera ten przekaz, jeżeli informuje on o tym, czy student R.S. zdał test z przedmiotu OC ( 1 : tak, 0 : nie), przy czym dodatkowo wiadomo, że prawdopodobieństwo zdania tego testu przez tego studenta wynosi 25%. czyli: p( 1 ) = 0.25 i p( 0 ) = 0.75

Odebrano przekaz 1. Pytanie: Ile informacji (w bitach) zawiera ten przekaz, jeżeli informuje on o tym, czy student R.S. zdał test z przedmiotu OC ( 1 : tak, 0 : nie), przy czym dodatkowo wiadomo, że prawdopodobieństwo zdania tego testu przez tego studenta wynosi 25%. czyli: p( 1 ) = 0.25 i p( 0 ) = 0.75

Odebrano przekaz 01. Pytanie: Ile informacji (w bitach) zawiera ten przekaz, jeżeli jego pierwszy znak informuje o tym, czy student R.S. zdał test z przedmiotu OC, a drugi znak o tym, czy student R.S. zdał test z przedmiotu TIMKoD, przy czym dodatkowo wiadomo, że prawdopodobieństwo zdania testu przez studenta R.S. wynosi (odpowiednio) dla OC: 25% (czyli p( 1 ) = 0.25 i p( 0 ) = 0.75), dla TIMKoD: 90% (czyli p( 1 ) = 0.90 i p( 0 ) = 0.10)?

Odebrano przekaz 10. Pytanie: Ile informacji (w bitach) zawiera ten przekaz, jeżeli jego pierwszy znak informuje o tym, czy student R.S. zdał test z przedmiotu OC, a drugi znak o tym, czy student R.S. zdał test z przedmiotu TIMKoD, przy czym dodatkowo wiadomo, że prawdopodobieństwo zdania testu przez studenta R.S. wynosi (odpowiednio) dla OC: 25% (czyli p( 1 ) = 0.25 i p( 0 ) = 0.75), dla TIMKoD: 90% (czyli p( 1 ) = 0.90 i p( 0 ) = 0.10)?

Odebrano przekaz R zawierający cztery oceny testu z TIMKoD. Pytanie: Ile informacji (w bitach) może minimalnie zawierać taki przekaz, jeżeli dodatkowo wiadomo, że rozkład prawdopodobieństwa ocen {2.0, 3.0,..., 5.0} wynosi [3/30, 8/30, 7/30, 5/30, 4/30, 3/30] czyli: p( 2.0 ) = 3/30, p( 3.0 ) = 8/30,..., p( 5.0 ) = 3/30

Odebrano przekaz R zawierający cztery oceny testu z TIMKoD. Pytanie: Ile informacji (w bitach) może maksymalnie zawierać taki przekaz, jeżeli dodatkowo wiadomo, że rozkład prawdopodobieństwa ocen {2.0, 3.0,..., 5.0} wynosi [3/30, 8/30, 7/30, 5/30, 4/30, 3/30] czyli: p( 2.0 ) = 3/30, p( 3.0 ) = 8/30,..., p( 5.0 ) = 3/30

Odebrano przekaz R zawierający cztery oceny testu z TIMKoD. Pytanie: Ile informacji (w bitach) może minimalnie zawierać taki przekaz?

Odebrano przekaz R zawierający cztery oceny testu z TIMKoD. Pytanie: Ile informacji (w bitach) może maksymalnie zawierać taki przekaz?

Odebrano przekaz zawierający jedną ocenę studenta R.S. z testu z przedmiotu TIMKoD. Pytanie: Ile informacji (w bitach) zawiera ten przekaz, jeżeli dodatkowo wiadomo, że rozkład prawdopodobieństwa otrzymania przez tego studenta z tego testu ocen {2.0, 3.0, 3.5, 4.0, 4.5, 5.0} jest następujący [15/30, 5/30, 4/30, 3/30, 2/30, 1/30] czyli: p( 2.0 ) = 15/30, p( 3.0 ) = 5/30,..., p( 5.0 ) = 1/30

Odebrano przekaz P zawierający n ocen z testu z przedmiotu TIMKoD. Pytanie: Ile średnio informacji (w bitach) zawiera taki przekaz, jeżeli dodatkowo wiadomo, że rozkład prawdopodobieństwa ocen {2.0, 3.0,..., 5.0} wynosi [15/30, 5/30, 4/30, 3/30, 2/30, 1/30] czyli: p( 2.0 ) = 15/30, p( 3.0 ) = 5/30,..., p( 5.0 ) = 1/30

Odebrano przekaz P zawierający 100 ocen z testu z przedmiotu TIMKoD. Pytanie: Ile średnio informacji (w bitach) zawiera taki przekaz, jeżeli dodatkowo wiadomo, że rozkład prawdopodobieństwa ocen {2.0, 3.0,..., 5.0} wynosi [15/30, 5/30, 4/30, 3/30, 2/30, 1/30] czyli: p( 2.0 ) = 15/30, p( 3.0 ) = 5/30,..., p( 5.0 ) = 1/30

Odebrano przekaz złożony z 20 znaków alfabetu {0, 1}. Pytanie: Ile informacji, zgodnie z miarą Hartleya (w bitach), zawiera średnio jeden znak przekazu? cały przekaz?

Odebrano przekaz złożony z 20 znaków alfabetu {0, 1, 2}. Pytanie: Ile informacji, zgodnie z miarą Hartleya (w bitach), zawiera średnio jeden znak przekazu? cały przekaz?

Odebrano przekaz złożony z 20 znaków alfabetu {0, 1, 2, 3}. Pytanie: Ile informacji, zgodnie z miarą Hartleya (w bitach), zawiera średnio jeden znak przekazu? cały przekaz?

Odebrano przekaz złożony z 20 znaków alfabetu {0, 1} charakteryzującego się rozkładem prawdopodobieństwa [1/4, 1/4] T. Pytanie: Ile informacji, zgodnie z miarą Shannona (w bitach), zawiera średnio jeden znak przekazu? cały przekaz?

Odebrano przekaz złożony z 20 znaków alfabetu {0, 1, 2} charakteryzującego się rozkładem prawdopodobieństwa [1/4, 1/4, 1/4] T. Pytanie: Ile informacji, zgodnie z miarą Shannona (w bitach), zawiera średnio jeden znak przekazu? cały przekaz?

Odebrano przekaz złożony z 20 znaków alfabetu {0, 1, 2, 3} charakteryzującego się rozkładem prawdopodobieństwa [1/4, 1/4, 1/4, 1/4] T. Pytanie: Ile informacji, zgodnie z miarą Shannona (w bitach), zawiera średnio jeden znak przekazu? cały przekaz?

Dany jest rozkład prawdopodobieństwa p = [p 1, p 2,..., p m ] T, gdzie p i = 1/m. Zadanie: wykazać, że dla takiego p zachodzi: H 1 (p) = I 1 (czyli: wzór Shannona sprowadza się do wzoru Hartleya).

Dany jest rozkład prawdopodobieństwa q = [q 1, q 2,..., q m ] T, różny od rozkładu p = [p 1, p 2,..., p m ] T, gdzie p i = 1/m. Zadanie: ocenić, czy dla takiego q zachodzi: H 1 (q) H 1 (p) ewentualnie H 1 (q) < H 1 (p) czy H 1 (q) H 1 (p) ewentualnie H 1 (q) > H 1 (p)

Dany jest rozkład prawdopodobieństwa p = [p 1, p 2,..., p m ] T. Zadanie: zidentyfikować te rozkłady q, dla których H 1 (p) jest maksymalne i ustalić wartość tego maksimum.

Odebrano przekaz złożony z 20 znaków alfabetu {0}. Pytanie: Ile informacji zawiera cały przekaz?

Dany jest rozkład prawdopodobieństwa q = [q 1, q 2,..., q m ] T, różny od rozkładu p = [p 1, p 2,..., p m ] T, gdzie p i = 1/m. Zadanie: zidentyfikować te rozkłady q, dla których H 1 (q) jest minimalne i ustalić wartość tego minimum.

Dzięki odpowiedzi na pewne pytanie rozkład prawdopodobieństwa p = [0.25, 0.25, 0.25, 0.25] T rozdzielono na dwa rozkłady: p L = [0.5, 0.5] oraz p R = [0.5 0.5] (ponieważ odpowiedź rozdzieliła wektor na dwie części, była ewidentnie odpowiedzią binarną, np. reprezentowaną przez odpowiedzi L i P, co dalej zakładamy). Ile informacji (w bitach): przekazała odpowiedź L? przekazała odpowiedź P? przekazuje średnio jedna odpowiedź?

Dzięki odpowiedzi na pewne pytanie rozkład prawdopodobieństwa p = [0.5, 0.5] T rozdzielono na dwa rozkłady:p L = [1.0] oraz p R = [1.0] (ponieważ odpowiedź rozdzieliła wektor na dwie części, była ewidentnie odpowiedzią binarną, np. reprezentowaną przez odpowiedzi L i P, co dalej zakładamy). Ile informacji (w bitach): przekazała odpowiedź L? przekazała odpowiedź P? przekazuje średnio jedna odpowiedź?

Dzięki odpowiedzi na pewne pytanie rozkład prawdopodobieństwa p = [0.25, 0.75] T rozdzielono na dwa rozkłady:p L = [1.0] oraz p R = [1.0] (ponieważ odpowiedź rozdzieliła wektor na dwie części, była ewidentnie odpowiedzią binarną, np. reprezentowaną przez odpowiedzi L i P, co dalej zakładamy). Ile informacji (w bitach): przekazała odpowiedź L? przekazała odpowiedź P? przekazuje średnio jedna odpowiedź?

Dzięki odpowiedzi na pewne pytanie rozkład prawdopodobieństwa p = [0.1, 0.2, 0.3, 0.4] T rozdzielono na dwa rozkłady: p L = [1/3, 2/3] oraz p R = [3/7 4/7] (ponieważ odpowiedź rozdzieliła wektor na dwie części, była ewidentnie odpowiedzią binarną, np. reprezentowaną przez odpowiedzi L i P, co dalej zakładamy). Ile informacji (w bitach): przekazała odpowiedź L? przekazała odpowiedź P? przekazuje średnio jedna odpowiedź?

Metody kompresji danych Zweryfikuj nierówność Krafta dla poniższych kodów { 001, 000, 1, 01, 0001 } { 001, 1, 000, 01 } { 0010, 1, 000, 01 }

Metody kompresji danych Jaka jest naturalna ( naturalność w sensie: bez działań mających na celu zmniejszenie/zwiększenie redundancji) liczba bitów potrzebna do zapisania przekazu złożonego z 1000 znaków alfabetu 10-elementowego?

Metody kompresji danych Jaka jest naturalna ( naturalność w sensie: bez działań mających na celu zmniejszenie/zwiększenie redundancji) liczba bitów potrzebna do zapisania przekazu złożonego z m znaków alfabetu n-elementowego?

Metody kompresji danych Zakodować przekaz abbccc korzystając z kodowania 'a' '00' 'b' 01' 'c' '10

Metody kompresji danych Zakodować przekaz abbccc korzystając z kodowania 'a' '0' 'b' '10' 'c' '11

Metody kompresji danych Odkodować przekaz 10000010100110110100010001 korzystając z kodowania 'a' '1 'b' '000' 'c' '001' 'd' '010' 'e' '011'

Metody kompresji danych Odkodować przekaz 000110110111111110100100 korzystając z kodowania 'a' '00' 'b' '01' 'c' '10' 'd' '110' 'e' '111'

Metody kompresji danych Odkodować przekaz 0001010111010000 korzystając z kodowania 'a' '0' 'b' '10' 'c' '11'

Metody kompresji danych Dla kodowania 'a' '00' 'b' 01' 'c' '10' obliczyć SWDK przy założeniu równomierności rozkładu prawdopodobieństwa, oraz stwierdzić, czy dla alfabetu A = { a, b, c } istnieje kod bezprzecinkowy o mniejszej SWDK niż powyższa jeżeli tak: ocenić średnie skrócenie długości kodowania (pomiędzy kodem powyższym a kodem bezprzecinkowym) przekazu złożonego z m znaków alfabetu A

Metody kompresji danych Dla kodowania 'a' '00' 'b' 01' 'c' '10' d' '11' obliczyć SWDK przy założeniu równomierności rozkładu prawdopodobieństwa, oraz stwierdzić, czy dla alfabetu A = { a, b, c, d } istnieje kod bezprzecinkowy o mniejszej SWDK niż powyższa jeżeli tak: ocenić średnie skrócenie długości kodowania (pomiędzy kodem powyższym a kodem bezprzecinkowym) przekazu złożonego z m znaków alfabetu A

Metody kompresji danych Znaleźć kodowanie dla alfabetu { a, b, c } o (względnych) częstościach [15 10 3] zgodnie z algorytmem Shannona-Fano i obliczyć SWDK oraz ε (efektywność) powstałego kodu

Metody kompresji danych Znaleźć kodowanie dla alfabetu { a, b, c } o (względnych) częstościach [15 10 3] zgodnie z algorytmem Huffmana i obliczyć SWDK oraz ε (efektywność) powstałego kodu

Metody kompresji danych Znaleźć kodowanie dla alfabetu { a, b, c, d, e, f, g, h } o (względnych) częstościach [128 064 032 016 008 004 002 001] zgodnie z algorytmem Shannona-Fano i obliczyć SWDK oraz ε (efektywność) powstałego kodu

Metody kompresji danych Znaleźć kodowanie dla alfabetu { a, b, c, d, e, f, g, h } o (względnych) częstościach [128 064 032 016 008 004 002 001] zgodnie z algorytmem Huffmana i obliczyć SWDK oraz ε (efektywność) powstałego kodu

Metody kompresji danych Znaleźć kodowanie dla alfabetu { a, b, c, d, e } o rozkładzie prawdopodobieństwa [0.35, 0.17, 0.17, 0.16, 0.15]* zgodnie z algorytmem Shannona-Fano i obliczyć SWDK oraz ε (efektywność) powstałego kodu * znany rozkład różnicujacy wyniki działania algorytmów: Shannona-Fano i Huffmana

Metody kompresji danych Znaleźć kodowanie dla alfabetu { a, b, c, d, e } o rozkładzie prawdopodobieństwa [0.35, 0.17, 0.17, 0.16, 0.15]* zgodnie z algorytmem Huffmana i obliczyć SWDK oraz ε (efektywność) powstałego kodu * znany rozkład różnicujacy wyniki działania algorytmów: Shannona-Fano i Huffmana

Metody kompresji danych Dla alfabetów: wejściowego {'d,'i,'k,'m,'o,'t'} i wyjściowego {1, 2,...} przetworzyć napis timkod zgodnie z algorytmem LZW-kompresja

Metody kompresji danych Dla alfabetów: wejściowego {'_,'b,'e,'n,'o,'r,'t'} i wyjściowego {1, 2,...} przetworzyć napis to_be_or_not_to_be zgodnie z algorytmem LZW-kompresja

Metody kompresji danych Dla alfabetów: wejściowego { a } i wyjściowego {1, 2,...} przetworzyć napis aaaaaa zgodnie z algorytmem LZW-kompresja

Metody kompresji danych Dla alfabetów: wejściowego {'a,'c,'f,'i,'j,'m,'n,'o,'r'} i wyjściowego {1, 2,...} przetworzyć napis 4738961251 zgodnie z algorytmem LZW-dekompresja

Metody kompresji danych Dla alfabetów: wejściowego {'a, i, m, u } i wyjściowego {1, 2,...} przetworzyć napis 322184104 zgodnie z algorytmem LZW-dekompresja

Metody kompresji danych Dla alfabetów: wejściowego {'a } i wyjściowego {1, 2,...} przetworzyć napis 1231 zgodnie z algorytmem LZW-dekompresja

... 61