Teoria Informacji i Metody Kompresji Danych

Transkrypt

1 Teoria Informacji i Metody Kompresji Danych 1

2 Przykładowe zadania (dodatkowe materiały wykładowe) 2

3 Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL kontakt osobisty Centrum Wykładowe, blok informatyki, pok. 7 3

4 Wyłączenie odpowiedzialności Prezentowane materiały, będące dodatkiem pomocniczym do wykładów, z konieczności fragmentarycznym i niedopracowanym, należy wykorzystywać z pełną świadomością faktu, że mogą nie być pozbawione przypadkowych błędów, braków, wypaczeń i przeinaczeń :-) Autor

5 ... 5

6 Odebrano przekaz 0. Pytanie: Ile informacji (w bitach) zawiera ten przekaz, jeżeli informuje on o tym, czy student R.S. zdał test z przedmiotu TIMKoD ( 1 : tak, 0 : nie), przy czym dodatkowo wiadomo, że prawdopodobieństwo zdania tego testu przez tego studenta wynosi 50%. czyli: p( 1 ) = 0.50 i p( 0 ) = 0.50

7 Odebrano przekaz 1. Pytanie: Ile informacji (w bitach) zawiera ten przekaz, jeżeli informuje on o tym, czy student R.S. zdał test z przedmiotu TIMKoD ( 1 : tak, 0 : nie), przy czym dodatkowo wiadomo, że prawdopodobieństwo zdania tego testu przez tego studenta wynosi 50%. czyli: p( 1 ) = 0.50 i p( 0 ) = 0.50

8 Odebrano przekaz 0. Pytanie: Ile informacji (w bitach) zawiera ten przekaz, jeżeli informuje on o tym, czy student R.S. zdał test z przedmiotu OC ( 1 : tak, 0 : nie), przy czym dodatkowo wiadomo, że prawdopodobieństwo zdania tego testu przez tego studenta wynosi 25%. czyli: p( 1 ) = 0.25 i p( 0 ) = 0.75

9 Odebrano przekaz 1. Pytanie: Ile informacji (w bitach) zawiera ten przekaz, jeżeli informuje on o tym, czy student R.S. zdał test z przedmiotu OC ( 1 : tak, 0 : nie), przy czym dodatkowo wiadomo, że prawdopodobieństwo zdania tego testu przez tego studenta wynosi 25%. czyli: p( 1 ) = 0.25 i p( 0 ) = 0.75

10 Odebrano przekaz 01. Pytanie: Ile informacji (w bitach) zawiera ten przekaz, jeżeli jego pierwszy znak informuje o tym, czy student R.S. zdał test z przedmiotu OC, a drugi znak o tym, czy student R.S. zdał test z przedmiotu TIMKoD, przy czym dodatkowo wiadomo, że prawdopodobieństwo zdania testu przez studenta R.S. wynosi (odpowiednio) dla OC: 25% (czyli p( 1 ) = 0.25 i p( 0 ) = 0.75), dla TIMKoD: 90% (czyli p( 1 ) = 0.90 i p( 0 ) = 0.10)?

11 Odebrano przekaz 10. Pytanie: Ile informacji (w bitach) zawiera ten przekaz, jeżeli jego pierwszy znak informuje o tym, czy student R.S. zdał test z przedmiotu OC, a drugi znak o tym, czy student R.S. zdał test z przedmiotu TIMKoD, przy czym dodatkowo wiadomo, że prawdopodobieństwo zdania testu przez studenta R.S. wynosi (odpowiednio) dla OC: 25% (czyli p( 1 ) = 0.25 i p( 0 ) = 0.75), dla TIMKoD: 90% (czyli p( 1 ) = 0.90 i p( 0 ) = 0.10)?

12 Odebrano przekaz R zawierający cztery oceny testu z TIMKoD. Pytanie: Ile informacji (w bitach) może minimalnie zawierać taki przekaz, jeżeli dodatkowo wiadomo, że rozkład prawdopodobieństwa ocen {2.0, 3.0,..., 5.0} wynosi [3/30, 8/30, 7/30, 5/30, 4/30, 3/30] czyli: p( 2.0 ) = 3/30, p( 3.0 ) = 8/30,..., p( 5.0 ) = 3/30

13 Odebrano przekaz R zawierający cztery oceny testu z TIMKoD. Pytanie: Ile informacji (w bitach) może maksymalnie zawierać taki przekaz, jeżeli dodatkowo wiadomo, że rozkład prawdopodobieństwa ocen {2.0, 3.0,..., 5.0} wynosi [3/30, 8/30, 7/30, 5/30, 4/30, 3/30] czyli: p( 2.0 ) = 3/30, p( 3.0 ) = 8/30,..., p( 5.0 ) = 3/30

14 Odebrano przekaz R zawierający cztery oceny testu z TIMKoD. Pytanie: Ile informacji (w bitach) może minimalnie zawierać taki przekaz?

15 Odebrano przekaz R zawierający cztery oceny testu z TIMKoD. Pytanie: Ile informacji (w bitach) może maksymalnie zawierać taki przekaz?

16 Odebrano przekaz zawierający jedną ocenę studenta R.S. z testu z przedmiotu TIMKoD. Pytanie: Ile informacji (w bitach) zawiera ten przekaz, jeżeli dodatkowo wiadomo, że rozkład prawdopodobieństwa otrzymania przez tego studenta z tego testu ocen {2.0, 3.0, 3.5, 4.0, 4.5, 5.0} jest następujący [15/30, 5/30, 4/30, 3/30, 2/30, 1/30] czyli: p( 2.0 ) = 15/30, p( 3.0 ) = 5/30,..., p( 5.0 ) = 1/30

17 Odebrano przekaz P zawierający n ocen z testu z przedmiotu TIMKoD. Pytanie: Ile średnio informacji (w bitach) zawiera taki przekaz, jeżeli dodatkowo wiadomo, że rozkład prawdopodobieństwa ocen {2.0, 3.0,..., 5.0} wynosi [15/30, 5/30, 4/30, 3/30, 2/30, 1/30] czyli: p( 2.0 ) = 15/30, p( 3.0 ) = 5/30,..., p( 5.0 ) = 1/30

18 Odebrano przekaz P zawierający 100 ocen z testu z przedmiotu TIMKoD. Pytanie: Ile średnio informacji (w bitach) zawiera taki przekaz, jeżeli dodatkowo wiadomo, że rozkład prawdopodobieństwa ocen {2.0, 3.0,..., 5.0} wynosi [15/30, 5/30, 4/30, 3/30, 2/30, 1/30] czyli: p( 2.0 ) = 15/30, p( 3.0 ) = 5/30,..., p( 5.0 ) = 1/30

19 Odebrano przekaz złożony z 20 znaków alfabetu {0, 1}. Pytanie: Ile informacji, zgodnie z miarą Hartleya (w bitach), zawiera średnio jeden znak przekazu? cały przekaz?

20 Odebrano przekaz złożony z 20 znaków alfabetu {0, 1, 2}. Pytanie: Ile informacji, zgodnie z miarą Hartleya (w bitach), zawiera średnio jeden znak przekazu? cały przekaz?

21 Odebrano przekaz złożony z 20 znaków alfabetu {0, 1, 2, 3}. Pytanie: Ile informacji, zgodnie z miarą Hartleya (w bitach), zawiera średnio jeden znak przekazu? cały przekaz?

22 Odebrano przekaz złożony z 20 znaków alfabetu {0, 1} charakteryzującego się rozkładem prawdopodobieństwa [1/4, 1/4] T. Pytanie: Ile informacji, zgodnie z miarą Shannona (w bitach), zawiera średnio jeden znak przekazu? cały przekaz?

23 Odebrano przekaz złożony z 20 znaków alfabetu {0, 1, 2} charakteryzującego się rozkładem prawdopodobieństwa [1/4, 1/4, 1/4] T. Pytanie: Ile informacji, zgodnie z miarą Shannona (w bitach), zawiera średnio jeden znak przekazu? cały przekaz?

24 Odebrano przekaz złożony z 20 znaków alfabetu {0, 1, 2, 3} charakteryzującego się rozkładem prawdopodobieństwa [1/4, 1/4, 1/4, 1/4] T. Pytanie: Ile informacji, zgodnie z miarą Shannona (w bitach), zawiera średnio jeden znak przekazu? cały przekaz?

25 Dany jest rozkład prawdopodobieństwa p = [p 1, p 2,..., p m ] T, gdzie p i = 1/m. Zadanie: wykazać, że dla takiego p zachodzi: H 1 (p) = I 1 (czyli: wzór Shannona sprowadza się do wzoru Hartleya).

26 Odebrano przekaz złożony z 20 znaków alfabetu {0, 1, 2, 3} charakteryzującego się rozkładem prawdopodobieństwa [1/8, 2/8, 2/8, 3/8] T. Pytanie: Ile informacji, zgodnie z miarą Shannona (w bitach), zawiera średnio jeden znak przekazu? cały przekaz?

27 Odebrano przekaz złożony z 20 znaków alfabetu {0, 1, 2, 3} charakteryzującego się rozkładem prawdopodobieństwa [1/10, 2/10, 3/10, 4/10] T. Pytanie: Ile informacji, zgodnie z miarą Shannona (w bitach), zawiera średnio jeden znak przekazu? cały przekaz?

28 Dany jest rozkład prawdopodobieństwa q = [q 1, q 2,..., q m ] T, różny od rozkładu p = [p 1, p 2,..., p m ] T, gdzie p i = 1/m. Zadanie: ocenić, czy dla takiego q zachodzi: H 1 (q) H 1 (p) ewentualnie H 1 (q) < H 1 (p) czy H 1 (q) H 1 (p) ewentualnie H 1 (q) > H 1 (p)

29 Dany jest rozkład prawdopodobieństwa p = [p 1, p 2,..., p m ] T. Zadanie: zidentyfikować te rozkłady q, dla których H 1 (p) jest maksymalne i ustalić wartość tego maksimum.

30 Odebrano przekaz złożony z 20 znaków alfabetu {0}. Pytanie: Ile informacji zawiera cały przekaz?

31 Dany jest rozkład prawdopodobieństwa q = [q 1, q 2,..., q m ] T, różny od rozkładu p = [p 1, p 2,..., p m ] T, gdzie p i = 1/m. Zadanie: zidentyfikować te rozkłady q, dla których H 1 (q) jest minimalne i ustalić wartość tego minimum.

32 Dzięki odpowiedzi na pewne pytanie rozkład prawdopodobieństwa p = [0.25, 0.25, 0.25, 0.25] T rozdzielono na dwa rozkłady: p L = [0.5, 0.5] oraz p R = [ ] (ponieważ odpowiedź rozdzieliła wektor na dwie części, była ewidentnie odpowiedzią binarną, np. reprezentowaną przez odpowiedzi L i P, co dalej zakładamy). Ile informacji (w bitach): przekazała odpowiedź L? przekazała odpowiedź P? przekazuje średnio jedna odpowiedź?

33 Dzięki odpowiedzi na pewne pytanie rozkład prawdopodobieństwa p = [0.5, 0.5] T rozdzielono na dwa rozkłady:p L = [1.0] oraz p R = [1.0] (ponieważ odpowiedź rozdzieliła wektor na dwie części, była ewidentnie odpowiedzią binarną, np. reprezentowaną przez odpowiedzi L i P, co dalej zakładamy). Ile informacji (w bitach): przekazała odpowiedź L? przekazała odpowiedź P? przekazuje średnio jedna odpowiedź?

34 Dzięki odpowiedzi na pewne pytanie rozkład prawdopodobieństwa p = [0.25, 0.75] T rozdzielono na dwa rozkłady:p L = [1.0] oraz p R = [1.0] (ponieważ odpowiedź rozdzieliła wektor na dwie części, była ewidentnie odpowiedzią binarną, np. reprezentowaną przez odpowiedzi L i P, co dalej zakładamy). Ile informacji (w bitach): przekazała odpowiedź L? przekazała odpowiedź P? przekazuje średnio jedna odpowiedź?

35 Dzięki odpowiedzi na pewne pytanie rozkład prawdopodobieństwa p = [0.0, 0.5, 0.5, 0.0] T rozdzielono na dwa rozkłady: p L = [0.0, 1.0] oraz p R = [ ] (ponieważ odpowiedź rozdzieliła wektor na dwie części, była ewidentnie odpowiedzią binarną, np. reprezentowaną przez odpowiedzi L i P, co dalej zakładamy). Ile informacji (w bitach): przekazała odpowiedź L? przekazała odpowiedź P? przekazuje średnio jedna odpowiedź?

36 Dzięki odpowiedzi na pewne pytanie rozkład prawdopodobieństwa p = [0.25, 0.25, 0.00, 0.50] T rozdzielono na dwa rozkłady: p L = [0.5, 0.5] oraz p R = [ ] (ponieważ odpowiedź rozdzieliła wektor na dwie części, była ewidentnie odpowiedzią binarną, np. reprezentowaną przez odpowiedzi L i P, co dalej zakładamy). Ile informacji (w bitach): przekazała odpowiedź L? przekazała odpowiedź P? przekazuje średnio jedna odpowiedź?

37 Dzięki odpowiedzi na pewne pytanie rozkład prawdopodobieństwa p = [0.3, 0.3, 0.0, 0.6] T rozdzielono na dwa rozkłady: p L = [0.5, 0.5] oraz p R = [ ] (ponieważ odpowiedź rozdzieliła wektor na dwie części, była ewidentnie odpowiedzią binarną, np. reprezentowaną przez odpowiedzi L i P, co dalej zakładamy). Ile informacji (w bitach): przekazała odpowiedź L? przekazała odpowiedź P? przekazuje średnio jedna odpowiedź?

38 Dzięki odpowiedzi na pewne pytanie rozkład prawdopodobieństwa p = [0.1, 0.2, 0.3, 0.4] T rozdzielono na dwa rozkłady: p L = [1/3, 2/3] oraz p R = [3/7 4/7] (ponieważ odpowiedź rozdzieliła wektor na dwie części, była ewidentnie odpowiedzią binarną, np. reprezentowaną przez odpowiedzi L i P, co dalej zakładamy). Ile informacji (w bitach): przekazała odpowiedź L? przekazała odpowiedź P? przekazuje średnio jedna odpowiedź?

39 Metody kompresji danych Zweryfikuj nierówność Krafta dla poniższych kodów { 001, 000, 1, 01, 0001 } { 001, 1, 000, 01 } { 0010, 1, 000, 01 }

40 Metody kompresji danych Jaka jest naturalna ( naturalność w sensie: bez działań mających na celu zmniejszenie/zwiększenie redundancji) liczba bitów potrzebna do zapisania przekazu złożonego z 1000 znaków alfabetu 10-elementowego?

41 Metody kompresji danych Jaka jest naturalna ( naturalność w sensie: bez działań mających na celu zmniejszenie/zwiększenie redundancji) liczba bitów potrzebna do zapisania przekazu złożonego z m znaków alfabetu n-elementowego?

42 Metody kompresji danych Zakodować przekaz abbccc korzystając z kodowania 'a' '00' 'b' 01' 'c' '10

43 Metody kompresji danych Zakodować przekaz abbccc korzystając z kodowania 'a' '0' 'b' '10' 'c' '11

44 Metody kompresji danych Odkodować przekaz korzystając z kodowania 'a' '1 'b' '000' 'c' '001' 'd' '010' 'e' '011'

45 Metody kompresji danych Odkodować przekaz korzystając z kodowania 'a' '00' 'b' '01' 'c' '10' 'd' '110' 'e' '111'

46 Metody kompresji danych Odkodować przekaz korzystając z kodowania 'a' '0' 'b' '10' 'c' '11'

47 Metody kompresji danych Dla kodowania 'a' '00' 'b' 01' 'c' '10' obliczyć SWDK przy założeniu równomierności rozkładu prawdopodobieństwa, oraz stwierdzić, czy dla alfabetu A = { a, b, c } istnieje kod bezprzecinkowy o mniejszej SWDK niż powyższa jeżeli tak: ocenić średnie skrócenie długości kodowania (pomiędzy kodem powyższym a kodem bezprzecinkowym) przekazu złożonego z m znaków alfabetu A

48 Metody kompresji danych Dla kodowania 'a' '00' 'b' 01' 'c' '10' d' '11' obliczyć SWDK przy założeniu równomierności rozkładu prawdopodobieństwa, oraz stwierdzić, czy dla alfabetu A = { a, b, c, d } istnieje kod bezprzecinkowy o mniejszej SWDK niż powyższa jeżeli tak: ocenić średnie skrócenie długości kodowania (pomiędzy kodem powyższym a kodem bezprzecinkowym) przekazu złożonego z m znaków alfabetu A

49 Metody kompresji danych Znaleźć kodowanie dla alfabetu { a, b, c } o (względnych) częstościach [ ] zgodnie z algorytmem Shannona-Fano i obliczyć SWDK oraz ε (efektywność) powstałego kodu

50 Metody kompresji danych Znaleźć kodowanie dla alfabetu { a, b, c } o (względnych) częstościach [ ] zgodnie z algorytmem Huffmana i obliczyć SWDK oraz ε (efektywność) powstałego kodu

51 Metody kompresji danych Znaleźć kodowanie dla alfabetu { a, b, c, d, e, f, g, h } o (względnych) częstościach [ ] zgodnie z algorytmem Shannona-Fano i obliczyć SWDK oraz ε (efektywność) powstałego kodu

52 Metody kompresji danych Znaleźć kodowanie dla alfabetu { a, b, c, d, e, f, g, h } o (względnych) częstościach [ ] zgodnie z algorytmem Huffmana i obliczyć SWDK oraz ε (efektywność) powstałego kodu

53 Metody kompresji danych Znaleźć kodowanie dla alfabetu { a, b, c, d, e } o rozkładzie prawdopodobieństwa [0.35, 0.17, 0.17, 0.16, 0.15]* zgodnie z algorytmem Shannona-Fano i obliczyć SWDK oraz ε (efektywność) powstałego kodu * znany rozkład różnicujacy wyniki działania algorytmów: Shannona-Fano i Huffmana

54 Metody kompresji danych Znaleźć kodowanie dla alfabetu { a, b, c, d, e } o rozkładzie prawdopodobieństwa [0.35, 0.17, 0.17, 0.16, 0.15]* zgodnie z algorytmem Huffmana i obliczyć SWDK oraz ε (efektywność) powstałego kodu * znany rozkład różnicujacy wyniki działania algorytmów: Shannona-Fano i Huffmana

55 Metody kompresji danych Dla alfabetów: wejściowego {'d,'i,'k,'m,'o,'t'} i wyjściowego {1, 2,...} przetworzyć napis timkod zgodnie z algorytmem LZW-kompresja

56 Metody kompresji danych Dla alfabetów: wejściowego {'_,'b,'e,'n,'o,'r,'t'} i wyjściowego {1, 2,...} przetworzyć napis to_be_or_not_to_be zgodnie z algorytmem LZW-kompresja

57 Metody kompresji danych Dla alfabetów: wejściowego { a } i wyjściowego {1, 2,...} przetworzyć napis aaaaaa zgodnie z algorytmem LZW-kompresja

58 Metody kompresji danych Dla alfabetów: wejściowego {'a,'c,'f,'i,'j,'m,'n,'o,'r'} i wyjściowego {1, 2,...} przetworzyć napis zgodnie z algorytmem LZW-dekompresja

59 Metody kompresji danych Dla alfabetów: wejściowego {'a, i, m, u } i wyjściowego {1, 2,...} przetworzyć napis zgodnie z algorytmem LZW-dekompresja

60 Metody kompresji danych Dla alfabetów: wejściowego {'a } i wyjściowego {1, 2,...} przetworzyć napis 1231 zgodnie z algorytmem LZW-dekompresja

61 ... 61