Teoria Informacji i Metody Kompresji Danych

Teoria Informacji i Metody Kompresji Danych 1

Materiały wykładowe (fragmenty) 2

Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL kontakt osobisty Centrum Wykładowe, blok informatyki, pok. 7 3

Wyłączenie odpowiedzialności Prezentowane materiały, będące dodatkiem pomocniczym do wykładów, z konieczności fragmentarycznym i niedopracowanym, należy wykorzystywać z pełną świadomością faktu, że mogą nie być pozbawione przypadkowych błędów, braków, wypaczeń i przeinaczeń :-) Autor

Krótka dygresja Reprezentacje binarne liczb całkowitych 2 10 = 10 2 10 10 = 1010 2 ułamkowych 0.5 10 = 0.1 2 0.1 10 = 0.0001100110011 2 = 0.0(0011) 2

Długa dygresja Drzewa jako struktury danych usytuowanie w gąszczu struktur graf (skierowany/nieskierowany)» cykl, ścieżka, las, drzewo» drzewo rozpinające,

Długa dygresja Drzewa jako struktury danych elementy wierzchołki (korzeń, liście, wierzchołki pośrednie), krawędzie (gałęzie) ścieżki (od korzenia do liścia) parametry arność (/maksymalna/ liczba rozgałęzień ) głębokość/wysokość (/maksymalna/ liczba pięter ) przykłady binarne m-arne pełne, lokalnie pełne, zdegenerowane

O przydatności logarytmów słów kilka Analiza matematyczna podstawowe właściwości funkcji logarytmicznej (rzeczywistej) Pytanie: co jest większe, x czy log P (x)? Odpowiedź: To zależy (od P i od x) W takim razie: niech P = e, czyli: co jest większe, x czy ln(x)?

O przydatności logarytmów słów kilka Analiza matematyczna podstawowe właściwości funkcji logarytmicznej (rzeczywistej) y = f(x) = x y = g(x) = ln(x) 5 4 3 2 1 0-1 -2-3 -4-5 -5-4 -3-2 -1 0 1 2 3 4 5

O przydatności logarytmów słów kilka Analiza matematyczna podstawowe właściwości funkcji logarytmicznej (rzeczywistej) x>0 : x > ln(x) 5 4 3 2 1 0-1 -2-3 -4-5 -5-4 -3-2 -1 0 1 2 3 4 5

O przydatności logarytmów słów kilka Analiza matematyczna podstawowe właściwości funkcji logarytmicznej (rzeczywistej) y = f(x) = x 1 y = g(x) = ln(x) 5 4 3 2 1 0-1 -2-3 -4-5 -5-4 -3-2 -1 0 1 2 3 4 5

O przydatności logarytmów słów kilka Analiza matematyczna podstawowe właściwości funkcji logarytmicznej (rzeczywistej) x>0 : x 1 ln(x) 5 4 3 2 1 0-1 -2-3 -4-5 -5-4 -3-2 -1 0 1 2 3 4 5

O przydatności logarytmów słów kilka Analiza matematyczna podstawowe właściwości funkcji logarytmicznej (rzeczywistej) x>0 : x > ln(x) x>0 : x 1 ln(x) równość tylko dla x = 1

O przydatności logarytmów słów kilka Pytanie: czy logarytmy mają jakiekolwiek interpretacje w dziedzinach dyskretnych/całkowitych?

O przydatności logarytmów słów kilka Pytanie pomocnicze: jaki jest wzór na wysokość P-arnego drzewa pełnego o W wierzchołkach? uwaga: wysokość drzewa złożonego tylko z korzenia wynosi 0 stąd założenie: W > 1 (potrzebne przynajmniej jedno piętro ) Odpowiedź: L = log P (W+1) 1 dyskretna interpretacja logarytmu Uzasadnienie P = 2, drzewo do góry nogami (czyli: normalnie /korzeń na dole!/) parter : 1 wierzchołek pierwsze piętro : 2 wierzchołki drugie piętro : 4 wierzchołki trzecie piętro : 8 wierzchołków L-te piętro : f(l) wierzchołków f(l): jakaś funkcja liczby L

O przydatności logarytmów słów kilka Pytanie pomocnicze: jaki jest wzór na wysokość P-arnego drzewa pełnego o W wierzchołkach? uwaga: wysokość drzewa złożonego tylko z korzenia wynosi 0 stąd założenie: W > 1 (potrzebne przynajmniej jedno piętro ) Odpowiedź: L = log P (W+1) 1 dyskretna interpretacja logarytmu Uzasadnienie P = 2, drzewo do góry nogami (czyli: normalnie /korzeń na dole!/) parter : 2 0 wierzchołków pierwsze piętro : 2 1 wierzchołków drugie piętro : 2 2 wierzchołków trzecie piętro : 2 3 wierzchołków L-te piętro : 2 L wierzchołków

O przydatności logarytmów słów kilka Pytanie pomocnicze: jaki jest wzór na wysokość P-arnego drzewa pełnego o W wierzchołkach? uwaga: wysokość drzewa złożonego tylko z korzenia wynosi 0 stąd założenie: W > 1 (potrzebne przynajmniej jedno piętro ) Odpowiedź: L = log P (W+1) 1 dyskretna interpretacja logarytmu Uzasadnienie wtedy W = 2 0 + 2 1 + 2 2 + 2 3 + + 2 L = 2 L+1 1 czyli wzór na sumę n-wyrazów szeregu geometrycznego: geometryczny-(a,q): a (1 q n )/(1 q) dla q 1 dla geometryczny-(1,2): 1 (1 2 n )/(1 2) = (1 2 n ) = 2 n 1 (uwaga: w powyższym wzorze n = L + 1) W + 1 = 2 L+1

O przydatności logarytmów słów kilka Pytanie pomocnicze: jaki jest wzór na wysokość P-arnego drzewa pełnego o W wierzchołkach? uwaga: wysokość drzewa złożonego tylko z korzenia wynosi 0 stąd założenie: W > 1 (potrzebne przynajmniej jedno piętro ) Odpowiedź: L = log P (W+1) 1 dyskretna interpretacja logarytmu Uzasadnienie po zlogarytmowaniu (tzw. obustronnym ) log 2 (W + 1) = log 2 (2 L+1 ) log 2 (W + 1) = (L+1)log 2 (2) log 2 (W + 1) = L + 1 wniosek L = log 2 (W + 1) 1

Analiza matematyczna ciąg {a n } zbieżność ciągu (zbieżny, rozbieżny) warunek: istnienie (liczbowej) granicy lim n s n szereg: ciąg {s n }, gdzie s n = i=1..n a n, przy ustalonym ciągu {a n } zbieżność szeregu (zbieżny, rozbieżny) warunek konieczny: zbieżność ciągu {a n }

Analiza matematyczna ciąg: a n = 1/2, czyli: a 1 = 1/2, a 2 = 1/2, a 3 = 1/2, lim n a n = 1/2 (zbieżny) szereg: s n = i=1..n a n = i=1..n 1/2, czyli s 1 = 1/2 = 1/2 s 2 = 1/2 + 1/2 = 2/2 s 3 = 1/2 + 1/2 + 1/2 = 3/2 s n = i=1..n 1/2 = n 1/2 = n/2 lim n s n = lim n n/2 = (lim n n)/2 = /2 = (rozbieżny)

Analiza matematyczna ciąg harmoniczny*: a n = 1/n, czyli: a 1 = 1/1, a 2 = 1/2, a 3 = 1/3, lim n a n = lim n 1/n = 0 (zbieżny) szereg harmoniczny: s n = i=1..n a n = i=1..n 1/i, czyli s 1 = 1/1 = 1 s 2 = 1/1 + 1/2 = 3/2 s 3 = 1/1 + 1/2 + 1/3 = 11/6 s n = i=1..n 1/i = 1 + i=2..n 1/i lim n s n = lim n i=1..n 1/i = 1 + lim n i=2..n 1/i =? (zbieżny/rozbieżny)? * harmoniczny bo dla i > 1: element a i jest średnią harmoniczną elementów a i 1 i a i+1

Analiza matematyczna szereg harmoniczny: lim n s n = lim n i=1..n 1/i = 1 + lim n i=2..n 1/i 1 + 1/2 + 1/3 + 1/4 + 1/5 + 1/6 + 1/7 + 1/8 + 1/9 + 1/10 + > 1 + 1/2 +(1/4 + 1/4)+(1/8 + 1/8 + 1/8 + 1/8)+(1/16 + 1/16 + = 1 + 1/2 +( 1/2 )+( 1/2 )+( 1/2 = 1 + lim n i=2..n 1/2 = 1 + = rozbieżny

Analiza matematyczna ciąg geometryczny-(1,1/2)*: a n = 1/2 n 1, czyli: a 1 = 1/1, a 2 = 1/2, a 3 = 1/4, lim n a n = lim n 1/2 n 1 = 0 (zbieżny) szereg geometryczny-(1,1/2): s n = i=1..n a n = i=1..n 1/2 i 1, czyli s 1 = 1/1 = 1 s 2 = 1/1 + 1/2 = 3/2 s 3 = 1/1 + 1/2 + 1/4 = 13/8 s n = i=1..n 1/2 i 1 = 1 + i=2..n 1/2 i 1 lim n s n = lim n i=1..n 1/2 i 1 = 1 + lim n i=2..n 1/2 i 1 =? (zbieżny/rozbieżny)? * geometryczny-(1,1/2) bo a n = 1/2 n 1 = 1 (1/2) n 1 = a q n 1 (a = 1 i q = 1/2 są parametrami)

Analiza matematyczna szereg geometryczny-(1,1/2): lim n s n = lim n i=1..n 1/2 i 1 = 1 + lim n i=2..n 1/2 i 1 s 1 = 1 s 2 = 1 + 1/2 = 1 + 1/2 s 3 = 1 + 2/4 + 1/4 = 1 + 3/4 s 4 = 1 + 4/8 + 2/8 + 1/8 = 1 + 7/8 s 5 = 1 + 8/16 + 4/16 + 2/16 + 1/16 = 1 + 15/16 s n = i=1..n 1/2 i 1 = 1 + i=2..n 1/2 i 1 = 1 + (2 n 1)/2 n = = 1 + (2 n /2 n 1/2 n ) = 1 + 2 n /2 n 1/2 n = 1 + 1 1/2 n = = 2 1/2 n lim n s n = lim n (2 1/2 n ) = 2 lim n (1/2 n ) = 2 0 = 2 zbieżny

Analiza matematyczna szereg geometryczny-(1,1/2): lim n s n = lim n i=1..n 1/2 i 1 = 1 + lim n i=2..n 1/2 i 1

A propos: niech s = 1 + 1/2 + 1/4 + 1/8 + po klasycznym zsumowaniu: s = 2; ciekawe jednak, że s = 1 + 1/2 + 1/4 + 1/8 + s = 1 + 1/2 1 + 1/2 1/2 + 1/2 1/4 + s = 1 + 1/2(1 + 1/2 + 1/4 + ) s = 1 + 1/2 s s 1/2 s = 1 1/2 s = 1 s = 2 wniosek: 1 + 1/2 + 1/4 + 1/8 + = 2

A teraz? niech s = 1 + 2 + 4 + 8 + po klasycznym zsumowaniu: s = ; ciekawe jednak, że s = 1 + 2 + 4 + 8 + s = 1 + 2 1 + 2 2 + 2 4 + s = 1 + 2(1 + 2 + 4 + ) s = 1 + 2s s 2s = 1 s = 1 s = 1 wniosek: 1 + 2 + 4 + 8 + = 1 (to nie jest żart! /patrz: rozszerzenia analityczne, ang. analytic continuations /)

Analiza matematyczna a struktury danych szereg geometryczny-(1/2,1/2) a drzewo binarne szereg geometryczny-(1/2,1/2): 1/2, 1/4, 1/8, 1/16, szereg geometryczny-(1,1/2): 1, 1/2, 1/4, 1/8, (dla przypomnienia!)

Analiza matematyczna a struktury danych szereg geometryczny-(1/2,1/2) a drzewo binarne