Teoria Informacji i Metody Kompresji Danych

Transkrypt

1 Teoria Informacji i Metody Kompresji Danych 1

2 Materiały wykładowe (fragmenty) 2

3 Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL kontakt osobisty Centrum Wykładowe, blok informatyki, pok. 7 3

4 Wyłączenie odpowiedzialności Prezentowane materiały, będące dodatkiem pomocniczym do wykładów, z konieczności fragmentarycznym i niedopracowanym, należy wykorzystywać z pełną świadomością faktu, że mogą nie być pozbawione przypadkowych błędów, braków, wypaczeń i przeinaczeń :-) Autor

5 ... 5

6 Co to za funkcja? log 2 (1/x) = log 2 (x) = log 2 (x)/( 1) = log 2 (x)/log 2 (1/2) = log 1/2 (x)

7 A przy okazji... pamiętacie? Entropia: wprowadzenie wykres H([x]) = x log P (x) (1 x) log P (1 x) dla P = 2

8 Przykłady innych odmian miary informacji T. Maszczyk, W. Duch: Comparison of Shannon, Renyi and Tsallis Entropy used in Decision Trees, LectureNotes in Computer Science, 5097, , 2008.

9 ... 9

10 TIMKoD: teoria i praktyka W planach mieliśmy porządne wprowadzenie do entropii met. kodowe kompresji statyczne, adaptacyjne met. słownikowe kompresji adaptacyjne met. RLE met. arytmetyczne kompresji......a tu jeszcze o głos wołały kompresja stratna kompresja obrazów (a także: dźwięków) kompresja predykcyjna... Co się udało? Głównie Wikipedia!

11 [...] [...] nade wszystko, świerszczyku mój, [detektyw] Kwass ma wiadomości encyklopedyczne. Gdyby nasz szef miał chociaż ćwierć tych wiadomości encyklopedycznych, [...] bylibyśmy już dawno milionerami [...] Mówisz, że Hippollit Kwass ma wiadomości encyklopedyczne? [...] Tak jest, świerszczyku mój. On ma wiadomości encyklopedyczne [...]. Musisz mu uszczknąć odrobinę tych wiadomości encyklopedycznych. Uszczknąć? Przynajmniej na literę A. [...] Edmund Niziurski Niewiarygodne przygody Marka Piegusa 1959

12 ... 12

13 Dygresja Od przybytku głowa boli*! problemu przybytku pozbywamy się kompresując dane przypadłość jest jednakże dość uporczywa atakuje same metody kompresji! (np. słowniki w metodach słownikowych) * w oryginale: Od przybytku głowa nie boli

14 Rodzina algorytmów LZ... LZ77, LZ78, LZSS, LZW,... charakterystyka (w kategoriach wejście/wyjście) LZ77 dla elementów wejścia o zmiennej długości znajduje elementy wyjścia o stałej długości LZSS, LZ78, LZW dla elementów wejścia o zmiennej długości znajduje elementy wyjścia o zmiennej długości

15 Rodzina algorytmów LZ... LZ77, LZ78, LZSS, LZW,... zastosowania (w konkretnych systemach kompresji) LZ77 deflate zip, gzip, 7z PNG LZSS, LZ78, LZW compress GIF, TIFF

16 A przy okazji... pamiętacie? Współczynnik kompresji = 1 N y /N x gdzie dla N x > 0: liczba elementów w ciągu źródłowym N y > 0: liczba elementów w ciągu wynikowym N y < N x : > 0 (kompresja pozytywna) N y = N x : = 0 (brak zmian) N y > N x : < 0 (kompresja negatywna) uwaga: współczynnik kompresji ma ogólniejsze zastosowania niż SWDK!

17 Algorytm LZW skuteczność kompresji Współczynnik kompresji = 1 N y /N x gdzie N x > 0: liczba elementów w ciągu źródłowym N y > 0: liczba elementów w ciągu wynikowym np. dla N x = 100 i N y = 50: = N x = 100 i N y = 75: = N x = 100 i N y = 100: = 0.00 N x = 100 i N y = 125: = 0.25 N x = 100 i N y = 150: =

18 Algorytm LZW skuteczność kompresji Dalsze przykłady nieco specyficzne oznaczenie: x dla x > 0: x = wartość x zaokrąglona w górę dla x = 0: x = 1

19 Algorytm LZW skuteczność kompresji Dalsze przykłady dane wejściowe alfabet wejściowy: {a, b, c,d, r} ciąg wejściowy: abrrracadabrrrra alfabet wyjściowy: {1.0, 2.0, 3.0, 4.0, 5.0, 6.0, 8.0, 9.0} ciąg wyjściowy: parametry danych/metody A: liczność alfabetu N: długość ciągu : współczynnik kompresji A WE = 5 log 2 (A WE ) = 3 N WE = 16 log 2 (A WE ) N WE = 48 A WY = 8 log 2 (A WY ) = 3 N WY = 11 log 2 (A WY ) N WY = 33 =

20 Algorytm LZW skuteczność kompresji Dalsze przykłady dane wejściowe alfabet wejściowy: {a} ciąg wejściowy: aaaaaaaaaaaaaaaa alfabet wyjściowy: {1.0, 2.0, 3.0, 4.0, 5.0} ciąg wyjściowy: parametry danych/metody LA: liczność alfabetu DC: długość ciągu : współczynnik kompresji A WE = 1 log 2 (A WE ) = 1 N WE = 16 log 2 (A WE ) N WE = 16 A WY = 5 log 2 (A WY ) = 3 N WY = 6 log 2 (A WY ) N WY = 18 = 0.125

21 Algorytm LZW eksperymenty Rys we = aaa... X: l(we); Y: l(wy)

22 Algorytm LZW eksperymenty Rys we = aaa... X: l(we); Y: l(wy)

23 Algorytm LZW eksperymenty Rys we = aaa... X: log 2 (l(we)); Y: l(wy)

24 Algorytm LZW eksperymenty Rys we = aaa... X: l(we); Y:

25 Algorytm LZW eksperymenty Rys we = aaa... X: log 2 (l(we)); Y:

26 Algorytm LZW eksperymenty Rys we = aaa... X: l(we); Y: l(dict)

27 Algorytm LZW eksperymenty Rys we = aaa... X: log 2 (l(we)); Y: l(dict)

28 Algorytm LZW eksperymenty Rys we = aaa... X: l(we); Y: t enc, t dec (Matlab)

29 Algorytm LZW eksperymenty Rys we = aaa... X: log 2 (l(we)); Y: t enc, t dec (Matlab)

30 Algorytm LZW eksperymenty Rys we = aaa... X: l(we); Y: t enc, t dec (Matlab) (wykres wygładzono)

31 Algorytm LZW eksperymenty Rys we = aaa... X: log 2 (l(we)); Y: t enc, t dec (Matlab) (wykres wygładzono)

32 Algorytm LZW eksperymenty Rys we = aaa... X: l(we); Y: l(wy) (pominięto zaokrąglenia logarytmów)

33 Algorytm LZW eksperymenty Rys we = aaa... X: log 2 (l(we)); Y: l(wy) (pominięto zaokrąglenia logarytmów)

34 Algorytm LZW eksperymenty Rys we = aaa... X: l(we); Y: (pominięto zaokrąglenia logarytmów)

35 Algorytm LZW eksperymenty Rys we = aaa... X: log 2 (l(we)); Y: (pominięto zaokrąglenia logarytmów)

36 ... 36

37 A przy okazji... pamiętacie? Kompresja kodowa a kompresja słownikowa dzięki swej naturalnej dualności, metody kodowa: dla elementów wejścia o stałej długości znajduje elementy wyjścia o zmiennej długości słownikowa: dla elementów wejścia o zmiennej długości znajduje elementy wyjścia o stałej długości stanowią dość udaną parę!

38 Algorytmy Huffman / Shannon-Fano eksperymenty Prezentowane poniżej wyniki dotyczą eksperymentu, w którym losowano N rozkładów prawdopodobieństw dla ustalonego alfabetu, po czym generowano dla nich kody zgodnie z procedurą Huffmana Shannona-Fano i obrazowano* ich parametry * uwaga: punkty niebieskie rysowane były wcześniej, a czerwone później, wskutek czego na niektórych wykresach (w szczególności: 1 i 1 ) punkty niebieskie są przesłonięte punktami niebieskimi

39 Algorytmy Huffman / Shannon-Fano eksperymenty Rys. 1 l(a) = 2, N = 1000 X: H(p); Y: SWDK H (p), SWDK SF (p)

40 Algorytmy Huffman / Shannon-Fano eksperymenty Rys. 1 l(a) = 2, N = 1000 X: H(p); Y: H, H

49 ... 49

50 Data compression. WTF?* "God Save the Queen" is a song by the British punk rock band the Sex Pistols. It was released as the band's second single [...] during Queen Elizabeth II's Silver Jubilee in The record s lyrics [...] were controversial at the time, and both the BBC and the Independent Broadcasting Authority refused to play the song. [...] The phrase "no future", the song's closing refrain, became emblematic of the punk rock movement. * ang. Kompresja danych. Jaka przyszłość? ( Data compression. What s the Future? )

51 Data compression. WTF? Teraźniejszość (co najmniej) świetlana kompresja jawna ZIP, RAR, 7Z, APK, CAB,... kompresja niejawna... JPG, MP3, MP4,... PDF,... DOCX,... JAR,... Przyszłość...

52 Podstawowe tożsamości trygonometryczne sin(x + y) = sin(x) cos(y) + cos(x) sin(y) sin(x y) = sin(x) cos(y) cos(x) sin(y) cos(x + y) = cos(x) cos(y) sin(x) sin(y) cos(x y) = cos(x) cos(y) + sin(x) sin(y)... Dygresja (jedna z ostatnich!)

53 Podstawowe tożsamości logarytmiczne log P (x y) = log P (x) + log P (y) log P (x/y) = log P (x) log P (y) log P (x y ) = y log P (x)... Dygresja (jedna z ostatnich!)

54 Przyszłość kompresji? Wstęp do eksperymentu myślowego wartość wartość a log(x) log(a) b log(x) log(b)

55 Przyszłość kompresji? Wstęp do eksperymentu myślowego wartość wartość exp(u) exp(x) u exp(v) exp(x) v

56 Przyszłość kompresji? Eksperyment myślowy a b

57 Przyszłość kompresji? Eksperyment myślowy a log(x) log(a) b log(x) log(b)

58 Przyszłość kompresji? Eksperyment myślowy log(a) log(b)

59 Przyszłość kompresji? Eksperyment myślowy c = a b log(a) log(b) log(c)?

60 Przyszłość kompresji? Eksperyment myślowy log(a) log(b) c = a b log(c)? exp(log(a)) exp(x) log(a) exp(log(b)) exp(x) log(b)

61 Przyszłość kompresji? Eksperyment myślowy log(a) log(b) c = a b log(c)? a = exp(log(a)) exp(x) log(a) b = exp(log(b)) exp(x) log(b)

62 Przyszłość kompresji? Eksperyment myślowy c = a b log(a) log(b) a b

63 Przyszłość kompresji? Eksperyment myślowy c = a b log(a) log(b) a b c = a b

64 Przyszłość kompresji? Eksperyment myślowy c = a b log(a) log(b) a b c = a b c log(x) log(c)

65 Przyszłość kompresji? Eksperyment myślowy c = a b log(a) log(b) log(c)

66 Przyszłość kompresji? Eksperyment myślowy c = a b log(a) log(b) log(c) = = log(a) + log(b)

67 Przyszłość kompresji? Szerszy eksperyment myślowy a szyfr(x) szyfr(a) b szyfr(x) szyfr(b) desz(u) desz(x) u desz(v) desz(x) v

68 Przyszłość kompresji? Szerszy eksperyment myślowy a szyfr(x) szyfr(a) b szyfr(x) szyfr(b) desz(u) desz(x) u desz(v) desz(x) v

69 Przyszłość kompresji? Szerszy eksperyment myślowy c = a b szyfr(a) szyfr(b) szyfr(c) = = szyfr(a) szyfr(b)

70 Dygresja (druga z ostatnich!) Homomorfizm [...] funkcja odwzorowująca jedną algebrę ogólną (np. monoid, grupę, pierścień czy przestrzeń wektorową) w drugą, zachowująca przy tym odpowiadające sobie działania.

71 Dygresja (prawie ostatnia!) Szyfrowanie homomorficzne szyfrowanie, które pozwala na operowanie na zaszyfrowanym dokumencie bez jego deszyfrowania (bez znajomości klucza deszyfrującego).

72 Przyszłość kompresji? Kompresja homomorficzna w szczególności: fingerprinting (funkcje skrótu) w ogólności: (potencjalne) wykorzystanie transformat! chociażby transformat już znanych i wykorzystywanych! (w innych miejscach, np. w procedurach kompresji stratnej)

73 Przyszłość kompresji? Pomoc z nieoczekiwanej strony Drużyna A Załoga G Transformata Z w innej wersji: funkcja tworząca

74 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) jeżeli* t = x 0 + x 1 + x 2 + x to t(1 x) = (x 0 + x 1 + x 2 + x )(1 x) = = (x 0 + x 1 + x 2 + x ) (x 1 + x 2 + x 3 + x ) = = x 0 = 1 i wtedy t = 1/(1 x) czyli 1/(1 x) = x 0 + x 1 + x 2 + x * uwaga: może zachodzić wyłącznie dla wybranych x (np. dla x [0,+1))

75 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) i dalej, ponieważ x 0 + x 1 + x 2 + x = 1 x x x x więc można zapisywać 1 / (1 x) 1, 1, 1, 1,... wyrażenie 1 / (1 x) reprezentuje (nieskończony) ciąg jedynek inaczej: funkcja (tworząca) f(x) = 1 / (1 x) tworzy (nieskończony) ciąg jedynek...

76 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) inne wyrażenia reprezentujące ciągi (funkcje tworzące) 1 / (1 2 x) 1, 2, 4, 8,... niech x = 2 y, wtedy 1/(1 x) = x 0 + x 1 + x 2 + x implikuje 1/(1 2 y) = (2 y) 0 + (2 y) 1 + (2 y) 2 + (2 y) = 1 y y y y

77 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) inne wyrażenia reprezentujące ciągi (funkcje tworzące) 1 / (1 x/2) 1, 1/2, 1/4, 1/8,... niech x = y/2, wtedy 1/(1 x) = x 0 + x 1 + x 2 + x implikuje 1/(1 y/2) = (y/2) 0 + (y/2) 1 + (y/2) 2 + (y/2) = = 1 y 0 + 1/2 y 1 + 1/4 y 2 + 1/8 y

78 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) w ogólności 1 / (1 a x) 1, a, a 2, a 3,... i wtedy dla a = 1 mamy 1/(1 x) 1, 1, 1, 1,... dla a = 2 mamy 1/(1 2 x) 1, 2, 4, 8,... dla a = 1/2 mamy 1/(1 x/2) 1, 1/2, 1/4, 1/8, dla a = 1 mamy 1/(1+x) 1, 1, 1, 1,... dla a = 2 mamy 1/(1+2 x) 1, 2, 4, 8,... dla a = 1/2 mamy 1/(1+x/2) 1, 1/2, 1/4, 1/8,......

79 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) niech np. Z = 1 / (1 2 x) C = 1, 2, 4, 8,... wobec tego, że wyrażenie Z i ciąg C sobie jednoznacznie odpowiadają oraz Z jest krótsze od C (Z jest skończone, C nieskończone!) można powiedzieć, że Z jest skompresowaną wersją C (to tę wersję w praktyce przechowujemy)

80 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) jak w tej sytuacji wygląda operacja przekształcająca ciąg C na wyrażenie Z (kompresja)? operacja przekształcająca wyrażenie Z na ciąg C (dekompresja)?

81 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) dekompresja znalezienie ciągu C reprezentowanego przez wyrażenie Z

82 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) dekompresja (łatwe!) znalezienie ciągu C reprezentowanego przez wyrażenie Z Pytanie: jak wyznaczyć ciąg C reprezentowany przez (zadane) wyrażenie Z? np. jaki C jest reprezentowany przez Z = (4 x+1)/(1 x 2 x 2 ) Odpowiedź: wyliczyć współczynniki rozwinięcia Taylora* dla x = 0 * cała tajemnica tkwi w tym, że szereg Taylora umie (jednoznacznie) reprezentować różne funkcje, co oznacza m.in., że wartości różnych funkcji można obliczać korzystając z ich rozwinięć w szereg Taylora (a także, że same funkcje można reprezentować za pomocą ich rozwinięć)

83 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) niech Z = 1 / (1 2 x) wtedy Z(0)/0! = 1 Z (0)/1! = 2 Z (0)/2! = 4 Z (0)/2! = 8...

84 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) niech Z = 1 / (1+x) wtedy Z(0)/0! = 1 Z (0)/1! = 1 Z (0)/2! = 1 Z (0)/2! = 1...

85 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) kompresja znalezienie wyrażenia Z reprezentującego ciąg C

86 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) kompresja (trudne!) znalezienie wyrażenia Z reprezentującego ciąg C Pytanie: jak wyznaczyć wyrażenie Z reprezentujące (zadany) ciąg C? np. jakie Z reprezentuje C = 1, 5, 7, 17,... Odpowiedź: właściwie brak metod (współcześnie) Pytanie pomocnicze: czy warto, a jeżeli tak, to dlaczego, szukać takich metod? Odpowiedź: metodologia wydaje się dość trudna, ale pomimo tego warto, chociażby dlatego, że...

87 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) niech Z = (4 x+1) / (1 x 2 x 2 ) wtedy Z(0)/0! = 1 Z (0)/1! = 5 Z (0)/2! = 7 Z (0)/2! = 17...

88 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) jak się okazuje, Z = (4 x+1) / (1 x 2 x 2 ) = 2 Z 1 Z 2, gdzie Z 1 = 1 / (1+2 x) Z 2 = 1 / (1+x) uzasadnienie: 2 Z 1 Z 2 = = 2 1 / (1 2 x) 1 / (1+x) = = (2+2 x 1+2 x) / (1 2 x)/(1+x) = = (4 x+1) / (1 x 2 x 2 )

89 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) wobec Z 1 = 1 / (1 2 x) 1, 2, 4, 8,... można mieć nadzieję, że 2 Z 1 = 2 1 / (1 2 x) 2, 4, 8, 16,... jednocześnie, wobec Z 2 = 1 / (1+x) 1, 1, 1, 1,... można mieć nadzieję, że Z 2 = 1 / (1+x) 1, 1, 1, 1,...

90 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) tak jest faktycznie: jeżeli Z 1 = 1 / (1 2 x) 1, 2, 4, 8,... to dla 2 Z 1 = 2 1 / (1 2 x) otrzymujemy Z(0)/0! = 2 Z (0)/1! = 4 Z (0)/2! = 8 Z (0)/2! = 16...

91 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) tak jest faktycznie: jeżeli Z 2 = 1 / (1+x) 1, 1, 1, 1,... to dla Z 2 = 1 / (1+x) otrzymujemy Z(0)/0! = 1 Z (0)/1! = 1 Z (0)/2! = 1 Z (0)/2! = 1...

92 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) a więc: Z 1 = 1 / (1 2 x) 1, 2, 4, 8,... Z 2 = 1 / (1+x) 1, 1, 1, 1,... 2 Z 1 = 2 1 / (1 2 x) 2, 4, 8, 16,... Z 2 = 1 / (1+x) 1, 1, 1, 1,...

93 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) a więc: Z 1 = 1 / (1 2 x) 1, 2, 4, 8,... Z 2 = 1 / (1+x) 1, 1, 1, 1,... 2 Z 1 = 2 1 / (1 2 x) 2, 4, 8, 16,... Z 2 = 1 / (1+x) 1, 1, 1, 1,... jednocześnie: 2 Z 1 Z 2 =...

94 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) a więc: Z 1 = 1 / (1 2 x) 1, 2, 4, 8,... Z 2 = 1 / (1+x) 1, 1, 1, 1,... 2 Z 1 = 2 1 / (1 2 x) 2, 4, 8, 16,... Z 2 = 1 / (1+x) 1, 1, 1, 1,... jednocześnie: 2 Z 1 Z 2 =... 1, 5, 7, 17,...

95 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) a więc: Z 1 = 1 / (1 2 x) 1, 2, 4, 8,... Z 2 = 1 / (1+x) 1, 1, 1, 1,... 2 Z 1 = 2 1 / (1 2 x) 2, 4, 8, 16,... Z 2 = 1 / (1+x) 1, 1, 1, 1,... jednocześnie: 2 Z 1 Z 2 =... 1, 5, 7, 17,... operacje wykonane na wzorach po stronie Z wykonały się też na elementach ciągu po stronie C! wniosek: ta metoda jest homomorficzna!

96 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) czyli: wobec tego, że wyrażenie Z i ciąg C sobie jednoznacznie odpowiadają (nawet po /pewnych/ przekształceniach!) oraz Z jest krótsze od C (Z jest skończone, C nieskończone!) można powiedzieć, że Z jest skompresowaną wersją C (to tę wersję w praktyce przechowujemy i na niej operujemy)

97 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie)...łyżki dziegciu w beczkach miodu... łatwym / znanym operacjom po jednej stronie mogą odpowiadać trudne / nieznane operacje po drugiej stronie trudny (niemożliwy?) proces kompresji

98 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) niech Z = Z 1 Z 2 = 2 1/(1 2 x) ( 1)/(1+x) = 2 / (1 x 2 x 2 ) iloczyn wtedy Z(0)/0! = 2 Z (0)/1! = 2 Z (0)/2! = 6 Z (0)/2! = 10...

99 Przyszłość kompresji? Idea transformat (np. Z) / funkcji tworzących (na przykładzie) niech Z = Z 1 Z 2 = 2 1/(1 2 x) ( 1)/(1+x) = 2 / (1 x 2 x 2 ) powstaje pytanie: czy ciąg 2, 2, 6, 10,... jest jakąś funkcją ciągów 2, 4, 8, 16,... oraz 1, 1, 1, 1,... a jeżeli tak, to jaką?

100

101 (Skompresowana, bo ostatnia) dygresja?! (In 1862 the author Victor Hugo wrote to his publisher asking how his most recent book, Les Misérables, was getting on. Hugo just wrote "?" in his message, to which his publisher replied "!", to indicate it was selling well.)

102