Teoria Informacji i Metody Kompresji Danych

Transkrypt

1 Teoria Informacji i Metody Kompresji Danych 1

2 Materiały wykładowe (fragmenty) 2

3 Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL kontakt osobisty Centrum Wykładowe, blok informatyki, pok. 7 3

4 Wyłączenie odpowiedzialności Prezentowane materiały, będące dodatkiem pomocniczym do wykładów, z konieczności fragmentarycznym i niedopracowanym, należy wykorzystywać z pełną świadomością faktu, że mogą nie być pozbawione przypadkowych błędów, braków, wypaczeń i przeinaczeń :-) Autor

5 ... 5

6 Czego nie będzie na tym wykładzie? (prawie wcale) Sygnały / dane ciągłe częstotliwości kanały, pasma transformaty dyskretyzacja / kwantyzacja... (niewiele) Optymalizacja kodów... (niewiele) Algorytmy specjalizowane... (niewiele) Kompresja stratna... (znakomita konkurencja!)

7 Plan TIMKoD (plany) 7

8 Plan TIMKoD (w punktach) Wstęp Teoria informacji podstawy matematyczne informacja miara informacji entropia i jej pochodne interpretacje i zastosowania idea kodowania właściwości kodów

9 Plan TIMKoD (w punktach) Metody kompresji danych idea kompresji bezstratnej stratnej bezpowrotnej metody kompresji bezstratnej algorytm Huffmana kodowanie arytmetyczne metody słownikowe popularne systemy kompresji bezstratnej Sprawdzian

10 Usytuowanie przedmiotu Matematyka teoretyczna / stosowana podmioty teoria informacji składowanie/przesyłanie informacji kompresja danych metody bezstratne kontekst metody stratne algebra abstrakcyjna algorytmy i struktury danych złożoność obliczeniowa kryptografia rachunek prawdopodobieństwa statystyka uczenie maszynowe

11 Literatura Dotycząca przedmiotu? Wszelka/współczesna? Faktycznie wykorzystywana? Mniej/bardziej specjalistyczna? Mniej/bardziej polecana?

12 Literatura Karta ECTS podstawowa A. Drozdek: Wprowadzenie do kompresji danych WNT, Warszawa, 1999 A. Przelaskowski: Kompresja danych. Podstawy, metody bezstratne, kodery obrazów, BTC, Legionowo, 2005 uzupełniająca T.M. Cover, J.A. Thomas, "Elements of Information Theory", 2nd Edition, Wiley & Sons, Hoboken, New Jersey, 1991 D.J.C. MacKay: Information Theory, Inference, and Learning Algorithms, Cambridge University Press, Cambridge, UK, 2003 K. Sayood (red.): Lossless Compression Handbook, Academic Press, Elsevier Science, San Diego, California, 2003 K. Sayood: Introduction to Data Compression, 3rd Ed., Morgan Kaufmann Publishers, San Francisco, California, 2006

13 Literatura Inne TI MKD J. Seidler: Teoria kodów, PWN, Wrocław-Warszawa, 1965 W. Sobczak: Teoria informacji, WNT, Warszawa, 1970 A.M. Rosie: Teoria przesyłania informacji, PWN, Warszawa, 1978 W. Sobczak: Statystyczna teoria systemów przesyłania informacji, WKiŁ, Warszawa, 1984 J. Seidler: Nauka o informacji, t. I i II, WNT, Warszawa, 1983 L. Brillouin: Nauka a teoria informacji, PWN, Warszawa, 1969 W. Sobczak, W. Malina: Metody selekcji i redukcji informacji, WNT, Warszawa, 1985 M. Mazur: Jakościowa teoria informacji, WNT, Warszawa, (1970) A. Przelaskowski: Kompresja danych. Podstawy, metody bezstratne, kodery obrazów, BTC, Legionowo, 2005 K. Sayood: Kompresja danych (wprowadzenie), RM, Warszawa, 2002 K. Heim: Metody kompresji danych, MIKOM, Warszawa, 2000

14 Literatura Inne wąski kontekst metody stratne średni kontekst algebra liniowa (rozkłady macierzy, transformaty) przetwarzanie sygnałów cyfrowych przetwarzanie obrazów cyfrowych... np.: J. Stokłosa: Kryptograficzne metody ochrony danych, Wydawnictwo Politechniki Poznańskiej (skrypt 1676), Poznań, 1992 R. Lidl: Algebra dla przyrodników i inżynierów, PWN, Warszawa, 1983

15 Literatura Inne szeroki kontekst algebra matematyka dyskretna... np.: J. Rutkowski: Algebra abstrakcyjna w zadaniach, PWN, Warszawa, 2000 B. Mikołajczak, J. Stokłosa: Złożoność obliczeniowa algorytmów, Wydawnictwo Politechniki Poznańskiej (skrypt 1327), Poznań, 1986 Z. Pawlak: Systemy informacyjne. Podstawy teoretyczne, WNT, Warszawa, 1983 N. Deo: Teoria grafów i jej zastosowania w technice i informatyce, PWN, Warszawa, 1980

16 Literatura a materiały O czym mowa? literatura materiały Jak szukać w wydawnictwach np.: [Przelaskowski]: 234 pozycje w bibliografii w Internecie [Google]: gugol pozycji w sieci

17 Internet na temat Teorii informacji Zapytanie teoria informacji w ( )...mimuw...i kodowania...norberta wienera 1. Teoria informacji Wikipedia, wolna encyklopedia 2. Entropia (teoria informacji) (video) Khan Academy 3. Podróż do teorii informacji Informatyka Khan Academy teoria informacji pdf jakościowa teoria informacji teoria informacji wienera teoria informacji zadania teoria informacji książka entropia teoria informacji teoria informacji mimuw teoria informacji i kodowania 17

18 Internet na temat Kompresji danych Zapytanie kompresja danych w ( )...programy...co to jest...wikipedia 1. Kompresja (informatyka) Wikipedia, wolna encyklopedia 2. [PDF] Kompresja Danych 3. [PDF] Algorytmy bezstratnej kompresji danych - Politechnika Śląska sun.aei.polsl.pl/~akd/artykuly/zn-kdanych.pdf dekompresja danych rodzaje kompresji kompresja danych programy kompresja bezstratna kompresja bezstratna przykłady kompresja stratna algorytmy kompresji kompresja stratna i bezstratna 18

19 ... 19

20 Dygresja

21 Dygresja John Napier of Merchiston (1 February, April 1617) also signed as Neper, Nepair; nicknamed Marvellous Merchiston a Scottish landowner known as a mathematician, physicist, and astronomer. He was the 8th Laird of Merchiston. His Latinized name was Ioannes Neper. Napier's birthplace, Merchiston Tower in Edinburgh, is now part of the facilities of Edinburgh Napier University. John Napier is best known as the discoverer of logarithms. He also invented the so-called "Napier's bones" and made common the use of the decimal point in arithmetic and mathematics.

22 Dygresja Multimedialny słownik PWN wyrazy obce logarytm -mu, -mie, lm -my, mrz mat. «wykładnik potęgi, do której należy podnieść liczbę stałą (podstawę logarytmu), aby otrzymać liczbę daną (logarytmowaną), (skrót: log, lg)» mat.logarytm naturalny «logarytm, którego podstawą jest liczba niewymierna e, równa w przybliżeniu 2,7182 (skrót: ln)» <ang. logarithm (John Napier of Merchiston 1614 r.), od gr. lógos w zn. proporcja + arithmós liczba > 22

23 ... 23

24 Logika funkcje logiczne implikacja, równoważność,... warunek konieczny / dostateczny...

25 Teoria mnogości zbiór zbiór potęgowy relacja binarna funkcja bijektywna» surjektywna» injektywna zbiory o mocy skonczonej (n) nieskonczonej policzalne (A 0 ) niepoliczalne (C 0 )

26 Rachunek prawdopodobieństwa klasyczna i aksjomatyczna definicja prawdopodobieństwa aksjomaty prawdopodobieństwa zdarzenie: prawdopodobieństwo p(a), p(b) p(a B) p(a B) p(a B) p(a \ B) zmienna: rozkład prawdopodobieństwa

27 Statystyka (różnice: statystyka a rachunek prawdopodobieństwa? rozkłady prawdopodobieństwa podział dyskretne» policzalne (wektory)» niepoliczalne (ciągi) ciągłe (funkcje) reprezentacja dyskretnego rozkładu prawdopodobieństwa w postaci simpleksu wizualizacje w układach barycentrycznych» elementów dyskretnego rozkładu prawdopodobieństwa» funkcji dyskretnego rozkładu prawdopodobieństwa

28 Statystyka miary położenia średnia arytmetyczna klasyczna a ważona miary rozproszenia wariancja» średnia ważona jako kombinacja wypukła odchylenie standardowe miary związku kowariancja korelacja

29 Algebra liniowa kombinacja wypukła punkty a wektory kombinacja liniowa wektorów kombinacja wypukła wektorów powłoka wypukła wektory wewnętrzne a zewnętrzne simpleks macierz rozkładu, stochastyczna,... nieujemnie/dodatnio określona

30 Algebra funkcja potęgowa oznaczenie definicja wielomiany

31 Analiza matematyczna właściwości monotoniczność wklęsłość / wypukłość ekstrema minima / maksima unimodalność... funkcji potęgowej wykładniczej logarytmicznej informacyjnej...

32 Algebra abstrakcyjna grupy pierścienie ciała

33 Języki formalne automaty gramatyki przedrostek wrostek zarostek? parsery

34 ... 34

35 Analiza matematyczna funkcja wykładnicza (rzeczywista) oznaczenie definicja (dla całkowitego n) b = a n gdy b = a a... a n razy definicja (dla rzeczywistego n)...

36 Analiza matematyczna funkcja wykładnicza (rzeczywista) właściwości podstawowe podstawy, wykładniki dziedzina przeciwdziedzina miejsca zerowe pochodna granice wykres

37 Analiza matematyczna funkcja wykładnicza (rzeczywista) właściwości podstawowe a xi = a xi» a b+c = a b a c a bc = (a b ) c w szczególności» a = 0» a 1 = 1/a» a 0 = 1» a 1 = a» a =

38 Analiza matematyczna funkcja wykładnicza (rzeczywista) interpretacje potęg potęga przy rożnych wykładnikach niedodatnich» a b dla b < 1 <==> odwrotność właściwej potęgi» a 1 = 1/a» a b dla b > 1 <==> odwrotność pierwiastka stopnia b potęga przy rożnych wykładnikach nieujemnych» a b dla b < 1 <==> pierwiastek stopnia b» a 1 = a» a b dla b > 1 <==> właściwa potęga

39 Analiza matematyczna funkcja logarytmiczna (rzeczywista) oznaczenie definicja b = log a (c) gdy a b = c inaczej: a loga(c) = c (z definicji)

40 Analiza matematyczna funkcja logarytmiczna (rzeczywista) właściwości podstawowe związek z f. wykładniczą dziedzina przeciwdziedzina miejsca zerowe pochodna granice wykres

41 Analiza matematyczna funkcja logarytmiczna (rzeczywista) właściwości podstawowe (P (0,1) (1,)) log P (x i ) = log P (x i )» log P (ab) = log P (a) + log P (b) log P (a b ) = b log P (a) log P (c)/log P (a) = log a (c) w szczególności» log P () =» log P (P) = 1» log P (1) = 0» log P (1/P) = 1» log P (0) =

42 Analiza matematyczna funkcja logarytmiczna (rzeczywista) właściwości podstawowe (P (0,1) (1,)) implikacje» log P (ab) = log P (a) + log P (b) log P (a 1) = log P (a) + log P (1) = log P (a) + 0 = log P (a) log P (1 b) = log P (1) + log P (b) = 0 + log P (b) = log P (b)» log P (a/b) = log P (a) log P (b) log P (a/1) = log P (a) log P (1) = log P (a) 0 = log P (a) log P (1/b) = log P (1) log P (b) = 0 log P (b) 0 = log P (b)

43 Analiza matematyczna funkcja wykładnicza (rzeczywista) i logarytmiczna (rzeczywista) właściwości log a (b) log b (a) = 1 z definicji zachodzi a loga(b) = b, czyli log P (a loga(b) ) = log P (b) log a (b) log P (a) = log P (b) log a (b) = log P (b)/log P (a) jednocześnie z definicji zachodzi b logb(a) = a, czyli log P (b logb(a) ) = log P (a) log b (a) log P (b) = log P (a) log b (a) = log P (a)/log P (b) czyli log a (b) log b (a) = log P (b)/log P (a) log P (a)/log P (b) = log P (a)/log P (a) log P (b)/log P (b) = = 1 1 = 1

44 Analiza matematyczna funkcja wykładnicza (rzeczywista) i logarytmiczna (rzeczywista) najpopularniejsze funkcje wykładnicze i logarytmiczne e x exp(x) log e (x) ln(x)» tymczasem: log(x) log 2 (x)

45 Analiza matematyczna funkcja wykładnicza (rzeczywista) i logarytmiczna (rzeczywista) liczba e e = lim n (1+1/n) n = 2,71... e 1 = e ln(e)= 1

46 Analiza matematyczna funkcja wykładnicza (rzeczywista) i logarytmiczna (rzeczywista) pochodna funkcji wykładniczej (a x ) = log(a) e x (e x ) = e x» ponieważ: (e x ) = log(e) e x = 1 e x = e x pochodna pochodna funkcji logarytmicznej (log P (x)) = 1/(log(P) x) = log P (e)/x (ln(x)) = 1/x» ponieważ: (ln(x)) = 1/(log e (e) x) = 1/(1 x) = 1/x

47 Analiza matematyczna / algebra wyższa funkcja wykładnicza (rzeczywista) i logarytmiczna (rzeczywista) jak obliczać a x? np. wykorzystując funkcję exp(x) a x = e ln(a) x exp(ln(a) x) jak obliczać log(x)? np. wykorzystując funkcję ln(x) log a (x) = ln e (x)/ln e (a) (w obu powyższych przypadkach) a jak obliczać exp(x) i ln(x)?

48 Analiza matematyczna / algebra wyższa funkcja wykładnicza (rzeczywista) i logarytmiczna (rzeczywista) jak obliczać... np. z rozwinięcia Taylora: Pojęcia wstępne ) ln( x x x x x x x... 2! 1 1! 1 0! 1 ) exp( x x x x

49 Analiza matematyczna funkcja ln(x)

50 Analiza matematyczna funkcja ln(x) a funkcja 1/x pole pod krzywą

51 Analiza matematyczna funkcja logarytmiczna (zespolona) w ogólności: odwzorowanie wielowartościowe (jak arcsin(x), arccos(x),...) stanowi funkcję przy dodatkowych założeniach log P (z) = log P ( z ) + i arg(z)» gdzie arg(z) = 0 + 2k dla każdego całkowitego k przy 0 [0, 2) czyli, np.: (dla k = 0) z = 1 + 0i ( z = 1, arg(z) = 0): log 2 (z) = log 2 (1) + 0i = 0 + 0i = 0 z = 1 + 0i ( z = 1, arg(z) = ): log 2 (z) = log 2 (1) + i = 0 + i = i z = 0 + 1i ( z = 1, arg(z) = 1/2): log 2 (z) = log 2 (1) + 1/2i = 0 + 1/2 = 1/2 z = 0 1i ( z = 1, arg(z) = 3/2): log 2 (z) = log 2 (1) + 3/2 = 0 + 3/2 = 3/2

52

53 Skale logarytmiczne co opisują? przebiegi o szerokiej skali zmienności (np. wykładnicze) czy (i gdzie) występują? w przyrodzie np. przy opisie funkcjonowania zmysłów

54 Skale logarytmiczne idea (i nazwy) jednostek związanych ze skalami logarytmicznymi ln(x): neper log 10 (x): bel 10log 10 (x): decybel przykłady skala ph entropia termodynamiczna jasność gwiazdowa przesłona w fotografii

55 Skale logarytmiczne przykłady, c.d. skala Richtera I was lucky because logarithmic plots are a device of the devil Charles Francis Richter P[jsR] = log 10 (A/A 0 ) np.. 4, 6, 8,... siła sygnału Wi-Fi P[dBm] = 10 log 10 (P[mW]/1mW)... np. 10, 20, 50, 90,...

56 50, , , , , , , , , ,

57 57

58 50, , , , , ,086 0, ,309 0, ,079 1, ,033 0, ,377 0, , , ,700 0, ,571 58

59

60 2 0, , , , , , , , , ,

61 ... 61