Teoria Informacji i Metody Kompresji Danych 1
Materiały wykładowe (fragmenty) 2
Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL kontakt osobisty Centrum Wykładowe, blok informatyki, pok. 7 3
Wyłączenie odpowiedzialności Prezentowane materiały, będące dodatkiem pomocniczym do wykładów, z konieczności fragmentarycznym i niedopracowanym, należy wykorzystywać z pełną świadomością faktu, że mogą nie być pozbawione przypadkowych błędów, braków, wypaczeń i przeinaczeń :-) Autor
... 5
Czego nie będzie na tym wykładzie? (prawie wcale) Sygnały / dane ciągłe częstotliwości kanały, pasma transformaty dyskretyzacja / kwantyzacja... (niewiele) Optymalizacja kodów... (niewiele) Algorytmy specjalizowane... (niewiele) Kompresja stratna... (znakomita konkurencja!)
Plan TIMKoD (plany) 7
Plan TIMKoD (w punktach) Wstęp Teoria informacji podstawy matematyczne informacja miara informacji entropia i jej pochodne interpretacje i zastosowania idea kodowania właściwości kodów
Plan TIMKoD (w punktach) Metody kompresji danych idea kompresji bezstratnej stratnej bezpowrotnej metody kompresji bezstratnej algorytm Huffmana kodowanie arytmetyczne metody słownikowe popularne systemy kompresji bezstratnej Sprawdzian
Usytuowanie przedmiotu Matematyka teoretyczna / stosowana podmioty teoria informacji składowanie/przesyłanie informacji kompresja danych metody bezstratne kontekst metody stratne algebra abstrakcyjna algorytmy i struktury danych złożoność obliczeniowa kryptografia rachunek prawdopodobieństwa statystyka uczenie maszynowe
Literatura Dotycząca przedmiotu? Wszelka/współczesna? Faktycznie wykorzystywana? Mniej/bardziej specjalistyczna? Mniej/bardziej polecana?
Literatura Karta ECTS podstawowa A. Drozdek: Wprowadzenie do kompresji danych WNT, Warszawa, 1999 A. Przelaskowski: Kompresja danych. Podstawy, metody bezstratne, kodery obrazów, BTC, Legionowo, 2005 uzupełniająca T.M. Cover, J.A. Thomas, "Elements of Information Theory", 2nd Edition, Wiley & Sons, Hoboken, New Jersey, 1991 D.J.C. MacKay: Information Theory, Inference, and Learning Algorithms, Cambridge University Press, Cambridge, UK, 2003 K. Sayood (red.): Lossless Compression Handbook, Academic Press, Elsevier Science, San Diego, California, 2003 K. Sayood: Introduction to Data Compression, 3rd Ed., Morgan Kaufmann Publishers, San Francisco, California, 2006
Literatura Inne TI MKD J. Seidler: Teoria kodów, PWN, Wrocław-Warszawa, 1965 W. Sobczak: Teoria informacji, WNT, Warszawa, 1970 A.M. Rosie: Teoria przesyłania informacji, PWN, Warszawa, 1978 W. Sobczak: Statystyczna teoria systemów przesyłania informacji, WKiŁ, Warszawa, 1984 J. Seidler: Nauka o informacji, t. I i II, WNT, Warszawa, 1983 L. Brillouin: Nauka a teoria informacji, PWN, Warszawa, 1969 W. Sobczak, W. Malina: Metody selekcji i redukcji informacji, WNT, Warszawa, 1985 M. Mazur: Jakościowa teoria informacji, WNT, Warszawa, (1970) A. Przelaskowski: Kompresja danych. Podstawy, metody bezstratne, kodery obrazów, BTC, Legionowo, 2005 K. Sayood: Kompresja danych (wprowadzenie), RM, Warszawa, 2002 K. Heim: Metody kompresji danych, MIKOM, Warszawa, 2000
Literatura Inne wąski kontekst metody stratne średni kontekst algebra liniowa (rozkłady macierzy, transformaty) przetwarzanie sygnałów cyfrowych przetwarzanie obrazów cyfrowych... np.: J. Stokłosa: Kryptograficzne metody ochrony danych, Wydawnictwo Politechniki Poznańskiej (skrypt 1676), Poznań, 1992 R. Lidl: Algebra dla przyrodników i inżynierów, PWN, Warszawa, 1983
Literatura Inne szeroki kontekst algebra matematyka dyskretna... np.: J. Rutkowski: Algebra abstrakcyjna w zadaniach, PWN, Warszawa, 2000 B. Mikołajczak, J. Stokłosa: Złożoność obliczeniowa algorytmów, Wydawnictwo Politechniki Poznańskiej (skrypt 1327), Poznań, 1986 Z. Pawlak: Systemy informacyjne. Podstawy teoretyczne, WNT, Warszawa, 1983 N. Deo: Teoria grafów i jej zastosowania w technice i informatyce, PWN, Warszawa, 1980
Literatura a materiały O czym mowa? literatura materiały Jak szukać w wydawnictwach np.: [Przelaskowski]: 234 pozycje w bibliografii w Internecie [Google]: gugol pozycji w sieci
Internet na temat Teorii informacji Zapytanie teoria informacji w https://www.google.pl (05.03.2018)...mimuw...i kodowania...norberta wienera 1. Teoria informacji Wikipedia, wolna encyklopedia https://pl.wikipedia.org/wiki/teoria_informacji 2. Entropia (teoria informacji) (video) Khan Academy https://pl.khanacademy.org/computing/.../v/information-entropy 3. Podróż do teorii informacji Informatyka Khan Academy https://pl.khanacademy.org/computing/computer.../informationtheo... teoria informacji pdf jakościowa teoria informacji teoria informacji wienera teoria informacji zadania teoria informacji książka entropia teoria informacji teoria informacji mimuw teoria informacji i kodowania 17
Internet na temat Kompresji danych Zapytanie kompresja danych w https://www.google.pl (05.03.2018)...programy...co to jest...wikipedia 1. Kompresja (informatyka) Wikipedia, wolna encyklopedia https://pl.wikipedia.org/wiki/kompresja_(informatyka) 2. [PDF] Kompresja Danych www.sms.am.put.poznan.pl/eskrypty_pliki/.../kompresjadanych.pdf 3. [PDF] Algorytmy bezstratnej kompresji danych - Politechnika Śląska sun.aei.polsl.pl/~akd/artykuly/zn-kdanych.pdf dekompresja danych rodzaje kompresji kompresja danych programy kompresja bezstratna kompresja bezstratna przykłady kompresja stratna algorytmy kompresji kompresja stratna i bezstratna 18
... 19
Dygresja http://hoth.amu.edu.pl/~pczarnec/ostafin/papier300.bmp
Dygresja John Napier of Merchiston (1 February, 1550 4 April 1617) also signed as Neper, Nepair; nicknamed Marvellous Merchiston a Scottish landowner known as a mathematician, physicist, and astronomer. He was the 8th Laird of Merchiston. His Latinized name was Ioannes Neper. Napier's birthplace, Merchiston Tower in Edinburgh, is now part of the facilities of Edinburgh Napier University. John Napier is best known as the discoverer of logarithms. He also invented the so-called "Napier's bones" and made common the use of the decimal point in arithmetic and mathematics. https://en.wikipedia.org/wiki/john_napier
Dygresja Multimedialny słownik PWN wyrazy obce logarytm -mu, -mie, lm -my, mrz mat. «wykładnik potęgi, do której należy podnieść liczbę stałą (podstawę logarytmu), aby otrzymać liczbę daną (logarytmowaną), (skrót: log, lg)» mat.logarytm naturalny «logarytm, którego podstawą jest liczba niewymierna e, równa w przybliżeniu 2,7182 (skrót: ln)» <ang. logarithm (John Napier of Merchiston 1614 r.), od gr. lógos w zn. proporcja + arithmós liczba > 22
... 23
Logika funkcje logiczne implikacja, równoważność,... warunek konieczny / dostateczny...
Teoria mnogości zbiór zbiór potęgowy relacja binarna funkcja bijektywna» surjektywna» injektywna zbiory o mocy skonczonej (n) nieskonczonej policzalne (A 0 ) niepoliczalne (C 0 )
Rachunek prawdopodobieństwa klasyczna i aksjomatyczna definicja prawdopodobieństwa aksjomaty prawdopodobieństwa zdarzenie: prawdopodobieństwo p(a), p(b) p(a B) p(a B) p(a B) p(a \ B) zmienna: rozkład prawdopodobieństwa
Statystyka (różnice: statystyka a rachunek prawdopodobieństwa? rozkłady prawdopodobieństwa podział dyskretne» policzalne (wektory)» niepoliczalne (ciągi) ciągłe (funkcje) reprezentacja dyskretnego rozkładu prawdopodobieństwa w postaci simpleksu wizualizacje w układach barycentrycznych» elementów dyskretnego rozkładu prawdopodobieństwa» funkcji dyskretnego rozkładu prawdopodobieństwa
Statystyka miary położenia średnia arytmetyczna klasyczna a ważona miary rozproszenia wariancja» średnia ważona jako kombinacja wypukła odchylenie standardowe miary związku kowariancja korelacja
Algebra liniowa kombinacja wypukła punkty a wektory kombinacja liniowa wektorów kombinacja wypukła wektorów powłoka wypukła wektory wewnętrzne a zewnętrzne simpleks macierz rozkładu, stochastyczna,... nieujemnie/dodatnio określona
Algebra funkcja potęgowa oznaczenie definicja wielomiany
Analiza matematyczna właściwości monotoniczność wklęsłość / wypukłość ekstrema minima / maksima unimodalność... funkcji potęgowej wykładniczej logarytmicznej informacyjnej...
Algebra abstrakcyjna grupy pierścienie ciała
Języki formalne automaty gramatyki przedrostek wrostek zarostek? parsery
... 34
Analiza matematyczna funkcja wykładnicza (rzeczywista) oznaczenie definicja (dla całkowitego n) b = a n gdy b = a a... a n razy definicja (dla rzeczywistego n)...
Analiza matematyczna funkcja wykładnicza (rzeczywista) właściwości podstawowe podstawy, wykładniki dziedzina przeciwdziedzina miejsca zerowe pochodna granice wykres
Analiza matematyczna funkcja wykładnicza (rzeczywista) właściwości podstawowe a xi = a xi» a b+c = a b a c a bc = (a b ) c w szczególności» a = 0» a 1 = 1/a» a 0 = 1» a 1 = a» a =
Analiza matematyczna funkcja wykładnicza (rzeczywista) interpretacje potęg potęga przy rożnych wykładnikach niedodatnich» a b dla b < 1 <==> odwrotność właściwej potęgi» a 1 = 1/a» a b dla b > 1 <==> odwrotność pierwiastka stopnia b potęga przy rożnych wykładnikach nieujemnych» a b dla b < 1 <==> pierwiastek stopnia b» a 1 = a» a b dla b > 1 <==> właściwa potęga
Analiza matematyczna funkcja logarytmiczna (rzeczywista) oznaczenie definicja b = log a (c) gdy a b = c inaczej: a loga(c) = c (z definicji)
Analiza matematyczna funkcja logarytmiczna (rzeczywista) właściwości podstawowe związek z f. wykładniczą dziedzina przeciwdziedzina miejsca zerowe pochodna granice wykres
Analiza matematyczna funkcja logarytmiczna (rzeczywista) właściwości podstawowe (P (0,1) (1,)) log P (x i ) = log P (x i )» log P (ab) = log P (a) + log P (b) log P (a b ) = b log P (a) log P (c)/log P (a) = log a (c) w szczególności» log P () =» log P (P) = 1» log P (1) = 0» log P (1/P) = 1» log P (0) =
Analiza matematyczna funkcja logarytmiczna (rzeczywista) właściwości podstawowe (P (0,1) (1,)) implikacje» log P (ab) = log P (a) + log P (b) log P (a 1) = log P (a) + log P (1) = log P (a) + 0 = log P (a) log P (1 b) = log P (1) + log P (b) = 0 + log P (b) = log P (b)» log P (a/b) = log P (a) log P (b) log P (a/1) = log P (a) log P (1) = log P (a) 0 = log P (a) log P (1/b) = log P (1) log P (b) = 0 log P (b) 0 = log P (b)
Analiza matematyczna funkcja wykładnicza (rzeczywista) i logarytmiczna (rzeczywista) właściwości log a (b) log b (a) = 1 z definicji zachodzi a loga(b) = b, czyli log P (a loga(b) ) = log P (b) log a (b) log P (a) = log P (b) log a (b) = log P (b)/log P (a) jednocześnie z definicji zachodzi b logb(a) = a, czyli log P (b logb(a) ) = log P (a) log b (a) log P (b) = log P (a) log b (a) = log P (a)/log P (b) czyli log a (b) log b (a) = log P (b)/log P (a) log P (a)/log P (b) = log P (a)/log P (a) log P (b)/log P (b) = = 1 1 = 1
Analiza matematyczna funkcja wykładnicza (rzeczywista) i logarytmiczna (rzeczywista) najpopularniejsze funkcje wykładnicze i logarytmiczne e x exp(x) log e (x) ln(x)» tymczasem: log(x) log 2 (x)
Analiza matematyczna funkcja wykładnicza (rzeczywista) i logarytmiczna (rzeczywista) liczba e e = lim n (1+1/n) n = 2,71... e 1 = e ln(e)= 1
Analiza matematyczna funkcja wykładnicza (rzeczywista) i logarytmiczna (rzeczywista) pochodna funkcji wykładniczej (a x ) = log(a) e x (e x ) = e x» ponieważ: (e x ) = log(e) e x = 1 e x = e x pochodna pochodna funkcji logarytmicznej (log P (x)) = 1/(log(P) x) = log P (e)/x (ln(x)) = 1/x» ponieważ: (ln(x)) = 1/(log e (e) x) = 1/(1 x) = 1/x
Analiza matematyczna / algebra wyższa funkcja wykładnicza (rzeczywista) i logarytmiczna (rzeczywista) jak obliczać a x? np. wykorzystując funkcję exp(x) a x = e ln(a) x exp(ln(a) x) jak obliczać log(x)? np. wykorzystując funkcję ln(x) log a (x) = ln e (x)/ln e (a) (w obu powyższych przypadkach) a jak obliczać exp(x) i ln(x)?
Analiza matematyczna / algebra wyższa funkcja wykładnicza (rzeczywista) i logarytmiczna (rzeczywista) jak obliczać... np. z rozwinięcia Taylora: Pojęcia wstępne... 1 1 5 2 1 1 3 2 1 1 1 2 ) ln( 5 3 1 x x x x x x x... 2! 1 1! 1 0! 1 ) exp( 2 1 0 x x x x
Analiza matematyczna funkcja ln(x)
Analiza matematyczna funkcja ln(x) a funkcja 1/x pole pod krzywą
Analiza matematyczna funkcja logarytmiczna (zespolona) w ogólności: odwzorowanie wielowartościowe (jak arcsin(x), arccos(x),...) stanowi funkcję przy dodatkowych założeniach log P (z) = log P ( z ) + i arg(z)» gdzie arg(z) = 0 + 2k dla każdego całkowitego k przy 0 [0, 2) czyli, np.: (dla k = 0) z = 1 + 0i ( z = 1, arg(z) = 0): log 2 (z) = log 2 (1) + 0i = 0 + 0i = 0 z = 1 + 0i ( z = 1, arg(z) = ): log 2 (z) = log 2 (1) + i = 0 + i = i z = 0 + 1i ( z = 1, arg(z) = 1/2): log 2 (z) = log 2 (1) + 1/2i = 0 + 1/2 = 1/2 z = 0 1i ( z = 1, arg(z) = 3/2): log 2 (z) = log 2 (1) + 3/2 = 0 + 3/2 = 3/2
https://www.geogebra.org/m/rvq4rcyy
Skale logarytmiczne co opisują? przebiegi o szerokiej skali zmienności (np. wykładnicze) czy (i gdzie) występują? w przyrodzie np. przy opisie funkcjonowania zmysłów
Skale logarytmiczne idea (i nazwy) jednostek związanych ze skalami logarytmicznymi ln(x): neper log 10 (x): bel 10log 10 (x): decybel przykłady skala ph entropia termodynamiczna jasność gwiazdowa przesłona w fotografii
Skale logarytmiczne przykłady, c.d. skala Richtera I was lucky because logarithmic plots are a device of the devil Charles Francis Richter P[jsR] = log 10 (A/A 0 ) np.. 4, 6, 8,... siła sygnału Wi-Fi P[dBm] = 10 log 10 (P[mW]/1mW)... np. 10, 20, 50, 90,... https://www.brainyquote.com/quotes/charles_francis_richter_276658
50,8944264922 295,2732174260 1219,6440273420 0,0000049136 0,8334066578 1,0792168463 0,0000042009 0,0000598881 5015,8814043346 0,0268475121 56
57
50,8944264922 1,707 295,2732174260 2,470 1219,6440273420 3,086 0,0000049136-5,309 0,8334066578-0,079 1,0792168463 0,033 0,0000042009-5,377 0,0000598881-4,223 5015,8814043346 3,700 0,0268475121-1,571 58
4 3 2 1 0-1 -2-3 -4-5 -6 1 2 3 4 5 6 7 8 9 10 59
2 0,301029996 4 0,602059991 8 0,903089987 16 1,204119983 32 1,505149978 64 1,806179974 128 2,10720997 256 2,408239965 512 2,709269961 1024 3,010299957 1200 3.5 1000 3 800 2.5 2 600 1.5 400 1 200 0.5 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 60
... 61