ZESPÓŁ LABORATORIÓW TELEMATYKI TRANSPORTU ZAKŁAD TELEKOMUNIKACJI W TRANSPORCIE WYDZIAŁ TRANSPORTU POLITECHNIKI WARSZAWSKIEJ

Transkrypt

1 ZESPÓŁ LABORATORIÓW TELEMATYKI TRANSPORTU ZAKŁAD TELEKOMUNIKACJI W TRANSPORCIE WYDZIAŁ TRANSPORTU POLITECHNIKI WARSZAWSKIEJ LABORATORIUM Telekmunikacji w transprcie wewnętrznym / drgwym INSTRUKCJA DO ĆWICZENIA NR 4 Kmpresja danych TwT WT PW, DO UŻYTKU WEWNĘTRZNEGO Warszawa 2013

2 1. Cel i zakres ćwiczenia Celem ćwiczenia jest prezentacja prcesu kmpresji danych, na przykładzie bróbki plików różnej zawartści różnej naturze danych. Zakres ćwiczenia bejmuje bserwację, cenę raz rejestrację pdstawwych dla prcesu kmpresji danych parametrów, a w szczególnści: - współczynnik kmpresji, - rzkład statystyczny danych w zbirze, - entrpia zbiru, - teretyczna minimalna wielkść pliku p kmpresji, - teretyczny maksymalny współczynnik kmpresji, - sprawnść kmpresji ppularnych prgramów archiwizujących. 2. Wykaz wykrzystanych przyrządów i prgramwania - kmputer PC z systemem Windws 98/NT/2000/XP, - prgramy kmpresujące: A WinZIP, B WinRAR, C WinACE. - prgram Kmpresja danych d analizy statystycznej plików (rys. 3.1), - prgram graficzny IrfanView d kmpresji JPG, - zestaw plików pddawanych kmpresji (patrz p. 5). 3. Prgram Kmpresja danych Prgram przeznaczny jest d wyznaczania pdstawwych własnści prbabilistycznych dwlnych zbirów danych. D jeg pdstawwych funkcji należy: - dczyt dwlneg zbiru danych, - kreślenie wielkści zbiru danych (w bajtach), - kreślenie częstści występwania wszystkich znaków we wskazanym zbirze danych i przedstawienie ich w pstaci graficznej (histgramu), - eksprt (zapis) wykresu w pstaci pliku BMP, 1

3 - bliczenie entrpii wejścia zbiru danych, - wyznaczenie teretycznej minimalnej wielkści zbiru wyjściweg (p kmpresji), - wyznaczenie teretyczneg maksymalneg współczynnika kmpresji dla daneg zbiru danych. Rys. 3.1 Prgram Kmpresja danych d analizy statystycznej plików Obsługa prgramu jest bardz prsta, a jeg instalacja przebiega w typwy dla systemu Windws spsób (setup.exe, katalg prgramu, itd.). P naciśnięciu klawisza Otwórz pjawia się typwe dla Windws kn dialgu. Wskazujemy dwlny plik danych, któreg statystykę zamierzamy kreślić. Prgram przystępuje d analizy pliku, a przebieg prcesu sygnalizwany jest zmianami zapełnienia paska pstępu, u dłu kna prgramu. P zakńczeniu analizy prgram, p lewej strnie kna, wyświetla wykres częstści występwania pszczególnych znaków w pliku danych. Pniżej prezentwane są wszystkie dczytane i bliczne dane: ścieżka pliku danych, jeg rzmiar, entrpia wejścia, teretyczna minimalna wielkść zbiru wyjściweg i teretyczny maksymalny współczynnik kmpresji dla teg zbiru. Obliczana wielkść prawdpdbieństwa (ple Prawd.) służy jedynie celm kntrlnym pwinna zawsze wynsić 1,00, w przypadku różnicy większej niż 0,01 należy pwiadmić prwadząceg. 2

4 P kliknięciu na jedn z pól klru w ramce Klr wykresu następuje przeniesienie wykresu z lewej strny kna na prawą, z jednczesną zmianą jeg klru na wskazany. Wygdnie, dla celów późniejszej analizy, jest przypisać kreślny klr dla kreślneg typu danych wejściwych, np. czarny dla zbiru nie skmpreswaneg, czerwny dla ZIP, itd. P naciśnięciu klawisza Zapisz pjawia się typwe dla Windws kn dialgu. Określamy płżenie (ścieżkę) i nazwę pliku BMP, w którym zstanie zapisany wykres. UWAGA!!! Zapisywany jest wykres z prawej strny kna prgramu, a więc p przypisaniu mu klru wykresu. Wykres ten jest wyświetlany nadal p twarciu klejneg zbiru danych, aż d klejneg wybru klru wykresu. Takie rzwiązanie pzwala już na bieżąc kntrlwać przebieg ćwiczenia i prównywać wykresy klejnych plików danych. Wykresy zapisywane są w rzdzielczści dstswanej d prgramu przeznaczneg dla wyknania sprawzdania. Klawisz Eksplratr służy d wywłania Eksplratra Windws z pzimu, któreg łatw dknuje się peracji kmpresji zbirów. 4. Wprwadzenie teretyczne Kmpresja jest tanim (mże nawet najtańszym) spsbem/prcesem zmniejszenia bjętści danych wejściwych (źródłwych), w taki spsób, aby zajmwały ne jak najmniej miejsca. Dekmpresją nazywamy prces dwrtny d kmpresji, plegający na dtwrzeniu z danych wyjściwych (skmpreswanych) danych wejściwych. W zależnści d rdzaju kmpresji dane dtwrzne (zdekmpreswane) dpwiadają danym wejściwym w 100% (kmpresja bezstratna) lub jedynie z pewnym przybliżeniem (kmpresja stratna). Kmpresja bezstratna stswana jest wszędzie tam, gdzie zmiana nawet jedneg bitu danych mże wywłać negatywne skutki - np. w plikach wyknywalnych EXE, dkumentach DOC, arkuszach XLS. Kmpresja stratna stswana jest tam, gdzie dpuszczalne jest pwstanie różnicy między danymi wejściwymi a dtwrznymi, głównie w kmpresji brazów i dźwięków - np. JPEG, MPEG, MP3. Pśrednim skutkiem kmpresji mże być wzrst szybkści transmisji danych mniejsza ilść danych zstanie przecież przesłana w krótszym czasie niż większa przy wykrzystaniu teg sameg pasma transmisyjneg. Tym samym kmpresja danych stała się jednym z fundamentalnych zagadnień transmisji danych, w niektórych przypadkach umżliwiając wręcz jej realizację np. w transmisji brazu. Realizacja kmpresji mżliwa jest dzięki tzw. redundancji (nadmiarwści) infrmacji zawartej w danych źródłwych raz dzięki różnym zależnścim w strukturze danych. Każdą kmpresję charakteryzuje tzw. współczynnik kmpresji k, wyrażny wzrem (4.1): 3

5 k Lwe Lwy *100% (4.1) L we gdzie: L we L wy rzmiar danych wejściwych, rzmiar danych wyjściwych. Wielkść współczynnika kmpresji mże zmieniać się d 0 d 100% i zależy d przyjęteg algrytmu (metdy) kmpresji raz d zawartści zbiru. O ile pierwsza przyczyna nie wymaga kmentarza, t druga mże nie być już tak czywista. Metdy kmpresji danych gólnie dzielimy na bliczeniwe i statystyczne. Obliczeniwe dknują kmpresji pprzez mniej lub bardziej złżne bliczenia matematyczne, których bazą jest zbiór danych wejściwych. Nie pszukują jednak pwiązań między samymi danymi. Statystyczne zaś dstswują algrytm kmpresji d zawartści zbiru danych wejściwych, częstści występwania pszczególnych elementów, znaków, symbli, fraz, itp. W gólnym ujęciu metdy statystyczne dają zawsze lepsze rezultaty (większe współczynniki kmpresji) niż bliczeniwe. Wymagają jednak kreślenia częstści występwania pszczególnych elementów zbiru wejściweg, a więc wymagają znajmści całeg zbiru danych wejściwych przed rzpczęciem prcesu kmpresji. Fakt ten dyskwalifikuje je z zastswań w transmisji danych, gdzie na gół występuje strumień a nie zbiór danych. Prblem ten rzwiązan pprzez płączenie metd bliczeniwych i statystycznych w metdy, które przewidują charakter strumienia danych na pdstawie analizy jeg wcześniej debranej części. Dzięki współczynnikwi kmpresji mżemy w prsty spsób kreślić pdatnść zbiru wejściweg na kmpresję większy współczynnik kmpresji, t większa pdatnść i dwrtnie. Jest t jednak mżliwe już p prcesie kmpresji. Pnieważ wielkść współczynnika kmpresji mże zależeć d przyjętej metdy kmpresji, t nie mżna wykluczyć, że przy zastswaniu inneg algrytmu jeg wartść uległaby zwiększeniu, a rzmiar danych wyjściwych dalszemu zmniejszeniu. Przydatna byłaby, więc mżliwść ceny pdatnści zbiru danych wejściwych na kmpresję jeszcze przed rzpczęciem zasadniczeg prcesu kmpresji. Jest t mżliwe dzięki tzw. entrpii wejścia (współczynnikwi chasu zbiru), kreślającej właśnie pdatnść na kmpresję i bliczanej ze wzru (4.2): E we n i 1 P ( zi )*lg 2 ( P( zi)) (4.2) 4

6 gdzie: P(z i ) prawdpdbieństw występwania znaku z i, lg 2 lgarytm pdstawie 2, pdstawa 2 wynika z binarneg, 0 lub 1, systemu kdwania, n ilść różnych znaków, np. 256 dla kdu 8-bitweg. Ddatkw z własnści prawdpdbieństwa wynika, że musi być spełniny warunek (4.3) dla któreg suma prawdpdbieństw występwania wszystkich znaków P(z i ) musi być równa jednści: n i 1 P( z i ) 1 (4.3) Łatw zauważyć, że bliczna wartść entrpii ma bardz duże znaczenie praktyczne: Entrpia duża (duża przypadkwść danych, chas, lswść): maksimum infrmacji, minimum pdatnści na kmpresję. Entrpia mała (uprządkwanie danych, wyraźna przewaga części danych): mniej infrmacji, większa pdatnść na kmpresję. Entrpia zdążająca d minimum (przewaga jednych danych, brak innych): minimum infrmacji, maksymalna pdatnść na kmpresję. Obliczna entrpia wejścia pzwala nie tylk na cenę pdatnści zbiru wejściweg na kmpresję. Dzięki niej mżna też w prsty spsób bliczyć (4.4) teretyczny minimalny rzmiar danych wyjściwych (p kmpresji) za pmcą metdy prbabilistycznej partej na rzkładzie statystycznym źródła: 5

7 gdzie: L L * we we min (4.4) E l E we L we rzmiar danych wejściwych, entrpia wejścia, l pdstawa kdwania (pjedynczych) danych (np. 8 bitów dla kdu ASCII). kmpresji: Stąd, równie łatw, mżna wyliczyć (4.5) teretyczny maksymalny współczynnik k max Lwe Lmin *100% (4.5) L we Kmpresja jest tym bardziej wydajna (mniejszy zbiór danych wyjściwych), im bardziej rzmiar danej reprezentującej knkretny znak jest zbliżny d entrpii wejścia. W rku 1948 Claude E. Shannn udwdnił, że nie mżna wygenerwać krótszeg kdu (używając metd prbabilistycznych), niż wyznacza sama entrpia. Inaczej mówiąc, nie mżna pracwać metdy kmpresji, która byłaby jeszcze bardziej wydajna i dawałaby mniejszy zbiór danych wyjściwych d ich wyznaczneg teretyczneg minimalneg rzmiaru L min. W praktyce przeważająca większść metd prbabilistycznych nie jest w stanie nawet drównać wartści L min. Należy jednak pamiętać, że większść pwszechnie wykrzystywanych współczesnych metd kmpresji jedynie w części swjeg działania wykrzystuje statystykę zbiru, która stanwi bazę d dalszych działań. 5. Uwagi praktyczne Większść bserwacji i peracji dknywana jest przy wykrzystaniu jedynie Eksplratra Windws, prgramu labratryjneg Kmpresja danych, prgramu graficzneg IrfanView raz prgramów kmpresujących (patrz p. 2). Oprócz nich w ćwiczeniu występuje zestaw plików, które pddawane są kmpresji: 6

8 Plik Nazwa Opis A szum.bmp Plik graficzny, zawierający lswy, klrwy szum, jaki pwstaje w brazie TV przy braku sygnału. B pasy.bmp Plik graficzny, przedstawiający cyklicznie pwtarzające się pasy. C widk.bmp Plik graficzny, przedstawiający górski widczek. D tekst.dc Plik tekstwy, bez ramek i brazków, ale w frmacie WORD a. E tekst.txt Ten sam tekst, c plik tekst.dc, ale w czyst tekstwym frmacie. F 123.txt Plik w frmacie tekstwym, zawierający cyklicznie pwtarzająca się sekwencję cyfr G wyknaj.exe Plik wyknywalny prgramu. H faktura.xls Dkument EXCEL a, zawierający arkusz kalkulacyjny faktury VAT. I bibli.mdb Dkument ACCESS a, zawierający przykładwą bazę danych bibliteki. UWAGA!!! Istnieje kilka zestawów identycznych nazwach ww. plików, więc lepiej wyknywać ćwiczenie samdzielnie i nie pierać się na wcześniejszych pracwaniach (patrz regulamin)! Pdczas kmpresji plików graficznych BMP d frmatu JPG należy zawsze i za każdym razem twrzyć źródłwy plik BMP i dpier g skmpreswać. Dla zwiększenia przejrzystści instrukcji przyjęt wykrzystanie prstych skrótów graficznych: - zapisz przebieg na dysku, - pytanie, na które dpwiedź musi znaleźć się w sprawzdaniu, Pd żadnym pzrem nie należy upraszczać ćwiczenia i próbwać wyknywać peracji jedncześnie z kilku punktów instrukcji. Jest t najszybsza drga d pmyłki w identyfikacji przebiegów i wyników, c skutkuje drzuceniem sprawzdania. 7

9 6. Przebieg ćwiczenia 6.1 Zapznaj się z bsługą prgramów wykrzystywanych pdczas ćwiczenia. Prgramy kmpresujące najlepiej jest wywływać z pzimu Eksplratra Windws. 6.2 W prgramie IrfanView pddaj kmpresji JPG wszystkie pliki graficzne BMP dla współczynnika jakści 80, 50 i 30. Jak nazwę twrzneg pliku przyjmij nazwę ryginalną pwiększną wartść współczynnika jakści, np. szum80.jpg. Pamiętaj, żeby p każdym zapisaniu pliku JPG, przed zapisem z nwą wartścią współczynnika jakści, twrzyć na nw ryginalny plik BMP. 6.3 Każdy z wymieninych w p. 5 plików raz utwrzne pliki JPG pddaj klejn kmpresji każdym z prgramów wymieninych w p Otwórz plik kmpresja.xls, zawierający arkusz Excel a dla zestawienia wyników ćwiczenia. Zapisz ten plik pd nazwą zawierającą datę wyknania ćwiczenia, typ studiów (DZ, ZA, SMU), grupę i semestr. 6.5 Uruchm prgram Kmpresja danych. Otwórz klejn każdy z plików źródłwych i dpwiadające im pliki skmpreswane. W arkuszu XLS zapisz wszystkie dane dtyczące plików. Zapisz na dysku histgramy plików. 6.6 Dknaj analizy trzymanych wyników. Jak wpływa współczynnik jakści na wielkść pliku JPG? Jak wpływa treść pliku graficzneg i tekstweg na pdatnść na kmpresję? Jaka jest zależnść między entrpią wejścia pliku a współczynnikiem kmpresji? Kiedy plik jest najbardziej pdatny na kmpresję? Który z prgramów kmpresujących wykazuje największą sprawnść kmpresji ich pliki wynikwe są najmniejsze? 7. Wyknanie sprawzdania Nie należy umieszczać w sprawzdaniu pdstaw teretycznych, pisów stanwiska labratryjneg, ani wykrzystaneg prgramwania. Sprawzdanie musi zawierać wszystkie wyniki pmiarów i bliczeń raz wszystkie zarejestrwane histgramy, prezentwane w lgicznym ciągu (np. plik nie skmpreswany i skmpreswany klejnymi prgramami). Każdy wynik i wykres musi być patrzny numerem punktu instrukcji wg, któreg zstał zarejestrwany. Każdy histgram musi być patrzny pisem, wyjaśniającym, c przedstawia i jakieg pliku dtyczy. W sprawzdaniu muszą się znaleźć dpwiedzi na wszystkie pstawine w instrukcji pytania, pnumerwane wg punktów, w których zstały pstawine. Zarówn pisy, jak i dpwiedzi, mają być zwięzłe, ale przedstawine pełnymi zdaniami. 8

10 Wniski pwinny zawierać pdsumwanie przeprwadznych pmiarów i bliczeń. Szczególny nacisk należy płżyć na zaprezentwanie różnic i pdbieństw pmiędzy histgramami plików nie skmpreswanych, a skmpreswanych z jednczesnym dniesieniem d ich zawartści. Sednem ćwiczenia jest znalezienie związku między pdatnścią pliku danych wejściwych na kmpresję a jeg zawartścią, a więc i statystyką. 8. Literatura Heim K., Metdy kmpresji danych, MIKOM 2000 Sayd K., Kmpresja danych - wprwadzenie, RM 2002 Skarbek Wł. (pd redkakcją), Multimedia. Algrytmy i standardy kmpresji, PLJ 1998 Plucińska A., Pluciński E., Rachunek Prawdpdbieństwa, Statystyka matematyczna, Prcesy stchastyczne, WNT