Kompresja Kodowanie arytmetyczne. Dariusz Sobczuk
|
|
- Milena Janicka
- 7 lat temu
- Przeglądów:
Transkrypt
1 Kompresja Kodowanie arytmetyczne Dariusz Sobczuk
2 Kodowanie arytmetyczne (lata 1960-te) Pierwsze prace w tym kierunku sięgają początków lat 60-tych XX wieku Pierwszy algorytm Eliasa nie został opublikowany (opisywany jest tylko w później wydanych książkach) Niezależne odkrycie kodowania arytmetycznego latach przez różnych autorów Aktualnie patent posiada IBM kompresja danych 2
3 Kodowanie arytmetyczne - Pomysł W metodach entropijnych chodzi o zaokrąglanie rozkładu prawdopodobieństw symboli Ps, powodowane koniecznością zapisania poszczególnych słów kodowych na całkowitej liczbie bitów Najbardziej dokładne przybliżenie rozkładu Ps można uzyskać poprzez przypisanie jednego słowa kodowego całej sekwencji danych źródłowych Dokładność wyznaczania wartości prawdopodobieństwa wystąpienia całego ciągu jest ograniczona sposobem ustalenia jego wartości dla poszczególnych symboli kompresja danych 3
4 Kodowanie arytmetyczne Pomysł cd Chcemy wyznaczyć P(s we ) i zapisać je za pomocą bitowego ciągu kodowego Jednak dotychczasowy zapis As={a 1,...,a n } i Ps={p 1,...,p n } tak, że Ps: a i P(a i ) nie jest przydatny, gdyż prawdopodobieństwa wystąpienia dwóch symboli mogą być jednakowe Zamiast prawdopodobieństw można użyć dystrybuantę dyskretnego układu zmiennej losowej FP S i = p j= 1 j : i = 1,..., n = {p1, p1 + p2,..., p pn} kompresja danych 4
5 Kodowanie arytmetyczne Pomysł cd Opis za pomocą dystrybuanty pozwala na jednoznaczne odwzorowanie symboli alfabetu As w rozłączne podprzedziały w postaci π s : a i As [F(a i-1 ), F(a i )) [0,1) Zakładając F(a 0 ) = 0 i F(a n ) =1 można dla dowolnego przedziału zapisać π [d,g) : a i As [d+f(a i-1 ) (g-d), d+f(a i ) (g-d)) [d,g) Opierając się na powyższych założeniach można podziały robić rekurencyjnie kompresja danych 5
6 Kodowanie arytmetyczne - Kodowanie Pierwszy symbol pojawiający się w kodowanym ciągu s 1 = a k, a k As powoduje zawężenie przedziału kodu do π (1) = π s (a k ) = [F(a k-1 ), F(a k ) [0,1). Drugi symbol ciągu wejściowego powoduje zawężenie przedziału π (1) w proporcjach, które wynikają z linii prawdopodobieństwa do π (2) itd. Mamy więc zasadę zwężania kodu π (i) π (i-1) kompresja danych 6
7 Kodowanie arytmetyczne Kodowanie cd Kod arytmetyczny K=A 0 : As [0,1]) z jedną linią prawdopodobieństwa Πs = {[F(a i-1 ), F(a i )), i=1,...n} na podstawie kodu wejściowego s i =a k modyfikuje aktualny przedział w następujący sposób: A 0 (π s (a k ), π (i-1) ) = π (i) gdzie π (i) =[D (i),g (i) ) oraz: D (i) = D (i-1) + R (i-1) F(a k-1 ), G (i) = D (i-1) + R (i-1) F(a k ), dla i=1,2,... Długość przedziału kodowego: R (i-1) = π (i-1) = G (i-1) -D (i-1) kompresja danych 7
8 Kodowanie arytmetyczne - Dekodowanie Ponieważ π (t) π (1), to pozwala określić do jakiego przedziału Πs trafia L t, co pozwala zdekodować pierwszy symbol s 1 = a k L t [F(a k-1 ), F(a k )) Dalej przeskalowujemy liczby zgodnie ze wzorem: L i-1 = (L i - F(a k-1 ))/(F(a k ) - F(a k-1 )) i rzutując na linie prawdpodobieństw otrzymujemy symbol s i = a k L t [F(a k-1 ), F(a k )) Dodatkowo jest potrzebna liczba ciągu wejściowego, bo inaczej kodowanie się zapętli. Po osiągnięciu tej liczby dekodowanie kończy się kompresja danych 8
9 Kodowanie arytmetyczne - Przykład Kodujemy słowo ARYTMETYKA a 1 = A ; P(a 1 )=0.2; π s (a 1 )=[0, 0.2) a 2 = E ; P(a 2 )=0.1; π s (a 2 )=[0.2, 0.3) a 3 = K ; P(a 3 )=0.1; π s (a 3 )=[0.3, 0.4) a 4 = M ; P(a 4 )=0.1; π s (a 4 )=[0.4, 0.5) a 5 = R ; P(a 5 )=0.1; π s (a 5 )=[0.5, 0.6) a 6 = T ; P(a 6 )=0.2; π s (a 6 )=[0.6, 0.8) a 7 = Y ; P(a 7 )=0.2; π s (a 7 )=[0.8, 1.0) kompresja danych 9
10 Kod. arytmetyczne Przykład cd i s i = a k D (i) G (i) R (i) 0 INI A R Y T M E T Y K A kompresja danych 10
11 Kod. Arytmetyczne - Przykład cd. i Liczba kodowa L i s i = a k F(a k-1 ) F(a k ) ΔF(a k ) A R Y T M E T Y K A A kompresja danych 11
12 Kod. Arytmetyczne - Przykład cd. i Liczba kodowa L i s i = a k F(a k-1 ) F(a k ) ΔF(a k ) A R Y T M E T Y K A T kompresja danych 12
13 Częstość występowania symboli w badanej sekwencji tekstowej Jakżeż ja się uspokoję Pełne strachu oczy moje, Pełne grozy myśli moje, Pełne trwogi serce moje, Pełne drżenia piersi moje Jakżeż ja się uspokoję... Symbol L. wyst. Symbol L. wyst. a 6 p 7 c 3 r 6 d 1 s 7 e 18 ś 1 ę 4 t 2 g 2 u 3 h 1 w 1 i 7 y 3 j 10 z 2 k 4 ż 5 l 1, 3 ł 4. 3 m 5 2 n 5 <spacja> 20 o 11 <nw> 6 kompresja danych 13
14 Kodowanie arytmetyczne przykładowa sekwencja 0 0,0392 0,2288 0,2745 0,3399 0,3660 0,9608 1,0000 a i j k <nw> 0,2745 0,2784 0,2788 0,3373 0,3399 a c <nw> 0,274510, , , , , ,27707 a j k <nw> kompresja danych 14
15 Kodowanie arytmetyczne cechy W teorii wymagane są operacje na liczbach o bardzo dużej precyzji (rzędu milionów cyfr) Dzięki takiemu podejściu możliwe jest uzyskanie kodu o średniej długości odpowiadającej entropii (kod całej wiadomości będzie dłuższy o nie więcej niż 2 bity od kodu wynikającego z entropii) Operacje na liczbach o takiej precyzji są bardzo czasochłonne kompresja danych 15
16 Kodowanie arytmetyczne podejście praktyczne Przedziały stają się bardzo małe, a co za tym idzie pierwsze cyfry obu końców są identyczne Wykorzystując to implementuje się kodowanie arytmetyczne na liczbach o niewielkiej liczbie cyfr znaczących (typowo na liczbach 32-bitowych) Znacząco większa prędkość działania takiej implementacji Nieznaczne pogorszenie współczynnika kompresji kompresja danych 16
17 Koder binarny Koder binarny jest szczególnym przypadkiem realizacji kodu arytmetycznego dla dwuelementowego alfabetu As={0,1} Binarne kodowanie adaptacyjne jest najbardziej efektywną, entropijną metodą kodowania przy kompresji obrazów (JBIG, JBIG2, MPEG-4, JPEG, JPEG200) Większość realizacji kodowania arytmetycznego dotyczy alfabetu binarnego kompresja danych 17
18 Algorytm kodowania binarnego Przy alfabecie As={a 1,a 2 } podział linii prawdopodobieństw Πs zależy od jednej wartości F(a 1 )=P(a 1 )=p 1. Mamy wówczas dwa podprzedziały [0, p 1 ) oraz [p 1,1). Aktualna postać przedziału kodowego π (i) =[D (i),g (i) ) o długości R (i) = π (i) = G (i) -D (i) zależy od wartości liczby R 1 (i-1) = R (i-1) p 1. kompresja danych 18
19 Algorytm kodowania binarnego cd Algorytm kodowania: Jeśli kodujemy s i = a 1 to π (i) =[D (i-1), D (i-1) + R 1 (i-1) ) Jeśli kodujemy s i = a 2 to π (i) =[D (i-1) ) +R 1 (i-1), G (i-1) ) W pierwszym przypadku modyfikowana jest tylko górna granica. W drugim przypadku modyfikowana jest tylko dolna granica. kompresja danych 19
20 Algorytm kodowania binarnego cd Algorytm dekodowania: Jeśli L - D (i-1) < R 1 (i-1), to dekodujemy s i = a 1 oraz π (i) =[D (i-1), D (i-1) + R 1 (i-1) ) Jeśli L - D (i-1) R 1 (i-1), to dekodujemy s i = a 2 oraz π (i) =[D (i-1) ) +R 1 (i-1), G (i-1) ) Wartość przedziału kodowego w praktyce można ustalić za pomocą zmiennych DÓŁ i GÓRA kompresja danych 20
21 Kodowanie Huffmana a kodowanie arytmetyczne Kodowanie Huffmana: kod optymalny w klasie kodów o długościach będącymi liczbami całkowitymi stosunkowo łatwy do obliczania współczynnik kompresji zwykle niewiele gorszy od teoretycznego optimum brak ograniczeń patentowych Kodowanie arytmetyczne: kod optymalny stosunkowo trudny do obliczania niewysoka wydajność wynikająca z konieczności wykonywania operacji arytmetycznych bardzo dobry współczynnik kompresji (zbieżny do entropii) ograniczenia patentowe kompresja danych 21
22 Paradygmat modelowanie kodowanie Modelowanie uaktualnienie modelu Modelowanie uaktualnienie modelu sekwencja wejściowa Kodowanie dane skompresowane Dekodowanie sekwencja wyjściowa kompresja danych 22
23 Kodowanie adaptacyjne Kod budowany na podstawie częstości wystąpień symboli w dotychczas zakodowanym fragmencie Zalety: brak konieczności przekazywania do dekodera informacji o prawd. występowania symboli dobry współczynnik kompresji Wady: niska prędkość działania (konieczność modyfikacji kodu po zakodowaniu każdego symbolu) kompresja danych 23
24 Adaptacyjne kodowanie Huffmana Model początkowy zakłada, że prawdopodobieństwo wystąpienia każdego symbolu alfabetu jest jednakowe Kod Huffmana konstruowany jest dla takiego modelu Po zakodowaniu każdego symbolu kod Huffmana jest przebudowywany, aby symbole, które w przeszłości występowały częściej otrzymały krótsze kody kompresja danych 24
25 Adaptacyjne kodowanie Huffmana cechy Zalety: brak konieczności przesyłania do dekodera informacji o modelu dobry współczynnik kompresji Wady: wolne uaktualnianie drzewa Huffmana po zakodowaniu każdego symbolu kompresja danych 25
26 Adaptacyjne kodowanie arytmetyczne Model początkowy zakłada jednakowe prawdopodobieństwo występowania każdego symbolu alfabetu Przedział [0, 1) dzielony jest na podprzedziały równej długości Po zakodowaniu każdego symbolu modyfikowane jest prawdopodobieństwo jego występowania, aby zwiększyć względną długość podprzedziału mu odpowiadającego kompresja danych 26
27 Adaptacyjne kodowanie arytmetyczne cechy Zalety: brak konieczności przesyłania do dekodera informacji o modelu dobry współczynnik kompresji Wady: konieczność przechowywania statystyk występowania symboli w specjalnych strukturach danych umożliwiających szybki dostęp i aktualizację wolniejsze niż kodowanie statyczne kompresja danych 27
28 Czym jest tak naprawdę kodowanie? Algorytmy kodowania służą do przydzielenia symbolom kodów w taki sposób aby średnia długość kodu w kodowanej sekwencji była jak najmniejsza Algorytmy te bazują na rozkładzie prawdopodobieństwa występowania symboli, który jest dostarczany przez algorytm modelowania kompresja danych 28
29 Plan kolejnego wykładu Algorytmy kompresji bezstratnej ogólnego przeznaczenia: metody Ziva Lempela (LZ) metody predykcji przez częściowe dopasowanie (PPM) metody oparta na transformacie Burrowsa Wheelera (BWT) Porównanie wydajności algorytmów kompresja danych 29
Kompresja danych kodowanie Huffmana. Dariusz Sobczuk
Kompresja danych kodowanie Huffmana Dariusz Sobczuk Plan wykładu Kodowanie metodą Shannona-Fano Kodowanie metodą Huffmana Elementarny kod Golomba Kod Golomba Kod Rice a kompresja danych 2 Efektywny kod
Bardziej szczegółowoKodowanie i kompresja Streszczenie Studia dzienne Wykład 9,
1 Kody Tunstalla Kodowanie i kompresja Streszczenie Studia dzienne Wykład 9, 14.04.2005 Inne podejście: słowa kodowe mają ustaloną długość, lecz mogą kodować ciągi liter z alfabetu wejściowego o różnej
Bardziej szczegółowoEntropia Kodowanie. Podstawy kompresji. Algorytmy kompresji danych. Sebastian Deorowicz
Algorytmy kompresji danych 2007 02 27 Plan wykładu 1 Modelowanie i kodowanie 2 Modelowanie i kodowanie Plan wykładu 1 Modelowanie i kodowanie 2 Modelowanie i kodowanie definicja stowarzyszona ze zbiorem
Bardziej szczegółowomgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 4, strona 1. GOLOMBA I RICE'A
mgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 4, strona 1. KOMPRESJA ALGORYTMEM ARYTMETYCZNYM, GOLOMBA I RICE'A Idea algorytmu arytmetycznego Przykład kodowania arytmetycznego Renormalizacja
Bardziej szczegółowoKodowanie informacji
Kodowanie informacji Tomasz Wykład 4: kodowanie arytmetyczne Motywacja Podstawy i własności Liczby rzeczywiste Motywacje 1 średnia długość kodu Huffmana może odbiegać o p max + 0.086 od entropii, gdzie
Bardziej szczegółowoKody Tunstalla. Kodowanie arytmetyczne
Kody Tunstalla. Kodowanie arytmetyczne Kodowanie i kompresja informacji - Wykład 3 8 marca 2010 Kody Tunstalla Wszystkie słowa kodowe maja ta sama długość ale jeden kod może kodować różna liczbę liter
Bardziej szczegółowoAlgorytmy kompresji. Kodowanie Huffmana, kodowanie arytmetyczne
Algorytmy kompresji Kodowanie Huffmana, kodowanie arytmetyczne Kodowanie arytmetyczne Peter Elias 1923-2001 Kodowanie arytmetyczne to metoda kodowania źródłowego dyskretnych źródeł sygnałów, stosowana
Bardziej szczegółowoKodowanie Huffmana. Platforma programistyczna.net; materiały do laboratorium 2014/15 Marcin Wilczewski
Kodowanie Huffmana Platforma programistyczna.net; materiały do laboratorium 24/5 Marcin Wilczewski Algorytm Huffmana (David Huffman, 952) Algorytm Huffmana jest popularnym algorytmem generującym optymalny
Bardziej szczegółowoTeoria informacji i kodowania Ćwiczenia
Teoria informacji i kodowania Ćwiczenia Piotr Chołda, Andrzej Kamisiński Katedra Telekomunikacji Akademii Górniczo-Hutniczej Kod źródłowy Kodem źródłowym nazywamy funkcję różnowartościową, która elementom
Bardziej szczegółowoNierówność Krafta-McMillana, Kodowanie Huffmana
Nierówność Krafta-McMillana, Kodowanie Huffmana Kodowanie i kompresja informacji - Wykład 2 1 marca 2010 Test na jednoznaczna dekodowalność Kod a jest prefiksem kodu b jeśli b jest postaci ax. x nazywamy
Bardziej szczegółowoPrzetwarzanie i transmisja danych multimedialnych. Wykład 5 Kodowanie słownikowe. Przemysław Sękalski.
Przetwarzanie i transmisja danych multimedialnych Wykład 5 Kodowanie słownikowe Przemysław Sękalski sekalski@dmcs.pl Politechnika Łódzka Katedra Mikroelektroniki i Technik Informatycznych DMCS Przemysław
Bardziej szczegółowoKompresja bezstratna. Entropia. Kod Huffmana
Kompresja bezstratna. Entropia. Kod Huffmana Kodowanie i bezpieczeństwo informacji - Wykład 10 29 kwietnia 2013 Teoria informacji Jeśli P(A) jest prawdopodobieństwem wystapienia informacji A to niech i(a)
Bardziej szczegółowoKodowanie Shannona-Fano
Kodowanie Shannona-Fano Kodowanie Shannona-Fano znane było jeszcze przed kodowaniem Huffmana i w praktyce można dzięki niemu osiągnąć podobne wyniki, pomimo, że kod generowany tą metodą nie jest optymalny.
Bardziej szczegółowoDefinicja. Jeśli. wtedy
Definicja Jeśli wtedy Cel kompresji: zredukowanie do minimum oczekiwanego (średniego) kosztu gdzie l i jest długością słowa kodu c i kodującego symbol a i Definicja Definicje Efektywność kodowania określamy
Bardziej szczegółowoTemat: Algorytm kompresji plików metodą Huffmana
Temat: Algorytm kompresji plików metodą Huffmana. Wymagania dotyczące kompresji danych Przez M oznaczmy zbiór wszystkich możliwych symboli występujących w pliku (alfabet pliku). Przykład M = 2, gdy plik
Bardziej szczegółowoKodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11,
1 Kwantyzacja skalarna Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11, 10.05.005 Kwantyzacja polega na reprezentowaniu dużego zbioru wartości (być może nieskończonego) za pomocą wartości
Bardziej szczegółowoteoria informacji Entropia, informacja, kodowanie Mariusz Różycki 24 sierpnia 2015
teoria informacji Entropia, informacja, kodowanie Mariusz Różycki 24 sierpnia 2015 1 zakres materiału zakres materiału 1. Czym jest teoria informacji? 2. Wprowadzenie matematyczne. 3. Entropia i informacja.
Bardziej szczegółowoGranica kompresji Kodowanie Shannona Kodowanie Huffmana Kodowanie ciągów Kodowanie arytmetyczne. Kody. Marek Śmieja. Teoria informacji 1 / 35
Kody Marek Śmieja Teoria informacji 1 / 35 Entropia Entropia określa minimalną statystyczną długość kodowania (przyjmijmy dla prostoty że alfabet kodowy A = {0, 1}). Definicja Niech X = {x 1,..., x n }
Bardziej szczegółowoPrzetwarzanie i transmisja danych multimedialnych. Wykład 3 Kodowanie Shannona Fano i Huffmana. Przemysław Sękalski.
Przetwarzanie i transmisja danych multimedialnych Wykład 3 Kodowanie Shannona Fano i Huffmana Przemysław Sękalski sekalski@dmcs.pl Politechnika Łódzka Katedra Mikroelektroniki i Technik Informatycznych
Bardziej szczegółowoZałożenia i obszar zastosowań. JPEG - algorytm kodowania obrazu. Geneza algorytmu KOMPRESJA OBRAZÓW STATYCZNYCH - ALGORYTM JPEG
Założenia i obszar zastosowań KOMPRESJA OBRAZÓW STATYCZNYCH - ALGORYTM JPEG Plan wykładu: Geneza algorytmu Założenia i obszar zastosowań JPEG kroki algorytmu kodowania obrazu Założenia: Obraz monochromatyczny
Bardziej szczegółowoKODY SYMBOLI. Kod Shannona-Fano. Algorytm S-F. Przykład S-F
KODY SYMBOLI Kod Shannona-Fano KODOWANIE DANYCH, A.Przelaskowski Metoda S-F Kod Huffmana Adaptacyjne drzewo Huffmana Problemy implementacji Kod Golomba Podsumowanie Kod drzewa binarnego Na wejściu rozkład:
Bardziej szczegółowoAlgorytmy kodowania entropijnego
Algorytmy kodowania entropijnego 1. Kodowanie Shannona-Fano 2. Kodowanie Huffmana 3. Jednoznaczność kodów Huffmana. Kod o minimalnej wariancji 4. Dynamiczne kodowanie Huffmana Poprzedni wykład - podsumowanie
Bardziej szczegółowoWedług raportu ISO z 1988 roku algorytm JPEG składa się z następujących kroków: 0.5, = V i, j. /Q i, j
Kompresja transformacyjna. Opis standardu JPEG. Algorytm JPEG powstał w wyniku prac prowadzonych przez grupę ekspertów (ang. Joint Photographic Expert Group). Prace te zakończyły się w 1991 roku, kiedy
Bardziej szczegółowoPrzetwarzanie i transmisja danych multimedialnych. Wykład 2 Podstawy kompresji. Przemysław Sękalski.
Przetwarzanie i transmisja danych multimedialnych Wykład Podstawy kompresji Przemysław Sękalski sekalski@dmcs.pl Politechnika Łódzka Katedra Mikroelektroniki i Technik Informatycznych DMCS Zawartość wykładu.
Bardziej szczegółowoDef. Kod jednoznacznie definiowalny Def. Kod przedrostkowy Def. Kod optymalny. Przykłady kodów. Kody optymalne
Załóżmy, że mamy źródło S, które generuje symbole ze zbioru S={x, x 2,..., x N } z prawdopodobieństwem P={p, p 2,..., p N }, symbolom tym odpowiadają kody P={c, c 2,..., c N }. fektywność danego sposobu
Bardziej szczegółowoKODY SYMBOLI. Materiały KODA, A.Przelaskowski. Koncepcja przedziałów nieskończonego alfabetu
KODY SYMBOLI Materiały KODA, A.Przelaskowski Koncepcja drzewa binarnego Metoda S-F Kod Huffmana Adaptacyjne drzewo Huffmana Problemy implementacji Koncepcja przedziałów nieskończonego alfabetu Proste kody
Bardziej szczegółowoKompresja danych DKDA (7)
Kompresja danych DKDA (7) Marcin Gogolewski marcing@wmi.amu.edu.pl Uniwersytet im. Adama Mickiewicza w Poznaniu Poznań, 22 listopada 2016 1 Kwantyzacja skalarna Wprowadzenie Analiza jakości Typy kwantyzatorów
Bardziej szczegółowoTeoria Informacji - wykład. Kodowanie wiadomości
Teoria Informacji - wykład Kodowanie wiadomości Definicja kodu Niech S={s 1, s 2,..., s q } oznacza dany zbiór elementów. Kodem nazywamy wówczas odwzorowanie zbioru wszystkich możliwych ciągów utworzonych
Bardziej szczegółowoKodowanie predykcyjne
Kodowanie i kompresja informacji - Wykład 5 22 marca 2010 Motywacje W tekstach naturalnych symbole bardzo często zależa od siebie. Motywacje W tekstach naturalnych symbole bardzo często zależa od siebie.
Bardziej szczegółowoKOMPRESJA OBRAZÓW STATYCZNYCH - ALGORYTM JPEG
KOMPRESJA OBRAZÓW STATYCZNYCH - ALGORYTM JPEG Joint Photographic Expert Group - 1986 ISO - International Standard Organisation CCITT - Comité Consultatif International de Téléphonie et Télégraphie Standard
Bardziej szczegółowoPodstawowe pojęcia. Teoria informacji
Kodowanie i kompresja informacji - Wykład 1 22 luty 2010 Literatura K. Sayood, Kompresja danych - wprowadzenie, READ ME 2002 (ISBN 83-7243-094-2) Literatura K. Sayood, Kompresja danych - wprowadzenie,
Bardziej szczegółowoKodowanie predykcyjne
Studia Wieczorowe Wrocław, 27.03.2007 Kodowanie informacji Wykład 5 Kodowanie predykcyjne Idea: przewidujemy następny element ciągu i kodujemy różnicę między wartością przewidywaną i rzeczywistą, w oparciu
Bardziej szczegółowoĆwiczenie nr 4: Kodowanie arytmetyczne, range coder
Algorytmy Kompresji Danych Laboratorium Ćwiczenie nr 4: Kodowanie arytmetyczne, range coder 1. Zapoznać się z opisem implementacji kodera entropijnego range coder i modelem danych opracowanym dla tego
Bardziej szczegółowoteoria informacji Kanały komunikacyjne, kody korygujące Mariusz Różycki 25 sierpnia 2015
teoria informacji Kanały komunikacyjne, kody korygujące Mariusz Różycki 25 sierpnia 2015 1 wczoraj Wprowadzenie matematyczne. Entropia i informacja. Kodowanie. Kod ASCII. Stopa kodu. Kody bezprefiksowe.
Bardziej szczegółowoKwantyzacja wektorowa. Kodowanie różnicowe.
Kwantyzacja wektorowa. Kodowanie różnicowe. Kodowanie i kompresja informacji - Wykład 7 12 kwietnia 2010 Kwantyzacja wektorowa wprowadzenie Zamiast kwantyzować pojedyncze elementy kwantyzujemy całe bloki
Bardziej szczegółowoWybrane metody kompresji obrazów
Wybrane metody kompresji obrazów Celem kodowania kompresyjnego obrazu jest redukcja ilości informacji w nim zawartej. Redukcja ta polega na usuwaniu informacji nadmiarowej w obrazie, tzw. redundancji.
Bardziej szczegółowoTeoria informacji i kodowania Ćwiczenia Sem. zimowy 2016/2017
Kody źródłowe jednoznacznie dekodowalne Zadanie Ile najwięcej słów kodowych może liczyć kod binarny jednoznacznie dekodowalny, którego najdłuższe słowo ma siedem liter? (Odp. 28) Zadanie 2 Zbiór sześciu
Bardziej szczegółowoKompresja obrazów w statycznych - algorytm JPEG
Kompresja obrazów w statycznych - algorytm JPEG Joint Photographic Expert Group - 986 ISO - International Standard Organisation CCITT - Comité Consultatif International de Téléphonie et Télégraphie Standard
Bardziej szczegółowoModulacja i kodowanie. Labolatorium. Kodowanie źródłowe Kod Huffman a
Modulacja i kodowanie Labolatorium Kodowanie źródłowe Kod Huffman a W tym ćwiczeniu zajmiemy się kodowaniem źródłowym (source coding). 1. Kodowanie źródłowe Głównym celem kodowanie źródłowego jest zmniejszenie
Bardziej szczegółowoPodstawy kompresji danych
Podstawy kompresji danych Pojęcie kompresji W ogólności kompresja (kodowanie) jest procedurą (przekształceniem) zmiany reprezentacji wejściowego zbioru danych do postaci wymagającej mniejszej liczby bitów
Bardziej szczegółowoKodowanie i entropia
Kodowanie i entropia Marek Śmieja Teoria informacji 1 / 34 Kod S - alfabet źródłowy mocy m (np. litery, cyfry, znaki interpunkcyjne), A = {a 1,..., a n } - alfabet kodowy (symbole), Chcemy przesłać tekst
Bardziej szczegółowoWstęp Statyczne kody Huffmana Dynamiczne kody Huffmana Praktyka. Kodowanie Huffmana. Dawid Duda. 4 marca 2004
4 marca 2004 Podstawowe oznaczenia i definicje Wymagania wobec kodu Podstawowa idea Podsumowanie Podstawowe oznaczenia i definicje Podstawowe oznaczenia i definicje: alfabet wejściowy: A = {a 1, a 2,...,
Bardziej szczegółowoSystemy liczbowe. 1. Przedstawić w postaci sumy wag poszczególnych cyfr liczbę rzeczywistą R = (10).
Wprowadzenie do inżynierii przetwarzania informacji. Ćwiczenie 1. Systemy liczbowe Cel dydaktyczny: Poznanie zasad reprezentacji liczb w systemach pozycyjnych o różnych podstawach. Kodowanie liczb dziesiętnych
Bardziej szczegółowo0-0000, 1-0001, 2-0010, 3-0011 itd... 9-1001.
KODOWANIE Jednym z problemów, z którymi spotykamy się w informatyce, jest problem właściwego wykorzystania pamięci. Konstruując algorytm staramy się zwykle nie tylko o zminimalizowanie kosztów czasowych
Bardziej szczegółowoAlgorytmy zachłanne. dr inż. Urszula Gałązka
Algorytmy zachłanne dr inż. Urszula Gałązka Algorytm zachłanny O Dokonuje wyboru, który w danej chwili wydaje się najkorzystniejszy. O Mówimy, że jest to wybór lokalnie optymalny O W rzeczywistości nie
Bardziej szczegółowoStan wysoki (H) i stan niski (L)
PODSTAWY Przez układy cyfrowe rozumiemy układy, w których w każdej chwili występują tylko dwa (zwykle) możliwe stany, np. tranzystor, jako element układu cyfrowego, może być albo w stanie nasycenia, albo
Bardziej szczegółowoAKD Metody słownikowe
AKD Metody słownikowe Algorytmy kompresji danych Sebastian Deorowicz 2009 03 19 Sebastian Deorowicz () AKD Metody słownikowe 2009 03 19 1 / 38 Plan wykładu 1 Istota metod słownikowych 2 Algorytm Ziva Lempela
Bardziej szczegółowoOptymalizacja ciągła
Optymalizacja ciągła 5. Metoda stochastycznego spadku wzdłuż gradientu Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 04.04.2019 1 / 20 Wprowadzenie Minimalizacja różniczkowalnej
Bardziej szczegółowoWygra Polska czy Brazylia, czyli o tym jak zwięźle zapisywać informacje
Wygra Polska czy Brazylia, czyli o tym jak zwięźle zapisywać informacje Witold Tomaszewski Instytut Matematyki Politechniki Śląskiej e-mail: Witold.Tomaszewski@polsl.pl Je n ai fait celle-ci plus longue
Bardziej szczegółowoKodowanie transformacyjne. Plan 1. Zasada 2. Rodzaje transformacji 3. Standard JPEG
Kodowanie transformacyjne Plan 1. Zasada 2. Rodzaje transformacji 3. Standard JPEG Zasada Zasada podstawowa: na danych wykonujemy transformacje która: Likwiduje korelacje Skupia energię w kilku komponentach
Bardziej szczegółowoPrzedmowa 11 Ważniejsze oznaczenia 14 Spis skrótów i akronimów 15 Wstęp 21 W.1. Obraz naturalny i cyfrowe przetwarzanie obrazów 21 W.2.
Przedmowa 11 Ważniejsze oznaczenia 14 Spis skrótów i akronimów 15 Wstęp 21 W.1. Obraz naturalny i cyfrowe przetwarzanie obrazów 21 W.2. Technika obrazu 24 W.3. Normalizacja w zakresie obrazu cyfrowego
Bardziej szczegółowoZastosowanie kompresji w kryptografii Piotr Piotrowski
Zastosowanie kompresji w kryptografii Piotr Piotrowski 1 Plan prezentacji I. Wstęp II. Kryteria oceny algorytmów III. Główne klasy algorytmów IV. Przykłady algorytmów selektywnego szyfrowania V. Podsumowanie
Bardziej szczegółowoKod IEEE754. IEEE754 (1985) - norma dotycząca zapisu binarnego liczb zmiennopozycyjnych (pojedynczej precyzji) Liczbę binarną o postaci
Kod IEEE754 IEEE Institute of Electrical and Electronics Engineers IEEE754 (1985) - norma dotycząca zapisu binarnego liczb zmiennopozycyjnych (pojedynczej precyzji) Liczbę binarną o postaci (-1) s 1.f
Bardziej szczegółowoKodowanie i kompresja Tomasz Jurdziński Studia Wieczorowe Wykład Kody liniowe - kodowanie w oparciu o macierz parzystości
Kodowanie i kompresja Tomasz Jurdziński Studia Wieczorowe Wykład 13 1 Kody liniowe - kodowanie w oparciu o macierz parzystości Przykład Różne macierze parzystości dla kodu powtórzeniowego. Co wiemy z algebry
Bardziej szczegółowoZADANIE 1. Rozwiązanie:
EUROELEKTR Ogólnopolska Olimpiada Wiedzy Elektrycznej i Elektronicznej Rok szkolny 200/20 Rozwiązania zadań dla grupy teleinformatycznej na zawody II. stopnia ZNIE ramka logiczna w technologii MOS składa
Bardziej szczegółowomgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 3, strona 1.
mgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 3, strona 1. KOMPRESJA ALGORYTMEM HUFFMANA I LZ77 Idea algorytmu Huffmana Huffman kontra LZW Sposób tworzenia słownika Etapy budowy drzewa kodu
Bardziej szczegółowodr inż. Jacek Naruniec
dr inż. Jacek Naruniec J.Naruniec@ire.pw.edu.pl Entropia jest to średnia ilość informacji przypadająca na jeden znak alfabetu. H( x) n i 1 p( i)log W rzeczywistości określa nam granicę efektywności kodowania
Bardziej szczegółowoNiech x 1,..., x n będzie ciągiem zdarzeń. ---
Matematyczne podstawy kryptografii, Ćw2 TEMAT 7: Teoria Shannona. Kody Huffmana, entropia. BIBLIOGRAFIA: [] Cz. Bagiński, cez.wipb.pl, [2] T. H. Cormen, C. E. Leiserson, R. L Rivest, Wprowadzenie do algorytmów,
Bardziej szczegółowoKodowanie informacji. Przygotował: Ryszard Kijanka
Kodowanie informacji Przygotował: Ryszard Kijanka Komputer jest urządzeniem służącym do przetwarzania informacji. Informacją są liczby, ale także inne obiekty, takie jak litery, wartości logiczne, obrazy
Bardziej szczegółowoDane, informacja, programy. Kodowanie danych, kompresja stratna i bezstratna
Dane, informacja, programy Kodowanie danych, kompresja stratna i bezstratna DANE Uporządkowane, zorganizowane fakty. Główne grupy danych: tekstowe (znaki alfanumeryczne, znaki specjalne) graficzne (ilustracje,
Bardziej szczegółowoKodowanie i kompresja Streszczenie Studia dzienne Wykład 12,
1 Kompresja stratna Kodowanie i kompresja Streszczenie Studia dzienne Wykład 12, 5.05.2005 Algorytmy kompresji bezstratnej oceniane są ze względu na: stopień kompresji; czas działania procesu kodowania
Bardziej szczegółowoWprowadzenie. Algorytmy kompresji danych. Sebastian Deorowicz. Politechnika Śląska. Sebastian Deorowicz (PŚl) Wprowadzenie 2009 02 19 1 / 60
Wprowadzenie Algorytmy kompresji danych Sebastian Deorowicz Politechnika Śląska 2009 02 19 Sebastian Deorowicz (PŚl) Wprowadzenie 2009 02 19 1 / 60 Plan wykładu 1 Przedmiot Algorytmy Kompresji Danych Cel
Bardziej szczegółowoCyfrowe przetwarzanie i kompresja danych. dr inż.. Wojciech Zając
Cyfrowe przetwarzanie i kompresja danych dr inż.. Wojciech Zając Wykład 7. Standardy kompresji obrazów nieruchomych Obraz cyfrowy co to takiego? OBRAZ ANALOGOWY OBRAZ CYFROWY PRÓBKOWANY 8x8 Kompresja danych
Bardziej szczegółowoKodowanie podpasmowe. Plan 1. Zasada 2. Filtry cyfrowe 3. Podstawowy algorytm 4. Zastosowania
Kodowanie podpasmowe Plan 1. Zasada 2. Filtry cyfrowe 3. Podstawowy algorytm 4. Zastosowania Zasada ogólna Rozkład sygnału źródłowego na części składowe (jak w kodowaniu transformacyjnym) Wada kodowania
Bardziej szczegółowoFundamentals of Data Compression
Załącznik nr 7 do Zarządzenia Rektora nr 10/12 z dnia 21 lutego 2012r. KARTA MODUŁU / KARTA PRZEDMIOTU Kod modułu Nazwa modułu Nazwa modułu w języku angielskim Obowiązuje od roku akademickiego 2012/2013
Bardziej szczegółowoMicha Strzelecki Metody przetwarzania i analizy obrazów biomedycznych (2)
Micha Strzelecki Metody przetwarzania i analizy obrazów biomedycznych (2) Prezentacja multimedialna współfinansowana przez Unię Europejską w ramach Europejskiego Funduszu Społecznego w projekcie Innowacyjna
Bardziej szczegółowoTeoretyczne Podstawy Informatyki
Teoretyczne Podstawy Informatyki cel zajęć Celem kształcenia jest uzyskanie umiejętności i kompetencji w zakresie budowy schematów blokowych algor ytmów oraz ocenę ich złożoności obliczeniowej w celu optymizacji
Bardziej szczegółowoKodowanie informacji. Kody liczbowe
Wykład 2 2-1 Kodowanie informacji PoniewaŜ komputer jest urządzeniem zbudowanym z układów cyfrowych, informacja przetwarzana przez niego musi być reprezentowana przy pomocy dwóch stanów - wysokiego i niskiego,
Bardziej szczegółowoTemat 7. Dekodery, enkodery
Temat 7. Dekodery, enkodery 1. Pojęcia: koder, dekoder, enkoder, konwerter kodu, transkoder, enkoder priorytetowy... Koderami (lub enkoderami) nazywamy układy realizujące proces zamiany informacji kodowanej
Bardziej szczegółowoAlgorytmy i struktury danych
Cel ćwiczenia lgorytmy i struktury danych Instytut Sterowania i Systemów Informatycznych Wydział Elektrotechniki, Informatyki i Telekomunikacji Uniwersytet Zielonogórski Kompresja Ćwiczenie ma na celu
Bardziej szczegółowoSCHEMAT ROZWIĄZANIA ZADANIA OPTYMALIZACJI PRZY POMOCY ALGORYTMU GENETYCZNEGO
SCHEMAT ROZWIĄZANIA ZADANIA OPTYMALIZACJI PRZY POMOCY ALGORYTMU GENETYCZNEGO. Rzeczywistość (istniejąca lub projektowana).. Model fizyczny. 3. Model matematyczny (optymalizacyjny): a. Zmienne projektowania
Bardziej szczegółowoMet Me ody numer yczne Wykład ykład Dr inż. Mic hał ha Łan Łan zon Instyt Ins ut Elektr Elektr echn iki echn i Elektrot Elektr echn olo echn
Metody numeryczne Wykład 2 Dr inż. Michał Łanczont Instytut Elektrotechniki i Elektrotechnologii E419, tel. 4293, m.lanczont@pollub.pl, http://m.lanczont.pollub.pl Zakres wykładu Arytmetyka zmiennopozycyjna
Bardziej szczegółowoDetekcja i korekcja błędów w transmisji cyfrowej
Detekcja i korekcja błędów w transmisji cyfrowej Błędy w transmisji cyfrowej pojedyncze wielokrotne. całkowita niepewność względem miejsca zakłóconych bitów oraz czy w ogóle występują paczkowe (grupowe)
Bardziej szczegółowoSPRZĘTOWA REALIZACJA KODERA ARYTMETYCZNEGO DO KODOWANIA WSPÓŁCZYNNIKÓW 3D DWT
Piotr Wasilewski Instytut Elektroniki Politechnika Łódzka ul. Wólczańska 223, 90-924 Łódź piotrwas@p.lodz.pl 2005 Poznańskie Warsztaty Telekomunikacyjne Poznań 8-9 grudnia 2005 SPRZĘTOWA REALIZACJA KODERA
Bardziej szczegółowoSystemy liczenia. 333= 3*100+3*10+3*1
Systemy liczenia. System dziesiętny jest systemem pozycyjnym, co oznacza, Ŝe wartość liczby zaleŝy od pozycji na której się ona znajduje np. w liczbie 333 kaŝda cyfra oznacza inną wartość bowiem: 333=
Bardziej szczegółowoTeoria Informacji i Metody Kompresji Danych
Teoria Informacji i Metody Kompresji Danych 1 Przykładowe zadania (dodatkowe materiały wykładowe) 2 Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL
Bardziej szczegółowo6.4 Podstawowe metody statystyczne
156 Wstęp do statystyki matematycznej 6.4 Podstawowe metody statystyczne Spóbujemy teraz w dopuszczalnym uproszczeniu przedstawić istotę analizy statystycznej. W szczególności udzielimy odpowiedzi na postawione
Bardziej szczegółowoTeoria informacji i kodowania Ćwiczenia Sem. zimowy 2016/2017
Algebra liniowa Zadanie 1 Czy jeśli wektory x, y i z, należące do binarnej przestrzeni wektorowej nad ciałem Galois GF (2), są liniowo niezależne, to można to samo orzec o następujących trzech wektorach:
Bardziej szczegółowoŁ ż ż Ł ż ż ż ż ż ż ż ż Ś ż ż ż ż ż ż ż ż ż ź ż ż ż ż ż ć ż ż ż ż ż ć ż
Ś Ż Ś ć ż Ś ż ź ż ż ż ć ż ć Ł ż ż Ł ż ż ż ż ż ż ż ż Ś ż ż ż ż ż ż ż ż ż ź ż ż ż ż ż ć ż ż ż ż ż ć ż ż ż ż ż ć ż ć ź ż ż ć ć ż ć ż ż ż ć ż ż ć ć ż ż ż ż ć ż ż ż ż ż ż ć ż ż ż ż ż ć ż ć ć ż ć ż ż ż ć ć ć
Bardziej szczegółowoZapis liczb binarnych ze znakiem
Zapis liczb binarnych ze znakiem W tej prezentacji: Zapis Znak-Moduł (ZM) Zapis uzupełnień do 1 (U1) Zapis uzupełnień do 2 (U2) Zapis Znak-Moduł (ZM) Koncepcyjnie zapis znak - moduł (w skrócie ZM - ang.
Bardziej szczegółowoę ę ż ż ć ć ę ć ę ż ć ć ę Ś ę ę ę Ź Ź ż Ś ę ć ć ę ę ę ę ę ę ż ć ż ć ę ę ę Ź ę ż ę ę ę
ę Ł ć ż ć ż ć ę ę ę ż ć ż ć ę ż ż ć ę ę ę ę ę ę ę ę ę ż ę ę ę Ź ę ż ę ć ż ę ę ę Ź ć Ź ę ę ż ż ć ć ę ć ę ż ć ć ę Ś ę ę ę Ź Ź ż Ś ę ć ć ę ę ę ę ę ę ż ć ż ć ę ę ę Ź ę ż ę ę ę ć ę ę ż ę ż ć ć Ść ć ę ć ć ż
Bardziej szczegółowoKodowanie informacji
Tomasz Wykład 4: kodowanie słownikowe Motywacja Motywacje 1 kodowane dane nie tworza ciagu wartości niezależnych, rozkład prawdopodobieństwa zależy od symboli poprzedzajacych symbol kodowany; 2 pewne sekwencje
Bardziej szczegółowoTechnologie Informacyjne
System binarny Szkoła Główna Służby Pożarniczej Zakład Informatyki i Łączności October 7, 26 Pojęcie bitu 2 Systemy liczbowe 3 Potęgi dwójki 4 System szesnastkowy 5 Kodowanie informacji 6 Liczby ujemne
Bardziej szczegółowoElementy teorii informacji i kodowania
i kodowania Entropia, nierówność Krafta, kodowanie optymalne Marcin Jenczmyk m.jenczmyk@knm.katowice.pl 17 kwietnia 2015 M. Jenczmyk Spotkanie KNM i kodowania 1 / 20 Niech S = {x 1,..., x q } oznacza alfabet,
Bardziej szczegółowo2 Kryptografia: algorytmy symetryczne
1 Kryptografia: wstęp Wyróżniamy algorytmy: Kodowanie i kompresja Streszczenie Wieczorowe Studia Licencjackie Wykład 14, 12.06.2007 symetryczne: ten sam klucz jest stosowany do szyfrowania i deszyfrowania;
Bardziej szczegółowow analizie wyników badań eksperymentalnych, w problemach modelowania zjawisk fizycznych, w analizie obserwacji statystycznych.
Aproksymacja funkcji a regresja symboliczna Problem aproksymacji funkcji polega na tym, że funkcję F(), znaną lub określoną tablicą wartości, należy zastąpić inną funkcją, f(), zwaną funkcją aproksymującą
Bardziej szczegółowoLaboratorium ochrony danych
Laboratorium ochrony danych Ćwiczenie nr 3 Temat ćwiczenia: Kod BCH Cel dydaktyczny: Zapoznanie się z metodami detekcji i korekcji błędów transmisyjnych za pomocą binarnych kodów cyklicznych, na przykładzie
Bardziej szczegółowoLZ77 LZ78. Kompresja danych. Tomasz Jurdziński. Wykład 5: kodowanie słownikowe
Tomasz Wykład 5: kodowanie słownikowe Motywacja Motywacje 1 zazwyczaj dane nie tworza ciagu wartości niezależnych, kolejny symbol jest zależny od poprzedzajacych go; 2 pewne sekwencje (słowa) często się
Bardziej szczegółowoMetody Rozmyte i Algorytmy Ewolucyjne
mgr inż. Wydział Matematyczno-Przyrodniczy Szkoła Nauk Ścisłych Uniwersytet Kardynała Stefana Wyszyńskiego Podstawowe operatory genetyczne Plan wykładu Przypomnienie 1 Przypomnienie Metody generacji liczb
Bardziej szczegółowoWprowadzenie Algorytm ByteRun ByteRun - przykład Algorytm RLE Przykład działania RLE Algorytm LZW Przykład kompresji LZW
mgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 2, strona 1. PROSTE ALGORYTMY KOMPRESJI BEZSTRATNEJ Wprowadze Algorytm ByteRun ByteRun - przykład Algorytm RLE Przykład działania RLE Algorytm
Bardziej szczegółowoO oszczędnym dziennikarzu, czyli czym jest
O oszczędnym dziennikarzu, czyli czym jest informacja i jak ja mierzymy? Adam Doliwa doliwa@matman.uwm.edu.pl WYKŁAD DLA MŁODZIEŻY WYDZIAŁ MATEMATYKI I INFORMATYKI UWM Olsztyn, 9 lutego 2016 r. Adam Doliwa
Bardziej szczegółowoTechniki multimedialne
Techniki multimedialne Digitalizacja podstawą rozwoju systemów multimedialnych. Digitalizacja czyli obróbka cyfrowa oznacza przetwarzanie wszystkich typów informacji - słów, dźwięków, ilustracji, wideo
Bardziej szczegółowoKrótki przegląd pierwszych standardów kompresji obrazów
Krótki przegląd pierwszych standardów kompresji obrazów Najstarszymi (980 rok) i szeroko stosowanymi obecnie standardami kompresji obrazów cyfrowych są międzynarodowe standardy kodowania cyfrowych faksów,
Bardziej szczegółowoAproksymacja funkcji a regresja symboliczna
Aproksymacja funkcji a regresja symboliczna Problem aproksymacji funkcji polega na tym, że funkcję F(x), znaną lub określoną tablicą wartości, należy zastąpić inną funkcją, f(x), zwaną funkcją aproksymującą
Bardziej szczegółowoPodstawowe operacje arytmetyczne i logiczne dla liczb binarnych
1 Podstawowe operacje arytmetyczne i logiczne dla liczb binarnych 1. Podstawowe operacje logiczne dla cyfr binarnych Jeśli cyfry 0 i 1 potraktujemy tak, jak wartości logiczne fałsz i prawda, to działanie
Bardziej szczegółowoInformacja w perspektywie obliczeniowej. Informacje, liczby i obliczenia
Informacja w perspektywie obliczeniowej Informacje, liczby i obliczenia Cztery punkty odniesienia (dla pojęcia informacji) ŚWIAT ontologia fizyka UMYSŁ psychologia epistemologia JĘZYK lingwistyka nauki
Bardziej szczegółowo