Przetwarzanie i transmisja danych multimedialnych. Wykład 2 Podstawy kompresji. Przemysław Sękalski.
|
|
- Kamila Pawlak
- 5 lat temu
- Przeglądów:
Transkrypt
1 Przetwarzanie i transmisja danych multimedialnych Wykład Podstawy kompresji Przemysław Sękalski sekalski@dmcs.pl Politechnika Łódzka Katedra Mikroelektroniki i Technik Informatycznych DMCS
2 Zawartość wykładu. Wprowadzenie do kompresji i transmisji danych. Podstawy kompresji 3. Shannona Fano i Huffmana 4. arytmetyczne 5. Algorytmy słownikowe 6. Algorytm predykcji przez częściowe dopasowanie (PPM) 7. Transformata Burrowsa Wheelera (BWT) 8. Wybrane algorytmy specjalizowane 9. Dynamiczny koder Markowa (DMC) i algorytm kontekstowych drzew waŝonych (CTW) 0. Bezstratna kompresja obrazów. Stratna kompresja obrazów. Stratna kompresja dźwięku 3. Kompresja wideo
3 Plan wykładu Podstawowe definicje Paradygmat kompresji owanie Przykłady prostych kodów Kody statyczne 3
4 (informacja własna) związana z wystąpieniem zdarzenia A, którego prawdopodobieństwo wystąpienia wynosi P(A) określana jest zaleŝnością (Hartley 98): I ( A) = log n P ( A) = log Jednostka, w której mierzona jest autoinformacja zaleŝy od podstawy logarytmu: n = bit (ang. bit [binary digit]), n = e nat (ang. nat [natural digit]), n P( A) n = 0 hartley (od nazwiska Ralpha Hartleya) I funkcja autoinformacji 0 P 4
5 Obliczanie autoinformacji Przykład : ZałóŜmy, Ŝe mamy źródło które generuje symbole A = {a, a, a 3, a 4 } z prawdopodobieństwem P = {½, ¼, /8,/8}. wynosi wówczas: I ( a ) I( a I( a 3 ) = log ) = log = I( a 4 P ( a ) P ( a ) ) = log = log = log P ( a ) 3 = bit 4 = bity = log 8 = 3bity 5
6 Obliczanie autoinformacji Przykład : ZałóŜmy, Ŝe mamy źródło które generuje symbole A = {a, a, a 3, a 4 } z prawdopodobieństwem P = {3/8, 3/8, /8,/8}. wynosi wówczas: I ( a ) I( a 3 ) = I( a = I( a ) = log 4 ) = log P ( a ) P = log ( a ) = log =,45bita 8 = 3bity Funkcja autoinformacji koncentruje się na jednej literze, a nie na zbiorze liter (wiadomości) 6
7 Pojęcie entropii wprowadził Shannon. Jest to funkcja postaci: H ( p,..., pn) = H ( A) = pi lg Taką funkcję nazywamy entropią stowarzyszona ze zbiorem n niezaleŝnych zdarzeń A = {a,..., a n } i ze zbiorem prawdopodobieństw ich zajścia P = {p,..., p n )} n i= p i = n i= p i I i jest średnią autoinformacją 7
8 W kontekście kodowania wiadomości entropia reprezentuje ograniczenie na średnią długość słowa kodu uŝywanego przy kodowaniu wartości wyjściowych. p i = 7, I H ( A) = i n i=,8bit p i I i = 7* 7 *,8 =,8bit a b c d e f g Przykład drzewa decyzyjnego h p i =, I 8 H ( A) = i n i= = 3bity p i I i = 8* 8 *3 = 3bity 8
9 Eksperyment i jego entropia Eksperymentem nazywamy generowanie przez źródło symboli a i ze zbioru alfabetu A a i A={a a n } a źródło Entropią eksperymentu nazywamy miarę określającą średnią liczbę symboli binarnych potrzebnych do zakodowania ciągu utworzonego z symboli kolejno wygenerowanych przez źródło. Najlepszym wynikiem jaki moŝna uzyskać stosując kompresje bezstratna jest zakodowanie sekwencji symboli tak, aby średnia liczba bitów przypadająca na symbol była równa entropii źródła. Shannon 9
10 źródła Z definicji entropia wynosi: H ( p n,..., pn) = H ( A) = i= p i lg p i źródła S generującego ciąg symboli x, x, x n naleŝących do wspólnego alfabetu A = {,, 3,,m} wynosi: H ( S) m m m = lim n n i = i = in = ( ) ( ) p x = i x = i x = i p,,, log n n x = i, x = i,, xn = in 0
11 Przypadki szczególne Przy załoŝeniu, Ŝe wszystkie elementy serii mają rozkład identyczny i niezaleŝny od siebie (równe prawdopodobieństwa wystąpienia zdarzeń p i = const = /n i,n ), otrzymujemy: H ( S) = m i = p x log p ( = i ) ( x = i ) Jest to entropia źródła pierwszego rzędu Znajomo wyglądający wzór??!!
12 a jak jest w rzeczywistości? W rzeczywistych źródłach symbole nie są generowane z jednakowym prawdopodobieństwem W większości przypadków symbole są zaleŝne od siebie. Nie znany jest takŝe rozkład wszystkich próbek n, a tylko ograniczona ich ilość pierwszego rzędu nie jest dobrą miarą entropii źródła fizycznego źródła nie jest znana
13 Policzmy entropię pierwszego rzędu Dla przykładowej sekwencji danych: W= { } P(3) = P() = P(5) P() = P(6) = = P(4) 6 = P(7) = P(8) = P(9) = 6 log log log log P(3) = P() =,4 P(5,6) = 3 P(,4,7,8,9) = 4 H ( W ) 9 = i= p i) log p( i), 95bit ( 3
14 pierwszego rzędu Pomiędzy poszczególnymi symbolami istnieje zaleŝność (korelacja). Zastępując kolejne elementy wiadomości W róŝnicą pomiędzy dwoma kolejnymi symbolami otrzymujemy nowy ciąg: W= { } W ={ } P() = P( 7) 6 = P( ) = P(0) = P() = P() = 6 log log P() = 0,4 P( 7,,0,) = 4 H ( W ) = p( i) log p( i), 3bit i= 7 4
15 Plan wykładu Podstawowe definicje Paradygmat kompresji owanie Przykłady prostych kodów Kody statyczne 5
16 W zaleŝności jak przedstawimy informację otrzymamy róŝną wartość entropii. Znając strukturę wiadomości moŝna zmieniać (najlepiej zmniejszać) entropię. Znając zaleŝności pomiędzy symbolami (korelację) moŝna budować model. em nazywamy zaleŝności pomiędzy kolejnymi symbolami ciągu 6
17 owanie Uaktualnianie modelu owanie owanie Wiadomość wejściowa Wiadomość zakodowana Dekodowanie Wiadomość wyjściowa Współczesny paradygmat kompresji 7
18 Paradygmat kompresji. owanie: Pierwszy etap kompresji podczas, którego badane są zaleŝności pomiędzy symbolami i budowany jest model. Informacja nadmiarowa (redundantna) jest usuwana. Istnieje wiele metod budowania modelu. Niezbędna jest wiedza o źródle sygnału.. : Drugi etap kompresji, podczas którego kodowany jest sam model oraz informacja o odchyleniu wiadomości od modelu. Jest wiele rodzajów kodowania Metody kodowania oparte są na matematyce 8
19 owanie e e bez pamięci DMS e z pamięcią CSM e Markowa e drzew kontekstu 9
20 bez pamięci - DMS Najprostszą postaciąźródła informacji jest dyskretne źródło bez pamięci - model DMS (discrete memoryless source), w którym emitowane symbole są od siebie niezaleŝne. DMS często zwany jest modelem fizycznym MoŜe, ale nie musi dokładnie opisywać źródło. Nie wnosi Ŝadnej informacji o źródle i nie moŝe być wykorzystany do skutecznego kodowania. Nie jest wykorzystywany w kompresji danych 0
21 z pamięcią - CSM źródła z pamięcią zwany teŝ modelem warunkowym (conditional source model) uwzględnia zaleŝność pomiędzy wystąpieniem danego symbolu od wystąpienia wcześniejszych kontekstu czasowego. Kontekst moŝe być ograniczony do jednego lub kilku symboli Pełny kontekst to wszystkie dotychczas wyemitowane symbole Znając kontekst w danej chwili moŝna wnioskować o prawdopodobieństwie wystąpienia kolejnego symbolu P( s t ), gdzie s t = (s, s,, s t ) jest sekwencją t symboli wygenerowanych w przeszłości (kontekstem rzędu t) Prawdopodobieństwo warunkowe P(a i b j ) dla i = n oraz j = k obliczane jest z wzoru: ( ) P a b i j ( ) i, j ( ) N a b = = N b j Liczba wystąpień symbolu a i i kontekstu b j Liczba wystąpień kontekstu b j
22 CSM - podsumowanie źródła jest określony przez: Alfabet symboli źródła A s ={a, a,,a n } Zbiór kontekstów C dla źródła S opisanego wzorem: S A = { b, b,..., b } Prawdopodobieństwa warunkowe: ( i j ) P a b C ( ai, b j ) ( b j ) N = = N dla i = n (liczba symboli w alfabecie) oraz j = k (liczba kontekstów) Zasadę określania kontekstu C w kaŝdej chwili czasowej t jako funkcję f( ) symboli wcześniej wyemitowanych przez źródło. Funkcja f( ) przekształca wszystkie moŝliwe sekwencje symboli z A s o długości t lub S mniejszej w A C k Liczba wystąpień symbolu a i i kontekstu b j Liczba wystąpień kontekstu b j
23 źródła Markowa źródła CSM oraz DMS jest szczególnym przypadkiem modelu źródła zaproponowany przez Markowa (906). Dla źródła Markowa rzędu m kontekst C (m) jest ograniczony do m znaków poprzedzających generowany symbol s l. Prawdopodobieństwo wystąpienia symbolu a i z alfabetu A zaleŝy jedynie od m symboli, jakie pojawiły się bezpośrednio przed nim. Określane jest jako prawdopodobieństwo warunkowe: ( ) (,,..., ) i b j i j j j P a = P a a a a i, n j, j,..., jm, n m 3
24 e źródła Markowa Źródła Markowa często reprezentowane są za pomocą diagramu stanów. Dla źródła Markowa pierwszego rzędu jest tyle stanów ile symboli w alfabecie A (n). Dla źródła Markowa m-tego rzędu jest n m stanów. WyŜsze rzędy są z reguły wykorzystywane do kompresji obrazów (D i 3D) źródła Markowa określona jest jako: n n n n ( m) ( ),,...,, log,,..., j = j = j = m i= ( ) ( ) j j j i i j j j H S C P a a a a P a a a a = m Wartość entropii źródła Markowa mieści się pomiędzy entropią źródła H S H S C H S ( m) ( lącznej ) ( ) ( DMS ) m 4
25 owanie - podsumowanie Istnieje wiele rodzajów modeli źródeł Do modelowania niezbędna jest znajomość źródła Im więcej informacji zaleŝnych od siebie tym lepsza moŝliwość kompresji, Dla tekstu angielskiego w 95 roku Shannon oszacował entropię przy załoŝeniu kontekstu długości dwóch znaków na 3, bit/znak Współczesne modele szacują entropię tekstu angielskiego na,45 bit/znak 5
26 Plan wykładu Podstawowe definicje Paradygmat kompresji owanie Przykłady prostych kodów Kody statyczne 6
27 ZałoŜenia: Źródło S emitujące sygnały a i z alfabetu A={a,,a n } Znane jest prawdopodobieństwo wystąpienia symbolu a i, oznaczone jako p i = p(a i ). Zbiór wartości wszystkich prawdopodobieństw określany będzie jako P(p,,p i ). Symbolom a i odpowiadają słowa kodu, które naleŝą do zbioru K={k,,k n } 7
28 - definicje Kodem nazywamy odwzorowanie alfabetu A na zbiór słów kodowych K (f : A K) Inaczej mówiąc: kaŝde słowo kodu k i musi opisywać symbol z alfabetu a i Celem kompresji jest zmniejszanie średniego kosztu, danego wzorem: L avg gdzie i,n, l i długość słowa kodowego k i, n = p l i i p i prawdopodobieństwo wystąpienia słowa k i 8
29 Efektywność kompresji Efektywność kompresji wyraŝona w procentach mierzona jest jako stosunek entropii do średniego kosztu: H L avg 00% 9
30 Kod jednoznacznie dekodowalny to taki kod, który kaŝdemu symbolowi a i z alfabetu A przypisuje jedno i tylko jedno słowo kodowe k i róŝne dla róŝnych symboli. jest przekształceniem róŝnowartościowym jeden w jeden. Matematyczne określenie to bijekcja. Przykładem kodu jednoznacznie dekodowalnego jest kod dwójkowy o stałej długości słowa. Który kod jest JD, a który nie??: AK = {, 0, 00, 000} AK = {0, 0, 0, } AK 3 = {0, 0,, } AK 4 = {0, 0, } AK 5 = {00,, 00} jest JD jest JD Nie jest JD bo 0 = 0 Jest JD Nie jest JD bo 00 = 00 30
31 Kod nazywamy przedrostkowym (prefix code) jeśli nie moŝemy otrzymaćŝadnego słowa kodu z innego słowa kodu przez dodanie do niego zer lub jedynek (Ŝadne słowo kodu nie jest przedrostkiem innego słowa kodu). są łatwe do dekodowania (natychmiastowe dekodowanie) W literaturze anglosaskiej spotykane są takŝe nazwy prefix condition codes, prefix-free codes, comma-free code. Przedrostkowość kodu jest warunkiem wystarczającym jego jednoznacznej dekodowalności (ale nie koniecznym) Przykład: AK4 = {0, 0, }, C (ς ς ς 3 ς ) = jak to zdekodować 000? 3
32 Nierówność Krafta-MacMillana Dla kodów jednoznacznie dekodowalnych zawierających n słów kodowych o długości l i zachodzi nierówność: n i= l i Równanie moŝe słuŝyć do określania czy kod jest jednoznacznie dekodowalny 3
33 33
34 nie korzysta z informacji o prawdopodobieństwie wystąpienia symbolu w kodowanej sekwencji Zalety: prosta budowa, szybkość brak konieczności przesyłania informacji do dekodera o modelu Wady: niski współczynnik kompresji moŝliwa ekspansja danych po zakodowaniu (model jest niezmienny i moŝe być nieadekwatny do danych kompresowanych) 34
35 Kod unarny Kod α-eliasa (kod unarny) kaŝdy z x symboli reprezentowany jest jako x- symboli po których następuje 0 symbol kod Cechy: prosty, ale bardzo długi (moŝliwa ekspansja) długość słowa zaleŝna wprost od ilości symboli x, część składowa innych kodów, stosowany, gdy jeden symbol występuje znacznie częściej niŝ inne 35
36 Kod binarny Kod β-eliasa (kod binarny) kaŝdy z x symboli reprezentowany jest jako liczba binarna z pominięciem zer wiodących symbol kod Cechy: prosty, nie jest jednoznacznie dekodowalny, brak informacji o początku i końcu danego słowa długość słowa zaleŝna od ilości symboli x, ( log x + ) część składowa innych kodów, 36
37 Kod γ-eliasa Kod γ-eliasa jest kodem złoŝonym Pierwsza część kodu kodowana według schematu α określa ilość kodu binarnego Druga część kodu określa symbol i jest kodowana według schematu β bez wiodącego bitu Cechy: prosta budowa, długość słowa opisana wzorem log x + symbol kod
38 Reprezentacja Zeckendorfa Liczby Fibonacciego powstają poprzez zsumowanie dwóch poprzednich liczb przy czym pierwsze dwie są równe : F n =F n- -F n- F = {,, 3, 5, 8, 3,, } Własność: KaŜdą liczbę całkowitą moŝna przedstawić jako sumę liczb Fibonacciego Reprezentacja Zeckendorfa to zapis binarny liczby, w którym kaŝdy bit odpowiada jednej liczbie Fibonacciego. Wartość bitu równa oznacza, Ŝe dana liczba Fibonacciego wchodzi do sumy. Pomijana jest w reprezentacji liczba F 0 = 0x + x + 0x3 + 0x5 + x8 => 000 lub 000 = x + x + 0x3 + 0x5 + x8 => 00 lub 00 odwrócona prosta 38
39 Reprezentacja Zeckendorfa Skoro kaŝdą liczbę moŝna przedstawić jako sumę poprzednich liczb Fibonacciego zatem moŝna przekształcić tak reprezentację Zeckendorfa, aby nie występowały po sobie kolejne jedynki. = x + x + 0x3 + 0x5 + x8 => = 0x + 0x + x3 + 0x5 + x8 => Aby dodać znacznik końca kodu wystarczy dodać na końcu. Dwie jedynki po sobie następujące będą definiowały koniec słowa kodowego (kod Fraenkela Kleina C) 39
40 Fraenkela Kleina C symbol kod 358X Wada: Jak rozdzielić słowa? 40
41 Fraenkela Kleina C Kod Fraenkela Kleina C tworzymy łącząc bity 0 z odwrócona reprezentacja Zeckendorfa liczby x pomniejszonej o (x-). symbol X- kod Liczba jest reprezentowana jako (wyjątek) Zaleta: Dwie jedynki po sobie jednoznacznie definiują podział słowa kodowego
42 Inne kody statyczne Inne kody Fraenkela Kleina Kody Apostolico Fraenkela oparte na liczbach Fibonacciego (takŝe liczby Fibonacciego wyŝszych rzędów) Kody Golomba Kody Rice a Kody Goldbacha Kody Wheelera interpolacyjne 4
43 to kody statyczne, które powstały po przeanalizowaniu kodowanej wiadomości. Symbole występujące najczęściej są kodowane za pomocą najkrótszych słów kodowych. Dla róŝnych wiadomości niezbędna jest inna funkcja przekształcająca alfabet na słowa kodowe. Konieczność przekazania kodu do dekodera!! Bardziej uniwersalne niŝ kody statyczne, lepszy współczynnik kompresji. 43
44 Dziękuję za uwagę i proszę o pytania 44
Entropia Kodowanie. Podstawy kompresji. Algorytmy kompresji danych. Sebastian Deorowicz
Algorytmy kompresji danych 2007 02 27 Plan wykładu 1 Modelowanie i kodowanie 2 Modelowanie i kodowanie Plan wykładu 1 Modelowanie i kodowanie 2 Modelowanie i kodowanie definicja stowarzyszona ze zbiorem
Bardziej szczegółowoPrzetwarzanie i transmisja danych multimedialnych. Wykład 3 Kodowanie Shannona Fano i Huffmana. Przemysław Sękalski.
Przetwarzanie i transmisja danych multimedialnych Wykład 3 Kodowanie Shannona Fano i Huffmana Przemysław Sękalski sekalski@dmcs.pl Politechnika Łódzka Katedra Mikroelektroniki i Technik Informatycznych
Bardziej szczegółowoKompresja Kodowanie arytmetyczne. Dariusz Sobczuk
Kompresja Kodowanie arytmetyczne Dariusz Sobczuk Kodowanie arytmetyczne (lata 1960-te) Pierwsze prace w tym kierunku sięgają początków lat 60-tych XX wieku Pierwszy algorytm Eliasa nie został opublikowany
Bardziej szczegółowoPrzetwarzanie i transmisja danych multimedialnych. Wykład 5 Kodowanie słownikowe. Przemysław Sękalski.
Przetwarzanie i transmisja danych multimedialnych Wykład 5 Kodowanie słownikowe Przemysław Sękalski sekalski@dmcs.pl Politechnika Łódzka Katedra Mikroelektroniki i Technik Informatycznych DMCS Przemysław
Bardziej szczegółowoPrzetwarzanie i transmisja danych multimedialnych. Wykład 6 Metody predykcyjne. Przemysław Sękalski.
Przetwarzanie i transmisja danych multimedialnych Wykład 6 Metody predykcyjne Przemysław Sękalski sekalski@dmcs.pl Politechnika Łódzka Katedra Mikroelektroniki i Technik Informatycznych DMCS Wykład opracowano
Bardziej szczegółowoteoria informacji Entropia, informacja, kodowanie Mariusz Różycki 24 sierpnia 2015
teoria informacji Entropia, informacja, kodowanie Mariusz Różycki 24 sierpnia 2015 1 zakres materiału zakres materiału 1. Czym jest teoria informacji? 2. Wprowadzenie matematyczne. 3. Entropia i informacja.
Bardziej szczegółowoKodowanie i kompresja Streszczenie Studia dzienne Wykład 9,
1 Kody Tunstalla Kodowanie i kompresja Streszczenie Studia dzienne Wykład 9, 14.04.2005 Inne podejście: słowa kodowe mają ustaloną długość, lecz mogą kodować ciągi liter z alfabetu wejściowego o różnej
Bardziej szczegółowoDefinicja. Jeśli. wtedy
Definicja Jeśli wtedy Cel kompresji: zredukowanie do minimum oczekiwanego (średniego) kosztu gdzie l i jest długością słowa kodu c i kodującego symbol a i Definicja Definicje Efektywność kodowania określamy
Bardziej szczegółowoTeoria informacji i kodowania Ćwiczenia
Teoria informacji i kodowania Ćwiczenia Piotr Chołda, Andrzej Kamisiński Katedra Telekomunikacji Akademii Górniczo-Hutniczej Kod źródłowy Kodem źródłowym nazywamy funkcję różnowartościową, która elementom
Bardziej szczegółowoElementy teorii informacji i kodowania
i kodowania Entropia, nierówność Krafta, kodowanie optymalne Marcin Jenczmyk m.jenczmyk@knm.katowice.pl 17 kwietnia 2015 M. Jenczmyk Spotkanie KNM i kodowania 1 / 20 Niech S = {x 1,..., x q } oznacza alfabet,
Bardziej szczegółowoTemat: Algorytm kompresji plików metodą Huffmana
Temat: Algorytm kompresji plików metodą Huffmana. Wymagania dotyczące kompresji danych Przez M oznaczmy zbiór wszystkich możliwych symboli występujących w pliku (alfabet pliku). Przykład M = 2, gdy plik
Bardziej szczegółowomgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 4, strona 1. GOLOMBA I RICE'A
mgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 4, strona 1. KOMPRESJA ALGORYTMEM ARYTMETYCZNYM, GOLOMBA I RICE'A Idea algorytmu arytmetycznego Przykład kodowania arytmetycznego Renormalizacja
Bardziej szczegółowoKompresja danych kodowanie Huffmana. Dariusz Sobczuk
Kompresja danych kodowanie Huffmana Dariusz Sobczuk Plan wykładu Kodowanie metodą Shannona-Fano Kodowanie metodą Huffmana Elementarny kod Golomba Kod Golomba Kod Rice a kompresja danych 2 Efektywny kod
Bardziej szczegółowoteoria informacji Kanały komunikacyjne, kody korygujące Mariusz Różycki 25 sierpnia 2015
teoria informacji Kanały komunikacyjne, kody korygujące Mariusz Różycki 25 sierpnia 2015 1 wczoraj Wprowadzenie matematyczne. Entropia i informacja. Kodowanie. Kod ASCII. Stopa kodu. Kody bezprefiksowe.
Bardziej szczegółowoTeoria Informacji - wykład. Kodowanie wiadomości
Teoria Informacji - wykład Kodowanie wiadomości Definicja kodu Niech S={s 1, s 2,..., s q } oznacza dany zbiór elementów. Kodem nazywamy wówczas odwzorowanie zbioru wszystkich możliwych ciągów utworzonych
Bardziej szczegółowoKompresja bezstratna. Entropia. Kod Huffmana
Kompresja bezstratna. Entropia. Kod Huffmana Kodowanie i bezpieczeństwo informacji - Wykład 10 29 kwietnia 2013 Teoria informacji Jeśli P(A) jest prawdopodobieństwem wystapienia informacji A to niech i(a)
Bardziej szczegółowoKody Tunstalla. Kodowanie arytmetyczne
Kody Tunstalla. Kodowanie arytmetyczne Kodowanie i kompresja informacji - Wykład 3 8 marca 2010 Kody Tunstalla Wszystkie słowa kodowe maja ta sama długość ale jeden kod może kodować różna liczbę liter
Bardziej szczegółowoTeoria informacji i kodowania Ćwiczenia Sem. zimowy 2016/2017
Kody źródłowe jednoznacznie dekodowalne Zadanie Ile najwięcej słów kodowych może liczyć kod binarny jednoznacznie dekodowalny, którego najdłuższe słowo ma siedem liter? (Odp. 28) Zadanie 2 Zbiór sześciu
Bardziej szczegółowoKodowanie Huffmana. Platforma programistyczna.net; materiały do laboratorium 2014/15 Marcin Wilczewski
Kodowanie Huffmana Platforma programistyczna.net; materiały do laboratorium 24/5 Marcin Wilczewski Algorytm Huffmana (David Huffman, 952) Algorytm Huffmana jest popularnym algorytmem generującym optymalny
Bardziej szczegółowoGranica kompresji Kodowanie Shannona Kodowanie Huffmana Kodowanie ciągów Kodowanie arytmetyczne. Kody. Marek Śmieja. Teoria informacji 1 / 35
Kody Marek Śmieja Teoria informacji 1 / 35 Entropia Entropia określa minimalną statystyczną długość kodowania (przyjmijmy dla prostoty że alfabet kodowy A = {0, 1}). Definicja Niech X = {x 1,..., x n }
Bardziej szczegółowoSystemy liczenia. 333= 3*100+3*10+3*1
Systemy liczenia. System dziesiętny jest systemem pozycyjnym, co oznacza, Ŝe wartość liczby zaleŝy od pozycji na której się ona znajduje np. w liczbie 333 kaŝda cyfra oznacza inną wartość bowiem: 333=
Bardziej szczegółowoKodowanie transformacyjne. Plan 1. Zasada 2. Rodzaje transformacji 3. Standard JPEG
Kodowanie transformacyjne Plan 1. Zasada 2. Rodzaje transformacji 3. Standard JPEG Zasada Zasada podstawowa: na danych wykonujemy transformacje która: Likwiduje korelacje Skupia energię w kilku komponentach
Bardziej szczegółowoPodstawowe pojęcia. Teoria informacji
Kodowanie i kompresja informacji - Wykład 1 22 luty 2010 Literatura K. Sayood, Kompresja danych - wprowadzenie, READ ME 2002 (ISBN 83-7243-094-2) Literatura K. Sayood, Kompresja danych - wprowadzenie,
Bardziej szczegółowoKodowanie informacji
Kodowanie informacji Tomasz Wykład 4: kodowanie arytmetyczne Motywacja Podstawy i własności Liczby rzeczywiste Motywacje 1 średnia długość kodu Huffmana może odbiegać o p max + 0.086 od entropii, gdzie
Bardziej szczegółowoPrzetwarzanie i transmisja danych multimedialnych. Wykład 7 Transformaty i kodowanie. Przemysław Sękalski.
Przetwarzanie i transmisja danych multimedialnych Wykład 7 Transformaty i kodowanie Przemysław Sękalski sekalski@dmcs.pl Politechnika Łódzka Katedra Mikroelektroniki i Technik Informatycznych DMCS Wykład
Bardziej szczegółowowiadomość komunikat - informacja Caius Julius Cesar Człowiek zasztyletowany przez senatorów na forum Romanum w Idy Marcowe roku DCCIX ab urbe condita
wiadomość komunikat - informacja Caius Julius Cesar Człowiek zasztyletowany przez senatorów na forum Romanum w Idy Marcowe roku DCCIX ab urbe condita Wojna Bambadocji przeciwko Alandii i Cezji Alandia:
Bardziej szczegółowoPrzetwarzanie i transmisja danych multimedialnych
Przetwarzanie i transmisja danych multimedialnych Przemysław Sękalski sekalski@dmcs.pl Politechnika Łódzka Katedra Mikroelektroniki i Technik Informatycznych DMCS 1 Organizacja zajęć Wykład: Laboratoria:
Bardziej szczegółowoO sygnałach cyfrowych
O sygnałach cyfrowych Informacja Informacja - wielkość abstrakcyjna, która moŝe być: przechowywana w pewnych obiektach przesyłana pomiędzy pewnymi obiektami przetwarzana w pewnych obiektach stosowana do
Bardziej szczegółowoAlgorytmy kodowania entropijnego
Algorytmy kodowania entropijnego 1. Kodowanie Shannona-Fano 2. Kodowanie Huffmana 3. Jednoznaczność kodów Huffmana. Kod o minimalnej wariancji 4. Dynamiczne kodowanie Huffmana Poprzedni wykład - podsumowanie
Bardziej szczegółowoWygra Polska czy Brazylia, czyli o tym jak zwięźle zapisywać informacje
Wygra Polska czy Brazylia, czyli o tym jak zwięźle zapisywać informacje Witold Tomaszewski Instytut Matematyki Politechniki Śląskiej e-mail: Witold.Tomaszewski@polsl.pl Je n ai fait celle-ci plus longue
Bardziej szczegółowoPrzetwarzanie i transmisja danych multimedialnych. Wykład 9 Kodowanie podpasmowe. Przemysław Sękalski.
Przetwarzanie i transmisja danych multimedialnych Wykład 9 Kodowanie podpasmowe Przemysław Sękalski sekalski@dmcs.pl Politechnika Łódzka Katedra Mikroelektroniki i Technik Informatycznych DMCS Wykład opracowano
Bardziej szczegółowoKodowanie i entropia
Kodowanie i entropia Marek Śmieja Teoria informacji 1 / 34 Kod S - alfabet źródłowy mocy m (np. litery, cyfry, znaki interpunkcyjne), A = {a 1,..., a n } - alfabet kodowy (symbole), Chcemy przesłać tekst
Bardziej szczegółowoWstęp Statyczne kody Huffmana Dynamiczne kody Huffmana Praktyka. Kodowanie Huffmana. Dawid Duda. 4 marca 2004
4 marca 2004 Podstawowe oznaczenia i definicje Wymagania wobec kodu Podstawowa idea Podsumowanie Podstawowe oznaczenia i definicje Podstawowe oznaczenia i definicje: alfabet wejściowy: A = {a 1, a 2,...,
Bardziej szczegółowoWedług raportu ISO z 1988 roku algorytm JPEG składa się z następujących kroków: 0.5, = V i, j. /Q i, j
Kompresja transformacyjna. Opis standardu JPEG. Algorytm JPEG powstał w wyniku prac prowadzonych przez grupę ekspertów (ang. Joint Photographic Expert Group). Prace te zakończyły się w 1991 roku, kiedy
Bardziej szczegółowoWprowadzenie. Algorytmy kompresji danych. Sebastian Deorowicz. Politechnika Śląska. Sebastian Deorowicz (PŚl) Wprowadzenie 2009 02 19 1 / 60
Wprowadzenie Algorytmy kompresji danych Sebastian Deorowicz Politechnika Śląska 2009 02 19 Sebastian Deorowicz (PŚl) Wprowadzenie 2009 02 19 1 / 60 Plan wykładu 1 Przedmiot Algorytmy Kompresji Danych Cel
Bardziej szczegółowoKompresja danych DKDA (7)
Kompresja danych DKDA (7) Marcin Gogolewski marcing@wmi.amu.edu.pl Uniwersytet im. Adama Mickiewicza w Poznaniu Poznań, 22 listopada 2016 1 Kwantyzacja skalarna Wprowadzenie Analiza jakości Typy kwantyzatorów
Bardziej szczegółowoTeoria Informacji i Metody Kompresji Danych
Teoria Informacji i Metody Kompresji Danych 1 Przykładowe zadania (dodatkowe materiały wykładowe) 2 Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL
Bardziej szczegółowoKODY SYMBOLI. Materiały KODA, A.Przelaskowski. Koncepcja przedziałów nieskończonego alfabetu
KODY SYMBOLI Materiały KODA, A.Przelaskowski Koncepcja drzewa binarnego Metoda S-F Kod Huffmana Adaptacyjne drzewo Huffmana Problemy implementacji Koncepcja przedziałów nieskończonego alfabetu Proste kody
Bardziej szczegółowoKodowanie predykcyjne
Kodowanie i kompresja informacji - Wykład 5 22 marca 2010 Motywacje W tekstach naturalnych symbole bardzo często zależa od siebie. Motywacje W tekstach naturalnych symbole bardzo często zależa od siebie.
Bardziej szczegółowoKodowanie informacji. Przygotował: Ryszard Kijanka
Kodowanie informacji Przygotował: Ryszard Kijanka Komputer jest urządzeniem służącym do przetwarzania informacji. Informacją są liczby, ale także inne obiekty, takie jak litery, wartości logiczne, obrazy
Bardziej szczegółowojest rozwiązaniem równania jednorodnego oraz dla pewnego to jest toŝsamościowo równe zeru.
Układy liniowe Układ liniowy pierwszego rzędu, niejednorodny. gdzie Jeśli to układ nazywamy jednorodnym Pamiętamy, Ŝe kaŝde równanie liniowe rzędu m moŝe zostać sprowadzone do układu n równań liniowych
Bardziej szczegółowoDrzewa Decyzyjne, cz.2
Drzewa Decyzyjne, cz.2 Inteligentne Systemy Decyzyjne Katedra Systemów Multimedialnych WETI, PG Opracowanie: dr inŝ. Piotr Szczuko Podsumowanie poprzedniego wykładu Cel: przewidywanie wyniku (określania
Bardziej szczegółowoPodstawy kompresji danych
Podstawy kompresji danych Pojęcie kompresji W ogólności kompresja (kodowanie) jest procedurą (przekształceniem) zmiany reprezentacji wejściowego zbioru danych do postaci wymagającej mniejszej liczby bitów
Bardziej szczegółowoWybrane metody kompresji obrazów
Wybrane metody kompresji obrazów Celem kodowania kompresyjnego obrazu jest redukcja ilości informacji w nim zawartej. Redukcja ta polega na usuwaniu informacji nadmiarowej w obrazie, tzw. redundancji.
Bardziej szczegółowoKodowanie informacji. Kody liczbowe
Wykład 2 2-1 Kodowanie informacji PoniewaŜ komputer jest urządzeniem zbudowanym z układów cyfrowych, informacja przetwarzana przez niego musi być reprezentowana przy pomocy dwóch stanów - wysokiego i niskiego,
Bardziej szczegółowoTechniki multimedialne
Techniki multimedialne Digitalizacja podstawą rozwoju systemów multimedialnych. Digitalizacja czyli obróbka cyfrowa oznacza przetwarzanie wszystkich typów informacji - słów, dźwięków, ilustracji, wideo
Bardziej szczegółowoJęzyki i operacje na językach. Teoria automatów i języków formalnych. Definicja języka
Języki i operacje na językach Teoria automatów i języków formalnych Dr inŝ. Janusz Majewski Katedra Informatyki Definicja języka Definicja języka Niech Σ będzie alfabetem, Σ* - zbiorem wszystkich łańcuchów
Bardziej szczegółowoDla człowieka naturalnym sposobem liczenia jest korzystanie z systemu dziesiętnego, dla komputera natomiast korzystanie z zapisu dwójkowego
Arytmetyka cyfrowa Dla człowieka naturalnym sposobem liczenia jest korzystanie z systemu dziesiętnego, dla komputera natomiast korzystanie z zapisu dwójkowego (binarnego). Zapis binarny - to system liczenia
Bardziej szczegółowoDef. Kod jednoznacznie definiowalny Def. Kod przedrostkowy Def. Kod optymalny. Przykłady kodów. Kody optymalne
Załóżmy, że mamy źródło S, które generuje symbole ze zbioru S={x, x 2,..., x N } z prawdopodobieństwem P={p, p 2,..., p N }, symbolom tym odpowiadają kody P={c, c 2,..., c N }. fektywność danego sposobu
Bardziej szczegółowoDane, informacja, programy. Kodowanie danych, kompresja stratna i bezstratna
Dane, informacja, programy Kodowanie danych, kompresja stratna i bezstratna DANE Uporządkowane, zorganizowane fakty. Główne grupy danych: tekstowe (znaki alfanumeryczne, znaki specjalne) graficzne (ilustracje,
Bardziej szczegółowoAlgorytmy kompresji. Kodowanie Huffmana, kodowanie arytmetyczne
Algorytmy kompresji Kodowanie Huffmana, kodowanie arytmetyczne Kodowanie arytmetyczne Peter Elias 1923-2001 Kodowanie arytmetyczne to metoda kodowania źródłowego dyskretnych źródeł sygnałów, stosowana
Bardziej szczegółowoPrzetwarzanie i transmisja danych multimedialnych. Wykład 8 Transformaty i kodowanie cz. 2. Przemysław Sękalski.
Przetwarzanie i transmisja danych multimedialnych Wykład 8 Transformaty i kodowanie cz. 2 Przemysław Sękalski sekalski@dmcs.pl Politechnika Łódzka Katedra Mikroelektroniki i Technik Informatycznych DMCS
Bardziej szczegółowo12. Wprowadzenie Sygnały techniki cyfrowej Systemy liczbowe. Matematyka: Elektronika:
PRZYPOMNIJ SOBIE! Matematyka: Dodawanie i odejmowanie "pod kreską". Elektronika: Sygnały cyfrowe. Zasadę pracy tranzystorów bipolarnych i unipolarnych. 12. Wprowadzenie 12.1. Sygnały techniki cyfrowej
Bardziej szczegółowoKODY SYMBOLI. Kod Shannona-Fano. Algorytm S-F. Przykład S-F
KODY SYMBOLI Kod Shannona-Fano KODOWANIE DANYCH, A.Przelaskowski Metoda S-F Kod Huffmana Adaptacyjne drzewo Huffmana Problemy implementacji Kod Golomba Podsumowanie Kod drzewa binarnego Na wejściu rozkład:
Bardziej szczegółowoO oszczędnym dziennikarzu, czyli czym jest
O oszczędnym dziennikarzu, czyli czym jest informacja i jak ja mierzymy? Adam Doliwa doliwa@matman.uwm.edu.pl WYKŁAD DLA MŁODZIEŻY WYDZIAŁ MATEMATYKI I INFORMATYKI UWM Olsztyn, 9 lutego 2016 r. Adam Doliwa
Bardziej szczegółowoWstęp do informatyki. Pojęcie liczebności. Zapis liczb. Liczenie bez liczebników. Podstawy arytmetyki komputerowej. Cezary Bolek
Pojęcie liczebności Wstęp do informatyki Podstawy arytmetyki komputerowej Cezary Bolek cbolek@ki.uni.lodz.pl Uniwersytet Łódzki Wydział Zarządzania Katedra Informatyki Naturalna zdolność człowieka do postrzegania
Bardziej szczegółowoZałożenia i obszar zastosowań. JPEG - algorytm kodowania obrazu. Geneza algorytmu KOMPRESJA OBRAZÓW STATYCZNYCH - ALGORYTM JPEG
Założenia i obszar zastosowań KOMPRESJA OBRAZÓW STATYCZNYCH - ALGORYTM JPEG Plan wykładu: Geneza algorytmu Założenia i obszar zastosowań JPEG kroki algorytmu kodowania obrazu Założenia: Obraz monochromatyczny
Bardziej szczegółowoSystemy liczbowe. 1. Przedstawić w postaci sumy wag poszczególnych cyfr liczbę rzeczywistą R = (10).
Wprowadzenie do inżynierii przetwarzania informacji. Ćwiczenie 1. Systemy liczbowe Cel dydaktyczny: Poznanie zasad reprezentacji liczb w systemach pozycyjnych o różnych podstawach. Kodowanie liczb dziesiętnych
Bardziej szczegółowoGramatyki, wyprowadzenia, hierarchia Chomsky ego. Gramatyka
Gramatyki, wyprowadzenia, hierarchia Chomsky ego Teoria automatów i języków formalnych Dr inŝ. Janusz Majewski Katedra Informatyki Gramatyka Gramatyką G nazywamy czwórkę uporządkowaną gdzie: G =
Bardziej szczegółowoAlgorytmy zachłanne. dr inż. Urszula Gałązka
Algorytmy zachłanne dr inż. Urszula Gałązka Algorytm zachłanny O Dokonuje wyboru, który w danej chwili wydaje się najkorzystniejszy. O Mówimy, że jest to wybór lokalnie optymalny O W rzeczywistości nie
Bardziej szczegółowoKod znak-moduł. Wartość liczby wynosi. Reprezentacja liczb w kodzie ZM w 8-bitowym formacie:
Wykład 3 3-1 Reprezentacja liczb całkowitych ze znakiem Do przedstawienia liczb całkowitych ze znakiem stosowane są następujące kody: - ZM (znak-moduł) - U1 (uzupełnienie do 1) - U2 (uzupełnienie do 2)
Bardziej szczegółowoWstęp do informatyki. Pojęcie liczebności. Liczenie bez liczebników. Podstawy arytmetyki komputerowej. Cezary Bolek
Wstęp do informatyki Podstawy arytmetyki komputerowej Cezary Bolek cbolek@ki.uni.lodz.pl Uniwersytet Łódzki Wydział Zarządzania Katedra Informatyki Pojęcie liczebności Naturalna zdolność człowieka do postrzegania
Bardziej szczegółowo0 + 0 = 0, = 1, = 1, = 0.
5 Kody liniowe Jak już wiemy, w celu przesłania zakodowanego tekstu dzielimy go na bloki i do każdego z bloków dodajemy tak zwane bity sprawdzające. Bity te są w ścisłej zależności z bitami informacyjnymi,
Bardziej szczegółowoĆwiczenie nr 4: Kodowanie arytmetyczne, range coder
Algorytmy Kompresji Danych Laboratorium Ćwiczenie nr 4: Kodowanie arytmetyczne, range coder 1. Zapoznać się z opisem implementacji kodera entropijnego range coder i modelem danych opracowanym dla tego
Bardziej szczegółowoMatematyka dyskretna
Matematyka dyskretna Wykład 7: Kody korygujące błędy Gniewomir Sarbicki Błędy transmisji i kodowanie nadmiarowe Zakładamy, że przy pewnym małym prawdopodobieństwie ɛ przy transmisji bit zmienia wartość.
Bardziej szczegółowoNierówność Krafta-McMillana, Kodowanie Huffmana
Nierówność Krafta-McMillana, Kodowanie Huffmana Kodowanie i kompresja informacji - Wykład 2 1 marca 2010 Test na jednoznaczna dekodowalność Kod a jest prefiksem kodu b jeśli b jest postaci ax. x nazywamy
Bardziej szczegółowoJednostki informacji. Bajt moŝna podzielić na dwie połówki 4-bitowe nazywane tetradami (ang. nibbles).
Wykład 1 1-1 Informatyka nauka zajmująca się zbieraniem, przechowywaniem i przetwarzaniem informacji. Informacja obiekt abstrakcyjny, który w postaci zakodowanej moŝe być przechowywany, przesyłany, przetwarzany
Bardziej szczegółowoZADANIE 1. Rozwiązanie:
EUROELEKTR Ogólnopolska Olimpiada Wiedzy Elektrycznej i Elektronicznej Rok szkolny 200/20 Rozwiązania zadań dla grupy teleinformatycznej na zawody II. stopnia ZNIE ramka logiczna w technologii MOS składa
Bardziej szczegółowoEntropia to wielkość określająca liczbę bitów informacji zawartej w danej wiadomości lub źródle. Spełnia ona trzy naturalne warunki: I(s) jest
Entropia to wielkość określająca liczbę bitów informacji zawartej w danej wiadomości lub źródle. Spełnia ona trzy naturalne warunki: I(s) jest malejącą funkcją prawdopodobieństwa zajścia zdarzenia s. I(s)
Bardziej szczegółowoKodowanie Shannona-Fano
Kodowanie Shannona-Fano Kodowanie Shannona-Fano znane było jeszcze przed kodowaniem Huffmana i w praktyce można dzięki niemu osiągnąć podobne wyniki, pomimo, że kod generowany tą metodą nie jest optymalny.
Bardziej szczegółowo1.1. Pozycyjne systemy liczbowe
1.1. Pozycyjne systemy liczbowe Systemami liczenia nazywa się sposób tworzenia liczb ze znaków cyfrowych oraz zbiór reguł umożliwiających wykonywanie operacji arytmetycznych na liczbach. Dla dowolnego
Bardziej szczegółowoKodowanie i kompresja Tomasz Jurdziński Studia Wieczorowe Wykład Kody liniowe - kodowanie w oparciu o macierz parzystości
Kodowanie i kompresja Tomasz Jurdziński Studia Wieczorowe Wykład 13 1 Kody liniowe - kodowanie w oparciu o macierz parzystości Przykład Różne macierze parzystości dla kodu powtórzeniowego. Co wiemy z algebry
Bardziej szczegółowoKodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11,
1 Kwantyzacja skalarna Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11, 10.05.005 Kwantyzacja polega na reprezentowaniu dużego zbioru wartości (być może nieskończonego) za pomocą wartości
Bardziej szczegółowoTechnologie Informacyjne
System binarny Szkoła Główna Służby Pożarniczej Zakład Informatyki i Łączności October 7, 26 Pojęcie bitu 2 Systemy liczbowe 3 Potęgi dwójki 4 System szesnastkowy 5 Kodowanie informacji 6 Liczby ujemne
Bardziej szczegółowoPodstawy Informatyki: Kody. Korekcja błędów.
Podstawy Informatyki: Kody. Korekcja błędów. Adam Kolany Instytut Techniczny adamkolany@pm.katowice.pl Adam Kolany (PWSZ Nowy Sącz, IT) Podstawy Informatyki: Kody. Korekcja błędów. 11 stycznia 2012 1 /
Bardziej szczegółowopobieramy pierwszą literę komunikatu i wypełniamy nią (wszystkie pozycje tą samą literą) bufor słownikowy.
komunikat do zakodowania: a a b a b b a b a c c a b a a a a a c a c b c b b c c a a c b a 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 przyjmujemy długość bufora słownikowego
Bardziej szczegółowoArytmetyka komputera
Arytmetyka komputera Systemy zapisu liczb System dziesiętny Podstawą układu dziesiętnego jest liczba 10, a wszystkie liczby można zapisywać dziesięcioma cyframi: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9. Jednostka
Bardziej szczegółowoStan wysoki (H) i stan niski (L)
PODSTAWY Przez układy cyfrowe rozumiemy układy, w których w każdej chwili występują tylko dwa (zwykle) możliwe stany, np. tranzystor, jako element układu cyfrowego, może być albo w stanie nasycenia, albo
Bardziej szczegółowodr inż. Jacek Naruniec
dr inż. Jacek Naruniec J.Naruniec@ire.pw.edu.pl Entropia jest to średnia ilość informacji przypadająca na jeden znak alfabetu. H( x) n i 1 p( i)log W rzeczywistości określa nam granicę efektywności kodowania
Bardziej szczegółowoKOMPRESJA OBRAZÓW STATYCZNYCH - ALGORYTM JPEG
KOMPRESJA OBRAZÓW STATYCZNYCH - ALGORYTM JPEG Joint Photographic Expert Group - 1986 ISO - International Standard Organisation CCITT - Comité Consultatif International de Téléphonie et Télégraphie Standard
Bardziej szczegółowoPrzetworniki analogowo-cyfrowe - budowa i działanie" anie"
Przetworniki analogowo-cyfrowe - budowa i działanie" anie" Wprowadzenie Wiele urządzeń pomiarowych wyposaŝonych jest obecnie w przetworniki A/C. Końcówki takich urządzeń to najczęściej typowe interfejsy
Bardziej szczegółowoPodstawowe operacje arytmetyczne i logiczne dla liczb binarnych
1 Podstawowe operacje arytmetyczne i logiczne dla liczb binarnych 1. Podstawowe operacje logiczne dla cyfr binarnych Jeśli cyfry 0 i 1 potraktujemy tak, jak wartości logiczne fałsz i prawda, to działanie
Bardziej szczegółowoKwantyzacja wektorowa. Kodowanie różnicowe.
Kwantyzacja wektorowa. Kodowanie różnicowe. Kodowanie i kompresja informacji - Wykład 7 12 kwietnia 2010 Kwantyzacja wektorowa wprowadzenie Zamiast kwantyzować pojedyncze elementy kwantyzujemy całe bloki
Bardziej szczegółowoprawda symbol WIEDZA DANE komunikat fałsz liczba INFORMACJA (nie tyko w informatyce) kod znak wiadomość ENTROPIA forma przekaz
WIEDZA prawda komunikat symbol DANE fałsz kod INFORMACJA (nie tyko w informatyce) liczba znak forma ENTROPIA przekaz wiadomość Czy żyjemy w erze informacji? TAK Bo używamy nowego rodzaju maszyn maszyn
Bardziej szczegółowoKodowanie predykcyjne
Studia Wieczorowe Wrocław, 27.03.2007 Kodowanie informacji Wykład 5 Kodowanie predykcyjne Idea: przewidujemy następny element ciągu i kodujemy różnicę między wartością przewidywaną i rzeczywistą, w oparciu
Bardziej szczegółowoDane, informacja, programy. Kodowanie danych, kompresja stratna i bezstratna
Dane, informacja, programy Kodowanie danych, kompresja stratna i bezstratna DANE Uporządkowane, zorganizowane fakty. Główne grupy danych: tekstowe (znaki alfanumeryczne, znaki specjalne) graficzne (ilustracje,
Bardziej szczegółowoWykład I: Kodowanie liczb w systemach binarnych. Studia Podyplomowe INFORMATYKA Podstawy Informatyki
Studia Podyplomowe INFORMATYKA Podstawy Informatyki Wykład I: Kodowanie liczb w systemach binarnych 1 Część 1 Dlaczego system binarny? 2 I. Dlaczego system binarny? Pojęcie bitu Bit jednostka informacji
Bardziej szczegółowoFundamentals of Data Compression
Załącznik nr 7 do Zarządzenia Rektora nr 10/12 z dnia 21 lutego 2012r. KARTA MODUŁU / KARTA PRZEDMIOTU Kod modułu Nazwa modułu Nazwa modułu w języku angielskim Obowiązuje od roku akademickiego 2012/2013
Bardziej szczegółowoAkademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Elektroniki
Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Elektroniki Przetwarzanie Sygnałów Studia Podyplomowe, Automatyka i Robotyka. Wstęp teoretyczny Zmienne losowe Zmienne losowe
Bardziej szczegółowoArytmetyka liczb binarnych
Wartość dwójkowej liczby stałoprzecinkowej Wartość dziesiętna stałoprzecinkowej liczby binarnej Arytmetyka liczb binarnych b n-1...b 1 b 0,b -1 b -2...b -m = b n-1 2 n-1 +... + b 1 2 1 + b 0 2 0 + b -1
Bardziej szczegółowoModulacja i kodowanie. Labolatorium. Kodowanie źródłowe Kod Huffman a
Modulacja i kodowanie Labolatorium Kodowanie źródłowe Kod Huffman a W tym ćwiczeniu zajmiemy się kodowaniem źródłowym (source coding). 1. Kodowanie źródłowe Głównym celem kodowanie źródłowego jest zmniejszenie
Bardziej szczegółowoRekurencje. Jeśli algorytm zawiera wywołanie samego siebie, jego czas działania moŝe być określony rekurencją. Przykład: sortowanie przez scalanie:
Rekurencje Jeśli algorytm zawiera wywołanie samego siebie, jego czas działania moŝe być określony rekurencją. Przykład: sortowanie przez scalanie: T(n) = Θ(1) (dla n = 1) T(n) = 2 T(n/2) + Θ(n) (dla n
Bardziej szczegółowoGenerowanie ciągów bitów losowych z wykorzystaniem sygnałów pochodzących z komputera
Generowanie ciągów bitów losowych z wykorzystaniem sygnałów pochodzących z komputera Praca dyplomowa magisterska Opiekun: prof. nzw. Zbigniew Kotulski Andrzej Piasecki apiaseck@mion.elka.pw.edu.pl Plan
Bardziej szczegółowoPracownia Komputerowa wykład IV
Pracownia Komputerowa wykład IV dr Magdalena Posiadała-Zezula http://www.fuw.edu.pl/~mposiada/pk16 1 Reprezentacje liczb i znaków! Liczby:! Reprezentacja naturalna nieujemne liczby całkowite naturalny
Bardziej szczegółowoPrzepustowość kanału, odczytywanie wiadomości z kanału, poprawa wydajności kanału.
Przepustowość kanału, odczytywanie wiadomości z kanału, poprawa wydajności kanału Wiktor Miszuris 2 czerwca 2004 Przepustowość kanału Zacznijmy od wprowadzenia równości IA, B HB HB A HA HA B Można ją intuicyjnie
Bardziej szczegółowoJak zadać dobre pytanie, czyli czym jest informacja i jak ja
Jak zadać dobre pytanie, czyli czym jest informacja i jak ja zmierzyć Adam Doliwa doliwa@matman.uwm.edu.pl WYKŁAD Z CYKLU NIEZWYKŁA MATEMATYKA WYDZIAŁ MATEMATYKI I INFORMATYKI UWM Olsztyn, 28 września
Bardziej szczegółowoAlgorytmy i struktury danych. wykład 8
Plan wykładu: Kodowanie. : wyszukiwanie wzorca w tekście, odległość edycyjna. Kodowanie Kodowanie Kodowanie jest to proces przekształcania informacji wybranego typu w informację innego typu. Kod: jest
Bardziej szczegółowoPodręcznik. Wzór Shannona
MODELOWANIE RZECZYWISTOŚCI Daniel Wójcik Instytut Biologii Doświadczalnej PAN d.wojcik@nencki.gov.pl tel. 5892 424 http://www.neuroinf.pl/members/danek/swps/ Iwo Białynicki-Birula Iwona Białynicka-Birula
Bardziej szczegółowoStatystyka hydrologiczna i prawdopodobieństwo zjawisk hydrologicznych.
Statystyka hydrologiczna i prawdopodobieństwo zjawisk hydrologicznych. Statystyka zajmuje się prawidłowościami zaistniałych zdarzeń. Teoria prawdopodobieństwa dotyczy przewidywania, jak często mogą zajść
Bardziej szczegółowoNiech x 1,..., x n będzie ciągiem zdarzeń. ---
Matematyczne podstawy kryptografii, Ćw2 TEMAT 7: Teoria Shannona. Kody Huffmana, entropia. BIBLIOGRAFIA: [] Cz. Bagiński, cez.wipb.pl, [2] T. H. Cormen, C. E. Leiserson, R. L Rivest, Wprowadzenie do algorytmów,
Bardziej szczegółowo