Teoria Informacji - wykład. Kodowanie wiadomości
|
|
- Andrzej Sowiński
- 6 lat temu
- Przeglądów:
Transkrypt
1 Teoria Informacji - wykład Kodowanie wiadomości
2 Definicja kodu Niech S={s 1, s 2,..., s q } oznacza dany zbiór elementów. Kodem nazywamy wówczas odwzorowanie zbioru wszystkich możliwych ciągów utworzonych z elementów zbioru S w pewien zbiór ciągów utworzonych z elementów innego zbioru X={x 1, x 2,..., x r }. Zbiór S to zbiór wiadomości elementarnych, a zbiór X zbiorem sygnałów elementarnych. Cecha kodu mając ciąg cyfr binarnych tworzących ciąg kodowy możemy jednoznacznie powrócić do ciągu wiadomości, tzn. zdekodować wiadomość.
3 Rodzaje kodów KODY NIEBLOKOWE BLOKOWE OSOBLIWE NIEOSOBLIWE NIEJEDNOZNACZNIE DEKODOWALNE JEDNOZNACZNIE DEKODOWALNE Z OPÓŹNIENIEM BEZ OPÓŹNIENIA
4 Zawężenie definicji kodu Kodem blokowym nazywamy kod, który każdą z wiadomości elementarnych wchodzących w skład zbioru S odwzorowuje w ustalony ciąg sygnałów elementarnych ze zbioru X. Takie ciągi sygnałów elementarnych nazywamy ciągami kodowymi. Ciąg kodowy odpowiadający wiadomości s i oznaczać będziemy przez X i. Tak więc symbol X i oznacza ciąg złożony z elementów typu x j.
5 Długość słowa kodowego długości ciągów kodowych s 1 =x 11 x 12...x 1l1 l 1 s i =x i1 x i2...x ili l i s q =x q1 x q2...x qlq l q
6 Nieosobliwy kod Wiadomości elementarne Ciągi kodowe s 1 0 s s 3 00 s Kod blokowy jest nieosobliwy, jeżeli wszystkie jego ciągi kodowe różnią się nawzajem.
7 Rozszerzenie kodu Definicja n-krotnym rozszerzeniem kodu blokowego, przyporządkowującego wiadomościom s i ciągi kodowe X i, jest kod blokowy, który ciągom wiadomości elementarnych (s i1, s i2,..., s in ) przyporządkowuje ciągi ciągów kodowych (X i1, X i2,..., X in ). n-krotne rozszerzenie kodu blokowego jest również kodem blokowym.
8 Wiadomości elementarne Ciągi kodowe s 1 0 s 2 11 s 3 00 s 4 01 s 1 s 3? s 3 s 1 Przykład 2-krotnego Wiadomości elementarne rozszerzenia kodu Ciągi kodowe Wiadomości elementarne Ciągi kodowe s 1 s s 3 s s 1 s s 3 s s 1 s s 3 s s 1 s s 3 s s 2 s s 4 s s 2 s s 4 s s 2 s s 4 s s 2 s s 4 s
9 Kod jednoznacznie dekodowalny Kod blokowy jest jednoznacznie dekodowalny wtedy i tylko wtedy, gdy n-krotne rozszerzenie tego kodu jest kodem nieosobliwym dla dowolnego skończonego n.
10 Przykład kodów jednoznacznie dekodowalnych Wiadomości elementarne Kod A Kod B s s s s KodB Kod z przecinkiem sygnał elementarny 0 pełni funkcję przecinka rozdzielającego jeden ciąg kodowy od drugiego KodA Wszystkie ciągi kodowe tej samej długości Kod nieosobliwy Wiadomości elementarne Kod C s 1 0 s 2 01 s s
11 Kod dekodowalny bez opóźnienia Jednoznacznie dekodowalny kod będziemy nazywać kodem dekodowalnym bez opóźnienia, jeżeli każdy z ciągów kodowych tego kodu można dekodować bez czekania aż pojawią się sygnały elementarne odpowiadające dalszym ciągom kodowym (następującym po ciągu kodowym aktualnie dekodowanym).
12 Kod dekodowalny bez opóźnienia Ogólny test Niech X 1 =(x i1, x i2,..., x im ) będzie ciągiem kodowym pewnego kodu. Ciąg sygnałów elementarnych (x i1, x i2,..., x ij ), gdzie j m nazywamy przedrostkiem ciągu kodowego. Warunkiem koniecznym i dostatecznym na to, aby dany kod był kodem dekodowalnym bez opóźnienia, jest, aby żaden pełny ciąg kodowy tego kodu nie był użyty jako przedrostek innego ciągu kodowego tego kodu.
13 Przykłady kodów dekodowalnych bez opóźnienia Wyjście źródła Kod blokowy Kod z przecinkiem s s s s
14 Nierówność Krafta Nierówność Krafta określa warunki konieczne i dostateczne istnienia kodu dekdowalnego bez opóźnień z ciągami kodowymi o długości l 1, l 2,..., l q. q i= 1 r l i 1 l i długość i-tego ciągu kodowego q ilość ciągów kodowych r ilość wiadomości elementarnych podstawa systemu kodowego
15 Średnia długość ciągu kodowego Niech kod blokowy odwzorowuje wiadomości s 1, s 2,..., s q w ciągi kodowe X 1, X 2,..., X q. Niech prawdopodobieństwa tych wiadomości będą równe P 1, P 2,..., P q oraz niech długości odpowiednich ciągów kodowych będą równe l 1, l 2,..., l q. Wówczas średnią długość L ciągu kodowego definiujemy wzorem: q L = i= 1 P i l i p i prawdopodobieństwo wystąpienia i-tej wiadomości l i długość i-tego ciągu kodowego q ilość ciągów kodowych r ilość wiadomości elementarnych
16 Kod o możliwie najmniejszej długości ciągu kodowego Definicja Rozważmy kod jednoznacznie dekodowalny, przyporządkowujący elementom źródła wiadomości S ciągi kodowe zbudowane z sygnałów elementarnych, których zbiór zawiera r elementów. Kod taki nazywamy kodem zwięzłym (dla źródła S), jeżeli jego średnia długość jest mniejsza lub równa średniej długości wszystkich jednoznacznie dekodowalnych kodów dla tego samego źródła wiadomości i tego samego zbioru sygnałów elementarnych.
17 Minimalna długość L Skąd: H ( s) log r L Co jest jednoznaczne z: H r ( s) L
18 Pierwsze twierdzenie Shannona (Twierdzenie o kodowaniu dla kanałów bezszumowych) Najmniejsza średnia liczba r-narnych sygnałów elementarnych przypadająca na pojedynczą wiadomość jest nie mniejsza niż entropia źródła mierzona w jednostkach r-narnych. lim n L n n = H r ( S) L n średnia długość ciągów kodowych odpowiadających wiadomościom elementarnym ze źródła S n krotność rozszerzenia źródła H r entropia mierzona w jednostkach r-narnych
19 Kody Huffmana
20 Metody statystyczne Metoda Huffmana S={x 1,...,x q } jest alfabetem źródła S, P={p 1,...,p q } jest zbiorem prawdopodobieństw stowarzyszonych ze zbiorem S. Najpierw prawdopodobieństwa p i =p(x i ) użycia liter źródłowych x i są ustawione w ciąg nierosnący, tzn. p 1 p 2... p q
21 Metody statystyczne Metoda Huffmana 1. Konstrukcja źródeł zredukowanych 2 ostatnie wiadomości elementarne źródła S traktujemy jako jedną wtórną (prawdopodobieństwo równe sumie prawdopodobieństw składowych elementów). Otrzymujemy w miejsce źródła pierwotnego S nowe źródło S 1 o zbiorze zawierającym q-1 elementów. Takie źródło nazywamy źródłem zredukowanym. Procedurę tę powtarzamy do momentu, gdy uzyskamy 2-elementowe źródło zredukowane.
22 Kody Huffmana (kody zwięzłe) Konstrukcja kodów w trzech etapach: 1 ze źródła pierwotnego konstruujemy ciąg źródła zredukowanego, 2 znajdujemy kod zwięzły dla jednego ze źródeł w tym ciągu, 3 konstruowanie kodu dla kolejnych źródeł aż do źródła pierwotnego Kodowanie Wiadomości ostatniego źródła zredukowanego kodujemy, nadając im wartości 0 i 1.
23 Binarny kod Huffmana Uszereguj wiadomości wg malejących prawdopodobieństw Połącz dwa najmniej prawdopodobne wiadomości w jedną TAK Czy liczba wiadomości jest większa od 2? NIE Przypisz do każdej z dwu wiadomości różne bity Rozłącz połączone ostatnio dwie wiadomości i do wspólnego kodu każdej z nich dopisz inny bit TAK Czy są jeszcze złączone wiadomości? NIE
24 Przykład binarnego kodu zwięzłego Źródło pierwotne Źródło zredukowane Wiadomości elementarne Prawdopodobieństwa S 1 S 2 S 3 S 4 1 s 1 0,4 0,4 0,4 0,4 0, s 2 0,3 0,3 0,3 0,3 0, s 3 0,1 0,1 0,2 0, s 4 0,1 0,1 0, s 5 0,06 0, s 6 0,
25 Metoda Huffmana r-narne kody zwięzłe 1. Łączenie r-wiadomości w 1 wiadomość. 2. Ostatnie źródło musi zawierać r-wiadomości. 3. Źródło pierwotne musi zawierać r+k(r-1), wiadomości; k jest liczbą całkowitą.
26 r-narne kody zwięzłe Ostatnie źródło zawiera w swym zbiorze r elementów wtedy i tylko wtedy, gdy źródło pierwotne zawiera tych elementów r+k(r-1), gdzie k całkowite. np. n=r+k(r-1)=13, dla k=3, r=4
27 r-narne kody Huffmana Uwagi do algorytmu Łączyć będzie się po r najmniej prawdopodobnych wiadomości Aby na końcu uzyskać dokładnie r wiadomości, za pierwszym razem połączymy nie więcej niż r wiadomości, aby w następnym kroku ich liczba była równa dla dowolnego całkowitego k. r + k (r 1) r Dozwolone liczby wiadomości
28 Algorytm r 0 =r; Oblicz liczbę r 0 wiadomości do połączenia Uszereguj wiadomości wg malejących prawdopodobieństw Połącz r 0 najmniej prawdopodobnych wiadomości w jedną TAK Czy liczba wiadomości jest większa od r? NIE Przypisz do każdej z r wiadomości różne symbole Rozłącz połączone ostatnio r wiadomości i do wspólnego kodu każdej z nich dopisz inny symbol TAK Czy są jeszcze złączone wiadomości? NIE
29 Przykład kodu r-narnego Dla r=3. Źródło pierwotne Wiadomości elementarne Prawdopodobieństwa Źródło zredukowane S 1 S 2 S 3 s 1 0,4 0,4 0,4 0,4 s 2 0,2 0,2 0,2 0,4 s 3 0,1 0,1 0,2 0,2 s 4 0,1 0,1 0,1 s 5 0,05 0,1 0,1 s 6 0,05 0,05 s 7 0,05 0,05 s 8 0,05 s
30 Sprawność i rozwlekłość kodu Definicje. Sprawność kodu Rozwlekłość kodu η = H r ( S) L rozwlekłość = 1 η = L H r ( S) L L średnia długość ciągów kodowych odpowiadających wiadomościom elementarnym ze źródła S H r entropia mierzona w jednostkach r-narnych η - sprawność kodu
Teoria informacji i kodowania Ćwiczenia
Teoria informacji i kodowania Ćwiczenia Piotr Chołda, Andrzej Kamisiński Katedra Telekomunikacji Akademii Górniczo-Hutniczej Kod źródłowy Kodem źródłowym nazywamy funkcję różnowartościową, która elementom
Bardziej szczegółowoElementy teorii informacji i kodowania
i kodowania Entropia, nierówność Krafta, kodowanie optymalne Marcin Jenczmyk m.jenczmyk@knm.katowice.pl 17 kwietnia 2015 M. Jenczmyk Spotkanie KNM i kodowania 1 / 20 Niech S = {x 1,..., x q } oznacza alfabet,
Bardziej szczegółowoKompresja bezstratna. Entropia. Kod Huffmana
Kompresja bezstratna. Entropia. Kod Huffmana Kodowanie i bezpieczeństwo informacji - Wykład 10 29 kwietnia 2013 Teoria informacji Jeśli P(A) jest prawdopodobieństwem wystapienia informacji A to niech i(a)
Bardziej szczegółowoGranica kompresji Kodowanie Shannona Kodowanie Huffmana Kodowanie ciągów Kodowanie arytmetyczne. Kody. Marek Śmieja. Teoria informacji 1 / 35
Kody Marek Śmieja Teoria informacji 1 / 35 Entropia Entropia określa minimalną statystyczną długość kodowania (przyjmijmy dla prostoty że alfabet kodowy A = {0, 1}). Definicja Niech X = {x 1,..., x n }
Bardziej szczegółowoKodowanie i entropia
Kodowanie i entropia Marek Śmieja Teoria informacji 1 / 34 Kod S - alfabet źródłowy mocy m (np. litery, cyfry, znaki interpunkcyjne), A = {a 1,..., a n } - alfabet kodowy (symbole), Chcemy przesłać tekst
Bardziej szczegółowoNierówność Krafta-McMillana, Kodowanie Huffmana
Nierówność Krafta-McMillana, Kodowanie Huffmana Kodowanie i kompresja informacji - Wykład 2 1 marca 2010 Test na jednoznaczna dekodowalność Kod a jest prefiksem kodu b jeśli b jest postaci ax. x nazywamy
Bardziej szczegółowoWygra Polska czy Brazylia, czyli o tym jak zwięźle zapisywać informacje
Wygra Polska czy Brazylia, czyli o tym jak zwięźle zapisywać informacje Witold Tomaszewski Instytut Matematyki Politechniki Śląskiej e-mail: Witold.Tomaszewski@polsl.pl Je n ai fait celle-ci plus longue
Bardziej szczegółowoKodowanie i kompresja Streszczenie Studia dzienne Wykład 9,
1 Kody Tunstalla Kodowanie i kompresja Streszczenie Studia dzienne Wykład 9, 14.04.2005 Inne podejście: słowa kodowe mają ustaloną długość, lecz mogą kodować ciągi liter z alfabetu wejściowego o różnej
Bardziej szczegółowoteoria informacji Entropia, informacja, kodowanie Mariusz Różycki 24 sierpnia 2015
teoria informacji Entropia, informacja, kodowanie Mariusz Różycki 24 sierpnia 2015 1 zakres materiału zakres materiału 1. Czym jest teoria informacji? 2. Wprowadzenie matematyczne. 3. Entropia i informacja.
Bardziej szczegółowoKody Tunstalla. Kodowanie arytmetyczne
Kody Tunstalla. Kodowanie arytmetyczne Kodowanie i kompresja informacji - Wykład 3 8 marca 2010 Kody Tunstalla Wszystkie słowa kodowe maja ta sama długość ale jeden kod może kodować różna liczbę liter
Bardziej szczegółowoKompresja danych kodowanie Huffmana. Dariusz Sobczuk
Kompresja danych kodowanie Huffmana Dariusz Sobczuk Plan wykładu Kodowanie metodą Shannona-Fano Kodowanie metodą Huffmana Elementarny kod Golomba Kod Golomba Kod Rice a kompresja danych 2 Efektywny kod
Bardziej szczegółowoNotatki z Podstaw kodowania i kryptografii. switch486 WIZ : PWr na podstawie folii z wykładu i ćwiczeń dr inż. E. Kukli Złożone W Systemie L A TEX
Notatki z Podstaw kodowania i kryptografii switch486 WIZ : PWr na podstawie folii z wykładu i ćwiczeń dr inż. E. Kukli Złożone W Systemie L A TEX Wrocław 5.6.2008 Spis treści I Kodowanie 5 Wiadomość, a
Bardziej szczegółowoDef. Kod jednoznacznie definiowalny Def. Kod przedrostkowy Def. Kod optymalny. Przykłady kodów. Kody optymalne
Załóżmy, że mamy źródło S, które generuje symbole ze zbioru S={x, x 2,..., x N } z prawdopodobieństwem P={p, p 2,..., p N }, symbolom tym odpowiadają kody P={c, c 2,..., c N }. fektywność danego sposobu
Bardziej szczegółowoEntropia Kodowanie. Podstawy kompresji. Algorytmy kompresji danych. Sebastian Deorowicz
Algorytmy kompresji danych 2007 02 27 Plan wykładu 1 Modelowanie i kodowanie 2 Modelowanie i kodowanie Plan wykładu 1 Modelowanie i kodowanie 2 Modelowanie i kodowanie definicja stowarzyszona ze zbiorem
Bardziej szczegółowoTemat: Algorytm kompresji plików metodą Huffmana
Temat: Algorytm kompresji plików metodą Huffmana. Wymagania dotyczące kompresji danych Przez M oznaczmy zbiór wszystkich możliwych symboli występujących w pliku (alfabet pliku). Przykład M = 2, gdy plik
Bardziej szczegółowoKodowanie Huffmana. Platforma programistyczna.net; materiały do laboratorium 2014/15 Marcin Wilczewski
Kodowanie Huffmana Platforma programistyczna.net; materiały do laboratorium 24/5 Marcin Wilczewski Algorytm Huffmana (David Huffman, 952) Algorytm Huffmana jest popularnym algorytmem generującym optymalny
Bardziej szczegółowoPodstawy Informatyki: Kody. Korekcja błędów.
Podstawy Informatyki: Kody. Korekcja błędów. Adam Kolany Instytut Techniczny adamkolany@pm.katowice.pl Adam Kolany (PWSZ Nowy Sącz, IT) Podstawy Informatyki: Kody. Korekcja błędów. 11 stycznia 2012 1 /
Bardziej szczegółowoTeoria informacji i kodowania Ćwiczenia Sem. zimowy 2016/2017
Kody źródłowe jednoznacznie dekodowalne Zadanie Ile najwięcej słów kodowych może liczyć kod binarny jednoznacznie dekodowalny, którego najdłuższe słowo ma siedem liter? (Odp. 28) Zadanie 2 Zbiór sześciu
Bardziej szczegółowoteoria informacji Kanały komunikacyjne, kody korygujące Mariusz Różycki 25 sierpnia 2015
teoria informacji Kanały komunikacyjne, kody korygujące Mariusz Różycki 25 sierpnia 2015 1 wczoraj Wprowadzenie matematyczne. Entropia i informacja. Kodowanie. Kod ASCII. Stopa kodu. Kody bezprefiksowe.
Bardziej szczegółowoPodstawowe pojęcia. Teoria informacji
Kodowanie i kompresja informacji - Wykład 1 22 luty 2010 Literatura K. Sayood, Kompresja danych - wprowadzenie, READ ME 2002 (ISBN 83-7243-094-2) Literatura K. Sayood, Kompresja danych - wprowadzenie,
Bardziej szczegółowoKodowanie informacji
Kodowanie informacji Tomasz Wykład 4: kodowanie arytmetyczne Motywacja Podstawy i własności Liczby rzeczywiste Motywacje 1 średnia długość kodu Huffmana może odbiegać o p max + 0.086 od entropii, gdzie
Bardziej szczegółowoKodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11,
1 Kwantyzacja skalarna Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11, 10.05.005 Kwantyzacja polega na reprezentowaniu dużego zbioru wartości (być może nieskończonego) za pomocą wartości
Bardziej szczegółowoKompresja Kodowanie arytmetyczne. Dariusz Sobczuk
Kompresja Kodowanie arytmetyczne Dariusz Sobczuk Kodowanie arytmetyczne (lata 1960-te) Pierwsze prace w tym kierunku sięgają początków lat 60-tych XX wieku Pierwszy algorytm Eliasa nie został opublikowany
Bardziej szczegółowoWstęp do Informatyki
Wstęp do Informatyki Bożena Woźna-Szcześniak bwozna@gmail.com Jan Długosz University, Poland Wykład 4 Bożena Woźna-Szcześniak (AJD) Wstęp do Informatyki Wykład 4 1 / 1 DZIELENIE LICZB BINARNYCH Dzielenie
Bardziej szczegółowoTeoria informacji i kodowania Ćwiczenia Sem. zimowy 2016/2017
Algebra liniowa Zadanie 1 Czy jeśli wektory x, y i z, należące do binarnej przestrzeni wektorowej nad ciałem Galois GF (2), są liniowo niezależne, to można to samo orzec o następujących trzech wektorach:
Bardziej szczegółowoWstęp Statyczne kody Huffmana Dynamiczne kody Huffmana Praktyka. Kodowanie Huffmana. Dawid Duda. 4 marca 2004
4 marca 2004 Podstawowe oznaczenia i definicje Wymagania wobec kodu Podstawowa idea Podsumowanie Podstawowe oznaczenia i definicje Podstawowe oznaczenia i definicje: alfabet wejściowy: A = {a 1, a 2,...,
Bardziej szczegółowo1. Definicja granicy właściwej i niewłaściwej funkcji.
V. Granica funkcji jednej zmiennej. 1. Definicja granicy właściwej i niewłaściwej funkcji. Definicja 1.1. (sąsiedztwa punktu i sąsiedztwa nieskończoności) Niech x 0 R, r > 0, a, b R. Definiujemy S(x 0,
Bardziej szczegółowoMatematyka dyskretna
Matematyka dyskretna Wykład 7: Kody korygujące błędy Gniewomir Sarbicki Błędy transmisji i kodowanie nadmiarowe Zakładamy, że przy pewnym małym prawdopodobieństwie ɛ przy transmisji bit zmienia wartość.
Bardziej szczegółowoKody blokowe Wykład 2, 10 III 2011
Kody blokowe Wykład 2, 10 III 2011 Literatura 1. R.M. Roth, Introduction to Coding Theory, 2006 2. W.C. Huffman, V. Pless, Fundamentals of Error-Correcting Codes, 2003 3. D.R. Hankerson et al., Coding
Bardziej szczegółowoKODY SYMBOLI. Kod Shannona-Fano. Algorytm S-F. Przykład S-F
KODY SYMBOLI Kod Shannona-Fano KODOWANIE DANYCH, A.Przelaskowski Metoda S-F Kod Huffmana Adaptacyjne drzewo Huffmana Problemy implementacji Kod Golomba Podsumowanie Kod drzewa binarnego Na wejściu rozkład:
Bardziej szczegółowoKodowanie i kompresja Streszczenie Studia dzienne Wykład 6
Kodowanie i kompresja Streszczenie Studia dzienne Wykład 6 1 Kody cykliczne: dekodowanie Definicja 1 (Syndrom) Niech K będzie kodem cyklicznym z wielomianem generuja- cym g(x). Resztę z dzielenia słowa
Bardziej szczegółowoWST P DO TEORII INFORMACJI I KODOWANIA. Grzegorz Szkibiel. Wiosna 2013/14
WST P DO TEORII INFORMACJI I KODOWANIA Grzegorz Szkibiel Wiosna 2013/14 Spis tre±ci 1 Kodowanie i dekodowanie 4 1.1 Kodowanie a szyfrowanie..................... 4 1.2 Podstawowe poj cia........................
Bardziej szczegółowoPrzetwarzanie i transmisja danych multimedialnych. Wykład 3 Kodowanie Shannona Fano i Huffmana. Przemysław Sękalski.
Przetwarzanie i transmisja danych multimedialnych Wykład 3 Kodowanie Shannona Fano i Huffmana Przemysław Sękalski sekalski@dmcs.pl Politechnika Łódzka Katedra Mikroelektroniki i Technik Informatycznych
Bardziej szczegółowoDefinicja. Jeśli. wtedy
Definicja Jeśli wtedy Cel kompresji: zredukowanie do minimum oczekiwanego (średniego) kosztu gdzie l i jest długością słowa kodu c i kodującego symbol a i Definicja Definicje Efektywność kodowania określamy
Bardziej szczegółowoJęzyki i metodyka programowania. Reprezentacja danych w systemach komputerowych
Reprezentacja danych w systemach komputerowych Kod (łac. codex - spis), ciąg składników sygnału (kombinacji sygnałów elementarnych, np. kropek i kresek, impulsów prądu, symboli) oraz reguła ich przyporządkowania
Bardziej szczegółowoWYDZIAŁ MATEMATYKI KARTA PRZEDMIOTU
Zał. nr do ZW WYDZIAŁ MATEMATYKI KARTA PRZEDMIOTU Nazwa w języku polskim PODSTAWY TEORII INFORMACJI Nazwa w języku angielskim Introduction to Information Theory Kierunek studiów (jeśli dotyczy): Matematyka
Bardziej szczegółowoKodowanie i kompresja Tomasz Jurdziński Studia Wieczorowe Wykład Kody liniowe - kodowanie w oparciu o macierz parzystości
Kodowanie i kompresja Tomasz Jurdziński Studia Wieczorowe Wykład 13 1 Kody liniowe - kodowanie w oparciu o macierz parzystości Przykład Różne macierze parzystości dla kodu powtórzeniowego. Co wiemy z algebry
Bardziej szczegółowoKody blokowe Wykład 5a;
Kody blokowe Wykład 5a; 31.03.2011 1 1 Kolorowanie hiperkostki Definicja. W teorii grafów symbol Q n oznacza kostkę n-wymiarową, czyli graf o zbiorze wierzchołków V (Q n ) = {0, 1} n i zbiorze krawędzi
Bardziej szczegółowoTeoria Informacji i Metody Kompresji Danych
Teoria Informacji i Metody Kompresji Danych 1 Przykładowe zadania (dodatkowe materiały wykładowe) 2 Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL
Bardziej szczegółowo0 + 0 = 0, = 1, = 1, = 0.
5 Kody liniowe Jak już wiemy, w celu przesłania zakodowanego tekstu dzielimy go na bloki i do każdego z bloków dodajemy tak zwane bity sprawdzające. Bity te są w ścisłej zależności z bitami informacyjnymi,
Bardziej szczegółowoEntropia to wielkość określająca liczbę bitów informacji zawartej w danej wiadomości lub źródle. Spełnia ona trzy naturalne warunki: I(s) jest
Entropia to wielkość określająca liczbę bitów informacji zawartej w danej wiadomości lub źródle. Spełnia ona trzy naturalne warunki: I(s) jest malejącą funkcją prawdopodobieństwa zajścia zdarzenia s. I(s)
Bardziej szczegółowoKodowanie informacji. Przygotował: Ryszard Kijanka
Kodowanie informacji Przygotował: Ryszard Kijanka Komputer jest urządzeniem służącym do przetwarzania informacji. Informacją są liczby, ale także inne obiekty, takie jak litery, wartości logiczne, obrazy
Bardziej szczegółowoZADANIE 1. Rozwiązanie:
EUROELEKTR Ogólnopolska Olimpiada Wiedzy Elektrycznej i Elektronicznej Rok szkolny 200/20 Rozwiązania zadań dla grupy teleinformatycznej na zawody II. stopnia ZNIE ramka logiczna w technologii MOS składa
Bardziej szczegółowoPrzetwarzanie i transmisja danych multimedialnych. Wykład 2 Podstawy kompresji. Przemysław Sękalski.
Przetwarzanie i transmisja danych multimedialnych Wykład Podstawy kompresji Przemysław Sękalski sekalski@dmcs.pl Politechnika Łódzka Katedra Mikroelektroniki i Technik Informatycznych DMCS Zawartość wykładu.
Bardziej szczegółowoTemat 7. Dekodery, enkodery
Temat 7. Dekodery, enkodery 1. Pojęcia: koder, dekoder, enkoder, konwerter kodu, transkoder, enkoder priorytetowy... Koderami (lub enkoderami) nazywamy układy realizujące proces zamiany informacji kodowanej
Bardziej szczegółowomgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 4, strona 1. GOLOMBA I RICE'A
mgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 4, strona 1. KOMPRESJA ALGORYTMEM ARYTMETYCZNYM, GOLOMBA I RICE'A Idea algorytmu arytmetycznego Przykład kodowania arytmetycznego Renormalizacja
Bardziej szczegółowo0-0000, 1-0001, 2-0010, 3-0011 itd... 9-1001.
KODOWANIE Jednym z problemów, z którymi spotykamy się w informatyce, jest problem właściwego wykorzystania pamięci. Konstruując algorytm staramy się zwykle nie tylko o zminimalizowanie kosztów czasowych
Bardziej szczegółowoStatystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory
Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory Dr Anna ADRIAN Paw B5, pok 407 adrian@tempus.metal.agh.edu.pl
Bardziej szczegółowoW11 Kody nadmiarowe, zastosowania w transmisji danych
W11 Kody nadmiarowe, zastosowania w transmisji danych Henryk Maciejewski Jacek Jarnicki Marek Woda www.zsk.iiar.pwr.edu.pl Plan wykładu 1. Kody nadmiarowe w systemach transmisji cyfrowej 2. Typy kodów,
Bardziej szczegółowoprawda symbol WIEDZA DANE komunikat fałsz liczba INFORMACJA (nie tyko w informatyce) kod znak wiadomość ENTROPIA forma przekaz
WIEDZA prawda komunikat symbol DANE fałsz kod INFORMACJA (nie tyko w informatyce) liczba znak forma ENTROPIA przekaz wiadomość Czy żyjemy w erze informacji? TAK Bo używamy nowego rodzaju maszyn maszyn
Bardziej szczegółowo22 Pochodna funkcji definicja
22 Pochodna funkcji definicja Rozważmy funkcję f : (a, b) R, punkt x 0 b = +. (a, b), dopuszczamy również a = lub Definicja 33 Mówimy, że funkcja f jest różniczkowalna w punkcie x 0, gdy istnieje granica
Bardziej szczegółowoKODY SYMBOLI. Materiały KODA, A.Przelaskowski. Koncepcja przedziałów nieskończonego alfabetu
KODY SYMBOLI Materiały KODA, A.Przelaskowski Koncepcja drzewa binarnego Metoda S-F Kod Huffmana Adaptacyjne drzewo Huffmana Problemy implementacji Koncepcja przedziałów nieskończonego alfabetu Proste kody
Bardziej szczegółowoMinimalizacja automatów niezupełnych.
Minimalizacja automatów niezupełnych. Automatem zredukowanym nazywamy automat, który jest zdolny do wykonywania tej samej pracy, którą może wykonać dany automat, przy czym ma on mniejszą liczbę stanów.
Bardziej szczegółowoWykład nr 3 Techniki Mikroprocesorowe. dr inż. Artur Cichowski
Wykład nr 3 Techniki Mikroprocesorowe dr inż. Artur Cichowski Automat skończony jest przetwornikiem ciągu symboli wejściowych na ciąg symboli wyjściowych. Zbiory symboli wejściowych x X i wyjściowych y
Bardziej szczegółowoZałożenia i obszar zastosowań. JPEG - algorytm kodowania obrazu. Geneza algorytmu KOMPRESJA OBRAZÓW STATYCZNYCH - ALGORYTM JPEG
Założenia i obszar zastosowań KOMPRESJA OBRAZÓW STATYCZNYCH - ALGORYTM JPEG Plan wykładu: Geneza algorytmu Założenia i obszar zastosowań JPEG kroki algorytmu kodowania obrazu Założenia: Obraz monochromatyczny
Bardziej szczegółowoO oszczędnym dziennikarzu, czyli czym jest
O oszczędnym dziennikarzu, czyli czym jest informacja i jak ja mierzymy? Adam Doliwa doliwa@matman.uwm.edu.pl WYKŁAD DLA MŁODZIEŻY WYDZIAŁ MATEMATYKI I INFORMATYKI UWM Olsztyn, 9 lutego 2016 r. Adam Doliwa
Bardziej szczegółowo1. Synteza automatów Moore a i Mealy realizujących zadane przekształcenie 2. Transformacja automatu Moore a w automat Mealy i odwrotnie
Opracował: dr hab. inż. Jan Magott KATEDRA INFORMATYKI TECHNICZNEJ Ćwiczenia laboratoryjne z Logiki Układów Cyfrowych ćwiczenie 207 Temat: Automaty Moore'a i Mealy 1. Cel ćwiczenia Celem ćwiczenia jest
Bardziej szczegółowoNiech x 1,..., x n będzie ciągiem zdarzeń. ---
Matematyczne podstawy kryptografii, Ćw2 TEMAT 7: Teoria Shannona. Kody Huffmana, entropia. BIBLIOGRAFIA: [] Cz. Bagiński, cez.wipb.pl, [2] T. H. Cormen, C. E. Leiserson, R. L Rivest, Wprowadzenie do algorytmów,
Bardziej szczegółowoSpacery losowe generowanie realizacji procesu losowego
Spacery losowe generowanie realizacji procesu losowego Michał Krzemiński Streszczenie Omówimy metodę generowania trajektorii spacerów losowych (błądzenia losowego), tj. szczególnych procesów Markowa z
Bardziej szczegółowoRozkłady statystyk z próby
Rozkłady statystyk z próby Rozkłady statystyk z próby Przypuśćmy, że wykonujemy serię doświadczeń polegających na 4 krotnym rzucie symetryczną kostką do gry, obserwując liczbę wyrzuconych oczek Nr kolejny
Bardziej szczegółowoLaboratorium ochrony danych
Laboratorium ochrony danych Ćwiczenie nr 3 Temat ćwiczenia: Kod BCH Cel dydaktyczny: Zapoznanie się z metodami detekcji i korekcji błędów transmisyjnych za pomocą binarnych kodów cyklicznych, na przykładzie
Bardziej szczegółowoRachunek prawdopodobieństwa
Rachunek prawdopodobieństwa Sebastian Rymarczyk srymarczyk@afm.edu.pl Tematyka zajęć 1. Elementy kombinatoryki. 2. Definicje prawdopodobieństwa. 3. Własności prawdopodobieństwa. 4. Zmienne losowe, parametry
Bardziej szczegółowoAlgorytmy kodowania entropijnego
Algorytmy kodowania entropijnego 1. Kodowanie Shannona-Fano 2. Kodowanie Huffmana 3. Jednoznaczność kodów Huffmana. Kod o minimalnej wariancji 4. Dynamiczne kodowanie Huffmana Poprzedni wykład - podsumowanie
Bardziej szczegółowoZdarzenia losowe i prawdopodobieństwo
Rozdział 1 Zdarzenia losowe i prawdopodobieństwo 1.1 Klasyfikacja zdarzeń Zdarzenie elementarne pojęcie aprioryczne, które nie może być zdefiniowane. Odpowiednik pojęcia punkt w geometrii. Zdarzenie elementarne
Bardziej szczegółowoTranzystor JFET i MOSFET zas. działania
Tranzystor JFET i MOSFET zas. działania brak kanału v GS =v t (cutoff ) kanał otwarty brak kanału kanał otwarty kanał zamknięty w.2, p. kanał zamknięty Co było na ostatnim wykładzie? Układy cyfrowe Najczęściej
Bardziej szczegółowoWYKŁAD Z ANALIZY MATEMATYCZNEJ I. dr. Elżbieta Kotlicka. Centrum Nauczania Matematyki i Fizyki
WYKŁAD Z ANALIZY MATEMATYCZNEJ I dr. Elżbieta Kotlicka Centrum Nauczania Matematyki i Fizyki http://im0.p.lodz.pl/~ekot Łódź 2006 Spis treści 1. CIĄGI LICZBOWE 2 1.1. Własności ciągów liczbowych o wyrazach
Bardziej szczegółowoKodowanie informacji. Kody liczbowe
Wykład 2 2-1 Kodowanie informacji PoniewaŜ komputer jest urządzeniem zbudowanym z układów cyfrowych, informacja przetwarzana przez niego musi być reprezentowana przy pomocy dwóch stanów - wysokiego i niskiego,
Bardziej szczegółowoMatematyka I. Bezpieczeństwo jądrowe i ochrona radiologiczna Semestr zimowy 2018/2019 Wykład 12
Matematyka I Bezpieczeństwo jądrowe i ochrona radiologiczna Semestr zimowy 2018/2019 Wykład 12 Egzamin Termin: 28.01, godz. 10.15-11.45, sala 309 3 pytania teoretyczne 2 zadania wybór pytań i wybór zadań
Bardziej szczegółowoKodowanie Shannona-Fano
Kodowanie Shannona-Fano Kodowanie Shannona-Fano znane było jeszcze przed kodowaniem Huffmana i w praktyce można dzięki niemu osiągnąć podobne wyniki, pomimo, że kod generowany tą metodą nie jest optymalny.
Bardziej szczegółowoFunkcja kwadratowa. f(x) = ax 2 + bx + c,
Funkcja kwadratowa. Funkcją kwadratową nazywamy funkcję f : R R określoną wzorem gdzie a, b, c R, a 0. f(x) = ax 2 + bx + c, Szczególnym przypadkiem funkcji kwadratowej jest funkcja f(x) = ax 2, a R \
Bardziej szczegółowoPochodna funkcji. Pochodna funkcji w punkcie. Różniczka funkcji i obliczenia przybliżone. Zastosowania pochodnych. Badanie funkcji.
Pochodna funkcji Pochodna funkcji w punkcie. Różniczka funkcji i obliczenia przybliżone. Zastosowania pochodnych. Badanie funkcji. Małgorzata Wyrwas Katedra Matematyki Wydział Informatyki Politechnika
Bardziej szczegółowoRACHUNEK PRAWDOPODOBIEŃSTWA - POJĘCIA WSTĘPNE MATERIAŁY POMOCNICZE - TEORIA
Wydział: WiLiŚ, Transport, sem.2 dr Jolanta Dymkowska RACHUNEK PRAWDOPODOBIEŃSTWA - POJĘCIA WSTĘPNE MATERIAŁY POMOCNICZE - TEORIA Przestrzeń probabilistyczna Modelem matematycznym (tj. teoretycznym, wyidealizowanym,
Bardziej szczegółowowiadomość komunikat - informacja Caius Julius Cesar Człowiek zasztyletowany przez senatorów na forum Romanum w Idy Marcowe roku DCCIX ab urbe condita
wiadomość komunikat - informacja Caius Julius Cesar Człowiek zasztyletowany przez senatorów na forum Romanum w Idy Marcowe roku DCCIX ab urbe condita Wojna Bambadocji przeciwko Alandii i Cezji Alandia:
Bardziej szczegółowo7. CIĄGI. WYKŁAD 5. Przykłady :
WYKŁAD 5 1 7. CIĄGI. CIĄGIEM NIESKOŃCZONYM nazywamy funkcję określoną na zbiorze liczb naturalnych, dodatnich, a wyrazami ciągu są wartości tej funkcji. CIĄGIEM SKOŃCZONYM nazywamy funkcję określoną na
Bardziej szczegółowoPodręcznik. Wzór Shannona
MODELOWANIE RZECZYWISTOŚCI Daniel Wójcik Instytut Biologii Doświadczalnej PAN d.wojcik@nencki.gov.pl tel. 5892 424 http://www.neuroinf.pl/members/danek/swps/ Iwo Białynicki-Birula Iwona Białynicka-Birula
Bardziej szczegółowoKody splotowe. Zastosowanie
Kody splotowe Zastosowanie Niekiedy potrzeba buforowania fragmentu wiadomości przed zakodowaniem, tak jak to ma miejsce w koderze blokowym, jest przeszkodą, gdyż dane do zakodowania napływają strumieniem.
Bardziej szczegółowoPrzetwarzanie i transmisja danych multimedialnych. Wykład 5 Kodowanie słownikowe. Przemysław Sękalski.
Przetwarzanie i transmisja danych multimedialnych Wykład 5 Kodowanie słownikowe Przemysław Sękalski sekalski@dmcs.pl Politechnika Łódzka Katedra Mikroelektroniki i Technik Informatycznych DMCS Przemysław
Bardziej szczegółowoStruktury danych i złożoność obliczeniowa Wykład 7. Prof. dr hab. inż. Jan Magott
Struktury danych i złożoność obliczeniowa Wykład 7 Prof. dr hab. inż. Jan Magott Problemy NP-zupełne Transformacją wielomianową problemu π 2 do problemu π 1 (π 2 π 1 ) jest funkcja f: D π2 D π1 spełniająca
Bardziej szczegółowoWykład 1 Zmienne losowe, statystyki próbkowe - powtórzenie materiału
Wykład 1 Zmienne losowe, statystyki próbkowe - powtórzenie materiału Magdalena Frąszczak Wrocław, 22.02.2017r Zasady oceniania Ćwiczenia 2 kolokwia (20 punktów każde) 05.04.2017 oraz 31.05.2017 2 kartkówki
Bardziej szczegółowoLokalna odwracalność odwzorowań, odwzorowania uwikłane
Lokalna odwracalność odwzorowań, odwzorowania uwikłane Katedra Matematyki i Ekonomii Matematycznej Szkoła Główna Handlowa 17 maja 2012 Definicja Mówimy, że odwzorowanie F : X R n, gdzie X R n, jest lokalnie
Bardziej szczegółowoRozdział 1. Zmienne losowe, ich rozkłady i charakterystyki. 1.1 Definicja zmiennej losowej
Rozdział 1 Zmienne losowe, ich rozkłady i charakterystyki 1.1 Definicja zmiennej losowej Zbiór możliwych wyników eksperymentu będziemy nazywać przestrzenią zdarzeń elementarnych i oznaczać Ω, natomiast
Bardziej szczegółowoPracownia Komputerowa wykład VI
Pracownia Komputerowa wykład VI dr Magdalena Posiadała-Zezula http://www.fuw.edu.pl/~mposiada 1 Przypomnienie 125 (10) =? (2) Liczby całkowite : Operacja modulo % reszta z dzielenia: 125%2=62 reszta 1
Bardziej szczegółowoPodstawowe operacje arytmetyczne i logiczne dla liczb binarnych
1 Podstawowe operacje arytmetyczne i logiczne dla liczb binarnych 1. Podstawowe operacje logiczne dla cyfr binarnych Jeśli cyfry 0 i 1 potraktujemy tak, jak wartości logiczne fałsz i prawda, to działanie
Bardziej szczegółowoAlgorytmy i struktury danych. wykład 8
Plan wykładu: Kodowanie. : wyszukiwanie wzorca w tekście, odległość edycyjna. Kodowanie Kodowanie Kodowanie jest to proces przekształcania informacji wybranego typu w informację innego typu. Kod: jest
Bardziej szczegółowoO sygnałach cyfrowych
O sygnałach cyfrowych Informacja Informacja - wielkość abstrakcyjna, która moŝe być: przechowywana w pewnych obiektach przesyłana pomiędzy pewnymi obiektami przetwarzana w pewnych obiektach stosowana do
Bardziej szczegółowoAlgorytmy kompresji. Kodowanie Huffmana, kodowanie arytmetyczne
Algorytmy kompresji Kodowanie Huffmana, kodowanie arytmetyczne Kodowanie arytmetyczne Peter Elias 1923-2001 Kodowanie arytmetyczne to metoda kodowania źródłowego dyskretnych źródeł sygnałów, stosowana
Bardziej szczegółowoFunkcja kwadratowa. f(x) = ax 2 + bx + c = a
Funkcja kwadratowa. Funkcją kwadratową nazywamy funkcję f : R R określoną wzorem gdzie a, b, c R, a 0. f(x) = ax + bx + c, Szczególnym przypadkiem funkcji kwadratowej jest funkcja f(x) = ax, a R \ {0}.
Bardziej szczegółowo12. Wprowadzenie Sygnały techniki cyfrowej Systemy liczbowe. Matematyka: Elektronika:
PRZYPOMNIJ SOBIE! Matematyka: Dodawanie i odejmowanie "pod kreską". Elektronika: Sygnały cyfrowe. Zasadę pracy tranzystorów bipolarnych i unipolarnych. 12. Wprowadzenie 12.1. Sygnały techniki cyfrowej
Bardziej szczegółowoWykład 5. Metoda eliminacji Gaussa
1 Wykład 5 Metoda eliminacji Gaussa Rozwiązywanie układów równań liniowych Układ równań liniowych może mieć dokładnie jedno rozwiązanie, nieskończenie wiele rozwiązań lub nie mieć rozwiązania. Metody dokładne
Bardziej szczegółowoMatematyka dyskretna. 1. Relacje
Matematyka dyskretna 1. Relacje Definicja 1.1 Relacją dwuargumentową nazywamy podzbiór produktu kartezjańskiego X Y, którego elementami są pary uporządkowane (x, y), takie, że x X i y Y. Uwaga 1.1 Jeśli
Bardziej szczegółowoZmienne losowe, statystyki próbkowe. Wrocław, 2 marca 2015
Zmienne losowe, statystyki próbkowe Wrocław, 2 marca 2015 Zasady zaliczenia 2 kolokwia (każde po 20 punktów) projekt (20 punktów) aktywność Zasady zaliczenia 2 kolokwia (każde po 20 punktów) projekt (20
Bardziej szczegółowoPrzetwornik analogowo-cyfrowy
Przetwornik analogowo-cyfrowy Przetwornik analogowo-cyfrowy A/C (ang. A/D analog to digital; lub angielski akronim ADC - od słów: Analog to Digital Converter), to układ służący do zamiany sygnału analogowego
Bardziej szczegółowoAlgorytmy i struktury danych. Wykład 4
Wykład 4 Różne algorytmy - obliczenia 1. Obliczanie wartości wielomianu 2. Szybkie potęgowanie 3. Algorytm Euklidesa, liczby pierwsze, faktoryzacja liczby naturalnej 2017-11-24 Algorytmy i struktury danych
Bardziej szczegółowoFunkcje dwóch zmiennych, pochodne cząstkowe
Wykłady z matematyki inżynierskiej Funkcje dwóch zmiennych, pochodne cząstkowe JJ, IMiF UTP 17 f (x, y) DEFINICJA. Funkcja dwóch zmiennych określona w zbiorze D R 2, to przyporządkowanie każdemu punktowi
Bardziej szczegółowo2 Arytmetyka. d r 2 r + d r 1 2 r 1...d d 0 2 0,
2 Arytmetyka Niech b = d r d r 1 d 1 d 0 będzie zapisem liczby w systemie dwójkowym Zamiana zapisu liczby b na system dziesiętny odbywa się poprzez wykonanie dodawania d r 2 r + d r 1 2 r 1 d 1 2 1 + d
Bardziej szczegółowoVIII. Zastosowanie rachunku różniczkowego do badania funkcji. 1. Twierdzenia o wartości średniej. Monotoniczność funkcji.
VIII. Zastosowanie rachunku różniczkowego do badania funkcji. 1. Twierdzenia o wartości średniej. Monotoniczność funkcji. Twierdzenie 1.1. (Rolle a) Jeżeli funkcja f jest ciągła w przedziale domkniętym
Bardziej szczegółowoFunkcje elementarne. Matematyka 1
Funkcje elementarne Matematyka 1 Katarzyna Trąbka-Więcław Funkcjami elementarnymi nazywamy: funkcje wymierne (w tym: wielomiany), wykładnicze, trygonometryczne, odwrotne do wymienionych (w tym: funkcje
Bardziej szczegółowoWykład 7: Szeregi liczbowe i potęgowe. S 1 = a 1 S 2 = a 1 + a 2 S 3 = a 1 + a 2 + a 3. a k
Wykład 7: Szeregi liczbowe i potęgowe. Definicja 1. Niech (a n ) - ustalony ciąg liczbowy. Określamy nowy ciąg: S 1 = a 1 S 2 = a 1 + a 2 S 3 = a 1 + a 2 + a 3. S n =. Ciąg sum częściowych (S n ) nazywamy
Bardziej szczegółowoElementy logiki matematycznej
Elementy logiki matematycznej Przedmiotem logiki matematycznej jest badanie tzw. wyrażeń logicznych oraz metod rozumowania i sposobów dowodzenia używanych w matematyce, a także w innych dziedzinach, w
Bardziej szczegółowoBramki logiczne Podstawowe składniki wszystkich układów logicznych
Układy logiczne Bramki logiczne A B A B AND NAND A B A B OR NOR A NOT A B A B XOR NXOR A NOT A B AND NAND A B OR NOR A B XOR NXOR Podstawowe składniki wszystkich układów logicznych 2 Podstawowe tożsamości
Bardziej szczegółowo