Elementy teorii informacji i kodowania
|
|
- Wacław Klimek
- 6 lat temu
- Przeglądów:
Transkrypt
1 i kodowania Entropia, nierówność Krafta, kodowanie optymalne Marcin Jenczmyk 17 kwietnia 2015 M. Jenczmyk Spotkanie KNM i kodowania 1 / 20
2 Niech S = {x 1,..., x q } oznacza alfabet, zbiór zdarzeń, a P = {p 1,..., p q } będzie stowarzyszonym z nim zbiorem prawdopodobieństw takim, że P(x i ) = p i oraz q p i = 1. M. Jenczmyk Spotkanie KNM i kodowania 2 / 20
3 Niech S = {x 1,..., x q } oznacza alfabet, zbiór zdarzeń, a P = {p 1,..., p q } będzie stowarzyszonym z nim zbiorem prawdopodobieństw takim, że P(x i ) = p i oraz q p i = 1. Ponadto załóżmy, że źródło S jest źródłem bez pamięci, tzn. że kolejne znaki są generowane niezależnie od siebie. M. Jenczmyk Spotkanie KNM i kodowania 2 / 20
4 Informacja Ilością informacji stowarzyszonej z zdarzeniem nazywamy funkcję I określoną na zbiorze zdarzeń, zadaną wzorem dla pewnego k > 0 oraz k 1. I (x) = log k P(x) M. Jenczmyk Spotkanie KNM i kodowania 3 / 20
5 Informacja Ilością informacji stowarzyszonej z zdarzeniem nazywamy funkcję I określoną na zbiorze zdarzeń, zadaną wzorem dla pewnego k > 0 oraz k 1. I (x) = log k P(x) W zależności od podstawy logarytmu ilość informacji może być mierzona w różnych jednostkach. Dla k = 2 jednostką informacji jest bit, dla k = e nat, a dla k = 10 Hartley. M. Jenczmyk Spotkanie KNM i kodowania 3 / 20
6 M. Jenczmyk Spotkanie KNM i kodowania 4 / 20
7 Entropia Entropią stowarzyszoną z źródłem S = {x 1,..., x q } nazywamy funkcję H(S) = H(p 1,..., p q ) = q P(x i ) log P(x i ) = q P(x i )I (x i ). Funkcja ta jest wartością oczekiwaną ilości informacji ujawnianej przez źródło. M. Jenczmyk Spotkanie KNM i kodowania 5 / 20
8 Przykład Rozważmy źródło S = {x 1, x 2, x 3 } takie, że P(x 1 ) = 1 2, a P(x 2 ) = P(x 3 ) = 1 4. Wówczas I (x 1 ) = log 1 2 = log 2 = 1, I (x 2 ) =I (x 3 ) = log 1 4 = log 4 = 2, a entropia żródła wynosi H(S) = 1 2 I (x 1) I (x 2) I (x 3) = = 3 2. M. Jenczmyk Spotkanie KNM i kodowania 6 / 20
9 M. Jenczmyk Spotkanie KNM i kodowania 7 / 20
10 Twierdzenie Dla dowolnego zbioru prawdopodobieństw p 1,..., p q zachodzi oszacowanie ( 1 0 = H(1, 0,..., 0) H(p 1,..., p q ) H q,..., 1 ) = log q. q M. Jenczmyk Spotkanie KNM i kodowania 8 / 20
11 Dowód. Ponieważ q p i = 1, to p q = 1 q 1 p i oraz H(p 1,..., p q ) = H(p 1,..., p q 1 ) q 1 q 1 q 1 = p i log p i 1 log 1 p i p i. M. Jenczmyk Spotkanie KNM i kodowania 9 / 20
12 Dowód. Ponieważ q p i = 1, to p q = 1 q 1 p i oraz H(p 1,..., p q ) = H(p 1,..., p q 1 ) q 1 q 1 q 1 = p i log p i 1 log 1 p i p i. Funkcja może mieć ekstremum w punkcie, gdy q 1 H = (log p i + log e) + log 1 p i + log e p i q 1 = log p i + log 1 p i = log p q = 0, p i M. Jenczmyk Spotkanie KNM i kodowania 9 / 20
13 Dowód (cd.) Tak się dzieje gdy log p q p i = 0 p q p i = 1 p i = p q = 1 q. M. Jenczmyk Spotkanie KNM i kodowania 10 / 20
14 Dowód (cd.) Tak się dzieje gdy log p q p i = 0 p q p i = 1 p i = p q = 1 q. W badanym punkcie 2 H = log e(p i + p q ) = log e p i p i p q p i ( 1 p i + 1 p q ) = 2q log e M. Jenczmyk Spotkanie KNM i kodowania 10 / 20
15 Dowód (cd.) Tak się dzieje gdy log p q p i = 0 p q p i = 1 p i = p q = 1 q. W badanym punkcie 2 H = log e(p i + p q ) = log e p i p i p q p i ( 1 p i + 1 p q ) = 2q log e oraz 2 H = log e = q log e. p i p j p q M. Jenczmyk Spotkanie KNM i kodowania 10 / 20
16 Dowód (cd.) Macierz drugich pochodnych w badanym punkcie jest postaci 2q log e q log e... q log e q log e 2q log e... q log e q log e q log e... q log e M. Jenczmyk Spotkanie KNM i kodowania 11 / 20
17 Dowód (cd.) Macierz drugich pochodnych w badanym punkcie jest postaci 2q log e q log e... q log e q log e 2q log e... q log e q log e q log e... q log e Macierz ta jest ujemnie określona, więc punkt jest maksimum entropii. M. Jenczmyk Spotkanie KNM i kodowania 11 / 20
18 Kodowanie Kodowaniem elementów alfabetu S = {x 1,..., x q } o prawdopodobieństwach P = {p 1,..., p q } przy użyciu alfabetu C = {c 1,..., c n } nazywamy proces przyporządkowania elementom S elementów lub ciągów znaków (słów kodowych) alfabetu C. M. Jenczmyk Spotkanie KNM i kodowania 12 / 20
19 Kodowanie Kodowaniem elementów alfabetu S = {x 1,..., x q } o prawdopodobieństwach P = {p 1,..., p q } przy użyciu alfabetu C = {c 1,..., c n } nazywamy proces przyporządkowania elementom S elementów lub ciągów znaków (słów kodowych) alfabetu C. Przykład (kod binarny) Elementy alfabetu Słowa kodowe s 1 00 s 2 01 s 3 10 s 4 11 M. Jenczmyk Spotkanie KNM i kodowania 12 / 20
20 E Kod jednoznacznie dekodowalny Kod nazywamy jednoznacznie dekodowalnym, jeśli istnieje tylko jeden sposób podziału ciągu słów kodu c i1, c i2,..., c ik na oddzielne słowa kodu, tzn. jeśli c i1, c i2,..., c ik = c j1, c j2,..., c jk to l = 1,..., k zachodzi c il = c jl. M. Jenczmyk Spotkanie KNM i kodowania 13 / 20
21 E Kod jednoznacznie dekodowalny Kod nazywamy jednoznacznie dekodowalnym, jeśli istnieje tylko jeden sposób podziału ciągu słów kodu c i1, c i2,..., c ik na oddzielne słowa kodu, tzn. jeśli c i1, c i2,..., c ik = c j1, c j2,..., c jk to l = 1,..., k zachodzi c il = c jl. Kod prefixowy Kod nazywamy kodem prefixowym, jeśli żadne słowo kodowe nie jest przedrostkiem innego słowa kodowego. M. Jenczmyk Spotkanie KNM i kodowania 13 / 20
22 Przykłady Znak K 1 K 2 K 3 K 4 A B C M. Jenczmyk Spotkanie KNM i kodowania 14 / 20
23 Nierówność Krafta Binarny kod przedrostkowy złożony ze słów kodu {c 1,..., c n } o długościach {l 1,..., l n } istnieje n 2 l i 1. (1) M. Jenczmyk Spotkanie KNM i kodowania 15 / 20
24 Nierówność Krafta Binarny kod przedrostkowy złożony ze słów kodu {c 1,..., c n } o długościach {l 1,..., l n } istnieje Dowód. n 2 l i 1. (1) ( ) Mając binarny kod przedrostkowy umieśćmy słowa kodu w drzewie binarnym zgodnie z kodami słów i uzupełnijmy je do drzewa pełnego, o 2 lmax liściach. i-ty wierzchołek zajmuje 2 lmax l i liści drzewa. Wobec tego musi zachodzić n 2 lmax l i 2 lmax n 2 l i 1. M. Jenczmyk Spotkanie KNM i kodowania 15 / 20
25 Dowód. ( ) Przeciwnie, załóżmy, że (1) zachodzi. Wówczas możemy umieścić słowa w wybranych węzłach, tworząc w ten sposób kody słów. Zauważmy, że liści nie może zabraknąć - po umieszczeniu w drzewie j-tego wierzchołka ilość zablokowanych to j j n 2 lmax l i 2 lmax 2 l i 2 lmax 2 l i 2 lmax. M. Jenczmyk Spotkanie KNM i kodowania 16 / 20
26 Twierdzenie Dla dowolnego binarnego kodu przedrostkowego dla którego średnia długość słowa kodowego L śr = p i l i zachodzi nierówność L śr H(S) Ponadto istnieje binarny kod przedrostkowy dla którego L śr < H(S) + 1 M. Jenczmyk Spotkanie KNM i kodowania 17 / 20
27 Dowód. Na początku udowodnimy część pierwszą tezy. = p i (log p i + log 2 l i p i ( 1 p i 2 l i H(S) L śr = p i log p i p i l i ) = (p i log p i 2 l i ) = pi log 1 p i 2 l i ) 1 log e = log e (2 l i p i ) 0 Dowód drugiej części. Niech l i = log p i. 2 l i p i = 1 Ponadto l i < log p i + 1 p i l i < p i log p i + p i L śr < H(S) + 1 M. Jenczmyk Spotkanie KNM i kodowania 18 / 20
28 Bibliografia Adam Drozdek, Wprowadzenie do kompresji danych, WNT, Warszawa 1999 Norman Abromson, Teoria informacji i kodowania, PWN, 1969 M. Jenczmyk Spotkanie KNM i kodowania 19 / 20
29 Dziękuję za (nie)uwagę! M. Jenczmyk Spotkanie KNM i kodowania 20 / 20
Kodowanie i entropia
Kodowanie i entropia Marek Śmieja Teoria informacji 1 / 34 Kod S - alfabet źródłowy mocy m (np. litery, cyfry, znaki interpunkcyjne), A = {a 1,..., a n } - alfabet kodowy (symbole), Chcemy przesłać tekst
Bardziej szczegółowoTeoria informacji i kodowania Ćwiczenia
Teoria informacji i kodowania Ćwiczenia Piotr Chołda, Andrzej Kamisiński Katedra Telekomunikacji Akademii Górniczo-Hutniczej Kod źródłowy Kodem źródłowym nazywamy funkcję różnowartościową, która elementom
Bardziej szczegółowoTeoria Informacji - wykład. Kodowanie wiadomości
Teoria Informacji - wykład Kodowanie wiadomości Definicja kodu Niech S={s 1, s 2,..., s q } oznacza dany zbiór elementów. Kodem nazywamy wówczas odwzorowanie zbioru wszystkich możliwych ciągów utworzonych
Bardziej szczegółowoKompresja bezstratna. Entropia. Kod Huffmana
Kompresja bezstratna. Entropia. Kod Huffmana Kodowanie i bezpieczeństwo informacji - Wykład 10 29 kwietnia 2013 Teoria informacji Jeśli P(A) jest prawdopodobieństwem wystapienia informacji A to niech i(a)
Bardziej szczegółowoGranica kompresji Kodowanie Shannona Kodowanie Huffmana Kodowanie ciągów Kodowanie arytmetyczne. Kody. Marek Śmieja. Teoria informacji 1 / 35
Kody Marek Śmieja Teoria informacji 1 / 35 Entropia Entropia określa minimalną statystyczną długość kodowania (przyjmijmy dla prostoty że alfabet kodowy A = {0, 1}). Definicja Niech X = {x 1,..., x n }
Bardziej szczegółowoEntropia Kodowanie. Podstawy kompresji. Algorytmy kompresji danych. Sebastian Deorowicz
Algorytmy kompresji danych 2007 02 27 Plan wykładu 1 Modelowanie i kodowanie 2 Modelowanie i kodowanie Plan wykładu 1 Modelowanie i kodowanie 2 Modelowanie i kodowanie definicja stowarzyszona ze zbiorem
Bardziej szczegółowoWygra Polska czy Brazylia, czyli o tym jak zwięźle zapisywać informacje
Wygra Polska czy Brazylia, czyli o tym jak zwięźle zapisywać informacje Witold Tomaszewski Instytut Matematyki Politechniki Śląskiej e-mail: Witold.Tomaszewski@polsl.pl Je n ai fait celle-ci plus longue
Bardziej szczegółowoPodstawowe pojęcia. Teoria informacji
Kodowanie i kompresja informacji - Wykład 1 22 luty 2010 Literatura K. Sayood, Kompresja danych - wprowadzenie, READ ME 2002 (ISBN 83-7243-094-2) Literatura K. Sayood, Kompresja danych - wprowadzenie,
Bardziej szczegółowoWstęp Statyczne kody Huffmana Dynamiczne kody Huffmana Praktyka. Kodowanie Huffmana. Dawid Duda. 4 marca 2004
4 marca 2004 Podstawowe oznaczenia i definicje Wymagania wobec kodu Podstawowa idea Podsumowanie Podstawowe oznaczenia i definicje Podstawowe oznaczenia i definicje: alfabet wejściowy: A = {a 1, a 2,...,
Bardziej szczegółowoKompresja danych kodowanie Huffmana. Dariusz Sobczuk
Kompresja danych kodowanie Huffmana Dariusz Sobczuk Plan wykładu Kodowanie metodą Shannona-Fano Kodowanie metodą Huffmana Elementarny kod Golomba Kod Golomba Kod Rice a kompresja danych 2 Efektywny kod
Bardziej szczegółowoteoria informacji Entropia, informacja, kodowanie Mariusz Różycki 24 sierpnia 2015
teoria informacji Entropia, informacja, kodowanie Mariusz Różycki 24 sierpnia 2015 1 zakres materiału zakres materiału 1. Czym jest teoria informacji? 2. Wprowadzenie matematyczne. 3. Entropia i informacja.
Bardziej szczegółowoNierówność Krafta-McMillana, Kodowanie Huffmana
Nierówność Krafta-McMillana, Kodowanie Huffmana Kodowanie i kompresja informacji - Wykład 2 1 marca 2010 Test na jednoznaczna dekodowalność Kod a jest prefiksem kodu b jeśli b jest postaci ax. x nazywamy
Bardziej szczegółowoDefinicja. Jeśli. wtedy
Definicja Jeśli wtedy Cel kompresji: zredukowanie do minimum oczekiwanego (średniego) kosztu gdzie l i jest długością słowa kodu c i kodującego symbol a i Definicja Definicje Efektywność kodowania określamy
Bardziej szczegółowoKodowanie Huffmana. Platforma programistyczna.net; materiały do laboratorium 2014/15 Marcin Wilczewski
Kodowanie Huffmana Platforma programistyczna.net; materiały do laboratorium 24/5 Marcin Wilczewski Algorytm Huffmana (David Huffman, 952) Algorytm Huffmana jest popularnym algorytmem generującym optymalny
Bardziej szczegółowoKodowanie i kompresja Streszczenie Studia dzienne Wykład 9,
1 Kody Tunstalla Kodowanie i kompresja Streszczenie Studia dzienne Wykład 9, 14.04.2005 Inne podejście: słowa kodowe mają ustaloną długość, lecz mogą kodować ciągi liter z alfabetu wejściowego o różnej
Bardziej szczegółowoTeoria informacji i kodowania Ćwiczenia Sem. zimowy 2016/2017
Kody źródłowe jednoznacznie dekodowalne Zadanie Ile najwięcej słów kodowych może liczyć kod binarny jednoznacznie dekodowalny, którego najdłuższe słowo ma siedem liter? (Odp. 28) Zadanie 2 Zbiór sześciu
Bardziej szczegółowoTemat: Algorytm kompresji plików metodą Huffmana
Temat: Algorytm kompresji plików metodą Huffmana. Wymagania dotyczące kompresji danych Przez M oznaczmy zbiór wszystkich możliwych symboli występujących w pliku (alfabet pliku). Przykład M = 2, gdy plik
Bardziej szczegółowoNotatki z Podstaw kodowania i kryptografii. switch486 WIZ : PWr na podstawie folii z wykładu i ćwiczeń dr inż. E. Kukli Złożone W Systemie L A TEX
Notatki z Podstaw kodowania i kryptografii switch486 WIZ : PWr na podstawie folii z wykładu i ćwiczeń dr inż. E. Kukli Złożone W Systemie L A TEX Wrocław 5.6.2008 Spis treści I Kodowanie 5 Wiadomość, a
Bardziej szczegółowo0-0000, 1-0001, 2-0010, 3-0011 itd... 9-1001.
KODOWANIE Jednym z problemów, z którymi spotykamy się w informatyce, jest problem właściwego wykorzystania pamięci. Konstruując algorytm staramy się zwykle nie tylko o zminimalizowanie kosztów czasowych
Bardziej szczegółowoPrzetwarzanie i transmisja danych multimedialnych. Wykład 3 Kodowanie Shannona Fano i Huffmana. Przemysław Sękalski.
Przetwarzanie i transmisja danych multimedialnych Wykład 3 Kodowanie Shannona Fano i Huffmana Przemysław Sękalski sekalski@dmcs.pl Politechnika Łódzka Katedra Mikroelektroniki i Technik Informatycznych
Bardziej szczegółowoAlgorytmy zachłanne. dr inż. Urszula Gałązka
Algorytmy zachłanne dr inż. Urszula Gałązka Algorytm zachłanny O Dokonuje wyboru, który w danej chwili wydaje się najkorzystniejszy. O Mówimy, że jest to wybór lokalnie optymalny O W rzeczywistości nie
Bardziej szczegółowoKodowanie i kompresja Tomasz Jurdziński Studia Wieczorowe Wykład Kody liniowe - kodowanie w oparciu o macierz parzystości
Kodowanie i kompresja Tomasz Jurdziński Studia Wieczorowe Wykład 13 1 Kody liniowe - kodowanie w oparciu o macierz parzystości Przykład Różne macierze parzystości dla kodu powtórzeniowego. Co wiemy z algebry
Bardziej szczegółowoDef. Kod jednoznacznie definiowalny Def. Kod przedrostkowy Def. Kod optymalny. Przykłady kodów. Kody optymalne
Załóżmy, że mamy źródło S, które generuje symbole ze zbioru S={x, x 2,..., x N } z prawdopodobieństwem P={p, p 2,..., p N }, symbolom tym odpowiadają kody P={c, c 2,..., c N }. fektywność danego sposobu
Bardziej szczegółowoKody Tunstalla. Kodowanie arytmetyczne
Kody Tunstalla. Kodowanie arytmetyczne Kodowanie i kompresja informacji - Wykład 3 8 marca 2010 Kody Tunstalla Wszystkie słowa kodowe maja ta sama długość ale jeden kod może kodować różna liczbę liter
Bardziej szczegółowoPrzetwarzanie i transmisja danych multimedialnych. Wykład 2 Podstawy kompresji. Przemysław Sękalski.
Przetwarzanie i transmisja danych multimedialnych Wykład Podstawy kompresji Przemysław Sękalski sekalski@dmcs.pl Politechnika Łódzka Katedra Mikroelektroniki i Technik Informatycznych DMCS Zawartość wykładu.
Bardziej szczegółowoPodstawy Informatyki: Kody. Korekcja błędów.
Podstawy Informatyki: Kody. Korekcja błędów. Adam Kolany Instytut Techniczny adamkolany@pm.katowice.pl Adam Kolany (PWSZ Nowy Sącz, IT) Podstawy Informatyki: Kody. Korekcja błędów. 11 stycznia 2012 1 /
Bardziej szczegółowoO oszczędnym dziennikarzu, czyli czym jest
O oszczędnym dziennikarzu, czyli czym jest informacja i jak ja mierzymy? Adam Doliwa doliwa@matman.uwm.edu.pl WYKŁAD DLA MŁODZIEŻY WYDZIAŁ MATEMATYKI I INFORMATYKI UWM Olsztyn, 9 lutego 2016 r. Adam Doliwa
Bardziej szczegółowoNiech x 1,..., x n będzie ciągiem zdarzeń. ---
Matematyczne podstawy kryptografii, Ćw2 TEMAT 7: Teoria Shannona. Kody Huffmana, entropia. BIBLIOGRAFIA: [] Cz. Bagiński, cez.wipb.pl, [2] T. H. Cormen, C. E. Leiserson, R. L Rivest, Wprowadzenie do algorytmów,
Bardziej szczegółowoteoria informacji Kanały komunikacyjne, kody korygujące Mariusz Różycki 25 sierpnia 2015
teoria informacji Kanały komunikacyjne, kody korygujące Mariusz Różycki 25 sierpnia 2015 1 wczoraj Wprowadzenie matematyczne. Entropia i informacja. Kodowanie. Kod ASCII. Stopa kodu. Kody bezprefiksowe.
Bardziej szczegółowoEntropia to wielkość określająca liczbę bitów informacji zawartej w danej wiadomości lub źródle. Spełnia ona trzy naturalne warunki: I(s) jest
Entropia to wielkość określająca liczbę bitów informacji zawartej w danej wiadomości lub źródle. Spełnia ona trzy naturalne warunki: I(s) jest malejącą funkcją prawdopodobieństwa zajścia zdarzenia s. I(s)
Bardziej szczegółowoWST P DO TEORII INFORMACJI I KODOWANIA. Grzegorz Szkibiel. Wiosna 2013/14
WST P DO TEORII INFORMACJI I KODOWANIA Grzegorz Szkibiel Wiosna 2013/14 Spis tre±ci 1 Kodowanie i dekodowanie 4 1.1 Kodowanie a szyfrowanie..................... 4 1.2 Podstawowe poj cia........................
Bardziej szczegółowoMatematyka dyskretna
Matematyka dyskretna Wykład 7: Kody korygujące błędy Gniewomir Sarbicki Błędy transmisji i kodowanie nadmiarowe Zakładamy, że przy pewnym małym prawdopodobieństwie ɛ przy transmisji bit zmienia wartość.
Bardziej szczegółowoAlgorytmy kodowania entropijnego
Algorytmy kodowania entropijnego 1. Kodowanie Shannona-Fano 2. Kodowanie Huffmana 3. Jednoznaczność kodów Huffmana. Kod o minimalnej wariancji 4. Dynamiczne kodowanie Huffmana Poprzedni wykład - podsumowanie
Bardziej szczegółowoMaksymalne powtórzenia w tekstach i zerowa intensywność entropii
Maksymalne powtórzenia w tekstach i zerowa intensywność entropii Łukasz Dębowski ldebowsk@ipipan.waw.pl i Instytut Podstaw Informatyki PAN Warszawa 1 Wprowadzenie 2 Ograniczenia górne i dolne 3 Przykłady
Bardziej szczegółowoAlgorytmy kompresji. Kodowanie Huffmana, kodowanie arytmetyczne
Algorytmy kompresji Kodowanie Huffmana, kodowanie arytmetyczne Kodowanie arytmetyczne Peter Elias 1923-2001 Kodowanie arytmetyczne to metoda kodowania źródłowego dyskretnych źródeł sygnałów, stosowana
Bardziej szczegółowoTeoria Informacji i Metody Kompresji Danych
Teoria Informacji i Metody Kompresji Danych 1 Przykładowe zadania (dodatkowe materiały wykładowe) 2 Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL
Bardziej szczegółowoKodowanie informacji
Kodowanie informacji Tomasz Wykład 4: kodowanie arytmetyczne Motywacja Podstawy i własności Liczby rzeczywiste Motywacje 1 średnia długość kodu Huffmana może odbiegać o p max + 0.086 od entropii, gdzie
Bardziej szczegółowowiadomość komunikat - informacja Caius Julius Cesar Człowiek zasztyletowany przez senatorów na forum Romanum w Idy Marcowe roku DCCIX ab urbe condita
wiadomość komunikat - informacja Caius Julius Cesar Człowiek zasztyletowany przez senatorów na forum Romanum w Idy Marcowe roku DCCIX ab urbe condita Wojna Bambadocji przeciwko Alandii i Cezji Alandia:
Bardziej szczegółowoKODY SYMBOLI. Materiały KODA, A.Przelaskowski. Koncepcja przedziałów nieskończonego alfabetu
KODY SYMBOLI Materiały KODA, A.Przelaskowski Koncepcja drzewa binarnego Metoda S-F Kod Huffmana Adaptacyjne drzewo Huffmana Problemy implementacji Koncepcja przedziałów nieskończonego alfabetu Proste kody
Bardziej szczegółowoMetody teorii gier. ALP520 - Wykład z Algorytmów Probabilistycznych p.2
Metody teorii gier ALP520 - Wykład z Algorytmów Probabilistycznych p.2 Metody teorii gier Cel: Wyprowadzenie oszacowania dolnego na oczekiwany czas działania dowolnego algorytmu losowego dla danego problemu.
Bardziej szczegółowoLokalna odwracalność odwzorowań, odwzorowania uwikłane
Lokalna odwracalność odwzorowań, odwzorowania uwikłane Katedra Matematyki i Ekonomii Matematycznej Szkoła Główna Handlowa 17 maja 2012 Definicja Mówimy, że odwzorowanie F : X R n, gdzie X R n, jest lokalnie
Bardziej szczegółowoModelowanie motywów łańcuchami Markowa wyższego rzędu
Modelowanie motywów łańcuchami Markowa wyższego rzędu Uniwersytet Warszawski Wydział Matematyki, Informatyki i Mechaniki 23 października 2008 roku Plan prezentacji 1 Źródła 2 Motywy i ich znaczenie Łańcuchy
Bardziej szczegółowoKody blokowe Wykład 5a;
Kody blokowe Wykład 5a; 31.03.2011 1 1 Kolorowanie hiperkostki Definicja. W teorii grafów symbol Q n oznacza kostkę n-wymiarową, czyli graf o zbiorze wierzchołków V (Q n ) = {0, 1} n i zbiorze krawędzi
Bardziej szczegółowoLogarytmy. Funkcje logarytmiczna i wykładnicza. Równania i nierówności wykładnicze i logarytmiczne.
Logarytmy. Funkcje logarytmiczna i wykładnicza. Równania i nierówności wykładnicze i logarytmiczne. Definicja. Niech a i b będą dodatnimi liczbami rzeczywistymi i niech a. Logarytmem liczby b przy podstawie
Bardziej szczegółowoDyskretne procesy stacjonarne o nieskończonej entropii nadwyżkowej
Dyskretne procesy stacjonarne o nieskończonej entropii nadwyżkowej Łukasz Dębowski ldebowsk@ipipan.waw.pl i Instytut Podstaw Informatyki PAN Co to jest entropia nadwyżkowa? Niech (X i ) i Z będzie procesem
Bardziej szczegółowoKODY SYMBOLI. Kod Shannona-Fano. Algorytm S-F. Przykład S-F
KODY SYMBOLI Kod Shannona-Fano KODOWANIE DANYCH, A.Przelaskowski Metoda S-F Kod Huffmana Adaptacyjne drzewo Huffmana Problemy implementacji Kod Golomba Podsumowanie Kod drzewa binarnego Na wejściu rozkład:
Bardziej szczegółowoKodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11,
1 Kwantyzacja skalarna Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11, 10.05.005 Kwantyzacja polega na reprezentowaniu dużego zbioru wartości (być może nieskończonego) za pomocą wartości
Bardziej szczegółowo0 + 0 = 0, = 1, = 1, = 0.
5 Kody liniowe Jak już wiemy, w celu przesłania zakodowanego tekstu dzielimy go na bloki i do każdego z bloków dodajemy tak zwane bity sprawdzające. Bity te są w ścisłej zależności z bitami informacyjnymi,
Bardziej szczegółowoRACHUNEK PRAWDOPODOBIEŃSTWA - POJĘCIA WSTĘPNE MATERIAŁY POMOCNICZE - TEORIA
Wydział: WiLiŚ, Transport, sem.2 dr Jolanta Dymkowska RACHUNEK PRAWDOPODOBIEŃSTWA - POJĘCIA WSTĘPNE MATERIAŁY POMOCNICZE - TEORIA Przestrzeń probabilistyczna Modelem matematycznym (tj. teoretycznym, wyidealizowanym,
Bardziej szczegółowo22 Pochodna funkcji definicja
22 Pochodna funkcji definicja Rozważmy funkcję f : (a, b) R, punkt x 0 b = +. (a, b), dopuszczamy również a = lub Definicja 33 Mówimy, że funkcja f jest różniczkowalna w punkcie x 0, gdy istnieje granica
Bardziej szczegółowoWykład 5 Estymatory nieobciążone z jednostajnie minimalną war
Wykład 5 Estymatory nieobciążone z jednostajnie minimalną wariancją Wrocław, 25 października 2017r Statystyki próbkowe - Przypomnienie Niech X = (X 1, X 2,... X n ) będzie n elementowym wektorem losowym.
Bardziej szczegółowoJak zadać dobre pytanie, czyli czym jest informacja i jak ja
Jak zadać dobre pytanie, czyli czym jest informacja i jak ja zmierzyć Adam Doliwa doliwa@matman.uwm.edu.pl WYKŁAD Z CYKLU NIEZWYKŁA MATEMATYKA WYDZIAŁ MATEMATYKI I INFORMATYKI UWM Olsztyn, 28 września
Bardziej szczegółowomgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 4, strona 1. GOLOMBA I RICE'A
mgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 4, strona 1. KOMPRESJA ALGORYTMEM ARYTMETYCZNYM, GOLOMBA I RICE'A Idea algorytmu arytmetycznego Przykład kodowania arytmetycznego Renormalizacja
Bardziej szczegółowoArchitektura systemów komputerowych
Architektura systemów komputerowych Grzegorz Mazur Zak lad Metod Obliczeniowych Chemii Uniwersytet Jagielloński 12 kwietnia 2011 Grzegorz Mazur (ZMOCh UJ) Architektura systemów komputerowych 12 kwietnia
Bardziej szczegółowoKody blokowe Wykład 2, 10 III 2011
Kody blokowe Wykład 2, 10 III 2011 Literatura 1. R.M. Roth, Introduction to Coding Theory, 2006 2. W.C. Huffman, V. Pless, Fundamentals of Error-Correcting Codes, 2003 3. D.R. Hankerson et al., Coding
Bardziej szczegółowoKodowanie i kompresja Streszczenie Studia dzienne Wykład 6
Kodowanie i kompresja Streszczenie Studia dzienne Wykład 6 1 Kody cykliczne: dekodowanie Definicja 1 (Syndrom) Niech K będzie kodem cyklicznym z wielomianem generuja- cym g(x). Resztę z dzielenia słowa
Bardziej szczegółowoKlasyfikacja obiektów Drzewa decyzyjne (drzewa klasyfikacyjne)
Klasyfikacja obiektów Drzewa decyzyjne (drzewa klasyfikacyjne) Tadeusz Pankowski www.put.poznan.pl/~tadeusz.pankowski Klasyfikacja i predykcja. Odkrywaniem reguł klasyfikacji nazywamy proces znajdowania
Bardziej szczegółowoTeoria Informacji i Metody Kompresji Danych
Teoria Informacji i Metody Kompresji Danych 1 Materiały wykładowe (fragmenty) 2 Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL kontakt osobisty
Bardziej szczegółowoProgramowanie liniowe
Programowanie liniowe Maciej Drwal maciej.drwal@pwr.wroc.pl 1 Problem programowania liniowego min x c T x (1) Ax b, (2) x 0. (3) gdzie A R m n, c R n, b R m. Oznaczmy przez x rozwiązanie optymalne, tzn.
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 11 Łańcuchy Markova
Wstęp do sieci neuronowych, wykład 11 Łańcuchy Markova M. Czoków, J. Piersa 2010-12-21 1 Definicja Własności Losowanie z rozkładu dyskretnego 2 3 Łańcuch Markova Definicja Własności Losowanie z rozkładu
Bardziej szczegółowoPodstawy kompresji danych
Podstawy kompresji danych Pojęcie kompresji W ogólności kompresja (kodowanie) jest procedurą (przekształceniem) zmiany reprezentacji wejściowego zbioru danych do postaci wymagającej mniejszej liczby bitów
Bardziej szczegółowoKody Huffmana. Konrad Wypyski. 11 lutego 2006 roku
Kody Huffmana Konrad Wypyski 11 lutego 2006 roku Spis treści 1 Rozdział 1 Kody Huffmana Kody Huffmana (ang. Huffman coding) to jedna z najprostszych i najłatwiejszych w implementacji metod kompresji bezstratnej;
Bardziej szczegółowoWzór Maclaurina. Jeśli we wzorze Taylora przyjmiemy x 0 = 0 oraz h = x, to otrzymujemy tzw. wzór Maclaurina: f (x) = x k + f (n) (θx) x n.
Wzór Maclaurina Jeśli we wzorze Taylora przyjmiemy x 0 = 0 oraz h = x, to otrzymujemy tzw. wzór Maclaurina: f (x) = n 1 k=0 f (k) (0) k! x k + f (n) (θx) x n. n! Wzór Maclaurina Przykład. Niech f (x) =
Bardziej szczegółowoWykład 8. Informatyka Stosowana. 26 listopada 2018 Magdalena Alama-Bućko. Informatyka Stosowana Wykład , M.A-B 1 / 31
Wykład 8 Informatyka Stosowana 26 listopada 208 Magdalena Alama-Bućko Informatyka Stosowana Wykład 8 26..208, M.A-B / 3 Definicja Ciagiem liczbowym {a n }, n N nazywamy funkcję odwzorowujac a zbiór liczb
Bardziej szczegółowoWykład 4 Przebieg zmienności funkcji. Badanie dziedziny oraz wyznaczanie granic funkcji poznaliśmy na poprzednich wykładach.
Wykład Przebieg zmienności funkcji. Celem badania przebiegu zmienności funkcji y = f() jest poznanie ważnych własności tej funkcji na podstawie jej wzoru. Efekty badania pozwalają naszkicować wykres badanej
Bardziej szczegółowoPrzepustowość kanału, odczytywanie wiadomości z kanału, poprawa wydajności kanału.
Przepustowość kanału, odczytywanie wiadomości z kanału, poprawa wydajności kanału Wiktor Miszuris 2 czerwca 2004 Przepustowość kanału Zacznijmy od wprowadzenia równości IA, B HB HB A HA HA B Można ją intuicyjnie
Bardziej szczegółowoProblem kodowania w automatach
roblem kodowania w automatach Kodowanie stanów to przypisanie kolejnym stanom automatu odpowiednich kodów binarnych. Minimalna liczba bitów b potrzebna do zakodowania automatu, w którym liczność zbioru
Bardziej szczegółowoKompresja Kodowanie arytmetyczne. Dariusz Sobczuk
Kompresja Kodowanie arytmetyczne Dariusz Sobczuk Kodowanie arytmetyczne (lata 1960-te) Pierwsze prace w tym kierunku sięgają początków lat 60-tych XX wieku Pierwszy algorytm Eliasa nie został opublikowany
Bardziej szczegółowoWstęp do Informatyki
Wstęp do Informatyki Bożena Woźna-Szcześniak bwozna@gmail.com Jan Długosz University, Poland Wykład 4 Bożena Woźna-Szcześniak (AJD) Wstęp do Informatyki Wykład 4 1 / 1 DZIELENIE LICZB BINARNYCH Dzielenie
Bardziej szczegółowoWYŻSZA SZKOŁA INFORMATYKI STOSOWANEJ I ZARZĄDZANIA
DROGI i CYKLE w grafach Dla grafu (nieskierowanego) G = ( V, E ) drogą z wierzchołka v 0 V do v t V nazywamy ciąg (naprzemienny) wierzchołków i krawędzi grafu: ( v 0, e, v, e,..., v t, e t, v t ), spełniający
Bardziej szczegółowoFilogeneza: problem konstrukcji grafu (drzewa) zależności pomiędzy gatunkami.
181 Filogeneza: problem konstrukcji grafu (drzewa) zależności pomiędzy gatunkami. 3. D T(D) poprzez algorytm łączenia sąsiadów 182 D D* : macierz łącząca sąsiadów n Niech TotDist i = k=1 D i,k Definiujemy
Bardziej szczegółowoAlgorytmy i struktury danych. wykład 8
Plan wykładu: Kodowanie. : wyszukiwanie wzorca w tekście, odległość edycyjna. Kodowanie Kodowanie Kodowanie jest to proces przekształcania informacji wybranego typu w informację innego typu. Kod: jest
Bardziej szczegółowoKRYTERIA OCENIANIA ODPOWIEDZI Próbna Matura z OPERONEM. Matematyka Poziom rozszerzony
KRYTERIA OCENIANIA ODPOWIEDZI Próbna Matura z OPERONEM Matematyka Poziom rozszerzony Listopad 0 Zadania zamknięte Za każdą poprawną odpowiedź zdający otrzymuje punkt. Poprawna odpowiedź Wskazówki do rozwiązania.
Bardziej szczegółowoZastosowanie teorii liczb w kryptografii na przykładzie szyfru RSA
Zastosowanie teorii liczb w kryptografii na przykładzie szyfru RSA Grzegorz Bobiński Uniwersytet Mikołaja Kopernika Toruń, 22.05.2010 Kodowanie a szyfrowanie kodowanie sposoby przesyłania danych tak, aby
Bardziej szczegółowoWykład 2 Zmienne losowe i ich rozkłady
Wykład 2 Zmienne losowe i ich rozkłady Magdalena Frąszczak Wrocław, 11.10.2017r Zmienne losowe i ich rozkłady Doświadczenie losowe: Rzut monetą Rzut kostką Wybór losowy n kart z talii 52 Gry losowe Doświadczenie
Bardziej szczegółowoMatematyka dyskretna. Andrzej Łachwa, UJ, A/14
Matematyka dyskretna Andrzej Łachwa, UJ, 2016 andrzej.lachwa@uj.edu.pl 9A/14 Permutacje Permutacja zbioru skończonego X to bijekcja z X w X. Zbiór permutacji zbioru oznaczamy przez, a permutacje małymi
Bardziej szczegółowoProblemy Decyzyjne dla Systemów Nieskończonych
Problemy Decyzyjne dla Systemów Nieskończonych Ćwiczenia 1 17 lutego 2012 Na tych ćwiczeniach zajmiemy się pojęciem well quasi-ordering (WQO) bardzo przydatnym do analizy nieskończonych ciągów. Definicja
Bardziej szczegółowoZmienne losowe. Powtórzenie. Dariusz Uciński. Wykład 1. Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski
Powtórzenie Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 1 Podręcznik podstawowy Jacek Koronacki, Jan Mielniczuk: Statystyka dla studentów kierunków technicznych i przyrodnicznych,
Bardziej szczegółowoWKLĘSŁOŚĆ I WYPUKŁOŚĆ KRZYWEJ. PUNKT PRZEGIĘCIA.
WKLĘSŁOŚĆ I WYPUKŁOŚĆ KRZYWEJ. PUNKT PRZEGIĘCIA. Załóżmy, że funkcja y f jest dwukrotnie różniczkowalna w Jeżeli Jeżeli przedziale a;b. Punkt P, f nazywamy punktem przegięcia funkcji y f wtedy i tylko
Bardziej szczegółowoMatematyka dyskretna. Andrzej Łachwa, UJ, A/15
Matematyka dyskretna Andrzej Łachwa, UJ, 2015 andrzej.lachwa@uj.edu.pl 10A/15 Permutacje Permutacja zbioru skończonego X to bijekcja z X w X. Zbiór permutacji zbioru oznaczamy przez, a permutacje małymi
Bardziej szczegółowoDrzewa klasyfikacyjne Lasy losowe. Wprowadzenie
Wprowadzenie Konstrukcja binarnych drzew klasyfikacyjnych polega na sekwencyjnym dzieleniu podzbiorów przestrzeni próby X na dwa rozłączne i dopełniające się podzbiory, rozpoczynając od całego zbioru X.
Bardziej szczegółowoPodręcznik. Wzór Shannona
MODELOWANIE RZECZYWISTOŚCI Daniel Wójcik Instytut Biologii Doświadczalnej PAN d.wojcik@nencki.gov.pl tel. 5892 424 http://www.neuroinf.pl/members/danek/swps/ Iwo Białynicki-Birula Iwona Białynicka-Birula
Bardziej szczegółowo2. ZASTOSOWANIA POCHODNYCH. (a) f(x) = ln 3 x ln x, (b) f(x) = e2x x 2 2.
2. ZASTOSOWANIA POCHODNYCH. Koniecznie trzeba znać: twierdzenia o ekstremach (z wykorzystaniem pierwszej i drugiej pochodnej), Twierdzenie Lagrange a, Twierdzenie Taylora (z resztą w postaci Peano, Lagrange
Bardziej szczegółowoPracownia Komputerowa wykład V
Pracownia Komputerowa wykład V dr Magdalena Posiadała-Zezula http://www.fuw.edu.pl/~mposiada/pk16 1 Reprezentacje liczb i znaków! Liczby:! Reprezentacja naturalna nieujemne liczby całkowite naturalny system
Bardziej szczegółowoSystemy liczbowe. 1. Przedstawić w postaci sumy wag poszczególnych cyfr liczbę rzeczywistą R = (10).
Wprowadzenie do inżynierii przetwarzania informacji. Ćwiczenie 1. Systemy liczbowe Cel dydaktyczny: Poznanie zasad reprezentacji liczb w systemach pozycyjnych o różnych podstawach. Kodowanie liczb dziesiętnych
Bardziej szczegółowoTeoria przetwarzania A/C i C/A.
Teoria przetwarzania A/C i C/A. Autor: Bartłomiej Gorczyński Cyfrowe metody przetwarzania sygnałów polegają na przetworzeniu badanego sygnału analogowego w sygnał cyfrowy reprezentowany ciągiem słów binarnych
Bardziej szczegółowoRÓŻNICZKOWANIE FUNKCJI WIELU ZMIENNYCH: rachunek pochodnych dla funkcji wektorowych. Pochodne cząstkowe funkcji rzeczywistej wielu zmiennych
RÓŻNICZKOWANIE FUNKCJI WIELU ZMIENNYCH: rachunek pochodnych dla funkcji wektorowych Pochodne cząstkowe funkcji rzeczywistej wielu zmiennych wyliczamy według wzoru (x, x 2,..., x n ) f(x, x 2,..., x n )
Bardziej szczegółowoE: Rekonstrukcja ewolucji. Algorytmy filogenetyczne
E: Rekonstrukcja ewolucji. Algorytmy filogenetyczne Przypominajka: 152 drzewo filogenetyczne to drzewo, którego liśćmi są istniejące gatunki, a węzły wewnętrzne mają stopień większy niż jeden i reprezentują
Bardziej szczegółowoTEORETYCZNE PODSTAWY INFORMATYKI
1 TEORETYCZNE PODSTAWY INFORMATYKI WFAiS UJ, Informatyka Stosowana I rok studiów, I stopień Wykład 14c 2 Definicje indukcyjne Twierdzenia dowodzone przez indukcje Definicje indukcyjne Definicja drzewa
Bardziej szczegółowoTeoria informacji i kodowania Ćwiczenia Sem. zimowy 2016/2017
Algebra liniowa Zadanie 1 Czy jeśli wektory x, y i z, należące do binarnej przestrzeni wektorowej nad ciałem Galois GF (2), są liniowo niezależne, to można to samo orzec o następujących trzech wektorach:
Bardziej szczegółowoProgramowanie nieliniowe. Badania operacyjne Wykład 3 Metoda Lagrange a
Programowanie nieliniowe Badania operacyjne Wykład 3 Metoda Lagrange a Plan wykładu Przykład problemu z nieliniową funkcją celu Sformułowanie problemu programowania matematycznego Podstawowe definicje
Bardziej szczegółowoInformacja o przestrzeniach Hilberta
Temat 10 Informacja o przestrzeniach Hilberta 10.1 Przestrzenie unitarne, iloczyn skalarny Niech dana będzie przestrzeń liniowa X. Załóżmy, że każdej parze elementów x, y X została przyporządkowana liczba
Bardziej szczegółowoKody Huffmana oraz entropia przestrzeni produktowej. Zuzanna Kalicińska. 1 maja 2004
Kody uffmana oraz entroia rzestrzeni rodutowej Zuzanna Kalicińsa maja 4 Otymalny od bezrefisowy Definicja. Kod nad alfabetem { 0, }, w tórym rerezentacja żadnego znau nie jest refisem rerezentacji innego
Bardziej szczegółowoZaawansowane metody numeryczne
Wykład 1 Zadanie Definicja 1.1. (zadanie) Zadaniem nazywamy zagadnienie znalezienia rozwiązania x spełniającego równanie F (x, d) = 0, gdzie d jest zbiorem danych (od których zależy rozwiązanie x), a F
Bardziej szczegółowoPochodną funkcji w punkcie nazywamy granicę ilorazu różnicowego w punkcie gdy przyrost argumentu dąży do zera: lim
Definicja pochodnej Niech będzie funkcją określoną w pewnym przedziale i niech będzie punktem wewnętrznym tego przedziału. Liczbę dowolną, ale taką, że nazywamy przyrostem argumentu, a różnicę nazywamy
Bardziej szczegółowoKompresja danych - wprowadzenie. 1. Konieczno kompresji 2. Definicja, typy kompresji 3. Modelowanie 4. Podstawy teorii informacji 5.
Kompresja danych - wprowadzenie. Konieczno kompresji. Definicja, typy kompresji. Modelowanie 4. Podstawy teorii informacji 5. Kodowanie Konieczno kompresji danych Due rozmiary danych Niewystarczajce przepustowoci
Bardziej szczegółowoWykład 6, pochodne funkcji. Siedlce
Wykład 6, pochodne funkcji Siedlce 20.12.2015 Definicja pochodnej funkcji w punkcie Niech f : (a; b) R i niech x 0 ; x 1 (a; b), x0 x1. Wyrażenie nazywamy ilorazem różnicowym funkcji f między punktami
Bardziej szczegółowo13. Funkcje wielu zmiennych pochodne, gradient, Jacobian, ekstrema lokalne.
13. Funkcje wielu zmiennych pochodne, gradient, Jacobian, ekstrema lokalne. 1. Wprowadzenie. Dotąd rozważaliśmy funkcje działające z podzbioru liczb rzeczywistych w zbiór liczb rzeczywistych, zatem funkcje
Bardziej szczegółowoDowód pierwszego twierdzenia Gödela o. Kołmogorowa
Dowód pierwszego twierdzenia Gödela o niezupełności arytmetyki oparty o złożoność Kołmogorowa Grzegorz Gutowski SMP II rok opiekun: dr inż. Jerzy Martyna II UJ 1 1 Wstęp Pierwsze twierdzenie o niezupełności
Bardziej szczegółowoKompresja danych Streszczenie Studia Dzienne Wykład 10,
1 Kwantyzacja wektorowa Kompresja danych Streszczenie Studia Dzienne Wykład 10, 28.04.2006 Kwantyzacja wektorowa: dane dzielone na bloki (wektory), każdy blok kwantyzowany jako jeden element danych. Ogólny
Bardziej szczegółowo