Wygra Polska czy Brazylia, czyli o tym jak zwięźle zapisywać informacje
|
|
|
- Kazimierz Socha
- 6 lat temu
- Przeglądów:
Transkrypt
1 Wygra Polska czy Brazylia, czyli o tym jak zwięźle zapisywać informacje Witold Tomaszewski Instytut Matematyki Politechniki Śląskiej Witold.Tomaszewski@polsl.pl
2 Je n ai fait celle-ci plus longue que parce que je n ai pas eu le loisir de la faire plus courte. (Napisałem ten [list] trochę dłuższy, gdyż nie miałem czasu napisać go krócej). Blaise Pascal, Lettres provinciales, 1657 o tym jak zwięźle zapisywać informacje 2 / 33
3 o tym jak zwięźle zapisywać informacje 3 / 33
4 Claude Shannon Claude Elwood Shannon o tym jak zwięźle zapisywać informacje 4 / 33
5 Claude Shannon Claude Elwood Shannon 30 kwietnia lutego 2001 o tym jak zwięźle zapisywać informacje 4 / 33
6 Claude Shannon Claude Elwood Shannon 30 kwietnia lutego 2001 o tym jak zwięźle zapisywać informacje 4 / 33
7 Claude Elwood Shannon A Mathematical Theory of Communication o tym jak zwięźle zapisywać informacje 5 / 33
8 Ilość informacji Informacja o zajściu zdarzenia jest tym ciekawsza im mniej prawdopodobne jest to zdarzenie. o tym jak zwięźle zapisywać informacje 6 / 33
9 Ilość informacji Informacja o zajściu zdarzenia jest tym ciekawsza im mniej prawdopodobne jest to zdarzenie. Mówimy wtedy, że zdarzenie niesie ze sobą dużą ilość informacji o tym jak zwięźle zapisywać informacje 6 / 33
10 Ilość informacji Zdarzenie, które pojawia się z prawdopodobieństwem p niesie ze sobą ilości informacji log 2 1 p o tym jak zwięźle zapisywać informacje 7 / 33
11 Definicja logarytmu Przypominam, że log a b = c a c = b itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 8 / 33
12 Definicja logarytmu Przypominam, że log a b = c a c = b Najważniejsza własność logarytmu: log a (xy) = log a x + log b y itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 8 / 33
13 Definicja logarytmu Przypominam, że log a b = c a c = b Najważniejsza własność logarytmu: log a (xy) = log a x + log b y o tym jak zwięźle zapisywać informacje 8 / 33
14 Ilość informacji Jeśli 0 p q 1 to 1 p 1 q i itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 9 / 33
15 Ilość informacji Jeśli 0 p q 1 to 1 p 1 q i log 2 1 p log 2 1 q itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 9 / 33
16 Ilość informacji Jeśli 0 p q 1 to 1 p 1 q i log 2 1 p log 2 1 q Co oznacza, że mniej prawdopodobne zdarzenie niesie ze sobą większą ilość informacji. itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 9 / 33
17 Ilość informacji Jeśli 0 p q 1 to 1 p 1 q i log 2 1 p log 2 1 q Co oznacza, że mniej prawdopodobne zdarzenie niesie ze sobą większą ilość informacji. Przyjmujemy, że log = 0. itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 9 / 33
18 Źródła Będziemy rozpatrywać pełne układy zdarzeń opisujących pewną sytuację. itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli o tym jak zwięźle zapisywać informacje 10 / 33
19 Źródła Będziemy rozpatrywać pełne układy zdarzeń opisujących pewną sytuację. Na przykład wyniki spotkań Polska-Brazylia: itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli o tym jak zwięźle zapisywać informacje 10 / 33
20 Źródła Będziemy rozpatrywać pełne układy zdarzeń opisujących pewną sytuację. Na przykład wyniki spotkań Polska-Brazylia: Wygrała Polska Remis Wygrała Brazylia o tym jak zwięźle zapisywać informacje 10 / 33
21 Źródła Będziemy rozpatrywać pełne układy zdarzeń opisujących pewną sytuację. Na przykład wyniki spotkań Polska-Brazylia: Wygrała Polska Remis Wygrała Brazylia Takie układy nazywać będziemy źródłami o tym jak zwięźle zapisywać informacje 10 / 33
22 Przykłady źródeł Inny przykład. Wybory do parlamentu o tym jak zwięźle zapisywać informacje 11 / 33
23 Przykłady źródeł Inny przykład. Wybory do parlamentu Partia A (35% poparcia) Partia B (30% poparcia) o tym jak zwięźle zapisywać informacje 11 / 33
24 Przykłady źródeł Inny przykład. Wybory do parlamentu Partia A (35% poparcia) Partia B (30% poparcia) Partia C (15% poparcia) o tym jak zwięźle zapisywać informacje 11 / 33
25 Przykłady źródeł Inny przykład. Wybory do parlamentu Partia A (35% poparcia) Partia B (30% poparcia) Partia C (15% poparcia) Partia D (10% poparcia) o tym jak zwięźle zapisywać informacje 11 / 33
26 Przykłady źródeł Inny przykład. Wybory do parlamentu Partia A (35% poparcia) Partia B (30% poparcia) Partia C (15% poparcia) Partia D (10% poparcia) Partia E (5% poparcia) o tym jak zwięźle zapisywać informacje 11 / 33
27 Przykłady źródeł Inny przykład. Wybory do parlamentu Partia A (35% poparcia) Partia B (30% poparcia) Partia C (15% poparcia) Partia D (10% poparcia) Partia E (5% poparcia) Partia F (5% poparcia) o tym jak zwięźle zapisywać informacje 11 / 33
28 Przykłady źródeł Kolejny przykład. Stan pogody w Gliwicach o tym jak zwięźle zapisywać informacje 12 / 33
29 Przykłady źródeł Kolejny przykład. Stan pogody w Gliwicach Słonecznie Deszcz o tym jak zwięźle zapisywać informacje 12 / 33
30 Przykłady źródeł Kolejny przykład. Stan pogody w Gliwicach Słonecznie Deszcz Śnieg o tym jak zwięźle zapisywać informacje 12 / 33
31 Przykłady źródeł Kolejny przykład. Stan pogody w Gliwicach Słonecznie Deszcz Śnieg Pochmurno bez opadów o tym jak zwięźle zapisywać informacje 12 / 33
32 Przykłady źródeł Kolejny przykład. Wyniki egzaminu o tym jak zwięźle zapisywać informacje 13 / 33
33 Przykłady źródeł Kolejny przykład. Wyniki egzaminu Zdam na Zdam na o tym jak zwięźle zapisywać informacje 13 / 33
34 Przykłady źródeł Kolejny przykład. Wyniki egzaminu Zdam na Zdam na Zdam na o tym jak zwięźle zapisywać informacje 13 / 33
35 Przykłady źródeł Kolejny przykład. Wyniki egzaminu Zdam na Zdam na Zdam na Zdam na o tym jak zwięźle zapisywać informacje 13 / 33
36 Przykłady źródeł Kolejny przykład. Wyniki egzaminu Zdam na Zdam na Zdam na Zdam na Zdam na o tym jak zwięźle zapisywać informacje 13 / 33
37 Przykłady źródeł Kolejny przykład. Wyniki egzaminu Zdam na Zdam na Zdam na Zdam na Zdam na Nie zdam o tym jak zwięźle zapisywać informacje 13 / 33
38 Przykłady źródeł Kolejny przykład. Wyniki egzaminu Zdam na Zdam na Zdam na Zdam na Zdam na Nie zdam o tym jak zwięźle zapisywać informacje 13 / 33
39 Przykłady źródeł Kolejny przykład. Wyniki egzaminu Zdam na Zdam na Zdam na Zdam na Zdam na Nie zdam Źródłem jest też alfabet polski. Każda litera ma przypisane prawdopodobieństwo pojawienia się w tekście (na przykład prawdopodobieństwo pojawienia się litery a jest dużo większe niż prawdopodobieństwo pojawienia się ź). o tym jak zwięźle zapisywać informacje 13 / 33
40 Definicja źródła Źródłem nazywamy skończony niepusty zbiór S = {s 1,..., s n } oraz układ prawdopodobieństw p 1,..., p n (czyli liczb rzeczywistych z przedziału [0, 1].) itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 14 / 33
41 Definicja źródła Źródłem nazywamy skończony niepusty zbiór S = {s 1,..., s n } oraz układ prawdopodobieństw p 1,..., p n (czyli liczb rzeczywistych z przedziału [0, 1].) p i interpretujemy jako prawdopodobieństwo pojawienia się elementu s i. itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 14 / 33
42 Definicja źródła Źródłem nazywamy skończony niepusty zbiór S = {s 1,..., s n } oraz układ prawdopodobieństw p 1,..., p n (czyli liczb rzeczywistych z przedziału [0, 1].) p i interpretujemy jako prawdopodobieństwo pojawienia się elementu s i. Dodatkowo zakładamy, że p 1 + p p n = 1 (co oznacza, że zawsze jeden z elementów zbioru S musi się pojawić.) o tym jak zwięźle zapisywać informacje 14 / 33
43 Entropia źródła Dane jest źródło S = {s 1,..., s n } oraz układ prawdopodobieństw p 1,..., p n (czyli liczb rzeczywistych z przedziału [0, 1].) itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 15 / 33
44 Entropia źródła Dane jest źródło S = {s 1,..., s n } oraz układ prawdopodobieństw p 1,..., p n (czyli liczb rzeczywistych z przedziału [0, 1].) Średnią ilością informacji źródła S nazywamy liczbę: itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 15 / 33
45 Entropia źródła Dane jest źródło S = {s 1,..., s n } oraz układ prawdopodobieństw p 1,..., p n (czyli liczb rzeczywistych z przedziału [0, 1].) Średnią ilością informacji źródła S nazywamy liczbę: H(S) = p 1 log 2 1 p 1 + p 2 log 2 1 p p n log 2 1 p n itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 15 / 33
46 Entropia źródła Dane jest źródło S = {s 1,..., s n } oraz układ prawdopodobieństw p 1,..., p n (czyli liczb rzeczywistych z przedziału [0, 1].) Średnią ilością informacji źródła S nazywamy liczbę: H(S) = p 1 log 2 1 p 1 + p 2 log 2 1 p p n log 2 1 p n Liczbę tą nazywamy też entropią źródła lub o tym jak zwięźle zapisywać informacje 15 / 33
47 Entropia źródła Dane jest źródło S = {s 1,..., s n } oraz układ prawdopodobieństw p 1,..., p n (czyli liczb rzeczywistych z przedziału [0, 1].) Średnią ilością informacji źródła S nazywamy liczbę: H(S) = p 1 log 2 1 p 1 + p 2 log 2 1 p p n log 2 1 p n Liczbę tą nazywamy też entropią źródła lub Średnią niepewnością obserwatora zanim zobaczy wyjście ze źródła. o tym jak zwięźle zapisywać informacje 15 / 33
48 Entropia źródła H(S) = p 1 log 2 1 p 1 + p 2 log 2 1 p p n log 2 1 p n itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 16 / 33
49 Entropia źródła H(S) = p 1 log 2 1 p 1 + p 2 log 2 1 p p n log 2 1 p n Własności entropii: itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 16 / 33
50 Entropia źródła H(S) = p 1 log 2 1 p 1 + p 2 log 2 1 p p n log 2 1 p n Własności entropii: 0 H(S) log 2 n itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 16 / 33
51 Entropia źródła H(S) = p 1 log 2 1 p 1 + p 2 log 2 1 p p n log 2 1 p n Własności entropii: 0 H(S) log 2 n Entropia jest tym większa im bliższe są sobie poszczególne prawdopodobieństwa i osiąga wartość maksymalną gdy p 1 = p 2 =... = p n = 1 n itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 16 / 33
52 Entropia źródła Które źródło jest ciekawsze? o tym jak zwięźle zapisywać informacje 17 / 33
53 Entropia źródła Które źródło jest ciekawsze? Źródło nadające wyniki meczów Brazylia-San Marino: o tym jak zwięźle zapisywać informacje 17 / 33
54 Entropia źródła Które źródło jest ciekawsze? Źródło nadające wyniki meczów Brazylia-San Marino: Wygrało San Marino Remis Wygrała Brazylia o tym jak zwięźle zapisywać informacje 17 / 33
55 Entropia źródła Które źródło jest ciekawsze? Źródło nadające wyniki meczów Brazylia-San Marino: Wygrało San Marino Remis Wygrała Brazylia Czy o tym jak zwięźle zapisywać informacje 17 / 33
56 Entropia źródła Które źródło jest ciekawsze? Źródło nadające wyniki meczów Brazylia-San Marino: Wygrało San Marino Remis Wygrała Brazylia Czy Źródło nadające wyniki meczów Brazylia-Argentyna: o tym jak zwięźle zapisywać informacje 17 / 33
57 Entropia źródła Które źródło jest ciekawsze? Źródło nadające wyniki meczów Brazylia-San Marino: Wygrało San Marino Remis Wygrała Brazylia Czy Źródło nadające wyniki meczów Brazylia-Argentyna: Wygrała Argentyna Remis Wygrała Brazylia o tym jak zwięźle zapisywać informacje 17 / 33
58 Porównanie źródeł Oczywiście drugie itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli o tym jak zwięźle zapisywać informacje 18 / 33
59 Porównanie źródeł Oczywiście drugie Pierwsze z nich ma entropię równą: H(S 1 ) 0, itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 18 / 33
60 Porównanie źródeł Oczywiście drugie Pierwsze z nich ma entropię równą: H(S 1 ) 0, A drugie: H(S 2 ) 1, 5827 log 2 3 itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 18 / 33
61 Entropia źródła dwuelementowego Niech S = {s 1, s 2 } i prawdopodobieństwa to p i p = 1 p. o tym jak zwięźle zapisywać informacje 19 / 33
62 Entropia źródła dwuelementowego Niech S = {s 1, s 2 } i prawdopodobieństwa to p i p = 1 p. Entropia takiego żródła wynosi H(S) = H(p) = p log 2 1 p + (1 p) log p o tym jak zwięźle zapisywać informacje 19 / 33
63 Entropia źródła dwuelementowego Niech S = {s 1, s 2 } i prawdopodobieństwa to p i p = 1 p. Entropia takiego żródła wynosi H(S) = H(p) = p log 2 1 p + (1 p) log 2 Wykres H(p): 1 1 p o tym jak zwięźle zapisywać informacje 19 / 33
64 Entropia źródła dwuelementowego Niech S = {s 1, s 2 } i prawdopodobieństwa to p i p = 1 p. Entropia takiego żródła wynosi H(S) = H(p) = p log 2 1 p + (1 p) log 2 Wykres H(p): 1 1 p o tym jak zwięźle zapisywać informacje 19 / 33
65 Kody Dane jest źródło S = {s 1,..., s n }. itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 20 / 33
66 Kody Dane jest źródło S = {s 1,..., s n }. Kodem binarnym nazywamy przyporządkowanie każdemu elementowi zbioru S pewnego ciągu złożonego z zer i jedynek. itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 20 / 33
67 Kody Dane jest źródło S = {s 1,..., s n }. Kodem binarnym nazywamy przyporządkowanie każdemu elementowi zbioru S pewnego ciągu złożonego z zer i jedynek. Na przykład. S = {a, b, c}. Kodem jest a 01, b 001, c 0001 itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 20 / 33
68 Kody Dane jest źródło S = {s 1,..., s n }. Kodem binarnym nazywamy przyporządkowanie każdemu elementowi zbioru S pewnego ciągu złożonego z zer i jedynek. Na przykład. S = {a, b, c}. Kodem jest a 01, b 001, c 0001 Mając dany kod możemy zakodować dowolną sekwencję elementów zbioru S. Na przykład baca o tym jak zwięźle zapisywać informacje 20 / 33
69 Kody Dane jest źródło S = {s 1,..., s n }. Kodem binarnym nazywamy przyporządkowanie każdemu elementowi zbioru S pewnego ciągu złożonego z zer i jedynek. Na przykład. S = {a, b, c}. Kodem jest a 01, b 001, c 0001 Mając dany kod możemy zakodować dowolną sekwencję elementów zbioru S. Na przykład baca Proces zamieniania sekwencji elementów zbioru S na ciąg binarny nazywamy kodowaniem, a proces odwrotny dekodowaniem. o tym jak zwięźle zapisywać informacje 20 / 33
70 Kody jednoznacznie dekodowalne Rozważmy kod w S = {a, b, c}: a 01, b 0100, c 00 itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 21 / 33
71 Kody jednoznacznie dekodowalne Rozważmy kod w S = {a, b, c}: a 01, b 0100, c 00 Wtedy ciąg 0100 dekoduje się na dwa sposoby: albo jest to zakodowana litera b albo zakodowany ciąg ac. o tym jak zwięźle zapisywać informacje 21 / 33
72 Kody jednoznacznie dekodowalne Rozważmy kod w S = {a, b, c}: a 01, b 0100, c 00 Wtedy ciąg 0100 dekoduje się na dwa sposoby: albo jest to zakodowana litera b albo zakodowany ciąg ac. Kody, dla których każdy zakodowany ciąg dekoduje się jednoznacznie nazywamy jednoznacznie dekodowalnymi o tym jak zwięźle zapisywać informacje 21 / 33
73 Kody jednoznacznie dekodowalne Jeśli każdej literze za zbioru S przyporządkujemy ciąg tej samej długości i dwóm literom przyporządkujemy dwa różne takie ciągi to kod będzie jednoznacznie dekodowalny (takie kody nazywamy blokowymi). itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 22 / 33
74 Kody jednoznacznie dekodowalne Jeśli każdej literze za zbioru S przyporządkujemy ciąg tej samej długości i dwóm literom przyporządkujemy dwa różne takie ciągi to kod będzie jednoznacznie dekodowalny (takie kody nazywamy blokowymi). Rozważmy kod w S = {a, b, c}: a 010, b 011, c 111 itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 22 / 33
75 Kody jednoznacznie dekodowalne Jeśli każdej literze za zbioru S przyporządkujemy ciąg tej samej długości i dwóm literom przyporządkujemy dwa różne takie ciągi to kod będzie jednoznacznie dekodowalny (takie kody nazywamy blokowymi). Rozważmy kod w S = {a, b, c}: a 010, b 011, c 111 Jest to przykład kodu blokowego itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 22 / 33
76 Kod blokowy ASCII Innym przykładem kodu blokowego jest kod ASCII, w którym znaki podstawowym przyporządkowane są ciągi ośmiobitowe o tym jak zwięźle zapisywać informacje 23 / 33
77 Kod blokowy ASCII Innym przykładem kodu blokowego jest kod ASCII, w którym znaki podstawowym przyporządkowane są ciągi ośmiobitowe Zakodowane niektóre znaki w kodzie ASCII o tym jak zwięźle zapisywać informacje 23 / 33
78 Kod blokowy ASCII Innym przykładem kodu blokowego jest kod ASCII, w którym znaki podstawowym przyporządkowane są ciągi ośmiobitowe Zakodowane niektóre znaki w kodzie ASCII itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 23 / 33
79 Kod prefiksowy Jeśli każdej literze jest przyporządkowany ciąg taki, że nie jest on początkiem ciągu przyporządkowanego innej literze to taki kod jest jednoznacznie dekodowalny. Kod taki nazywamy kodem prefiksowym. o tym jak zwięźle zapisywać informacje 24 / 33
80 Kod prefiksowy Jeśli każdej literze jest przyporządkowany ciąg taki, że nie jest on początkiem ciągu przyporządkowanego innej literze to taki kod jest jednoznacznie dekodowalny. Kod taki nazywamy kodem prefiksowym. Rozważmy kod w S = {a, b, c}: a 0, b 111, c 1101 o tym jak zwięźle zapisywać informacje 24 / 33
81 Kod prefiksowy Jeśli każdej literze jest przyporządkowany ciąg taki, że nie jest on początkiem ciągu przyporządkowanego innej literze to taki kod jest jednoznacznie dekodowalny. Kod taki nazywamy kodem prefiksowym. Rozważmy kod w S = {a, b, c}: a 0, b 111, c 1101 Kod ten jest przykładem kodu prefiksowego. o tym jak zwięźle zapisywać informacje 24 / 33
82 Średnia długość słowa kodowego Dane jest źródło S = {s 1,..., s n } z układem prawdopodobieństw p 1,..., p n itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 25 / 33
83 Średnia długość słowa kodowego Dane jest źródło S = {s 1,..., s n } z układem prawdopodobieństw p 1,..., p n i kod k taki, że s 1 koduje się na ciąg długości l 1, s 2 na ciąg długości l 2 itd. o tym jak zwięźle zapisywać informacje 25 / 33
84 Średnia długość słowa kodowego Dane jest źródło S = {s 1,..., s n } z układem prawdopodobieństw p 1,..., p n i kod k taki, że s 1 koduje się na ciąg długości l 1, s 2 na ciąg długości l 2 itd. Średnią długością słowa kodowego nazywamy liczbę: L(k) = p 1 l 1 + p 2 l p n l n o tym jak zwięźle zapisywać informacje 25 / 33
85 Średnia długość słowa kodowego Dane jest źródło S = {a, b, c} z układem prawdopodobieństw 0, 4, 0, 35, 0, 25 itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 26 / 33
86 Średnia długość słowa kodowego Dane jest źródło S = {a, b, c} z układem prawdopodobieństw 0, 4, 0, 35, 0, 25 i kod k taki, że a 0, b 11, c 101 o tym jak zwięźle zapisywać informacje 26 / 33
87 Średnia długość słowa kodowego Dane jest źródło S = {a, b, c} z układem prawdopodobieństw 0, 4, 0, 35, 0, 25 i kod k taki, że a 0, b 11, c 101 Wtedy: L(k) = 1 0, , , 25 = 1, 85 o tym jak zwięźle zapisywać informacje 26 / 33
88 Kod optymalny (kompresyjny) Dane jest źródło S = {s 1,..., s n } z układem prawdopodobieństw p 1,..., p n itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 27 / 33
89 Kod optymalny (kompresyjny) Dane jest źródło S = {s 1,..., s n } z układem prawdopodobieństw p 1,..., p n Kod k nazywamy kodem optymalnym jeśli dla dowolnego innego kodu k 1 zachodzi L(k) L(k 1 ) itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 27 / 33
90 Kody optymalne Jeśli k jest kodem optymalnym to H(S) L(k) H(S) + 1 o tym jak zwięźle zapisywać informacje 28 / 33
91 Kod Huffmana Jeśli dane jest źródło S, to litery w S porządkujemy według odpowiednich prawdopodobieństw od największego do najmniejszego. Na przykład jeśli S = {A, B, C, D, E, F, G, H} i prawdopodobieństwa są odpowiednio równe 0.1, 0.18, 0.4, 0.05, 0.06, 0.1, 0.07, 0.04 to litery trzeba uporządkować według prawdopodobieństw następująco: C, B, A, F, G, E, D, H itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 29 / 33
92 Kod Huffmana Jeśli dane jest źródło S, to litery w S porządkujemy według odpowiednich prawdopodobieństw od największego do najmniejszego. Na przykład jeśli S = {A, B, C, D, E, F, G, H} i prawdopodobieństwa są odpowiednio równe 0.1, 0.18, 0.4, 0.05, 0.06, 0.1, 0.07, 0.04 to litery trzeba uporządkować według prawdopodobieństw następująco: C, B, A, F, G, E, D, H Następnie kolejno redukujemy źródło łącząc dwa najmniej prawdopodobne znaki ( i porządkując). Te kroki powtarzamy tak długo aż zostaną nam dwa znaki. o tym jak zwięźle zapisywać informacje 29 / 33
93 Kod Huffmana Jeśli dane jest źródło S, to litery w S porządkujemy według odpowiednich prawdopodobieństw od największego do najmniejszego. Na przykład jeśli S = {A, B, C, D, E, F, G, H} i prawdopodobieństwa są odpowiednio równe 0.1, 0.18, 0.4, 0.05, 0.06, 0.1, 0.07, 0.04 to litery trzeba uporządkować według prawdopodobieństw następująco: C, B, A, F, G, E, D, H Następnie kolejno redukujemy źródło łącząc dwa najmniej prawdopodobne znaki ( i porządkując). Te kroki powtarzamy tak długo aż zostaną nam dwa znaki. Na naszym przykładzie wygląda to tak: o tym jak zwięźle zapisywać informacje 29 / 33
94 Kod Huffmana Jeśli dane jest źródło S, to litery w S porządkujemy według odpowiednich prawdopodobieństw od największego do najmniejszego. Na przykład jeśli S = {A, B, C, D, E, F, G, H} i prawdopodobieństwa są odpowiednio równe 0.1, 0.18, 0.4, 0.05, 0.06, 0.1, 0.07, 0.04 to litery trzeba uporządkować według prawdopodobieństw następująco: C, B, A, F, G, E, D, H Następnie kolejno redukujemy źródło łącząc dwa najmniej prawdopodobne znaki ( i porządkując). Te kroki powtarzamy tak długo aż zostaną nam dwa znaki. Na naszym przykładzie wygląda to tak: o tym jak zwięźle zapisywać informacje 29 / 33
95 Kod Huffmana Teraz tworzymy kod zaczynając od końca. Dwóm ostatnim literom przyporządkowujemy odpowiednio 0 i 1: itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 30 / 33
96 Kod Huffmana Teraz tworzymy kod zaczynając od końca. Dwóm ostatnim literom przyporządkowujemy odpowiednio 0 i 1: itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 30 / 33
97 Kod Huffmana Dalej tworzymy kod posuwając się na lewo. Jeśli pewna litera przeszła na literę (na naszym schemacie pojedyńcza strzałka lub brak strzałki) to kod przepisujemy wprost, a jeśli dwie wiadomości połączyły się w jedną to kod rozdwajamy raz dopisując na końcu zero, a raz jedynkę. Oto następny krok: itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 31 / 33
98 Kod Huffmana Dalej tworzymy kod posuwając się na lewo. Jeśli pewna litera przeszła na literę (na naszym schemacie pojedyńcza strzałka lub brak strzałki) to kod przepisujemy wprost, a jeśli dwie wiadomości połączyły się w jedną to kod rozdwajamy raz dopisując na końcu zero, a raz jedynkę. Oto następny krok: itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 31 / 33
99 Kod Huffmana I kolejny: itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 32 / 33
100 Kod Huffmana I kolejny: itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 32 / 33
101 Kod Huffmana I kolejny: Ostatecznie nasz kod wygląda następująco: C 0, B 101, A 111, F 1000, G 1100, E 1101, D 10010, H itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 32 / 33
102 Pliki graficzne itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli o tym jak zwięźle zapisywać informacje 33 / 33
103 Pliki graficzne itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli o tym jak zwięźle zapisywać informacje 33 / 33
104 Pliki graficzne Bitmapa (bez kompresji) bajtów itold Tomaszewski (Instytut Matematyki Wygra Politechniki Polska czy Śląskiej Brazylia, czyli Witold.Tomaszewski@polsl.pl) o tym jak zwięźle zapisywać informacje 33 / 33
105 Pliki graficzne Bitmapa (bez kompresji) bajtów Jpeg (kompresja stratna) bajtów o tym jak zwięźle zapisywać informacje 33 / 33
106 Pliki graficzne Bitmapa (bez kompresji) bajtów Jpeg (kompresja stratna) bajtów Gif (kompresja bezstratna) bajtów o tym jak zwięźle zapisywać informacje 33 / 33
Teoria Informacji - wykład. Kodowanie wiadomości
Teoria Informacji - wykład Kodowanie wiadomości Definicja kodu Niech S={s 1, s 2,..., s q } oznacza dany zbiór elementów. Kodem nazywamy wówczas odwzorowanie zbioru wszystkich możliwych ciągów utworzonych
Elementy teorii informacji i kodowania
i kodowania Entropia, nierówność Krafta, kodowanie optymalne Marcin Jenczmyk m.jenczmyk@knm.katowice.pl 17 kwietnia 2015 M. Jenczmyk Spotkanie KNM i kodowania 1 / 20 Niech S = {x 1,..., x q } oznacza alfabet,
Temat: Algorytm kompresji plików metodą Huffmana
Temat: Algorytm kompresji plików metodą Huffmana. Wymagania dotyczące kompresji danych Przez M oznaczmy zbiór wszystkich możliwych symboli występujących w pliku (alfabet pliku). Przykład M = 2, gdy plik
Kompresja bezstratna. Entropia. Kod Huffmana
Kompresja bezstratna. Entropia. Kod Huffmana Kodowanie i bezpieczeństwo informacji - Wykład 10 29 kwietnia 2013 Teoria informacji Jeśli P(A) jest prawdopodobieństwem wystapienia informacji A to niech i(a)
Teoria informacji i kodowania Ćwiczenia
Teoria informacji i kodowania Ćwiczenia Piotr Chołda, Andrzej Kamisiński Katedra Telekomunikacji Akademii Górniczo-Hutniczej Kod źródłowy Kodem źródłowym nazywamy funkcję różnowartościową, która elementom
Kodowanie i kompresja Streszczenie Studia dzienne Wykład 9,
1 Kody Tunstalla Kodowanie i kompresja Streszczenie Studia dzienne Wykład 9, 14.04.2005 Inne podejście: słowa kodowe mają ustaloną długość, lecz mogą kodować ciągi liter z alfabetu wejściowego o różnej
teoria informacji Entropia, informacja, kodowanie Mariusz Różycki 24 sierpnia 2015
teoria informacji Entropia, informacja, kodowanie Mariusz Różycki 24 sierpnia 2015 1 zakres materiału zakres materiału 1. Czym jest teoria informacji? 2. Wprowadzenie matematyczne. 3. Entropia i informacja.
Granica kompresji Kodowanie Shannona Kodowanie Huffmana Kodowanie ciągów Kodowanie arytmetyczne. Kody. Marek Śmieja. Teoria informacji 1 / 35
Kody Marek Śmieja Teoria informacji 1 / 35 Entropia Entropia określa minimalną statystyczną długość kodowania (przyjmijmy dla prostoty że alfabet kodowy A = {0, 1}). Definicja Niech X = {x 1,..., x n }
Kody Tunstalla. Kodowanie arytmetyczne
Kody Tunstalla. Kodowanie arytmetyczne Kodowanie i kompresja informacji - Wykład 3 8 marca 2010 Kody Tunstalla Wszystkie słowa kodowe maja ta sama długość ale jeden kod może kodować różna liczbę liter
Nierówność Krafta-McMillana, Kodowanie Huffmana
Nierówność Krafta-McMillana, Kodowanie Huffmana Kodowanie i kompresja informacji - Wykład 2 1 marca 2010 Test na jednoznaczna dekodowalność Kod a jest prefiksem kodu b jeśli b jest postaci ax. x nazywamy
Kompresja danych kodowanie Huffmana. Dariusz Sobczuk
Kompresja danych kodowanie Huffmana Dariusz Sobczuk Plan wykładu Kodowanie metodą Shannona-Fano Kodowanie metodą Huffmana Elementarny kod Golomba Kod Golomba Kod Rice a kompresja danych 2 Efektywny kod
Wstęp Statyczne kody Huffmana Dynamiczne kody Huffmana Praktyka. Kodowanie Huffmana. Dawid Duda. 4 marca 2004
4 marca 2004 Podstawowe oznaczenia i definicje Wymagania wobec kodu Podstawowa idea Podsumowanie Podstawowe oznaczenia i definicje Podstawowe oznaczenia i definicje: alfabet wejściowy: A = {a 1, a 2,...,
Entropia Kodowanie. Podstawy kompresji. Algorytmy kompresji danych. Sebastian Deorowicz
Algorytmy kompresji danych 2007 02 27 Plan wykładu 1 Modelowanie i kodowanie 2 Modelowanie i kodowanie Plan wykładu 1 Modelowanie i kodowanie 2 Modelowanie i kodowanie definicja stowarzyszona ze zbiorem
Podstawowe pojęcia. Teoria informacji
Kodowanie i kompresja informacji - Wykład 1 22 luty 2010 Literatura K. Sayood, Kompresja danych - wprowadzenie, READ ME 2002 (ISBN 83-7243-094-2) Literatura K. Sayood, Kompresja danych - wprowadzenie,
Kodowanie i entropia
Kodowanie i entropia Marek Śmieja Teoria informacji 1 / 34 Kod S - alfabet źródłowy mocy m (np. litery, cyfry, znaki interpunkcyjne), A = {a 1,..., a n } - alfabet kodowy (symbole), Chcemy przesłać tekst
Kodowanie informacji
Kodowanie informacji Tomasz Wykład 4: kodowanie arytmetyczne Motywacja Podstawy i własności Liczby rzeczywiste Motywacje 1 średnia długość kodu Huffmana może odbiegać o p max + 0.086 od entropii, gdzie
0 + 0 = 0, = 1, = 1, = 0.
5 Kody liniowe Jak już wiemy, w celu przesłania zakodowanego tekstu dzielimy go na bloki i do każdego z bloków dodajemy tak zwane bity sprawdzające. Bity te są w ścisłej zależności z bitami informacyjnymi,
Niech x 1,..., x n będzie ciągiem zdarzeń. ---
Matematyczne podstawy kryptografii, Ćw2 TEMAT 7: Teoria Shannona. Kody Huffmana, entropia. BIBLIOGRAFIA: [] Cz. Bagiński, cez.wipb.pl, [2] T. H. Cormen, C. E. Leiserson, R. L Rivest, Wprowadzenie do algorytmów,
Teoria informacji i kodowania Ćwiczenia Sem. zimowy 2016/2017
Kody źródłowe jednoznacznie dekodowalne Zadanie Ile najwięcej słów kodowych może liczyć kod binarny jednoznacznie dekodowalny, którego najdłuższe słowo ma siedem liter? (Odp. 28) Zadanie 2 Zbiór sześciu
Algorytmy zachłanne. dr inż. Urszula Gałązka
Algorytmy zachłanne dr inż. Urszula Gałązka Algorytm zachłanny O Dokonuje wyboru, który w danej chwili wydaje się najkorzystniejszy. O Mówimy, że jest to wybór lokalnie optymalny O W rzeczywistości nie
Polska-Brazylia 5:0, czyli o poprawianiu błędów w przekazywanych informacjach
Polska-Brazylia 5:0, czyli o poprawianiu błędów w przekazywanych informacjach Witold Tomaszewski Instytut Matematyki Politechniki Śląskiej e-mail: Witold.Tomaszewski@polsl.pl Witold Tomaszewski (Instytut
mgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 4, strona 1. GOLOMBA I RICE'A
mgr inż. Grzegorz Kraszewski SYSTEMY MULTIMEDIALNE wykład 4, strona 1. KOMPRESJA ALGORYTMEM ARYTMETYCZNYM, GOLOMBA I RICE'A Idea algorytmu arytmetycznego Przykład kodowania arytmetycznego Renormalizacja
Definicja. Jeśli. wtedy
Definicja Jeśli wtedy Cel kompresji: zredukowanie do minimum oczekiwanego (średniego) kosztu gdzie l i jest długością słowa kodu c i kodującego symbol a i Definicja Definicje Efektywność kodowania określamy
KODY SYMBOLI. Kod Shannona-Fano. Algorytm S-F. Przykład S-F
KODY SYMBOLI Kod Shannona-Fano KODOWANIE DANYCH, A.Przelaskowski Metoda S-F Kod Huffmana Adaptacyjne drzewo Huffmana Problemy implementacji Kod Golomba Podsumowanie Kod drzewa binarnego Na wejściu rozkład:
0-0000, 1-0001, 2-0010, 3-0011 itd... 9-1001.
KODOWANIE Jednym z problemów, z którymi spotykamy się w informatyce, jest problem właściwego wykorzystania pamięci. Konstruując algorytm staramy się zwykle nie tylko o zminimalizowanie kosztów czasowych
teoria informacji Kanały komunikacyjne, kody korygujące Mariusz Różycki 25 sierpnia 2015
teoria informacji Kanały komunikacyjne, kody korygujące Mariusz Różycki 25 sierpnia 2015 1 wczoraj Wprowadzenie matematyczne. Entropia i informacja. Kodowanie. Kod ASCII. Stopa kodu. Kody bezprefiksowe.
Kodowanie Huffmana. Platforma programistyczna.net; materiały do laboratorium 2014/15 Marcin Wilczewski
Kodowanie Huffmana Platforma programistyczna.net; materiały do laboratorium 24/5 Marcin Wilczewski Algorytm Huffmana (David Huffman, 952) Algorytm Huffmana jest popularnym algorytmem generującym optymalny
Kompresja Kodowanie arytmetyczne. Dariusz Sobczuk
Kompresja Kodowanie arytmetyczne Dariusz Sobczuk Kodowanie arytmetyczne (lata 1960-te) Pierwsze prace w tym kierunku sięgają początków lat 60-tych XX wieku Pierwszy algorytm Eliasa nie został opublikowany
Relacje. opracował Maciej Grzesiak. 17 października 2011
Relacje opracował Maciej Grzesiak 17 października 2011 1 Podstawowe definicje Niech dany będzie zbiór X. X n oznacza n-tą potęgę kartezjańską zbioru X, tzn zbiór X X X = {(x 1, x 2,..., x n ) : x k X dla
Wybrane metody kompresji obrazów
Wybrane metody kompresji obrazów Celem kodowania kompresyjnego obrazu jest redukcja ilości informacji w nim zawartej. Redukcja ta polega na usuwaniu informacji nadmiarowej w obrazie, tzw. redundancji.
Założenia i obszar zastosowań. JPEG - algorytm kodowania obrazu. Geneza algorytmu KOMPRESJA OBRAZÓW STATYCZNYCH - ALGORYTM JPEG
Założenia i obszar zastosowań KOMPRESJA OBRAZÓW STATYCZNYCH - ALGORYTM JPEG Plan wykładu: Geneza algorytmu Założenia i obszar zastosowań JPEG kroki algorytmu kodowania obrazu Założenia: Obraz monochromatyczny
ZADANIE 1. Rozwiązanie:
EUROELEKTR Ogólnopolska Olimpiada Wiedzy Elektrycznej i Elektronicznej Rok szkolny 200/20 Rozwiązania zadań dla grupy teleinformatycznej na zawody II. stopnia ZNIE ramka logiczna w technologii MOS składa
Def. Kod jednoznacznie definiowalny Def. Kod przedrostkowy Def. Kod optymalny. Przykłady kodów. Kody optymalne
Załóżmy, że mamy źródło S, które generuje symbole ze zbioru S={x, x 2,..., x N } z prawdopodobieństwem P={p, p 2,..., p N }, symbolom tym odpowiadają kody P={c, c 2,..., c N }. fektywność danego sposobu
Algorytmy kompresji. Kodowanie Huffmana, kodowanie arytmetyczne
Algorytmy kompresji Kodowanie Huffmana, kodowanie arytmetyczne Kodowanie arytmetyczne Peter Elias 1923-2001 Kodowanie arytmetyczne to metoda kodowania źródłowego dyskretnych źródeł sygnałów, stosowana
Jak zadać dobre pytanie, czyli czym jest informacja i jak ja
Jak zadać dobre pytanie, czyli czym jest informacja i jak ja zmierzyć Adam Doliwa doliwa@matman.uwm.edu.pl WYKŁAD Z CYKLU NIEZWYKŁA MATEMATYKA WYDZIAŁ MATEMATYKI I INFORMATYKI UWM Olsztyn, 28 września
Grupy generowane przez mep-pary
Grupy generowane przez mep-pary Witold Tomaszewski (przy współudziale Zbigniewa Szaszkowskiego i Marka Żabki) Zakład Algebry Instytut Matematyki Politechnika Śląska e-mail: Witold.Tomaszewski@polsl.pl
12. Wprowadzenie Sygnały techniki cyfrowej Systemy liczbowe. Matematyka: Elektronika:
PRZYPOMNIJ SOBIE! Matematyka: Dodawanie i odejmowanie "pod kreską". Elektronika: Sygnały cyfrowe. Zasadę pracy tranzystorów bipolarnych i unipolarnych. 12. Wprowadzenie 12.1. Sygnały techniki cyfrowej
Systemy liczbowe. 1. Przedstawić w postaci sumy wag poszczególnych cyfr liczbę rzeczywistą R = (10).
Wprowadzenie do inżynierii przetwarzania informacji. Ćwiczenie 1. Systemy liczbowe Cel dydaktyczny: Poznanie zasad reprezentacji liczb w systemach pozycyjnych o różnych podstawach. Kodowanie liczb dziesiętnych
Według raportu ISO z 1988 roku algorytm JPEG składa się z następujących kroków: 0.5, = V i, j. /Q i, j
Kompresja transformacyjna. Opis standardu JPEG. Algorytm JPEG powstał w wyniku prac prowadzonych przez grupę ekspertów (ang. Joint Photographic Expert Group). Prace te zakończyły się w 1991 roku, kiedy
Entropia to wielkość określająca liczbę bitów informacji zawartej w danej wiadomości lub źródle. Spełnia ona trzy naturalne warunki: I(s) jest
Entropia to wielkość określająca liczbę bitów informacji zawartej w danej wiadomości lub źródle. Spełnia ona trzy naturalne warunki: I(s) jest malejącą funkcją prawdopodobieństwa zajścia zdarzenia s. I(s)
Kodowanie i kompresja Tomasz Jurdziński Studia Wieczorowe Wykład Kody liniowe - kodowanie w oparciu o macierz parzystości
Kodowanie i kompresja Tomasz Jurdziński Studia Wieczorowe Wykład 13 1 Kody liniowe - kodowanie w oparciu o macierz parzystości Przykład Różne macierze parzystości dla kodu powtórzeniowego. Co wiemy z algebry
Rozważmy funkcję f : X Y. Dla dowolnego zbioru A X określamy. Dla dowolnego zbioru B Y określamy jego przeciwobraz:
Rozważmy funkcję f : X Y. Dla dowolnego zbioru A X określamy jego obraz: f(a) = {f(x); x A} = {y Y : x A f(x) = y}. Dla dowolnego zbioru B Y określamy jego przeciwobraz: f 1 (B) = {x X; f(x) B}. 1 Zadanie.
pobieramy pierwszą literę komunikatu i wypełniamy nią (wszystkie pozycje tą samą literą) bufor słownikowy.
komunikat do zakodowania: a a b a b b a b a c c a b a a a a a c a c b c b b c c a a c b a 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 przyjmujemy długość bufora słownikowego
Podstawy Informatyki: Kody. Korekcja błędów.
Podstawy Informatyki: Kody. Korekcja błędów. Adam Kolany Instytut Techniczny adamkolany@pm.katowice.pl Adam Kolany (PWSZ Nowy Sącz, IT) Podstawy Informatyki: Kody. Korekcja błędów. 11 stycznia 2012 1 /
Algorytmy kodowania entropijnego
Algorytmy kodowania entropijnego 1. Kodowanie Shannona-Fano 2. Kodowanie Huffmana 3. Jednoznaczność kodów Huffmana. Kod o minimalnej wariancji 4. Dynamiczne kodowanie Huffmana Poprzedni wykład - podsumowanie
Algorytmy i struktury danych. Co dziś? Tytułem przypomnienia metoda dziel i zwyciężaj. Wykład VIII Elementarne techniki algorytmiczne
Algorytmy i struktury danych Wykład VIII Elementarne techniki algorytmiczne Co dziś? Algorytmy zachłanne (greedyalgorithms) 2 Tytułem przypomnienia metoda dziel i zwyciężaj. Problem można podzielić na
Arytmetyka komputera
Arytmetyka komputera Systemy zapisu liczb System dziesiętny Podstawą układu dziesiętnego jest liczba 10, a wszystkie liczby można zapisywać dziesięcioma cyframi: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9. Jednostka
Algorytmy i struktury danych
Cel ćwiczenia lgorytmy i struktury danych Instytut Sterowania i Systemów Informatycznych Wydział Elektrotechniki, Informatyki i Telekomunikacji Uniwersytet Zielonogórski Kompresja Ćwiczenie ma na celu
wiadomość komunikat - informacja Caius Julius Cesar Człowiek zasztyletowany przez senatorów na forum Romanum w Idy Marcowe roku DCCIX ab urbe condita
wiadomość komunikat - informacja Caius Julius Cesar Człowiek zasztyletowany przez senatorów na forum Romanum w Idy Marcowe roku DCCIX ab urbe condita Wojna Bambadocji przeciwko Alandii i Cezji Alandia:
Techniki multimedialne
Techniki multimedialne Digitalizacja podstawą rozwoju systemów multimedialnych. Digitalizacja czyli obróbka cyfrowa oznacza przetwarzanie wszystkich typów informacji - słów, dźwięków, ilustracji, wideo
2 Arytmetyka. d r 2 r + d r 1 2 r 1...d d 0 2 0,
2 Arytmetyka Niech b = d r d r 1 d 1 d 0 będzie zapisem liczby w systemie dwójkowym Zamiana zapisu liczby b na system dziesiętny odbywa się poprzez wykonanie dodawania d r 2 r + d r 1 2 r 1 d 1 2 1 + d
Zasada indukcji matematycznej
Zasada indukcji matematycznej Twierdzenie 1 (Zasada indukcji matematycznej). Niech ϕ(n) będzie formą zdaniową zmiennej n N 0. Załóżmy, że istnieje n 0 N 0 takie, że 1. ϕ(n 0 ) jest zdaniem prawdziwym,.
Elementy logiki matematycznej
Elementy logiki matematycznej Przedmiotem logiki matematycznej jest badanie tzw. wyrażeń logicznych oraz metod rozumowania i sposobów dowodzenia używanych w matematyce, a także w innych dziedzinach, w
WST P DO TEORII INFORMACJI I KODOWANIA. Grzegorz Szkibiel. Wiosna 2013/14
WST P DO TEORII INFORMACJI I KODOWANIA Grzegorz Szkibiel Wiosna 2013/14 Spis tre±ci 1 Kodowanie i dekodowanie 4 1.1 Kodowanie a szyfrowanie..................... 4 1.2 Podstawowe poj cia........................
ZESPÓŁ LABORATORIÓW TELEMATYKI TRANSPORTU ZAKŁAD TELEKOMUNIKACJI W TRANSPORCIE WYDZIAŁ TRANSPORTU POLITECHNIKI WARSZAWSKIEJ
ZESPÓŁ ABORATORIÓW TEEMATYKI TRANSPORTU ZAKŁAD TEEKOMUNIKACJI W TRANSPORCIE WYDZIAŁ TRANSPORTU POITECHNIKI WARSZAWSKIEJ ABORATORIUM Telekomunikacji Kolejowej INSTRUKCJA DO ĆWICZENIA NR 5 Kompresja danych
FUNKCJA I JEJ WŁASNOŚCI
FUNKCJA I JEJ WŁASNOŚCI Niech i oznaczają dwa dowolne niepuste zbiory. DEFINICJA (odwzorowanie zbioru (funkcja)) Odwzorowaniem zbioru w zbiór nazywamy przyporządkowanie każdemu elementowi zbioru dokładnie
Rozdział 7 Relacje równoważności
Rozdział 7 Relacje równoważności Pojęcie relacji. Załóżmy, że dany jest niepusty zbiór A oraz własność W, którą mogą mieć niektóre elementy zbioru A. Własność W wyznacza pewien podzbiór W A zbioru A, złożony
Matematyka dyskretna. Andrzej Łachwa, UJ, A/14
Matematyka dyskretna Andrzej Łachwa, UJ, 2016 andrzej.lachwa@uj.edu.pl 9A/14 Permutacje Permutacja zbioru skończonego X to bijekcja z X w X. Zbiór permutacji zbioru oznaczamy przez, a permutacje małymi
Dane, informacja, programy. Kodowanie danych, kompresja stratna i bezstratna
Dane, informacja, programy Kodowanie danych, kompresja stratna i bezstratna DANE Uporządkowane, zorganizowane fakty. Główne grupy danych: tekstowe (znaki alfanumeryczne, znaki specjalne) graficzne (ilustracje,
KONSPEKT FUNKCJE cz. 1.
KONSPEKT FUNKCJE cz. 1. DEFINICJA FUNKCJI Funkcją nazywamy przyporządkowanie, w którym każdemu elementowi zbioru X odpowiada dokładnie jeden element zbioru Y Zbiór X nazywamy dziedziną, a jego elementy
Wykład 8. Informatyka Stosowana. 26 listopada 2018 Magdalena Alama-Bućko. Informatyka Stosowana Wykład , M.A-B 1 / 31
Wykład 8 Informatyka Stosowana 26 listopada 208 Magdalena Alama-Bućko Informatyka Stosowana Wykład 8 26..208, M.A-B / 3 Definicja Ciagiem liczbowym {a n }, n N nazywamy funkcję odwzorowujac a zbiór liczb
Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11,
1 Kwantyzacja skalarna Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11, 10.05.005 Kwantyzacja polega na reprezentowaniu dużego zbioru wartości (być może nieskończonego) za pomocą wartości
Urządzenia Techniki. Klasa I TI. System dwójkowy (binarny) -> BIN. Przykład zamiany liczby dziesiętnej na binarną (DEC -> BIN):
1. SYSTEMY LICZBOWE UŻYWANE W TECHNICE KOMPUTEROWEJ System liczenia - sposób tworzenia liczb ze znaków cyfrowych oraz zbiór reguł umożliwiających wykonywanie operacji arytmetycznych na liczbach. Do zapisu
Dla człowieka naturalnym sposobem liczenia jest korzystanie z systemu dziesiętnego, dla komputera natomiast korzystanie z zapisu dwójkowego
Arytmetyka cyfrowa Dla człowieka naturalnym sposobem liczenia jest korzystanie z systemu dziesiętnego, dla komputera natomiast korzystanie z zapisu dwójkowego (binarnego). Zapis binarny - to system liczenia
WYDZIAŁ MATEMATYKI KARTA PRZEDMIOTU
Zał. nr do ZW WYDZIAŁ MATEMATYKI KARTA PRZEDMIOTU Nazwa w języku polskim PODSTAWY TEORII INFORMACJI Nazwa w języku angielskim Introduction to Information Theory Kierunek studiów (jeśli dotyczy): Matematyka
ARYTMETYKA BINARNA. Dziesiątkowy system pozycyjny nie jest jedynym sposobem kodowania liczb z jakim mamy na co dzień do czynienia.
ARYTMETYKA BINARNA ROZWINIĘCIE DWÓJKOWE Jednym z najlepiej znanych sposobów kodowania informacji zawartej w liczbach jest kodowanie w dziesiątkowym systemie pozycyjnym, w którym dla przedstawienia liczb
Systemy liczenia. 333= 3*100+3*10+3*1
Systemy liczenia. System dziesiętny jest systemem pozycyjnym, co oznacza, Ŝe wartość liczby zaleŝy od pozycji na której się ona znajduje np. w liczbie 333 kaŝda cyfra oznacza inną wartość bowiem: 333=
Architektura komputerów Reprezentacja liczb. Kodowanie rozkazów.
Architektura komputerów Reprezentacja liczb. Kodowanie rozkazów. Prezentacja jest współfinansowana przez Unię Europejską w ramach Europejskiego Funduszu Społecznego w projekcie pt. Innowacyjna dydaktyka
Cyfrowy zapis informacji. 5 grudnia 2013 Wojciech Kucewicz 2
Cyfrowy zapis informacji 5 grudnia 2013 Wojciech Kucewicz 2 Bit, Bajt, Słowo 5 grudnia 2013 Wojciech Kucewicz 3 Cyfrowy zapis informacji Bit [ang. binary digit] jest elementem zbioru dwuelementowego używanym
Architektura systemów komputerowych
Architektura systemów komputerowych Grzegorz Mazur Zak lad Metod Obliczeniowych Chemii Uniwersytet Jagielloński 12 kwietnia 2011 Grzegorz Mazur (ZMOCh UJ) Architektura systemów komputerowych 12 kwietnia
Kodowanie informacji. Przygotował: Ryszard Kijanka
Kodowanie informacji Przygotował: Ryszard Kijanka Komputer jest urządzeniem służącym do przetwarzania informacji. Informacją są liczby, ale także inne obiekty, takie jak litery, wartości logiczne, obrazy
Przetwarzanie i transmisja danych multimedialnych. Wykład 3 Kodowanie Shannona Fano i Huffmana. Przemysław Sękalski.
Przetwarzanie i transmisja danych multimedialnych Wykład 3 Kodowanie Shannona Fano i Huffmana Przemysław Sękalski sekalski@dmcs.pl Politechnika Łódzka Katedra Mikroelektroniki i Technik Informatycznych
INFORMATYKA. Zajęcia organizacyjne. Arytmetyka komputerowa.
INFORMATYKA Zajęcia organizacyjne Arytmetyka komputerowa http://www.infoceram.agh.edu.pl http://home.agh.edu.pl/~grzesik/ KONSULTACJE Zbigniew Grzesik środa, 9 ; A-3, p. 2 tel.: 67-249 e-mail: grzesik@agh.edu.pl
Podstawy kompresji danych
Podstawy kompresji danych Pojęcie kompresji W ogólności kompresja (kodowanie) jest procedurą (przekształceniem) zmiany reprezentacji wejściowego zbioru danych do postaci wymagającej mniejszej liczby bitów
Przetwarzanie i transmisja danych multimedialnych. Wykład 2 Podstawy kompresji. Przemysław Sękalski.
Przetwarzanie i transmisja danych multimedialnych Wykład Podstawy kompresji Przemysław Sękalski sekalski@dmcs.pl Politechnika Łódzka Katedra Mikroelektroniki i Technik Informatycznych DMCS Zawartość wykładu.
Komunikacja człowiek-komputer
Komunikacja człowiek-komputer Wykład 3 Dr inż. Michał Kruk Komunikacja człowiek - komputer dr inż. Michał Kruk Reprezentacja znaków Aby zakodować tekst, trzeba każdej możliwej kombinacji bitów przyporządkować
Zadanie 1. Potęgi (14 pkt)
2 Egzamin maturalny z informatyki Zadanie 1. otęgi (14 pkt) W poniższej tabelce podane są wartości kolejnych potęg liczby 2: k 0 1 2 3 4 5 6 7 8 9 10 2 k 1 2 4 8 16 32 64 128 256 512 1024 Ciąg a=(a 0,
Technologie i systemy oparte na logice rozmytej
Zagadnienia I Technologie i systemy oparte na logice rozmytej Mają zastosowania w sytuacjach kiedy nie posiadamy wystarczającej wiedzy o modelu matematycznym rządzącym danym zjawiskiem oraz tam gdzie zbudowanie
Wykład 1. Na początku zajmować się będziemy zbiorem liczb całkowitych
Arytmetyka liczb całkowitych Wykład 1 Na początku zajmować się będziemy zbiorem liczb całkowitych Z = {0, ±1, ±2,...}. Zakładamy, że czytelnik zna relację
Wydział Mechaniczny. Instrukcja do zajęć laboratoryjnych
Politechnika Białostocka Wydział Mechaniczny Instrukcja do zajęć laboratoryjnych Temat ćwiczenia: Arytmetyka układów cyfrowych część 1 dodawanie i odejmowanie liczb binarnych Numer ćwiczenia: 1 Laboratorium
dr inż. Jacek Naruniec
dr inż. Jacek Naruniec J.Naruniec@ire.pw.edu.pl Entropia jest to średnia ilość informacji przypadająca na jeden znak alfabetu. H( x) n i 1 p( i)log W rzeczywistości określa nam granicę efektywności kodowania
Teoria liczb. Magdalena Lemańska. Magdalena Lemańska,
Teoria liczb Magdalena Lemańska Literatura Matematyka Dyskretna Andrzej Szepietowski http://wazniak.mimuw.edu.pl/ Discrete Mathematics Seymour Lipschutz, Marc Lipson Wstęp Teoria liczb jest dziedziną matematyki,
KURS MATEMATYKA DYSKRETNA
KURS MATEMATYKA DYSKRETNA Lekcja 17 Relacje częściowego porządku. Diagramy Hassego. ZADANIE DOMOWE www.akademia.etrapez.pl Strona 1 Część 1: TEST Zaznacz poprawną odpowiedź (tylko jedna jest prawdziwa).
prawda symbol WIEDZA DANE komunikat fałsz liczba INFORMACJA (nie tyko w informatyce) kod znak wiadomość ENTROPIA forma przekaz
WIEDZA prawda komunikat symbol DANE fałsz kod INFORMACJA (nie tyko w informatyce) liczba znak forma ENTROPIA przekaz wiadomość Czy żyjemy w erze informacji? TAK Bo używamy nowego rodzaju maszyn maszyn
Matematyka dyskretna. Andrzej Łachwa, UJ, A/15
Matematyka dyskretna Andrzej Łachwa, UJ, 2015 andrzej.lachwa@uj.edu.pl 10A/15 Permutacje Permutacja zbioru skończonego X to bijekcja z X w X. Zbiór permutacji zbioru oznaczamy przez, a permutacje małymi
Dr inż. Robert Wójcik, p. 313, C-3, tel Katedra Informatyki Technicznej (K-9) Wydział Elektroniki (W-4) Politechnika Wrocławska
Dr inż. Robert Wójcik, p. 313, C-3, tel. 320-27-40 Katedra Informatyki Technicznej (K-9) Wydział Elektroniki (W-4) Politechnika Wrocławska E-mail: Strona internetowa: robert.wojcik@pwr.edu.pl google: Wójcik
Równoliczność zbiorów
Logika i Teoria Mnogości Wykład 11 12 Teoria mocy 1 Równoliczność zbiorów Def. 1. Zbiory X i Y nazywamy równolicznymi, jeśli istnieje bijekcja f : X Y. O funkcji f mówimy wtedy,że ustala równoliczność
Przepustowość kanału, odczytywanie wiadomości z kanału, poprawa wydajności kanału.
Przepustowość kanału, odczytywanie wiadomości z kanału, poprawa wydajności kanału Wiktor Miszuris 2 czerwca 2004 Przepustowość kanału Zacznijmy od wprowadzenia równości IA, B HB HB A HA HA B Można ją intuicyjnie
1 Działania na zbiorach
M. Beśka, Wstęp do teorii miary, rozdz. 1 1 1 Działania na zbiorach W rozdziale tym przypomnimy podstawowe działania na zbiorach koncentrując się na własnościach tych działań, które będą przydatne w dalszej
Logarytmy. Funkcje logarytmiczna i wykładnicza. Równania i nierówności wykładnicze i logarytmiczne.
Logarytmy. Funkcje logarytmiczna i wykładnicza. Równania i nierówności wykładnicze i logarytmiczne. Definicja. Niech a i b będą dodatnimi liczbami rzeczywistymi i niech a. Logarytmem liczby b przy podstawie
Wstęp do Informatyki
Wstęp do Informatyki Bożena Woźna-Szcześniak bwozna@gmail.com Jan Długosz University, Poland Wykład 4 Bożena Woźna-Szcześniak (AJD) Wstęp do Informatyki Wykład 4 1 / 1 DZIELENIE LICZB BINARNYCH Dzielenie
Kodowanie Shannona-Fano
Kodowanie Shannona-Fano Kodowanie Shannona-Fano znane było jeszcze przed kodowaniem Huffmana i w praktyce można dzięki niemu osiągnąć podobne wyniki, pomimo, że kod generowany tą metodą nie jest optymalny.
Technologie Informacyjne
System binarny Szkoła Główna Służby Pożarniczej Zakład Informatyki i Łączności October 7, 26 Pojęcie bitu 2 Systemy liczbowe 3 Potęgi dwójki 4 System szesnastkowy 5 Kodowanie informacji 6 Liczby ujemne
1 Określenie pierścienia
1 Określenie pierścienia Definicja 1. Niech P będzie zbiorem, w którym określone są działania +, (dodawanie i mnożenie). Mówimy, że struktura (P, +, ) jest pierścieniem, jeżeli spełnione są następujące
Cyfrowy zapis informacji
F1-1 Cyfrowy zapis informacji Alfabet: uporządkowany zbiór znaków, np. A = {a,b,..., z} Słowa (ciągi) informacyjne: łańcuchy znakowe, np. A i = gdtr Długość słowa n : liczba znaków słowa, np. n(sbdy) =
Uwaga 1. Zbiory skończone są równoliczne wtedy i tylko wtedy, gdy mają tyle samo elementów.
Logika i teoria mnogości Wykład 11 i 12 1 Moce zbiorów Równoliczność zbiorów Def. 1. Zbiory X i Y są równoliczne (X ~ Y), jeśli istnieje bijekcja f : X Y. O funkcji f mówimy wtedy, że ustala równoliczność
Kody Huffmana. Konrad Wypyski. 11 lutego 2006 roku
Kody Huffmana Konrad Wypyski 11 lutego 2006 roku Spis treści 1 Rozdział 1 Kody Huffmana Kody Huffmana (ang. Huffman coding) to jedna z najprostszych i najłatwiejszych w implementacji metod kompresji bezstratnej;
Operatory AND, OR, NOT, XOR Opracował: Andrzej Nowak Bibliografia:
Operatory logiczne Komputery i ich logika AND - && Podstawy programowania w C++ Operatory AND, OR, NOT, XOR Opracował: Andrzej Nowak Bibliografia: CPA: PROGRAMMING ESSENTIALS IN C++ https://www.netacad.com
TIMKoD - Lab 1 - Przybliżenie języka naturalnego
TIMKoD - Lab 1 - Przybliżenie języka naturalnego 28 lutego 2018 Opis pliku z zadaniami Wszystkie zadania na zajęciach będą przekazywane w postaci plików.pdf, sformatowanych podobnie do tego dokumentu.
FUNKCJE. (odwzorowania) Funkcje 1
FUNKCJE (odwzorowania) Funkcje 1 W matematyce funkcja ze zbioru X w zbiór Y nazywa się odwzorowanie (przyporządkowanie), które każdemu elementowi zbioru X przypisuje jeden, i tylko jeden element zbioru