2. Teoria informacji. Kodowanie danych.

Transkrypt

1 2. Teoria informacji. Kodowanie danych. 2.1 Elementy teorii informacji 1) Ilo informacji Twierdzenie Shannona (Claude Shannon, 1948). Wiadomo (znak, zdarzenie) zawiera tym wicej informacji, im mniejsze jest prawdopodobiestwo jej wystpienia. Przykład 2.1. Przy rzutach kostk prawdopodobiestwo wystpienia znaku Z w chwili t jest równe czstoci wystpowania znaku Z w całym cigu znaków. Zaleno logarytmiczna informacji od prawdopodobiestwa wynika z przyjcia nastpujcych wymaga: 1. Informacja jest cigł, nieujemn, monotonicznie rosnc funkcj odwrotnoci prawdopodobiestwa p (0, 1] wystpienia wiadomoci, tj. W. Kasprzak: Wstp do informatyki. 2-1

2 I (z) = f (1/p); 2. Informacja o niezalenym wystpieniu dwóch wiadomoci o prawdopodobiestwach p i i p k powinna by sum poszczególnych informacji o wystpieniu kadej z wiadomoci: f (1 / p i p k ) = f (1/ p i ) + f (1/ p k ); 3. I(1) = 0; informacja zdarzenia pewnego jest zerowa I( z) z 4. lim = 0 z. cig informacji ronie wolniej ni cig z. Jedynym rozwizaniem cigłym warunków (1-4) jest: I(z) = log a z. Wybór dwójkowej podstawy logarytmu (a = 2), jest dogodny ze wzgldu na kodowanie dwójkowe i moliwo pomiaru iloci informacji w bitach. W. Kasprzak: Wstp do informatyki. 2-2

3 Nieokrelono zdarzenia / wiadomoci Niech nieokrelono wyniku Y i przed zdarzeniem Y wynosi log (P o (Y i )), a po tym zdarzeniu: log (P 1 (Y i )). Wtedy ilo otrzymanej informacji o Y i w wyniku zdarzenia Y wynosi: I(Y i ) = log P 1 (Y i ) - log P o (Y i ) = log (P l (Y i ) /P o (Y i )) Jeli wynik Y i jest pewny ( P 1 (Y i ) = 1 ) to ilo uzyskanej informacji wyniesie: I(Y i ) = log (1/ P o (Y i )) = log 1 - log P o (Y i ) = - log P o (Y i ). Ilo informacji okrela si jako usunicie lub zmniejszenie nieokrelonoci zaistnienia dowolnego zdarzenia. Miar tej iloci jest rónica nieokrelonoci pewnego wyniku przed i po zaistnieniu zdarzenia. W. Kasprzak: Wstp do informatyki. 2-3

4 Wniosek Im wiksze jest prawdopodobiestwo wyniku dla zdarzenia, tym mniejsz ilo informacji otrzymuje si w zwizku z jego zaistnieniem. I na odwrót - im mniej prawdopodobny był wynik zdarzenia, tym wicej informacji zawiera wiadomo o jego zaistnieniu. Przykład 2.2 Załómy, e zdarzenie Y moe prowadzi do dwóch wyników o prawdopodobiestwach P(Y 1 ) = 0,99 i P(Y 2 ) = 0,01. Zaistnienie tych wyników daje informacj I(Y 1 ) = - log 10 0,99 = 0,0044 (dla logarytmu o podstawie 10) lub I(Y 1 ) = - log 2 0,99 = 0,0145 (dla logarytmu o podstawie 2). Odpowiednio: I(Y 2 ) = - log 10 0,01 = 2.0 ; wzgl. I(Y 2 ) = - log 2 0, W. Kasprzak: Wstp do informatyki. 2-4

5 2) Entropia Rónica informacji [log P 1 (Y i ) - log P o (Y i )] charakteryzuje informacj o zdarzeniu w stosunku do pojedynczego wyniku Y i. Ale zdarzenie Y moe mie szereg wyników, z których kady wnosi swój wkład w nieokrelono zdarzenia Y. Nieokrelono poszczególnych wyników powinna wej w poszukiwan miar z pewn wag, któr moe by np. prawdopodobiestwo zaistnienia kadego wyniku oddzielnie. Czyli: P( Y1 ) logp( Y1 ) P( Y2 ) logp( Y2 ) P( Yk ) logp( Yk ) H( Y ) = P( Y ) + P( Y ) + + P( Y ) W. Kasprzak: Wstp do informatyki Warto mianownika wynosi 1 (s tu wszystkie moliwe wyniki zdarzenia): H( Y ) = k i = 1 2 P( Y i ) log P( Y i ). k

6 Definicja H(Y) to entropia zdarzenia Y, która stanowi miar oczekiwanej nieokrelonoci zdarzenia. Przykład 2.3 Niech prawdopodobiestwa 4 wyników zdarzenia Y wynosz: Y 1 Y 2 Y 3 Y 4 0,5 0,3 0,1 0,1 Entropia zdarzenia Y (dla logarytmu o podstawie 2) wynosi: H(Y)= -(0,5 log 2 0,5 + 0,3 log 2 0,3 + 0,1 log 2 0,1 + 0,1 log 2 0,1) = 1,6855. Entropia H(Y) osiga maksimum przy równym prawdopodobiestwie wszystkich wyników. Dla równomiernego rozkładu: Y 1 Y 2 Y 3 Y 4 0,25 0,25 0,25 0,25 Teraz: H(Y) = - (4 0,25 log 2 0,25 ) = 2. W. Kasprzak: Wstp do informatyki. 2-6

7 Entropia zmniejsza si w miar zwikszania si rónicy prawdopodobiestw wyników. Dla jeszcze bardziej nierównomiernego rozkładu ni pierwszy: Y 1 Y 2 Y 3 Y 4 0,9 0,07 0,02 0,01 Teraz: H(Y) = -(0,9 log 0,9 + 0,07 log ,02 log 0,02 + 0,01 log 0,01)= 1,6006 Entropia zdarzenia złoonego Y Z równa si sumie entropii składowych zdarze elementarnych Y i Z, jeeli s one od siebie niezalene. W. Kasprzak: Wstp do informatyki. 2-7

8 3) Łcze informacyjne składa si z 3 elementów: ródła informacji, kanału przesyłowego i odbiornika informacji. ródło informacji: generuje wiadomo (znak), koduje j w postaci sygnału i wysyła znaki (jeden po drugim w czasie). Modelem generacji jest zdarzenie losowe. Zakładamy dyskretne i stacjonarne zdarzenia losowe, tzn.: znaki s wybierane ze skoczonego zbioru, z niezalenym od czasu prawdopodobiestwem. Kanałprzesyłowy: na przesyłany sygnałd(x i ) oddziałuj tu inne sygnały losowe, tzw. sygnały zakłócajce - odebrany przez odbiornik sygnał moe by róny od sygnału nadanego. W. Kasprzak: Wstp do informatyki. 2-8

9 Odbiornik informacji: nastpuje tu odwrotne dekodowanie sygnału na posta wiadomoci (znaku) i odczytanie tej wiadomoci. Odbiorca wiadomoci musi podj decyzj, który sporód ustalonych z góry znaków zostałprzyjty. Rozkłady: i,1) [ P ( x X )] ( m ; [ PY X ( y k xi )] ( n, m) ; [ PY ( y k )] ( n,1) Nadajnik Miary informacji: ) H( X k = C Kanał przesyłowy C = max{i( X, Y )} I( X,Y ) Odbiornik H(Y ) W. Kasprzak: Wstp do informatyki. 2-9

10 Rozkłady prawdopodobiestw dla łcza Wektor X = [x 1, x 2,..., x m ] T zawiera moliwe znaki generowane z prawdopodobiestwami odpowiednio: P(X) = [ P X (x i ) i=1,2,...,m] T. Wektor Y = [y 1, y 2,..., y n ] T zawiera moliwe znaki odbierane z prawdopodobiestwami odpowiednio: P(Y) = [ P Y (y k ) k=1,2,...,n] T. Probabilistyczna charakterystyka kanału przesyłowego wyraona jest przez macierz o rozmiarze n m prawdopodobiestw warunkowych P(K) = { P Y X (y k x i ) k=1,2,...,n; i=1,2,...,m}. Zachodzi zaleno: P(Y) = P(K) * P(X). W. Kasprzak: Wstp do informatyki. 2-10

11 Definicje miar iloci informacji w łczu przesyłowym Entropia ródła: H( X ) = m i= 1 [P X ( x i ) log Oczekiwana ilo informacji wynikajca z odebrania przypadkowego sygnału Y jest równa entropii zmiennej losowej Y, czyli: H( Y ) = n k = 1 [P Y ( y i ) log Informacja wzajemna I(X, Y) (transinformacja) - oczekiwana ilo informacji przesłanej przez kanał: I(X, Y) = H(X) - H(X Y). I(X,Y) jest rónic informacji zawartej w sygnale X i informacji traconej w kanale przesyłowym. a a P P Y X ( x ( y i i )] )] W. Kasprzak: Wstp do informatyki. 2-11

12 Entropia H(X Y), zwana entropi warunkow a posteriori, jest miar oczekiwanej iloci informacji traconej w kanale przesyłowym przy nadaniu sygnału losowego X i odebraniu sygnału losowego Y: H( X Y ) = m n i= 1 k = 1 [P XY ( x i, y k ) log a P X Y ( xi yk )] gdzie P XY (x i, y k ) jest prawdopodobiestwem łcznym zdarzenia - "wysłano znak x i, odebrano znak y k "., Przekształcenia pozwol uzaleni I(X,Y) jedynie od 2 rozkładów (dla ródła i kanału przesyłowego): m n P Y X ( yk xi ) I( X, Y ) = [PX ( xi ) PY X ( yk xi ) log a ] m i= 1 k = 1 P ( y x ) j= 1 Y X k j W. Kasprzak: Wstp do informatyki. 2-12

13 Zadanie domowe 2.1 Pokaza kroki przekształce wzoru I(X,Y) z postaci podanej w definicji do postaci kocowej, zalenej jedynie od 2 prawdopodobiestw. Schemat rozwizania Entropi sygnału X mona zapisa jako: H( X ) = m n i= 1 k = 1 [P XY ( x i, y k ) log Wstawiajc powysze i wzór dla H(X,Y) do definicji I(X,Y) mamy: I( X, Y ) = m n i= 1 k= 1 [P XY ( x i, y k ) log Korzystajc z twierdzenia Bayesa otrzymamy ostatecznie: I( X, Y ) = m n i= 1 k = 1 [P X ( x i ) P Y a P a P X Y P X X ( x j= 1 ( x i ( x i i )] y ) k ) ] PY X ( yk xi ) X ( yk xi ) log a ] m P ( y x ) Y X k j W. Kasprzak: Wstp do informatyki. 2-13

14 Definicja. Przepustowoci (pojemnoci) C dyskretnego kanału przesyłowego, scharakteryzowanego macierz prawdopodobiestw warunkowych [P Y X (y k x i ) ] (n m) jest maksymalna moliwa informacja wzajemna, tzn. C = max I( X, Y ) {P ( X x i Definicja. Dla konkretnego dyskretnego łcza przesyłowego sprawno transmisji informacji wyznacza si jako: I( X, Y ) k = C Przepustowo kanału jest obiektywn miar zdolnoci danego zespołu rodków fizycznych do przesyłania informacji. Współczynnik sprawnoci transmisji jest obiektywn miar wykorzystania moliwoci danego kanału w konkretnym łczu. )} W. Kasprzak: Wstp do informatyki. 2-14

15 Przykład 2.4 Kanałbez zakłóce. Ilo informacji tracona w takim kanale wynosi zero. Przepustowo kanału wynosi: C = log a m. x 1 o x 2 o... x M o 1 1 o y 1 o y 2... o y M W. Kasprzak: Wstp do informatyki. 2-15

16 Przykład 2.5 Kanałbinarny o symetrycznej strukturze zakłóce. Dla d = 0.5 (czyli równemu prawdopodobiestwu poprawnego i zakłóconego przesłania) przepustowo kanału jest równa zeru (powiemy, e kanałjest przerwany). Dla d 0.5 przepustowo jest niezerowa. x 1 o x 2 o 1-d 1-d d d o y 1 o y 2 W. Kasprzak: Wstp do informatyki. 2-16

17 Przykład 2.6. Kanałbinarny z symetrycznym przekłamaniem. Przepustowo kanału wynosi: C = d log a 2, gdzie d jest prawdopodobiestwem poprawnego przesłania. x 1 o x 2 o W. Kasprzak: Wstp do informatyki d 1-d d Zadanie domowe 2.2 Niech X bdzie 2-znakowym ródłem o rozkładzie prawdopodobiestwa {P X (x 1 )=0.75, P X (x 2 )=0.25}. Okreli rozkłady prawdopodobiestw P Y i P Y X dla łcza o kanale binarnym z symetrycznym przekłamaniem, przy prawdopodobiestwie poprawnego przesłania d = Oszacowa przepustowo kanału i sprawno transmisji łcza. 1-d o y 1 o y 2 o y 3

18 Podsumowanie dla łcza przesyłowego 1. Informacja wzajemna I(X,Y) jest nieujemna : I(X,Y) 0 Jest ona równa zeru tylko wtedy, gdy łcze jest przerwane, tzn. zmienne losowe X, Y s niezalene. 2. Entropia ródła H(X), wytwarzajcego przypadkowy sygnałx o skoczonej liczbie znaków m, nie jest wiksza ni log a m: H(X) log a m. Znak równoci wystpuje tylko dla jednorodnego rozkładu, gdy P X (x i ) = 1/m, dla wszystkich i = 1, 2,..., m. Uwaga. W definicjach informacji stosowana jest podstawa logarytmu a (a>1). Podstawa ta zwizana jest ze sposobem kodowania znaków ródła, np. przy kodowaniu binarnym a = 2. W. Kasprzak: Wstp do informatyki. 2-18

19 4) Kodowanie znaków Kodowanie znaków jest operacj nad przesyłan wiadomoci, która pozwala na uzyskanie maksymalnej wartoci współczynnika sprawnoci transmisji w konkretnym łczu informacyjnym. Nadajnik Generator znaków x i (t) Koder znaków x i (t) D(x i (t)) Binarny kanał przesyłowy Odbiornik Odbiorca znaków y k (t+ t) Dekoder cigu kodowego D(x i (t)) y k (t+ t) W. Kasprzak: Wstp do informatyki. 2-19

20 2.2 Jednostki iloci informacji Okrelmy elementarne decyzje podejmowane przy odrónianiu dwóch znaków. Takie decyzje mierzy si w bitach. Definicje 1. Bit jest miar decyzji potrzebnej do odrónienia 2 znaków. 2. Wiadomo (znak) x, której prawdopodobiestwo wystpienia wynosi P(x), zawiera I(x) = - log 2 P(x) jednostek iloci informacji, zwanej bitem. Wniosek. Decyzje rozrónienia znaków s powizane z informacj. rednia ilo informacji przypadajca na jeden znak x i ródła X wynosi: m i= 1 P( x ) log2 P( xi ) = H( X ) W. Kasprzak: Wstp do informatyki i [ bitów / znak ] czyli odpowiada ona entropii ródła wiadomoci.

21 Kodowanie binarne odpowiada sekwencji decyzji. Na wybór jednego znaku ze zbioru m znaków, (m 2), składa si sekwencja decyzji elementarnych. W tym celu dzieli si zbiór n znaków na dwa podzbiory niepuste, nastpnie kady z otrzymanych podzbiorów znowu na dwa podzbiory niepuste dopóty, dopóki nie powstan zbiory jednoelementowe. Uwaga Znaki wystpujce czciej zawieraj mniej, a znaki wystpujce rzadziej - wicej informacji. Jeli jaki znak wystpuje czsto, to dy si do tego, by liczba decyzji elementarnych potrzebnych do jego odrónienia była jak najmniejsza. W. Kasprzak: Wstp do informatyki. 2-21

22 Wniosek Zadany zbiór naley podzieli na podzbiory o jednakowej sumie prawdopodobiestw wystpowania zawartych w nich znaków, a jeli nie jest to moliwe, to tak, aby suma prawdopodobiestw wystpowania znaków zaliczonych do jednego podzbioru była moliwie zbliona do sumy prawdopodobiestw znaków zaliczonych do 2-go podzbioru. Przykład 2.7 Dany jest zbiór znaków { a, b, c, d, e, f, g} i jego podziałna kolejne podzbiory: {a, b, c, d, e, f, g} {a, e} { b, c, d, f, g} a e {b, d, g} {c, f} b {d, g} c f d g Decyzje elementarne W. Kasprzak: Wstp do informatyki. 2-22

23 Jeeli załoymy, e powyszy podział odpowiada idealnie prawdopodobiestwom znaków, to musza one wynosi: - znaki rozrónione po dwóch elementarnych decyzjach - a, e: P(a) = P(e) = 1/2 1/2 = 1/4 = (1/2) 2. - znaki po trzech decyzjach elementarnych - b, c, f: P(b) = P(c) = P(f) = (1/2) 3 = 1/8. - znaki po czterech decyzjach elementarnych - d, g: P(d) = P(g) = (1/2) 4 = 1/ 16 Definicja Procesowi wyboru znaku odpowiada słowo dwójkowe, które nazwiemy kodem znaku. Zbiór kodów wszystkich znaków ródła wiadomoci stanowi kod ródła. W. Kasprzak: Wstp do informatyki. 2-23

24 Przykład 2.7 (c.d.) Przy optymalnym kodowaniu znakom z przykładu 2.7 odpowiadaj ponisze długoci słów kodowych: Znak P(Znak) M(Znak) Słowo kodu a 1 / e 1 / b 1 / c 1 / f 1 / d 1 / g 1 / W. Kasprzak: Wstp do informatyki. 2-24

25 2.3 Łcze bez zakłóce - kodowanie entropijne W przypadku optymalnego kodowania znaków ródła mamy do czynienia ze zmienn długoci słów kodu (jedno słowo koduje 1 znak). Dla jednoznacznego odtworzenia wiadomoci odebranej jako cig słów kodu, niezbdne wydaje si by wprowadzenie dodatkowych znaków - przecinków - dla rozdzielenia tych słów. To obniyłoby sprawno transmisji informacji. Dlatego naley stosowa kody nie wymagajce przecinków, dziki posiadaniu nastpujcej własnoci: "słowo kodu bezprzecinkowego (przyrostkowego) nie moe by przedrostkiem innego słowa kodu". Przykład 2.8. Poprawny binarny kod bezprzecinkowy (przyrostkowy) o czterech słowach: D 1 = ( 0 ); D 2 = ( 10 ); D 3 = ( 110 ); D 4 = ( 111 ). W. Kasprzak: Wstp do informatyki. 2-25

26 Entropia a rednia długo słów kodowych optymalnego kodu Entropia H ma te zwizek ze redni długoci słowa kodowego przy optymalnym ( entropijnym ) dwójkowym kodowaniu ródła. Przy kodowaniu entropijnym zachodzi: Jeli liczba znaków jest potg liczby 2 (tzn. m = 2 M ) i wszystkie znaki s jednakowo prawdopodobne (tzn. P(x i )=(1/2) M ) to optymalne ze wzgldu na prawdopodobiestwo słowa dwójkowe maj wszystkie długo M: H( X ) = M = log2 m Jeli liczba znaków równomiernego rozkładu nie jest potg liczby 2, to warto (log 2 m) nie jest liczb całkowit. Wtedy jako długo kodu naley przyj liczb całkowit M tak, e: log 2 m M < (1 + log 2 m) W. Kasprzak: Wstp do informatyki. 2-26

27 Dla nierównomiernego rozkładu P X, optymalny kod znaku x i wystpujcego z prawdopodobiestwem P X (x i ) odpowiada słowu o długoci (zwykle nie bdcej liczba całkowit) M i : log 2 P X (x i ) M i < [1 + log 2 P X (x i ) ] Uwaga 1) Stosowanie kodu entropijnego ma sens wtedy, gdy liczba znaków ródła przekracza trzy. 2) ródło 2-znakowe kodujemy zawsze na jeden moliwy sposób niezalenie od prawdopodobiestw: D x1 = (0); D x2 = (1). 3) ródło 3-znakowe kodujemy zawsze na jeden moliwy sposób ustawiamy znaki w kolejnoci nierosncych prawdopodobiestw: P x (x 1 ) P x (x 2 ).P x (x 3 ) i kodujemy: D x1 = (0); D x2 = (10); D x3 = (11). W. Kasprzak: Wstp do informatyki. 2-27

28 4) Kod entropijny dla wikszej liczby znaków ni trzy te moe by dalej optymalizowany, jeli zaobserwujemy, e 2 znaki o granicznych prawdopodobiestwach najwikszym i najmniejszym - mog w ogólnoci by kodowane krócej ni wynikałoby to z ogólnego wzoru entropijnego : tzn. znak pierwszy o 1 bit krócej, jeli nie ma innych znaków o tej samej długoci kodu co jego kod, a znak ostatni tyloma bitami, co znak przedostatni pod wzgldem wartoci prawdopodobiestwa. W. Kasprzak: Wstp do informatyki. 2-28

29 Definicja Jeli dla ródła wiadomoci X kod i-tego znaku jest słowem o długoci M i, to rednia długo słów kodowych ródła wynosi: L( m X ) = i= 1 P ( X x i ) M i. (*) Przypomnijmy, e dla dowolnego ródła wiadomoci o m znakach entropia wynosi: H( X m ) = PX ( xi ) log 2 PX ( xi ) log 2 m (**) i 1 Z powyszych zalenoci i entropijnego zachodzi: H(X) L(X). (*) (**) wynika, e dla kodu Wniosek Entropia jest miar optymalnej długoci kodu dla zakodowania m znaków. W. Kasprzak: Wstp do informatyki. 2-29

30 Twierdzenie Shannona (o entropii ródła) Dla nierównomiernego rozkładu X zachodzi: 1. H (X) < L (X); 2. ródło wiadomoci mona zakodowa w taki sposób, eby rónica: L (X) - H (X) była dowolnie mała. Dowód. Pkt. 1 wynika bezporednio z podanych wczeniej zalenoci. W pkt. 2 rozwaa si słowa kodowe tworzone dla m k cigów po k znaków kady. Np. niech dane bdzie ródło X = [ A, B, C ] T o rozkładzie prawdopodobiestwa tych trzech znaków: P(X) = [0.7, 0.2, 0.1] T. Długoci słów kodowych wynios odpowiednio: M(X) = [1, 2, 2] a rednia długo słów kodowych: L(X) = = 1.3 Entropia ródła wynosi: H(X) = - (0.7 log log log = W. Kasprzak: Wstp do informatyki. 2-30

31 Warto k = 2 odpowiada kodowaniu par znaków: Znak P(Znak) Długo kodu Oczekiwana pary znaków długo kodu AA (*) 0.49 AB BA AC CA BB BC CB CC (*) 0.06 Suma: 2.39 (*) tu przyjto kod o 1 bit krótszy ni wynika to z prawdopodobiestwa znaku. W. Kasprzak: Wstp do informatyki. 2-31

32 Dla k = 2 rednia długo kodu par znaków to 2.39, czyli dla pojedynczego znaku: 2.39 / 2 = Jest to ju dobrym przyblieniem entropii. Wniosek Dla zapewnienia optymalnego kodowania znaków ródła o niejednorodnym rozkładzie prawdopodobiestwa mona kodowa pary (k=2), trójki (k=3) i dłusze sekwencje znaków. Im wiksza warto k, tym dokładniej mona dokona podziału na jednakowe prawdopodobne podzbiory. W praktyce ju dla k=2 lub k=3 otrzymuje si zadowalajce przyblienia. Wniosek z twierdzenia Shannona: Entropia H(X) jest doln granic liczby decyzji, jak mona osign przy najlepszym kodowaniu. W. Kasprzak: Wstp do informatyki. 2-32

33 Redundancja kodu Rónic r = L(X) - H(X) nazywa si redundancj kodu. Redundancja jest miar bezuytecznych decyzji alternatywnych. Zadanie domowe 2.3 Zaprojektowa optymalne kodowanie binarne par znaków (kodem przyrostkowym o zmiennej długoci) dla 4-znakowego ródła wiadomoci o rozkładzie prawdopodobiestwa znaków: P X ( x1 ) = 0.5, PX ( x2 ) = 0.3, PX ( x3 ) = 0.1, PX ( x4) = 0.1; A) Jak obliczymy entropi ródła? Oszacowa jej warto! B) Poda długoci słów kodowych i sam posta słów kodowych w zaprojektowanym kodzie. C) Obliczy redni długo słowa kodowego w zaprojektowanym kodzie. W. Kasprzak: Wstp do informatyki. 2-33

34 Projektowanie kodu bezprzecinkowego (przyrostkowego) Niezalenie od tego, co koduje pojedyncze słowo kodowe (pojedynczy znak lub sekwencj znaków) potrzebujemy ogólnej metody pozwalajcej na okrelenie słów optymalnego kodu bezprzecinkowego. Projektowanie kodów bezprzecinkowych metod Shannona- Fano 1. Ponumerujemy znaki (załómy, e s to pojedyncze znaki; w przypadku sekwencji znaków traktowalibymy kad sekwencj jako jeden meta-znak) x i X zgodnie z wartociami ich prawdopodobiestw, tzn.: P x (x 1 ) P x (x 2 )... P x (x m ). 2. Okrelamy długoci L i znaków x i : [- log 2 P x (x i )] L i < [1 - log 2 P x (x i ) ]. W. Kasprzak: Wstp do informatyki. 2-34

35 3. Oznaczmy dystrybuant F X (x) rozkładu { P x (x i ) }: F = X ( x ) PX ( xi ). x x Wartoci dystrybuanty wyznaczaj pomocniczy zbiór liczb {β j j=1, 2,..., m, m+1}; taki, e : β 1 = 0; β 2 = F X (x 1 ); β 3 = F X (x 2 );... ; β m = F X (x m-1 ); β m+1 = F X (x m ) = 1. i 4. Wartoci liczb β 1, β 2, β 3,... ; β m zapisujemy w układzie dwójkowym w postaci: β i = 0.A -1 A A -p...; gdzie A -p { 0, 1} jest współczynnikiem rozwinicia dla wagi 2 -p 5. Kod i-tego znaku o długoci L i wynosi: D i = ( A -1 A A -Li ). W. Kasprzak: Wstp do informatyki. 2-35

36 Przykład 2.9. Zaprojektuj optymalny kod metod Shannona- Fano dla zbioru 4 znaków o rozkładzie prawdopodobiestwa: 1 1 ( x1 ) =, PX ( x2 ) =, PX ( x3) = PX ( x ) = 2 4 PX 4 Rozwizanie Przyjmiemy powysz kolejno znaków - zgodnie z wymaganiem w pkt. 1. Z nierównoci w pkt. 2 wynikaj długoci słów kodowych: L 1 =1, L 2 =2, L 3 =L 4 =3, Okrelimy {β j j=1, 2,..., 4} zgodnie z pkt. 3: β 1 = 0; β 2 = 1/2; β 3 = 1/2 + 1/4 = 3/4 ;... ; β 4 = 3/4 + 1/8 = 7/8. Zapisujemy wartoci liczb {β j j=1, 2,..., 4} w dwójkowym układzie liczbowym: β 1 = ; β 2 = ; β 3 = ; β 4 = ; Std wynikaj słowa kodowe: D 1 = (0); D 2 = (10); D 3 = (110); D 4 = (111). W. Kasprzak: Wstp do informatyki

37 Zauwamy, e w przykładzie 2.9 entropia ródła X wynosi H(X) = 1.75 bita/znak, a rednia długo kodu te wynosi: L=1.75 bita/znak. Czyli redundancja kodu: r = 0 (brak niepotrzebnych kodowa). Te dobre własnoci kodu wynikaj z faktu, e wszystkie prawdopodobiestwa s ujemnymi potgami liczby 2. Wniosek Dla prawdopodobiestw znaków ródła bdcych ujemnymi potgami 2 mona osign zerow redundancj kodu. Zadanie domowe 2.4 Zaprojektowa optymalny kod metod Shannona-Fano dla 4 znaków ródła wiadomoci o rozkładzie prawdopodobiestwa: ( x ) = 0.40, P ( x ) = 0.35, P ( x ) = 0.20; P ( x ) PX 1 X 2 X 3 X 4 = Obliczy entropi ródła i redundancj tego kodu. W. Kasprzak: Wstp do informatyki. 2-37

38 2.4 Łcze z zakłóceniami - kody o stałej długoci W wyniku przekłama w kanale przesyłowym odbierane słowa kodu optymalnego nie bd spełnia właciwoci przedrostkowej. Nie jest wic moliwe ich jednoznaczne dekodowanie bez wprowadzenia dodatkowych znaków w alfabecie kodu, co z kolei zwikszy redundancj kodu. Naley zastosowa takie kodowanie, które pozwoli na: (a) wykrycie błdów i (ewentualnie) (b) na automatyczn korekcj wykrytych błdów. Najłatwiej to osign stosujc słowa kodowe o identycznej długoci dla znaków ródła, czyli stosujc m wyrazów D i o jednakowej długoci L. W. Kasprzak: Wstp do informatyki. 2-38

39 1) Odległo wyrazów kodu binarnego Odległoci d(d i, D j ) midzy 2 słowami kodowymi D i, D j nazywamy liczb pozycji kodu, na których D i, D j róni si. Oznaczmy przez M N (L, d d 0 ) liczb słów kodowych o długoci L, których wzajemne odległoci nie s mniejsze od d 0. Rozpatrzmy moliwe słowa binarne o długociach L = 1, 2, 3: - dla L = 1 s 2 takie słowa: M N (1, d=1) = 2; - dla L = 2 s 4 takie słowa: M N (2, d 1 ) = 4; M N (2, d =2) = 2; -dla L = 3 jest 8 słów: M N (3, d 1 ) = 8; M N (3, d 2) = 4; M N (3, d = 3) =2. Uogólniajc powysze spostrzeenia, dowodzi si, e: M N (L, d 1 ) = 2 L, M N (L, d 2 ) = 2 L-1, M N (L, d 3 ) = 2 L-k L 1 gdzie k jest dodatni liczb całkowit mniejsz od L. W. Kasprzak: Wstp do informatyki L +,

40 2) Kody umoliwiajce wykrycie pojedynczych błdów Jeeli minimalna warto odległoci midzy wyrazami kodu jest równa jednoci, nie jest moliwe wykrycie błdów w kanale przesyłowym. Warunkiem koniecznym wykrycia pojedynczych błdów jest zachowanie minimalnej odległoci midzy słowami kodu równej dwóm. Dla m znaków ródła musi zachodzi 2 L-1 m, czyli długo kodu: L log 2 m + 1. Zadanie domowe 2.5. Okreli minimaln odległo słów kodu: D 1 = (000), D 2 = (001), D 3 = (101), D 4 = (110). W odbiorniku wiadomoci porównanie odebranego słowa ze wszystkimi moliwymi słowami kodu byłoby nieefektywne, dlatego te stosuje si inne rozwizanie - testy parzystoci lub nieparzystoci. W. Kasprzak: Wstp do informatyki. 2-40

41 Podejcie 1-sze do projektowania kodu z detekcj błdu Kod projektuje si tak, aby liczba jedynek we wszystkich wyrazach kodu była albo parzysta (0, 2, 4,...) albo nieparzysta (1, 3, 5,...). W odbiorniku zlicza si liczb jedynek w odebranym słowie i jeli liczba ta jest parzysta (wzgl. nieparzysta) akceptuje si słowo jako poprawne. Przykład 2.10 Dla m=3 zachodzi: L = 3 i kodami o minimalnej odległoci słów równej 2 s: (a) kod z testem parzystoci: D 1 = (000), D 2 = (011), D 3 = (101). (b) kod z testem nieparzystoci: D 1 = (001), D 2 = (010), D 3 = (100). W. Kasprzak: Wstp do informatyki. 2-41

42 Podejcie 2-gie do projektowania kodu z detekcj błdu Wynika ono z oczywistego stwierdzenia, e ilo pozycji informacyjnych kodu binarnego to: N log 2 m, a jedna pozycja pełni funkcj detekcji błdu, czyli L = N + 1. Sposób postpowania: (1) dla m znaków okrelamy minimaln liczb pozycji informacyjnych N; (2) przedstawiamy m znaków za pomoc słów kodowych odpowiadajcych liczbom całkowitym w zapisie binarnym; (3) na N+1-szej pozycji dodajemy zero lub jedynk do kadego słowa kodu, tak aby liczba jedynek była parzysta (wzgl. nieparzysta). W. Kasprzak: Wstp do informatyki. 2-42

43 Przykład Kodowanie cyfr dziesitnych Niech ródło nadaje cyfry dziesitne z równomiernym rozkładem prawdopodobiestwa. Liczba pozycji informacyjnych wyniesie co najmniej L I (X) = 4 znaki, gdy H(X) = log 2 10 = Redundancja takiego kodu wyniesie: r = L I (X) - H(X) = = , czyli kod ten byłby wraliwy na pojedyncze przekłamania. Np. w kodzie Aikena przypisuje si cyfrom dziesitnym kody: ; ; ; ; ; ; ; ; ; Dla kodu wykrywajcego pojedyncze przekłamania dodajemy jedn pozycj słów kodowych, czyli zwikszymy redundancj do W. Kasprzak: Wstp do informatyki. 2-43

44 Na dodatkowej, ostatniej pozycji dopiszemy 1, jeli liczba jedynek na pierwszych 4 pozycjach słowa jest nieparzysta, albo 0 - w przeciwnym przypadku. Uzyskujemy kod z kontrol parzystoci: ; ; ; ; ; ; ; ; ; W tym kodzie adne pojedyncze przekłamanie NIE przeprowadza dopuszczalnego słowa kodowego w inne dopuszczalne słowo kodowe. W. Kasprzak: Wstp do informatyki. 2-44

45 3) Kody umoliwiajce wykrywanie i samo-korekcj błdów Warunkiem koniecznym dla wykrycia i korekcji pojedynczych błdów jest zachowanie minimalnej odległoci midzy wyrazami kodu równej trzem. Dla m znaków ródła konieczne jest wic spełnienie warunku: m 2 L-k L2 L + 1, Ilo znaków informacyjnych kodu wynosi: L I log 2 m, czyli m 2 LI. Dodatkowa ilo pozycji kodu: k = L - L I. L 2 I 2 k Z zalenoci: 2 LI L + 1, otrzymamy: k log 2 (L I + k + 1). W. Kasprzak: Wstp do informatyki. 2-45

46 Przykład Kod Hamminga. W słowie kodowym D i = (u 1, u 2, u 3,..., u L ) pozycjami korekcyjnymi s pozycje (uwaga - w tym przypadku numerujemy je od lewej do prawej) u 1, u 2, u 4, u 8, u 16,... ; czyli o indeksach: i = 2 j ( j =0, 1, 2,... ). Pozycjami informacyjnymi s pozycje: u 3, u 5, u 6, u 7, u 9, u 10, u 11, u 12, u 13, u 14, u Cig informacyjny i-tego znaku to zapis binarny liczby (i-1) (10) Pozycje korekcyjne kontroluj siebie i inne pozycje kodu na zasadzie testu parzystoci (wzgl. nieparzystoci): u 1 kontroluje u 1, u 3, u 5, u 7, u 9, u 11, u 13, u u 2 kontroluje u 2, u 3, u 6, u 7, u 10, u 11, u 14, u u 4 kontroluje u 4, u 5, u 6, u 7, u 12, u 13, u 14, u ; itd. W. Kasprzak: Wstp do informatyki. 2-46

47 czyli ustawiamy bit kontrolny tak, aby liczba jedynek w jego kontrolowanym podcigu była parzysta (wzgl. nieparzysta). W celu wykrycia błdu sprawdza si czy pozycje korekcyjne spełniaj test parzystoci (nieparzystoci). Wynik sprawdzenia tworzy liczb binarn: Z = (z k-1 z k-2... z 1 z 0 ), przy czym (dla q = 0, 1, 2,..., k-1) - z q =0 (gdy pozycje kontrolowane przez pozycj u 2 q spełniaj test parzystoci (wzgl. nieparzystoci)); z q =1 (gdy pozycje kontrolowane przez pozycj u 2 q nie spełniaj testu parzystoci (wzgl. nieparzystoci)); Gdy Z 0, wtedy interpretacja dziesitna wartoci binarnej liczby Z podaje indeks pozycji u Z słowa kodu, na której wystpił błd. W. Kasprzak: Wstp do informatyki. 2-47

48 Zadanie domowe 2.6 Kod Aikena to charakterystyczny kod binarny dla cyfr dziesitnych. (A) Zaprojektowa kod Hamminga, którego cz informacyjn stanowi słowa kodowe kodu Aikena. (B) Poda wszystkie poprawne słowa kodowe tak powstałego kodu Hamminga. (C) Zasymulowa prac dekodera w odbiorniku w dwóch sytuacjach, gdy podczas przesyłania nastpi przekłamanie w czci informacyjnej przesłania kodu cyfry 2 na kod cyfry 3 oraz przekłamanie kodu cyfry 9 na kod cyfry 5. W. Kasprzak: Wstp do informatyki. 2-48