Zdroje informácie. Stanislav Palúch. 5. marca Fakulta riadenia a informatiky, Žilinská univerzita

Zdroje informácie Stanislav Palúch Fakulta riadenia a informatiky, Žilinská univerzita 5. marca 2012 Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 1/39

Reálne zdroje informácie Zdroj informácie Objekt (osoba, zariadenie, prístroj), ktorý je schopný na svojom výstupe produkovat nejaký signál. Príklady: človek signalizujúci baterkou znaky Morseovej abecedy klávesnica počítača, vysielajúca 8 bitové slová telefónny prístroj produkujúci analógový signál od 300 do 3400 Hz signál z prehrávača kompaktných diskov produkujúci 44000 16-bitových vzoriek za sekundu televízny obrazový signál obsahujúci 25 obrázkov za sekundu Geiger-Millerova trubica produkujúca jednotkové impulzy Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 2/39

Reálne zdroje informácie Zdroje informácie môžu produkovat spojitý alebo diskrétny signál. Každý spojitý signál však možno v diskrétnych časových okamihoch odmerat diskrétne vzorkovat. Veta (Nyquist-Shannon sampling theorem) Pokial je vzorkovacia frekvencia aspoň dvojnásobná ako maximálna frekvencia signálu, stačia tieto diskrétne vzorky na plnohodnotnú rekonštrukciu pôvodného signálu. Môžeme teda predpokladat, že zdroj produkuje v časových okamihoch t = t 1,t 2,t 3,... signály X t1,x t2,x t3,..., ktoré môžeme považovat za diskrétne náhodné veličiny nadobúdajú len konečne vel a rôznych hodnôt. Konečnú množinu rôznych diskrétnych signálov produkovaných zdrojom nazveme abecedou zdroja, jednotlivé prvky abecedy zdroja nazveme znakmi. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 3/39

Každú konkrétnu postupnost znakov zo zdroja môžeme považovat za relizáciu niektorého náhodného procesu X. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 4/39 Reálne zdroje informácie Časové okamihy t = t 1,t 2,t 3,... môžu, ale nemusia byt pravidelné. Je však výhodné považovat časový interval medzi dvoma za sebou nasledujúcimi časovými okamihmi za jednotkový potom pracujeme s náhodnými veličinami X 1,X 2,X 3... Definícia Diskrétny náhodný proces je postupnost náhodných veličín X = X 1,X 2,X 3... Ak X i nadobudne hodnotu a i pre i = 1,2,..., postupnost a 1,a 2,... nazveme realizáciou náhodného procesu X.

Reálne zdroje informácie Zdroje sa ĺıšia frekvenciou vysielania znakov mohutnost ou abecedy zdroja pradepodobnostným rozdelením náhodného procesu X Treba zistit ifnormačnú výdatnost zdroja, t.j. kol ko informácie produkuje zdroj za jednotku času kol ko informácie produkuje zdroj na jeden výstupný znak Závislost množstva informácie za jednotku času na frekvencii je lineárna, a preto budeme skúmat množstvo informácie pripadajúce na jeden znak. Toto závisí nielen na mohutnosti abecedy zdroja, ale aj od rozdelenia pravdepodobnosti náhodných veličín X i. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 5/39

Matematický model informačného zdroja Definícia Nech X je konečná množina, nech X je množina všetkých konečných postupností prvkov z X vrátane prázdnej postupnosti, ktorú budeme značit symbolom e. Množinu X nazveme abecedou, jej prvky znakmi abecedy X, prvky množiny X nazveme slovami, e prázdnym slovom. Označme X n množinu všetkých n-prvkových postupností znakov z X, jej prvky nazveme slovami dĺžky n. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 6/39

Matematický model informačného zdroja Definícia Nech P : X R je reálna nezáporná funkcia definovaná na X s nasledujúcimi vlastnost ami: 1. P(e) = 1 (1) 2. P(x 1,...,x n ) = 1 (2) (x 1,...,x n) X n 3. P(x 1,...,x n,y n+1,...,y n+m ) = P(x 1,...,x n ) (3) (y n+1,...,y n+m) X m Potom usporiadanú dvojicu Z = (X,P) nazveme zdrojom informácie alebo krátko zdrojom. Číslo P(x 1,x 2,...,x n ) nazveme pravdepodobnost ou slova x 1,...,x n. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 7/39

Matematický model informačného zdroja Zaujíma nás pravdepodobnost P n (y 1,y 2...,y m ), s akou zdroj vyšle slovo y 1,y 2...,y m v čase n, presnejšie v časových okamihoch n,n+1,...,n+m 1. Túto pravdepodobnost vypočítame nasledovne: P n (y 1,y 2,...,y m ) = P(x 1,x 2,...,x n 1,y 1,y 2,...,y m ). (4) (x 1,...,x n 1) X n 1 Definícia Hovoríme, že zdroj Z = (X,P) je stacionárny, ak pravdepodobnosti P i (x 1,x 2,...,x n ) nezávisia od i, t. j. ak pre každé i a každé x 1,x 2...,x n X n P i (x 1,x 2,...,x n ) = P(x 1,x 2,...,x n ). Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 8/39

Matematický model informačného zdroja Označme X i diskrétnu náhodnú premennú, ktorá bude popisovat vyslanie jedného znaku zo zdroja Z = (X,P) v čase i. Potom jav v čase i zdroj vyslal znak x je vlastne javom [X i = x] a teda P([X i = x]) = P i (x). Vyslanie slova x 1,x 2,...,x n v čase i možno pomocou náhodných veličín X i modelovat ako jav čo skrátene zapíšeme z čoho máme [X i = x 1 ] [X i+1 = x 2 ] [X i+n 1 = x n ], [X i = x 1,X i+1 = x 2,...,X i+n 1 = x n ], P([X i = x 1,X i+1 = x 2,...,X i+n 1 = x n ]) = P i (x 1,x 2,...,x n ). Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 9/39

Matematický model informačného zdroja Definícia Hovoríme, že zdroj Z = (X,P) je nezávislý, ak pre l ubovol né i, j, n, m také, že i +n j platí ( P [X i = x 1,X i+1 = x 2,...,X i+n 1 = x n ] ) [X j = y 1,X j+1 = y 2,...,X j+m 1 = y m ] = = P ( [X i = x 1,X i+1 = x 2,...,X i+n 1 = x n ] )..P ( [X j = y 1,X j+1 = y 2,...,X j+m 1 = y m ] ) = = P i (x 1,x 2,...,x n ).P j (y 1,y 2,...,y m ). Zdroj je nezávislý, ak vyslanie l ubovol ného slova v l ubovol nom čase j nezávisí od toho, čo zdroj vyslal do času j. Niekedy sa takýmto zdrojom hovorí aj bezpamät ové. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 10/39

Entropia zdroja Majme stacionárny zdroj Z = (Z,P) s abecedou Z = {a 1,a 2,...,a m }. Vyslanie znaku v l ubovol nom čase možno pri stacionárnom zdroji považovat za vykonanie pokusu B = { {a 1 },{a 2 },...,{a m } } s pravdepodobnost ami p 1 = P(a 1 ), p 2 = P(a 2 ),..., p m = P(a m ). Entropia tohoto pokusu je H(B) = H(p 1,p 2,...,p m ), čo je stredná hodnota informácie získanej týmto pokusom. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 11/39

Entropia zdroja Skúmajme teraz informáciu, ktorú dostaneme v dvoch po sebe idúcich znakoch vyslaných zo stacionárneho zdroja Z = (Z,P). Príslušný pokus bude teraz C 2 = { (a i1,a i2 ) a i1 Z, a i2 Z }. Pokus B môžeme prezentovat aj ako B = { {a 1 } Z, {a 2 } Z,..., {a m } Z }. Ak definujeme D = { Z {a 1 }, Z {a 2 },..., Z {a m } }, potom C 2 = B D a Podl a vety platí H(D) = H(B) = H(p 1,p 2,...,p m ). H(C 2 ) = H(B D) H(B)+H(D) = 2.H(B). Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 12/39

Entropia zdroja Teraz túto vlastnost rozšírime na n-znakové slová. Budeme postupovat matematickou indukciou. Predpokladajme, že pre pokus C n = { (a i1,a i2,...,a in ) a ik Z, pre k = 1,2,...,n } už platí H(C n ) n.h(b). Pokus C n má rovnakú entropiu ako pokus Označme C n = { (a i1,a i2,...,a in ) Z a ik Z, pre k = 1,2,...,n }. C n+1 = { (a i1,a i2,...,a in+1 ) a ik Z, pre k = 1,2,...,n+1 }, D = { Z n {a 1 }, Z n {a 2 },..., Z n {a m } }, potom H(D) = H(B) a H(C n+1 ) = H(C n D) H(C n)+h(d) n.h(b)+h(b) = (n+1).h(b). Tým sme dokázali, že pre všetky prirodzené n platí H(C n ) n.h(b) Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 13/39

Entropia zdroja Vidíme, že v prípade stacionárneho zdroja, ktorý nie je nezávislý, je priemerná entropia na jedno písmeno 1 n H(C n) vždy menšia ako entropia prvého písmena. To nás vedie k myšlienke, definovat entropiu zdroja ako priemernú entropiu na jedno písmeno pre vel mi dlhé slová. Definícia Nech Z = (Z,P) je zdroj informácie. Nech existuje limita 1 H(Z) = lim. P(x 1,x 2,...,x n ).log n n 2 (P(x 1,x 2,...,x n )). (x 1,...,x n) Z Potom číslo H(Z) nazveme entropiou zdroja Z. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 14/39

Entropia zdroja Veta Nech (Z,P) je stacionárny nezávislý zdroj. Potom H(Z) = x Z P(x).log 2 P(x). Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 15/39

Entropia zdroja Dôkaz. Platí: (x 1,...,x n) Z P(x 1,x 2,...,x n).log 2 (P(x 1,x 2,...,x n)) = = P(x 1 ).P(x 2 ),...,P(x [ n). log 2 P(x 1 )+log 2 P(x 2 )+ +log 2 P(x ] n) = (x 1,...,x n) Z = + + (x 1,...,x n) Z (x 1,...,x n) Z (x 1,...,x n) Z = P(x 1 ).log 2 P(x 1 ). x 1 Z = P(x 1 ).log 2 P(x 1 )+ x 1 Z P(x 1 ).P(x 2 ),...,P(x n).log 2 P(x 1 )+ P(x 1 ).P(x 2 ),...,P(x n).log 2 P(x 2 )+ +... + P(x 1 ).P(x 2 ),...,P(x n).log 2 P(x n) = x 2 Z (x 2,...,x n) Z P(x 2 ).P(x 3 ),...,P(x n) + = } {{ } =1 P(x 2 ).log 2 P(x 2 )+ + P(x 3 ).log 2 P(x 3 ) = = n. P(x).log 2 P(x). Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 16/39 x 3 Z

Veta Veta Shannon Mac Millan. Shannon Mac Millan. Nech Z = (Z,P) je stacionárny nezávislý zdroj. Potom k l ubovol nému ε > 0 existuje prirodzené číslo n(ε) také, že pre všetky n n(ε) je { } P x 1,...x n Z n 1 n.log 2P(x 1,...x n )+H(Z) ε < ε. (5) Označme { } E(n,ε) = x 1,...x n Z n 1 n.log 2P(x 1,...x n )+H(Z) < ε }{{} =H(Z) 1 n I(x1,...xn) log 2 P(x 1,...x n ) = I(x 1,...x n ) informácia slova (x 1,...x n ) 1 n log 2 P(x 1,...x n ) = 1 n I(x 1,...x n ) priemerná informácia na jeden znak slova (x 1,...x n ) E(n, ε) je množina n-znakových slov, ktorých informácia na jeden znak sa ĺıši od H(Z) menej než ε. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 17/39

Veta Shannon Mac Millan1. Platí: ε n(ε) také, že n > n(ε) P(E(n,ε)) 1 ε (x 1,...,x n ) E(n,ε) ε < 1 n log 2P(x 1,...,x n )+H(Z) < ε n(h(z)+ε) < log 2 P(x 1,...,x n ) < n(h(z) ε) 2 n(h(z)+ε) < P(x 1,...,x n ) < 2 n(h(z) ε) Nech E(n,ε) je počet prvkov v množine E(n,ε). Pretože pravdepodobnost každého prvku množiny E(n, ε) je väčšia než 2 n(h(z)+ε), je 1 P(E(n,ε)) > E(n,ε).2 n(h(z)+ε), E(n,ε) < 2 n(h(z)+ε). Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 18/39

Veta Shannon Mac Millan1. Na druhej strane je pravdepodobnost každého prvku množiny E(n, ε) menšia než 2 n(h(z) ε), z čoho 1 ε < P(E(n,ε)) < E(n,ε).2 n(h(z) ε). 1 ε < E(n,ε).2 n(h(z) ε). Je teda (1 ε).2 n(h(z) ε) < E(n,ε) (1 ε).2 n(h(z) ε) < E(n,ε) < 2 n(h(z)+ε) Ku každému ε existuje n(ε) také, že pre všetky n n(ε) je počet n-znakových slov nesúcich na jeden znak informáciu bĺızku H(Z) aproximovatel ný hodnotou 2 n(h(z). E(n,ε) 2 nh(z) (6) Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 19/39

Veta Shannon Mac Millan. Slovenčina používa 26 písmen abecedy bez diakritiky a 15 písmen s diakritikou á, č, d, é, í, l, ĺ, ň, ó, ô, š, t, ú, ý, ž. Navyše sa používajú aj interpunkčné znamienka (čiarka, dvojbodka, bodkočiarka, pomlčka, úvodzovky, bodka, výkričník, otáznik a medzera). Aj ked prijmeme námietku, že slovenčina by vystačila bez písmen q, w, x, potrebuje jej abeceda Z minimálne 40 znakov. (A to ešte nepoužívame vel ké písmená.) Entropia slovenčiny určite neprevýši číslo 2. Počet všetkých 8-znakových slov abecedy Z je teda 40 8, E(8,ε) odhadneme na 2 8.2 = 2 16. Je 216 40 8 = 6.10 8 Množina E(8, ε) významných 8-znakových slov obsahuje približne 6 milióntin percenta počtu všetkých 8-znakových slov. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 20/39

Produkt informačných zdrojov Definícia Majme dva informačné zdroje Z 1 = (A,P 1), Z 2 = (B,P 2). Produktom zdrojov Z 1, Z 2 nazveme zdroj Z 1 Z 2 = ((A B),P), kde (A B) je karteziánskym súčinom množín A a B a kde P(e) = 1 P ( (a 1,b 1),(a 2,b 2),...,(a n,b n) ) = P(a 1,a 2,...,a n).p(b 1,b 2,...,b n) pre l ubovol né a i A, b j B, i,j {1,2,...,n}. Pre pravdepodobnosti zdroja musí platit 3. 1. P(e) = 1 (7) 2. P(x 1,...,x n) = 1 (8) (x 1,...,x n) X n (y n+1,...,y n+m) X m P(x 1,...,x n,y n+1,...,y n+m) = P(x 1,...,x n) (9) Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 21/39

Produkt informačných zdrojov Veta Produkt zdrojov Z 1, Z 2 je korektne definovaný, t. j. pre pravdepodobnost P platí (1), (2), (3) z definície zdroja. Dôkaz. Vzt ahy (1), (2), (3) z definície zdroja prepíšeme nasledovne: 1. P(e) = 1 (10) 2. P ( (a ) 1,b 1),(a 2,b 2),...,(a n,b n) = 1 (11) 3. (a 1,b 1 ),...,(a n,b n) (A B) n (p 1,q 1 ),...,(p m,q m) (A B) m P ( (a 1,b 1),(a 2,b 2),...,(a n,b n),(p 1,q 1),...,(p m,q m) ) = Prvý vzt ah vyplýva z definície zdroja Z 1 Z 2. = P ( (a 1,b 1),(a 2,b 2),...,(a n,b n) ) (12) Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 22/39

Produkt informačných zdrojov Dokážeme platnost druhého vzt ahu. P ( (a ) 1,b 1),(a 2,b 2),...,(a n,b n) = (a 1,b 1 ),...,(a n,b n) (A B) n = = P(a 1,a 2,...,a n).p(b 1,b 2,...,b n) (a 1,b 1 ),...,(a n,b n) (A B) n P(a 1,a 2,...,a n). P(b 1,b 2,...,b n) = 1.1 = 1 (a 1,a 2,...,a n) A n (b 1,b 2,...,b n) B n Dokážeme platnost tretieho vzt ahu. ( ) (a1,b 1),(a 2,b 2),...,(a n,b n),(p 1,q 1),...,(p m,q m) = (p 1,q 1 ),...,(p m,q m) (A B) m P = P(a 1,...,a n,p 1,...,p m).p(b 1,...,b n,q 1,...,p m) = p 1 p 2...p m A m q 1 q 2...q m B m = P(a 1,...,a n,p 1,...,p m) P(b 1,...,b n,q 1,...,p m) = p 1 p 2...p m A m q 1 q 2...q m B m = P(a 1,a 2,...,a n). P(b 1,b 2,...,b n) = P ( (a 1,b 1),(a 2,b 2),...,(a n,b n) ). Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 23/39

Produkt informačných zdrojov Veta Majme dva informačné zdroje Z 1, Z 2 s entropiami H(Z 1), H(Z 2). Potom pre entropiu zdroja Z 1 Z 2 platí Dôkaz. H(Z 1 Z 2 ) = 1 = lim n n (a 1,b 1 ),...,(a n,b n) (A B) n 1 = lim n n H(Z 1 Z 2) = H(Z 1)+H(Z 2). (13) P ( (a 1,b 1 ),...,(a n,b n) ).log 2 P ( (a 1,b 1 ),...,(a n,b n) ) = (a 1,b 1 ),...,(a n,b n) (A B) n.[log 2 P(a 1,...,a n)+log 2 P(b 1,...,b n)] { P(a 1,...,a n).p(b 1,...,b n). } = Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 24/39

Produkt informačných zdrojov 1 = lim n n + [ 1 = lim n n (a 1,b 1 ),...,(a n,b n) (A B) n (a 1,b 1 ),...,(a n,b n) (A B) n + b 1,...,b n B n 1 + lim n n a 1,...,a n A n P(a 1,...,a n).p(b 1,...,b n).log 2 P(a 1,...,a n) + P(a 1,...,a n).p(b 1,...,b n).log 2 P(b 1,...,b n) = P(a 1,...,a n).log 2 P(a 1,...,a n). P(b 1,...,b n)log 2 P(b 1,...,b n). 1 = lim n n b 1,...,b n B n a 1,...,a n A n a 1,...,a n A n b 1,...,b n B n P(b 1,...,b n) + }{{} =1 P(a 1,...,a n) } {{ } =1 P(a 1,...,a n).log 2 P(a 1,...,a n)+ P(b 1,...,b n)log 2 P(b 1,...,b n) = H(Z 1)+H(Z 2). ] = Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 25/39

Produkt informačných zdrojov Nech Z = (A,P) je informačný zdroj. Definujme Z 2 = Z Z a d alej indukciou Z n = Z n 1 Z. Zdroj Z n = Z Z Z je zdroj s abecedou A }{{} n. n-krát Použitím predchádzajúcej vety a matematickej indukcie dostaneme: Veta Nech Z je informačný zdroj s entropiou H(Z). Potom pre entropiu H(Z n ) zdroja Z n platí H(Z n ) = n.h(z) Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 26/39

Združenie k znakov zdroja do k-znakových slov Definícia Nech Z = (A,P). Označme Z (k) = ( (A k ),P (k) ) zdroj s abecedou A k, kde P (k) (a 1,a 2,...,a n) pre a i A k, a i = a i1a i2...a ik je definované ako P (k) (a 1,a 2,...,a n) = P(a 11,a 12,...,a 1k,a 21,a 22,...,a 2k,...,a n1,a n2,...,a nk ) }{{}}{{}}{{} a 1 a 2 a k Informačný zdroj Z (k) vznikne z informačného zdroja Z tak, že zo zdroja Z budeme odoberat každý k-ty okamih celé výstupné slovo dĺžky k v pôvodnej abecede, pričom budeme výstupné k-znakové slová brat ako znaky novej abecedy. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 27/39

Združenie k znakov zdroja do k-znakových slov Veta Nech Z je informačný zdroj s entropiou H(Z). Potom pre entropiu H(Z (k) ) zdroja Z (k) platí H(Z (k) ) = k.h(z) Dôkaz. Platí 1 H(Z (k) ) = lim n n 1 = lim n n 1 = lim n n = k. 1 lim n k.n P (k) (a 1,a 2,...,a n) = a 1,...,a n A n P(a 11,...,a 1k,a 21,...,a 2k,...,a n1,...,a nk ) = a ij A pre 1 i n, 1 j k x 1,x 2,...,x n.k A x 1,x 2,...,x n.k A P(x 1,x 2,...,x n.k ) = P(x 1,x 2,...,x n.k ) = k.h(z) Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 28/39

Združenie k znakov zdroja do k-znakových slov Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 29/39

Produkt informačných zdrojov Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Zdroje informácie 35/39