Ewa Wędrowska Miary entropii w statystyce i teorii informacji. Ekonomiczne Problemy Usług nr 67,

Transkrypt

1 Ewa Wędrowska Miary etropii w statystyce i teorii iformacji Ekoomicze Problemy Usług r 67,

2 ZESZYTY NAUKOWE UNIWERSYTETU SZCZECIŃSKIEGO NR 650 EKONOMICZNE PROBLEMY USŁUG NR EWA WĘDROWSKA Uiwersytet Warmińsko-Mazurski MIARY ENTROPII W STATYSTYCE I TEORII INFORMACJI Wprowadzeie Rozwój telekomuikacji w początkach XX wieku zapoczątkował badaia ad iformacją, jej istotą, ilością oraz jakością. Przełomowa była praca C.E. Shaoa, uważaego za twórcę matematyczej teorii iformacji. Teoria iformacji i teoria komuikacji, w ich matematyczym sformułowaiu podaym przez Shaoa, traktują iformację od stroy ilościowej. Dotyczą oe pomiaru ilości iformacji, jaką charakteryzuje się każdy kaał iformacyjy ze względu a stopień prawdopodobieństwa pojawieia się jedego z sygałów. W przypadku ajprostszego ze zbiorów, jakim jest zbiór dyskrety, modelem statystyczym źródła wiadomości dyskretych jest zmiea losowa dyskreta. Bardziej reprezetatywa dla procesów iformacyjych, jako procesów redukujących iepewość, jest oczekiwaa ilość iformacji rozumiaa jako etropia źródła. Pojęcie etropii wykorzystywae było w badaiach systemów fizyczych, a zdefiiowae zostało przy okazji drugiej zasady termodyamiki. Zastosowaie termodyamiki w teorii iformacji wprowadziło pojęcie etropii do systemów komuikowaia się. Miara etropii zdefiiowaa przez C.E. Shaoa a grucie teorii iformacji zalazła w kolejych latach zastosowaie w wielu dziedziach auki, między iymi w statystyce i iformatyce. Obecie teoria iformacji adal dotyczy główie systemów łączości, pojawiają się jedak zastosowaia pojęcia etropii w aalizie zachowaia się różorodych systemów, w tym systemów ekoomiczo-społeczych, a koleje lata przyiosły licze uogólieia shaoowskiej miary etropii. Celem artykułu jest przedstawieie miar etropii zmieej losowej dyskretej i ich własości umożliwiających zastosowaie etropii w badaiu dyskretych

3 34 Ewa Wędrowska rozkładów zmieych losowych. Scharakteryzowao etropię Shaoa wraz z jej uogólieiami: etropią Réyiego oraz etropią Havrda Charvát Daróczy Tsallisa, a także trygoometryczą postać etropii.. Etropia Shaoa W teorii iformacji zdefiiowaie miary etropii zmieej losowej X o rozkładzie dyskretym { p ( x ), )} poprzedzoe zostało sformułowaiem waruków stawiaych fukcji etropii H S ( X ) H S ( x ), )). System uwarukowań zapropooway przez Shaoa zakładał, że etropia powia spełiać astępujące waruki :. Fukcja H S (X ) powia być ciągła względem wszystkich prawdopodobieństw x i ) ( i,2,,..., ), co ozacza, że iewielkim zmiaom prawdopodobieństw powia odpowiadać iewielka zmiaa etropii. 2. Jeżeli wszystkie zdarzeń zmieej losowej X są jedakowo prawdopodobe x ) )... ), to fukcja H S (X ) powia rosąć mootoiczie wraz ze wzrostem. 3. Fukcja H S (X ) powia być symetrycza, co ozacza, że wartość etropii x ), ( ),..., ( ). jest iezmieikiem permutacji prawdopodobieństw p p 4. Fukcja H S (X ) powia być kohereta, co ozacza, że jeżeli realizacja zdarzeń odbywa się w dwóch kolejo astępujących po sobie etapach, to etropia początkowa powia być sumą ważoą etropii poszczególych etapów. Istieje dokładie jeda 2, z dokładością do stałej k, fukcja H S (X ) -zmieych spełiająca powyższe waruki i jest oa określoa wzorem: H S ( X ) H S ( x ), )) k ) log r, () i ) gdzie r, a prawdopodobieństwa p x ) spełiają waruki uormowaia oraz ( i sumy jedostkowej: 0 p ( x ), ). Stała k we wzorze () decyduje i x i i C.G. Chakrabarti, I. Chakrabarty: Shao etropy: aomatic characterizatio ad applicatio, Iteratioal Joural of Mathematics ad Mathematical Scieces 2005, vol E. Kuriata: Teoria iformacji i kodowaia, Oficya Wydawicza Politechiki Zieloogórskiej, Zieloa Góra 200.

4 Miary etropii w statystyce i teorii iformacji 35 o jedostce etropii. Jeżeli k, jedostką etropii jest bit, a fukcja zapisaa za pomocą wzoru () przyjmuje postać: log r 2 H S ( X ) H S ( x ), )) ) log 2. (2) x ) Jeśli z kolei k, jedostką etropii jest at (atural uit), a formuła etropii log r e staje się astępująca: H S ( X ) H S ( x ), )) ) l. (3) i ) Etropia H S (X ) jest miarą iepewości związaej z rozkładem prawdopodobieństw { p ( x ), )}, z jakimi zachodzą wartości { x,,..., } dyskretej zmieej losowej X. Probabilistycza miara etropii H S (X ) opisaa formułą (2) posiada astępujące własości: Etropia Shaoa przyjmuje wartości ieujeme: H S ( X ) 0. Etropia Shaoa przyjmuje wartość zero, gdy jeda z wartości { x,,..., } dyskretej zmieej losowej X zachodzi z prawdopodobieństwem rówym jedości, pozostałe zaś z prawdopodobieństwami rówymi zeru. Etropia Shaoa przyjmuje wartość ajwiększą rówą H S ( X ) log 2, gdy wszystkie prawdopodobieństwa są sobie rówe x ) )... ). Etropia Shaoa jest wklęsła. Etropia Shaoa spełia własość addytywości dla pary dyskretych zmieych losowych iezależych X oraz Y: H ( X, Y ) H ( X ) H ( Y ). S S S i i 2. Etropia Réyiego Zasłużoy w dziedziach kombiatoryki, teorii grafów, teorii liczb oraz teorii prawdopodobieństwa, węgierski matematyk A. Réyi wśród swoich liczych osiągięć zapropoował uogólieie miary etropii Shaoa. Ostatecza postać formuły etropii Réyiego stopia ( 0, ) zmieej losowej X o dyskretym rozkładzie prawdopodobieństwa p ( x ), x x )} jest astępująca: { 2

5 36 Ewa Wędrowska H ( ) log2 ( ). X p i R x i Etropia Réyiego H R (X ) stopia ( 0, ) dyskretej zmieej losowej X o rozkładzie prawdopodobieństwa p ( x )} ( 0 p ( x ), ) ) { i (4) i x i i spełia astępujące własości: Etropia Réyiego przyjmuje wartości ieujeme: H ( ) R X 0. Etropia Réyiego jest wklęsła dla każdego (0,) oraz wklęsła lub wypukła dla 3. Etropia Réyiego przyjmuje wartość zero, gdy jeda z wartości { x,,..., } dyskretej zmieej losowej X zachodzi z prawdopodobieństwem rówym jedości, pozostałe zaś z prawdopodobieństwami rówymi zeru. Etropia Réyiego przyjmuje wartość ajwiększą rówą H R ( X ) log 2, gdy wszystkie prawdopodobieństwa p ( x i ) są sobie rówe dla i,2,...,. Etropia Réyiego spełia własość addytywości dla pary dyskretych zmieych losowych iezależych X oraz Y: H R ( X, Y ) H R ( X ) H R ( Y ). Etropia Shaoa H S (X ) jest graicą etropii Réyi ego H R (X ) dla : 4 lim log2 ( ) ( )log2. p p i i ) Własości etropii zmieej losowej o dwupuktowym rozkładzie prawdopodobieństwa { p,( p)} ilustruje rysuek, a którym przedstawioo wykres etropii Réyi ego dla wybraych wartości stopia. Wykres etropii Réyiego jest przybliżoy do wykresu etropii Shaoa dla 0,999. Dla każdej wartości ( 0, ) etropia H R (X ) osiąga wartość ajwiększą rówą jedości, w przypadku gdy prawdopodobieństwa rozkładu są sobie rówe, czyli dla p p 0,5. 3 L.S. Hibbard: Regio segmetatio usig iformatio divergece measures, Medical Image Aalysis 2004, o. 8, E. Wędrowska: Wykorzystaie etropii Shaoa i jej uogólień do badaia rozkładu prawdopodobieństwa zmieej losowej dyskretej, Przegląd Statystyczy 200, r 4, s

6 Miary etropii w statystyce i teorii iformacji 37 etropia Réyi ego 0,9 0,8 0,7 0,6 0,5 0, ,999 0,2 0,3 0,2 0, 0 0 0, 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 prawdopodobieństwo Rys.. Etropia Réyiego zmieej losowej o rozkładzie prawdopodobieństwa { p, ( p)} dla wartości = 0,2; 0,999; 2; 5; 00 Źródło: opracowaie włase. 3. Etropia Havrda Charvát Daróczy Tsallisa Etropia określaa miaem etropii typu zapropoowaa przez Tsallisa w 988 roku a grucie fizyki ieeksesywej odpowiada dokładie -etropii zdefiiowaej wcześiej w teorii iformacji przez Havrdę i Charváta w 967 roku oraz Daróczego w 970 roku. Obecie w literaturze pojawiają się określeia etropia Havrda Charvát Daróczy Tsallisa (HCDT) lub, w pracach z zakresu fizyki, etropia Tsallisa. Etropia HCDT dyskretej zmieej losowej X o rozkładzie prawdopodobieństwa p ( x )} ( 0 p ( x ), ) ) określoa jest astępującą formułą dla { i 0, 5 : i x i i ) i H HCDT ( X ), (5) Etropia HCDT typu (dla 0, ) dyskretej zmieej losowej X posiada poiższe własości: Etropia HCDT przyjmuje wartości ieujeme: H HCDT ( X ) 0. 5 M. Masi: A step beyod Tsallis ad Réyi etropies, Physics Letters A 2005, o. 338, s

7 38 Ewa Wędrowska Etropia HCDT jest wklęsła dla każdego 0,. Etropia HCDT przyjmuje wartość ajwiększą, gdy wszystkie prawdopodobieństwa i x ) są sobie rówe dla i,2,...,. Etropia HCDT przyjmuje wartość zero, gdy jeda z wartości { x,,..., } dyskretej zmieej losowej X zachodzi z prawdopodobieństwem rówym jedości, pozostałe zaś z prawdopodobieństwami rówymi zeru 6. Etropia H HCDT (X ) dla stopia dąży do etropii Shaoa 7 : lim i l 2H S ( S ). i Etropia HCDT spełia własość pseudoaddytywości (subaddytywości) dla zmieych losowych iezależych 8 : H HCDT ( X, Y ) H HCDT ( X ) H HCDT ( Y ) ( ) H HCDT ( X ) H HCDT ( Y ). Etropia HCDT, w odróżieiu do etropii Shaoa oraz etropii Réyiego, ie spełia dla pary zmieych iezależych własości addytywości, lecz jedyie tzw. własość pseudoaddytywości. Podobie jak w przypadku etropii Shaoa oraz Réyiego, etropia HCDT osiąga wartość ajwiększą dla rówomierego rozkładu prawdopodobieństwa. Jedak wartość ajwiększa etropii HCDT jest fukcją ie tylko wartości, jak to było w przypadku etropii Shaoa oraz Réyiego, ale i stopia. Wartość etropii H HCDT (X ) rośie wraz ze wzrostem wartości dla daego stopia. Z kolei w przypadku zmieej losowej dyskretej przyjmującej wartości { x,,..., } wraz ze wzrostem stopia maleją wartości etropii H HCDT (X ). Dla zmieej losowej o dwupuktowym rozkładzie prawdopodobieństwa { p,( p)} własość tę ilustruje rysuek 2. 6 E. Wędrowska: Wykorzystaie etropii Shaoa, op. cit., s P.K. Sahoo, G. Arora: Image thresholdig usig two-dimesioal Tsallis-Havrada- Charvát etropy, Patter Recogitio Letters 2006, o. 27, s B.H. Laveda: Mea Etropies, Ope Sys. Iformatio Dy. 2004, o. 2, s

8 Miary etropii w statystyce i teorii iformacji 39 0,9 0, etropia HCDT 0,8 0,7 0,6 0,5 0,4,5 0,99 0,5 0,3 0,2 5 0, 0 0 0, 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 prawdopodobieństwo Rys. 2. Etropia HCDT zmieej losowej o rozkładzie prawdopodobieństwa { p, ( p)} dla wartości = 0,; 0,5; 0,99;,5; 5 Źródło: opracowaie włase. 4. Trygoometrycza postać etropii Odmiea od poprzedich kocepcji jest trygoometrycza postać miary etropii, jaką zapropoował Laveda 9, wskazując w swojej pracy a związki Etropies of Mig (EOM) z fukcją logarytmiczą i wielomiaami oraz własościami trygoometryczymi wielokątów. EOM zdefiiowaa została astępująco: EOM H ( X ) si ). (6) i Własości etropii H EOM (X ) daej wzorem (6) są astępujące: EOM Etropia EOM jest wielkością ieujemą: H ( X ) 0. Etropia EOM przyjmuje wartość 0, gdy p ( x i ) dla pewego i i,2,...,. Etropia EOM przyjmuje wartość ajwiększą, gdy wszystkie prawdopodobieństwa p ( x i ) są sobie rówe dla i,2,...,. Etropia EOM spełia własość symetrii: EOM EOM H x ), x x )) H ( x ), x x )). ( 2 () (2) ( ) Etropia EOM jest wklęsła. 9 B.H. Laveda: Geometric Etropies of Mig (EOM), Ope Sys. Iformatio Dy. 2006, o. 3, s. 9 0.

9 40 Ewa Wędrowska Wartość maksymala etropii EOM wyosi H EOM max si, zatem H EOM EOM ( X ) 0,si. Wraz ze wzrostem liczby wartość H dąży do zera. Niespełioe jest więc założeie stawiae etropii Shaoa i jej uogólieiom, mówiące, że stopień ieokreśloości rozkładu, którego miarą jest etropia, rośie wraz ze wzrostem liczby wartości będących realizacjami zmieej losowej. Etropia EOM ie spełia też własości addytywości dla pary dyskretych zmieych losowych iezależych X oraz Y. Podsumowaie Wartości etropii EOM, tak jak etropii Shaoa, Réyiego czy HCDT, zależą jedyie od prawdopodobieństw, jakie towarzyszą realizacji kokretych wartości zmieej X, a ie od tych wartości. Jedak opisae etropie przejawiają róże własości, co wyika z różych postaci tych miar. Etropie Shaoa i Réyiego mają postać fukcji logarytmiczych, etropia HCDT staowiła pierwszą propoowaą w literaturze formułę ielogarytmiczą, atomiast etropia EOM przyjmuje postać fukcji trygoometryczej. Literatura. Chakrabarti C.G.: Chakrabarty I.: Shao etropy: aomatic characterizatio ad applicatio, Iteratioal Joural of Mathematics ad Mathematical Scieces 2005, vol Hibbard L.S.: Regio segmetatio usig iformatio divergece measures, Medical Image Aalysis 2004, o Kuriata E.: Teoria iformacji i kodowaia, Oficya Wydawicza Politechiki Zieloogórskiej, Zieloa Góra Laveda B.H.: Mea Etropies, Ope Sys. Iformatio Dy. 2004, o Laveda B.H.: Geometric Etropies of Mig (EOM), Ope Sys. Iformatio Dy. 2006, o Sahoo P.K., Arora G.: Image thresholdig usig two-dimesioal Tsallis Havrda Charvát etropy, Patter Recogitio Letters 2006, o Wędrowska E.: Wykorzystaie etropii Shaoa i jej uogólień do badaia rozkładu prawdopodobieństwa zmieej losowej dyskretej, Przegląd Statystyczy 200, r 4.

10 Miary etropii w statystyce i teorii iformacji 4 MEASURES OF ENTROPY IN STATISTICS AND INFORMATION THEORY Summary The paper presets categorizatio of otios ad characteristics of the etropy of a discrete radom variable. I additio to Shao s etropy, the Réyi s ad Tsallis etropies ad Etropies of Mig were applied for studies o the properties of distributios i case of probabilities of the radom variables. Traslated by Ewa Wędrowska