Teoria informacji i kodowania Ćwiczenia

Wielkość: px

Rozpocząć pokaz od strony:

Download "Teoria informacji i kodowania Ćwiczenia"

Monika Brzozowska
6 lat temu
Przeglądów:

1 Teoria informacji i kodowania Ćwiczenia Piotr Chołda, Andrzej Kamisiński Katedra Telekomunikacji Akademii Górniczo-Hutniczej

2 Terminy kolokwiów zaliczeniowych Kolokwium KZ1: , piątek, 9:00-11:30, sala D6/201 Kolokwium KZ2: , piątek, 9:00-11:30, sala D6/201 Katedra Telekomunikacji AGH 2/9

3 Źródła Markowa (marko[wo]wskie) Źródło Markowa i jego entropia Źródło Markowa rzędu L to źródło, które generuje N wiadomości x 1,..., x N i jest opisywane prawdopodobieństwami Pr {s i } oraz Pr {x j s i }, gdzie s i jest sekwencją L wiadomości wysłaną bezpośrednio przed x j : s i = x i(1)... x i(l). (Warunkowa) entropia takiego źródła Markowa jest definiowana jako: N L N H L (X ) = Pr{s i } Pr{x j s i } lg Pr{x j s i } = i=1 i 1 =1 i L =1 j=1 N N N = Pr{x i1,..., x il } Pr{x j x i1,..., x il } lg Pr{x j x i1,..., x il }. j=1 Katedra Telekomunikacji AGH 3/9

4 Uwaga na oznaczenia! Oczywiście iloczyn zdarzeń jest przemienny, tj. Pr{A, B} = Pr{A B} = Pr{B, A}, ale musimy czasem uważać na konwencje zapisu, żeby się nie pomylić. W kontekście źródeł Markowa zapis Pr{x i, x j } może oznaczać prawdopodobieństwo wystąpienia wiadomości x j a zaraz potem x i : przecinek służy do określenia raczej kolejności niż iloczynu zdarzeń, moglibyśmy np. użyć też zapisu Pr{x i x j }. Zatem w tym kontekście, w ogólności może się zdarzyć, że Pr{x i, x j } Pr{x j, x i }. To dlatego, że tak naprawdę pisząc Pr{x i, x j } mamy na myśli Pr{x ik+1, x jk }, gdzie k i k + 1 oznaczają kolejne chwile czasowe, gdy generowane są wiadomości. Oczywiście zawsze możemy zastosować przemienność typu: Pr{x ik+1, x jk } = Pr{x jk, x ik+1 } (ale to wymaga wyczerpującego zapisu, który bywa pomijany). Katedra Telekomunikacji AGH 4/9

5 Kanały transmisyjne Dyskretny kanał bezpamięciowy x 1 y 1. x i. X Kanał informacyjny [Pr{y j x i }] Y. y j. x N y M Dyskretny kanał bezpamięciowy Dyskretny kanał bezpamięciowy jest definiowany za pomocą: zbioru wiadomości wejściowych: X = {x 1, x 2,..., x N }; zbioru wiadomości wyjściowych: Y = {y 1, y 2,..., y M }; zbioru M N prawdopodobieństw: Pr{y j x i }. Katedra Telekomunikacji AGH 5/9

6 Różne kanały transmisyjne Kanał bezszumowy (konstrukt czysto teoretyczny): i,j Pr{y j x i } = 1 Pr{y j x i } = 0. Kanał binarny z wymazywaniem. Bardzo ważny binarny kanał symetryczny (BSC): 0 1 Pr{0 0} Pr{1 1} 0 Pr{0 1} Pr{1 0} 1 Pr{0 1} BSC = Pr{1 0} BSC = BER Chętnie modelujemy kanały jako bezpamięciowe, ale nie jest to poprawne dla dużych szybkości transmisji (błędy paczkowe). Katedra Telekomunikacji AGH 6/9

7 Binarny kanał symetryczny Trochę danych praktycznych Wartości BER (Bit Error Rate) dla różnych technik transmisyjnych: Technika Łącza światłowodowe SDH Typowe łącze dzierżawione E1 Standard IEEE 802 R dla sieci LANs/MANs Typowe łącza ADSL Transmisja satelitarna BER Źródło: John Evans and Clarence Filsfils. Deploying IP and MPLS QoS for Multiservice Networks. Morgan Kaufmann Publishers Elsevier, San Francisco, CA, Katedra Telekomunikacji AGH 7/9

8 Informacja wzajemna dla kanałów Interpretacja graficzna dla kanału transmisyjnego Proszę pamiętać, że kanał informacyjny to bardzo szerokie pojęcie (kanał transmisyjny, urządzenie magazynujące, skompresowany plik... ). Nadajnik X H(X ) Entropia wejściowa Utrata informacji I (X ; Y ) Transinformacja H(X Y ) Entropia wyjściowa H(Y ) Odbiornik Y H(Y X ) Szum informacyjny Katedra Telekomunikacji AGH 8/9

9 Przepustowość kanału Interesuje nas, jak dużo informacji można przenieść przez kanał transmisyjny (określony przez X, Y, Pr{y j x i }). Przepustowość kanału Przepustowość dyskretnego kanału bezpamięciowego jest definiowana jako maksymalna transinformacja I (X ; Y ), która może być przesyłana przez kanał na raz, przy czym maksymalizacja przebiega po wszystkich możliwych rozkładach prawdopodobieństwa wiadomości wejściowych: C = max P X I (X ; Y ) = max P X [H(X ) H(X Y )] = max P X [H(Y ) H(Y X )]; ZAWSZE: 0 C H(X ). Maksymalizacja przebiega po wszystkich możliwych rozkładach prawdopodobieństwa na wejściu, obejmując również rzeczywisty rozkład w danej chwili. Katedra Telekomunikacji AGH 9/9

10 Katedra Telekomunikacji AGH 9/9

Podobne dokumenty

Teoria informacji i kodowania Ćwiczenia

Teoria informacji i kodowania Ćwiczenia Piotr Chołda, Andrzej Kamisiński Katedra Telekomunikacji Akademii Górniczo-Hutniczej Kod źródłowy Kodem źródłowym nazywamy funkcję różnowartościową, która elementom