Teoria informacji i kodowania Ćwiczenia Sem. zimowy 06/07 Źródła z amięcią Zadanie (kolokwium z lat orzednich) Obserwujemy źródło emitujące dwie wiadomości: $ oraz. Stwierdzono, że częstotliwości wystęowania bloków o dwie wiadomości są nastęujące: $$ $ $ /5 /0 /0 /5 Proszę srawdzić, czy to jest źródło bezamięciowe. Zadanie Entroia źródła Markowa L-tego rzędu wynosi: H L (X) = Pr {x i, x j,..., x jl } lg Pr {x i x j,..., x jl }. i j j L Źródło binarne generuje dwie wiadomości: 0 i. Oblicz dla tego źródła entroię klasyczną oraz entroię Markowa rzy nastęujących założeniach: (a) wiadomości są równorawdoodobne, źródło jest źródłem z amięcią, rzy czym: (Od. bit /symbol i ok. 0,9 bit /symbol) (b) źródło jest źródłem z amięcią, natomiast: Pr{0 } = Pr{ 0} = 3 ; Pr{0} = 3 4 Pr{0 0} = 3 Pr{0 } =. (Od. Ok. 0,8 bit /symbol i ok. 0,68 bit /symbol) Zadanie 3 Sorządź wykres stanów źródła Markowa drugiego rzędu, jeśli źródło jest źródłem binarnym, a rawdoodobieństwa warunkowe wynoszą: Pr{0 00} = Pr{ } = 0,8 Pr{ 00} = Pr{0 } = 0, Pr{0 0} = Pr{0 0} = Pr{ 0} = Pr{ 0} = 0,5. astęnie oblicz entroię tego źródła, jeśli wiadomo że: Pr{00} = Pr{} = 5 4 Pr{0} = Pr{0} = 4. (Od. Ok. 0,80 bit /symbol) Zadanie 4 (kolokwium z lat orzednich) Za omocą diagramu stanów rzedstawiono S, ewne źródło Markowa ierwszego rzędu. Brak strzałki oznacza, że odowiednie rawdoodobieństwo warunkowe jest zerowe. Jeśli nie odano rawdoodobieństw rzy strzałkach, to znaczy, że da się je określić na odstawie innych danych. Dla x, x,..., x wszystkie rzejścia wyglądają tak samo jak w rzyadku x i. Strona z 5
Teoria informacji i kodowania Ćwiczenia Sem. zimowy 06/07 x 0 x x i x Proszę naszkicować entroie H(S) oraz H (S) jako funkcje. Kanały Zadanie 5 (kolokwium z lat orzednich) a rysunku okazano dyskretny bezamięciowy kanał binarny oraz rozkłady rawdoodobieństwa ojawiania się wiadomości na jego wejściu i wyjściu: 3$ a 4 3 b 3 4 Proszę znaleźć douszczalny zakres wartości rawdoodobieństwa ojawienia się $ na wejściu i jednocześnie na wyjściu tego kanału. (Od. Ok. [, 3] ) Zadanie 6 (kolokwium z lat orzednich) Srawdź, czy kaskada binarnych kanałów symetrycznych (kanały są ołączone szeregowo: wyjście jednego z wejściem kolejnego; kanały niekoniecznie są identyczne) też jest binarnym kanałem symetrycznym. Zadanie 7 (kolokwium z lat orzednich) Mamy do dysozycji niekoniecznie identyczne binarne kanały symetryczne charakteryzujące się rawdoodobieństwami błędu: i <. W jaki sosób można z nich (niekoniecznie wszystkich) uzyskać binarny kanał symetryczny charakteryzujący się: 0 < BER? Zadanie 8 (kolokwium z lat orzednich) Informacja złożona z symboli binarnych jest transmitowana rzez binarny kanał symetryczny o rawdoodobieństwie rzekłamania. Jaka jest wartość oczekiwana liczby bitów rzesłanych orawnie w tej informacji? Strona z 5
Teoria informacji i kodowania Ćwiczenia Sem. zimowy 06/07 Zadanie 9 (kolokwium z lat orzednich) Binarny kanał asymetryczny jest rerezentowany za omocą macierzy: [ ] a b, a b gdzie na wejściu i wyjściu mamy symbole ze zbioru {0, } oraz a b. Odbiornik (odłączony do wyjścia z kanału) otrzymuje na swoim wejściu symbole 0 i tak samo często. Znajdź rozkład rawdoodobieństwa na wejściu do tego kanału (czyli na wyjściu z nadajnika) i okaż, że entroia na wyjściu kanału jest większa niż na jego wejściu. Zadanie 0 Oblicz, ile wynosi informacja wzajemna I(X; Y ) między wejściem i wyjściem kanału o dwóch wejściach x, x X i trzech wyjściach y, y, y 3 Y : x = 0 x = 4 4 y = 0 y = E y 3 = jeśli Pr {x } = Pr {x }. (Od. Ok. 0,55 bit /wiadomość) Obliczanie rzeustowości Zadanie (kolokwium z lat orzednich) Kanał binarny charakteryzuje się nastęującymi rawdoodobieństwami rzejść: (y x ) = (y x ) = (y x ) = Wiemy również, że na wyjściu kanału y ojawia się trzynaście razy częściej niż inne douszczalne symbole. Znajdź rzeustowość tego kanału. (Od. Ok. 0,4 bit /wiadomość) Zadanie Dany jest binarny symetryczny kanał z wymazywaniem: x = 0 y = x y = E x = y 3 = x Strona 3 z 5
Teoria informacji i kodowania Ćwiczenia Sem. zimowy 06/07 Kanał charakteryzuje się nastęującymi rawdoodobieństwami: α β α β β. α α β Pokaż, że jego rzeustowość da się oisać nastęującym wzorem: C = ( β)[ lg( β)] + ( α β) lg( α β) + α lg α. Zadanie 3 (kolokwium z lat orzednich) Proszę obliczyć rzeustowość kanału z wymazywaniem, którego diagram okazano oniżej: 0 3 Zadanie 4 (kolokwium z lat orzednich) Oblicz rzeustowość kanału ięciokątnego rzy danych rawdoodobieństwach rzejść (y j x i ) = : (y x ) = (y x 5 ) = (y x ) = (y x 3 ) = (y 3 x ) = (y 3 x 4 ) = (y 4 x 3 ) = (y 4 x 5 ) = (y 5 x 4 ) = (y 5 x ) = (kanał jest symetryczny). x x x 3 x 4 x 5 y y y 3 y 4 y 5 (Od. lg 5 bit /wiadomość) Zadanie 5 (kolokwium z lat orzednich) Dany jest kanał o M > sygnałach elementarnych na wejściu (oznaczanych jako x i, i =,..., M) oraz M sygnałach elementarnych na wyjściu (oznaczanych jako y j, j =,..., M). Wiadomo że dla i j: Pr{y j x i } = Ps M (wiemy, że 0 < P s < ). Proszę znaleźć rzeustowość kanału i naszkicować jej wykres jako funkcji M. (Od. lg(m)+( P s ) lg( P s )+P s lg( Ps M )) Zadanie 6 (kolokwium z lat orzednich) Uroszczoną klawiaturę numeryczną okazano na rysunku obok. Ma ona cztery klawisze (w dwóch rzędach o dwa klawisze). Użytkownik, który chce nacisnąć klawisz x, naciśnie z rawdoodobieństwem α inny klawisz w tym samym rzędzie lub z rawdoodobieństwem α inny klawisz w tej samej kolumnie. A więc z rawdoodobieństwem α naciśnie właściwy klawisz x. Taką klawiaturę można oisywać jako kanał transmisyjny, gdzie na wejściu mamy intencję użytkownika, a 3 4 na wyjściu faktycznie naciśnięty klawisz. Zaisz macierz tego kanału i oblicz jego rzeustowość. (Od. + ( α) lg( α) + α lg α bit /wiadomość) Strona 4 z 5
Teoria informacji i kodowania Ćwiczenia Sem. zimowy 06/07 y lg 3,58 Tabela odająca rzybliżone wartości lg { x 0 + y 00 } : x 0 3 4 5 6 7 8 9 0-3,3 -,3 -,74 -,3 -,00-0,74-0,5-0,3-0,5-6,64-3,8 -,5 -,69 -,9-0,97-0,7-0,49-0,30-0,4-5,64-3,06 -,8 -,64 -,5-0,94-0,69-0,47-0,9-0, 3-5,06 -,94 -, -,60 -, -0,9-0,67-0,45-0,7-0,0 4-4,64 -,84 -,06 -,56 -,8-0,89-0,64-0,43-0,5-0,09 5-4,3 -,74 -,00 -,5 -,5-0,86-0,6-0,4-0,3-0,07 6-4,06 -,64 -,94 -,47 -, -0,84-0,60-0,40-0, -0,06 7-3,84 -,56 -,89 -,43 -,09-0,8-0,58-0,38-0,0-0,04 8-3,64 -,47 -,84 -,40 -,06-0,79-0,56-0,36-0,8-0,03 9-3,47 -,40 -,79 -,36 -,03-0,76-0,54-0,34-0,7-0,0 Zadanie 7 (kolokwium z lat orzednich) identycznych binarnych kanałów symetrycznych, z których każdy charakteryzuje się rawdoodobieństwem rzekłamania 0 < <, łączymy kaskadowo (wyjście jednego z wejściem kolejnego). Proszę okazać, że rzeustowość takiej kaskady to: C = + lg + ( ) lg ( ), gdzie = [ + ( ) ]. Zadanie 8 (kolokwium z lat orzednich) Zais efektów rognozy ogody dla ewnego miasta jest dany w oniższej tablicy: Prognoza Rzeczywistość Pada ie ada Pada /8 3/6 ie ada /6 0/6 Pewien człowiek zauważył, że rognoza srawdza się tylko w 3 /4 rzyadków. Zauważył też, że mógłby mieć rację w 3 /6 rzyadków, gdyby w kółko rzeowiadał, że nie ada. Zaroonował szefowi rognostów, że najleiej zawsze rzeowiadać, że nie ada. Szef rognostów nie rzyjął jego oferty, uzasadniając swoją decyzję rozumowaniem oartym na teorioinformacyjnej koncecji rzeustowości. Proszę odtworzyć jego rozumowanie. Informacja dodatkowa: a kartkach z zadaniami do kolejnego kolokwium znajdą Państwo nastęujące dane, być może omocne rzy rozwiązywaniu zadań: H(X, Y ) = H(X) + H(Y X) (reguła łańcuchowa) I(X; Y ) = H(X) H(X Y ) = H(Y ) H(Y X) = H(X) + H(Y ) H(X, Y ) X, Y niezależne: H(X, Y ) = H(X) + H(Y ) Strona 5 z 5