Wykłady (AR), (I), 3I1 czw. (P), 12:15-14:00, (AR), (I), 3I2 wt. (P), 12:15-14:00,

Transkrypt

1 Wykłady (SI) Wprowadzenie erminy: pon. 6:5-8:00, w czwartek! Prowadzący: dr hab. inż. Konrad Jędrzejewski k.jedrzejewski.@elka.pw.edu.pl, konsultacje: pon. 0:5 - :00, 8:5-9:00, s dr inż. Gustaw Mazurek gmazurek@elka.pw.edu.pl, konsultacje: śr. :5 :00, s. 33. Ćwiczenia Zajęcia laboratoryjne Godziny: Planowane terminy: 3AR pon. (), 4:5-6:00, (AR), (I), 3I czw. (P), :5-4:00,..07 (AR), (I), 3I wt. (P), :5-4:00, (AR), (I), 3I3 wt. (), :5-4:00, (AR), (I), 3I4 czw. (), 4:5-6: (AR),.0.08 (I), Kolokwium na ostatnich ćwiczeniach. Godziny: Prowadzący: dr hab. inż. Anatolij Płatonow, prof. PW (I), dr hab. inż. Konrad Jędrzejewski (AR). 3AR śr. (P), :5-4:00, 3I czw. (P), 08:5 -:00, 3I czw. (P), :5-4:00, 3I3 czw. (P), 4:5-7:00, 3I4 czw. (P), 7:5-0: Zajęcia laboratoryjne Zasady zaliczania Sala 48. Składowe oceny: Zespoły dwuosobowe. Punktacja: Kolokwium wstępne 0,5 pkt. Sprawozdanie 0,5 pkt (dwie prace domowe w zespole!). Prowadzący: mgr inż. Szymon Buś, dr hab. inż. Konrad Jędrzejewski, dr inż. Gustaw Mazurek, dr inż. Grzegorz ieradka, dr inż. Rafał Rytel. kolokwium ćwiczeniowe 0 0 pkt., pięć zajęć laboratoryjnych 0 4 pkt., łącznie 0 0 pkt., egzamin 0 30 pkt. Skala ocen: 0 9,9 pkt., 30 35,9 pkt. 3, 36 4,9 pkt. 3,5, 4 47,9 pkt. 4, 48 53,9 pkt. 4,5, co najmniej 54 pkt. 5. Zwolnienia z egzaminu. 5 6

2 Strona przedmiotu Literatura S. Haykin, Systemy telekomunikacyjne, WKŁ, Warszawa, 000. wyniki, komunikacja (konsultacje), K. Wesołowski, Podstawy cyfrowych systemów telekomunikacyjnych, WKŁ, Warszawa 006. materiały wykład, instrukcje do laboratoriów. S. Dymowski, Elementy teorii informacji, Wyd. PW, Warszawa 97 (968). R. Biernacki, B. Butkiewicz, J. Szabatin, B. Świdzińska, Zbiór zadań z teorii sygnałów i teorii informacji, Wyd. PW, 003. J. Szabatin, Podstawy teorii sygnałów, WKŁ, Warszawa, Zieliński, Cyfrowe przetwarzanie sygnałów: od teorii do zastosowań, WKŁ, Warszawa, 04. Instrukcje do zajęć laboratoryjnych SI dostępne na stronie przedmiotu. 7 8 Informacja, sygnał Sygnał Co to jest informacja? Informacja jest wiedzą otrzymaną przez odbiór wiadomości, która pozwala odbiorcy zrealizować lub ulepszyć jego działanie. [Seidler J., auka o informacji, 983]. Wartość informacji? Informacja może być przekazywana w przestrzeni (komunikacja) i w czasie (zapamiętywanie). Zapamiętywanie nośniki informacji. Komunikacja sygnały (stany wielkości fizycznych). ośnik informacji a sygnał. Sygnały niosą (zawierają) informację. Przekształcanie sygnałów powinno zachowywać zdolności do przenoszenia informacji. 9 0 ośniki informacji: Sposoby przekazywania informacji DA i RA. Przedmioty naturalne (patyki, kamienie, górki ziemi). Skały (rysunki), drzewo (wyryte), węzełki. abliczki gliniane, tkaniny, pergamin, Papirus, papier. Karty (płyty, bębny) perforowane. Materiały światłoczułe. Płyty gramofonowe. ośniki magnetyczne. ośniki optyczne. Pamięci półprzewodnikowe. Gesty. Znaki i sygnały wizualne (zbiory przedmiotów, dymne, świetlne) Dźwięki nieartykułowane. Mowa artykułowana. Znaki i rysunki naskalne. Wyryte, węzełki, koraliki. Obrazy. Pismo (alfabet) Hieroglify (kamień z Rosetty). Przewód elektryczny. Fale elektromagnetyczne.

3 Systemy łączności przed 948 elegraf (kod Morsa 838). elefon (Bell 876). Radiotelegraf (Popow, Marconi 895). Radio AM (900/9). elewizja (97). Radio FM i PM (936). Systemy z modulacją PCM (939). Systemy z widmem rozproszonym (940). Wyzwania Brak obiektywnych ilościowych kryteriów jakości urządzeń z punktu widzenia ich zdolności do transmisji informacji. Potrzeba stworzenia teorii systemów komunikacji umożliwiającej projektowanie systemów optymalnych w sensie przyjętego kryterium. 3 4 Wcześniejsze prace Ojciec teorii informacji H. yquist, Certain Factor Affecting elegraph Speed (94) logarytm w zależności pomiędzy szybkością telegrafowania a liczbą wyróżnionych symboli (wartości prądu), Claude ElwoodShannon R. Hartley ransmission of Information(98) definicja ilości informacji z wykorzystaniem logarytmu (symbole jednakowo prawdopodobne), A. Kołmogorow i. Wiener optymalny odbiór sygnału zakłóconego szumem. A Mathematical heory of Communication (948) 5 6 Biografia Bell Laboratories 96 narodziny. 93 rozpoczęcie studiów w MI. 936 zatrudnienie w MI. 937 praca magisterska: A Symbolic Analysis of Relay and Switichng Circuits. 940 rozprawa doktorska: An Algebra for heoretical Genetics. 94 zatrudnienie w Bell Laboratories. 945 [949] raport: A Mathematical heory of Cryptography. 948 artykuł: A Mathematical heory of Communication. 958 profesor w MI. 978 emerytura. 00 śmierć. R. Hartley miara informacji. E. Armstrong modulacje PM, FM. A. Reeves modulacja PCM. H. Dudley wokoder. J. Bardeen, W. Brattain tranzystor ostrzowy. W. Shockley tranzystor warstwowy. H. yquist, H. Bode,. Wiener, 7 8 3

4 Claude Shannon Podwaliny nowej dziedziny teorii informacji. Możliwość dokładnego przekazywania informacji przy transmisji poniżej poziomu szumów bez zmiany parametrów systemów komunikacji. Zastosowanie bramek logicznych pracujących zgodnie zalgebrą Boole az zastosowaniem przekaźników. Jako jeden z pierwszych dostrzegł znaczenie i potencjał kodu binarnego. Maksyma Shannon a nasz wróg zna nasz system (koncepcja Kerckhoffs'a). Pionierskie prace dot. sztucznej inteligencji. Kilka cytatów eil Sloane: Rewolucja cyfrowa zaczęła się od niego. Był to jeden z największych umysłów minionego stulecia bez niego nie istniałyby dziś najważniejsze zdobycze naszej cywilizacji. J.L. Massey: elekomunikacja międzyplanetarna i teoria kodowania to małżeństwo zawarte w niebiosach. C. Shannon: Most great mathematicians have done their finest work when they were young. Gauss, Einstein, Kołmogorow,, Gates, Jobs, orvalds, Zuckenberg. 9 0 Automaty do gry w szachy Elektroniczna mysz Programming a Computer for Playing Chess(950) Claude Elwood Shannon Minivac 60. C. Shannon uczony niekonwencjonalny eoria żonglerki. HROBAC rzymski zapis liczb. Sukcesy na giełdzie i w Las Vegas

5 Shannon teoria informacji Podstawowe osiągnięcia Shannona(teoria informacji): system miar ilości informacji (entropia), twierdzenie o kodowaniu źródła kompresja, twierdzenie o kodowaniu kanału warunek bezbłędnej transmisji przez kanał z zakłóceniami, pojęcie przepustowości kanału, związek przepustowości z szerokością pasma transmisji i tzw. stosunkiem sygnał-szum, tzw. granice informacyjne. Podstawy kompresji, kodowania i korekcji informacji. Ilość informacji Informacja jest przeciwieństwem niepewności. iepewność = brak informacji. Pozyskiwanie informacji usuwanie niepewności. Strata informacji zwiększenie niepewności. Wiadomości mniej prawdopodobne dają więcej informacji usuwamy więcej niepewności. 5 6 Ilość informacji oceny Zdobywanie informacji pytania. Pytanie elementarne / kwant informacji. Ile pytań trzeba zadać aby jak najszybciej uzyskać żądaną informację? Skala ocen: 0 9,9 pkt., 30 35,9 pkt. 3, 36 4,9 pkt. 3,5, 4 47,9 pkt. 4, 48 53,9 pkt. 4,5, co najmniej 54 pkt O = 3? O = O = 3 O = 3.5? O = 3.5 4? O = O = 3? O = 3 3.5? O = 3 O = 3.5 O = 4 O = 3.5 O = 4 O = 4.5 O = 5 O = 4.5 O = 5 L = = L = =

6 O = 3? Oceny w semestrze 06Z ,0 3,0 3,5 4,0 4,5 5,0 O = O = 3 O = 3.5? O = 3.5 4? O = 3.5 O = 4 O = 4.5 O = 5 Ω = { x, x,..., x } = { x}, i=,,..., M { P( x i )} M i 3 L = , = 40 3 O = O = 3 3.5? O = 4 O = 3? O = 4.5 O = 3.5 5? O = 3 O = 3.5 O = 4 O = 3.5? O = 4.5 O = 5 O = 3.5 O = 5 O = O = 3 L = , = L = , = Ilość informacji O = 4 O = 4.5 O = 5? O = 5 O = 3.5? O = 3.5 O = 3? O = 3 O = L = , = Informacja własna zdarzenia: I( P( xi)) = log P( x) I( P( x i )) [4.8, 3.67, 3.54,.35,.04,.6]. Średnia ilość informacji entropia: M H( P( xi)) = P( xi)log P( x) i= H( P( x i )).. i i 36 6

7 Entropia Entropię możemy traktować jako średnią liczbę pytań dla idealnej strategii zadawania pytań. Liczba pytań jest miernikiem wiedzy (informacji), jaką musimy posiadać, by znać ocenę. Im większa jest entropia, tym więcej trzeba uzyskać informacji od odpowiadającego. A co z naszymi wynikami? H( P( x)) L < H( P( x)) +. i opt i Model łącza (systemu) informacyjnego Celem jest przesłanie wiadomości z tzw. źródła wiadomości do odbiornika wiadomości. Jaka ilość informacji jest w sygnale wytworzonym przez źródło? Jaka ilość informacji została odebrana? Jak ilość informacji jest tracona w kanale? η Podsumowanie A. Einstein Wiedza o tym, gdzie znaleźć informację i jak jej używać to podstawa sukcesu. Dziękuję za uwagę! Pytania? 39 7