Ćwiczenie 2 Przetwarzanie informacji w układzie nerwowym
|
|
- Sebastian Jarosz
- 5 lat temu
- Przeglądów:
Transkrypt
1 ZARYS NEUROBIOLOGII dla studentów na kierunku Psychologia Ćwiczenie 2 Przetwarzanie informacji w układzie nerwowym Piotr Łaszczyca (modyf. Andrzej Kędziorski)
2 ĆWICZ. 2. PRZETWARZANIE INFORMACJI W UKŁADZIE NERWOWYM I. KONWERSATORIUM: 1. Pojęcie informacji, sygnalizacji i sterowania; 2. Układ nerwowy jako system przetwarzania informacji; 3. Zasady szacowania pojemności informacyjnej oraz entropii systemu; 4. Redundancja, jej przykłady w układach biologicznych i systemach przekazu informacji. 5. Czynności życiowe i procesy nerwowe jako przetwarzanie informacji 6. Sterowanie w układzie nerwowym. II. ĆWICZENIA PRAKTYCZNE: 1. Analiza wybranych systemów przekazu informacji. 2. Obliczanie ilości informacji w układzie. 3. Szacowanie redundancji w prostych systemach. 4. Analiza wybranych przykładów sterowania czynnościami fizjologicznymi i behawioralnymi. Piotr Łaszczyca 2
3 Pojęcie informacji, sygnalizacji i sterowania SYSTEM - zbiór uporządkowanych, powiązanych według planu elementów lub ich odwzorowań. STAN SYSTEMU - aktualne relacje pomiędzy elementami zachodzące z określonym prawdopodobieństwem. INFORMACJA - odwzorowanie stanu systemu na stan innego systemu, potwierdzenie lub wykluczenie relacji. SYGNAŁ - materialny lub energetyczny nośnik informacji. KOD - przyporządkowanie sygnałów stanom systemu: Alfabet kodu, Gramatyka kodu, Semantyka kodu. Znaki, Wyrazy, Zdania, Komunikaty = Zapisy.
4 RÓŻNORODNOŚĆ KODÓW ABC αβγ ДЕЖ ڇ ڈ ډ
5 RÓŻNORODNOŚĆ KODÓW kody wizualne: język pszczół, gesty, mimika, postawy ciała, alfabety naturalne i pismo, systemy liczbowe, semafory, znaki drogowe, kody dźwiękowe: śpiewy ptaków, języki naturalne, alfabet Morse,... kody chemiczne: zapachy feromony, kod genetyczny, neuroprzekaźniki kody elektryczne: potencjał receptorowy, potencjały iglicowe, Piotr Łaszczyca 5
6 PRZENOSZENIE, PRZETWORZENIE PRZEKODOWANIE INFORMACJI Nadajnik Kanał przekazu Odbiornik INFORMACJA SYGNAŁ INFORMACJA Nośnik informacji SZUM Źródło szumu
7 Układ nerwowy jako system przetwarzania informacji BODŹCE /INFORMACJA/ SYSTEM STAN SYSTEMU REAKCJA: - zmiana stanu - przekształcenie środowiska
8 Informacje odbierane zmysłami Narząd zmysłu Wzrok Słuch Węch Smak Czucie skórne Wielkości i procesy fizyczne - Liczba fotonów - Energia fotonów - Kąt padania fotonów do oka - Częstotliwość drgań ośrodka - amplituda drgań ciała i fali powietrza - kombinacja częstotliwości i amplitudy drgań Wiązanie molekuł niektórych lotnych związków chem. z receptorami Wiązanie jonów i niektórych molekuł chem. z receptorami Energia mechaniczna i cieplna atomów i molekuł różnych przedmiotów Zjawiska subiektywne - spostrzeganie - jasność - barwa - kształt, odległość i ruch - wysokość dźwięku - głośność dźwięku - barwa dźwięków - zapach - smak - konsystencja, faktura powierzchni, lepkość, temperatura i in.
9 KODOWANIE INFORMACJI Kodowanie analogowe i częstościowe siły bodźca (receptory, neurony) Zróżnicowanie i swoistość receptorów kodują cechy jakościowe (rodzaj energii) bodźca Zróżnicowanie ośrodków korowych umożliwia adekwatną interpretację bodźca (dekodowanie, percepcja)
10 JAK POLICZYĆ INFORMACJĘ Informację można uzyskać zadając pytania. Trzeba pytać! Pytania zaś mogą być: pytaniami dopełnienia (jaki..., gdzie..., ile...,... itp.) pytania rozstrzygnięcia (czy jest taki właśnie...?). Pytanie rozstrzygnięcia wymaga wykluczenia jednej z dwóch przeciwstawnych możliwości (czarne/białe). Pytanie dopełnienia można rozłożyć na serię pytań rozstrzygnięcia. Bit - Jednostka informacji (Shannon) - ilość informacji wykluczająca jeden z dwóch przeciwstawnych stanów systemu, czyli odpowiedź tak / nie na pytanie rozstrzygnięcia.
11 JAK POLICZYĆ INFORMACJĘ Pojemność informacyjna (Hartley): I = lg 2 N = lg 10 N Ilość informacji konieczna do określenia stanu systemu, gdzie N liczba wszystkich możliwych stanów danego systemu. [równoważna przeciętnej ilości koniecznych pytań rozstrzygnięcia; różne prawdopodobieństwo niektórych stanów komplikuje obliczenia] Ile razy trzeba rozstrzygać by wiedzieć wszystko? Czy informacja może być ułamkowa? Tak jeśli prawdopodobieństwo wystąpienia danego stanu/zdarzenia mieści się w zakresie 0-1
12 JAK POLICZYĆ INFORMACJĘ Ilość informacji w sygnale (Shannon): H i = - p i lg 2 p i 1/N lg 2 N miara zmniejszenia nieokreśloności systemu przez dany sygnał, występujący z określonym prawdopodobieństwem pi, (różnym lub równym prawdopodobieństwu wystąpienia innych sygnałów). [im mniejsze pi danego stanu tym mniejsza ilość informacji w sygnale] Entropia żródła informacji (Shannon): H = H i = (- p i lg 2 p i ) I = lg 2 N Entropia w ramach teorii informacji jest definiowana jako średnia ilość informacji, przypadająca na znak symbolizujący zajście zdarzenia (i) z pewnego zbioru. Zdarzenia w tym zbiorze mają przypisane prawdopodobieństwa wystąpienia (p i ).
13 Krótka ściąga z logarytmów log 2 1 = 0 bo 2 0 = 1 log 2 2 = 1 bo 2 1 = 2 log 2 4 = 2 bo 2 2 = 4 = 2 x 2 log 2 64 = 6 bo 2 6 = 64 = 2 x 2 x 2 x 2 x 2 x 2 log = 6 bo 10 6 = czyli: 10 x 10 x 10 x 10 x 10 x 100 =
14 JAK POLICZYĆ INFORMACJĘ Kilka prostych zadań. W ilu pytaniach zgadniecie Państwo: Na którym polu szachownicy stoi czarny król? Która z liczb od 0 do wygrywa? Jakie hasło WEP pomyślałem?
15 JAK POLICZYĆ INFORMACJĘ Gdzie jest król??? Wg Hartleya N = 64 I = lg 2 64 = 6 Sześć pytań! Ale jak?
16 JAK POLICZYĆ INFORMACJĘ metoda podziału Wg Hartleya N = 64 I = lg 2 64 = 6 Sześć pytań!
17 JAK POLICZYĆ INFORMACJĘ Jaką liczbę wskazuje zegar?
18 JAK POLICZYĆ INFORMACJĘ Jaką liczbę wskazuje zegar? Tak zadajemy pytania Wg Hartleya N = 10 I = lg 2 10 = 3,322 Trzy i 322/1000 pytania!
19 JAK POLICZYĆ INFORMACJĘ Wg Hartleya N = 10 3 I = lg = 3 x 3,322 Około dziesięć pytań! A trzy zegary?
20 JAK POLICZYĆ INFORMACJĘ Która to litera alfabetu? Ala ma kota aąbcćdeęfghijklłmnńoóprsśtuwyzżź = 32 Wg Hartleya N = 32 I = lg 2 32 = 5 5 pytań na każdą literę!
21 JAK POLICZYĆ INFORMACJĘ Jakie hasło WEP? A na której stronie encyklopedii? Tutaj! Wg Hartleya N = I = lg = pytań na hasło!
22 JAK POLICZYĆ INFORMACJĘ Czego się dowiedzieliśmy Redundancja przekazu: R = 1 - H / I miara różnicy pomiędzy entropią a pojemnością informacyjną systemu, wynika z powtarzania tej samej informacji w rzeczywistym sygnale (np. w formie gramatycznej zdania: Ja jestem teraz tu ilość informacji taka sama jak w zdaniu Jestem ). Czyli dobre pytanie: Czy należy się powtarzać? K???? Ks??? Ksawery? Ksi ksiądz? księga? ksiuty? Ksią ksiądz! Książ ę? ka? nica?
23 Redundancja Tabela częstości znaków Znak Liczba Czestość Znak Liczba Czestość Grupa Liczba Częstość A , , zn 33 0,0114 Ą 160 0, , zn 22 0,0076 B 227 0, , zn 43 0,0148 C 720 0, , zn 65 0,0224 Ć 57 0, , zn 107 0,0369 D 580 0, , zn 156 0,0538 E , , zn 228 0,0787 Ę 171 0, , zn 293 0,1011 F 48 0, , zn 330 0,1139 G 192 0, , zn 284 0,0980 H 208 0,0121 Suma zn 294 0,1015 I , zn 232 0,0801 J 413 0,0241 Znak Liczba Czestość 3 zn 268 0,0925 K 555 0,0324, 209 0, zn 264 0,0911 L 387 0, , zn 278 0,0960 Ł 257 0, ,1173 Suma M 511 0, ,0140 N 990 0,0577 : 8 0,0140 Ń 36 0,0021 ; 2 0,0035 O ,0745? 15 0,0263 Ó 187 0,0109! 2 0,0035 P 552 0,0322 ( 6 0,0105 Q 0 0,0000 ) 6 0,0105 R 756 0,0441 / 0 0,0000 S 725 0, ,0420 Ś 119 0,0069 * 1 0,0018 T 671 0,0391 Suma 571 U 448 0,0261 V 3 0,0002 W 770 0,0449 X 6 0,0003 Y 647 0,0377 Z 995 0,0580 Ż 148 0,0086 Ź 7 0,0004 Suma
24 Redundancja Tabela częstości znaków Znak n p lg(2)n "-p lg(2)n" A , , , I , , , E , , , O , , , Z 995 0, ,1077 0, N 990 0, , , W 770 0, , , R 756 0, , , S 725 0, , , C 720 0, ,5744 0,192 T 671 0, , , Y 647 0, , , D 580 0, , , K 555 0, , , P 552 0, , , M 511 0, , , U 448 0, ,2589 0, J 413 0, , , L 387 0, , , Ł 257 0, , ,0908 B 227 0, , ,08257 H 208 0, , , G 192 0, , , Ó 187 0, , , Ę 171 0, ,6484 0, Ą 160 0, , , Ż 148 0, ,8568 0, Ś 119 0, , , Ć 57 0, , , F 48 0, , , Ń 36 0, , ,01867 Ź 7 0, ,2589 0, X 6 0, ,4813 0, V 3 0, ,4813 0, Q Suma ,540799
25 Redundancja Tabela częstości znaków Redundancja znaków w tekście ok. 17 tysięcy literowym n=32 I (Hartley) E (Shannon) Pojemność vs. Entropia 5 4, Redundancja 0,09184
26 PROCESY NERWOWE JAKO PRZETWARZANIE INFORMACJI Liczba pręciki - obwodowo mln czopki - centralnie - 6 mln Krytyczna częstotliwość migotania: pręciki Hz czopki - 55 Hz Nerw wzrokowy - ok. 1 mln aksonów komórek zwojowych Kora wzrokowa mm 2 ; 10 5 nuronów na 1 mm 2, 6 warstw, 2 mm grubości, neuronów na głebokość, 1 neuron ciałka kolankowatego neuronów korowych
27 PROCESY NERWOWE JAKO PRZETWARZANIE INFORMACJI DWA STRUMIENIE DANYCH PIERWSZY UKŁAD SYGNAŁOWY (PUS) DRUGI UKŁAD SYGNAŁOWY (DUS) Bodźce pochodzą od realnie istniejących obiektów materialnych Stanowią go bodźce: - bezwarunkowe, - warunkowe, - kluczowe, - obojętne Umożliwia bezpośrednie poznawanie otoczenia i orientowanie się w nim Odzwierciedla świat zewnętrzny przez procedury reagowania odruchy, instynkty Wspólny dla człowieka i zwierząt Tworzy obrazy świata w umyśle, wymaga myślenia abstrakcyjnego Bodźcami są słowa pisane i mówione oraz obrazy symboliczne Wpływa na zachowanie osoby (funkcja regulacyjna) Pełni rolę komunikacyjną: - koordynacja działań w grupie - przekaz różnych informacji (w tym uczenie) - budowanie relacji społecznych Właściwa człowiekowi (zaczątki DUS u niektórych zwierząt)
28 ILE INFORMACJI PRZETWARZAMY Przepustowość - lejek informacyjny Keidla Zachowania motywacyjne Myślenie i planowanie Decyzje ~3x10 1 Bit/s Konsekwencje: Część odbieranej informacji umyka uwadze Konsekwencje: Działamy głównie poprzez nawyki Działają w nas agenci zombie
29 STEROWANIE czyli po co ta informacja Szybkość i niezawodność przekazu informacji - problem myśliwych, żołnierzy i agentów businesu Sterowanie i Pętle Sprzężeń Zwrotnych A choćby i odruchy... Sprzężenie zwrotne ujemne = Zachowaj niezmienny stan = Przeciwdziałaj zmianom Błąd sterowania - Oscylacje S R
30 STEROWANIE Homeostaza = Względna stałość stanu Homeostaza = Równoważenie się przepływów Cztery zasady: współdziałania procesów przeciwstawnych pętli sprzężeń zwrotnych bodźcowych oscylacji wokół punktu nastawienia przedziałowości S R
31 Stanowisko pilota Airbusa STEROWANIE
32 STEROWANIE Co jest na suficie
33 STEROWANIE Airbus Jak tu się nie pogubić? Trening czyni mistrza
Zarys Neurobiologii Ćwiczenia nr 2. Informacja Przetwarzanie w układzie nerwowym. Piotr Łaszczyca KFZiE, UŚ 2016
Zarys Neurobiologii Ćwiczenia nr 2 Informacja Przetwarzanie w układzie nerwowym Piotr Łaszczyca KFZiE, UŚ 2016 ŚRODOWISKO INFORMACYJNE CZŁOWIEKA Układ nerwowy jako system przetwarzania informacji i system
Informacja. Przetwarzanie w układzie nerwowym
Informacja Przetwarzanie w układzie nerwowym Piotr Łaszczyca KFZiE, WBiOŚ, UŚ 2008 Konspekt zajęć z Podstaw Neurobiologii ŚRODOWISKO INFORMACYJNE CZŁOWIEKA Układ nerwowy jako system przetwarzania informacji
ś ć ś ś ś ć Ź ń ś ś ń ść ń ś ś
ń ść ś Ź ć ź ś Ę ń ś Ę ś ń ś ś ź ś ć ś ś ś ć Ź ń ś ś ń ść ń ś ś ń ń ń ń ś ć ń ć Ą Ó Ó ń Ś ń ś Ę ć ś ś ć ś ć ń ń ś ś ń Ó ń ć ć ć Ź ś ć ć Ś ś ć ć ć ść ś ń ś ś ń ć ź ń ć Ó ś ś ś ś ń ś ść ść ć ś śó ść ć ń
Ę Ć Ś Ż ź Ż ć ć ć ć Ś ć ć ż ż Ź ć Ż ć
Ł Ę Ć Ś Ż ź Ż ć ć ć ć Ś ć ć ż ż Ź ć Ż ć Ś ć ż ć Ś ć ż ż ć Ść ć ć ć ć Ś Ś ż Ę Ś Ń ć ć Ś ć ć Ż ż ź ź ć ć ź Ż Ą Ś ź ż ż Ż Ż ż Ż ż Ż Ż ć ż Ż Ż ż ć ć Ż ć ć Ż Ą ć ć ż ź Ł Ł Ś Ą Ń Ż Ż Ż ć ć ż Ż ć Ż Ę ć Ż Ż ć
Ę ś Ł ń ś ś ć ć ś ś ś ń ń ń ść ń ść ś Ł ć ź ć Ę Ą ś ś ś ś ś ś ń ń źń ś ń ń ś ń ń ś ź ń Ę ń Ą Ę ś ś ć ń ś ń ń Ł ś ś ń ś ź ś ś ń ć ść ść ść ń ś ź ś ń ś ś ść ś ń ń ń ś Ę Ł ń Ą ś Ś Ę ń Ś Ę ść ś ś ń Ę ń ś ź
Ł ź Ż Ń Ł ż ż ź Ą
Ł Ł Ń Ń Ł ź Ż Ń Ł ż ż ź Ą Ł Ł Ś Ń ż ż ż żń ż ż ż ć Ż ć ć ć Ż ż ż ż ż ż ż ż ż ż ż ż ć ź ż ż ż ż ć Ś ż ż ż ż ż ć ż ż ć ż ć ż ź ż ż ż ż ż ż ć ć ż ż Ś ć ż ć ż ć Ś ż ż ż ż ż ż ż ć ż ż ż ż ż ć ć ż ż ż Ś ż ż
Ź
Ź Ł Ł ź ź Ł Ł Ź Ą Ó ź ń ź Ń ź ź ź ź Ź Ą ź Ć Ź Ń ź Ą ź Ł Ł Ł ź Ą Ą Ą ź ź ź ź ź Ś Ą Ź Ą ź ź Ł Ł ź Ł Ś ź ź Ł ź Ś ź Ń Ź ź Ł Ł ź ź Ś Ł ź Ł Ł Ł Ł ź ź Ł Ł Ł Ł ź Ł ź Ł Ł Ł Ł ź Ą ź Ś Ł Ą ź Ś ź ź ń ź ź Ą ź ź Ą
Ż Ń Ś Ł Ó Ś ń Ż ń ć Ż ć ń ź Ż ć ć ć ń ń ć Ż Ż ć
ń Ż Ę Ń ń ń ć Ę ź ń ń ń ć Ż Ś Ż Ż Ń Ś Ł Ó Ś ń Ż ń ć Ż ć ń ź Ż ć ć ć ń ń ć Ż Ż ć Ż ć ń ń ń ć Ż ń ć ń ń Ó Ń ź ń ń Ś Ś Ż ć ć ć ć Ż ć ć ń ć ń Ż ć Ó Ż Ż Ż ć Ą ć Ó Ł Ą Ą Ó Ń ń ń ć ć ć ć ń ń ć Ń Ś ć Ś Ż ć ń Ż
Ą Ś Ó
Ó ź ź Ó Ą ć Ą Ś Ó Ś Ę Ś Ł Ź ć Ś ć Ź Ę Ś Ą Ó Ó ź ć ć Ź Ź Ę ć ź ź Ń Ł Ź Ź ź Ń Ź ć Ś Ę Ą Ś Ź Ń Ń ć Ó Ś Ś ź Ź Ź Ą Ń Ą ź Ń Ł Ń Ń Ń ź Ń ć ć ć ź ć Ś Ń ć ć Ę ć Ę ć Ę Ź Ś Ó Ź Ę Ś Ę Ź Ó Ź Ę Ń ć ź Ź Ó Ę ć Ś Ź Ń ć
Ł Ę Ż Ą Ęć Ń Ń Ł Ę
Ł Ł Ł Ń Ń Ł Ę Ż Ą Ęć Ń Ń Ł Ę Ł ć ć ć ź ć ć ź ć ć ć ć Ś Ś Ł ć ć ć Ę Ą ć ć Ź ć ć Ó ć ć ź Ł Ń ć Ś ć ć ć ć ć ć ć Ń Ę ć ć ć Ś Ś ć Ę ź Ń Ę ć Ń ć ź ć Ń ć ć ć ć ć ć ć Ę ź ć ć ć ć ć ć ć ŚĆ ć ź ć ć Ł ć ź Ą ć ć Ą
Ó ń ń ń ń ń ź Ł ć ć ź ć ź ć ć ź ź ć Ó ń ć ń ć Ą ź ć ć ź ń ń ń Ę Ś Ł ć ń ń ń Ó Ó Ó Ó Ą Ó ź ć Ó ź ń ć ź ź Ę Ś ć Ę Ż Ś ź Ć ć ź ć ć ń ź ć Ł Ł Ó Ś ć ć ź ć Ś ń Ł Ó Ś ć Ś Ś ć Ó Ś ź ń ź ź ń Ę Ę ń Ó ń ń ź ź ń
Ś ź Ś Ś
Ś ź Ś Ś Ę Ż Ę ź Ł Ą ź ź Ę ź Ą Ą Ę Ó Ś Ś Ś Ę Ś ź Ś Ś ź ź ź ź Ę Ą Ż Ą ź ź ź Ę ź Ę Ś ź ź ŚĆ Ś Ś ź ź Ą Ą Ą Ą ź ź ź Ż Ś Ą Ś Ą Ś Ń Ś Ą Ż Ś Ń Ś Ą Ą Ę Ś Ą ź ź ź Ą ź ź ź Ą Ż Ą Ą Ę ź Ę Ź ź ź Ą Ś Ą ź ź Ę ź Ą ź Ć
ś ś Ż ś Ń Ń Ę Ł ć ś Ł
Ń Ń ś Ń ś ś Ż ś Ń Ń Ę Ł ć ś Ł Ń ś ś Ą ś Ł ś Ń Ą ść ś ś ść ć ś ź ść ść Ą Ń ść ś ść Ń ś ś ć Ń ś ć ć ć Ń Ł Ń ć Ń Ł Ę ś Ł Ł ć ś ź ć ś ś ć ść ś Ł ś Ł Ł Ń Ń Ś ść ś ś ś ść ć Ń ść ść ś ś ść ś ś ś ś ć Ń ść Ł ś
ć ę ę ć ę Ś ę Ń ę ź ę ę ę Ś ę ę ę Ó Ł Ł Ę Ą ę
ć ę ę Ł Ą Ś Ś ę Ś ę ę ć ć ę ę ę ę ć Ś ć ę ę ć ę Ś ę Ń ę ź ę ę ę Ś ę ę ę Ó Ł Ł Ę Ą ę Ą ę Ą ę ć ę ć Ą ć ę ć ć ę Ę ę Ś Ą Ł Ó ę ć ę ę ę ę Ą ć ęć ę ć ę ę ę ę ę ę ę ę ę ę ę ę ę ę ę ę ę ę ę ę Ą ę ę ę ę Ń ę Ó
ć ć Ę Ó Ś ż ż Ś ż ż ż Ęć ż ć ć ż ż
Ń ć Ś ż ź ź ź ć ć Ę Ó Ś ż ż Ś ż ż ż Ęć ż ć ć ż ż Ę Ę ć ć ż Ł ż ź ż ż ż ć ż ż Ś ć ż ż ż Ś Ę ż Ó ć Ą ż ż ż ż ż ć ż ć ż ć Ą Ą ć Ę Ś Ś Ł ć ż ż ż Ł Ś Ś Ł ż Ę Ę ż ć Ę Ę ż ż ż Ł Ś ż ć ż ż ż ż Ś ż ż ć Ę ż ż ż
ż ć Ń Ł Ż Ść Ść ć Ż Ść Ż ć ć Ż ź Ś ć ć Ó ć ć Ść
ć Ż ż Ę ż ć Ń Ł Ż Ść Ść ć Ż Ść Ż ć ć Ż ź Ś ć ć Ó ć ć Ść Ż Ść Ż ć Ż Ż Ż ż Ż ć Ł Ś Ż Ś ć Ż ć Ż ż ź Ż Ś ć ć ć ć Ó ć Ż Ść Ż ć ć Ż ż Ł Ż Ę ć ć ć Ż ć ć Ż ż ż ć Ż Ż ć Ł ć Ż Ć Ż Ż Ś Ż Ż Ż ć Ż ć ż ć Ż Ś Ż ć Ł ć
ń ż ń ń Ą ń ż ż ń ż ż ż Ż ń Ą ń
Ł Ą Ę ż ż ż ż Ó ż Ż Ż Ę Ż Ą Ż Ż ż Ś Ż Ś ń ż ń ń Ą ń ż ż ń ż ż ż Ż ń Ą ń Ę Ó Ł Ś ż ż Ę Ę ż Ó ż Ś Ę ń ń ń ż ń ń Ę Ę ń ż Ą ń Ś Ś Ę ń Ż Ę Ę ż ń ń ń ń ż Ę ń ń ń ń Ł Ę ń ń ń ń ż Ę ż ż ż Ź ż Ż ż Ż ż ż Ę ń Ę ż
Ł Ł Ę Ż ź
Ł Ł Ł Ę Ż ź Ż Ę Ź ć Ź ć ć ć ć ć Ż ć ź Ę Ź Ź Ę Ź Ą Ź Ą Ą Ż Ż Ę Ń Ź Ź ć Ę ć Ę Ę Ę Ę Ę Ą Ę ź ć Ą Ą Ę Ź Ł Ę Ż Ż Ą Ź Ą Ź Ź Ę Ń Ź Ś Ż Ą Ź ź ć ć Ą Ą Ł Ś Ź Ę Ę Ź Ę Ę Ą Ł Ę Ą Ę Ż Ą Ł Ł Ę Ę Ę Ę ź ź ć Ź ź Ś ć Ó
Ę ż Ó Ł Ść ą ą ą Ą ć ż ą ż ń ą ć ż ć Ę ą ż ą ą ż ą ź ą ń ą ń ą ą ż ć
ż Ś Ą ć ą ą ą ż ż ą ą ć ą ż Ę ą ć ż ć Ó ą ą ń ą ż ń ą Ń ą ą ą Ą ą ż ż Ą ż ą ź ą ą ż ż Ę ź ą ż ą ą ą ż Ź ą ń Ę ż Ó Ł Ść ą ą ą Ą ć ż ą ż ń ą ć ż ć Ę ą ż ą ą ż ą ź ą ń ą ń ą ą ż ć ć ą ż ą ą ą ą ć ć ć ą ą
ć ć
Ł Ź Ź Ś ć ć ć Ś ź Ę Ł ć ć ź ć Ś Ź Ź ź ź Ź ź ź Ś ć ć ć ć ź ć Ę Ś Ą Ń Ś Ł ź Ś Ś Ź Ś ź Ł Ź Ź ź Ś ć Ń Ś Ł ć Ś Ł Ę Ś ź Ź Ś Ą Ę Ś Ę ć ć Ś Ź Ł Ź Ś Ć Ść ć Ś Ś ź Ź ć Ź ć Ł ź ć Ś Ą ć Ść ć ć Ś Ś Ś Ą Ś Ś ć Ś Ś ć ć
Ść ć Ż ć Ż Ś ć ż ń ż Ż ć Ś Ż ń
ć Ę ć Ę Ę Ż Ść ć Ż ć Ż Ś ć ż ń ż Ż ć Ś Ż ń ń Ż ż Ń ć ń Ó ć Ę Ż ć ć Ś Ż Ż ż Ż Ż Ż ń ż ż Ż Ż ż Ż Ż ć ć Ż ń ń ć ć ć ż Ś Ł ż Ę Ż ć ć ć ń Ż ń Ł ń ż ć ć Ż ż Ó ć ć ń ć Ż Ż ń ń ń ż Ż ć Ż ż Ż Ó ż Ż ć ż ż Ę Ż Ż
Ż Ż Ł
Ż Ż Ł ć Ż Ł Ń Ń Ż Ś ć Ę ć ć ź ć ć Ź Ę ź Ń Ł ć ć Ę ć Ć Ę ć ć ć Ą Ń ć Ą Ą Ś Ę Ć Ę ć ź Ę Ł Ś ć Ą ź Ą Ń ć Ż Ę ć Ó ć ć ć Ę ć ć Ń ć ć ć ć ć Ę ć Ą ć Ę Ż Ć ć Ć ź Ą ź Ś Ę ź Ę Ą ć Ę Ę Ś Ń ź ć ć ć ź Ż ć ŚĆ Ę Ń Ń
ń ż ś
Ł ń ń ś ś ń ń ń ś ż Ń ż ż ć Ą ń ż ż ń ż ś ś Ł ń ń ść Ł ż Ł Ń ź ść ń ż ż ż ś ś ś ż ś ż ż ś ń ń ż ź ż ż ż ń ź ń ś ń ń Ą ć Ę Ł ń Ń ż ść Ń ż Ę ż ż ż ż ż ż ż ść ż ś ń ż ż ż ż ś ś ś ś ż ś ż ś ć ś ż ż ć ś ż ć
ź Ż Ż Ś ć ć Ł ż Ż Ż Ż Ż Ł Ż Ł Ż Ż Ż ż ż ż ż ż ż Ż ć Ż Ś Ś Ń Ść
Ż Ż ć Ę Ę Ę ż ć ż Ś Ż Ż Ś Ż Ó ź Ż Ż Ś ć ć Ł ż Ż Ż Ż Ż Ł Ż Ł Ż Ż Ż ż ż ż ż ż ż Ż ć Ż Ś Ś Ń Ść Ś Ś Ż ż Ż Ż Ł Ż ć ż Ś Ś Ż Ż Ś Ś Ż Ż ż Ż Ż Ść Ż Ż ż Ż Ż Ś Ą ć Ż ż Ł Ą ż Ś ż ż Ę Ż Ż Ś Ż Ę ć ż ż Ę ć ż ż Ż Ś Ż
ć Ś
Ą Ą Ń Ą ć Ś Ą ć Ś Ś Ś Ś Ś Ś Ś Ś Ś Ś ź Ś ć Ś Ś ć Ś Ś ź Ż ć ź Ż ć Ą Ś ź ź ć Ę ć Ś ć Ś Ś Ś ź Ś Ś Ś Ś Ś Ś Ś Ś Ą ć ć ć ć Ę ć ć Ś Ś Ś ć ć ć Ś Ś Ś Ś ć Ą ć ź ć ć Ę Ą Ś Ę ć ć ź Ę ć ć Ś Ę ź ć ć Ą Ę Ę Ą Ś Ś ź ć ć
ń ń ń ż ć Ł ż ż ń ż Ą ń Ż ż
Ł ż ż Ż ć Ź ź ż ń ń Ż ń ń ń ż ć Ł ż ż ń ż Ą ń Ż ż ń ń ż ć ć ń Ó ż Ł Ł ż ż Ł ć Ó ć ć ż ż ć ć ć ż ć ć Ó ż Ź Ż ć ź ż Ó ć ć ń Ł ń ń ń ć Ś ż Ź Ź Ł ż ż ć ź Ź ć ć Ż Ó ń ć ć ń Ż ż ż Ą Ż ż Ź Ż ć ż Ó Ź ź Ą Ż Ł ż
ć ć Ść ć Ść ć ć ć ć
Ź Ść ć ć ć ć Ść ć ć ć ć Ść ć ć Ść ć Ść ć ć ć ć Ź Ź ć ć Ść ć ć ć ć ć ć ć ć ć ć ć ć Ść ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć Ś ć ć ć Ł ć ć Ł Ść ć ć ć ć ć Ź ć Ść ć ć Ść ć ć Ś ć Ł ć ć ć ć
Ń Ń Ń
ź Ń ń ń ń ź ń Ń ń Ń Ń Ń ć ć ń ź ć ń ć ć ć ń Ń źń ń ń ć ń ć ć Ł Ą Ń ź ń ń ń ć ć ń ć Ą ć ć Ń ć ć Ń ć ć Ę ć ć ć ć ć ć ź ć ć ć Ń ć ć ć ć ć ń Ń Ń ć ć ć Ń Ń Ń ń Ń ź ź Ń Ń Ń Ę ń ć ń ń Ę Ń ć ć ń ń ź Ń ź ć ć Ę
Ę Ę Ó ć ź Ż Ż Ą Ł Ę ć Ę Ą ź ć ź ć Ę
Ę Ń Ł ź ź Ż Ą Ł ć Ę Ę Ó ć ź Ż Ż Ą Ł Ę ć Ę Ą ź ć ź ć Ę ć Ż ć Ą ź Ę Ż Ę Ż Ą Ń ć ź Ł ć Ń ć ź ć ć Ń ć Ż Ę Ę ć ć ć Ą Ę Ę ź ć ć Ż Ż Ę ĘĘ Ż ć Ą Ę ć ć ć Ę ć ź ć Ś ź Ę ć Ź ć Ę ć Ę ź ć Ż Ż Ż ć Ś Ę ć Ż Ż ź Ł Ę ć
ć Ę ć Ę ć Ę ż ź ż Ą ć Ą ż Ę Ę ć ż ź ż Ę ż ż Ą ż
Ń Ę Ę ć Ę ć Ę ć Ę ż ź ż Ą ć Ą ż Ę Ę ć ż ź ż Ę ż ż Ą ż Ę ż Ę ż ć ż Ę ż Ł ż ć ź Ę Ą ź ż Ź Ę ż Ę ź Ę ż ż ż ć ż ż ź ć Ę ż ż ż ż ź ć ż ż ć ź ż ć ź Ę ż Ę ć ź Ę ź ć Ę ź Ę Ą Ę ź ż ć ź ź ź Ę ż ć ć Ę Ę ż Ł ż ż ż
ć Ż ż ć ż ć Ż ć ć ć ć Ż źń ż ć ć Ż ż Ż Ę ć ź Ż
Ż Ż ć ż ć ż Ż ć ż ć Ż ż ć ż ć Ż ć ć ć ć Ż źń ż ć ć Ż ż Ż Ę ć ź Ż Ż ż ń Ź ÓŻ ń ż ź Ą ń ż ć Ź ć ż ż ż ż ń ż ż ż ż ż Ż ż ń Ó ż ń ć ć ż Ć Ż ć ź Ż Ż ć Ż ż Ż Ę ż Ó Ć ć Ł Ę Ą Ł ĘŚ ż Ż Ż ć ć ć Ć Ą Ć ć ć ć ć ż
Ł Ę Ę ż ń ć ż ń ż ć Ą ć ń ż Ę ń ć ż ń ż ć ć ż ńć ż ć ć ć ń Ę Ł ż ż ń ż ż ć ż
Ł ż ć żń Ę ń żń Ę żń ż Ń Ą Ę ć ń ż Ł ń ć ź Ę ć ć ć ż ć ć ć Ę ń Ź ń Ę Ę Ę ń ń ż ż źń Ź ć Ł Ę Ę ż ń ć ż ń ż ć Ą ć ń ż Ę ń ć ż ń ż ć ć ż ńć ż ć ć ć ń Ę Ł ż ż ń ż ż ć ż Ł ń ć żń żń ń ń ń ż Ł ć Ą ć ń ż ń ć
ń ń ń
Ą ź ć ń ń Ą ń ń ń Ą Ó ń Ą ć Ą Ń Ą ć ć ć ń ń Ą ć Ą ć ć ń ń ń ń ź ć ź Ą ć ć ć Ę ń Ó ń ń Ę Ą ć ń ń Ń ń ń Ń ć ć ń ź Ę ń ź ń ź ć ć ź ć ń ń ć ć ć ń ć ć ć ć ć Ę ć ć ź ć ź ń ć ć ń Ą ń ć ź ć Ą ź ć ń ć ź Ó Ś ć ń
Ł Ą Ź Ą Ń Ą Ą ź Ń Ł Ł
Ł Ń Ł Ą Ź Ą Ń Ą Ą ź Ń Ł Ł Ł ź ź ź Ó Ż ź ź Ń Ł Ł Ł ź Ż Ł ź Ą ź ź Ł ź Ą Ć Ł Ń Ż ź Ł Ż Ć ź Ł Ą Ź Ł Ą Ł Ń Ż Ą Ą ź ź Ą Ó ĄÓ ź ź Ą ź Ł ź Ł ź Ł źń Ć ź Ś Ó Ć Ż Ą Ś Ą Ń ź ź ź Ł Ś ź Ą Ó ź Ą Ó ź Ż Ł ź ź Ł Ń Ł
Ą Ł Ę Ń Ą Ó ŚĆ Ś ć Ó ń ć ŚĆ ć ć
ń Ą Ą Ł Ę Ń Ą Ó ŚĆ Ś ć Ó ń ć ŚĆ ć ć Ś Ó ć ć ć ć Ż Ę Ż Ś Ć ń ć ń ć ć ć Ż Ż Ć ć Ż ć ć ć ć ć Ż Ż Ś Ć ń Ć Ó ć Ś Ś Ź ć ć ń ć ć Ż ć ć Ć Ż ń ć ć Ś Ć ć ŚĆ ć ć Ś ć Ż ć ć Ż ŚĆ Ś ń Ś Ż Ś ń Ż ń Ś ŹĆ Ś Ś Ś ń Ś ć Ó
teoria informacji Entropia, informacja, kodowanie Mariusz Różycki 24 sierpnia 2015
teoria informacji Entropia, informacja, kodowanie Mariusz Różycki 24 sierpnia 2015 1 zakres materiału zakres materiału 1. Czym jest teoria informacji? 2. Wprowadzenie matematyczne. 3. Entropia i informacja.
Ż Ę ź Ó
ź ź Ę Ą Ż Ę ź Ó Ź Ó ź Ę ź Ę Ę Ą Ź Ą Ń Ź Ź Ź Ź ź Ą ź Ę Ą Ć ź ź ź Ę ź Ź ź ź Ę Ł ź Ź Ź Ź ź ź Ź Ź ź ź Ą Ł Ó Ó Ą Ą Ś Ę Ę Ą Ą Ś Ś Ł Ę Ę ź ź Ó Ą Ą Ą Ł Ą Ę Ź Ę ź ź Ę Ą Ź Ź ź Ł Ą Ł Ą ź Ą ź Ł Ą Ó ĘŚ Ą Ę Ę ź Ź Ę
Ą Ź ć Ń Ą ć Ź Ź
Ó Ó Ż Ę ć Ą Ź ć Ń Ą ć Ź Ź Ń Ą Ą Ź Ź Ń ć Ś Ł ć ć ć ź ć ć ć ć ć ć ć Ź ź ć ć Ł ć Ź ć ć ź ć ć Ą ć ć ć ć ź ć Ą Ż Ż ć ć ć ć ć ć ć ć Ź Ź ć ć Ń ć ć ć ć Ą ć ć ć ć ć ć Ź ć ć ć Ć Ń Ż Ź ć ć Ń ć ć ć ć Ą Ń ć ć ć Ą ć
Ż Ź Ź ź Ż Ż Ź Ą Ą Ż ź Ś Ż Ż Ś Ź Ś Ą
Ś Ą Ó Ś Ś Ą Ś Ó Ż ć Ś Ż Ę ć Ż ź Ż Ź Ź ź Ż Ż Ź Ą Ą Ż ź Ś Ż Ż Ś Ź Ś Ą Ą Ż Ź Ś Ą Ń Ś Ą Ż ć Ż Ż Ż ć Ż Ż Ś Ź Ź Ż Ą Ń ź ź Ł Ę ć ć ć Ń ź ć Ż ź Ż źó ć Ż Ż Ó Ń Ż Ó Ź Ó Ż Ź Ż Ż Ż Ż Ę Ż Ż ć ć Ż ć Ó Ż Ż Ż Ą Ź Ż Ż
Ł Ą Ó Ł ć Ą ć ć
Ą Ł Ż Ż Ą Ń Ą Ś ź Ść ć Ł Ą Ó Ł ć Ą ć ć Ó ć Ż ż ż ż ć ć ż ć ż Ść Ż ć Ó ź Ł ć Ą ż ż ć ć Ś Ą ż ć Ę Ś Ś Ł ć ć ż ć ź Ż Ę Ó Ś ć ć Ś ż ż ć ć Ż Ó Ń ć Ó Ż Ść Ś ć ć Ż ć Ę ć Ł Ź ŁĄ ż Ó ć ć Ę Ż Ę Ł Ś Ł Ł Ż Ż Ż Ż ć
Ę Ł ź ź ć ź ć Ń ć ź ź Ł
Ł Ą Ą Ą ź Ł Ę Ń ź ć ć ź ź Ę Ę Ł ź ź ć ź ć Ń ć ź ź Ł ź ć Ń ź Ą Ó Ę Ę ź ć ź ć Ę ć Ż ć Ę Ę ć Ą ć Ą Ł ć Ą ć ć Ń Ń Ń ź ć Ń Ł Ń Ń ź ć ć ć Ę ć Ń ć Ł ć Ń ć ź ź Ę ć Ś ź ć Ą Ę ć Ą ć Ź Ń ź ć ź Ż ć Ł ć Ń ć ź Ą ź Ł
Ó Ż ż Ć ż ż ż Ó Ę Ę Ó Ó ż Ó Ł ż Ł
ż Ó Ż Ż ż ź ż ż Ź Ż ż Ę Ą Ó Ż ż Ć ż ż ż Ó Ę Ę Ó Ó ż Ó Ł ż Ł Ń Ę ż ż Ź ż Ę Ż Ż ż ż ż ż ż ż ż ż ż ż ż Ź ż ż ż Ź Ó Ś Ó ż Ś Ą Ą ż ż Ł Ą Ń Ą Ą Ł ż Ź ż ż ż ż ż ż ŁĄ Ł Ś ż Ż ż Ś ż ż ż Ż ż Ż Ż ż Ż Ż Ż ż ż Ń ź
Ł Ś ś
ż ź Ą ą ą ą ą Ł ś ż ś ś ą ż Ż ś ż ż ż ą ż Ł ą ą ą ń ą ś ś ą ą ą ż ś ą ą ż ą ą ą ą ż ń ą ść Ł Ś ś ś ś ą ś ś ą ń ż ą ś ź Ż ą ą ż ś ż ś ść Ź ż ż ś ą ń ą ś ż Ź Ź ż ż ż ą Ó Ż Ź ą Ś ż ść ż ą ź ż ą ą Ź ą Ś Ż
Ł Ń ś ń ć Ź ś ń
Ł Ł Ł Ń ś ń ć Ź ś ń ŁĄ Ę Ą Ą Ź ć ś ś Ź ć ć ć ć Ą ń ść ść ń Ź ń ś ś ń ń ń ń ń ś ń ś ść ś Ą ź Ź ś ś ń ć ń ń Ą ń ś ś ś ś Ź ś Ź ś ś Ź ś Ł Ś Ó Ą Ź Ą Ą Ó Ó ń ś ć ć ś ń ń Ść ń Ź ść ść ść ś ś ń ść ś ść ć ś Ń ć
ń
Ą ń Ą ż ń Ł ć ń ć ż ć ż Ą ć ń ź ż Ę ż ż ć ń ć ż ć ż ć ż ń ż ć ż ń ń ń ż ń ń ż Ł ń ż ń ć ń ż Ń ć ż ń ń ń ń ń ż ż Ą ć ż ć ż ć ż ć Ń ć ć ń ć ć ń ć ć ż ń ń Ń ń ż ć ź ń ż ż ŁĄ ż ń ż ż ż Ą ż ć ń ż ć ż Ń ż Ń
ć Ą ź ć ć Ż ź ź Ą ź ć ź ć ź
Ż ź ź ź Ę Ą Ł ć Ą ź ć ć Ż ź ź Ą ź ć ź ć ź Ś Ź Ń Ź Ę Ę ź Ł ź Ż Ę ź Ż Ż Ż Ź Ź Ń ź Ź ź ć Ż Ę ć ć Ą ź ź Ź Ż Ś ź Ę Ę Ż Ż Ś Ę Ę ć Ż Ż Ń Ł Ń Ż Ż ź Ą Ą ź ź ź ć Ą ć ź Ż ć Ż Ę Ń Ę Ż Ż Ż Ó Ż Ż Ż Ż Ą Ł Ż Ł Ł Ł Ż Ż
Ę Ę Ę Ś Ł Ł Ł Ś
Ł Ł Ś Ś Ś Ę ĘĄ Ę Ę Ę Ś Ł Ł Ł Ś Ł Ł Ł Ś Ś Ł Ś Ę ź Ź Ż Ę Ś ć Ł Ę Ł Ś Ł Ł ź Ś Ś Ń Ł Ś Ą Ś Ł Ł Ż ć ć Ż Ś Ś Ł Ś Ś Ż Ż Ż Ż Ł Ż Ś ć ć Ż Ż Ż Ż ć Ś Ż ć Ż Ż Ł Ą Ł Ń ź Ń Ń Ę Ń Ą Ń Ż Ż Ó Ż Ż ź ź Ź Ż Ż Ż Ś Ś Ż Ż ź
Ó Ą Ł Ń ń ć ń ń ć Ń Ń ń Ń ń Ń ć ć ć Ń ź ź
Ł Ą ń ń Ń ź Ą Ń Ń ź ń ń ń ń ź Ń ń Ń Ó Ą Ł Ń ń ć ń ń ć Ń Ń ń Ń ń Ń ć ć ć Ń ź ź ń ć ń Ń Ń ń ź ć ń Ń Ę ń Ń Ż Ń ń Ń ń Ń Ą Ń ć Ń Ń ź Ę ź ź ć ź ć ń ń ń ń ć ć ć Ń Ą ć Ą Ż Ó ć ń ć ń ć ć ź ź ć ć Ń Ń ć ń ń Ę ń ń
ż ś ż ś Ę ś ż ś ś ś Ł ś ż Ł ż ś ś ś ż
Ą Ń Ę ś Ę Ą ś ś ż ż ś ś ś ś ż ś ż ś Ę ś ż ś ś ś Ł ś ż Ł ż ś ś ś ż ś ś ś ś ś Ś ś ś ś ś ś ż ś ś ż ś ś ż Ś ś Ź ś ś ś ść ś ś ż ż ś ś ś ś ś ś ś ż ż ś ż ś Ę ś ś ż ś ś ż ś ś ś ś ś ś ż ś ż ś ć ś ż ś ż ś ś ść ż
ść ś ń ś ś ź ś ć Ą ś Ą ś ń ś ń ń ń ń Ń ć ź ń ś ń ń Ń ć ń ś ś
Ł Ś ś Ą ś ć Ń ść ź ń ś ś ń Ę ńź ź ś ść ś ń ś ś ź ś ć Ą ś Ą ś ń ś ń ń ń ń Ń ć ź ń ś ń ń Ń ć ń ś ś ś ń ś Ń ź ź ś ć ź Ę ś ść ś ść ś Ń ń ń ś ść ć ś ń Ę ś Ń ś ść ś ś ś ś ś ś ń ś ć ś ś Ń ń ś ń Ą ń ś ń Ń Ę ś
Ó Ń Ś Ą Ś Ń Ś Ś
ź Ó Ń Ś Ą Ś Ń Ś Ś Ś Ą Ś Ń Ś Ę Ń Ą Ą Ś ź Ś ć Ó Ą Ś Ć ć Ś ć Ń ć Ń Ó Ą Ś ć Ó ć ć ć Ń Ę Ń ź ź ć ć Ę ć ć Ń Ń Ę Ą ź Ą Ń Ń Ą Ą Ą Ń ź ć Ń ź Ę ź ć Ą ć Ń ć Ś Ś Ń ć Ń ź ć Ś ź ź Ń Ń Ń ź Ę Ę ź Ę Ś ź Ń ź ć Ń Ń Ń
ć ć ć ć ć ć ć ć ć ć ź
Ó ć Ś ź ź ć ć ć ć ź ć ź ć ź ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć ź Ó ć ć ć ć ź ź ć Ę ć ć ć ź ć ć ź ć Ę ć ć ź ć ź ć Ó ć ć Ą ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć ć Ż ć ć ć Ń ć Ą ź ź ć ć ź ć ć Ę ć ć ć ć ć ć ć ć ź
Ą Ś Ń Ś Ą Ś Ń
ź Ż Ą Ę Ą Ś Ń Ś Ą Ś Ń Ą Ś Ś Ś Ś Ą Ś Ś ź Ś Ś ŚĆ Ń Ń Ń Ś Ń Ń Ń ć Ń Ń Ó Ą Ś Ą Ń Ń Ń ź ć Ń Ń Ń ć Ń Ę Ę Ś ć Ę Ń Ń ź Ą ć Ń Ą Ś Ń Ę Ń Ę Ę Ż Ś Ń Ń Ń ć Ę Ę Ę ć Ę Ą ć Ń Ą ć Ś Ń Ń Ń ć Ń Ę Ń Ń Ę ź Ń Ą Ę Ę Ę Ę Ę Ę