Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.

Transkrypt

1 Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. 13 marca 2012

2 Plan wykładu 1 Uwagi historyczne o teorii informacji Shannona Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley 2 3 Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona 4

3 Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Najogólniejsza charakterystyka interesującego nas problemu: podać kryterium oceny różnych systemów komunikacyjnych pod względem ich zdolności do przesyłania informacji. Uwaga: nie będzie nas dziś interesowała treść komunikatu. Informacja będzie traktowana jak własność fizyczna. Claude E. Shannon - którego teorią zajmować się będziemy na wykładzie - w pracy A Mathematical Theory of Communication (w: The Bell System Technical Journal, Vol. 27, pp , , July, October, 1948.) powołuje się na dokonania Nyquista i Hartleya, jako podstawowe dla jego teorii.

4 Harry Nyquist - Idealny przekaźnik Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Nyquist uważa, że dwa czynniki mają podstawowe znaczenie dla efektywnej transmisji sygnału w fizycznie idealnym przekaźniku (tzn. takim, który nie zawiera żadnych fizycznych ograniczeń prędkości): kształt sygnału oraz reprezentujący przekazywaną wiadomość kod (kod idealny to będzie taki, który przy optymalnym kształcie sygnału i braku fizycznych ograniczeń przekaźnika określa prędkość transmisji).

5 Prędkość transmisji Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Według Nyquista prędkość transmisji przy idealnym kodzie i optymalnym kształcie sygnału jest proporcjonalna do logarytmu ilości znaków, które mogą być użyte do zakodowania wiadomości. Nyquist wprowadza do teorii informacji funkcję logarytmiczną.

6 Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Ralph Hartley - Model przekazu informacji System komunikacyjny składa się z trzech elementów: Zbioru fizycznych symboli, Nadawcy wybierającego jeden z elementów tego zbioru, Odbiorcy, który identyfikuje symbol i kieruje swoją uwagę na intencję nadawcy. Efektywność systemu polega na tym, że odbiorca ma szansę na odkrycie, jakiego wyboru dokonał nadawca (a jednocześnie, jakie elementy wyeliminował).

7 Informacja a różnica Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley I zasada: dwa identyczne fizyczne ciągi symboli nie dają żadnych podstaw do zróżnicowania znaczenia. Ciąg symboli A jest identyczny z ciągiem symboli B: a zatem A i B pełniące tą samą funkcję nie mogą efektywnie służyć wskazaniu dwóch różnych rzeczy (nie mogą być nośnikami informacji o dwóch różnych rzeczach).

8 Informacja a różnica - przykład Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Jeśli w katalogu bibliotecznym mielibyśmy do czynienia z kilkoma pozycjami książkowymi oznaczonymi tą samą sygnaturą, to wskazanie wyłacznie sygnatury nie wskazywałoby jednoznacznie pozycji książki.

9 Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Informacja a różnica - kolejny przykład Osoba A w odpowiedzi na pytanie Q odpowiada zawsze: już niedługo. Pewnego dnia odpowiada: jutro.

10 Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Informacja a różnica - kolejny przykład Osoba A w odpowiedzi na pytanie Q odpowiada zawsze: już niedługo. Pewnego dnia odpowiada: jutro. W obu przypadkach mamy naturalnie do czynienia z zamkniętą ilością możliwych ciągów symboli do wyboru.

11 Informacja a różnica - wnioski Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Wnioski Ralpha Hartleya (1928): różnice między fizycznymi ciągami symboli są podstawowym czynnikiem wpływającym na wartość informacyjną ciągu, bierzemy zatem zbiór ciągów symboli a nie pojedyncze symbole, żeby ustalić wartość informacyjną symbolu oraz traktujemy informację jako wskazanie przez fizyczny ciąg symboli na coś innego niż on sam.

12 Informacja a różnica - wnioski Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Wnioski Ralpha Hartleya (1928): w pracach Hartleya pojawia się zatem idea powiązania wartości informacyjnej ze stopniem prawdopodobieństwa wystąpienia jakiegoś stanu rzeczy (fizycznego ciągu symboli)

13 Informacja a różnica - wnioski Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Wnioski Ralpha Hartleya (1928): w pracach Hartleya pojawia się zatem idea powiązania wartości informacyjnej ze stopniem prawdopodobieństwa wystąpienia jakiegoś stanu rzeczy (fizycznego ciągu symboli) oraz - co równie ważne - wartość informacyjna jest w jego teorii odwrotnie proporcjonalna do stopnia prawdopodobieństwa.

14 Charakterystyka teorii Shannona Rysunek: Claude E. Shannon - twórca podstaw współczesnej teorii komunikacji i informacji; wprowadził do nauki pojęcie informacji; jego najważniejsza praca ( A Mathematical Theory of Communication. ) powstała w czasie pracy w Bell Laboratories, gdzie zapoznał się z pracami Nyquista i Hartleya. Artykuł ten został wydany w 1948 roku. Shannon jest również znany jako wynalazca, jest m.in. twórcą The Ultimate Machine : Filmowy krótki przegląd innych dokonań Shannona:

15 Charakterystyka teorii Shannona Deklarowanym celem Shannona było: (...) rozważyć pewne ogólne problemy związane z systemami komunikacyjnymi. Fundamentalnym problemem komunikacji jest problem reprodukcji w jednym miejscu albo dokładnie albo przynajmniej w zbliżony sposób wiadomości wybranej w innym miejscu. (...) Istotnym aspektem jest to, że pewna wiadomość jest jedną wybraną ze zbioru możliwych wiadomości. System musi być zaprojektowany tak, żeby działać dla każdego możliwego wyboru, nie tylko dla tego, który faktycznie został dokonany, choćby dlatego, że ten wybór nie jest znany w momencie projektowania systemu.

16 Semantyka? Komunikat ma zawsze pewną treść - dla Shannona problem treści - znaczenia komunikatu - jest jednak irrelewantny. Dlaczego?

17 Semantyka? Komunikat ma zawsze pewną treść - dla Shannona problem treści - znaczenia komunikatu - jest jednak irrelewantny. Dlaczego? wg Shannona dla inżynieryjnych problemów związanych z projektowaniem efektywnych systemów transmisji informacji ten problem wydaje się nieistotny;

18 Semantyka? Komunikat ma zawsze pewną treść - dla Shannona problem treści - znaczenia komunikatu - jest jednak irrelewantny. Dlaczego? wg Shannona dla inżynieryjnych problemów związanych z projektowaniem efektywnych systemów transmisji informacji ten problem wydaje się nieistotny; w czasach Shannona badania semantyczne uznawane były za nienaukowe również przez całą rzeszę amerykańskich lingwistów (np. Bloomfelda i dystrybucjonistów amerykańskich).

19 Model Shannona Rysunek: Model Shannona

20 Model Shannona W Modelu Shannona mamy następujące elementy: nadawca/źródło informacji, przekaźnik, sygnał nadany, kanał transmisji (tutaj może wystąpić szum), sygnał odebrany, odbiornik, odbiorca.

21 Model Shannona W modelu Shannona przyjmujemy następujące założenia: w źródle informacji i u odbiorcy przyjmujemy wiedzę aprioryczną - znajomość zbioru zdarzeń, z których mogą być wybrane konkretne wydarzenia (np. ciągi symboli);

22 Model Shannona W modelu Shannona przyjmujemy następujące założenia: w źródle informacji i u odbiorcy przyjmujemy wiedzę aprioryczną - znajomość zbioru zdarzeń, z których mogą być wybrane konkretne wydarzenia (np. ciągi symboli); informowany i informujący znają rozkład prawdopodobieństwa w tym zbiorze;

23 Model Shannona W modelu Shannona przyjmujemy następujące założenia: w źródle informacji i u odbiorcy przyjmujemy wiedzę aprioryczną - znajomość zbioru zdarzeń, z których mogą być wybrane konkretne wydarzenia (np. ciągi symboli); informowany i informujący znają rozkład prawdopodobieństwa w tym zbiorze; informowany nie wie przed otrzymaniem sygnału, jaki element zbiory został/zostanie wybrany przez źródło informacji. Otrzymany sygnał redukuje zatem jego niepewność odnośnie tego, jaki element zbioru będzie wybrany.

24 Realizacja modelu - przykład 1 Osoba A mówi do osoby B: zrób coś z tym koszmarnym hałasem.

25 Realizacja modelu - przykład 1 Osoba A mówi do osoby B: zrób coś z tym koszmarnym hałasem. Interpretacja w modelu: osoba A (a raczej jej umysł, kora mózgowa itp.) - źródło informacji organy mowy A wytwarzają falę dźwiękową - przekaźnik fala dźwiękowa - sygnał powietrze - kanał transmisji (niestety hałas, o którego likwidację prosi A, zniekształca w tym miejscu sygnał - pojawia się szum) organy słuchu B - odbiornik osoba B (umysł, kora mózgowa itp.) - odbiorca informacji. Dokładna treść informacji w tym modelu jest nieistotna. Treść komunikatu i reakcja B nie ma znaczenia. Znaczenie ma to, czy szumy zniekształciły sygnał w sposób uniemożliwiający poprawnie zdekodowanie wiadomości, czy też nie.

26 Realizacja modelu - przykład 2 Lampka nad wejściem do gabinetu jest włączona:

27 Realizacja modelu - przykład 2 Lampka nad wejściem do gabinetu jest włączona: Proszę podać interpretację w modelu Shannona; proszę znaleźć inny przykład, który da się zinterpretować w tym modelu.

28 Realizacja modelu - przykład 2 Lampka nad wejściem do gabinetu jest włączona: Proszę podać interpretację w modelu Shannona; proszę znaleźć inny przykład, który da się zinterpretować w tym modelu. Teoria Shannona jest b. abstrakcyjna i ogólna. Obejmuje zarówno alfabet, zbiory biblioteczne, kule w jakiejś puli itp.

29 Szum Uwagi historyczne o teorii informacji Shannona Uwaga: proszę nie mylić szumu w teorii Shannona z niejasnym pojęciem szumu informacyjnego. Szum jest zawsze zjawiskiem niepożądanym. Oznacza zakłócenia w transmisji sygnału pochodzące ze źródeł zewnętrznych. Szum powoduje np. zakłócenia polegające na zagłuszeniu części sygnału. 1 Przykład szumu: muzyka zakłócająca komunikat ustny.

30 Redundancja (Ekwiwokacja) Redundancja jest nadmiarem informacji względem pożądanej ilości (np. do przesłania komunikatu potrzebnych jest n-ilość bitów, natomiast wysyłany sygnał zawiera n+5-ilość). Ten nadmiar może być zarówno pożądany jak i niepożądany. Przykłady: 1 Redundancja pożądana: suma kontrolna md5sum w plikach (pozwala skontrolować poprawność np. pobranego obrazu.iso w dużym rozmiarze); metainformacje w dokumentach elektronicznych itp.

31 Redundancja (Ekwiwokacja) Redundancja jest nadmiarem informacji względem pożądanej ilości (np. do przesłania komunikatu potrzebnych jest n-ilość bitów, natomiast wysyłany sygnał zawiera n+5-ilość). Ten nadmiar może być zarówno pożądany jak i niepożądany. Przykłady: 1 Redundancja pożądana: suma kontrolna md5sum w plikach (pozwala skontrolować poprawność np. pobranego obrazu.iso w dużym rozmiarze); metainformacje w dokumentach elektronicznych itp. 2 Redundancja niepożądana: zbędne elementy w kodzie strony internetowej wynikające np. z użycia aplikacji typu WYSIWYG (brak widocznego efektu, poza spowolnieniem działania przeglądarki) itp.

32 Przydatne pojęcia matematyczne Jakie pojęcia matematyczne będą nam potrzebne? prawdopodobieństwo: P (X) - prawdopodobieństwo zdarzenia X. Jest określone w stosunku do całego zbioru możliwości. Jeśli zbiór A jest 2-elementowy, to - przy równym rozkładzie prawdopodobieństwa - x, y, należące do A, mają prawdopodobieństwo równe 1 2. P(X Y ) - prawdopodobieństwo warunkowe zdarzenia X ze względu na Y (prawdopodobieństwo, że wystąpi zjawisko X pod warunkiem wystąpienia Y). Y ogranicza zbiór możliwości: P(X Y ) = P(X Y ) P(Y )

33 Przydatne pojęcia matematyczne Jakie pojęcia matematyczne będą nam potrzebne? logarytm: log n - funkcja oznaczająca potęgę, do której trzeba podnieść liczbę n, żeby otrzymać określony wynik (np. log n 8 = 3, ponieważ 2 podniesione do trzeciej potęgi daje 8.)

34 Przydatne pojęcia matematyczne Jakie pojęcia matematyczne będą nam potrzebne? sumowanie: - operacja uogólnionego dodawania składników pewnego szeregu. Jeśli nad tym symbolem pojawia się określona wartość n, oznacza ona, że sumujemy elementy skończonego szeregu. Indeks dolny, oznacza pierwszy element szeregu ( n ). i=1

35 Ogólne wyrażenie entropii - miara informacji Entropia: H = n i=1 ( ) 1 p i log 2 p i Objaśnienie symboli: H - ilość informacji mierzona w bitach, n - operacja sumowania n-elementów skończonego zbioru i=1 n-elementowego. p i - prawdopodobieństwo i-elementu.

36 Ogólne wyrażenie entropii - przykład Weźmy zbiór 4-elementowy. Rozkład prawdopodobieństw wygląda tak: A = (A 1 = 1 2, A 2 = 1 4, A 3 = 1 8, A 4 = 1 8 )

37 Ogólne wyrażenie entropii - przykład Weźmy zbiór 4-elementowy. Rozkład prawdopodobieństw wygląda tak: A = (A 1 = 1 2, A 2 = 1 4, A 3 = 1 8, A 4 = 1 8 ) Wartość entropii: H = 4 ( ) ( ) ( ) ( 1 1 p i log 2 p i = p A 1log 2 p A = 1 2 log log 2 i=1 2 ( ) ( ) 1 8 log log = 1 2 log log log log 28 = = = 1, ) +

38 Ogólne wyrażenie entropii - komentarz Komentarz: Entropia nie jest wyrazem zawartości informacyjnej pojedynczego elementu zbioru ani całości zbioru. Entropia wyraża przeciętną informatywność elementów zbioru określoną a priori przez rozkład prawdopodobieństwa w zbiorze możliwości. Entropia może być zinterpretowana jako wartość określająca przeciętną niepewność w danym zbiorze możliwych sygnałów (aczkolwiek bez skojarzeń psychologicznych). W definicji entropii pojawia się funkcja logarytmiczna o podstawie 2, ze względu na warunki techniczne: interesuje nas kod binarny.

39 Entropia dla zbioru zdarzeń odmiennie prawdopodobnych Pytanie kontrolne - oblicz wartość entropii dla: A = (A 1 = 1 16, A 2 = 3 4, A 3 = 1 8, A 4 = 3 16 )

40 Entropia dla zbioru zdarzeń odmiennie prawdopodobnych Pytanie kontrolne - oblicz wartość entropii dla: A = (A 1 = 1 16, A 2 = 3 4, A 3 = 1 8, A 4 = 3 16 ) Dla osób, które nie zapamiętały wzoru: H = n i=1 ( ) 1 p i log 2 p i

41 Entropia dla zbioru zdarzeń równoprawdopodobnych Pytanie kontrolne: oblicz wartość entropii dla:

42 Entropia dla zbioru zdarzeń równoprawdopodobnych Pytanie kontrolne: oblicz wartość entropii dla: A = (A 1 = 1 4, A 2 = 1 4, A 3 = 1 4, A 4 = 1 4 )

43 Entropia dla zbioru zdarzeń równoprawdopodobnych Pytanie kontrolne: oblicz wartość entropii dla: A = (A 1 = 1 4, A 2 = 1 4, A 3 = 1 4, A 4 = 1 4 ) Dla osób, które nie zapamiętały wzoru: H = n i=1 ( ) 1 p i log 2 p i

44 Entropia dla zbioru zdarzeń równoprawdopodobnych Pytanie kontrolne - wynik: 2.

45 Entropia dla zbioru zdarzeń równoprawdopodobnych Pytanie kontrolne - wynik: 2. WNIOSEK: entropia będzie osiągała wartość maksymalną dla zbioru zdarzeń równoprawdopodobnych. Jest to własność bardzo intuicyjna: równy rozkład prawdopodobieństw wiąże się z najwyższym stopniem niepewności odnośnie tego, jaki element zbioru zostanie wybrany.

46 Entropia dla zbioru zdarzeń równoprawdopodobnych Obliczenie wartości entropii dla takiego zbioru może być oparte na (bardzo) uproszczonej formule: ilość informacji dla każdego symbolu będzie równa log 2 (N), gdzie N = ilość symboli w zbiorze. Dla 4 równowartościowych symboli: log 2 (4) = 2 H = 4 ( ) ( 1 p i log 2 p i = p A 1log 2 i=1 ( ) ( ) ( log log 2 4 log p A ) +... = ) ( log ) = 1 4 log log log log 24 = = = 2

47 Pozostałe własności entropii Własności entropii: maksymalną wartość uzyskuje dla zbioru wydarzeń równoprawdopodobnych; minimalną wartość uzyskuje dla zbioru, w którym jeden element ma prawdopodobieństwo równe 1 (system nie jest obarczony wtedy żadną niepewnością, a otrzymana wiadomość nie jest dla informowanego żadnym zaskoczeniem - nie niesie niczego nowego...).

48 Sens pojęcia entropii Znany wzór na entropię jest wyrazem średniej informatywności dowolnego symbolu ze skończonego zbioru oraz przeciętnej ilości deficytu danych, które informowany posiada przed otrzymaniem komunikatu. Informowany przed otrzymaniem komunikatu nie wie, jaki symbol otrzyma (jeśli wie, to H = 0). Ma pewne oczekiwania, ponieważ wie, z jakiego zbioru będzie dokonywany wybór i zna rozkład prawdopodobieństw w tym zbiorze.

49 teorii informacji Shannona Teoria informacji Shannona - podsumowanie: Podstawowe pojęcia - elementy modelu, entropia, szum i redundancja. Informacja jest traktowana jako własność fizyczna. Abstrahujemy od wszelkiego rodzaju aspektów psychologicznych i semantycznych. Ograniczamy się jedynie do zbiorów skończonych (tzn. takich, którego elementy możemy policzyć - takie zbiory nazywa się zbiorami dyskretnymi).

50 Sens pojęcia entropii w fizyce Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Przejście od układu uporządkowanego do nieuporządkowanego jest procesem nieodwracalnym. Rośnie ilość nieuporządkowanych ruchów molekuł a wraz z tym wzrostem spada ilość energii.

51 Drugie prawo termodynamiki Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Zgodnie z drugim prawem termodynamiki wzrost entropii (czyli od porządku do nieuporządkowania) całego uniwersum jest równoznaczny ze spadkiem dostępnej energii. Nie jest zaś możliwa zamiana wzrostu entropii na energię. Zgodnie z tym prawem także, jeśli mamy dwa ciała, które nie dopuszczają wymiany ciepła, to nie jest możliwe, żeby - jeśli te ciała mają tą samą temperaturę - powstawały różnice w temperaturze między nimi.

52 Demon Maxwella Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Eksperyment myślowy: Co mówi nam ten eksperyment? - że wbrew II zasadzie termodynamiki spadek entropii jest możliwy, więc zasada ta ma co najwyżej charakter statystyczny.

53 Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Demon Maxwella - możliwe rozwiązanie Leo Szilard (rozwiązanie z odniesieniem do fizycznej teorii informacji): demon musi posiadać informację o położeniu i prędkości molekuł. Fizyczna realizacja przetwarzania informacji przez demona przeważałaby nad spadkiem entropii. Negentropia jest zatem nadal niemożliwa.

54 Entropia w fizyce a entropia Shannona Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Pewne własności (matematyczne) są takie same: np. wysoki poziom entropii oznacza niższy poziom energii. W teorii Shannona - wysoka wartość entropii oznacza wyższą aprioryczną wartość niepewności u odbiorcy komunikatu. W obu przypadkach maksymalna wartość entropii oznacza równy rozkład wartości w zbiorze (ciepła lub prawdopodobieństwa).

55 Entropia w fizyce a entropia Shannona Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Pewne własności (matematyczne) są takie same: np. wysoki poziom entropii oznacza niższy poziom energii. W teorii Shannona - wysoka wartość entropii oznacza wyższą aprioryczną wartość niepewności u odbiorcy komunikatu. W obu przypadkach maksymalna wartość entropii oznacza równy rozkład wartości w zbiorze (ciepła lub prawdopodobieństwa).

56 Entropia w fizyce a entropia Shannona Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Dlaczego właściwie Shannon użył pojęcia entropii, zamiast informacji, niepewności itp.? Moje najgłębsze zatroskanie budziła nazwa. Myślałem o nazwie informacja, ale to słowo jest nadużywane, więc zdecydowałem się na nazwę niepewność. Gdy omawiałem tą sprawę z Johnem von Neumannem, wpadł on na lepszy pomysł. Von Neumann powiedział mi: powinieneś to nazwać entropią z dwóch powodów. Po pierwsze, twoja funkcja niepewności jest używana w statystycznej mechanice pod tą nazwą, więc ona ma już nazwę. Po drugie zaś, co zresztą jest ważniejsze, nikt właściwie nie wie, czym tak naprawdę jest entropia, więc zawsze będziesz miał przewagę w dyskusji. (wypowiedź Shannona, cyt. za Francois Bavaud, Information Theory, Relative Entropy and Statistics, w: Formal Theories of Information Giovanni Sommaruga (Editor), s. 54.)

57 Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Entropia w fizyce a entropia Shannona - Carnap i Bar-Hillel Wg von Neumanna podobieństwo tych pojęć sprawia, że teoria informacji może być wręcz postrzegana jako podstawa termodynamiki. Bar-Hillel zwraca uwagę na fakt, że to podobieństwo jest jedynie formalne - entropia w termodynamice ma charakter empiryczny, natomiast w teorii informacji (semantycznej) jest pojęciem logicznym. Bar-Hillel zwraca też uwagę na fakt, że w termodynamice wartość entropii nie jest wyznaczona w tak precyzyjny sposób jak w teorii informacji.

58 Idee Shannona, które są istotne dla całej przyszłej filozofii informacji: probabilistyczne ujęcie - a priori określona wartość p dla każdego elementu zbioru, znajomość zbioru zdarzeń i rozkładu prawdopodobieństw przez odbiorcę; wartość informacyjna jest odwrotnie proporcjonalna do prawdopodobieństwa sygnału (intuicja, że im bardziej prawdopodobne zdarzenie, tym mniejszą wartość dla informowanego ma sygnał informujący o tym zdarzeniu); całościowe ujęcie całego zbioru symboli; abstrahowanie od semantyki - problem do rozwiązania.

59 Literatura Duża część tego wykładu oparta jest na: Manuel Bremer, Daniel Cohnitz, Information and Information Flow. An Introduction., Frankfurt 2004, ss

60 Dziękuję za uwagę i zapraszam do stawiania pytań! artur.machlarz@uni.opole.pl www: machlarz