Entropia w układach dynamicznych Środowiskowe Studia Doktoranckie z Nauk Matematycznych Uniwersytet Jagielloński, Kraków, marzec-kwiecień 2013

Transkrypt

1 Entropia w układach dynamicznych Środowiskowe Studia Doktoranckie z Nauk Matematycznych Uniwersytet Jagielloński, Kraków, marzec-kwiecień 2013 Tomasz Downarowicz Instytut Matematyki i Informatyki Politechniki Wrocławskiej Część I: Entropia w teorii ergodycznej i Twierdzenie Shannona McMillana Breimana Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

2 Literatura podstawowa: ENTROPY IN DYNAMICAL SYSTEMS New Mathematical Monographs: 18 Cambridge University Press 2011 PART I: Entropy in Ergodic Theory PART II: Entropy in Topological Dynamics Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

3 Co to jest informacja? Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

8 Co to jest informacja? Ile to było informacji? Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

9 Co to jest informacja? Ile to było informacji? jedna z dwóch możliwości = JEDEN BIT Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

13 Co to jest informacja? jedna z czterech możliwości = DWA BITY Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

15 Co to jest informacja? jedna z trzech możliwości = PÓŁTORA BITU Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

16 Co to jest informacja? NIE NIE WSZYTSKIE WIELKOŚCI NA TYM ŚWIECIE SA LINIOWE!!! Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

17 Co to jest informacja? 0 BITÓW = 1 możliwość 1 BIT = 2 możliwości 2 BITY = 4 możliwości 3 BITY = 8 możliwości itd. # BITÓW = log 2 (# możliwości) 3 możliwości = log 2 (3) BITÓW BITÓW Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

18 Co to jest informacja? CZY WYGRAŁEM? (TAK/NIE) Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

19 Co to jest informacja? NIE z miliona możliwości TO BYŁO DO PRZEWIDZENIA... (była prawie na pewno tylko ta jedna możliwość prawie niczego nowego nie dowiedzieliśmy się) Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

20 Co to jest informacja? TAK - możliwość jedna na milion HURRRA!!! (duża ilość informacji) Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

21 Co to jest informacja? TAK - możliwość jedna na milion HURRRA!!! (duża ilość informacji) # BITÓW = log 2 ( ) 19, 9 BITÓW Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

22 Co to jest informacja? NIE z miliona możliwości TO BYŁO DO PRZEWIDZENIA... (była prawie na pewno tylko ta jedna możliwość prawie niczego nowego nie dowiedzieliśmy się) # BITÓW =??? Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

23 Co to jest informacja? TAK - możliwość jedna na milion HURRRA!!! (duża ilość informacji) # BITÓW = log 2 ( ) 19, 9 BITÓW log 2 ( ) = log 2 ( ) = log 2 (prawdopodobieństwo wygranej) Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

24 Co to jest informacja? NIE z miliona możliwości TO BYŁO DO PRZEWIDZENIA... (była prawie na pewno tylko ta jedna możliwość prawie niczego nowego nie dowiedzieliśmy się) # BITS = log 2 (prawdopodobieństwo przegranej) = log 2 ( ) 0, BITÓW Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

25 Funkcja informacji Shannona DEFINICJA 1 Jeśli Ω jest przeliczalna przestrzenia probabilistyczna o atomach x 1, x 2,... o prawdopodobieństwach P(x i ), (i = 1, 2,...), to stowarzyszona funkcja informacji na Ω jest zdefiniowana jako I(x i ) = log 2 (P(x i )). Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

26 Funkcja informacji Shannona DEFINICJA 1 Jeśli Ω jest przeliczalna przestrzenia probabilistyczna o atomach x 1, x 2,... o prawdopodobieństwach P(x i ), (i = 1, 2,...), to stowarzyszona funkcja informacji na Ω jest zdefiniowana jako I(x i ) = log 2 (P(x i )). Jeśli Ω jest skończona i ma n elementów o jednakowych prawdopodobieństwach 1 n to funkcja informacji jest stała i równa log 2 (n). Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

27 Funkcja informacji Shannona DEFINICJA 2 Jeśli (Ω,Σ,µ) jest (być może bezatomowa) przestrzenia probabilistyczna,p ={P 1, P 2,...} jest przeliczalnym (lub skończonym) rozbiciem mierzalnym Ω, to stowarzyszona funkcja informacji na Ω jest zadana wzorem I P (x) = log 2 (µ(p x )), gdzie P x oznacza jedyny element rozbiciap zawierajacy x. Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

28 Funkcja informacji Shannona Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

30 Funkcja informacji Shannona Where are you? Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

31 Funkcja informacji Shannona Where are you? Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

33 Funkcja informacji Shannona x B, I P (x) = logµ(b) Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

34 Entropia Shannona rozbicia DEFINICJA 3 Jeśli (Ω,Σ,µ) jest (być może bezatomowa) przestrzenia probabilistyczna,p ={P 1, P 2,...} jest przeliczalnym (lub skończonym) rozbiciem mierzalnym Ω, to entropia Shannona rozbicia P nazywamy wartość oczekiwana funkcji entropii: H(P) = I P dµ = µ(p i ) log 2 µ(p i ) i (Jest to średna po przestrzeni ilość informacji dostarczona przez rozbicie.) Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

35 PRZYKŁAD Rozważmy następujace dwie bitmapy Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

36 PRZYKŁAD Rozważmy następujace dwie bitmapy Maja one te samy rozmiary (a nawet tę sama proporcję piksli czarnych do białych). Zatem każda z nich niesie tyle samo informacji w sensie Shannona, równa liczbie piksli. A jednak... Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

37 PRZYKŁAD Rozważmy następujace dwie bitmapy Dowolny program pakujacy (np. Winzip albo RAR) skompresuje bitmapę po lewej mniej więcej 5 razy bardziej niż tę po prawej. Dlaczego? Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

38 PRZYKŁAD Rozważmy następujace dwie bitmapy Wyobraźmy sobie, że chcemy przez telefon wytłumaczyć komuś jak wyglada bitmapa, tak aby odbiorca mógł ja precyzyjnie odtworzyć... Ile INFORMACJI musimy przekazać dla każdej z nich? Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

39 Co powoduje, że te dwie bitmapy tak bardzo się różnia zawartościa informacyjna, skoro obie zawieraja tyle samo informacji w sensie Shannona? Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

40 Co powoduje, że te dwie bitmapy tak bardzo się różnia zawartościa informacyjna, skoro obie zawieraja tyle samo informacji w sensie Shannona? Odpowiedzi dostarcza tzw. entropia dynamiczna i Twierdzenie Shannona McMillana Breimana. Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

41 Układy dynamiczne Teraz będziemy zakładać, że na naszej przestrzeni probabilistycznej (Ω,Σ,µ) mamy określona transformację mierzalna T : Ω Ω zachowujac a miaręµ, tzn. taka, żeµ(t 1 (A)) =µ(a) dla każdego zbioru mierzalnego A Σ. Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

42 Układy dynamiczne Teraz będziemy zakładać, że na naszej przestrzeni probabilistycznej (Ω,Σ,µ) mamy określona transformację mierzalna T : Ω Ω zachowujac a miaręµ, tzn. taka, żeµ(t 1 (A)) =µ(a) dla każdego zbioru mierzalnego A Σ. PRZYKŁAD Niech Ω ={0, 1} N, T = przesunięcie (T(x 1, x 2,...) = (x 2, x 3,...)) i niechµbędzie pewna miara niezmiennicza na przesunięcie T. Każda taka miara jest zadana przez swoje wartości na cylindrach C = [c 1, c 2,...,c n ]. Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

43 Przepływ informacji w układzie dynamicznym Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

45 Przepływ informacji w układzie dynamicznym Where are you? Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

46 Przepływ informacji w układzie dynamicznym Where are you? Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

48 Przepływ informacji w układzie dynamicznym x B, I P (x) = logµ(b) Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

49 Przepływ informacji w układzie dynamicznym Where are you going? Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

54 Przepływ informacji w układzie dynamicznym x B T 1 (A), I P 2(x) = logµ(b T 1 (B)) Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

55 Ciag funkcji informacji Shannona w układzie dynamicznym DEFINICJA 4 Niech (Ω,Σ,µ) będzie przestrzenia probabilistyczna i niech T : Ω Ω będzie mierzalna transformacja zachowujac a miarę. Niech P ={P 1, P 2,...} będzie przeliczalnym rozbiciem mierzalnym przestrzeni Ω. Wtedy funkcja informacji po n krokach na Ω jest zdefiniowana jako I P n(x) = log 2 (µ(px)), n gdzie P n x = P x T 1 (P Tx ) T 2 (P T 2 x ) T n+1 (P T n 1 x ) (jest to jedyny element rozbiciap n := n 1 i=0 T i (P) zawierajacy x i nazywa się on n-cylindrem wokół x). Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

56 PRZYKŁAD x [0, 1] Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

57 PRZYKŁAD x [0, 1] x = Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

58 PRZYKŁAD x [0, 1] x = Aby z cała precyzja zidentyfikować punkt x potrzebujemy nieskończonej ilości informacji. Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

59 PRZYKŁAD x [0, 1] x = Aby z cała precyzja zidentyfikować punkt x potrzebujemy nieskończonej ilości informacji. Z każda cyfra zyskujemy ilość informacji równa log 2 (10) BITÓW. Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

60 PRZYKŁAD x [0, 1] x = Aby z cała precyzja zidentyfikować punkt x potrzebujemy nieskończonej ilości informacji. Z każda cyfra zyskujemy ilość informacji równa log 2 (10) BITÓW. Odpowiada to przepływowi informacji w następujacym ukł. dyn.: Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

61 PRZYKŁAD x [0, 1] x = Aby z cała precyzja zidentyfikować punkt x potrzebujemy nieskończonej ilości informacji. Z każda cyfra zyskujemy ilość informacji równa log 2 (10) BITÓW. Odpowiada to przepływowi informacji w następujacym ukł. dyn.: T : [0, 1] [0, 1], T(x) = 10x mod 1, gdzieµjest miara Lebesgue a Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

62 PRZYKŁAD x [0, 1] x = Aby z cała precyzja zidentyfikować punkt x potrzebujemy nieskończonej ilości informacji. Z każda cyfra zyskujemy ilość informacji równa log 2 (10) BITÓW. Odpowiada to przepływowi informacji w następujacym ukł. dyn.: T : [0, 1] [0, 1], T(x) = 10x mod 1, gdzieµjest miara Lebesgue a T( ) = , T 2 ( ) = T( ) = Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

63 PRZYKŁAD x [0, 1] x = Aby z cała precyzja zidentyfikować punkt x potrzebujemy nieskończonej ilości informacji. Z każda cyfra zyskujemy ilość informacji równa log 2 (10) BITÓW. Odpowiada to przepływowi informacji w następujacym ukł. dyn.: T : [0, 1] [0, 1], T(x) = 10x mod 1, gdzieµjest miara Lebesgue a T( ) = , T 2 ( ) = T( ) = P ={[0, 0.1),[0.1, 0.2),...,[0.9, 1]} Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

64 Entropia dynamiczna rozbicia Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

65 Entropia dynamiczna rozbicia P n (x) = {punkty, które daja te same odpowiedzi co x przez n kroków} Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

66 Entropia dynamiczna rozbicia P n (x) = {punkty, które daja te same odpowiedzi co x przez n kroków} I P n(x) = logµ(p n (x)) Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

67 Entropia dynamiczna rozbicia P n (x) = {punkty, które daja te same odpowiedzi co x przez n kroków} I P n(x) = logµ(p n (x)) H(P n ) := I P n dµ (średnia po przestrzeni ilość informacji w n krokach) Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

68 Entropia dynamiczna rozbicia P n (x) = {punkty, które daja te same odpowiedzi co x przez n kroków} I P n(x) = logµ(p n (x)) H(P n ) := I P n dµ (średnia po przestrzeni ilość informacji w n krokach) DEFINICJA 5 Entropia dynamiczna rozbicia P jest zdefiniowana jako h(t,p) := lim n 1 n H(Pn ). Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

69 Entropia dynamiczna rozbicia P n (x) = {punkty, które daja te same odpowiedzi co x przez n kroków} I P n(x) = logµ(p n (x)) H(P n ) := I P n dµ (średnia po przestrzeni ilość informacji w n krokach) DEFINICJA 5 Entropia dynamiczna rozbicia P jest zdefiniowana jako h(t,p) := lim n 1 n H(Pn ). Entropię dynamiczna interpretujemy jako średni po przestrzeni i po czasie przyrost informacji w jednym kroku. Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

70 PRZYKŁAD Zacznijmy od podziału kwadratu na równe zbiory. Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

71 PRZYKŁAD Zacznijmy od podziału kwadratu na równe zbiory. h(p) = log 4 Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

72 PRZYKŁAD Niech T 1 (P) wyglada tak: Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

73 PRZYKŁAD Niech T 1 (P) wyglada tak: Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

74 PRZYKŁAD WtedyP 2 wyglada tak: Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

76 PRZYKŁAD WtedyP 2 wyglada tak: h(p 2 ) = log 16 = 2 log 4 Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

77 PRZYKŁAD WtedyP 2 wyglada tak: h(p 2 ) = log 16 = 2 log 4 w tym kroku przybyło DUŻO entropii (log 4) Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

78 PRZYKŁAD A teraz wróćmy do poczatku. Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

79 PRZYKŁAD Niech tym razem T 1 (P) wyglada tak: Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

80 PRZYKŁAD Niech tym razem T 1 (P) wyglada tak: Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

83 PRZYKŁAD WtedyP 2 wyglada tak: h(p 2 ) = log 8 = log 4+log 2 Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

84 PRZYKŁAD WtedyP 2 wyglada tak: h(p 2 ) = log 8 = log 4+log 2 w tym kroku przybyło ZNACZNIE MNIEJ entropii (log 2) Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

85 WNIOSEK Entropia dynamiczna jest duża, jeśli kolejne przeciwobrazy rozbicia sa wzajemnie niezależne (lub bliskie niezależności). Oznacza to, że kolejne symbole w reprezentacji typowego punktu pojawiaja się losowo. Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

86 WNIOSEK Entropia dynamiczna jest duża, jeśli kolejne przeciwobrazy rozbicia sa wzajemnie niezależne (lub bliskie niezależności). Oznacza to, że kolejne symbole w reprezentacji typowego punktu pojawiaja się losowo. Mała entropia dynamiczna oznacza, że kolejne symbole sa zależne (z dużym prawdopodobieństwem przewidywalne na podstawie poprzednich symboli). Oznacza to wysoka organizację (niska losowość) układu. Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

87 Twierdzenie Shannona McMillana Breimana Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

88 Twierdzenie Shannona McMillana Breimana TWIERDZENIE 1 Jeśli µ jest ergodyczna, to 1 n I P n(x) µ a.e. h(t,p) n Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

89 Twierdzenie Shannona McMillana Breimana TWIERDZENIE 1 Jeśli µ jest ergodyczna, to 1 n I P n(x) µ a.e. h(t,p) n To znaczy, średni przyrost informacji w jednym kroku nie zależy od punktu poczatkowego (nie trzeba uśredniać po przestrzeni). Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

90 PRZYKŁAD Niech Ω ={0, 1} N, T = przesunięcie i niechµbędzie ergodyczna miara niezmiennicza na przesunięcie T. Wtedy dlaµ-prawie każdego punktu x = (x 1, x 2,...) miara długiego cylindra wokół x, x[1, n] := [x 1, x 2,...,x n ], wynosi w przybliżeniu 2 nh(t,p), gdziep jest dwu-elementowym rozbiciem{[0],[1]}. Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

91 PRZYKŁAD Niech Ω ={0, 1} N, T = przesunięcie i niechµbędzie ergodyczna miara niezmiennicza na przesunięcie T. Wtedy dlaµ-prawie każdego punktu x = (x 1, x 2,...) miara długiego cylindra wokół x, x[1, n] := [x 1, x 2,...,x n ], wynosi w przybliżeniu 2 nh(t,p), gdziep jest dwu-elementowym rozbiciem{[0],[1]}. Znaczenie w przybliżeniu jest bardzo zgrubne, gdyż oznacza jedynie, że 1 n log 2 µ(x[1, n]) h(t,p). Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

92 PRZYKŁAD Wróćmy do naszego przykładu z dwiema bitmapami: Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

93 Z grubsza rzecz biorac, bitmapy możemy traktować jako długie fragmenty orbit punktów w układzie dynamicznym{0, 1} N z przesunięciem, typowych dla dwóch różnych miar ergodycznych, odpowiednioµ 1 iµ 2 o różnych entropiach h(µ 1 ) i h(µ 2 ). Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

94 Z grubsza rzecz biorac, bitmapy możemy traktować jako długie fragmenty orbit punktów w układzie dynamicznym{0, 1} N z przesunięciem, typowych dla dwóch różnych miar ergodycznych, odpowiednioµ 1 iµ 2 o różnych entropiach h(µ 1 ) i h(µ 2 ). Pierwsza bitmapa jest wysoce uporzadkowana, zatem reprezentuje miarę o małej entropii. Druga bitmapa jest losowa, zatem reprezentuje miarę o dużej entropii, czyli mamy h(µ 1 )<< h(µ 2 ). Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

95 Z grubsza rzecz biorac, bitmapy możemy traktować jako długie fragmenty orbit punktów w układzie dynamicznym{0, 1} N z przesunięciem, typowych dla dwóch różnych miar ergodycznych, odpowiednioµ 1 iµ 2 o różnych entropiach h(µ 1 ) i h(µ 2 ). Pierwsza bitmapa jest wysoce uporzadkowana, zatem reprezentuje miarę o małej entropii. Druga bitmapa jest losowa, zatem reprezentuje miarę o dużej entropii, czyli mamy h(µ 1 )<< h(µ 2 ). Entropie te, to średnie ilości informacji po przestrzeni i czasie w jednym kroku przesunięcia. Dzięki twierdzeniu S M B, nie musimy uśredniać po przestrzeni; te same średnie po czasie sa realizowane już w naszych indywidualych orbitach (czyli w bitmapach). Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

96 Z grubsza rzecz biorac, bitmapy możemy traktować jako długie fragmenty orbit punktów w układzie dynamicznym{0, 1} N z przesunięciem, typowych dla dwóch różnych miar ergodycznych, odpowiednioµ 1 iµ 2 o różnych entropiach h(µ 1 ) i h(µ 2 ). Pierwsza bitmapa jest wysoce uporzadkowana, zatem reprezentuje miarę o małej entropii. Druga bitmapa jest losowa, zatem reprezentuje miarę o dużej entropii, czyli mamy h(µ 1 )<< h(µ 2 ). Entropie te, to średnie ilości informacji po przestrzeni i czasie w jednym kroku przesunięcia. Dzięki twierdzeniu S M B, nie musimy uśredniać po przestrzeni; te same średnie po czasie sa realizowane już w naszych indywidualych orbitach (czyli w bitmapach). Jeden krok przesunięcia odpowiada jednemu symbolowi (pikslowi) w bitmapie. Zatem efektywna ilość informacji zawartej w każdej z bitmap jest równa liczbie piksli razy średnia ilość inofrmacji na piksel (czyli razy odpowiednio h(µ 1 ) lub h(µ 2 )). Ilość piksli jest ta sama, stad w pierwszej bitmapie jest o wiele mniej informacji niż w drugiej. Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

97 Wszystko to, co zostało powiedziane będzie opisane w ścisły szczegółowy sposób w dalszej części kursu... Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26

98 Wszystko to, co zostało powiedziane będzie opisane w ścisły szczegółowy sposób w dalszej części kursu... przy zastosowaniu bardziej tradycyjnych mediów, czyli tablicy i kredy (lub, nie daj Boże, markerów). Tomasz Downarowicz (Poland) Entropia w układach dynamicznych semestr letni, / 26