Termodynamika informacji

Transkrypt

1 Termodynamika informacji P. F. Góra Wydział Fizyki, Astronomii i Informatyki Stosowanej UJ 30 października 2014

2 Pojęcia z dwu różnych dyscyplin Fizyka Demon Maxwella podstawy termodynamiki Informatyka Maszyna Turinga podstawy teorii obliczalności przetwarza informację o czastkach przetwarzaja informację przetwarza informację o symbolach Termodynamika informacji 2

3 Pojęcie entropii Niech pewien układ fizyczny może znajdować się w jednym z N stanów {ω i } N i=1. Każdy z tych stanów może być przybrany z prawdopodobieństwem p i = P (ω i ). i p i = 1. Kiedy mamy pełna informację o układzie? Kiedy wiemy, że układ z cała pewnościa znajduje się w konkretnym, znanym nam stanie ω i0 : p i0 = 1, p i i0 = 0. Kiedy mamy najmniejsza informację o układzie? Gdy każdy stan układu jest obsadzony z jednakowym prawdopodobieństwem: p 1 = p 1 = = p N ( = 1/N). Termodynamika informacji 3

4 Im mniej prawdopodobny jest stan, w którym znajduje się układ, tym bardziej uporzadkowany nam się wydaje. Termodynamika informacji 4

5 Miara informacji Przykład: w urnie jest sto ponumerowanych kul. Kule o numerach 1,2 sa czerwone. Kule o numerach 3,4,...,100 sa niebieskie. Ktoś wylosował jedna kulę i mówi nam Wylosowałem kulę czerwona Wylosowałem kulę niebieska W którym przypadku dowiemy się więcej o wyniku losowania? Dowiemy się więcej, gdy uzyskany wynik będzie mniej prawdopodobny. Termodynamika informacji 5

6 Miara informacji powinna być 1. Ciagł a funkcja prawdopodobieństwa zajścia zdarzenia, 2. Musi być tym większa, im prawdopodobieństwo jest mniejsze, 3. Jeżeli zdarzenie jest suma dwu zdarzeń niezależnych, miara informacyjna zdarzenia łacznego musi być równa sumie miar zdarzeń składowych. Funkcja, która spełnia te wymagania, jest ( ) 1 I(ω i ) = log 2 P (ω i ) = log 2 P (ω i ) Termodynamika informacji 6

7 Entropia Gibbsa-Shannona Claude Shannon, 1948: Entropia informacyjna jest średnia miara informacji zawartej w danym rozkładzie. S = N i=1 p i log 2 p i Ten wzór jest identyczny (z dokładnościa do jednostek) z wyprowadzonym przez Josiaha Willarda Gibbsa na przełomie XIX i XX wieku: S = k B N i=1 p i ln p i Termodynamika informacji 7

8 Przypadki ekstremalne: 1. Pełna wiedza o systemie S = Najmniejsza wiedza o systemie wszystkie mikrostany sa równoważne N i: p i = 1/N: S = k 1 B N ln ( ) 1 N = kb ln ( ) 1 N = kb ln N. i=1 Można pokazać, że jest to największa możliwa wartość entropii. Jest to entropia Boltzmanna: Jeżeli wszystkie mikrostany sa jednakowo prawdopodobne, entropia układu jest proporcjonalna do logarytmu z liczby dostępnych stanów. Termodynamika informacji 8

9 II zasada termodynamiki: W żadnych procesach zachodzacych spontanicznie entropia nie może maleć. Czy to się odnosi do obliczeń na komputerze?! A raczej, czy przeprowadzanie obliczeń koniecznie wiaże się ze wzrostem entropii? Termodynamika informacji 9

10 Demon Maxwella Czy demon Maxwella, po wyeliminowaniu (zminimalizowaniu) tarcia itp, narusza II zasadę termodynamiki? Termodynamika informacji 10

11 Silnik Szilarda minimalistyczna wersja demona Maxwella 1. Wstaw przegrodę. 2. Ustal, w której połówce jest czastka (pomiar!). 3. Pzyczep cięgna. 4. Poczekaj, aż czastka przesunie przegrodę do ściany. 5. Odczep cięgna. 6. GOTO 1. Termodynamika informacji 11

12 Na którym etapie cyklu pracy silnika Szilarda wzrasta entropia? Leo Szilard: Entropia wzrasta w wyniku dokonania pomiaru. To nie jest prawidłowa odpowiedź. Można dokonać odwracalnego pomiaru stanu układu dwustanowego. Termodynamika informacji 12

13 Reprezentacje jednego bitu czastka w pudełku z przegroda czastka w podwójnej studni potencjału spin 1 2 Termodynamika informacji 13

14 Jeśli wiem, że układ na pewno znajduje się w jednym z dwu możliwych stanów, entropia wynosi S wiem = k(1 ln ln 0) = 0. (1) Jeśli układ z równym prawdopodobieństwem znajduje się w każdym z dwu możliwych stanów, entropia wynosi S nie wiem = k ( 1 2 ln ln 1 2 ) = k ln 2. (2) W silniku Szilarda wstawienie przegrody utrata informacji o stanie układu powoduje wzrost entropii. Termodynamika informacji 14

15 Kiedy jeszcze tracimy informację? Jeśli w toku jakichś obliczeń dwie scieżki zbiegaja się (np. jeśli dwa zestawy danych wejściowych daja ten samy wynik), taka operacja jest logicznie nieodwracalna. Przejście od stanu 1 do stanu 2 można interpretować jako zniknięcie bariery oddzialejace dwa stany logiczne, czemu także towarzyszy wzrost entropii o k ln 2. Termodynamika informacji 15

16 Zasada Landauera (Rolf Landauer, 1961) Każda operacja logicznie nieodwracalna usunięcie jednego bitu informacji połaczenie dwu ścieżek obliczeń powoduje wzrost entropii o k ln 2. Istniejace komputery produkuja miliony razy więcej entropii... Termodynamika informacji 16

17 Dlaczego demon Maxwella nie łamie II zasady? Demon Maxwella, aby wiedzieć, czy ma otworzyć drzwiczki, czy nie, musi gromadzić informację o czastach. Jeśli demon jest automatem skończonym, musi mieć skończona pamięć. W którymś momencie ta pamięć się wyczerpie i demon, aby móc dalej pracować, musi zaczać czyścić pamięć. Entropia wzrasta, gdy demon usuwa bity ze swojej pamięci. Termodynamika informacji 17

18 Reversible computing Czy da się prowadzić obliczenia bez operacji logicznie nieodwracalnych? Trzeba przetłumaczyć cały kod programu na operacje na bitach, które można wykonać na bramkach logicznych (trudne, ale możliwe). Negacja i identyczność sa odwracalne. Bramki AND, OR, NAND, XOR nie sa odwracalne Termodynamika informacji 18

19 Bramka Toffoli Odwracalne bramki logiczne musza mieć tyle samo wyjść, co wejść. Musza też zapamiętywać swoje dane wejściowe. Tego typu bramka jest zaproponowana przez Tommaso Toffoli bramka (x, y, z) (x, y, z XOR (x AND y)). Bramka ta odwraca trzeci bit, jeśli dwa pierwsze sa ustawione. INPUT OUTPUT Termodynamika informacji 19

20 Programy binarne, napisane przy użyciu negacji i bramki Toffoli ego, sa logicznie odwracalne (ale maja bardzo duże wymagania pamięciowe). Czy da się bramkę Toffoli zrealizować praktycznie? Przy użyciu układów elektronicznych da się, ale układy elektroniczne w czasie pracy rozpraszaja dużo ciepła, więc obliczenie nie będzie fizycznie odwracalne. Termodynamika informacji 20

21 Billiard Ball Model Toffoli & Fredkin, 1982: Bramki reprezentowane przez bilard (idealnie sprężyste zderzenia kul, pod katem prostym). Hardware jest reprezentowany przez geometrię bilardu (układ sztywnych odbijaczy, kanały), dane przez warunki poczatkowe, software to zderzenia. Termodynamika informacji 21

22 Realizacja Bramki Toffoli w modelu BBM (Hosseini & Dueck, 2010) Bilard wymaga idealnych (nierealizowalnych w rzeczywistości) materiałów i jest chaotyczny. Termodynamika informacji 22

23 Reversible computing ma się dobrze jako koncept teoretyczny, ale nie wydaje się, aby można je było zrealizować w praktyce. Termodynamika informacji 23

24 Zębatka brownowska: Inne przedstawienie demona Maxwella Smoluchowski, Feynman, Magnasco, Parrondo, Jarzynski... Termodynamika informacji 24

25 Inny model reversible computation Inny model obliczeń odwracalnych opiera się na analogii z fizyka statystyczna: W fizyce proces można realizować na drodze kwazistatycznej, poprzez stany bardzo mało (nieskończenie mało) różniace się od stanów równowagowych gdyby wszystkie stany były równowagowe, układ co najwyżej wykonywałby bładzenie przypadkowe pomiędzy nimi, a zatem potrzebny jest jakiś napęd. Dla układów makroskopowych bardzo drobne odstępstwa od równowagi wystarczaja. Jak pokazał John D. Norton, to nie działa dla układów bardzo małych, a więc takich, jakie rozważa się w teoretycznej analizie obliczeń odwracalnych : Aby doprowadzić układ od zadanego stanu poczatkowego do pożadanego stanu końcowego czyli aby przeprowadzić obliczenie albo różnice w prawdopodobieństwach poszczególnych stanów, wynikajace np. Termodynamika informacji 25

26 z różnic w energii swobodnej, musza być znaczne, a wówczas nie ma mowy o odwracalności, albo też różnice sa niewielkie, ale sa niwelowane przez fluktuacje. W tej sytuacji układ wykonuje jedynie bładzenie przypadkowe. Termodynamika informacji 26

27 Model Jarzynskiego Co robi demon Maxwella? Otwiera lub zamyka drzwiczki w zależności od tego, czy nadlatuje czastka szybka czy wolna jest to decyzja zerojedynkowa. W języku zębatek można powiedzieć, że zębatka przeskakuje o jedna pozycję w zależności od tego, w która stronę został uderzony wiatraczek. Minimalistyczny model demona Maxwella jako trójstanowego automatu: Dybiendu Mandal, Christopher Jarzynski, Work and information processing in a solvable model of Maxwell s demon, PNAS 109, (17 lipca 2012). Termodynamika informacji 27

28 Układ składa się z automatu trójstanowego (trzy stany: minimalna liczba pozwalajaca zaobserwować ruch kierunkowy) i jednego bitu informacji. W stanie swobodnym układ przechodzi pomiędzy swoimi stanami o niezmienionym bicie. Możliwe sa też przejścia A C (z odwróceniem bitu). Wszystkie 6 złożone stany sa równie prawdopodobne. Termodynamika informacji 28

29 Demon czyta taśmę Demon napędzany jest taśma zawierajac a bity (interpretowane jako polecenie otwarcia/zamknięcia drzwiczek). Każdy bit oddziałuje z demonem przez pewien czas (istnieja zatem zewnętrzny mechanizm przesuwajacy taśmę i zegar, który decyduje, kiedy taśma ma być przesunięta). Jeśli czas ten jest zbyt krótki, demon może nie zareagować na bit, jeśli jest zbyt długi, demon osiaga lokalna równowagę. Interesujace sa czasy pośrednie. Termodynamika informacji 29

30 Jeśli na taśmie sa same zera, demon wykonuje ruch zgodnie ze wskazówkami zegara, obracajac niektóre bity. Jeżeli na taśmie sa same jedynki, demon wykonuje ruch przeciwnie do wskazówek zegara, obracajac niektóre bity. Jeżeli na taśmie jest uporzadkowany układ zer i jedynek, także możliwy jest ruch w którymś kierunku. W tych przypadkach demon zwiększa entropię (wyjściowego) ciagu bitów. Jeżeli na wejściu bity sa losowe, demon wykonuje ruchy losowe, bez przewagi żadnego kierunku. Termodynamika informacji 30

31 Maszyna Turinga Teoretyczny model komputera (dowolnej maszyny obliczajacej): 1. Taśma (potencjalnie nieskończona), podzielona na komórki. W każdej komórce zapisany jest jeden symbol ze skończonego alfabetu, obejmujacego symbol pusty. 2. Głowica czytajaca i zapisujaca symbole na taśmie. 3. Rejestr zapamiętujacy aktualny (jeden ze skończenie wielu) stan maszyny. Termodynamika informacji 31

32 4. Funkcja przejścia, która mówi, co maszyna ma zrobić w zależności od swojego stanu i symbolu na taśmie wymazać lub zapisać symbol, przesunać taśmę w lewo lub w prawo, przejść do nowego stanu lub pozostać w dotychczasowym. Maszyna Turinga jest podstawowym narzędziem myślowym w informatyce teoretycznej (zasada Churcha). Termodynamika informacji 32

33 Model Mandala-Jarzynskiego jest dużym krokiem na drodze konstrukcji fizycznej maszyny Turinga. Daje to teoretyczne podstawy do narzucania termodynamicznych ograniczeń na możliwe obliczenia, a także konceptualnie łaczy podstawy fizyki statystycznej i teorii obliczalności. Byłby to etap długiego procesu, zapoczatkowanego przez Richarda Langa w 1973, a w pewnym sensie już przez Leo Szilarda w Termodynamika informacji 33

34 Nie wszystkie rezultaty przypadkowych rotacji bywaja korzystne Termodynamika informacji 34