Entropia, demon Maxwella i maszyna Turinga

Transkrypt

1 Entropia, demon Maxwella i maszyna Turinga P. F. Góra 14 lutego 2013

2 Pojęcia z dwu różnych dyscyplin Fizyka Informatyka Demon Maxwella Maszyna Turinga podstawy termodynamiki podstawy teorii obliczalności przetwarza informację o czastkach przetwarzaja informację przetwarza informację o symbolach Copyright c 2013 P. F. Góra 2

3 Pojęcie entropii Niech pewien układ fizyczny może znajdować się w jednym z N stanów {ω i } N i=1. Każdy z tych stanów może być przubrany z prawdopodobieństwem p i = P (ω i ). i p i = 1. Kiedy mamy pełna informację o układzie? Kiedy wiemy, że układ z cała pewnościa znajduje się w konkretnym, znanym nam stanie ω i0 : p i0 = 1, p i i0 = 0. Kiedy mamy najmniejsza informację o układzie? Gdy każdy stan układu jest obsadzony z jednakowym prawdopodobieństwem: p 1 = p 1 = = p N ( = 1/N). Copyright c 2013 P. F. Góra 3

4 Im mniej prawdopodobny jest stan, którym znajduje się układ, tym bardziej uporzadkowany nam się wydaje. Uwaga! Często to my określamy, co jest mniej, co zaś bardziej prawdopodobne, zestawiajac ze soba wiele podobnych stanów układu. W języku fizyki statystycznej mówimy, że makrostanowi uporzadkowanemu odpowiada mało mikrostanów (niskie prawdopodobieństwo), makrostanowi nieuporzadkowanemu wiele mikrostanów (duże prawdopodobieństwo). Copyright c 2013 P. F. Góra 4

5 Miara informacji Przykład: w urnie jest sto ponumerowanych kul. Kule o numerach 1,2 sa czerwone. Kule o numerach 3,4,...,100 sa niebieskie. Ktoś wylosował jedna kulę i mówi nam Wylosowałem kulę czerwona Wylosowałem kulę niebieska W którym przypadku dowiemy się więcej o wyniku losowania? Dowiemy się więcej, gdy uzyskany wynik będzie mniej prawdopodobny. Copyright c 2013 P. F. Góra 5

6 Miara informacji powinna być 1. Ciagł a funkcja prawdopodobieństwa zajścia zdarzenia, 2. Musi być tym większa, im prawdopodobieństwo jest mniejsze, 3. Jeżeli zdarzenie jest suma dwu zdarzeć niezależnych, miara informacyjna zdarzenia łacznego musi być równa sumie miar zdarzeń składowych. Funkcja, która spełnia te wymagania, jest ( ) 1 I(ω i ) = log 2 P (ω i ) = log 2 P (ω i ) Copyright c 2013 P. F. Góra 6

7 Entropia Gibbsa-Shannona Claude Shannon, 1948: Entropia informacyjna jest średnia miara informacji zawartej w danym rozkładzie. S = N i=1 p i log 2 p i (Uwaga, gdyby w warunku 3 na poprzedniej stronie zastapić równa przez niemniejsza, dostaniemy tak zwane entropie nieekstensywne.) Copyright c 2013 P. F. Góra 7

8 Okazuje się, że powyższy wzór jest identyczny (z dokładnościa do jednostek) z wyprowadzonym przez Josiaha Willarda Gibbsa jeszcze w XIX wieku: S = k B N i=1 p i ln p i Copyright c 2013 P. F. Góra 8

9 Przypadki ekstremalne: 1. Pełna wiedza o systemie S = Najmniejsza wiedza o systemie wszystkie mikrostany sa równoważne N i: p i = 1/N: S = k 1 B N ln ( ) 1 N = kb ln ( ) 1 N = kb ln N. i=1 Można pokazać, że jest to największa możliwa wartość entropii. Jest to entropia Boltzmanna: Jeżeli wszystkie mikrostany sa jednakowo prawdopodobne, entropia układu jest proporcjonalna do logarytmu z liczby dostępnych stanów. Copyright c 2013 P. F. Góra 9

10 II zasada termodynamiki We wszystkich procesach zachodzacych spontanicznie, entropia nie może maleć. II zasadę umiemy udowodnić tylko dla stanów równowagowych i pozostajacych blisko równowagi. Dla stanów dalekich od równowagi II zasada termodynamiki jest postulatem. Procesy, w których entropia rośnie, nazywamy nieodwracalnymi. Układy daż a od stanów mniej prawdopodobnych do bardziej prawdopodobnych. Jeśli jest wymiana ciepła, to entropia rośnie, ale moga także zachodzić procesy nieodwracalne bez wymiany ciepła. Moga zachodzić procesy, w których entropia jakiegoś podukładu spada kosztem wzrostu entropii otoczenia. Copyright c 2013 P. F. Góra 10

11 Perpetuum mobile II rodzaju Perpetuum mobile niemożliwe urzadzenie z niczego ; łamie zasadę zachowania energii. wytwarzajace pracę Perpetuum mobile II rodzaju niemożliwe urzadzenie wytwarzajace pracę korzystajac z jednego zbiornika ciepła; łamie II zasadę termodynamiki. Co roku powstaje wiele projektów perpetuum mobile II rodzaju, niektóre sa bardzo pomysłowe. Copyright c 2013 P. F. Góra 11

12 Strzałka czasu Zgodnie z obecnym stanem wiedzy, na pozimie mikroskopowym równania ruchu sa symetryczne względem odbicia czasu. Na poziomie makroskopowym istnieja dwa rodzaje procesów łamiacych symetrię odbicia w czasie: ekspansja Wszechświata procesy nieodwracalne kosmologiczna strzałka czasu termodynamiczna strzałka czasu Czy istnieje zwiazek pomiędzy nimi? II zasada termodynamiki zabrania podróży w czasie Copyright c 2013 P. F. Góra 12

13 Demon Maxwella Demon przepuszcza szybkie czastki na prawo, wolne na lewo II zasada termodynamiki złamana?! Nie! Demon, badajac czastki, sam rozprasza ciepło oraz gromadzi informację. Copyright c 2013 P. F. Góra 13

14 Silnik Szilarda jak zmusić demona do wykonania pracy? Cała trudność polega na tym, żeby wiedzieć, w której części znajduje się czastka trzeba uzyskać jeden bit informacji. Copyright c 2013 P. F. Góra 14

15 Zasada Landauera Rolf Landauer, 1961: Usunięcie jednego bitu informacji w temperaturze T zwiększa entropię o co najmniej k B ln 2. Nawet gdyby demon Maxwella nie rozpraszał ciepła pracujac, musi kiedyś pozbyć się informacji o uprzednio zarejestrowanych czastkach, to zaś w sposób konieczny zwiększa entropię. Copyright c 2013 P. F. Góra 15

16 Ile waży informacja? 500 GB wyczyszczenie wyprodukuje co najmniej E = ln 2 k B T ciepła. k B = J/K. W temperaturze 25 C, E J, co odpowiada masie (E = mc 2 ) m kg, czyli mniej więcej masie 10 protonów. Faktyczne wyczyszczenie dysku wymaga o wiele większej energii mówimy tu o samej informacji wyrażonej w jednostkach masy. Copyright c 2013 P. F. Góra 16

17 Entropia gwiazd I Proces powstawania gwiazdy z gazu galaktycznego odpowiada wzrostowi entropii: Zimny obłok gazu ma mało dostępnych stanów ze względu na prędkość, więc jest bardziej uporzadkowany (!), niż goraca gwiazda, która ma o wiele więcej dostępnych stanów ze względu na prędkość czastek. II Czarne dziury Materia bezpowrotnie wpada do czarnej dziury i informacja jest tracona? W wypadku czarnych dziur, rolę entropii odgrywa powierzchnia horyzontu, która nie może maleć. Copyright c 2013 P. F. Góra 17

18 Zębatka brownowska Wariant demona Maxwella, wymyślony przez Mariana Smoluchowskiego: Przypadkowy ruch cieplny zostaje zamieniony na ukierunkowany ruch zębatki Sprężyna także fluktuuje, zwalniajac zębatkę! Urzadzenie takie może wykonać dowolnie wielka pracę, ale ponieważ czas oczekiwania na odpowiednio wielka fluktuację gwałtownie rośnie, moc takiego urzadzenia daży do zera. Copyright c 2013 P. F. Góra 18

19 Model Jarzyńskiego Co robi demon Maxwella? Otwiera lub zamyka drzwiczki w zależności od tego, czy nadlatuje czastka szybka czy wolna jest to decyzja zerojedynkowa. W języku zębatek można powiedzieć, że zębatka przeskakuje o jedna pozycję w zależności od tego, w która stronę został uderzony wiatraczek. Minimalistyczny model demona Maxwella jako trójstanowego automatu, zdolnego także działać jak niszczarka Landauera : Dybiendu Mandal, Christopher Jarzynski, Work and information processing in a solvable model of Maxwell s demon, PNAS 109, (17 lipca 2012). Copyright c 2013 P. F. Góra 19

20 Trzy stany żeby możliwe było rozróżnienie ruchu zgodnego i przeciwnego do ruchu wskazówek zegara. Możliwe losowe przejścia A B C bez zmiany bitu. Możliwe przejście C A z jednoczesnym obróceniem bitu 0 1 oraz A C z jednoczesnym obróceniem bitu z 1 2. Mandal i Jarzynski udowodnili, że taki model ściśle odpowiada demonowi Maxwella. Copyright c 2013 P. F. Góra 20

21 Maszyna Turinga Teoretyczny model komputera (dowolnej maszyny obliczajacej): 1. Taśma (potencjalnie nieskończona), podzielona na komórki. W każdej komórce zapisany jest jeden symbol ze skończonego alfabetu, obejmujacego symbol pusty. 2. Głowica czytajaca i zapisujaca symbole na taśmie. 3. Rejestr zapamiętujacy aktualny (jeden ze skończenie wielu) stan maszyny. Copyright c 2013 P. F. Góra 21

22 4. Funkcja przejścia, która mówi, co maszyna ma zrobić w zależności od swojego stanu i symbolu na taśmie wymazać lub zapisać symbol, przesunać taśmę w lewo lub w prawo, przejść do nowego stanu lub pozostać w dotychczasowym. Copyright c 2013 P. F. Góra 22

23 Zasada Churcha: Wszystko, co da się obliczyć na dowolnym realnym komputerze, da się obliczyć na maszynie Turinga. Turing wymyślił swoja maszynę aby udowodnić prawdziwość jednego z postulatów Hilberta: moga istnieć dobrze zdefiniowane funkcje matematyczne, których nie da się obliczyć w skończonym czasie. Obecnie maszyna Turinga jest podstawowym narzędziem myślowym w informatyce teoretycznej. Copyright c 2013 P. F. Góra 23

24 Model Jarzynskiego demona Maxwella wydaje się być równoważny maszynie Turinga. Daje to teoretyczne podstawy do narzucania termodynamicznych ograniczeń na możliwe obliczenia, a także konceptualnie łaczy podstawy fizyki statystycznej i teorii obliczalności. Jest to zwieńczenie długiego procesu, zapoczatkowanego przez Richarda Langa w 1973, a w pewnym sensie już przez Landauera w Nieco inne, ale podobne podejście: Marco Frasca abs/ równoważność probabilistycznej maszyny Turinga i dynamiki modelu Isinga. Copyright c 2013 P. F. Góra 24