Uniwersytet im. Adama Mickiewicza Wydział Matematyki i Informatyki. Wykłady z Rachunku Prawdopodobieństwa 2

Transkrypt

1 Uniwersytet im. Adama Mickiewicza Wydział Matematyki i Informatyki Wykłady z Rachunku Prawdopodobieństwa Poznań, 008/009

2 Spis treści Wstęp Wykład : Prosty spacer losowy z barierami Wstęp Prosty spacer losowy Bariery pochłaniające Bariery odpychające Wykład : PSL metoda zliczania ścieżek Wstęp Zasada odbicia Powroty do osi Zagadnienie pierwszych odwiedzin Technika odwracania Wykład 3: Funkcje tworzące Dokończenie poprzedniego wykładu Funkcje tworzące Liczenie momentów Sumy zmiennych niezależnych Zastosowanie dla spacerów losowych Wykład 4: Funkcje tworzące. Procesy gałązkowe Wprowadzenie Funkcje tworzące (dokończenie) Moment pierwszych odwiedzin Czas przebywania na dodatniej półosi Procesy gałązkowe Wykład 5: Procesy gałązkowe. Łańcuchy Markowa Wprowadzenie Procesy gałązkowe (dokończenie) Geometryczny proces gałązkowy Łańcuchy Markowa Wykład 6: Klasyfikacja łańcuchów Markowa. Rozkłady stacjonarne Wstęp Rozkład początkowy Przykłady Klasyfikacja łańcuchów Markowa Rozkład stacjonarny Wykład 7: Rozkłady stacjonarne. Coupling Wstęp Postać rozkładu stacjonarnego Coupling

3 8. Wykład 8: Zbieżność poissonowska. Twierdzenie ergodyczne. Łańcuchy odwracalne Wstęp Dokończenie poprzedniego wykładu Odwracalne Łańcuchy Markowa Wykład 9: Markov Chain Monte Carlo Wstęp Idea MCMC Przykłady Przybliżone przeliczanie Wykład 0 i : Aproksymacja liczby kolorowań grafu Wstęp Dowód istnienia algorytmu RPTAS dla obliczania liczby q-kolorowań grafu Poprawienie oszacowania z Twierdzenia Wykład : Martyngały: definicja, twierdzenia o zbieżności Wstęp Warunkowa wartość oczekiwana Przypadek jednowymiarowy Przypadek wielowymiarowy Martyngały, definicja i przykłady Twierdzenia o zbieżności martyngałów Wykład : Martyngały: nierówność Hoeffdinga Wstęp Dowody twierdzeń z poprzedniego wykładu Nierówność Hoeffdinga Appendix A - Zadania domowe

4 Wstęp Niniejszy dokument jest zebraniem wykładów z Rachunku Prawdopodobieństwa odbywających się od października 008 do stycznia 009 na Wydziale Matematyki i Informatyki Uniwersytetu im. Adama Mickiewicza w Poznaniu. Wykład poruszał zagadnienia procesów losowych oraz ich zastosowań. W trakcie wykładu przedstawione zostały zagadnienia spacerów losowych, wykorzystania funkcji tworzących do procesów losowych, procesów gałązkowych, łańcuchów Markowa oraz ich wykorzystywaniu w algorytmach typu Monte Carlo, a także martyngałów. Wykład prowadzony był przez prof. Andrzeja Rucińskiego. Treść została spisana przez studentów i doktorantów uczestników wykładów. Osobami zaangażowanymi w powstanie tego opracowania były (w kolejności spisywania wykładów): Łukasz Michniewicz, Magdalena Musioł Marek Kaluba, Bartosz Naskręcki Krzysztof Krzywdziński, Paweł Wawrzyniak Tomasz Ciaś, Paweł Skórzewski Łukasz Witkowski, Marcin Witkowski Katarzyna Mieczkowska, Bartosz Zaleski Arkadiusz Buchelt, Przemysław Sokołowski Przemysław Rogowski, Tomasz Rzędowski Ewelina Rychlińska, Wojciech Wawrzyniak Adam Przestacki, Patryk Szczęśniewski Mirosława Jańczak Łukasz Waszak złożenie i korekta Rafał Witkowski pomoc przy korekcie Bartosz Naskręcki, Ewelina Rychlińska opieka merytoryczna Andrzej Ruciński 3

5 . Wykład : Prosty spacer losowy z barierami Wstęp Wyobraźmy sobie osobnika namiętnie oddającego się grze w rzut monetą. Za każdego wyrzuconego orła kasyno wypłaca mu $, natomiast za każdą wyrzuconą reszkę musi oddać $. Osobnik ten jest typem spod wyjątkowo ciemnej gwiazdy, dlatego też hazard nie jest jego jedynym nałogiem. Rzucając po raz kolejny monetą lubi topić swoją frustrację i nerwy w alkoholu, dlatego rzadko kiedy wraca do domu trzeźwy. Ze względu na swój stan wracając wykonuje losowo krok do przodu lub do tyłu z pewnymi prawdopodobieństwami (zakładamy, że możliwy jest powrót do domu po linii prostej chodzenie w stanie upojenia alkoholowego jest i tak wystarczająco trudne). Będziemy zastanawiać się między innymi nad tym jak prawdopodobne jest, że przegra on wszystkie przyniesione do kasyna pieniądze. Ponadto przekonamy się, że w pewnych okolicznościach, opuściwszy kasyno w stanie bachicznego natchnienia, nasz bohater najprawdopodobniej do niego powróci... Prosty spacer losowy Podczas tego wykładu będziemy zakładać, że X, X,... jest ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie prawdopodobieństwa (zmienne takie oznaczamy w skrócie iid) takim, że dla każdego i N X i = {, z prawdopodobieństwem p, z prawdopodobieństwem q = p. Definicja.. Prostym spacerem losowym (oznaczanym PSL) nazywamy ciąg zmiennych losowych n S n = S 0 + X i, gdzie S 0 jest pewną stałą. Szczególny przypadek PSL dla p = q = nazywamy symetrycznym PSL (Pearson). Wniosek.. Jako oczywisty wniosek z definicji otrzymujemy następujący wzór rekurencyjny: S n+ = S n + X n+. Spacer losowy wygodnie jest reprezentować w postaci wykresu w dwuwymiarowym układzie współrzędnych. Oś odciętych oznacza wówczas czas, natomiast oś rzędnych pozycję 4

6 w spacerze losowym (Rysunek.). Wykres taki będziemy nazywać trajektorią spaceru losowego. Rysunek.. Trajektoria spaceru losowego. Twierdzenie.3 (Własności PSL). Niech S n będzie PSL. Zachodzą wówczas następujące własności:. Jednorodność przestrzenna.. Jednorodność czasowa. 3. Własność Markowa. P (S n = j S 0 = a) = P (S n = j + b S 0 = a + b) P (S n = j S 0 = a) = P (S m+n = j S m = a) P (S m+n = j S 0, S,...,S m ) = P (S m+n = j S m ) Dowód. ( n ) ( n ). P (S n = j S 0 = a) = P X i = j a = P X i = j + b a b = = P (S n = j + b S 0 = a + b) ( n ) ( n+m ). P (S n = j S 0 = a) = P X i = j a = P X i = j a = i=m+ = P (S m+n = j S m = a) 3. Jeżeli znamy wartość S m, to rozkład S m+n zależy tylko od wartości X m+,...x m+n. Odnosząc się do analogii ze wstępu, własność pierwszą można interpretować następująco: pijak wracający z baru chwieje się tak samo, niezależnie od tego gdzie się znajduje. Co więcej (własność druga), będzie on miał taki sam problem z zachowaniem kierunku marszu niezależnie od tego jak dawno opuścił bar (matematyka zajmuje się modelami idealnymi w związku z tym np. stan upojenia alkoholowego jest permanentny, przez co nie istnieje również kac). Porzuciwszy interpretację barową własność trzecią można skwitować filozoficznym stwierdzeniem przyszłość zależy od przeszłości tylko poprzez teraźniejszość. 5

7 .. Bariery pochłaniające Wyobraźmy sobie, że idziemy do kasyna z silnym postanowieniem zdobycia pieniędzy na samochód, który kosztuje $N (ponieważ samochody są drogie N będzie duże). Kasyno opuszczamy z chwilą wygrania założonej kwoty. Oczywiście nic tam po nas, jeśli wszystko przegramy wtedy nie pozostaje nic innego jak powrót do domu (na piechotę). W takich sytuacjach mówimy o spacerze losowym z barierami pochłaniającymi (lewą w 0 i prawą w N). Przykład.4. Gracz zaczyna grę z kapitałem k, 0 k N i kończy grę z chwilą wygrania kwoty N lub przegrania wszystkich pieniędzy. Interesuje nas prawdopodobieństwo bankructwa gracza. Niech A k oznacza zdarzenie, że gracz zaczynający z kapitałem k przegra wszystkie pieniądze, czyli dojdzie do 0 zanim dojdzie do N. Niech p k = P (A k ). Sformułowanie problemu podpowiada nam następujące warunki brzegowe: p 0 =, p N = 0. Wówczas dla k N mamy p k = P (A k X = )p + P (A k X = )q = pp (A k+ ) + qp (A k ) = pp k+ + qp k Dla tego równania rekurencyjnego otrzymujemy następujące równanie charakterystyczne: którego pierwiastkami są x = i x = q p. Rozważmy teraz dwa przypadki: (a) p q Z założenia mamy x x, zatem px x + q = 0, p k = Ax k + Bx k. Z warunków początkowych otrzymujemy układ równań { = A + B 0 = A + B ( q p Rozwiązanie układu równań daje nam wynik ( q p ) N ) k ( q p) N p k = ( q p ) N (b) p = q Z założenia mamy x = x =, zatem p k = A + Bk. Równie dobrze moglibyśmy pytać o prawdopodobieństwo wygrania pieniędzy na samochód, jednak będziemy przeważnie pytali o prawdopodobieństwo bankructwa. Prawdopodobnie wynika to z zawistnej natury ludzkiej. 6

8 Z warunków początkowych otrzymujemy układ równań { = A 0 = A + BN Rozwiązanie układu równań daje nam wynik p k = k N Przykład.5. Tym razem pytamy o oczekiwany czas gry z Przykładu.4. Niech H k oznacza liczbę kroków wykonanych do momentu osiągnięcia którejkolwiek z barier pod warunkiem, że zaczynamy w k oraz niech D k = E(H k ). Z warunków zadania mamy D 0 = D N = 0. Dla każdego k N mamy D k = E(H k X = )p + E(H k X = ) q = (D k+ + )p + (D k + )q = = pd k+ + qd k + Niech p q. Przypuśćmy, że rozwiązanie jest postaci D k = αk, gdzie α jest pewną stałą. Wówczas αk = pα(k + ) + qα(k ) + = kpα + pα + kqα qα + = αk + pα qα + pα qα + = 0 α = p Zatem D k = k p jest szczególnym rozwiązaniem równania D k = pd k+ + qd k +. Na podstawie Przykładu.4 wiemy, że rozwiązanie ogólne równania jednorodnego jest postaci A + B q p, zatem rozwiązanie naszego równania rekurencyjnego będzie postaci D k = Z warunków początkowych otrzymujemy k p + A + B { 0 = A + B ( ) q k p 0 = N p + A + B ( q p) N, a stąd A = B = ( p) N ( (q p ) N ) N ( (q ) ) N ( p) p 7

9 Zatem D k = k p + N N ( (q ) ) N ( (q ) ) N ( p) p ( p) p ( = k ( ) ) p + N q k ( (q ) ) N p ( p) p ( ) q k = p Zajmiemy się teraz przypadkiem symetrycznym, p = q =. Wówczas D k = D N k, a równanie rekurencyjne jest postaci D k D k = D k+ D k + Oznaczmy B k = D k D k. B k = B k+ + B = D B N = D N = D B = B N + (N ) D = D N = N B k = B N + (N k) = N k + D = B + D = N 3 + N = (N ) = D N Udowodnimy indukcyjnie, że D k = k(n k). D k = B k + D k = N k + + (k )(N k + ) = k(n k).3. Bariery odpychające Weźmy teraz pod uwagę następującą sytuację: grający ma bogatego wuja, który, w zależności od nastroju, przesyła z prawdopodobieństwem p siostrzeńcowi marnotrawnemu $ gdy ten przegra wszystkie swoje pieniądze. Mówimy wtedy, że dolna bariera jest odpychająca. Przykład.6. Niech S n będzie PSL z dolną barierą odpychającą, a górną pochłaniającą, czyli P (S n+ = S n = 0) = p, P (S n+ = 0 S n = 0) = q, co oznacza, że przy osiągnięciu 0 z prawdopodobieństwem p przejdziemy do, a z prawdopodobieństwem q = p zostaniemy w 0 (nie możemy zejść poniżej 0). Niech G k oznacza liczbę kroków wykonanych do momentu osiągnięcia górnej bariery pod warunkiem, że zaczynamy w k. Niech F k = E(G k ). Równanie rekurencyjne dla tego przykładu jest takie samo jak w Przykładzie.5, jednak z innymi warunkami początkowymi: F N = 0, F 0 = p(f + ) + q(f 0 + ).

10 . Wykład : PSL metoda zliczania ścieżek Wstęp Będziemy dalej studiować zachowania osobnika, którego grą zajmowaliśmy się na Wykładzie. Tym razem bardziej interesować nas będą jego pełne wrażeń wędrówki w stanie upojenia (np. zwycięstwo w kasynie). Dowiemy się, że jego kochająca (lub nie) żona może mieć spore problemy z odnalezieniem swojego męża jeśli go nie zastanie w kasynie, ponieważ w trakcie wędrówek, pomiędzy przegrywaniem kolejnych dolarów, odwiedza on wszystkich możliwych znajomych i nieznajomych. Ponadto dowiemy się w jaki sposób należy obstawiać zwycięstwo jednego z kandydatów w wyborach w trakcie kolejnego wyczytywania głosów, które otrzymali... Zasada odbicia Niech X, X,... będzie ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie prawdopodobieństwa (iid): { z prawdopodobieństwem p X i = z prawdopodobieństwem q = p Rozważmy prosty spacer losowy S n = S 0 + Zakładając, że zaczynamy w punkcie S 0 = a możemy policzyć prawdopodobieństwo, że po n krokach znajdziemy się w punkcie b: ( ) P (S n = b S 0 = a) = p n+b a q n b+a n n+b a Jest tak, gdyż idąc z punktu a do b w n krokach niezależnie od trajektorii zawsze musimy wykonać tyle samo kroków w górę i tyle samo kroków w dół, trzeba jedynie wybrać ich pozycje. Wprowadźmy na chwilę zmienne pomocnicze: n X i r = n + b a, l = n b + a Wówczas to prawdopodobieństwo możemy zapisać następująco: ( ) ( ) n n P (S n = b S 0 = a) = p r q l = p r q l (..) r l 9

11 Wprowadźmy następujące oznaczenia: Liczbę wszystkich trajektorii (ścieżek) od a do b w n krokach będziemy oznaczać przez N n (a, b). Liczbę wszystkich trajektorii (ścieżek) od a do b w n krokach przecinających oś OX będziemy oznaczać przez N 0 n(a, b). Fakt.: N n (a, b) = ( ) n = r ( ) ( ) n n = n+b a l Zasada. (Zasada odbicia). Liczba wszystkich trajektorii od a do b, które przecinają oś OX, jest równa liczbie wszystkich trajektorii od a do b. Innymi słowy: N 0 n(a, b) = N n ( a, b) Dowód. Niech π będzie dowolną trajektorią z a do b. Przez (k π, 0) oznaczmy punkt pierwszego kontaktu π z osią OX. Niech π będzie trajektorią powstałą poprzez odbicie π względem OX na odcinku od 0 do (k π, 0). Wówczas π jest trajektorią od a do b, a powyższe przyporządkowanie bijekcją pomiędzy zbiorami N 0 n(a, b) i N n ( a, b) π (k π, 0) n π Rysunek.. Odbijanie ścieżki od (0,0) do (k π,0) Wniosek.3 (Whitworth 878 Ballot Theorem). Niech b > 0. Liczba ścieżek z (0, 0) do (n, b), które na odcinku < (, 0), (n, 0) > nie przecinają osi OX wynosi: ( ) b n n+b n 0

12 Dowód. Zauważmy, że pierwszy ruch musi być na pozycję (, ). Mamy zatem: = = N n (, b) Nn (, 0 b). = N n (, b) N n (, b). = ( ) ( ) n n = = (n + b ) (n + b + ) (n )! ( (n + b))!(n (n + b))! (n )! ( (n + b))!(n = (n + b))! (n )! ( (n + b) )!(n (n + b))! (n )! ( (n + b))!(n = (..) (n + b))! (n )!( (n + b)) (n + b)) = ( (n + b))!(n (n + b))! (n )!(n ( (n + b))!(n = (n + b))! = ( n (n + b) (n ) n! (n + b) ( (n + b))!(n = (n + b))! = b ( ) n n+b n Zadanie.4. Mamy dwóch kandydatów startujących w wyborach prezydenckich o imionach Kaczor i Donald. Kaczor otrzymał α głosów, a Donald β, gdzie (co skądinąd wiemy) α > β. Co więcej cały naród uczestniczył w następującej grze: w trakcie wieczoru wyborczego podczas wyczytywania (i liczenia) głosów oddanych na kandydatów, zakłady bukmacherskie pozwalają obstawiać (np. przez internet) zwycięzcę. Potrzebują jednak algorytmu (wszystko musi odbywać się w czasie rzeczywistym), który pozwoli im ustalić takie stawki, aby na tym zarobić. Na razie wiedzą jedynie jakie jest prawdopodobieństwo, że podczas wyczytywania głosów Kaczor będzie prowadził: P = #{Wszystkie ścieżki od (0, 0) do (α + β, α β) nie przecinające osi OX} #{Wszystkie ścieżki od (0, 0) do (α + β, α β)} = α β α + β.. Powroty do osi Można sobie postawić pytanie: jakie jest prawdopodobieństwo, że spacer poza kasynem będzie miał długość przynajmniej n? Wniosek.5. Jeśli S 0 = 0, to dla każdego n mamy: A stąd wynika, że również: P (S 0,...,S n 0, S n = b) = b n P (S n = b) P (S 0,...,S n 0) = n E( S n )

13 Dowód. Niech b > 0. Wtedy P (S 0,...,S n 0, S n = b).3 = b n N n(0, b)p n+b n b q Analogicznie możemy stwierdzić, że dla b < 0 zachodzi. = b n P (S n = b) P (S 0,...,S n 0, S n = b) = b n N n(0, b)p n b q n+b = b n P (S n = b) zatem ogólny wzór zapisujemy jako P (S 0,...,S n 0, S n = b) = b n P (S n = b) Czyli pierwsza równość została udowodniona. Drugą można pokazać przez następujące przejścia: P (S 0,...,S n 0) = b 0 P (S 0,...,S n 0, S n = b) = = b b n P (S n = b) = n E( S n ) Oznaczmy przez M n maksymalną wartość jaką osiągnie S i na odcinku do 0 do n: Dla S 0 = 0 mamy oczywiście M n 0. Twierdzenie.6. Dla każdego r mamy: P (M n r, S n = b) = M n = max 0 i n S i. { P (Sn = b) b r ( ) r b q p P (Sn = r b) b < r Wniosek.7. Dla p = q mamy: Dowód. P (M n r) = b P (M n r) = P (S n r) + P (S n r + ) P (M n r, S n = b).6 = = P (S n r) + c=r+ n P (S n = b) + b=r r b= ( ) q r b P (S n = r b) = p ( ) q c r P (S n = c) = P (S n r) + P (S n r + ) p

14 r (n, r b) b i π n Rysunek.. Odbicie symetryczne ścieżki względem prostej y = r Dowód Twierdzenia.6. Bez straty ogólności możemy przyjąć, że r i b < r. Niech N r n(0, b) oznacza liczbę ścieżek π z (0, 0) do (n, b), które przecinają prostą y = r. Ponadto niech i π = min (i,r) π {i} oznacza pierwszy moment czasu, w którym osiągnięta zostanie prosta y = r. Możemy symetrycznie odbić względem prostej y = r segment ścieżki dla i π x n. Tak określone przekształcenie wyznacza bijekcję między zbiorami. Wówczas: N r n(0, b) = N n (0, r b) P (M n r, S n = b). = Nn(0, r b)p n+b n b q = N n (0, r b)p ( n+r b ( ) q r b = P (S n = r b) p + b r ) q ( n r+b = + r b )..3. Zagadnienie pierwszych odwiedzin W niniejszym rozdziale opisane zostanie prawdopodobieństwo zdarzenia, że startując z (0, 0) osiągniemy punkt b > 0 po raz pierwszy w n-tym kroku. Definicja.8. Niech f b (n) oznacza prawdopodobieństwo, że startując z 0 trafimy w punkt b po raz pierwszy w n-tym kroku (n ). f b (n) = Twierdzenie.9 (Hitting time Theorem). { P (S0 = 0, S,...,S n < b, S n = b) b > 0 P (S 0 = 0, S,...,S n > b, S n = b) b < 0 f b (n) = b n P (S n = b) 3

15 Dowód. Ograniczymy się do dowodu dla b > 0. Dla b < 0 dowód przebiega analogicznie. f b (n).8 = P (M n = b, S n = b, S n = b) = = P (S n = b M n = b, S n = b ) P (M n = b, S n = b ) = = pp (M n = b, S n = b ) = = p [P (M n b, S n = b ) P (M n b, S n = b )] = [ ( ).6 q b (b ) = p P (M n b S n = b ) P (S n = b ) P (S n = b (b ))] = p [ ( ) ] q = p P (S n = b ) P (S n = b + ) = p ( ) ( ).. n = p p (n+b ) q n (n b) q p (n+b) q (n b ) = (n + b ) (n + b) (( ) ( )) n n = p (n+b) q (n b) = (n + b ) (n + b). = b n N n(0, b)p (n+b) q (n b) =.. = b n P (S n = b).3.. Technika odwracania Twierdzenie.9 jest w swojej tezie bardzo podobne do Wniosku.5. Podobieństwo to nie jest przypadkowe i poniżej zostanie przedstawiona technika (tzw. technika odwracania spaceru losowego), która pokaże, że w istocie oba te twierdzenia są dualne. Definicja.0 (Odwracanie spaceru losowego). Dla niezależnych zmiennych losowych X, X,... o jednakowym rozkładzie (iid) odwróceniem spaceru losowego (składającego się z n kroków): { } n {0, S, S,...,S n } = 0, X, X + X,..., X i nazywamy następujący spacer (n-krokowy): { {0, T, T,...,T n } = 0, X n, X n + X n,..., } n X i Zauważmy, że na podstawie powyższej definicji możemy przeformułować jedno twierdzenie w drugie. Czyli dla n i : S,...,S n 0, S n = b T n = b, T n T n i = X X i > 0 To oznacza, że pierwsza wizyta w b dla odwróconego spaceru nastąpi w chwili n, zatem: P (S,...,S n 0, S n = b) = f b (n) 4

16 wyjściowa ścieżka n odwrócona ścieżka Rysunek.3. Technika odwracania Zasadę tę można wykorzystać do obliczenia średniej liczby wizyt w b do pierwszego powrotu do 0. µ b = E(#wizyt w b przed pierwszym powrotem do 0) = ( ) = E I n = E(I n ) = P (I n = ) = P (S,...,S n 0, S n = b) = = n= n= f b (n) = P ( n : S n = b) n= n= n= gdzie I n jest zmienną indykatorową: { gdy S 0,...,S I n = n 0, S n = b 0 w pozostałych przypadkach a równość jest prawdziwa, gdyż zdarzenia określone w prawdopodobieństwie f b (n) są rozłączne. Powyższe uwagi prowadzą do następującego twierdzenia: Twierdzenie.. Jeśli p = q, to dla dowolnego b > 0 zachodzi µ b =. Powyższe rozważania można zinterpretować w następujący sposób: Rzucamy monetą aż liczba orłów zrówna się z liczbą reszek. Gracz dostaje wypłatę za każdym razem, gdy różnica między liczbą orłów i reszek wynosi b. Zgodnie z twierdzeniem, aby gra była sprawiedliwa, opłata za nią musi wynosić niezależnie od tego ile wynosi b.

17 3. Wykład 3: Funkcje tworzące Dokończenie poprzedniego wykładu Załóżmy, że S 0 = 0, p =. Niech T będzie spacerem odwrotnym do S, a T n oznacza czas ostatniej wizyty w punkcie 0 w ciągu pierwszych n kroków. Ponadto oznaczmy α n (k) = P (T n = k) oraz u k = P (S k = 0). Twierdzenie 3. (Prawo arcusa sinusa). α n (k) = u k u n k Przed rozpoczęciem dowodu zauważmy, że u k = P (S k = 0) = ( k k zatem dla dużych k i n k mamy ) ( α n (k) ) k 4πk (k) k e k ( πk k k e k ) k = πk, π k(n k). Ponadto zauważmy jak zachowuje się następująca dystrybuanta: ( ) Tn F T n (x) = P n n x = P (T n nx) π k(n k) k xn xn 0 dk π k(n k) = π arcsin( x). Jeśli przeformułujemy problem na język orłów i reszek, to mogą zadziwić nas następujące zaskoczątka : ) Intuicja podpowiada, że ostatnie zrównanie się liczby orłów i liczby reszek powinno mieć miejsce pod koniec eksperymentu, ale α n (k) = α n (n k). Dla przykładu mamy: ( P T n n ) = P (T n 90 ) 0 (n) 6

18 oraz P (T n n) = P (T n n) ) Intuicyjnym jest również, że powinno być dużo zrównań liczby orłów i reszek podczas eksperymentu, ale P (T n n) = (, P T n n ) ( ) 0 π arcsin 0 5. Dowód twierdzenia 3.. α n (k) = P (T n = k) = P (S k = 0, S k+... S n 0) = = P (S k = 0) P (S... S n k 0) = = P (S k = 0) P (S n k = 0) = = u k u n k gdzie pierwsza równość wynika z techniki odwracania spacerów losowych, a równość * wynika z zadania domowego Funkcje tworzące Definicja 3.. Funkcję G a (s) = a i s i nazywamy funkcją tworzącą dla danego ciągu a = (a 0, a,...). Funkcję a i s i E a (s) = i! nazywamy wykładniczą funkcją tworzącą dla danego ciągu a. Definicja 3.3. Splotem (konwolucją) danych dwóch ciągów a i b nazywamy taki ciąg c = a b, że n c n = a i b n i Ponadto jest jasne, że G c = G a G b. i=0 Przykład 3.4. Niech dane będą takie dwa skończone ciągi a i b, że a i = b i = ( n i) = an i, dla i = 0,,..., n. Niech c = a a, a zatem c k = k ( n i=0 i) dla k = 0,,..., n. Mamy wtedy czyli z definicji 3.3 dla każdego k = 0,,..., n. i=0 i=0 G c (s) = (G a (s)) = (( + s) n ) = ( + s) n = c k = ( ) n = k k i=0 7 ( )( ) n n, i k i n i=0 ( n i ) s i,

19 Definicja 3.5. Niech X Z będzie zmienną losową. Wówczas funkcję G X (s) = E ( s X) = i s i P (X = i) = i s i p i = G p (s) nazywamy funkcją tworzącą prawdopodobieństwa zmiennej losowej X. Przykład 3.6. Dla rozkładu Poissona: G(s) = e λ(s ) Przykład 3.7. Dla rozkładu geometrycznego 3... Liczenie momentów G(s) = ps s( p) Okazuje się, że funkcje tworzące są bardzo przydatne w liczeniu kolejnych momentów zmiennych losowych dyskretnych. Definicja 3.8. Spadającym iloczynem nazywać będziemy wartość (a) k = a! (a k)! Definicja 3.9. Wartość E((X) k ) będziemy nazywali k-tym momentem silniowym zmiennej losowej X. W terminach momentów silniowych można z łatwością opisać wariancję: V ar(x) = E((X) ) + E(X) (E(X)) Twierdzenie 3.0. Niech X będzie dyskretną zmienną losową o funkcji tworzącej G(s). Wtedy gdzie gdy promień zbieżności szeregu jest równy. E((X) k ) = G (k) (), G (k) () = lim s G (k) (s), Dowód. Niech s <. Po obliczeniu k-tej pochodnej mamy: G (k) (s) = ) s i k (i) k p i = E (s X k (X) k i Dla s z twierdzenia Abela dla szeregów nieskończonych mamy: G (k) () = lim s G (k) (s) = E((X) k ). 8

20 3... Sumy zmiennych niezależnych Funkcje tworzące ułatwiają także określanie rozkładów sum niezależnych zmiennych losowych. Jest tak dzięki prostej zależności opisanej w poniższym twierdzeniu. Twierdzenie 3.. Niech X, Y będą niezależnymi dyskretnymi zmiennymi losowymi. Wtedy G X+Y (s) = G X (s)g Y (s) Dowód. Z niezależności X i Y zmienne losowe s X i s Y są również niezależne, więc E ( s X s Y ) = E ( s X) E ( s Y ) Przykład 3.. Niech S n będzie zmienną losową o rozkładzie dwumianowym Bin(n, p). Wtedy oczywiście S n = n X i, gdzie X i są niezależnymi zmiennymi losowymi zero jedynkowymi przyjmującymi wartość z prawdopodobieństwem p i wartość 0 z prawdopodobieństwem q = p. Czyli dla dowolnego i mamy G Xi = s 0 q + s p = q + ps. Ostatecznie, korzystając z twierdzenia 3.: G Sn (s) = (G X (s)) n = (q + ps) n. A co jeśli zmienna losowa jest sumą losowej liczby niezależnych zmiennych losowych? Twierdzenie 3.3. Niech X, X,... będą niezależnymi zmiennymi losowymi o jednakowym rozkładzie (iid). Oznaczmy G Xi = G dla i =,.... Niech N {0,,,...} będzie zmienną losową niezależną od X, X,... oraz S = X + X X N. Przy tych oznaczeniach zachodzi równość G S (s) = G N (G(s)). Dowód. G S (s) = E ( s S) = E ( E ( s S N )). Czyli z niezależności zmiennych N i X, X,... oraz definicji wartości oczekiwanej: G S (s) = n = n = n = n E ( s S N = n ) P (N = n) = E ( s X +X +...+X n ) P (N = n) = E ( s X )... E ( s Xn) P (N = n) = (G (S)) n P (N = n) = 3.5 = G N (G (s)). 9

21 Przykład 3.4. Kura znosi N jaj, gdzie N jest zmienną losową o rozkładzie Poissona Po(λ). Z każdego z jaj z prawdopodobieństwem p wykluwa się kurczak, natomiast z prawdopodobieństwem q = p nie wykluwa się nic. Można zadać pytanie: Ile wykluje się kurcząt?. Będzie to pytanie o rozkład zmiennej losowej S = N X i. Skoro: oraz e λ λ i G N (s) = s i = e λ(s ) i! i=0 G Xi (s) = G(s) = q + ps więc z twierdzenia 3.3 G S (s) = G N (G (s)) = e λ(q+ps ) = e λp(s ). Czyli ostatecznie S ma rozkład Poissona Po(λp) Zastosowanie dla spacerów losowych Po obfitej jajecznicy możemy wyjść na spacer. W spacerze losowym o punkcie początkowym w zerze (S 0 = 0) zdefiniujmy czas, po którym po raz pierwszy wrócimy do punktu wyjścia, czyli: T 0 = min {S n = 0 : n }. Oczywiście T 0 {, 4,...} { }. Chcemy znaleźć rozkład tej zmiennej losowej. Wprowadźmy następujące oznaczenia: f 0 (0) = 0 f 0 (n) = P (T 0 = n) = P (S,...,S n 0, S n = 0), dla n p 0 (n) = P (S n = 0) Przy tych oznaczeniach zmienne losowe T 0 i S n mają funkcje tworzące: Twierdzenie 3.5. Następujące równości są prawdziwe: (a) P 0 = + P 0 F 0 (b) P 0 (s) = 4pqs (c) F 0 (s) = 4pqs P 0 (s) = F 0 (s) = p 0 (n)s n n=0 f 0 (n)s n n=0 Dowód. Udowodnijmy najpierw punkt (a) twierdzenia. Zauważmy, że dla dowolnego n p 0 (n) = n f 0 (k)p 0 (n k), k= 0

22 gdyż jeśli w k-tej chwili jesteśmy w punkcie wyjściowym, to tak, jak byśmy zaczynali spacer od nowa. Czyli, mówiąc nieformalnie, sumujemy po wszystkich momentach bycia wcześniej w zerze po raz pierwszy, a potem resetujemy czas. Korzystając z operacji splotu, funkcji tworzących P 0 i F 0 oraz pamiętając, że p 0 (0) = i f 0 (0) = 0 mamy: P 0 (s) = = = p 0 (n)s n = n=0 p 0 (n)s n = n= ( n ) f 0 (k)p 0 (n k) s n = n= ( m = k= f 0 (m )s m Punkt (b) twierdzenia wynika z tego, iż p 0 (n) = ) ( m =0 p 0 (m )s m ( ) n (pq) n. n/ Ostatecznie, korzystając z rozwiązania zadania domowego 3.6 mamy: p 0 (s) = 4pqs ) = F 0 (s)p 0 (s). Punkt (c), po prostych przeliczeniach, wynika bezpośrednio z (a) i (b). Wniosek 3.6. (i) Jeśli p = q = to z prawdopodobieństwem wrócimy do punktu wyjścia gdyż: (ii) Dla p = f 0 (n) = F 0 () = 4pq = (p q) = p q n= wartość oczekiwana czasu powrotu jest nieskończona, gdyż skoro: ( lim F 0(s) = lim ) 4pqs s = lim s s s s =, więc E(T 0 ) = F 0 () =.

23 4. Wykład 4: Funkcje tworzące. Procesy gałązkowe Wprowadzenie Kontynuując nasz spacer spróbujemy w sposób matematyczny spojrzeć na zjawisko déjà vu, wstąpimy do kasyna, by oddać się po raz kolejny dobrze nam znanej, lecz wciąż niezmiernie fascynującej grze w orła i reszkę, a kiedy w końcu wreszcie wyjdziemy na zero przyjrzymy się bliżej niezwykłej populacji monet. 4.. Funkcje tworzące (dokończenie) 4... Moment pierwszych odwiedzin Bywa tak, że wstępując do lokalu odnosimy wrażenie, że miejsce to jest nam dziwnie znajome znajome stoliki, znajome wnętrze, znajomy barman... zupełnie tak, jakbyśmy kiedyś już tu byli. Zaczynamy się wtedy zastanawiać: kiedy to było? Jeśli nie jest to tylko złudzenie (tzw. déjà vu), to w znalezieniu odpowiedzi na to pytanie może nam pomóc aparat funkcji tworzących. Niech f r (n) = P (S r,...,s n r, S n = r) oznacza prawdopodobieństwo, że punkt r osiągniemy po raz pierwszy w n-tym kroku. Funkcję tworzącą tego ciągu oznaczmy przez F r (s) = f r (n)s n. n= Zwróćmy uwagę, że może zachodzić F r () <, ponieważ może się zdarzyć, że nigdy nie osiągniemy punktu r (istnieją spacery, które nie docierają do r). Twierdzenie 4.. Zachodzą następujące równości: (a) F r (s) = (F (s)) r dla r. (b) F (s) = 4pqs qs. Intuicyjnie część (a) tego twierdzenia należy rozumieć w ten sposób, że aby dojść do punktu r musimy wpierw pokonać dystans jednego kroku w prawo, potem kolejny taki sam dystans i tak dalej ( krok po kroku albo inaczej ziarnko do ziarnka aż zbierze się miarka ).

24 Dowód twierdzenia 4.. (a) Znajdźmy prawdopodobieństwo, że w n-tym kroku po raz pierwszy pojawimy się w punkcie r. Dla r = teza jest oczywista. W dalszej części dowodu będziemy zakładać, że r >. Korzystając ze wzoru na prawdopodobieństwo całkowite otrzymujemy: n f r (n) = f (k)f r (n k) k= (aby dojść z zera do r, musimy najpierw dojść do punktu w k krokach, a następnie w n k krokach z punktu do punktu r). Po pomnożeniu obustronnie przez s n i zsumowaniu po n dostajemy n f r (n)s n = f (k)f r (n k)s n, n= n= k= co z kolei ze wzoru na mnożenie szeregów możemy dalej przekształcić na ( ) f r (n)s n = f r (i)s i f (j)s j, n= j= czyli F r (s) = F r (s)f (s). Postępując analogicznie dla F r (s), F r (s)... otrzymujemy tezę. (b) Niech zmienna losowa T r = min{n: S n = r} oznacza moment pierwszej wizyty w punkcie r. Prawdopodobieństwo, że do dojdziemy w pierwszym kroku, jest oczywiście równe P (T = ) = f () = p. Niech teraz n >. Ze wzoru na prawdopodobieństwo całkowite P (T = n) = P (T = n X = ) p + P (T }{{} = n X = ) q. =0 Prawdopodobieństwo P (T = n X = ) jest zerowe, gdyż, jeśli zrobiliśmy pierwszy krok w prawo, to znaczy, że przybyliśmy do punktu za wcześnie. Z kolei z jednorodności czasowej i przestrzennej (zobacz Twierdzenie.3) widać, że a stąd P (T = n X = ) = P (T = n S 0 = ) = P (T = n ), P (T = n) = P (T = n ) q, f (n) = f (n )q. 3

25 Po obustronnym pomnożeniu przez s n i zsumowaniu po n dostajemy f (n)s n = q f (n )s n n= n= n= f (n)s n f ()s = sq f (n )s n n= f (n)s n ps = sq f (n)s n n= n= F (s) ps = sqf (s) F (s) ps = qs (F (s)) qs (F (s)) F (s) + ps = 0 Powyższe równanie kwadratowe ma pierwiastki F (s) = 4pqs qs Ponieważ wiemy, że F (0) = 0, a z drugiej strony, F (s) = + 4pqs. qs + 4pqs F (0) = lim s 0 qs zatem należy odrzucić rozwiązanie F (0). Zostaje F (s) = 4pqs. qs =, Wniosek 4.. Prawdopodobieństwo, że spacer kiedykolwiek wejdzie na dodatnią stronę osi, wynosi { p q F () = = min, p }. q q Przypomnijmy Twierdzenie.9, które mówi, że f (n) = n P(S n = ). Podstawiając ten wynik do definicji funkcji tworzącej F r otrzymujemy F () = f (n) = n= n= n P(S n = ). Podejrzliwy umysł zastanawia się, czy otrzymane wyniki są sobie równe... 4

26 Czytelnikowi zostawiamy dowód tego faktu (jako zadanie domowe 4.3) oraz wskazówkę, że dla p = q i n = m : ( ) n F () = n+ n n= n = (m )! m!(m )! m. m= Wystarczy pokazać, że powyższa suma równa jest wyrażeniu ( ) ( ) m+ = =. m m= 4... Czas przebywania na dodatniej półosi Wstąpmy jeszcze na chwilę do kasyna. Tutaj krupier proponuje nam ciekawą grę. Rzucamy n razy pod rząd monetą. Ilekroć wyrzucimy orła, dostajemy dolara, zaś kiedy wyrzucimy reszkę, musimy jednego dolara oddać. Po skończonej grze wyszliśmy na zero wyrzuciliśmy tyle samo orłów, ile reszek. Mina nam trochę zrzedła liczyliśmy, że zyskamy choć dolara. Myśl ucieka nam do tych radosnych chwil, kiedy skończona przed chwilą gra jeszcze trwała, a my cieszyliśmy się przewagą naszych dzielnych orłów nad hordami podłych reszek... Jak długo trwały te szczęśliwe chwile? Jaki czas utrzymywaliśmy się nad kreską? Doświadczenie to można traktować jako prosty spacer losowy o długości n, który rozpoczął i zakończył się w zerze. Będziemy rozważać warunkową przestrzeń probabilistyczną pod warunkiem, że S n = 0. Niech zmienna losowa L n oznacza liczbę kroków pobytu na dodatniej półosi w czasie {,,...,n}. Za krok będziemy tym razem uważali przejście z jednego punktu do drugiego, przy czym, żeby uznać krok za dodatni, wystarczy, że dodatni będzie jego punkt początkowy bądź końcowy. Innymi słowy, dodatnimi krokami są te odcinki wykresu, które znajdują się nad osią odciętych. Zauważmy, że rozkład prawdopodobieństwa na tej przestrzeni warunkowej nie zależy od wartości p. Zauważmy również, że zmienna losowa L n może przyjmować tylko parzyste wartości (ze zbioru {0,,...,n}). Można by przypuszczać, że jej rozkład skupia się w połowie zakresu, tj. w okolicach n. Okazuje się jednak, że zachodzi następujące, sprzeczne z intuicją twierdzenie: Twierdzenie 4.3. Dla każdego k = 0,,...,n: P (L n = k S n = 0) = n + Dowód. Przyjmijmy w naszych rozważaniach, że p = q =. Niech s, t <. Bierzemy dwie funkcje tworzące: G n (s) = E ( s L n S n = 0 ) = n s k P (L n = k S n = 0), k=0 F 0 (s) = E(s T 0 ), gdzie T 0 oznacza czas pierwszego powrotu do zera. 5

27 Teraz (znienacka!) bierzemy następującą funkcję H(s, t) = Naszym celem będzie pokazanie, że Wówczas stanie się jasne, że n t n P (S n = 0) G n (s). n=0 G n (s) = s k n n + = k=0 k=0 n k=0 s k n +. s k P (L n = k S n = 0), a stąd (z porównania współczynników) wynika teza. Postawimy sobie teraz cel pomocniczy (podcel), którym będzie wykazanie, iż H(s, t) = H(s, t)(f 0(t) + F 0 (st)). Z własności funkcji tworzącej i wartości oczekiwanej (analog wzoru na prawdopodobieństwo całkowite) otrzymujemy: G n (s) = n E ( s L n S n = 0, T 0 = r ) P (T 0 = r S n = 0). r= Z jednorodności czasowej (Twierdzenie.3): E ( s L n S n = 0, T 0 = r ) = E ( s L n r S n r = 0 ) E ( s L r T 0 = r ) = = G n r (s) }{{} z definicji r k=0 ( s k P (L r = k T 0 = r) = G }{{} n r (s) + ) sr. jest niezerowe tylko dla k {0,r} Z kolei z jednorodności czasowej (Twierdzenie.3) i wzoru na prawdopodobieństwo warunkowe: P (T 0 = r S n = 0) = P (T 0 = r) P (S n r = 0). P (S n = 0) Po podstawieniu otrzymujemy: G n (s) = P (S n = 0) G n (s) = n ( G n r (s) + ) P (T0 = r) P (S n r = 0) sr P (S n = 0) n ( ) (G n r (s)p (S n r = 0)) ( + sr )P (T 0 = r) r= r= 6

28 Po obustronnym pomnożeniu przez t n i zsumowaniu po n dostajemy: t n P (S n = 0)G n (s) = n= n G n r (s)p (S n r = 0)t n ( + s r )P (T 0 = r) n= r= H(s, t) = = r= n=r r= m=0 co było naszym podcelem. Wyznaczamy: G n r (s)p (S n r = 0)t n r ( t r + (st) r) P (T 0 = r) = G m (s)p (S m = 0) t m ( t r + (st) r) P (T 0 = r) = } {{ } =H(s,t) ( = ) H(s, t) t r P (T 0 = r) + (st) r P (T 0 = r) = r= = H(s, t)(f 0(t) + F 0 (st)) r= H(s, t) = F 0 (t) F 0 (st) = t + s t = ( s t ) t = t ( s = ) = t n s n+ P(S n = 0) (n + )( s ). n=0 Wynika stąd, że: co było naszym celem. G n (s) = s n+ n + s = n + n k=0 s k 4.. Procesy gałązkowe Siedząc w kasynie (lub w jakiejś knajpie, do której zaniósł nas stamtąd jakiś spacer losowy) i dumając nad ostatnią monetą, która została nam w kieszeni, chcielibyśmy nieraz, żeby się nam ta moneta rozmnożyła. Wiemy, że w rzeczywistości prawdopodobieństwo takiego zdarzenia jest równe zero. Lecz gdyby tak puścić wodze wyobraźni i przyjąć, że z jednej monety powstaje kilka w każdym kolejnym pokoleniu i zmienne losowe opisujące liczbę dzieci każdej monety są niezależne oraz o jednakowym rozkładzie, to jakie byłoby prawdopodobieństwo, że w końcu uzbieralibyśmy na ten wymarzony samochód? 7

29 Powyższy proces jest przykładem procesu gałązkowego, zwanym też procesem Galtona -Watsona. Procesy gałązkowe modelują rozwój populacji (jednopłciowej, rozmnażającej się przez podzial, np. bakterii, ameb, monet, lub innych mikroorganizmów). Zmienne losowe Z n (przyjmujące nieujemne wartości) oznaczają liczbę osobników w n-tym pokoleniu. Przyjmujemy zawsze, że jest jeden protoplasta rodu, czyli Z 0 =. Jak już wspomnieliśmy, zmienne losowe opisujące ile dzieci ma każdy osobnik, są niezależne o jednakowym rozkładzie (iid). Główne pytanie pojawiające się w tym kontekście to: jaka jest szansa, że dana populacja przeżyje? Wprowadźmy następujące oznaczenie: Zachodzi następujące twierdzenie: Twierdzenie 4.4. Dowód. G n (s) = G Zn (s) = E ( s Zn). G m+n (s) = G n (G m (s)) = G m (G n (s)) = G(G(... G(s)...)). Z m+n = X + X X Zm, gdzie X i oznacza liczbę potomków i-tego osobnika z m-tego pokolenia po n pokoleniach (czyli w (m + n)-tym pokoleniu). Na podstawie Twierdzenia 3.3: Ponadto z Twierdzenia.3: Mamy więc: a stąd już dostajemy tezę. G m+n (s) = G m (G X (s)). G X (s) = G n (s) G n (s) = G (G n (s)) =... = G (G (...G (s)...)), Francis Galton (8-9) przyrodnik, antropolog i podróżnik angielski. Henry William Watson (87-903) matematyk angielski.

30 5. Wykład 5: Procesy gałązkowe. Łańcuchy Markowa. Wprowadzenie W pierwszej części dokończymy omawianie procesów gałązkowych udowadniając lemat o wartości oczekiwanej i wariancji zmiennej losowej procesu gałązkowego. Omówimy także tzw. geometryczny proces gałązkowy i prawdopodobieństwo wyginięciaw takim modelu. W drugiej części przejdziemy do zagadnienia łańcuchów Markowa przytaczając podstawowe definicje i własności. 5.. Procesy gałązkowe (dokończenie) Twierdzenie 4.4 dostarcza nam informacji o Z n, ale w praktyce wyznaczenie G n (s) może okazać się trudnym zadaniem. Możemy jednak wyznaczyć momenty zmiennej losowej Z n w funkcji wartości momentów zmiennej Z. Lemat 5.: Oznaczmy µ = E(Z ), σ = V ar(z ) wtedy { E(Z n ) = µ n, V ar(z n ) = nσ dla µ =, σ (µ n )µ n µ dla µ. Dowód. Różniczkując obustronnie równość G n (s) = G(G n (s)) w punkcie s = otrzymujemy µ n = E(Z n ) = µe(z n ). Rozwijając indukcyjnie równość µ n = µ µ n dostajemy µ n = µ n. Dwukrotnie różniczkując tę samą równość, otrzymujemy G n() = G ()G n () + G ()G n () korzystając z Twierdzenia 3.3 i rozwijając zależność otrzymujemy wynik Geometryczny proces gałązkowy Przedstawimy pewną intuicję na temat geometrycznych procesów gałązkowych na przykładzie historycznym. Przenieśmy się do średniowiecznej Japonii. Żyli tam mężni wojownicy zwani samurajami. Uważa się, że wprawny samuraj potrafił zabić przeciwnika już za pierwszym ciosem, ponoć nawet jednym cięciem przeciąć go na pół, wzdłuż od czubka głowy. Wyobraźmy sobie średniowieczną szkołę samurajów, w której każdy mistrz wybiera kolejno uczniów i przekazuje im całą swoją wiedzę. Z prawdopodobieństwem p wybrany uczeń jest 9

31 na tyle zdolny by pojąć nauki i w krótkim czasie samemu stać się mistrzem i nauczać innych. Niestety z prawdopodobieństwem q = p wybrany uczeń nie jest w stanie pojąć wszystkich tajników wiedzy i przestrzegać zasad kanonu bushido. Zrozpaczony mistrz popełnia wtedy seppuku, a uczeń zostaje wypędzony ze szkoły. Uważa się, że samurajowie wyginęli. Pozostaje pytanie: jakie mieli szanse by przetrwać? Przyrost w następnej populacji w takim modelu wyznaczony jest przez funkcję: P (Z = k) = qp k dla k 0, gdzie q = p Wtedy funkcja tworząca prawdopodobieństwa tej zmiennej losowej jest równa G(s) = q( ps), a wartość oczekiwana E(Z ) = p q. Indukcyjnie można pokazać, że : { n (n )s n+ ns dla p = q = G n (s) =, q[p n q n ps(p n q n )] dla p q. p n+ q n+ ps(p n q n ) Obiektem naszego zainteresowania będzie prawdopodobieństwo wyginięcia społeczeństwa żyjącego w takim modelu. Oznaczmy je przez η. Wówczas: η = P ( n : Z n = 0) = P {Z n = 0} Ponieważ ciąg zdarzeń mówiących o wyginięciu w danej chwili czasu tworzy ciąg wstępujący ({Z n = 0} {Z n+ = 0}), to ze skończonej addytywności otrzymujemy η = P {Z n = 0} = lim P (Z n = 0) n n Jakie jest prawdopodobieństwo, że konkretne Z n = 0? { n n+ dla p = q, P (Z n = 0) = G n (0) = q(p n q n ) dla p q. p n+ q n+ Przy przejściu z n mamy: lim P (Z n = 0) = n n { dla p q, q p dla p > q. Twierdzenie 5. (O wyginięciu). (a) Prawdopodobieństwo wyginięcia η jest równe najmniejszemu nieujemnemu pierwiastkowi równania s = G(s). (b) W szczególności η = { gdy µ < lub µ = i σ > 0, < gdy µ > lub µ = i σ = 0. 30

32 Uwaga 5.3. Zauważmy, że σ = 0 implikuje P (Z = µ) =, co daje η = 0 bo nikt nie może mieć zerowej liczby potomków. Dowód twierdzenia 5.. (a) Niech η n = P (Z n = 0) wtedy η jest pierwiastkiem ponieważ n η n = P (Z n = 0) = G n (0) 4.4 = G(G n (0)) = G(η n ) η = lim η n = lim G(η n ) ciągłość = G G( lim η n ) = G(η) n n n Pokażemy, że η jest najmniejszym pierwiastkiem. Niech ψ będzie nieujemnym pierwiastkiem równania s = G(s). Wtedy, ponieważ G jest niemalejące η = G(0) G(ψ) = ψ indukcyjnie stąd η = G(η ) G(ψ) = ψ <i n η i = G(η i ) G(ψ) = ψ n η n ψ lim n η n ψ (b) Przypadek (I) µ = G () > Rysunek 5.. przypadek µ < Na Rysunku 5.. µ jest współczynnikiem stycznej do G(s) w punkcie s =. Jak widać, w tym przypadku funkcja G(s) musi przecinać się z wykresem funkcji y = s poniżej punktu y = (ponieważ G(0) = η ) stąd z (a) η <. W przypadku gdy η = 0 mamy η = 0. Przypadek (II) µ = G () < 3

33 Rysunek 5.. przypadek µ < Na Rysunku 5.. µ jest współczynnikiem stycznej do G(s) w punkcie s =. Jak widać, w tym przypadku s = jest najmniejszym pierwiastkiem równania G(s) = s. Dla µ < z nierówności Markowa mamy: Czyli P (Z n = 0), a stąd η =. Przypadek (III) µ = P (Z n > 0) E(Z n ) = µ n ale µ n 0 bo µ < Rysunek 5.3. µ =, σ > 0 Rysunek 5.4. µ =, σ = 0 Przykład 5.4 (Zastosowania twierdzenia o wyginięciu dla geometrycznego procesu gałązkowego.). Szukamy rozwiązań równania G(s) = s. G(s) = q( ps) = s q = s ps 3

34 ps s + q = 0 Stąd = 4pq s, = ± p q p s = dla p q, s = q p dla p > q Jak widać uzyskaliśmy taki sam wynik jak przy bezpośrednim policzeniu prawdopodobieństwa wyginięcia dla tego procesu. Ten sam rezultat uzyskujemy także przy przeliczaniu prawdopodobieństwa dojścia do 0 w spacerze losowym startującym z o prawdopodobieństwie q ruchu w lewo i prawdopodobieństwie p pójścia w prawo. Możemy wyobrazić sobie następującą analogię: startujemy z (w naszym społeczeństwie mamy do czynienia z pojedynczą jednostką która mieszka w jednym domostwie). Każdy nowy potomek potrzebuje swojego własnego mieszkania, budujemy mu więc nowy dom. Nasz spacer losowy będzie liczył liczbę domów w wiosce. Rozpatrujemy każdego rodzica po kolei względem wieku. Kiedy wyróżniony osobnik umiera, po jego śmierci domostwo zostaje wyburzone z każdym pogrzebem więc liczba domostw w naszej wiosce zmniejsza się o jeden. Wyginięcie populacji oznaczać będzie, że w naszej wiosce nie pozostał żaden dom, co jest tożsame z dojściem do 0 w spacerze losowym. 5.. Łańcuchy Markowa Procesem Markowa nazywamy ciąg zmiennych losowych, w którym prawdopodobieństwo tego co się zdarzy zależy jedynie od stanu obecnego. W tym rozdziale zajmiemy się zagadnieniem łańcuchów Markowa, czyli procesów Markowa zdefiniowanych na dyskretnej przestrzeni stanów. Łatwo zauważyć, iż rozpatrywane poprzednio zagadnienia spacerów losowych, czy też procesów gałązkowych, są przykładami procesów Markowa. Oznaczmy przez X = (X 0, X,...) ciąg zmiennych losowych dyskretnych. Wartość zmiennej X n będziemy nazywać stanem łańcucha w chwili n. Zakładamy, że zbiór stanów S jest przeliczalny. Definicja 5.5. Mówimy, że X jest łańcuchem Markowa gdy spełnia własność Markowa. Tzn. n P (X n = s X 0 = x 0,...,X n = x n ) = P (X n = s X n = x n ) s,x 0,X,...,X n S Przykład 5.6. Wyobraźmy sobie, że jesteśmy na Florydzie i spacerujemy po bagnach, w których czają się bardzo głodne aligatory. W trosce o własne życie musimy więc przemieszczać się po ściśle wyznaczonych (przez drewniane bale) ścieżkach wytyczonych pomiędzy kolejnymi punktami. Na każdym rozwidleniu w sposób losowy podejmujemy decyzję, w którym kierunku się udamy. Spójrzmy na przykładowe rozmieszczenie takich bal i ścieżek na Rysunku 5.6. Oznaczmy przez X n indeks wierzchołka, w którym znajdziemy się w czasie n. Wtedy (X 0, X,...) 33

35 4 3 Rysunek 5.5. Przykładowy graf ścieżek i połączeń będzie ciągiem zmiennych losowych o wartościach ze zbioru {,, 3, 4}. Załóżmy, że startujemy w punkcie. Mamy wówczas P (X 0 = ) =. Następnie z prawdopodobieństwem przemieszczamy się do kolejnych wierzchołków: P (X = ) = oraz P (X = 4) = Załóżmy, że w czasie n znajdziemy się w wierzchołku. Otrzymamy wtedy: P (X n+ = X n = ) = oraz P (X n+ = 3 X n = ) = Zauważmy teraz, że gdybyśmy rozpatrzyli całą historię spaceru, otrzymane prawdopodobieństwa nie zmienią się: P (X n+ = X 0 = i 0, X = i,...,x n = i n, X n = ) = oraz P (X n+ = 3 X 0 = i 0, X = i,...,x n = i n, X n = ) = bez względu na wybór i 0,...,i n. Jest to znak że podany proces spełnia warunek Markowa. Dla każdego łańcucha Markowa można określić tzw. macierz przejść. Definicja 5.7. Niech P będzie macierzą o wymiarach (k k) i elementach {p ij : i, j =,...,k}. Ciąg zmiennych losowych (X 0, X,...) o wartościach ze skończonego zbioru stanów S = {s,...,s k } nazywamy procesem Markowa z macierzą przejść P, jeżeli dla każdego n, dowolnych i, j {,...,k} i wszystkich i 0,...,i n {,...,k} mamy: P ( X n+ = s j X 0 = s i0, X = s i,...,x n = s in, X n = s i ) = P (Xn+ = s j X n = s i ) = p ij W przykładzie 5.6 macierz przejścia przyjmie postać: P = Obserwacja 5.8. Elementy macierzy przejść (p ij ) i,j=,...,k spełniają następujące własności : 34

36 (i) n p ij = P (X n+ = s j X n = s i ) (ii) p ij 0 dla każdych i, j {,...,k} (iii) p ij = i j Zauważmy, że na postać łańcucha Markowa duży wpływ ma miejsce rozpoczęcia procesu i rozkład prawdopodobieństwa dla punktu wyjścia. Definicja 5.9. Łańcuch Markowa nazywamy jednorodnym gdy w każdej chwili czasu opisuje go ta sama macierz przejść. Łańcuch nazywamy niejednorodnym w przypadku gdy opisuje go ciąg niejednakowych macierzy. Definicja 5.0. Macierz przejść w n krokach z m do m + n definiujemy następująco: gdzie P(m, n + m) = (p ij (m, m + n)) (k k) p ij (m, m + n) = P (X m+n = j X m = i) Obserwacja 5.. Z przypadku gdy łańcuch jest jednorodny możemy przyjąć, że P(m, m+ ) = P. Twierdzenie 5. (Chapmana - Kołmogorowa). Dla jednorodnych łańcuchów Markowa zachodzi równość: n m P(m, m + n) = P n Dowód. Korzystamy ze wzoru na prawdopodobieństwo całkowite w przestrzeni warunkowej p ij (m, m + n + r) 5.0 = k S p ik (m, m + n)p kj (m + n, m + n + r) } {{ } tworzą układ zupełny zdarzeń Powyższa równość to nic innego jak mnożenie macierzy, więc: P(m, m + n + r) = P(m, m + n) P(m + n, m + n + r) = P n P r = P n+r Cofając się indukcyjnie otrzymujemy: P(m, m + n) = P n

37 6. Wykład 6: Klasyfikacja łańcuchów Markowa. Rozkłady stacjonarne. Wstęp Na ostatnim wykładzie dowiedzieliśmy się czym są łańcuchy Markowa oraz poznaliśmy podstawowe zagadnienia z nimi związane (jednorodność, macierze przejść, Twierdzenie Chapmana-Kołmogorowa). W pierwszej części tego wykładu omówimy zagadnienie stanu początkowego oraz dokonamy fragmentarycznej klasyfikacji łańcuchów Markowa ze względu na relacje zachodzące między poszczególnymi stanami. Na końcu zajmiemy się badaniem rozkładu stacjonarnego oraz przytoczymy twierdzenie o zbieżności łańcuchów. 6.. Rozkład początkowy W badaniu łańcuchów Markowa szczególną rolę odgrywa stan początkowy zauważmy, że może on wpłynąć na to, iż do niektórych stanów nie dotrzemy nigdy, a do innych jedynie po pewnym czasie. Formalnie rzecz biorąc stan początkowy to po prostu zmienna losowa X 0. Nie należy się więc dziwić, że czasem łańcuch Markowa nie będzie zaczynał się z jednego wyznaczonego stanu, ale z pewnego rozkładu prawdopodobieństwa na przestrzeni stanów. Definicja 6.. Rozkładem początkowym nazywać będziemy wektor µ 0 określony w następujący sposób: µ (0) = (µ (0), µ(0),...,µ(0) k ) = (P (X 0 = s ), P (X 0 = s ),...,P(X 0 = s k )), gdzie {s,...,s k } jest zbiorem stanów łańcucha. Ponieważ µ (0) jest rozkładem prawdopodobieństwa, więc k µ (0) i =. Analogicznie przez µ (), µ (),... możemy oznaczyć rozkłady prawdopodobieństwa w momentach czasu,,... (czyli rozkłady zmiennych X, X,... ) tak, że µ (n) = (µ (n), µ(n),...,µ(n) k ) = (P (X n = s ), P (X n = s ),...,P(X n = s k )) Przykład 6.. Wróćmy na chwilę do Przykładu 5.6. Był tam dany spacer losowy po kwadracie (Rysunek 5.6), który zawsze zaczynaliśmy od wierzchołka. Jego rozkład początkowy ma zatem postać µ (0) = (, 0, 0, 0). Ponadto można łatwo zauważyć, że w drugim kroku rozkład tego łańcucha ma postać: µ () = (, 0,, 0). 36

38 Okazuje się, że jeśli mamy jednorodny łańcuch Markowa (zobacz Definicję 5.9), znamy jego rozkład początkowy µ (0) oraz macierz przejść P, to w prosty sposób możemy wyznaczyć wszystkie rozkłady µ (), µ (),.... Mówi o tym następujące twierdzenie: Twierdzenie 6.3. Jeśli (X, X...) jest jednorodnym łańcuchem Markowa o skończonym zbiorze stanów {s,...,s k }, rozkładzie początkowym µ (0) i macierzy przejść P, to n µ (n) = µ (0) P n Dowód. Rozważmy przypadek kiedy n =. Dla j =,..., k, otrzymujemy µ () j = P (X = s j ) = = = k P (X 0 = s i, X = s j ) k P (X 0 = s i ) P (X = s j X 0 = s i ) k µ (0) i p i,j = (µ (0) P) j gdzie (µ (0) P) j oznacza j-ty element wektora µ (0) P. Stąd µ () = µ (0) P. Przypadek ogólny udowodnimy indukcyjnie. Ustalmy m i załóżmy, że teza twierdzenia jest prawdziwa dla n = m. Dla n = m + mamy zatem µ (m+) j = P (X m+ = s j ) = = = k P (X m = s i, X m+ = s j ) k P (X m = s i ) P (X m+ = s j X m = s i ) k µ (m) i p i,j = (µ (m) P) j, a stąd µ (m+) = µ (m) P. Z założenia indukcyjnego wiemy, że µ (m) = µ (0) P m, skąd ostatecznie otrzymujemy µ (m+) = µ (m) P = µ (0) P m P = µ (0) P (m+) Powyższe twierdzenie łatwo daje się uogólnić na przypadek łańcucha niejednorodnego: Twierdzenie 6.4. Niech (X, X,...) będzie niejednorodnym łańcuchem Markowa o skończonym zbiorze stanów, rozkładzie początkowym µ (0) i macierzach przejść P (), P (),.... Wówczas n µ (n) = µ (0) P () P () P (n). Dowód. Dowód jest analogiczny jak w przypadku Twierdzenia