Spacery losowe generowanie realizacji procesu losowego Michał Krzemiński Streszczenie Omówimy metodę generowania trajektorii spacerów losowych (błądzenia losowego), tj. szczególnych procesów Markowa z czasem dyskretnym na dyskretnej przestrzeni stanów. W tym celu przedstawimy niezbędną terminologię, podstawowe pojęcia i własności. Wśród omawianych zagadnień są: przestrzeń (zbiór) stanów procesu, rozkład początkowy, macierz prawdopodobieństw przejść oraz prawdopodobieństwo i czas osiągnięcia zbioru stanów. Słowa kluczowe: generatory liczb losowych, spacer losowy, łańcuch Markowa, macierz prawdopodobieństw przejść, rozkład początkowy. Zadanie przykład Rozważmy poniższe zadanie: Konik polny skacze pomiędzy trzema różnymi kwiatami, wybierając w każdym skoku jeden z wolnych kwiatów z równym prawdopodobieństwem. Wyznacz prawdopodobieństwo, że po n > 0 skokach konik polny wróci do punktu wyjścia. Po ilu średnio skokach konik polny wraca na początkowy kwiat? Położenie konika polnego skaczącego pomiędzy trzema kwiatami (umownie oznaczonymi jako, i ) będziemy modelować poprzez pewien proces indeksowany kolejnymi liczbami naturalnymi {0,,,...} odpowiadającymi kolejnym skokom, o wartościach w zbiorze S = {,, } odpowiadającym trzem kwiatom. Wartości zbioru {,, } nazywamy stanami procesu, a cały zbiór S nazywamy zbiorem stanów (przestrzenią stanów) procesu. Oznaczmy poprzez X 0 położenie konika polnego na początku naszej obserwacji (powiemy: w chwili n = 0), po wykonaniu pierwszego skoku jego położenie będziemy oznaczać jako X, itd.; ogólnie X n, dla n 0 oznacza położenie konika polnego po n skokach. Rozważamy następujący scenariusz: konik polny startuje z kwiatu następnie skacze do, z powrotem do, następnie do takie zachowanie odpowiada trajektorii (realizacji) e-mail: mickrzem@pg.edu.pl
p = p = p = p = p = p = Rys.. Graf opisujący model zachowania konika polnego procesu: X 0 (ω) =, X (ω) =, X (ω) =, X (ω) =. Piszemy ω, by podkreślić że określone wartości są realizacjami zmiennych losowych X 0, X, X, X, gdyż położenie konika polnego jest losowe. Proces w chwili 0 przyjmuje wartość X 0 (ω) =, a następnie może przejść do stanu albo z prawdopodobieństwami przejść p = i p = odpowiednio. By ułatwić interpretację omawianych tu pojęć wprowadzimy dodatkowy obiekt graf skierowany, którego wierzchołki i S odpowiadają stanom procesu, a skierowane krawędzie (i, j) S S niezerowym prawdopodobieństwom przejść p ij = p i j ze stanu i do stanu j. Rysunek przedstawia odpowiedni graf dla modelu zachowania konika polnego z zadania.. Definicje Wprowadźmy podstawowe pojęcia i definicje dla określenia procesu z naszego modelu, tj. definicję łańcucha Markowa z czasem dyskretnym na dyskretnej przestrzeni stanów. Niech S będzie zbiorem przeliczalnym (lub skończonym). Każdy element i S nazywamy stanem, a S nazywamy przestrzenią stanów. Mówimy, że p = (p i ; i S) jest rozkładem prawdopodobieństwa na S, gdy i S p i 0 oraz p i =. i S Niech (Ω, F, P) będzie przestrzenią probabilistyczną. Zmienną losową X o wartościach w S nazywamy odwzorowanie mierzalne X : Ω S. Przypuśćmy, że i S p i = P(X = i). Wtedy p określa rozkład zmiennej losowej X. Myślimy o X jako o modelu losowego stanu, który może przyjąć wartość i z prawdopodobieństwem p i. Powiemy, że macierz P = (p ij ; i, j S) jest macierzą stochastyczną, gdy każdy wiersz tej macierzy (p ij ; j S) jest rozkładem prawdopodobieństwa, tzn. i,j S p ij 0 oraz p ij =. j S Zauważmy, że jest jednoznaczna odpowiedniość pomiędzy macierzą stochastyczną P, a grafem (diagramem) z poprzedniego rozdziału (por. rys. ).
0 P = 0 0 0 0 4 4 0 0 7 6 6 P = 0 0 0 0 0 4 4 4 6 7 6 Rys.. Porównanie macierzy stochastycznych i odpowiadających im diagramów. Widzimy, że każdy ity wiersz macierzy P zadaje rozkład prawdopodobieństwa (p ij ; j S) na S, określając dla każdego j S prawdopodobieństwa przejść i j. Mówimy, że ciąg zmiennych losowych (X n ) n 0 = (X 0, X, X,...) jest jednorodnym łańcuchem Markowa o rozkładzie początkowym p i macierzy prawdopodobieństw przejść P, gdy (i) X 0 ma rozkład p, tj. P(X 0 = i 0 ) = p i0 dla i 0 S; (ii) dla n 0, jeżeli X n = i, to X n+ ma rozkład (p ij ; j S) i jest niezależne od X 0, X,..., X n, tj. P(X n+ = i n+ X n = i n, X n = i n,..., X 0 = i 0 ) = p ini n+. W ogólności, jeżeli w chwili 0 proces ma rozkład początkowy p, to w chwili znajduje się w stanie X o rozkładzie pp = (p j ; j S), gdzie p j = i S p i p ij. Przez podobne rozumowanie otrzymujemy, że w chwili proces ten znajdzie się w stanie X o rozkładzie (pp )P = pp, w chwili n w stanie X n o rozkładzie pp n, gdzie P n jest ntą potęgą macierzy prawdopodobieństw przejść P. Będziemy pisać p (n) ij = (P n ) ij. Powyższe obserwacje zebrane są w twierdzeniach:
Jeżeli proces losowy z czasem dyskretnym (X n ) n 0 jest jednorodnym łańcuchem Markowa o rozkładzie początkowym p i macierzy prawdopodobieństw przejść P to n 0 i0,i...,i n S P(X 0 = i 0, X = i,..., X n = i n ) = p i0 p i0 i p i i... p in i n. Niech (X n ) n 0 będzie jednorodnym łańcuchem Markowa o rozkładzie początkowym p i macierzy prawdopodobieństw przejść P. Dla wszystkich n, m 0 (i) P(X n = j) = (pp n ) j ; (ii) P(X n = j X 0 = i) = P(X n+m = j X m = i) = p (n) ij. Zauważmy, że warunek (ii) z powyższego twierdzenia oznacza w szczególności, że dla jednorodnego łańcucha Markowa prawdopodobieństwo przejścia i j w n krokach jest stałe (i wynosi p (n) ij ), tzn. nie zależy od tego w kiedy byliśmy w stanie i czy j, a jedynie od n liczby kroków pomiędzy stanami.. Zadanie symulacja Wiemy już jak opisać matematyczny model naszego zagadnienia: załóżmy, że konik polny w chwili 0 znajduje się w (dlaczego wybór stanu początkowego nie ma większego znaczenia dla zadania?). Zatem rozważmy proces (X n ) n 0 o wartościach w S = {,, } o rozkładzie początkowym p = (, 0, 0) i macierzy prawdopodobieństw przejść 0 P = 0. 0 W pierwszym kroku chcemy wygenerować trajektorię procesu dla n = 0,,..., N, (X n ) 0 n N, którą następnie przedstawimy na wykresie. Rozważmy poniższy algorytm: () X 0 = () dla n =,,..., N losuj wartość X n z rozkładu (p Xn,, p Xn,, p Xn,) Zauważmy, że jeżeli X n = i, to X n losujemy z rozkładu zadanego itym wierszem macierzy P. Na rysunku przedstawiona została przykładowa trajektoria pewna realizacja łańcucha Markowa opisującego nasze zagadnienie. Widzimy, że w tym przypadku proces powrócił do stanu po raz pierwszy w chwili n = oraz kolejno w chwilach 5, 8, 0,, 4, 7. Czy w dowolnej chwili n 0 proces może powrócić do stanu początkowego? Oczywiście nie dla n =, gdyż ze stanu początkowego skacze wyłącznie do stanu albo (p () = p = 0). 4
stan w chwili n, X n (ω) 0 4 5 6 7 8 9 0 4 6 8 0 czas, n Rys.. Realizacja procesu (X n ) n 0 dla n =,,..., 0 W zadaniu chcemy wyznaczyć prawdopodobieństwo powrotu do stanu początkowego po n 0 skokach zakładając, że proces startuje ze stanu (z pr. ) wyznaczamy p (n). Poprzez prostą obserwację otrzymujemy już p (0) = (proces po 0 skokach jest w stanie początkowym z prawdopodobieństwem ) oraz p () = 0 (proces w jednym kroku zmienia stan na inny z prawdopodobieństwem na oraz z podobieństwem na ). Szukane prawdopodobieństwa powrotu do stanu po n =,,..., N krokach, p (n), określimy za pomocą symulacji wielu trajektorii. Dla ustalonego n 0 prawdopodobieństwo, że proces w chwili n znajduje się w stanie pod warunkiem, że w chwili 0 startował ze stanu, tzn. P(X n = X 0 = ) = p (n) określimy jako stosunek liczby trajektorii, w których X n = do liczby wszystkich symulacji. Rozważmy poniższy algorytm: () generujemy trajektorię procesu startującego z długości N + (dla chwil n = 0,,,..., N) () tworzymy wektor długości N + którego wartościami są, gdy stan został osiągnięty w chwili n oraz wartość 0, gdy nie został osiągnięty w chwili n (dla n = 0,,,..., N) N=0 #realizacja #powrót do (osiągnięcie) stanu 0 0 0 0 0 0 Teraz powtarzając tę procedurę wielokrotnie (M razy) i sumując wektory powrotów otrzymamy, dla każdego n = 0,,,..., N, liczbę trajektorii dla których nastąpił powrót do stanu. Dzieląc ten wektor przez M otrzymamy częstości powrotów do stanu, które estymują wartości szukanych prawdopodobieństw p (n) dla n = 0,,,..., N: 5
N=0 M=00 #pojedyncza realizacja długości N #wektor powrotu do stanu 0 0 0 0 0 0 #suma wektorów powrotu do stanu dla M realizacji 00 0 44 0 9 8 8 8 4 6 #wektor częstości powrotu.00 0.00 0.44 0. 0.0 0.9 0.8 0.8 0.8 0.4 0.6 Wartości prawdopodobieństw powrotu do stanu początkowego są takie same bez znaczenia, który stan przyjmiemy jako początkowy: p (n) = p (n) = p (n). Wartości prawdopodobieństw uzyskane symulacyjnie dla M = 00 oraz M = 00000 trajektorii przedstawione zostały na rysunku 4. Zauważmy, że od pewnego momentu wyznaczone p (n) i z poprzed- (n) p 0.0 0. 0.4 0.6 0.8.0 M=00 (n) p 0.0 0. 0.4 0.6 0.8.0 M=00000 0 4 6 8 0 n 0 5 0 5 0 n Rys. 4. Wykres wartości prawdopodobieństwa powrotu procesu do stanu początkowego w n krokach, p (n), dla n = 0,,..., 0 na podstawie M = 00 trajektorii oraz dla n = 0,,..., 0 i M = 00000 niej uwagi, jest tak również dla p (n) oraz p (n). Możemy stąd wnioskować, że dla odpowiednio dużych n, p (n) = p (n) = p (n) =, co dalej oznacza, że proces zapomniał o stanie początkowym i dla takich odpowiednio dużych n rozkład X n jest równomiernym rozkładem na {,, }. 4. Czas osiągnięcia zbioru stanów i prawdopodobieństwa osiągnięcia Niech (X n ) n 0 będzie jednorodnym łańcuchem Markowa na przestrzeni stanów S, o rozkładzie początkowym p i macierzy prawdopodobieństw przejść P. Czasem osiągnięcia (ang. 6
hitting time) zbioru A S nazywamy zmienną losową τ A : Ω {0,,...} { }, τ A (ω) = inf{n 0; X n (ω) A}. Prawdopodobieństwo osiągnięcia zbioru A pod warunkiem, że proces startuje ze stanu i S, określamy jako h A,i = P(τ A < X 0 = i). Dla spacerów losowych (jednorodnych łańcuchów Markowa z czasem dyskretnym na przeliczalnej przestrzeni stanów) czas osiągnięcia zbioru A to nic innego jak liczba skoków procesu potrzebna, by proces przyjął wartość ze zbioru A. W szczególności, jeżeli X 0 = i A to τ A = 0 oraz w przypadku, gdy proces nigdy nie osiąga stanu ze zbioru A, tzn. n 0 X n / A, τ A = inf{ } =. Przypuśćmy, że dla ustalonego stanu początkowego i S każda trajektoria procesu wpada (po skończonej liczbie skoków) do zbioru A, tzn. n 0 X n (ω) A z prawdopodobieństwem, wtedy h A,i = P(τ A < X 0 = i) =. Może jednak się zdarzyć, że niektóre trajektorie nigdy nie osiągają zbioru A (albo tylko pewnego stanu), wtedy 0 h A,i <. Średnim czasem potrzebnym procesowi (X n ) n 0 do osiągnięcia zbioru A nazywamy k A,i = E(τ A ) = n 0 np(τ A = n X 0 = i) + P(τ A = X 0 = i). 5. Zadanie symulacja, cd. Dla procesu opisującego zachowanie konika polnego wyznaczyliśmy prawdopodobieństwa powrotu do stanu w chwili n, tj. p (n). Rozważmy teraz sytuację, w której proces zatrzymujemy w chwili pierwszego powrotu do stanu początkowego, tzn. w momencie τ (ω) = inf{n > 0; X n (ω) = X 0 (ω)}. Jakie jest prawdopodobieństwo powrotu do stanu początkowego (w ogóle)? Jaki jest średni czas liczony liczbą skoków potrzebny na powrót do stanu początkowego? Rozważmy poniższy algorytm () X 0 = ; () generuj proces, tj. X, X,... tak długo jak X,..., X n, X n =. Zauważmy, że dla tak uzyskanego wektora wartości procesu, X 0,..., X n, n > 0 oznacza liczbę skoków potrzebną na osiągnięcie stanu początkowego po raz pierwszy. Z poprzednich analiz wiemy, że n (p () = 0). Jednak algorytm ten ma jedną poważną wadę czy jesteśmy pewni, że generując proces procedura ta zakończy się w skończonym czasie (po skończonej liczbie kroków)? Co jeżeli będziemy generować zachowanie pewnego procesu i program nigdy nie osiągnie warunku X n =? Musimy zapobiec wykonywaniu w programie nieskończonej pętli: (0) Ustalmy M odpowiednio duże; 7
() X 0 = ; () generuj proces, tj. X, X,... tak długo jak X,..., X n, X n =, ale nie dłużej niż M kroków. W ten sposób gwarantujemy, że generujemy skończoną trajektorię (nie dłuższą niż M iteracji, algorytm jest skończony), ale proces nie musi w tym czasie osiągnąć stanu początkowego (należy zastanowić się nad konsekwencjami takiego zdarzenia). Dla każdej trajektorii wygenerowanej powyższym algorytmem otrzymujemy wartość n = τ (ω) M, tzn. liczbę kroków potrzebną do pierwszego powrotu do stanu początkowego, ale nie większą niż górne ograniczenie M. Średnia arytmetyczna wektora wartości n dla wielu trajektorii określa zatem warunkowy średni czas powrotu do stanu początkowego pod warunkiem, że powrót ten nastąpił przed chwilą M: E(τ τ M). Oczywiście dla M lim E(τ τ M) = E(τ ) M który jest szukanym (bezwarunkowym) średnim czasem powrotu. Podobnie znajdujemy za pomocą symulacji prawdopodobieństwo powrotu do stanu początkowego. Spośród wszystkich trajektorii generowanych poprzednim algorytmem zliczamy odsetek trajektorii, które powróciły do stanu początkowego: #{trajektoria powróciła do stanu początkowego do chwili M} #wszystkie trajektorie określa prawdopodobieństwo (obliczone na podstawie wygenerowanego zbioru trajektorii), że proces powrócił do stanu początkowego do chwili M. Podobnie jak poprzednio, przez przejście graniczne M otrzymujemy szukane prawdopodobieństwo h, = P(τ < X 0 = ). M=0 #pojedyncza realizacja długości N #czas powrotu do : n= # n=4 #wektor czasów powrotu do dla 0 trajektorii 5 4 7 #średni czas powrotu do stanu (na podstawie 0 trajektorii). #średni czas powrotu do stanu (na podstawie 00000 trajektorii).0007 Na rysunku 5 przedstawiono średni czas powrotu do stanu początkowego wyznaczony na podstawie N = 0, 0,..., 000 trajektorii. Analizując wektor czasów powrotu do stanu początkowego, możemy określić rozkład tego czasu, tzn. p = (p n ) n >, p n = P(τ = n). Odpowiedni rozkład, na podstawie 000 8
E(τ ).0.5.0.5 4.0 0 50 00 400 600 800 000 liczba trajektorii Rys. 5. Średni czas powrotu do stanu początkowego wyznaczony na podstawie N = 0, 0,..., 000 trajektorii P(τ = n) 0.0 0. 0. 0. 0.4 0.5 4 5 6 7 8 9 0 liczba skoków n Rys. 6. Rozkład czasu powrotu do stanu początkowego wyznaczony na podstawie N = 000 trajektorii 9
trajektorii przedstawiono na rysunku 6. Zauważmy, że P(τ = ) = 0 nie można powrócić do stanu początkowego po pierwszym skoku, P(τ = ) = z prawdopodobieństwem w pierwszym skoku przechodzimy do innego stanu, następnie w jednym kroku wracamy do stanu początkowego z prawdopodobieństwem przejścia. Jaki rozkład ma τ? 0