Teoretyczne podstawy algorytmów komputerowego modelowania procesów Markowa

Teoretyczne podstawy algorytmów komputerowego modelowania procesów Markowa Adam Kiersztyn 28 czerwca 20 Streszczenie W tej pracy przedstawimy najwa zniejsze rezultaty zawarte w przygotowywanej rozprawie doktorskiej pod tym samym tytu em oraz przyk adowe obszary zastosowań uzyskanych rezultatów. Ponadto zostana¾ opisane programy komputerowe, które powsta y na podstawie otrzymanych wyników badań teoretycznych. Przedstawione tutaj rezultaty dotycza¾ jednorodnych ańcuchów Markowa, natomiast znaczna cz ¾eść z nich w przygotowywanej rozprawie doktorskiej zostanie rozszerzona na przypadek niejednorodnych ańcuchów Markowa. Konstrukcja ańcucha Markowa na kostce Hilberta Metoda konstrukcji ańcuchów Markowa polegajaca ¾ na mody kacji twierdzenia Ko mogorowa o rozk adach zgodnych jest uniwersalna w tym sensie, ze obejmuje wszystkie przypadki rozwa zanych przestrzeni stanów, tzn. 0 przestrzeń skończona¾ lub przeliczalna¾ X = fx ; x 2 ; :::; x r (; :::)g ; 2 0 lokalnie zwarta, ¾ ośrodkowa, ¾ metryzowalna¾ przestrzeń topologiczna¾ X z -cia em zbiorów borelowskich B(X); 3 0 dowolny zbiór X 6= ; z -cia em generowanym przez pewna¾ przeliczalna¾ rodzin ¾e podzbiorów zbioru X. Z informatycznego punktu widzenia konstrukcja ta nie zawsze jednak okazuje si ¾e dość wygodna. Dlatego przedstawimy inna¾ metod ¾e konstrukcji ańcuchów Markowa, oparta¾ na idei zaproponowanej przez D. W. Stroocka w ksia zce ¾ An Intruduction to Markov Processes, gdzie opisana zosta a tego typu procedura przy pomocy macierzy przejścia dla jednorodnych ańcuchów Markowa o wartościach w dyskretnej przestrzeni stanów. Nawiasem mówiac, ¾ Stroock nawet nie wspomnia o mo zliwości zastosowania tej metody w informatyce, nie zauwa zy te z tego, ze

wprowadzone przez niego funkcje mo zna zde niować na wspólnej przestrzeni, b ¾ed acej ¾ kostka¾ Hilberta. Chcac ¾ uogólnić wspomniana¾ metod¾e musimy jednak ograniczyć si¾e do przypadku, gdy przestrzeń stanów X = R. Za ó zmy, ze rozk adem poczatkowym ¾ ańcucha Markowa fx n ; n 0g jest miara : B(R)! [0; ], a jadrem ¾ przejścia - rodzina rozk adów P = fp (x; A) ; x 2 R; A 2 B (R)g : Zde niujmy funkcje () ; (x; ) : (0; )! R; x 2 R; w nast¾epujacy ¾ sposób: (s) = inf fy 2 R : s (( ; y])g ; (x; t) = inf fy 2 R : t P (x; ( ; y])g dla 0 < s; t <. atwo zauwa zyć, ze sa¾ to powiazane ¾ ze soba¾ w odpowiedni sposób funkcje kwantyli. Twierdzenie Niech fu n ; n 0g b ¾edzie ciagiem ¾ niezale znych zmiennych losowych o jednakowym rozk adzie jednostajnym w przedziale (0; ) R i niech fx n ; n 0g b ¾edzie ciagiem ¾ zmiennych losowych okre slonych wzorami: X 0 = (U 0 ), X n = (X n ; U n ) dla n : Wtedy ciag ¾ fx n ; n 0g tworzy ańcuch Markowa o warto sciach w przestrzeni stanów X = R z rozk adem poczatkowym ¾ i jadrem ¾ prawdopodobieństw przej scia P = fp (x; A) ; x 2 R; A 2 B (R)g. Dowód tego twierdzenia opiera si¾e na nast¾epujacym ¾ lemacie. Lemat 2 Niech h : R! R b ¾edzie funkcja¾ B (R)-mierzalna, ¾ ograniczona¾ i niech F : R! R b ¾edzie dystrybuanta¾ rozk adu prawdopodobieństwa Q : B (R)! [0; ]. Oznaczmy przez q funkcj ¾e kwantyli generowana¾ przez dystrybuant ¾e F. Wtedy dla dowolnej liczby x 0 2 R zachodzi równo sć Z Z h (q (x)) dx = h (y) Q (dy). (0;F (x 0)] ( ;x 0] Ponadto dowód powy zszego twierdzenia zachowuje swoja¾ prawdziwość tak ze w znacznie ogólniejszej sytuacji obejmujacej ¾ procesy Markowa z czasem ciag ym ¾ t 0. Istotnie, nie ma w aściwie zadnego powodu, zeby indeksy procesu n by y ściśle zwiazane ¾ z przyrostami czasu o wartość, a wi¾ec w dowodzie mo zemy podstawić jadra ¾ P tn t n (x; A) (chcac ¾ otrzymać skończenie wymiarowe rozk ady jednorodnego procesu Markowa z czasem ciag ym), ¾ lub nawet P tn ;t n (x; A) (dla niejednorodnego procesu Markowa z czasem ciag ym). ¾ 2

Uwaga. Na podstawie przedstawionej metody napisany zosta program komputerowy, który generuje realizacje procesów Markowa dla wybranych klas rozk adów poczatkowych ¾ i ró znych rodzin tworzacych ¾ jadra ¾ stochastyczne. Program ten w obrazowy sposób przedstawia trajektorie procesów Markowa dla dowolnych przyrostów czasu. Aplikacja mo ze być stosunkowo ciekawym przyk adem wizualizacji przebiegu procesów Markowa o nietrywialnych jadrach ¾ przejścia. Dzia anie programu mo zna sprawdzić na stronie internetowej http://www.kul.pl/art_2422.html 2 Zwiazki ¾ teorii martynga ów z ańcuchami Markowa o wartościach w ogólnej przestrzeni stanów W dalszych rozwa zaniach b ¾edziemy musieli dok adniej sprecyzować klasy funkcji, które b ¾eda¾ ca kowane wzgl¾edem ró znych miar. Dlatego dla danego jadra ¾ przejścia P = P (x; A) = P (x; A) ; x 2 X; A 2 B(X) wprowadzamy ciag ¾ odwzorowań Z P n+ (x; A) = P n (y; A) P (x; dy) ; n. X Funkcje P n (x; A) ; x 2 X; A 2 B (X) ; n > ; określaja¾ nowe jadra ¾ stochastyczne - jadra ¾ przejścia w n-krokach wyjściowego ańcucha Markowa, de niuj ace ¾ tzw. ańcuchy szkieletowe. Do jader ¾ tych do ¾ aczamy rodzin ¾e miar Diraca P 0 (x; A) = x (A) ; x 2 X; A 2 B (X). Chcac ¾ maksymalnie rozszerzyć klasy funkcji ca kowalnych wzgl ¾edem wprowadzonych nowych miar nie mo zemy rozwa zać funkcji ca kowalnych równocześnie wzgl¾edem wszystkich miar P n ; gdzie przebiega rodzin¾e wszystkich rozk adów na B (X) ; lecz musimy nieco zaw¾ezić rodzin¾e rozk adów ; bowiem w niektórych sytuacjach mog oby okazać si¾e, ze funkcjami ca kowalnymi wzgl¾edem miar P n sa¾ tylko funkcje B (X)-mierzalne ograniczone, co prowadzi oby do rozpatrywania dalej zmiennych losowych ograniczonych, majacych ¾ skończone wszystkie momenty. Z drugiej strony jednak chcemy, aby rozk ady P n tworzy y rodzin¾e dostatecznie bogata, ¾ zawierajac ¾ a¾ m.in. wszystkie miary postaci x P n ; gdzie x ; x 2 X; sa¾ miarami Diraca. Wprowadźmy zatem oznaczenia: dla klasy wszystkich miar Diraca, oraz = f x = (x; ) : B (X)! R; x 2 Xg = f : B (X)! R; (X) = g 3

dla klasy wszystkich miar probabilistycznych na B (X). B ¾edziemy rozwa zać rodziny rozk adów M; dla których prawdziwa jest inkluzja, M ; przy czym b ¾eda¾ nas interesować g ównie raczej rodziny niepe ne, takie, ze M 6=. Dla ka zdego jadra ¾ prawdopodobieństw przejścia P i ka zdej takiej rodziny rozk adów M mamy określona¾ rodzin¾e miar MP n = P k : k n; 2 M ; n. Funkcj ¾e rzeczywista¾ B (X)-mierzalna¾ f : X! R nazywamy funkcja¾ regularnie MP n -ca kowaln a¾ i piszemy f 2 L (MP n ) ; jeśli f jest ca kowalna wzgl¾edem wszystkich miar z klasy MP n ; a ca ka funkcji f wzgl¾edem ka zdej takiej miary ma wartość skończona. ¾ Dla n = 0 klas¾e MP 0 de niujemy jako klas ¾e wszystkich funkcji B (X)-mierzalnych. atwo spostrzec, ze wtedy ka zda klasa funkcji L (MP n ) zawiera zawsze wszystkie funkcje B (X)-mierzalne ograniczone f : X! R; ale klasy te moga¾ równie z zawierać pewne funkcje mierzalne nieograniczone i w ogólnej sytuacji klasy te moga¾ być ró zne. Jednak ze z uwagi na de nicj¾e tych klas mamy L MP 0 L MP ::: L (MP n ) :::; n 0. Tak wi¾ec dla funkcji f 2 L MP n+ ; n 0; określona jest w szczególności operacja P f. Ciag ¾ funkcji ff n ; n 0g o w asności f n 2 L (MP n ) dla ka zdego n 0; mo zemy nazwać ciagiem ¾ wyg adzajacym ¾ martynga owo ańcuch Markowa fx n ; n 0g z rozk adem poczatkowym ¾ 2 M i jadrem ¾ przejścia P; o czym świadczy poni zszy rezultat. Twierdzenie 3 Niech fx n ; n 0g b ¾edzie dowolnym procesem stochastycznym z czasem dyskretnym przyjmujacym ¾ warto sci w ogólnej przestrzeni stanów X. Wtedy nast ¾epujace ¾ warunki sa¾ równowa zne: (i) dla ka zdego rozk adu poczatkowego ¾ = P X0 2 M i danego jadra ¾ stochastycznego P = fp (x; A) ; x 2 X; A 2 B(X)g ; ciag ¾ fx n ; n 0g jest (jednorodnym) ańcuchem Markowa o warto sciach w ogólnej przestrzeni stanów X z jadrem ¾ prawdopodobieństw przej scia P; (ii) dla zmiennej losowej X 0 :! R o dowolnym rozk adzie 2 M i ka zdego ciagu ¾ funkcji ff k : k 0g takiego, ze f k 2 L MP k ; k, proces zde niowany wzorem M 0 (ff k g) = 0; M n (ff k g) = f n (X n ) f 0 (X 0 ) 4 [(P f m+ ) (f m )] (X m ) ;

dla n ; jest martynga em wzgl ¾edem naturalnej ltracji ff n ; n 0g, gdzie F n = (X 0 ; X ; : : : ; X n ) ; (iii) dla zmiennej losowej X 0 ka zdej B(X)-mierzalnej funkcji :! R o dowolnym rozk adzie 2 M i \ f 2 L (MP n ), n=0 (dla której wszystkie zmienne losowe ciagu ¾ ff (X n ) ; n 0g sa¾ ca kowalne), proces M 0 (f) = 0; M n (f) = f (X n ) f (X 0 ) [(P f) (f)] (X m ) ; n ; jest martynga em wzgl ¾edem ltracji ff n ; n 0g ; (iv) dla zmiennej losowej X 0 :! R o dowolnym rozk adzie 2 M i ka zdej B(X)-mierzalnej, ograniczonej funkcji f : X! R, ciag ¾ fm n (f) ; n 0g jest martynga em wzgl ¾edem ltracji ff n ; n 0g ; (v) dla zmiennej losowej X 0 :! R o dowolnym rozk adzie 2 M i ka zdej B(X)-mierzalnej, ograniczonej, nieujemnej funkcji f : X! R, proces fm n (f) ; n 0g jest martynga em wzgl ¾edem ltracji ff n ; n 0g. Korzystajac ¾ z martynga owej charakteryzacji ańcuchów Markowa zawartej w tym twierdzeniu mo zemy otrzymać wiele ró znych odpowiedników klasycznych rezultatów znanych dla ciagów ¾ niezale znych zmiennych losowych lub martynga ów, np. nierówności Ko mogorowa, Burkholdera, Rosenthala, nierówność dla liczby przejść ańcucha Markowa przez przedzia z do u do góry, L p maksymalna¾ nierówność Dooba, twierdzenia o zbie zności prawie pewnej i w L p ańcuchów Markowa, twierdzenia o zbie zności szeregów utworzonych ze zmiennych losowych ańcucha Markowa, itp. Wszystkie wymienione rezultaty zosta y przedstawione w pracy z krótkimi, szkicowymi dowodami. 2. Twierdzenia typu prawa wielkich liczb dla procesów Markowa Ograniczymy si ¾e tylko do podania dwóch najwa zniejszych rezultatów, b ¾ed acych ¾ odpowiednikami s abego i mocnego prawa wielkich liczb. W pracy znajduja¾ si¾e uogólnienia kilku innych popularnych, najbardziej znanych twierdzeń dotycza- ¾ cych praw granicznych dla zmiennych losowych niezale znych. 5

Twierdzenie 4 Klasyczne kryterium zbie zno sci do sta ej. Niech fx n ; n 0g b ¾edzie ańcuchem Markowa o warto sciach w ogólnej przestrzeni stanów X z dowolnym rozk adem poczatkowym ¾ : B (X)! R; 2 M; oraz jadrem ¾ przej scia P = fp (x; A) ; x 2 X; A 2 B (X)g. Niech ponadto ff n ; n g b ¾edzie ciagiem ¾ funkcji B (X)-mierzalnych, f n 2 L (MP n ) dla ka zdego n i niech fb n ; n g R b ¾edzie ciagiem ¾ liczbowym takim, ze 0 < b n %. Je zeli spe nione sa¾ warunki: E b n i= b 2 n i= i P hjf i (X i ) (P f i ) (X i )j > b n! 0; () n! i= h (f i (X i ) (P f i ) (X i )) (2) i P fjf i (X i ) (P f i ) (X i )j b n g jf i! 0; n! h E (f i (X i ) (P f i ) (X i )) 2 (3) fjf i (X i ) (P f i ) (X i )j b n g jf i i + h E E (f i (X i ) (P f i ) (X i )) to wówczas fjf i (X i ) (P f i ) (X i )j b n g jf i i 2 +! n! 0; b n i= [f i (X i ) (P f i ) (X i )] P! n! 0. Twierdzenie 5 Kryterium Ko mogorowa. Niech fx n ; n 0g b ¾edzie ańcuchem Markowa w ogólnej przestrzeni stanów X z dowolnym rozk adem poczatkowym ¾ 2 M; oraz jadrem ¾ przej scia P = fp (x; A) ; x 2 X; A 2 B (X)g. Niech ponadto fb n ; n g R b ¾edzie ciagiem ¾ liczbowym, 0 < b n % i niech ff n ; n g b ¾edzie ciagiem ¾ funkcji takim, ze fn 2 2 L (MP n ) dla ka zdego n. Je zeli X Var [f k (X k ) (P f k ) (X k )] B 2 < ; k= k X gdzie = b 2 < dla k ; to 2 v B 2 k fv2n:2 v k+g b n k= [f k (X k ) (P f k ) (X k )]! n! 0 p.p.; 6

w szczególno sci, je sli X k= Var [f k (X k ) (P f k ) (X k )] k 2 < ; to wówczas n k= [f k (X k ) (P f k ) (X k )]! n! 0 p.p. 2.2 Centralne twierdzenie graniczne dla procesów Markowa W celu lepszego zrozumienia dalszych rozwa zań przytoczymy najpierw kilka de nicji. Niech fy n ; n g b ¾edzie ciagiem ¾ zmiennych losowych w przestrzeni probabilistycznej (; F; P ) zbie znym wed ug rozk adu do zmiennej losowej Y; określonej na tej samej przestrzeni. Mówimy, ze ciag ¾ fy n ; n g jest zbie zny (wed ug rozk adu) stabilnie do zmiennej losowej Y; jeśli dla ka zdego punktu ciag ości ¾ y 2 R (prawostronnie ciag ej) ¾ dystrybuanty zmiennej losowej Y i ka zdego zdarzenia losowego A 2 F; istnieje granica przy czym Zbie zność ta¾ b ¾edziemy oznaczać piszac ¾ lim P [fy n yg \ A] = Q y (A) ; n! Q y (A)! P [A] gdy y!. Y n d! Y (stabilnie). Podobnie jak czyni si ¾e zwykle badajac ¾ ciagi ¾ zmiennych losowych niezale znych, twierdzenia graniczne dotyczace ¾ zbie zności wed ug rozk adu podajemy dla uk adów trójkatnych. ¾ Twierdzenie 6 Niech fx n ; n 0g b ¾edzie ańcuchem Markowa o warto sciach w ogólnej przestrzeni stanów X z dowolnym rozk adem poczatkowym ¾ : B (X)! R; 2 M; oraz jadrem ¾ prawdopodobieństw przej scia P = fp (x; A) ; x 2 X; A 2 B (X)g. Niech ponadto ff ni ; i k n ; n g b ¾edzie uk adem trójkatnym ¾ funkcji rzeczywistych B (X)-mierzalnych na X; spe niajacym ¾ warunki: f 2 ni 2 L MP i dla i k n ; n ; gdzie k n % i niech 2 > 0 b ¾edzie p.p. skończona¾ zmienna¾ losowa. ¾ Za ó zmy, ze P max jf ni (X i ) (P f ni ) (X i )j! 0; (4) ik n n! 7

k n X i= oraz dla wszystkich n ; [f ni (X i ) (P f ni ) (X i )] 2 P! n! 2 ; (5) E max ik n [f ni (X i ) (P f ni ) (X i )] 2 C <. (6) Wtedy dla ka zdego rozk adu poczatkowego ¾ 2 M; k n X i= [f ni (X i ) (P f ni ) (X i )] d! n! Z (stabilnie), gdzie Z jest zmienna¾ losowa¾ majac ¾a¾ funkcj ¾e charakterystyczna¾ ' Z (t) = E exp 2 2 t 2 ; t 2 R. Przy pomocy analogicznych metod martynga owych jak stosowane powy zej mo zna tak ze otrzymać ró zne oceny szybkości zbie zności w centralnym twierdzeniu granicznym dla ańcuchów Markowa. 2.3 Funkcjonalne centralne twierdzenie graniczne Rozwa zmy ańcuch Markowa fx n ; n 0g o wartościach w ogólnej przestrzeni stanów X z dowolnym rozk adem poczatkowym ¾ : B (X)! R; 2 M; oraz jadrem ¾ prawdopodobieństw przejścia P = fp (x; A) ; x 2 X; A 2 B (X)g. Za ó zmy, ze ff n ; n 0g jest ciagiem ¾ funkcji rzeczywistych B (X)-mierzalnych określonych na X, spe niaj acym ¾ warunek fn 2 2 L (MP n ) dla ka zdego n 0. Przyjmijmy Y i = f i (X i ) (P f i ) (X i ) ; i ; oraz Nast ¾epnie po ó zmy gdzie M 0 (ff k g) = 0; U 2 0 = 0; U 2 k = kx i= Y 2 i ; k n. s 2 n = E [M n (ff k g)] 2 ; M n (ff k g) = f n (X n ) f 0 (X 0 ) [(P f m+ ) (f m )] (X m ) ; n ; jest (jak wiemy) martynga em wzgl¾edem ltracji ff n ; n 0g. 8

Za ó zmy, ze Yi 2 > 0 i zde niujmy ciag ¾ elementów losowych n (t) o wartościach w przestrzeni C [0; ] ; otrzymanych poprzez interpolacj ¾e liniowa¾ punktów U 2 0; 0 ; Un 2 ; M (ff k g) U 2 ; 2 U n Un 2 ; M 2 (ff k g) ; :::; ; M n (ff k g) ; U n U n tj. n (t) = M i (ff k g) + tu n 2 Ui 2 U n Yi 2 Y i U n dla Ui 2 tu n 2 U i ; i n. Wtedy n ; n ; sa¾ borelowskimi elementami losowymi w przestrzeni C [0; ] i okazuje si ¾e, ze dla tych elementów prawdziwe jest nast ¾epujace ¾ twierdzenie. Twierdzenie 7 Funkcjonalne centralne twierdzenie graniczne. Niech fx n ; n 0g b ¾edzie procesem Markowa spe niajacym ¾ powy zsze za o zenia i niech ff n ; n 0g b ¾edzie ciagiem ¾ funkcji takim, ze fn 2 2 L (MP n ) dla ka zdego n 0. Je sli spe niony jest warunek Lindeberga, tzn. dla ka zdej liczby " > 0; oraz s 2 n k= E [f k (X k ) (P f k ) (X k )] 2 (7) fjf k (X k ) (P f k ) (X k )j > "s n g! n! 0; U 2 n s 2 n gdzie 0 < 2 jest p.p. skończona¾ zmienna¾ losowa, ¾ to P! n! 2 ; (8) n w! W w przestrzeni (C [0; ] ; kk), W proces (miara) Wienera. Wniosek 8 Podstawiajac ¾ t = w powy zszym twierdzeniu otrzymujemy n () = M n (ff k g) U n = np [f k (X k ) (P f k ) (X k )] k= = np =2 E [f k (X k ) (P f k ) (X k )] 2 k= d! W () ; przy czym W () jest zmienna¾ losowa¾ o standardowym rozk adzie normalnym N (0; ). 9

Wniosek ten jest nieco innym wariantem centralnego twierdzenia granicznego dla ańcuchów Markowa, ale tym razem z normalizacja¾ losowa¾ zamiast deterministycznej. Warto podkreślić, ze twierdzenie tego typu jest zwykle znacznie wygodniejsze i bardziej przydatne w wi ¾ekszości zastosowań statystycznych. Porównujac ¾ twierdzenie 7 z klasycznym rezultatem Donskera, patrz np. P. Billingsley, Convergence of Probability Measures, rozdz. II, 0, tw. 0., str. 68 z atwościa¾ mo zemy spostrzec, ze w przedstawionym tu funkcjonalnym centralnym twierdzeniu granicznym wartości kolejnych sum zmiennych utworzonych przy pomocy ańcucha Markowa sa¾ przyjmowane w nieregularnie rozrzuconych, losowych punktach z przedzia u [0; ] ; określonych przez wariancje z próby. Zachodzi pytanie, czy amane losowe zde niowane poprzez te same sumy, ale przyjmowane w rozmieszczonych deterministycznie odst ¾epach z przedzia u [0; ] ; wyznaczonych przez wariancje badanych sum, b ¾ed a¾ te z tworzyć ciag ¾ zbie zny s abo do procesu Wienera? Na pytanie to odpowiada zasada niezmienniczości, która¾ za chwil ¾e sformu ujemy. W celu zniwelowania wp ywu zmiennej losowej 2 na graniczny rozk ad ciagu ¾ amanych losowych musimy tu oczywiście zastosować taki sam ciag ¾ normujacy ¾ fu n g jak poprzednio, tzn. ciag ¾ wartości proporcjonalnych do losowego odchylenia standardowego z próby. Zde niujmy zatem ciag ¾ borelowskich elementów losowych w przestrzeni C [0; ] wzorem n (t) = M i (ff k g) + ts2 n s 2 i U n s 2 i s 2 Y i i U n dla s 2 i ts2 n s 2 i ; i n, gdzie s2 0 = 0: Twierdzenie 9 Zasada niezmienniczo sci dla funkcjonalnego centralnego twierdzenia granicznego. Je zeli spe niony jest warunek Lindeberga (7), a warunek (8) zastapimy ¾ przez U 2 n s 2 n! 2 z prawdopodobieństwem ; gdzie s 2 n % ; oraz 0 < 2 jest p.p. skończona¾ zmienna¾ losowa, ¾ to sup j n (t) 0t n (t)j P! 0: W konsekwencji, w przestrzeni (C [0; ] ; kk). n w! W gdy n! Podobnie jak w przypadku centralnego twierdzenia granicznego w przestrzeni jednowymiarowej, równie z w funkcjonalnym centralnym twierdzeniu granicznym dla ańcuchów Markowa mo zna podać oszacowania szybkości zbie zności. 0

2.4 Funkcjonalne prawo iterowanego logarytmu Rozwa zmy przestrzeń C [0; ] funkcji ciag ych ¾ x : [0; ]! R z norma¾ kxk = sup jx (t)j. 0t Niech K C [0; ] b ¾edzie zbiorem funkcji absolutnie ciag ych ¾ x 2 C [0; ] wychodzacych ¾ z punktu x (0) = 0; których pochodne _x spe niaja¾ warunek Z 0 [ _x (t)] 2 dt. Wiadomo, ze K jest wówczas zbiorem zwartym w przestrzeni C [0; ]. Chcac ¾ sformu ować prawo iterowanego logarytmu dla ańcuchów Markowa najwygodniej b ¾edzie pos ugiwać si ¾e funkcja¾ ( dla 0 < x e e ; LL (x) = log log x dla x > e e. Rozpatrzmy jednorodny ańcuch Markowa fx n ; n 0g o wartościach w ogólnej przestrzeni stanów X; majacy ¾ dowolny rozk ad poczatkowy ¾ 2 M; : B (X)! R; oraz jadro ¾ prawdopodobieństw przejścia P = fp (x; A) ; x 2 X; A 2 B (X)g. Jak poprzednio, zak adamy, ze ff n ; n 0g jest ciagiem ¾ funkcji rzeczywistych B (X)-mierzalnych określonych na X, spe niajacym ¾ warunek fn 2 2 L (MP n ) dla ka zdego n 0. Przyjmujemy ponadto oznaczenia oraz Y i = f i (X i ) (P f i ) (X i ) ; i ; U 2 0 = 0; U 2 k = Przypuśćmy nast¾epnie, ze Yi 2 przestrzeni C [0; ] wzorem kx i= Y 2 i ; k n. s 2 0 = 0; s 2 n = E [M n (ff k g)] 2 ; n. > 0 i zde niujmy ciag ¾ elementów losowych w n (t) = M i (ff k g) p 2U 2 n LL (Un) + tu n 2 Ui 2 Y i 2 Yi 2 p 2U 2 n LL (Un) 2 dla U 2 i tu 2 n U 2 i ; i n.

Twierdzenie 0 Funkcjonalne prawo iterowanego logarytmu. Je zeli spe nione sa¾ warunki: oraz ^ ">0 _ >0 U 2 n s 2 n X n= E [jy n j fjy n j > " s n g] s n < ; X E Yn 4 fjy n j s n g < ; n= s 4 n! 2 z prawdopodobieństwem ; gdzie 0 < 2 jest p.p. skończona¾ zmienna¾ losowa, ¾ to ciag ¾ funkcji losowych f n ; n g jest z prawdopodobieństwem warunkowo zwarty w przestrzeni C [0; ] i ma zbiór punktów skupienia równy K. Wniosek Je sli spe nione sa¾ za o zenia twierdzenia 0, to oraz lim sup n! lim inf n! np [f j (X j ) (P f j ) (X j )] j= p 2U 2 n LL (U 2 n) np [f j (X j ) (P f j ) (X j )] j= p 2U 2 n LL (U 2 n) = p.p., = p.p., Uwaga. Opisany powy zej rozdzia rozprawy ma raczej charakter teoretyczny, jednak na podstawie podanych tam metod mo zna opracować wiele bardzo interesujacych ¾ modeli opisujacych ¾ ró znorodne zjawiska przyrodnicze, ekonomiczne i spo eczne. Przyk adem mo ze być tutaj algorytm pozwalajacy ¾ wyznaczyć prawdopodobieństwo przekroczenia przez obserwowane proces ustalonych wcześniej barier oraz oszacowanie czasu niezb ¾ednego do osiagni ¾ ¾ecia tych granic. W ten sposób mo zna modelować m.in. stan zapasów magazynowych, czy te z poziom wody w zbiornikach retencyjnych. 3 Estymacja prawdopodobieństw przejścia i innych parametrów ańcuchów Markowa W tym rozdziale rozwa zany jest nast ¾epujacy ¾ problem: obserwujemy wartości zmiennych losowych X 0 ; X ; X 2 ; ::: tworzacych ¾ (jednorodny) ańcuch Markowa o wartościach w przestrzeni stanów S = f; 2; :::; r (; :::)g N = f; 2; :::g : 2

i na podstawie tych obserwacji chcemy ocenić jakie sa¾ w przybli zeniu prawdopodobieństwa przejścia p ij tworzace ¾ macierz przejścia P tego ańcucha Markowa. W pierwszej chwili problem ten mo ze wydawać si ¾e dość trywialny, bowiem znamy wiele ró znych twierdzeń granicznych dla ańcuchów Markowa, a zatem wystarczy skorzystać z odpowiednich rezultatów. Okazuje si ¾e jednak, ze w tego typu twierdzeniach jako granice nie wyst¾epuja¾ nigdzie prawdopodobieństwa przejścia. Np. w znanym twierdzeniu ergodycznym dla ańcuchów Markowa pojawiaja¾ si¾e granice i, które sa¾ jednakowe dla ca ej kolumny wyrazów macierzy przejścia P n = [p ij (n)] w n krokach, a wi¾ec stosowanie tych granic jako przybli zonych wartości prawdopodobieństw przejścia w jednym kroku by oby raczej nierozsadne. ¾ Z drugiej strony, znane sa¾ tak ze twierdzenia graniczne dla średniej liczby wizyt ańcucha Markowa w ró znych stanach, ale granice te wyra zaja¾ si¾e poprzez charakterystyki liczbowe (m.in. wartości oczekiwane) czasów powrotu ańcucha Markowa do ró znych stanów, a nie jego prawdopodobieństwa przejścia. Jednym z podstawowych rezultatów pomocniczych stosowanych w tej cz ¾eści pracy jest nast ¾epujaca ¾ w asność typu Kadeca-Klee dla przestrzeni ` (przypuszczalnie chyba nieznana nawet w analizie funkcjonalnej, wiadomo bowiem, ze s aba topologia zaw¾e zona do sfery jednostkowej w jednostajnie wypuk ych przestrzeniach Banacha pokrywa si ¾e z topologia¾ mocna, ¾ ale ` nie jest przestrzenia¾ jednostajnie wypuk ¾ a). Lemat 2 Topologia zbie zno sci oddzielnie ka zdej wspó rz ¾ednej wektorów w przestrzeni ` zaw ¾e zona do wycinka sfery jednostkowej ( ) X x = (x ; x 2 ; :::) 2 ` : x i 0; x i = jest równowa zna topologii mocnej okre slonej przez norm ¾e przestrzeni ` (topologia zbie zno sci po wspó rz ¾ednych w ` jest s absza od s abej topologii w `). i= Sens tego lematu jest nast¾epujacy: ¾ wystarczy stwierdzić istnienie granic, równych np. p ij oddzielnie dla wszystkich wskaźników i; j; a nast¾epnie na mocy lematu mo zna wnioskować o zbie zności ciagów ¾ wektorowych do granicznego rozk adu prawdopodobieństwa wed ug wahania miar dyskretnych. W zwiazku ¾ z tym w pracy badane sa¾ mo zliwie najs absze rodzaje zbie zności: zbie zność w sensie Abela i zbie zność wed ug średnich Césaro. 3. Szeregi pot ¾egowe macierzy i granice Abela Jeśli dla danego ciagu ¾ liczbowego ograniczonego fa n ; n 0g R utworzymy funkcj ¾e Abela X A (s) = ( s) s n a n ; 0 s < ; n=0 3

a nast ¾epnie stwierdzimy, ze istnieje granica lim A (s) = a; s% to mówimy, ze ciag ¾ liczb rzeczywistych fa n g jest zbie zny w sensie Abela, oraz liczb ¾e a 2 R nazywamy granica¾ w sensie Abela ciagu ¾ fa n g : Dla dowolnej macierzy P mo zemy zde niować stowarzyszony z ta¾ macierza¾ szereg pot ¾egowy P : [0; )! M = M u;v (S) ; gdzie M jest zbiorem macierzy kwadratowych o takim samym wymiarze jak P; k adac ¾ X P (s) = ( s) s n P n ; 0 s < ; n=0 przy czym P 0 = I jest macierza¾ jednostkowa, ¾ a s 0 =. Szereg ten jest zbie zny dla ka zdego s 2 [0; ) w normie kk u;v przestrzeni M; określonej wzorem X kmk u;v = sup i2s j2s jm ij j, przy czym wszystkie macierze M = [M ij ] (i;j)2ss o wyrazach rzeczywistych, dla których kmk u;v < tworza¾ rzeczywista¾ przestrzeń liniowa¾ Banacha M. W teorii ańcuchów Markowa dowodzi si¾e, ze dla dowolnej macierzy przejścia P jednorodnego ańcucha Markowa istnieja¾ granice lim s% (P (s)) ij = ij; gdzie i; j 2 S moga¾ być dowolnymi stanami. Tak wi¾ec wartości ij sa¾ granicami Abela ciagów ¾ liczbowych ograniczonych n o (P n ) ij ; n 0 ; i; j 2 S. Granice te sa¾ zwiazane ¾ z czasami powrotu: (0) j 0 dla wszystkich j 2 S; oraz 8 (m) j = >< >: n inf n > dla m ; j 2 S, mianowicie (m ) j o : X n = j jeśli zbiór w nawiasie klamrowym jest 6= ;, (m ) gdy X n 6= j dla ka zdego n > jj = (m ) lub j = ; j ; E j jx 0 = j, (9) 4

ij = P j < jx 0 = i E dla i 6= j; (0) j jx 0 = j przy czym stosujemy tu powszechnie przyj ¾eta¾ konwencj ¾e 3.2 Granice Césaro = 0; = ; oraz 0 = 0: 0 Mówimy, ze (ograniczony) ciag ¾ liczb rzeczywistych fa n ; n 0g R jest zbie zny w sensie Césaro do granicy a 2 R; jeśli n X a i! a gdy n! : n i=0 W ogólnym przypadku prawdziwe sa¾ implikacje (a n! a) ) (a n! a w s. Césaro) ) (a n! a w s. Abela) ; ale zadnej z tych implikacji bez odpowiednich dodatkowych za o zeń nie mo zna odwrócić. Okazuje si ¾e jednak, ze dla jednorodnych ańcuchów Markowa istnieja¾ tak ze granice średnich Césaro równe granicom Abela; k ad ac ¾ mamy A n = n P m ; lim (A n) n! ij = ij = lim (P (s)) ij. s% Przytoczone powy zej rezultaty sugeruja¾ nast¾epujac ¾ a¾ metod ¾e post ¾epowania: przy pomocy wyjściowego ańcucha Markowa nale zy utworzyć nowy ańcuch Markowa, który b ¾edzie mieć granice Césaro i Abela wyra zajace ¾ si¾e poprzez prawdopodobieństwa przejścia p ij. Dodatkowa¾ wskazówk¾e podpowiada nam intuicja: chcac ¾ znaleźć przybli zona¾ wartość p ij ; przypuszczalnie nale zy obliczyć ile razy wystapi o ¾ przejście ze stanu i 2 S do stanu j 2 S i podzielić ta¾ liczb ¾e przez liczb ¾e wszystkich obserwacji przejścia ze stanu i 2 S do dowolnego innego stanu k 2 S. Pojawia si¾e jednak pytanie, czy takie post ¾epowanie jest uzasadnione, spróbujemy zatem znaleźć teoretyczne podstawy takiej metody. W szczególności, nie jest wcale oczywiste, czy ta metoda przyniesie po z adane ¾ efekty dla dowolnych stanów i; j 2 S; a wi¾ec nasuwa si ¾e kolejne pytanie jakie warunki musza¾ spe niać te stany, aby opisane post ¾epowanie okaza o si ¾e w aściwe. 5

3.3 Nadbudowany ańcuch Markowa Po ¾ aczmy zmienne losowe ciagu ¾ X 0 ; X ; X 2 ; : : : w pary i oznaczmy Y 0 = (X 0 ; X ) ; Y = (X ; X 2 ) ; Y 2 = (X 2 ; X 3 ) ; : : : Zauwa zmy, ze jeśli znamy wartość Y n ; czyli par¾e wartości X n = i; X n = j; to mo zemy znaleźć prawdopodobieństwa przejścia ańcucha X 0 ; X ; X 2 ; ::: do ka zdego stanu X n+ = k 2 S; a wi¾ec mo zemy obliczyć prawdopodobieństwo przejścia ze stanu Y n = (i; j) do dowolnego innego stanu Y n = (j; k) w chwili n. Dowodzi to, ze ciag ¾ Y 0 ; Y ; Y 2 ; ::: tworzy nowy ańcuch Markowa nazwiemy go ańcuchem nadbudowanym nad wyjściowym ańcuchem X 0 ; X ; X 2 ; :::; lub ańcuchem (nadbudowanym) drugiego rz ¾edu. W pierwszej chwili wydaje si ¾e oczywiste, ze przestrzenia¾ stanów dla ciagu ¾ wektorów losowych Y 0 ; Y ; Y 2 ; : : : jest zbiór S S = S 2, ale niestety zwykle tak nie jest, bowiem w wyjściowym ańcuchu Markowa fx n ; n 0g nie zawsze mo zliwe jest przejście w jednym kroku z ka zdego stanu do ka zdego innego stanu. Tak wi¾ec stwierdzamy, ze ciag ¾ fy n ; n 0g przyjmuje wartości z jakiegoś podzbioru S e S S. Ponadto chcemy znaleźć macierz przejścia Q w jednym kroku i macierz przejścia Q n w n > krokach tego nowego ańcucha Markowa. Rozszerzona macierz przejścia ańcucha fy n ; n 0g w n-krokach ma wyrazy postaci (Q n (n ) ) (k;l)(i;j) = p li p ij ; (k; l) ; (i; j) 2 S S; dla n ; gdzie p (0) li = li (symbol Kroneckera). W rozszerzonej macierzy przejścia niektóre kolumny moga¾ zawierać same zera, a zatem nale zy je wykreślić i równocześnie skreślić wiersze o tych samych indeksach. Znajac ¾ ogólna¾ postać tej macierzy powy zszy wzór mo ze wydawać si ¾e oczywisty, tym niemniej wymaga on dowodu, tzn. znalezienia macierzy Q; przyj ¾ecie za o zenia indukcyjnego dotyczacego ¾ Q n ; pomno zenia Q n przez Q i sprawdzenia, ze otrzymamy wówczas macierz analogicznej postaci ze wskaźnikiem pot ¾egi n + : 3.4 Klasy kacja stanów nadbudowanego ańcucha Markowa Stwierdziliśmy powy zej, ze przestrzeń stanów S e nadbudowanego ańcucha Markowa nie musi być równa iloczynowi kartezjańskiemu S S przestrzeni stanów S wyjściowego ańcucha Markowa, a wi¾ec jeśli C S jest klasa¾ równowa zności stanów ańcucha Markowa fx n ; n 0g wyznaczona¾ przez relacj¾e komunikowania si¾e stanów ze soba, ¾ to iloczyn kartezjański C C nie musi zawierać si¾e w przestrzeni stanów S e nadbudowanego ańcucha Markowa fy n ; n 0g. Pomimo wspomnianych trudności, mo zemy jednak podać pewne ogólne informacje na temat postaci klas stanów nadbudowanego ańcucha Markowa. 6

Lemat 3 Niech C S b ¾edzie klasa¾ równowa zno sci okre slona¾ przez relacj ¾e $ komunikowania si ¾e stanów ze soba ¾ ańcucha Markowa fx n ; n 0g i niech es S S b ¾edzie przestrzenia¾ stanów nadbudowanego ańcucha Markowa fy n ; n 0g : Wtedy zbiór ec = S e \ (C C) jest albo pusty, albo jest klasa¾ równowa zno sci wyznaczona¾ przez relacj ¾e komunikowania si ¾e stanów nadbudowanego ańcucha Markowa fy n ; n 0g : Twierdzenie 4 Niech S b ¾edzie przestrzenia¾ stanów (jednorodnego) ańcucha Markowa fx n ; n 0g i niech S e S S oznacza przestrzeń stanów nadbudowanego ańcucha Markowa fy n ; n 0g : Para (i; j) 2 S S jest stanem rekurencyjnym nadbudowanego ańcucha Markowa fy n g wtedy i tylko wtedy, gdy ańcuch fx n g mo ze przej sć w jednym kroku z dodatnim prawdopodobieństwem ze stanu i 2 S do stanu j 2 S; czyli i! j; oraz i; j 2 C S, gdzie C jest klasa¾ stanów rekurencyjnych ańcucha fx n g ; przy czym [(i; j)] = e C = e S \ (C C). W konsekwencji, para (i; j) 2 S S jest stanem chwilowym ańcucha fy n g wtedy i tylko wtedy, gdy i 2 S jest stanem chwilowym ańcucha fx n g oraz z dodatnim prawdopodobieństwem mo zliwe jest przej scie i! j w jednym kroku ze stanu i 2 S do stanu j 2 S w ańcuchu fx n g. Je sli i 2 S jest stanem rekurencyjnym, a j 2 S stanem chwilowym ańcucha fx n ; n 0g ; lub i; j 2 S sa¾ stanami chwilowymi tego ańcucha, ale przej scie i! j jest niemo zliwe, to (i; j) =2 e S. Prawdziwe jest tak ze nast ¾epujace ¾ kryterium dodatniej rekurencyjności i zerowej rekurencyjności stanów w nadbudowanym ańcuchu Markowa. Twierdzenie 5 0 Je zeli stany i; j 2 S, i 6= j, komunikuja¾ si ¾e ze soba¾ i w ańcuchu Markowa fx n ; n 0g z dodatnim prawdopodobieństwem mo zliwe jest przej scie i! j w jednym kroku, to para (i; j) 2 S e jest dodatnim stanem rekurencyjnym nadbudowanego ańcucha Markowa fy n ; n 0g wtedy i tylko wtedy, gdy stany i; j 2 S sa¾ dodatnio rekurencyjne w ańcuchu fx n ; n 0g ; oraz para (i; j) 2 S e jest zerowym stanem rekurencyjnym ańcucha fy n ; n 0g wtedy i tylko wtedy, gdy i; j 2 S sa¾ zerowymi stanami rekurencyjnymi ańcucha fx n ; n 0g. Ponadto h i E e (i;j) jy 0 = (i; j) = E [ ijx 0 = i] ; gdzie p ij > 0. p ij 2 0 Je zeli i 2 S jest stanem ańcucha Markowa fx n ; n 0g ; dla którego z dodatnim prawdopodobieństwem mo zliwe jest przej scie i! i w jednym kroku, to para (i; i) 2 e S jest dodatnim stanem rekurencyjnym nadbudowanego ańcucha Markowa fy n ; n 0g wtedy i tylko wtedy, gdy i 2 S jest dodatnim stanem 7

rekurencyjnym ańcucha fx n ; n 0g ; oraz para (i; i) 2 e S jest zerowym stanem rekurencyjnym ańcucha fy n ; n 0g wtedy i tylko wtedy, gdy i 2 S jest zerowym stanem rekurencyjnym ańcucha fx n ; n 0g. Ponadto h i E e (i;i) jy 0 = (i; i) = E [ ijx 0 = i] ; gdzie p ii > 0. p ii 3.5 Granice Abela w nadbudowanym ańcuchu Markowa Obliczamy najpierw funkcj ¾e macierzowa¾ Abela Q (s) = ( X s) s n Q n ; 0 s < ; n=0 odpowiadajac ¾ a¾ ciagowi ¾ macierzy przejścia fq n ; n 0g nadbudowanego ańcucha Markowa fy n ; n 0g. Funkcja ta, w zale zności od podobnej funkcji macierzowej P (s) bazowego ańcucha Markowa fx n ; n 0g wyra za si¾e wzorem (Q (s)) (k;l)(i;j) = ( s) (k;l)(i;j) + s (P (s)) li p ij : Wynika stad, ¾ ze granice Abela w przypadku nadbudowanego ańcucha Markowa sa¾ równe e (k;l)(i;j) = lim (Q (s)) (k;l)(i;j) = s% gdy z Wiemy jednak, ze = lim s% ( s) (k;l)(i;j) + s (P (s)) li p ij = li p ij ; lim s% (P (s)) li = li: oraz W rezultacie, li = P [ i < jx 0 = l] ii = E [ i jx 0 = i] E [ i jx 0 = i]. dla l 6= i; oraz przy czym e (k;l)(i;j) = P [ i < jx 0 = l] e (k;i)(i;j) = E [ i jx 0 = i] p ij E [ i jx 0 = i] p ij, E [ i jx 0 = i] 6= 0 dla n 6= i 8

wtedy i tylko wtedy, gdy i 2 S jest stanem dodatnio rekurencyjnym w wyjściowym ańcuchu Markowa fx n ; n 0g : Granice te sa¾ tak ze równe granicom w sensie Césaro ciagów ¾ wyrazów macierzy fq n ; n 0g. Ponadto jeśli h P Y 0 2 C e i = ; oraz (i; j) 2 C; e gdzie C e S e jest klasa¾ równowa zności stanów dodatnio rekurencyjnych ańcucha fy n ; n 0g ; to dla ciagu ¾ miar empirycznych eln (i;j) = n f(i;j)g (X m ; X m+ ) nadbudowanego ańcucha Markowa fy n ; n 0g ; odpowiadajacych ¾ miarom fl n ; n 0g ; (L n ) i = n fig (X m ) w wyjściowym ańcuchu Markowa fx n ; n 0g ; mamy lim L e C n e e v = 0 z prawdopodobieństwem ; n! gdzie e e C (i;j) = e C (i; j) e (i;j)(i;j) dla (i; j) 2 e S. Wynika stad ¾ w szczególności, ze wówczas n X lim f(i;j)g (X m ; X m+ ) = e (i;j)(i;j) p.p. () n! n Zgodnie z ogólna¾ teoria, ¾ ta¾ ostatnia¾ zbie zność mo zna te z zastapić ¾ zbie znościa¾ średniokwadratowa, ¾ tzn.! lim E n 2 X f(i;j)g (X m ; X m+ ) e (i;j)(i;j) = 0; n! n a nawet zbie znościa¾ wed ug średniej dowolnego rz ¾edu ciagu ¾ norm miar empirycznych, lim E e C Ln e e p = 0 dla 0 < p <. n! v Z drugiej strony, jeśli (i; j) 2 S e nie nale zy do klasy równowa zności C e S e stanów dodatnio rekurencyjnych ańcucha fy n ; n 0g ; z której ańcuch ten wystartowa w chwili n = 0; to P " lim n! # n X f(i;j)g (X m ; X m+ ) = 0 = : (2) n 9

Odpowiednikiem nowego twierdzenia dla dowolnych ańcuchów Markowa jakie znalaz o si¾e w pracy jest nast¾epujacy ¾ rezultat dla nadbudowanych ańcuchów Markowa. Twierdzenie 6 Niech fx n ; n 0g b ¾edzie (jednorodnym) ańcuchem Markowa o warto sciach w przestrzeni stanów S N i niech fy n ; n 0g b ¾edzie ańcuchem Markowa nadbudowanym nad ańcuchem fx n ; n 0g. Za ó zmy, ze przestrzeń stanów S e S S nadbudowanego ańcucha Markowa zawiera klas ¾e ec stanów rekurencyjnych dodatnich. Wtedy dla dowolnego stanu (i; j) 2 C; e lim (Q (s)) (i;j)() e [(i;j)] v = 0; oraz gdzie s% lim n! ean (Q (s)) (i;j)() e [(i;j)] v = X ean (i;j)() e [(i;j)] v = (k;l)2 e S X (i;j)() ( (k;l)2 e S n e [(i;j)] v = 0; s) X s n (Q n ) (i;j)(k;l) n=0 (Q m ) (i;j)(k;l) e [(i;j)] (k;l) [(i;j)] (k;l) natomiast e [(i;j)] = e (i;j)(k;l) sa¾ granicami Abela i granicami srednich (k;l) n o Césaro ciagów ¾ liczbowych (Q n ) (i;j)(k;l) ; n 0. 3.6 Twierdzenia graniczne dla prawdopodobieństw przejścia ańcuchów Markowa Na podstawie przeprowadzonych powy zej rozwa zań mo zemy otrzymać ró zne twierdzenia graniczne, w których jako granice wyst ¾epuja¾ prawdopodobieństwa przejścia ańcuchów Markowa. Twierdzenie 7 Niech fx n ; n 0g b ¾edzie (jednorodnym) ańcuchem Markowa o warto sciach w przestrzeni stanów S N i niech fy n ; n 0g b ¾edzie ańcuchem nadbudowanym nad fx n ; n 0g przyjmujacym ¾ warto sci w przestrzeni stanów S e SS. Je zeli stany (i; j) ; (k; l) 2 S sa¾ ró zne, tzn. (i; j) 6= (k; l) ; oraz w ańcuchu fx n ; n 0g z dodatnim prawdopodobieństwem mo zliwe jest przej scie l! i w skończonej liczbie kroków n 0; to (Q (s)) (k;l)(i;j) lim = p ij. s% (P (s)) li ; ; 20