26 marzec, Łańcuchy Markowa z czasem ciągłym. Procesy Stochastyczne, wykład 7, T. Byczkowski, Procesy Stochastyczne, PPT, Matematyka MAP1136

Transkrypt

1 Procesy Stochastyczne, wykład 7, T. Byczkowski, Procesy Stochastyczne, PPT, Matematyka MAP marzec, 212

2 Łańcuchy z czasem ciągłym S = {, 1,..., }, B S = 2 S, ale T = [, ) lub T = (, ). Gdy S skończone, to otrzymujemy rodzinę macierzy stochastycznych P(t) spełniających warunek półgrupowości: P(t)P(s) = P(t + s), s, t >. Dla przypadku jednowymiarowego ciągłe rozwiązania - funkcje wykładnicze. Pokażemy, że tutaj jest podobnie. Dalej zakładamy, że P() = I oraz, że lim t + P(t) = I (ciągłość w ). Ciągłą w zerze stochastyczną funkcję macierzową spełniającą warunek półgrupowości nazywamy markowską macierzą przejścia. Definicja Dla macierzy A (n n) definiujemy exp(a) = k= A k k!, (A = I).

3 Generator półgrupy markowskiej Tw. 3. Niech P(t), t, będzie markowską macierzą przejścia (n n). Wtedy P(t) = exp(tg), gdzie G = [g ij ] (=generator) jest macierzą (n n) spełniającą g ij, dla i j, oraz j g ij =, dla wszystkich i. Powyższy wzór ustala wzajemnie jednoznaczną odpowiedniość między markowskimi macierzami przejścia a macierzami G o w/wym. własnościach (generatorami). Ćwiczenie. Szereg definiujący exp(a) jest zbieżny w normie. Gdy AB = BA to exp(a + B) = exp(a) exp(b) Ponadto d exp(ta) = A exp(ta) = exp(ta)a. dt

4 Generator półgrupy markowskiej cd. Dowód Półgrupa P(t) jest ciągła (normowo) dla wszystkich t > : P(t + h) = P(t)P(h) oraz P(t h) = P(t)P(h) 1 ; gdzie P(h) 1 istnieje dla małych h >, bo P(h) I. Załóżmy dodatkowo, że P(t) jest prawostronnie różniczkowalna w, tzn. że p ij (t) δ ij lim = g ij t + t istnieje dla dow. i, j. Macierz G = [g ij ] ma własność: g ij, dla i j, j g ij =. Zachodzi dp(t) dt P(t + h) P(t) P(h) I = lim = lim P(t) = GP(t). h + h h + h Także P (t) = P(t)G. Analogicznie sprawdzamy lewostronną różniczkowalność w t >. Z teorii r.r. obydwa równania różn. posiadają jedyne rozwiązania przy war. początkowym P() = I.

5 Generator półgrupy markowskiej cd. Jednocześnie wiadomo, że exp(tg) spełnia powyższe r.r. i war. początkowy P() = I, więc z jednoznaczności otrzymujemy: P(t) = exp(tg). Macierz G nazywamy generatorem półgrupy markowskiej P(t). Na odwrót, dla dowolnego generatora G, P(t) = exp(tg) jest markowską macierzą przejścia: P(t) jest macierzą stochastyczną: Niech 1 oznacza wektor kolumnowy złożony z samych jedynek. Ponieważ wyrazy każdego wiersza G sumują sie do więc P(t)1 = n= t n G n 1 n! = (tg) 1 = 1, czyli wyrazy każdego wiersza P(t) sumują się do 1.

6 Generator półgrupy markowskiej cd. Przypuśćmy, że g ij >, dla wszystkich i j. Zachodzi p ij (t) = δ ij + tg ij + O(t 2 ) więc p ij (t) >, dla małych t >. Ponieważ P(t) = P(t/k) k więc P(t) > dla wszystkich t >. W ogólnym przypadku def. [G ε ] ij = g ij + ε, ε >. Z poprzednich rozważań P ε (t) = exp(tg ε ) >. Ze zbieżności P(t) = lim ε + P ε (t) otrzymujemy P(t). Uzupełnienie: istnienie P (). Dla dow. h > i dow. n zachodzi następująca tożsamość: [P(h) I][I + P(h) P(nh h)] = P(nh) I Gdy h oraz nh t to z ciągłości P( ) otrzymujemy P(kh) n 1 h k= t P(u) du Gdy t > jest małe, macierz t P(u) du jest odwracalna.

7 Istnienie P (). Pokażemy, że gdy A I < 1, to A - odwracalna. P(t) I, gdy t, więc istnieje t >, że dla < u < t, P(u) I < 1/2. Wtedy 1/t t P(u)du I 1/t t P(u) I du 1/2. Dla małych h > suma Riemanna przybliżająca całkę jest nieosobliwa. Ponadto P(nh) P(t). Z naszej tożsamości otrzymujemy [ t ] 1 lim h +(1/h)[P(h) I] = [P(t) I] P(u) du więc P (+) istnieje.

8 Macierze odwracalne są zbiorem otwartym. Lemat. Zbiór macierzy odwracalnych jest otwarty w (L(V ), ). 1. Gdy A I < 1 to A jest odwracalna. Rzeczywiście, niech Y = (I A)n. Wtedy AY = YA = I : A k (I A) n = [I (I A)] k (I A) n = I (I A) k+1 I. Analogicznie sprawdzamy, że YA = I, więc Y = (A) Gdy B odwracalna oraz C taka, że C < 1/2 B 1 1, to B + C = B(I + B 1 C) oraz B 1 C < 1/2 zatem I + B 1 C odwracalna, więc także B + C odwracalna.

9 Kryterium nieprzywiedlności P(t) Markowską macierz przejścia P(t) nazywamy nieprzywiedlną gdy p ij (t) > dla dow. i, j oraz wszystkich t >. Kryterium P(t) = exp(tg) jest nieprzywiedlna dla dowolnych i, j; i j, istnieje skończony ciąg stanów i = i, i 1,..., i n = j, taki, że g ik i k+1 dla k n 1 Dowód. Gdy istnieje skończony ciąg stanów i 1,..., i n o własnościach jak wyżej mówimy, że istnieje droga z i do j, i j. Załóżmy, że nie istnieje droga z i do j, i j. Wtedy g (n) ij = [G n ] ij = dla dowolnych i oraz j, i j, n = 1, 2,... oraz p ij (t) = n= t n [G n ] ij n! = dla wszystkich t >, więc P( ) nie jest nieprzywiedlna.

10 Dostateczność kryterium nieprzywiedlności Na odwrót, gdy istnieją drogi od i do j, (i j), niech n - długość najkrótszej. Gdyby dla pewnego k pojawił sie wyraz g kk, to wykreślając go otrzymalibyśmy krótszą drogę. W takim razie g ik i k+1 >, bo i k i k+1. Jeśli n = 1, to g ij > wiec p ij (t) > dla małych t. Indukcja wzgl. n : Gdy n 2 to g ij = g (n 1) ij = i dla pewnego i 1, g ii1 > oraz g (n 1) i 1 j >. Wtedy zachodzi g (n ) ij = = {}}{ g ik g (n 1) kj = g ii g (n 1) + k i 1,i,j ij + g ik g (n 1) kj g ii1 g (n 1) i 1 j > = {}}{ g ij g (n 1) jj +g ii1 g (n 1) i 1 j Tak więc [G n ] ij = dla n < n oraz [G n ] ij >. Stąd, dla małych t > zachodzi p ij (t) >. Tak jest dla wszystkich i, j więc dla małych t > (zatem dla wszystkich t > ) zachodzi P(t) >.

11 Istnienie lim t P(t) Tw. 4. Niech P(t), t będzie nieprzywiedlną macierzą przejścia o skończonej ilości stanów. Wtedy lim t P(t) = π istnieje, macierz graniczna π ma stałe kolumny. Jej (identyczne) wektory wierszowe π są jedynymi wektorami prob. spełniającymi π = πp(t) dla wszystkich t. Dowód. Dla dowolnego h >, P(h) >. Z twierdzenia dotyczącego przypadku dyskretnego, dla dowolnego h > lim P(nh) = lim n n P(h)n = π istnieje, gdzie (identyczne) wektory wierszowe π są jedynymi wektorami prob. (t.j. π i = 1) spełniającymi π = πp(h). Poprzednio jednak pokazaliśmy, że P(t) jest jednostajnie ciągła na [, ). Istnienie lim t P(t) otrzymujemy z następującego lematu:

12 Istnienie lim t P(t) Lemat. Niech f będzie jednostajnie ciągłą, ograniczoną funkcją rzeczywistą na [, ) mającą własność lim f (nh) n istnieje dla dowolnego h >. Wtedy lim t f (t) istnieje. [Niech ε > oraz h > takie, że oscylacja f na odcinku o długości h ε/2. Niech lim n f (nh) = A. Wybieramy n takie, że f (nh) A < ε/2, dla n n. Niech t > n h oraz niech n 1 = [t/h]. Wtedy f (t) A f (t) f (n 1 h) + f (n 1 h) A < ε.] Zauważmy, że π jest takie samo dla każdego h więc π = πp(t), dla każdego t. Rozwiązanie powyższego równania jest jedyne (nawet dla pojedynczego ustalonego t > ), co kończy dowód.