19 marzec, Łańcuchy Markowa z czasem dyskretnym. Procesy Stochastyczne, wykład 6, T. Byczkowski, Procesy Stochastyczne, PPT, Matematyka MAP1136

Transkrypt

1 Procesy Stochastyczne, wykład 6, T. Byczkowski, Procesy Stochastyczne, PPT, Matematyka MAP marzec, 2012

2 Przykłady procesów Markowa (i). P = (p ij ) - macierz stochastyczna, tzn. p ij 0, j p ij = 1. Definiujemy P 1 (i, A) = j A p ij, (p ij = P 1 (i, {j})). Z równania Chapmana-Kołmogorowa macierz (P 2 (i, {j})) - przejścia w dwóch krokach - powinna spełniać p (2) ij = P 2 (i, {j}) = k p ik p kj. Stąd, macierz przejścia P (2) w dwóch krokach, będzie iloczynem macierzy P: P (2) = P 2 oraz ogólniej: P (s+k) = P (s) P (k) = P s+k. Bezpośrednio sprawdzamy, że taka definicja prawd. przejścia pociąga za sobą równość Chapmana-Kołmogorowa, więc każda macierz stochastyczna definiuje prawd. przejścia P t (x, E), gdzie T = {0, 1,..., }, S = {0, 1,..., }, B S = 2 S.

3 Przykłady procesów Markowa cd. (). Niech T = [0, ), S = {0, 1,..., }, B S = 2 S. Dla λ > 0 definiujemy p i,i+j (t) := P t (i, {i + j}) = e λt (λt) j /j!. Są to prawd. przejścia w procesie Poissona o intensywności λ. [P(X t+h = i + j X h = i) = P(X t = j) = p i,i+j (t)]. (i). Niech T = [0, ), S = R, B S = B R. Dla A borelowskiego na S = R kładziemy P t (x, A) = 1/ 2πt e y 2 /2t dy A x Są to prawd. przejścia w procesie Wienera [P(X t+h A X h = x) = P((X t+h X h ) + X h A X h = x) = P(X t A x)].

4 Łańcuchy Markowa Rozpatrujemy przypadek T = {0, 1,..., }, S = {0, 1,..., }, B S = 2 S. p j,k - prawd. przejścia w jednym kroku z stanu j do stanu k, k p j,k = 1. Prawd. przejścia z stanu j do stanu k w (n + 1) krokach dane jest przez p (n+1) j,k = l p j,l p (n) l,k, n = 1, 2,... Zakładamy dalej, że S - skończony. Prawd. przejścia określają macierz stochastyczną (n n). Macierz przejścia w n krokach jest dana wzorem P (n) = P n. Równania Chapmana-Kołmogorowa redukują sie do P (n+m) = P (n) P (m) = P n P m. Podstawowy problem - zachowanie systemu tzn. P n w czasie n. Przy pewnych założeniach prawd. przejścia p (n) j,k gdy n. Mówimy, że po upływie długiego czasu system jest stacjonarny.

5 Zbieżność P n Tw. 1. Niech P będzie macierzą stochastyczną. Załóżmy, że dla pewnego m, p (m) i,j > 0 dla wszystkich i, j. Wtedy lim P n = π istnieje. i jest macierzą stochastyczną o identycznych wierszach. Dowód. Załóżmy, że m = 1. Wtedy p i,j ε > 0, dla każdego i, j. Niech m j (n) = min p (n) i,j będzie najmniejszym elementem j-tej kolumny P n ; analogicznie, niech M j (n) = max p (n) i,j. Wtedy p (n) i,j = k p i,kp (n 1) k,j k p i,km j (n 1) = m j (n 1) dla każdego i, czyli m j (n) m j (n 1).

6 Zbieżność P n cd. Analogicznie pokazujemy, że M j (n) M j (n 1). Istnieją więc granice ciągów m j (n) i M j (n). Załóżmy, że m j (n) = p (n) i 0 j oraz M j (n 1) = p (n 1) i 1 j. Wtedy Stąd m j (n) = p (n) i 0 j εp (n 1) i 1 j = k p i0,kp (n 1) k,j = + (p i0,i 1 ε)p (n 1) i 1 j + k i 1 p i0,kp (n 1) k,j εm j (n 1) + [p i0,i 1 ε + k i 1 p i0,k]m j (n 1) m j (n) εm j (n 1) + (1 ε)m j (n 1) Niech m j = lim m j (n), M j = lim M j (n). Przechodząc w poprzednim wierszu do granicy otrzymujemy m j εm j + (1 ε)m j

7 Zbieżność P n cd. czyli m j M j więc m j = M j. Oznacza to,że kolumny macierzy granicznej π są stałe, więc macierz ma identyczne wiersze. Niech teraz m > 1. Z poprzedniej cześci dowodu otrzymujemy, że lim n Pnm = π. Gdy teraz l n to zapisując l n = mj n + k n, 0 k n < m, otrzymujemy P ln π = P mjn+kn P kn π P kn P mjn π = P mjn π 0, gdy n. Tutaj π = P kn π bo π ma stałe kolumny, a suma wyrazów każdego wiersza P kn jest równa 1.

8 Zbieżność P n cd. Wniosek Wiersze macierzy π spełniają relacje π i p ij = π j, π j > 0, i π i = 1. i Wektor π = (π i ) jest jedynym wektorem spełniającym powyższe relacje. Dowód. Zachodzi p (n) kj = i p (n 1) ki p ij. Przechodząc do granicy otrzymujemy π j = i π i p ij.

9 Zbieżność P n cd. Założyliśmy p ij ε > 0 więc p (n) kj = i p (n 1) ki p ij ε i p (n 1) ki = ε. Zachodzi i p(n) ki = 1 więc także i π i = 1. Jedyność. Przypuśćmy, że v jest wektorem spełniającym powyższe założenia. Wtedy v = vp = vp n = lim vp n = vπ = π, bo π ma kolumny złożone ze stałych, zaś i v i = 1. Gdy π dodatnie i zachodzi zbieżność P n π punktowo, to także jednostajnie, więc p (n) kj > 0, począwszy od pewnego n, dla wszystkich k, j.

10 Klasyfikacja stanów Definicja. Łańcuch Markowa nazywamy nieprzywiedlnym gdy dla każdego i, j istnieje n = n(i, j) takie, że p (n) ij > 0. Okres d i stanu i: n.w.d. zbioru {n 1; p (n) > 0} (n.w.d. = najwiekszy wspólny dzielnik). Stan i nazywamy aperiodycznym, gdy d i = 1. Tw. 2. Macierz stochastyczna P spełnia P m > 0 dla pewn. m (warunek dodatniości) wtedy i tylko wtedy, gdy łańcuch Markowa jest nieprzywiedlny i posiada co najmniej jeden stan aperiodyczny. Dowód. Gdy P m > 0 to dla wszystkich dużych potęg m zachodzi P m > 0 (zbieżność P m π > 0). Stąd p (m) > 0 i p (m+1) > 0, dla dużych m, wiec d i = 1. [m = k m ρ, m + 1 = k m+1 ρ]. Na odwrót, załóżmy, że stan i jest aperiodyczny. Wtedy p (n+m) = k p (n) ik p(m) ki p (n) p (m).

11 Klasyfikacja stanów Zatem D = {n; p (n) > 0} jest półgrupą w N. Zadanie (Ćwiczenia) Z tego, że n.w.d. liczb w D wynosi 1 wynika, że od pewnego m 0, D zawiera wszystkie liczby naturalne. Ustalamy stan i; niech j - inny stan. k oraz l wybieramy tak, aby p k ij > 0 oraz pl ji > 0. Wtedy dla wszystkich m m 0, p (m+k+l) jj p l jip m p k ij > 0 czyli p (m) jj > 0 dla odpowiednio dużych m więc j też jest aperiodyczny. Analogicznie p (m+l) ji p l jip m > 0, dla m m 0, więc także wyrazy poza przekątną główną są dodatnie, dla dużych m. Ponieważ P - macierz (n n), więc dla dużych m zachodzi P m > 0.

12 Klasyfikacja stanów Uwagi. 1. Gdy łańcuch jest nieprzywiedlny ale pewien stan ma okres d > 1 to wszystkie stany mają ten okres, P n nie musi być już zbieżne; zachodzi jednak zbieżność średnich: (P 0 + P P n )/n π; dla P n zachodzi zbieżność (mod d). 2. Gdy założenie nieprzywiedlności nie jest spełnione to zbiór stanów rozpada się na klasy stanów wzajemnie komunikujacych się oraz pewne stany do których nie ma powrotu (nie należą do żadnej klasy). 3. Gdy S nieskończony, sytuacja bardziej skomplikowana ale dalej można badać nieprzywiedlność, komunikowanie się stanów, okresowość, istnienie rozkładów stacjonarnych, itd.