Procesy sochasyczne WYKŁAD 4 Dyskreny roces Markowa Rozarujemy roces sochasyczny X, w kórym aramer jes ciągły zwykle. Będziemy zakładać, że zbiór sanów jes co najwyżej rzeliczalny.
Proces X, jes rocesem Markowa, jeśli dla dowolnego n, dla dowolnych chwil czasu < <...< n, oraz dowolnych sanów fazowych x, y, x,..., x n sełniona jes zależność: { } { } x X y X P x X x X x X y X P n n n n n n,...,,
Proces Markowa jes jednorodny w czasie, jeżeli dla dowolnych sanów x, y oraz chwil czasu < mamy P { X y X x} x, y, co oznacza, że rawdoodobieńswo rzejścia ze sanu x do sanu y w czasie od momenu do momenu zależy ylko od różnicy -, a nie zależy od momenu wyjściowego w szczególności może o być zawsze chwila.. 3
Przyjmijmy oznaczenie P{ X } n j X i ij, gdzie n -, n >. 4
5 Niech P [ ij ] sochasyczna macierz rzejścia i, j,,..., N dla skończonej liczby sanów. P NN N N N N L L L L L L L
Zależność s + s ij równaniem Chamana - Kołmogorowa. Wynika z niej, że k ik kj nazywamy P s + P s P P P s 6
Uwaga. Niech i PX i - rawdoodobieńswo, że w chwili roces znajdzie się w sanie i. Takie rawdoodobieńswa nazywamy niekiedy rawdoodobieńswami całkowiymi. oniższa własność. Wedy Niech i N j j ji,,..., N rozkład rocesu w chwili Wedy P 7
Zakładamy, że funkcje ij są ciągłe w unkcie. dla j i lim ij dla j i Wedy są ciągłe w dowolnym innym unkcie. Isnieje eż chociaż może być nieskończona granica lim + oraz skończona granica + ii ij lim ' ij ' ii + + 8
Dla wygody rzyjmiemy oznaczenia ' + ij ij nazywamy inensywnościami rzejścia ze sanu i do sanu j gdy j i, oraz ii inensywnością wyjścia ze sanu i. ij 9
Dalej będziemy rozarywali jednorodne rocesy Markowa, dla kórych wszyskie inensywności są skończone.
Określamy macierz inensywności Λ o elemenach równym inensywnościom ij dla skończonej liczby sanów L N Λ L N L L L L N N L NN zn. Λ P +
Własności macierzy inensywności a ii, wyrazy na głównej rzekąnej są niedodanie, b ij dla i j wyrazy oza rzekąną są nieujemne. c ij suma wyrazów każdego j wiersza jes równa
dowód c sąd + j j i ij ij + ii j i zaem lim + czyli j i j i ij ij + ii ij ii ii : 3
Macierzą inensywności nazywamy każdą macierz Λ aką, że: a elemeny ozadiagonalne są nieujemne, b elemeny diagonalne są niedodanie, c suma elemenów w każdym wierszu wynosi. 4
Twierdzenie. Macierz inensywności Λ ma zawsze warość własną równą. 5
Przyjmując [,,...] wekor rozkładu rocesu w momencie i macierz Λ możemy układ równań Kołmogorowa zaisać w osaci wekorowej: ' Λ czyli d d Λ 6
Rozwiązanie ego równania ma osać e Λ 7
Przykład. Narysować graf i wyznaczyć równania rosekywne Kołmogorowa rocesu Markowa o macierzy inensywności: Λ 3 4 7 8
[ ] [ ] [ ] 3 4 9
+ + + 7 4 3 d d d d d d
W rosych rzyadkach rozwiązanie układu równań ' Λ można wyznaczyć meodą rzekszałcenia Lalace'a.
Przykład. Sysem składa się z jednego elemenu odsawowego i dwóch elemenów zaasowych. Elemen odsawowy jes obciążony i suje się z inensywnością. Elemeny zaasowe są nieobciążone i nie sują się. Gdy osuje się elemen odsawowy jego funkcje rzejmuje elemen zaasowy i wedy suje się z inensywnością. Sysem rzesaje racować z chwilą osucia się wszyskich elemenów. Niech X będzie rocesem oznaczającym liczbę zesuych elemenów w czasie. Przyjmijmy, że rozkład ocząkowy ma osać [,,, ]. Narysujemy graf rocesu i jego macierz inensywności. Rozwiązując równanie Kołmogorowa wyznaczymy wekor i rozkład graniczny.
[ ] [ ] [ ] [ 3] 3
Λ 4
5 Układ ' Λ zaisujemy o wsółrzędnych w osaci 3
Pochodne ransformujemy wg wzoru: f sfˆ s f i orzymujemy układ równań 6
7 ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ 3 s s s s s s s s s s s s s s
Rozwiązując orzymany układ równań wyznaczamy oryginały reransformay na odsawie zależności n α e n+ n! s α α w szczególności s + α e 8
9 ; ; ; 3 e e e
Zauważmy, że rawdoodobieńswo, że w chwili układ racuje wynosi e. Prawdoodobieńswa graniczne są równe Π [,,, ]. 3
Rozkład graniczny sacjonarny, ergodyczność dla rocesów Markowa. Π Π lim π π...,,, π n 3
Twierdzenie. Rozkład graniczny nie zależy od rozkładu ocząkowego macierz inensywności Λ ma jednokroną warość własną równą. 3
Twierdzenie. Jeśli X jes rocesem Markowa o skończenie wielu sanach oraz isnieje chwila aka, że wszyskie wyrazy macierzy rzejścia są dodanie, o isnieją granice rawdoodobieńsw rzejścia lim ij π niezależne od sanu wyjściowego i, są dodanie i mają sumę równą. Prawdoodobieńswa e nazywamy rawdoodobieńswami ergodycznymi. Proces Markowa, dla kórego isnieją rawdoodobieńswa ergodyczne nazywamy rocesem ergodycznym. j 33
Twierdzenie. Jeśli skończona macierz inensywności Λ ma oza rzekąną ylko dodanie elemeny o roces en jes ergodyczny i ma dodanie rawdoodobieńswa graniczne. 34
Twierdzenie. Rozkład graniczny Π jes niezerowym rozwiązaniem układu ΠΛ sełniającym warunek unormowania suma składowych jes równa. 35
Twierdzenie. Rozkład graniczny Π można wyznaczyć za omocą doełnień algebraicznych M kk elemenów z rzekąnej macierzy -Λ: Π j k M jj M kk 36
Przykład. Narysować graf i wyznaczyć rozkład graniczny rocesu Markowa o macierzy inensywności: 5 Λ 3 4 3 6 37
[ ] [ ] [ ] 3 4 38
od. [4/49; 4/49; /49] 39