Dyskretny proces Markowa

Transkrypt

1 Procesy sochasyczne WYKŁAD 4 Dyskreny roces Markowa Rozarujemy roces sochasyczny X, w kórym aramer jes ciągły zwykle. Będziemy zakładać, że zbiór sanów jes co najwyżej rzeliczalny.

2 Proces X, jes rocesem Markowa, jeśli dla dowolnego n, dla dowolnych chwil czasu < <...< n, oraz dowolnych sanów fazowych x, y, x,..., x n sełniona jes zależność: { } { } x X y X P x X x X x X y X P n n n n n n,...,,

3 Proces Markowa jes jednorodny w czasie, jeżeli dla dowolnych sanów x, y oraz chwil czasu < mamy P { X y X x} x, y, co oznacza, że rawdoodobieńswo rzejścia ze sanu x do sanu y w czasie od momenu do momenu zależy ylko od różnicy -, a nie zależy od momenu wyjściowego w szczególności może o być zawsze chwila.. 3

4 Przyjmijmy oznaczenie P{ X } n j X i ij, gdzie n -, n >. 4

5 5 Niech P [ ij ] sochasyczna macierz rzejścia i, j,,..., N dla skończonej liczby sanów. P NN N N N N L L L L L L L

6 Zależność s + s ij równaniem Chamana - Kołmogorowa. Wynika z niej, że k ik kj nazywamy P s + P s P P P s 6

7 Uwaga. Niech i PX i - rawdoodobieńswo, że w chwili roces znajdzie się w sanie i. Takie rawdoodobieńswa nazywamy niekiedy rawdoodobieńswami całkowiymi. oniższa własność. Wedy Niech i N j j ji,,..., N rozkład rocesu w chwili Wedy P 7

8 Zakładamy, że funkcje ij są ciągłe w unkcie. dla j i lim ij dla j i Wedy są ciągłe w dowolnym innym unkcie. Isnieje eż chociaż może być nieskończona granica lim + oraz skończona granica + ii ij lim ' ij ' ii + + 8

9 Dla wygody rzyjmiemy oznaczenia ' + ij ij nazywamy inensywnościami rzejścia ze sanu i do sanu j gdy j i, oraz ii inensywnością wyjścia ze sanu i. ij 9

10 Dalej będziemy rozarywali jednorodne rocesy Markowa, dla kórych wszyskie inensywności są skończone.

11 Określamy macierz inensywności Λ o elemenach równym inensywnościom ij dla skończonej liczby sanów L N Λ L N L L L L N N L NN zn. Λ P +

12 Własności macierzy inensywności a ii, wyrazy na głównej rzekąnej są niedodanie, b ij dla i j wyrazy oza rzekąną są nieujemne. c ij suma wyrazów każdego j wiersza jes równa

13 dowód c sąd + j j i ij ij + ii j i zaem lim + czyli j i j i ij ij + ii ij ii ii : 3

14 Macierzą inensywności nazywamy każdą macierz Λ aką, że: a elemeny ozadiagonalne są nieujemne, b elemeny diagonalne są niedodanie, c suma elemenów w każdym wierszu wynosi. 4

15 Twierdzenie. Macierz inensywności Λ ma zawsze warość własną równą. 5

16 Przyjmując [,,...] wekor rozkładu rocesu w momencie i macierz Λ możemy układ równań Kołmogorowa zaisać w osaci wekorowej: ' Λ czyli d d Λ 6

17 Rozwiązanie ego równania ma osać e Λ 7

18 Przykład. Narysować graf i wyznaczyć równania rosekywne Kołmogorowa rocesu Markowa o macierzy inensywności: Λ

19 [ ] [ ] [ ] 3 4 9

20 d d d d d d

21 W rosych rzyadkach rozwiązanie układu równań ' Λ można wyznaczyć meodą rzekszałcenia Lalace'a.

22 Przykład. Sysem składa się z jednego elemenu odsawowego i dwóch elemenów zaasowych. Elemen odsawowy jes obciążony i suje się z inensywnością. Elemeny zaasowe są nieobciążone i nie sują się. Gdy osuje się elemen odsawowy jego funkcje rzejmuje elemen zaasowy i wedy suje się z inensywnością. Sysem rzesaje racować z chwilą osucia się wszyskich elemenów. Niech X będzie rocesem oznaczającym liczbę zesuych elemenów w czasie. Przyjmijmy, że rozkład ocząkowy ma osać [,,, ]. Narysujemy graf rocesu i jego macierz inensywności. Rozwiązując równanie Kołmogorowa wyznaczymy wekor i rozkład graniczny.

23 [ ] [ ] [ ] [ 3] 3

24 Λ 4

25 5 Układ ' Λ zaisujemy o wsółrzędnych w osaci 3

26 Pochodne ransformujemy wg wzoru: f sfˆ s f i orzymujemy układ równań 6

27 7 ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ 3 s s s s s s s s s s s s s s

28 Rozwiązując orzymany układ równań wyznaczamy oryginały reransformay na odsawie zależności n α e n+ n! s α α w szczególności s + α e 8

29 9 ; ; ; 3 e e e

30 Zauważmy, że rawdoodobieńswo, że w chwili układ racuje wynosi e. Prawdoodobieńswa graniczne są równe Π [,,, ]. 3

31 Rozkład graniczny sacjonarny, ergodyczność dla rocesów Markowa. Π Π lim π π...,,, π n 3

32 Twierdzenie. Rozkład graniczny nie zależy od rozkładu ocząkowego macierz inensywności Λ ma jednokroną warość własną równą. 3

33 Twierdzenie. Jeśli X jes rocesem Markowa o skończenie wielu sanach oraz isnieje chwila aka, że wszyskie wyrazy macierzy rzejścia są dodanie, o isnieją granice rawdoodobieńsw rzejścia lim ij π niezależne od sanu wyjściowego i, są dodanie i mają sumę równą. Prawdoodobieńswa e nazywamy rawdoodobieńswami ergodycznymi. Proces Markowa, dla kórego isnieją rawdoodobieńswa ergodyczne nazywamy rocesem ergodycznym. j 33

34 Twierdzenie. Jeśli skończona macierz inensywności Λ ma oza rzekąną ylko dodanie elemeny o roces en jes ergodyczny i ma dodanie rawdoodobieńswa graniczne. 34

35 Twierdzenie. Rozkład graniczny Π jes niezerowym rozwiązaniem układu ΠΛ sełniającym warunek unormowania suma składowych jes równa. 35

36 Twierdzenie. Rozkład graniczny Π można wyznaczyć za omocą doełnień algebraicznych M kk elemenów z rzekąnej macierzy -Λ: Π j k M jj M kk 36

37 Przykład. Narysować graf i wyznaczyć rozkład graniczny rocesu Markowa o macierzy inensywności: 5 Λ

38 [ ] [ ] [ ]

39 od. [4/49; 4/49; /49] 39