Procesy stochastyczne WYKŁAD 2-3 Łańcuchy Markowa Łańcuchy Markowa to procesy "bez pamięci" w których czas i stany są zbiorami dyskretnymi. Przykład Symetryczne błądzenie przypadkowe na prostej. 1
2 Łańcuchem Markowa nazywamy proces będący ciągiem zmiennych losowych X, X 1,... Określonych na wspólnej przestrzeni probabilistycznej, przyjmujących wartości całkowite i spełniające warunek Z j i i n n n n n n n n i X j X P i X i X i X j X P,,..., 1 1 1 1 1 1 1...,,,
Zatem dla łańcucha Markowa rozkład prawdopodobieństwa warunkowego położenia w n-tym kroku zależy tylko od prawdopodobieństwa warunkowego położenia w kroku poprzednim a nie od wcześniejszych punktów trajektorii (historia). 3
Andrei A.Markov1856-1922 Rosyjski matematyk. 4
Przykład. A 1,..., A n - wierzchołki n-kąta foremnego. Punkt losowo porusza się po tych wierzchołkach. Czy jest łańcuchem Markowa ciąg położeń punktu gdy a) punkt porusza się w sposób zdeterminowany zgodnie z ruchem wskazówek zegara, (tak) b) punkt losowo wybiera kierunek i dalej porusza się w wybranym kierunku, (nie) 5
Niech p ( n) ij P X n j X n1 i oznacza prawdopodobieństwo przejścia w n-tym kroku ze stanu i do stanu j. 6
Jeśli (n) p ij nie zależą od n to łańcuch nazywamy jednorodnym i stosujemy zapis p ij. 7
Zakładając, że numery stanów są całkowite, nieujemne można prawdopodobieństwa przejść zapisać w macierzy P ( n p ( n p1 p ) ( n) 1 ( n) ) ( n) p11 Dla łańcuchów jednorodnych powyższą macierz oznaczamy P. 8
9 Dla łańcuchów jednorodnych i stanów, 1, 2,, N macierz P ma postać: NN N N N N p p p p p p p p p P 1 1 11 1 1 Dalej rozpatrujemy tylko łańcuchy jednorodne.
Własności macierzy prawdopodobieństw przejść: a) p ij b) suma każdego wiersza jest równa 1. tzn. i j p ij 1 1
Każdą macierz spełniającą warunki a), b) nazywamy macierzą stochastyczną. 11
Uwaga. Macierz stochastyczna i rozkład zmiennej losowej X określają pewien łańcuch Markowa. Własności macierzy stochastycznych są zatem ściśle związane z własnościami łańcuchów Markowa. 12
Własności macierzy stochastycznych. A - dowolna macierz kwadratowa stopnia r. Wielomianem charakterystycznym tej macierzy nazywamy wielomian W ( ) det I A Równanie W ( ) nazywamy równaniem charakterystycznym. Pierwiastki tego równania to wartości własne lub pierwiastki charakterystyczne tej macierzy. Niech 1,..., k - wartości własne macierzy A o krotnościach 1,..., k (k r). 13
Własność: I) suma wartości własnych (z krotnościami) jest równa śladowi macierzy tzn. sumie elementów jej przekątnej. II) Macierz jest osobliwa wtedy i tylko wtedy, gdy zero jest jej wartością własną 14
Przykład. Macierz P 1 4 2 3 3 4 1 3 15
ma równanie charakterystyczne W ( ) 1 det 4 2 3 3 4 1 3 2 7 12 5 12 16
5. i wartości własne: 1 =1, 2 12 17
Własności macierzy stochastycznych: a) Wartością własną każdej macierzy stochastycznej jest = 1 (oznaczamy 1 =1), b) Moduły wszystkich wartości własnych dowolnej macierzy stochastycznej są mniejsze lub równe 1, c) Średnia arytmetyczna i iloczyn dwóch macierzy stochastycznych tego samego stopnia są także macierzami stochastycznymi. n 1 lim n n, k d) (tw. Dooba ) istnieje granica P A k 1 Macierz A ma własność PA = AP = A = A 2 (macierz idempotentna), 18
Klasyfikacja macierzy stochastycznych. 1 = 1 1 > 1 i i1 i 1 1 i 1 Regularne (tzn. nierozkładalne i niecykliczne) nierozkładalne cykliczne rozkładalne niecykliczne rozkładalne cykliczne Uwaga W macierzy rozkładalnej występują diagonalne podmacierze stochastyczne (ich ilość wynosi 1 ). W macierzy cyklicznej w kolejnych potęgach okresowo (długość cyklu) pojawiają się bloki zerowe i dodatnie. 19
2 Tw. Frecheta (tw. Dooba dla macierzy nierozkładalnych) Dla każdej nierozkładalnej macierzy stochastycznej P istnieje granica E P n n k k n 1 1 lim, (ergodyczność w sensie Cesaro) r r r e e e e e e e e e E 2 1 2 1 2 1 (macierz ergodyczna)
Macierz E ma własność PE = EP = E = E 2 i spełnia warunki a), b) definicji macierzy stochastycznej. 21
Elementy macierzy E możemy wyznaczyć z warunków: r (P - I)e T =, e i 1, gdzie e = (e 1,..., e r ) i1 22
Dla macierzy regularnych tw. Dooba ma postać: Twierdzenie. Jeśli macierz stochastyczna P jest regularna to istnieje granica lim n P n E (ergodyczność) gdzie E - macierz ergodyczna., 23
Stochastyczne macierze regularne charakteryzuje też tzw. twierdzenie ergodyczne: Twierdzenie. Jeśli macierz stochastyczna P jest regularna to istnieje taka jej potęga w której co najmniej jedna kolumna ma wszystkie elementy dodatnie. 24
Przykład. Macierz P,5,5,25,5,5,75 ma wartości własne 1 =1, 2 8 1 17 1, 3 8 17 więc jest macierzą regularną. 25
Przykład. Macierz P,5,5 ma wartości własne,5,5,5,5,5,5 1 =1, 2 1, 3 o krotności 2, więc jest macierzą cykliczną nierozkładalną. Macierz ta ma własność P gdy n nieparzyste P n 2 P gdy n parzyste. 26
27 Przykład. Macierz 4 3 4 1 3 2 3 1 1 2 1 2 1 2 1 2 1 P ma wartości własne 1 =1 o krotności 3, 2, 12 1 3, więc jest macierzą niecykliczną rozkładalną.
Macierz stochastyczna rozkładalna (po ewentualnym przestawieniu wierszy i kolumn) ma bloki diagonalne, które są macierzami stochastycznymi. Wartościami własnymi macierzy P są wartości własne poszczególnych bloków. W tym przykładzie są trzy bloki diagonalne. 28
Przykład. Macierz,5,5,5,5 1 1 P ma wartości własne 1 =1 o krotności 2, 2, 1 macierzą cykliczną rozkładalną. 3, więc jest 29
Macierz przywiedlna. Macierz kwadratowa P stopnia n nazywa się przywiedlna, jeśli przez odpowiednie permutacje wierszy i kolumn można przekształcić P do postaci B C D gdzie B, D są kwadratowe. W przeciwnym przypadku macierz P nazywa się nieprzywiedlna. 3
Własność Macierz dodatnia jest nieprzywiedlna, Jeśli macierz ma zerowy wiersz lub kolumnę zerową to jest przywiedlna. Macierz diagonalna lub trójkątna jest przywiedlna. 31
Postać normalna macierzy stochastycznej. Postać normalna macierzy stochastycznej P stopnia n to macierz T1 T 2 R T g S Otrzymana z P przez odpowiednie permutacje wierszy i kolumn, gdzie T i to macierze stochastyczne i nieprzywiedlne, 1 g n, g = krotność wartości własnej 1. S kwadratowa, niestochastyczna i nieprzywiedlna (jeśli istnieje). 32
Przykład. Macierz P,5,5,5,5,5,5,5,5 ma wartości własne 1 =1 o krotności 2, 2 o krotności 2. Jej postać normalna,5,5,5,5,5,5,5,5 Ma dwie macierze stochastyczne T 1 T 2,5,5,5,5 Brak macierzy S i R. 33
Przykład. Macierz P 1,5 1,5,5,5 ma wartości własne 1 =1 o krotności 2, 2, 2, 5 to macierz rozkładalna niecykliczna. Jej postać normalna jest taka jak P. Jest 1 1,5,5,5 Ma dwie macierze stochastyczne,5 1 T2 1 T,,5,5 R, S,5,5 34
Własności ŁM zależne od własności macierzy P. P - regularna, nieprzywiedlna. Ł. ergodyczny, rozkład gr. nie zależy od r. początkowego, jeden dodatni r. stacjonarny. 35
P - regularna, przywiedlna. Ł. ergodyczny, rozkład gr. nie zależy od r. początkowego, jeden nieujemny r. stacjonarny. 36
P - nierozkładalna, cykliczna, nieprzywiedlna. Ł. ergodyczny w sensie Cesaro, jeden dodatni rozkład stacjonarny. 37
P - nierozkładalna, cykliczna, przywiedlna. Ł. ergodyczny w sensie Cesaro, jeden nieujemny rozkład stacjonarny. 38
P - rozkładalna, niecykliczna. Ł. nieergodyczny, rozkład gr. zależy od rozkładu początkowego, wiele rozkładów stacjonarnych. 39
P - rozkładalna, cykliczna. Ł. nieergodyczny, rozkład gr. zależy od rozkładu początkowego, wiele rozkładów stacjonarnych. 4
Łańcuchy Markowa (jednorodne). p i (n) - prawdopodobieństwo znalezienia się w stanie i po n krokach (rozkład zmiennej losowej X n ). p i () - prawdopodobieństwo znalezienia się w stanie i w chwili początkowej (rozkład zmiennej losowej X - rozkład początkowy). p(n) = (p (n), p 1 (n),... p N (n)) p() = (p (), p 1 (),... p N ()) 41
p ij - prawdopodobieństwo przejścia od stanu i do stanu j w jednym (dowolnym) kroku, P = [p ij ]- macierz prawdopodobieństw przejść (w jednym kroku), jest to macierz stochastyczna, 42
Przykład. Błądzenie przypadkowe z odbiciem. 1 p p 1 2 3 p 4 q q q 1 43
P q 1 q p q p 1 p 44
Przykład. Zapisz macierz P dla łańcuch a Markowa przedstawionego grafem 1 4 1 2 1 3/ 2 3 1/ 1/ 4 1/ 2 4/ 5 4 1/5 45
P(n) = P n = [p ij (n)] - macierz prawdopodobieństw przejść od stanu i do stanu j w n krokach, 46
Równanie Chapmana, - Kołmogorowa: p i ( k l) p j i ( k) p m m ( l) j m 47
Sydney Chapman (1888 197) brytyjski matematyk i geofizyk. 48
Andriej Kołmogorow (193-1987) rosyjski matematyk, m.in. sformułował aksjomaty prawdopodobieństwa. 49
Własność: Znając rozkład początkowy i macierz P możemy wyznaczyć rozkład zmiennej losowej X n czyli prawdopodobieństwo znalezienia się w poszczególnych stanach po n krokach: czyli (p (n), p 1 (n),...) = (p (), p 1 (),...)P n. p(n) = p()p n Mamy też własność: p(m + n) = p(m)p n 5
Granicę p( ) lim p( n) (o ile istnieje ) n nazywamy rozkładem granicznym łańcucha Markowa. 51
Łańcuch Markowa dla którego istnieje rozkład graniczny niezależny od rozkładu początkowego p() nazywamy łańcuchem ergodycznym a rozkład graniczny nazywamy rozkładem ergodycznym. 52
Twierdzenie. Rozkład graniczny nie zależy od rozkładu początkowego p() wtedy i tylko wtedy, gdy wiersze macierzy granicznej lim n P n E są takie same (równe rozkładowi granicznemu ). Warunek ten jest spełniony dla macierzy P regularnej (jednokrotna wartość własna równa 1 i brak innych wartości własnych o module 1). 53
Twierdzenie. Jeśli macierz stochastyczna P lub dowolna jej potęga ma wszystkie elementy dodatnie to odpowiadający jej łańcuch Markowa jest ergodyczny. 54
Sposoby wyznaczania rozkładu granicznego: Sposób I. Rozkład graniczny jest jedynym niezerowym rozwiązaniem układu (P T - I) T =, spełniającym warunek i1 1 i, 55
Przykład. Wyznaczyć rozkład ergodyczny łańcucha Markowa o macierzy P,3,6,5,4,2,4,6 56
57 Należy rozwiązać równanie jednorodne,4,4,2,4 1,5,6,7 2 1
Jest to układ nieoznaczony z jednym parametrem. Przyjmijmy np. = 1, wtedy 1 = 28/24, 2 = 4/24. Dzieląc te rozwiązania przez ich sumę otrzymamy rozwiązanie unormowane = [6/23, 7/23, 1/23]. 58
Sposób II. j gdzie A kk to dopełnienia algebraiczne macierzy I - P (wyznacznik podmacierzy otrzymanej przez skreślenie k-tego wiersza i k- tej kolumny macierzy I P). k A jj A kk 59
Przykład. Wyznaczyć drugim sposobem rozkład ergodyczny łańcucha z poprzedniego przykładu. 6
Klasyfikacja stanów. Będziemy utożsamiać stan s k z liczbą k. Stan s k jest osiągalny ze stanu s j jeśli p jk (n) > dla pewnego n, Stany s k i s j nazywamy wzajemnie komunikującymi się jeśli stan s k jest osiągalny ze stanu s j, i odwrotnie. 61
Stan s k jest stanem nieistotnym gdy istnieje stan s j osiągalny ze stanu s k a stan s k nie jest osiągalny ze stanu s j, 62
Zbiór stanów C nazywamy zamkniętym, jeżeli żaden stan spoza C nie da się osiągnąć wychodząc z dowolnego stanu w C. 63
Pojedynczy stan zamknięty (musi być p kk = 1) nazywamy stanem pochłaniającym. 64
Łańcuch Markowa jest nieprzywiedlny, gdy wszystkie jego stany wzajemnie komunikują się. 65
Przy badaniu ewolucji łańcucha Markowa w czasie chcemy wiedzieć, do których stanów łańcuch powraca nieskończenie wiele razy, a które po pewnym czasie opuszcza bezpowrotnie. 66
Niech F kj będzie prawdopodobieństwem, że łańcuch wychodząc ze stanu k dotrze kiedykolwiek do stanu j. F kj P( X n j X k) n 67
Jeśli f kj (n) - prawdopodobieństwo, że wychodząc ze stanu k łańcuch dojdzie po raz pierwszy do stanu j w n-tym kroku f kj ( n) PX ( j,..., Xn 1j, Xn j X 1 k ) to F f ( n) kj n kj 68
Stan j nazywamy: a) powracającym, gdy F jj = 1. b) chwilowym gdy F jj < 1. 69
Twierdzenie. W nieprzywiedlnym łańcuchu Markowa wszystkie stany są tego samego typu: jeżeli jeden jest powracający (chwilowy) to wszystkie są powracające (chwilowe). Dlatego możemy mówić, że łańcuch jest np. powracający. 7
Twierdzenie. Przestrzeń stanów S łańcucha Markowa można jednoznacznie przedstawić w postaci sumy: S T S 1 S2... gdzie T - zbiór stanów chwilowych, S i - nieprzywiedlne zamknięte zbiory stanów powracających. 71
Łańcuchy okresowe. Okresem stanu j nazywamy liczbę: o(j) = NWD(n: p jj (n)>) jest to największy wspólny dzielnik takich liczb n, że powrót do stanu j może nastąpić po n krokach. Stan j nazywamy okresowym gdy ma okres większy od 1 i nieokresowym gdy ma okres 1. 72
Twierdzenie. W nieprzywiedlnym łańcuchu Markowa wszystkie stany mają ten sam okres. Zatem nieprzywiedlny łańcuch Markowa nazywamy okresowym, gdy jego stany mają okres większy od 1, w przeciwnym przypadku łańcuch nazywamy nieokresowym. 73
Łańcuch ergodyczny. Łańcuch jest ergodyczny jeśli istnieje lim p ( n) 1 n ij j j Rozkład nazywamy rozkładem ergodycznym (granicznym). 74
Łańcuch stacjonarny. Łańcuch jest stacjonarny, gdy istnieje rozkład zwany rozkładem stacjonarnym, że P = W łańcuchu ergodycznym rozkład stacjonarny (graniczny) nie zależy od rozkładu początkowego. 75
Uwaga. ergodyczny stacjonarny Każdy łańcuch o skończonej liczbie stanów jest stacjonarny. 76
Twierdzenie. Dla nieprzywiedlnego, nieokresowego łańcucha Markowa (X n ) dla którego istnieje rozkład stacjonarny mamy: a) łańcuch (X n ) jest powracający, b) łańcuch (X n ) jest ergodyczny, c) rozkład stacjonarny jest jedyny oraz j =1/ j, gdzie j jest średnim czasem powrotu łańcucha do stanu j. 77