Procesy stochastyczne WYKŁAD 2-3 Łańcuchy Markowa Łańcuchy Markowa to procesy "bez pamięci" w których czas i stany są zbiorami dyskretnymi.
2 Łańcuchem Markowa nazywamy proces będący ciągiem zmiennych losowych X, X,... Określonych na wspólnej przestrzeni probabilistycznej, przyjmujących wartości całkowite i spełniające warunek ( ) ( ) Z j i i n n n n n n n n i X j X P i X i X i X j X P = = = = = = = =,,...,...,,,
Zatem dla łańcucha Markowa rozkład prawdopodobieństwa warunkowego położenia w n-tym kroku zależy tylko od prawdopodobieństwa warunkowego położenia w kroku poprzednim a nie od wcześniejszych punktów trajektorii (historia). 3
Andrei A.Markov856-922 Rosyjski matematyk. 4
Przykład. A,..., A n - wierzchołki n-kąta foremnego. Punkt losowo porusza się po tych wierzchołkach. Czy jest łańcuchem Markowa ciąg położeń punktu gdy a) punkt porusza się w sposób zdeterminowany zgodnie z ruchem wskazówek zegara, (tak) b) punkt losowo wybiera kierunek i dalej porusza się w wybranym kierunku, (nie) 5
Niech ( X = j X i) ( n) pij = P n n = oznacza prawdopodobieństwo przejścia w n-tym kroku ze stanu i do stanu j. 6
Jeśli (n) p ij nie zależą od n to łańcuch nazywamy jednorodnym i stosujemy zapis p ij. 7
Zakładając, że numery stanów są całkowite, nieujemne można prawdopodobieństwa przejść zapisać w macierzy P ( n p ( n p L p ) ( n) ( n) ) ( n) = p L L L L Dla łańcuchów jednorodnych powyższą macierz oznaczamy P. 8
9 Dla łańcuchów jednorodnych i stanów,, 2,, N macierz P ma postać: = NN N N N N p p p p p p p p p P L L L L L L L Dalej rozpatrujemy tylko łańcuchy jednorodne.
Własności macierzy prawdopodobieństw przejść: a) p ij b) suma każdego wiersza jest równa. tzn. i j p ij =
Każdą macierz spełniającą warunki a), b) nazywamy macierzą stochastyczną.
Uwaga. Macierz stochastyczna i rozkład zmiennej losowej X określają pewien łańcuch Markowa. Własności macierzy stochastycznych są zatem ściśle związane z własnościami łańcuchów Markowa. 2
Własności macierzy stochastycznych. A - dowolna macierz kwadratowa stopnia r. Wielomianem charakterystycznym tej macierzy nazywamy wielomian W ( λ) = det λ ( I A) Równanie W ( λ) = nazywamy równaniem charakterystycznym. Pierwiastki tego równania to wartości własne lub pierwiastki charakterystyczne tej macierzy. Niech λ,..., λ k - wartości własne macierzy A o krotnościach α,..., α k (k r). 3
Własność: I) suma wartości własnych (z krotnościami) jest równa śladowi macierzy tzn. sumie elementów jej przekątnej. II) Macierz jest osobliwa wtedy i tylko wtedy, gdy zero jest jej wartością własną 4
Przykład. Macierz P = 4 2 3 3 4 3 5
ma równanie charakterystyczne W ( λ) 3 λ 4 4 2 7 = det = 2 λ λ λ 2 3 3 5 2 = 6
5 λ. i wartości własne: λ =, 2 = 2 7
Własności macierzy stochastycznych: a) Wartością własną każdej macierzy stochastycznej jest λ = (oznaczamy λ =), b) Moduły wszystkich wartości własnych dowolnej macierzy stochastycznej są mniejsze lub równe, n lim n n, k c) (tw. Dooba ) istnieje granica P = A k = Macierz A ma własność PA = AP = A = A 2 (macierz idempotentna), 8
Klasyfikacja macierzy stochastycznych. α = α > i i> i > λ λ i = Regularne (tzn. nierozkładalne i niecykliczne) nierozkładalne cykliczne rozkładalne niecykliczne rozkładalne cykliczne 9
2 Tw. Frecheta (tw. Dooba dla macierzy nierozkładalnych) Dla każdej nierozkładalnej macierzy stochastycznej P istnieje granica E P n n k k n = = lim, = r r r e e e e e e e e e E L L L L L L L 2 2 2 (macierz ergodyczna)
Macierz E ma własność PE = EP = E = E 2 i spełnia warunki a), b) definicji macierzy stochastycznej. 2
Elementy macierzy E możemy wyznaczyć z warunków: r (P - I)e T =, e i =, gdzie e = (e,..., e r ) i= 22
Dla macierzy regularnych tw. Dooba ma postać: Twierdzenie. Jeśli macierz stochastyczna P jest regularna to istnieje granica lim n P n = E gdzie E - macierz ergodyczna., 23
Stochastyczne macierze regularne charakteryzuje też tzw. twierdzenie ergodyczne: Twierdzenie. Jeśli macierz stochastyczna P jest regularna to istnieje taka jej potęga w której co najmniej jedna kolumna ma wszystkie elementy dodatnie. 24
Przykład. Macierz P =,5,5,25,5,5,75 ma wartości własne λ =, 2 = 8 + 7 λ, λ 3 = 8 7 więc jest macierzą regularną. 25
Przykład. Macierz P =,5,5 ma wartości własne,5,5,5,5,5,5 λ =, λ 2 =, λ 3 = o krotności 2, więc jest macierzą cykliczną nierozkładalną. Macierz ta ma własność P gdy n nieparzyste P n = 2 P gdy n parzyste. 26
27 Przykład. Macierz = 4 3 4 3 2 3 2 2 2 2 P ma wartości własne λ = o krotności 3, 2 = λ, 2 3 = λ, więc jest macierzą niecykliczną rozkładalną.
Macierz stochastyczna rozkładalna (po ewentualnym przestawieniu wierszy i kolumn) ma bloki diagonalne, które są macierzami stochastycznymi. Wartościami własnymi macierzy P są wartości własne poszczególnych bloków. W tym przykładzie są trzy bloki diagonalne. 28
Przykład. Macierz,5,5 =,5,5 P ma wartości własne λ = o krotności 2, 2 = λ, = 3 macierzą cykliczną rozkładalną. λ, więc jest 29
Łańcuchy Markowa (jednorodne). p i (n) - prawdopodobieństwo znalezienia się w stanie i po n krokach (rozkład zmiennej losowej X n ). p i () - prawdopodobieństwo znalezienia się w stanie i w chwili początkowej (rozkład zmiennej losowej X - rozkład początkowy). p(n) = (p (n), p (n),... p N (n)) p() = (p (), p (),... p N ()) 3
p ij - prawdopodobieństwo przejścia od stanu i do stanu j w jednym (dowolnym) kroku, P = [p ij ]- macierz prawdopodobieństw przejść (w jednym kroku), jest to macierz stochastyczna, 3
Przykład. Błądzenie przypadkowe z odbiciem. [ ] [ ] p [ ] p 2 [ 3] p [ 4] q q q 32
P = q q p q p p 33
Przykład. Zapisz macierz P dla łańcuch a Markowa przedstawionego grafem 4 2 [ ] [ ] 3/ [ 2] [ 3] / / 4 / 2 4/ 5 [ 4] /5 34
P(n) = P n = [p ij (n)] - macierz prawdopodobieństw przejść od stanu i do stanu j w n krokach, 35
Równanie Chapmana, - Kołmogorowa: = p ( k + l) p ( k) p ( l) i j m i m m j 36
Sydney Chapman (888 97) brytyjski matematyk i geofizyk. 37
Andriej Kołmogorow (93-987) rosyjski matematyk, m.in. sformułował aksjomaty prawdopodobieństwa. 38
Własność: Znając rozkład początkowy i macierz P możemy wyznaczyć rozkład zmiennej losowej X n czyli prawdopodobieństwo znalezienia się w poszczególnych stanach po n krokach: czyli (p (n), p (n),...) = (p (), p (),...)P n. p(n) = p()p n Mamy też własność: p(m + n) = p(m)p n 39
Granicę Π = p( ) = lim p( n) (o ile istnieje ) n nazywamy rozkładem granicznym łańcucha Markowa. 4
Łańcuch Markowa dla którego istnieje rozkład graniczny niezależny od rozkładu początkowego p() nazywamy łańcuchem ergodycznym a rozkład graniczny nazywamy rozkładem ergodycznym. 4
Twierdzenie. Rozkład graniczny nie zależy od rozkładu początkowego p() wtedy i tylko wtedy, gdy wiersze macierzy granicznej lim n P n = E są takie same (równe rozkładowi granicznemu Π ). Warunek ten jest spełniony dla macierzy P regularnej (jednokrotna wartość własna równa i brak innych wartości własnych o module ). 42
Twierdzenie. Jeśli macierz stochastyczna P lub dowolna jej potęga ma co najmniej jedną kolumnę, której wszystkie elementy są dodatnie to odpowiadający jej łańcuch Markowa jest ergodyczny. 43
Sposoby wyznaczania rozkładu granicznego: Sposób I. Rozkład graniczny Π jest jedynym niezerowym rozwiązaniem układu (P T - I) Π T =, spełniającym warunek Π i= = i, 44
Przykład. Wyznaczyć rozkład ergodyczny łańcucha Markowa o macierzy P =,3,6,5,4,2,4,6 45
46 Należy rozwiązać równanie jednorodne = Π Π Π,4,4,2,4,5,6,7 2
Jest to układ nieoznaczony z jednym parametrem. Przyjmijmy np. Π =, wtedy Π = 28/24, Π 2 = 4/24. Dzieląc te rozwiązania przez ich sumę otrzymamy rozwiązanie unormowane Π = [6/23, 7/23, /23]. 47
Sposób II. Π j = gdzie A kk to dopełnienia algebraiczne macierzy I - P (wyznacznik podmacierzy otrzymanej przez skreślenie k-tego wiersza i k- tej kolumny macierzy I P). k A jj A kk 48
Przykład. Wyznaczyć drugim sposobem rozkład ergodyczny łańcucha z poprzedniego przykładu. 49
Klasyfikacja stanów. Będziemy utożsamiać stan s k z liczbą k. Stan s k jest osiągalny ze stanu s j jeśli p jk (n) > dla pewnego n, Stany s k i s j nazywamy wzajemnie komunikującymi się jeśli stan s k jest osiągalny ze stanu s j, i odwrotnie. 5
Stan s k jest stanem nieistotnym gdy istnieje stan s j osiągalny ze stanu s k a stan s k nie jest osiągalny ze stanu s j, 5
Zbiór stanów C nazywamy zamkniętym, jeżeli żaden stan spoza C nie da się osiągnąć wychodząc z dowolnego stanu w C. 52
Pojedynczy stan zamknięty (musi być p kk = ) nazywamy stanem pochłaniającym. 53
Łańcuch Markowa jest nieprzywiedlny, gdy wszystkie jego stany wzajemnie komunikują się. 54
Przy badaniu ewolucji łańcucha Markowa w czasie chcemy wiedzieć, do których stanów łańcuch powraca nieskończenie wiele razy, a które po pewnym czasie opuszcza bezpowrotnie. 55
Niech F kj będzie prawdopodobieństwem, że łańcuch wychodząc ze stanu k dotrze kiedykolwiek do stanu j. F kj = P U( X n = j X = k) n 56
Jeśli f kj (n) - prawdopodobieństwo, że wychodząc ze stanu k łańcuch dojdzie po raz pierwszy do stanu j w n-tym kroku fk ( n) = PX ( j,..., Xn j, Xn = j X = j k ) to F = f ( n) kj n kj 57
Stan j nazywamy: a) powracającym, gdy F jj =. b) chwilowym gdy F jj <. 58
Twierdzenie. W nieprzywiedlnym łańcuchu Markowa wszystkie stany są tego samego typu: jeżeli jeden jest powracający (chwilowy) to wszystkie są powracające (chwilowe). Dlatego możemy mówić, że łańcuch jest np. powracający. 59
Twierdzenie. Przestrzeń stanów S łańcucha Markowa można jednoznacznie przedstawić w postaci sumy: S = T S S 2... gdzie T - zbiór stanów chwilowych, S i - nieprzywiedlne zamknięte zbiory stanów powracających. 6
Łańcuchy okresowe. Okresem stanu j nazywamy liczbę: o(j) = NWD(n: p jj (n)>) jest to największy wspólny dzielnik takich liczb n, że powrót do stanu j może nastąpić po n krokach. Stan j nazywamy okresowym gdy ma okres większy od i nieokresowym gdy ma okres. 6
Twierdzenie. W nieprzywiedlnym łańcuchu Markowa wszystkie stany mają ten sam okres. Zatem nieprzywiedlny łańcuch Markowa nazywamy okresowym, gdy jego stany mają okres większy od, w przeciwnym przypadku łańcuch nazywamy nieokresowym. 62
Łańcuch ergodyczny. Łańcuch jest ergodyczny jeśli istnieje lim p ( n) = π π = n ij j j Rozkład Π nazywamy rozkładem ergodycznym (granicznym). 63
Łańcuch stacjonarny. Łańcuch jest stacjonarny, gdy istnieje rozkład Π zwany rozkładem stacjonarnym, że ΠP = Π W łańcuchu ergodycznym rozkład stacjonarny (graniczny) nie zależy od rozkładu początkowego. 64
Uwaga. ergodyczny stacjonarny Każdy łańcuch o skończonej liczbie stanów jest stacjonarny. 65
Twierdzenie. Dla nieprzywiedlnego, nieokresowego łańcucha Markowa (X n ) dla którego istnieje rozkład stacjonarny Π mamy: a) łańcuch (X n ) jest powracający, b) łańcuch (X n ) jest ergodyczny, c) rozkład stacjonarny jest jedyny oraz π j =/µ j, gdzie µ j jest średnim czasem powrotu łańcucha do stanu j. 66