( n) Łańcuchy Markowa X 0, X 1,...

Transkrypt

1 Łańcuchy Markowa Łańcuchy Markowa to rocesy dyskretne w czasie i o dyskretnym zbiorze stanów, "bez amięci". Zwykle będziemy zakładać, że zbiór stanów to odzbiór zbioru liczb całkowitych Z lub zbioru {,,,...} jako uroszczenie zaisu { S,,...} S., S Łańcuchem Markowa nazywamy roces będący ciągiem zmiennych losowych X, X,... Określonych na wsólnej rzestrzeni robabilistycznej, rzyjmujących wartości całkowite i sełniające warunek P ( X n j X i, X i,..., X n in ) P ( X ) n j X n in n i,..., i, j {,,,... } n Zatem dla łańcucha Markowa rozkład rawdoodobieństwa warunkowego ołożenia w n-tym kroku zależy tylko od rawdoodobieństwa warunkowego ołożenia w kroku orzednim a nie od wcześniejszych unktów trajektorii (historia). Niech ( X j X i) ( n) ij P n n oznacza rawdoodobieństwo warunkowe rzejścia w n-tym kroku ze stanu i do stanu j. Jeśli (n) ij nie zależą od n to łańcuch nazywamy jednorodnym (jednorodnym w czasie) i stosujemy zais ij. Zakładając, że numery stanów są całkowite, nieujemne można rawdoodobieństwa rzejść zaisać w macierzy P ( n ( n L ) ( n) ( n) ) ( n) L L L L W ierwszym wierszu mamy kolejno rawdoodobieństwo ozostania w stanie w n-tym kroku i rawdoodobieństwa rzejścia w n-tym kroku ze stanu o numerze do stanów o numerach,, itd. Analogicznie określone są ozostałe wiersze.

2 Dla łańcuchów jednorodnych owyższą macierz oznaczamy P i ma ona ostać P L Własności macierzy rawdoodobieństw rzejść: L L L L ( n) a) b) suma każdego wiersza jest równa. ij Zauważmy też, że w macierzy tej nie może istnieć kolumna złożona z samych zer. Każdą macierz sełniającą warunki a), b) nazywamy macierzą stochastyczną. Będziemy dalej rzyjmować najczęściej, że rozatrywane łańcuchy Markowa mają skończona liczbę stanów. i (n) - rawdoodobieństwo znalezienia się w stanie i o n krokach (rozkład zmiennej losowej X n ). Prawdoodobieństwa te stanowią składowe wektora (n), jest to rozkład łańcucha Markowa o n krokach. i () - rawdoodobieństwo znalezienia się w stanie i w chwili oczątkowej (rozkład zmiennej losowej X - rozkład oczątkowy). Prawdoodobieństwa te stanowią składowe wektora (). ij - rawdoodobieństwo rzejścia od stanu i do stanu j w jednym (dowolnym) kroku, P [ ij ]- macierz rawdoodobieństw rzejść (w jednym kroku), jest to macierz stochastyczna. Błądzenie rzyadkowe z odbiciem. N. gdy stany i 4 są odbijające [ ] [ ] [ ] [ 3] [ 4] P

3 Błądzenie rzyadkowe z ochłanianiem. N. gdy stany i 4 są ochłaniające [ ] [ ] [ ] [ 3] [ 4] Problem P ruiny gracza jest szczególnym rzyadkiem błądzenia rzyadkowego z ochłanianiem. Gracz dysonuje oczątkowo kwotą k zł. W kolejnych etaach z rawdoodobieństwem wygrywa zł albo z rawdoodobieństwem - rzegrywa zł. Gra kończy się gdy gracz osiągnie kwotę w > k zł lub rzegra wszystko. Zatem mamy dwa stany ochłaniające i w. Graf i macierz rozatrywanego łańcucha są nastęujące. [ ] [ ] L [ k] L [ w ] [ w] rozkład oczątkowy określa X k P L L L L Jeśli rzez r(k) oznaczymy rawdoodobieństwo ruiny gracza, który rozoczął grę z kwotą k zł to rozwiązując równanie rekurencyjne L r ( k) r( k ) + r( k + ) z warunkami r(), r(w), otrzymujemy, że rawdoodobieństwo ruiny gracza wynosi w k ( ) r k gdy w 3

4 oraz k r( k) gdy w Jeśli rzez z(k) oznaczymy rawdoodobieństwo zdobycia rzez gracza kwoty w, który rozoczął grę z kwotą k zł to rozwiązując równanie rekurencyjne z ( k) z( k + ) + r( k ) z warunkami z(), z(w), otrzymujemy oraz k z ( k) gdy w k ( ) z k gdy w Zauważmy, że r(k) + z(k) co oznacza, że gra musi się skończyć. Elektron może znajdować się w jednym ze stanów (orbit),,...w zależności od osiadanej energii. Przejście z i - tej do j - tej orbity w ciągu sekundy zachodzi z rawdoodobieństwem Wyznacz c i, i macierz P. c e α j i i, α > jest dane. Narysuj graf łańcucha Markowa odowiadający macierzy rawdoodobieństw rzejść / P / / / 3 / / / 6 Zaisz macierz P dla łańcuch a Markowa rzedstawionego grafem 4 [ ] [ ] 3/ [ ] [ 3] / / 4 / 4/ 5 [ 4] /5 4

5 P(n) P n [ ij (n)] - macierz rawdoodobieństw rzejść od stanu i do stanu j w n krokach, Równanie Chamana, - Kołmogorowa: Własność: ( k + l) ( k) ( l) i j m i m m j Znając rozkład oczątkowy i macierz P możemy wyznaczyć rozkład zmiennej losowej X n czyli rawdoodobieństwo znalezienia się w oszczególnych stanach o n krokach: czyli Mamy też własność: ( (n), (n),...) ( (), (),...)P n. (n) (o)p n (m + n) (m)p n Rozatrzmy łańcuch Markowa o macierzy,5,5 P,5,75,5,5 i rozkładzie oczątkowym () (,, ). Po ierwszym kroku rawdoodobieństwa znalezienia się w oszczególnych stanach są równe,5,5 ( ) () P [,,],5,75 [,5;;,5],5,5 Po drugim kroku rawdoodobieństwa znalezienia się w oszczególnych stanach są równe () () P,5,5,5 [,,],375,438,88 [,5;,5;,5],5,5,65 Po trzecim kroku rawdoodobieństwa znalezienia się w oszczególnych stanach są równe (3) () P 3,375,88,438 [,,],8,3,56 [,375;,88;,438],438,344,9 Obliczając kolejne otęgi macierzy P możemy wyliczone wartości (n) zestawić dla n,..., w nastęującej tabeli i rzedstawić na wykresie. 5

6 krok Stan Stan Stan,5,5,5,5,5 3,375,88,438 4,46,66,38 5,367,3,4 6,385,59,356 7,37,43,386 8,379,54,367 9,373,47,38,376,5,37,374,49,377,376,5,374 rawdoodobieństwo,6,5,4,3,, stan stan stan kroki Zauważmy, że rozatrywane rawdoodobieństwa stabilizują się na określonym oziomie i dążą do ewnych granic, co związane jest z regularności rozatrywanej macierzy stochastycznej. Jak okażemy wkrótce, istnieją sosoby wyznaczania tych granicznych rawdoodobieństw bez obliczania otęg macierzy P. Zobaczmy teraz jak zmienia się rawdoodobieństwo znalezienia się w ustalonym stanie w oszczególnych krokach, gdy zmienia się rozkład oczątkowy. Rozatrzmy stan i rozkłady oczątkowe () (,, ), () (,, ), () (,, ). Obliczone rawdoodobieństwa (w odobny sosób jak wyżej) zestawiono w tabeli i rzedstawiono na wykresie dla n,...,. 6

7 () \ krok () (,, ),5,5,375,46,367,385,37,379,373,376,374,376 () (,, ),375,8,398,346,388,364,38,37,378,373,376 () (,, ),5,5,438,38,4,356,386,367,38,37,377,374,6 X ( ) X ( ) X ( ),5 rawdoodobieństwo,4,3,, k r o k i Zauważmy, że rozatrywane rawdoodobieństwo dla dużych n nie zależy od rozkładu oczątkowego. Granicę Π ( ) lim ( n) (o ile istnieje ) nazywamy rozkładem granicznym łańcuch Markowa. n ( Π Π,,...) Π., Π Łańcuch Markowa dla którego istnieje rozkład graniczny niezależny od rozkładu oczątkowego () nazywamy łańcuchem ergodycznym. Twierdzenie. Rozkład graniczny nie zależy od rozkładu oczątkowego () wtedy i tylko wtedy gdy wiersze macierzy granicznej lim P n E są takie same. n Warunek ten jest sełniony dla macierzy P regularnej (jednokrotna wartość własna równa ). 7

8 Uwaga. Jeśli ewna otęga macierzy rzejścia P ma co najmniej jedną kolumnę złożoną wyłącznie z wyrazów dodatnich to rozatrywany łańcuch jest ergodyczny. Sosoby wyznaczania rozkładu granicznego: Sosób I. Rozkład graniczny Π jest jedynym niezerowym rozwiązaniem układu (P T - I) Π T, Uwaga. sełniającym warunek Π i i, Z owyższej równości wynika, że ΠP Π co oznacza, że wektor Π jest wektorem własnym macierzy P odowiadającym wartości własnej równej. Wyznaczyć rozkład ergodyczny łańcucha Markowa o macierzy,3,5, P,6,4,4,6 Należy rozwiązać równanie jednorodne,7,6,5,,4 Π,4 Π,4 Π 3 Jest to układ nieoznaczony z jednym arametrem. Przyjmijmy n. Π, wtedy Π 8/4, Π 3 4/4. Dzieląc te rozwiązania rzez ich sumę otrzymamy rozwiązanie unormowane Π [6/3, 7/3, /3]. Sosób II. Π j gdzie A kk to doełnienia algebraiczne macierzy I - P (wyznacznik macierzy otrzymanej rzez skreślenie k-tego wiersza i k-tej kolumny). k A jj A kk 8

9 Wyznaczyć drugim sosobem rozkład ergodyczny łańcucha z orzedniego rzykładu. Klasyfikacja stanów łańcucha Markowa. Niekiedy będziemy utożsamiać stan s k z liczbą k. Stan s k jest osiągalny ze stanu s j jeśli jk (n) > dla ewnego n, Stany s k i s j nazywamy wzajemnie komunikującymi się jeśli stan s k jest osiągalny ze stanu s j, i odwrotnie. Relacja wzajemnego komunikowania się określona na zbiorze stanów łańcucha Markowa jest: - symetryczna, - rzechodnia (z równości Chamana-Kołmogorowa). Zbiór stanów C nazywamy zamkniętym, jeżeli żaden stan soza C nie da się osiągnąć wychodząc z dowolnego stanu w C. Stan s k jest stanem nieistotnym (chwilowym) gdy istnieje stan s j osiągalny ze stanu s k a stan s k nie jest osiągalny ze stanu s j, Stan, który nie jest nieistotny nazywa się istotny (owracający). Rozatrzmy łańcuch Markowa,5,5 [ ] [ ] [ ],5 [ 3], 5 [ 4],5 Jego macierz P ma ostać,5,5,75 Stany i 4 są nieistotne. Stany, i 3 są istotne. Zbiór stanów {,, 3} jest zamknięty.,5,75,5,5,5,5,5,5,5,5 Pojedynczy stan zamknięty (musi być kk ) nazywamy stanem ochłaniającym. Stan s k jest odbijający gdy kk. Stan odbijający może być zarówno chwilowy jak i owracający. Łańcuch Markowa jest nierzywiedlny, gdy wszystkie jego stany wzajemnie komunikują się, w rzeciwnym rzyadku łańcuch jest rzywiedlny. 9

10 Macierz kwadratowa jest rzywiedlna jeśli istnieje ermutacja ewnej liczby wierszy i kolumn o tych samych numerach, która ozwala ją zaisać w ostaci P, gdzie P, P to macierze kwadratowe A P W rzeciwnym rzyadku macierz jest nierzywiedlna. Twierdzenie. Przestrzeń stanów S łańcucha Markowa można jednoznacznie rzedstawić w ostaci sumy: S T S S... gdzie T - zbiór stanów chwilowych (nieistotnych), S i - nierzywiedlne zamknięte zbiory stanów owracających (istotnych). Wśród nich mogą być odzbiory jednoelementowe stanów ochłaniających. Łańcuchy okresowe. Okresem stanu owracającego j nazywamy liczbę: o(j) NWD(n: jj (n)>) jest to największy wsólny dzielnik takich liczb n, że owrót do stanu j może nastąić o n krokach. Stan j nazywamy okresowym gdy ma okres większy od i nieokresowym gdy ma okres. Rozatrzmy łańcuch Markowa [ ] [ ] [ ] [ 3] Jego macierz P ma ostać Wszystkie stany mają okres 4. P Rozatrzmy łańcuch Markowa Jego macierz P ma ostać,5,5 [ ],75 [ ],75 [ ] [ 3]

11 Wszystkie stany mają okres.,75 P,75,5,5 Rozatrzmy łańcuch Markowa,5 [ ],75 [ ] [ ] [ 3] Jego macierz P ma ostać Wszystkie stany mają okres.,75 P,5 Twierdzenie. W skończonym nierzywiedlnym łańcuchu Markowa wszystkie stany mają ten sam okres. Zatem nierzywiedlny łańcuch Markowa nazywamy okresowym, gdy jego stany mają okres większy od, w rzeciwnym rzyadku łańcuch nazywamy nieokresowym. Stan, który jest owracający, niezerowy i nieokresowy nazywa się ergodyczny. Łańcuch ergodyczny. Łańcuch jest ergodyczny jeśli istnieje lim ij ( n) π j n Rozkład Π nazywamy rozkładem granicznym. j π Π (Π, Π,...) Twierdzenie Jeśli w łańcuchu Markowa o skończenie wielu stanach, wszystkie stany istotne są nieokresowe i tworzą jedną klasę, to istnieją rawdoodobieństwa ergodyczne, rzy czym j dla stanów istotnych są one dodatnie, zaś dla stanów chwilowych są one równe. Łańcuch stacjonarny. Jednorodny łańcuch Markowa jest stacjonarny gdy istnieje rozkład Π jego stanów, zwany rozkładem stacjonarnym, że ΠP Π (tzn. Π jest wektorem własnym macierzy P dla wartości własnej ). Zatem dla dowolnego n, ΠP n Π, oznacza to, że jeśli rozkład oczątkowy jest równy Π, to rozkład łańcucha o dowolnej liczbie kroków jest taki sam i równy Π.

12 Jeśli macierz P łańcucha jest nierozkładalna to rozkład stacjonarny jest dokładnie jeden. Jeśli macierz P łańcucha jest rozkładalna to rozkładów stacjonarnych jest więcej niż jeden. W łańcuchu ergodycznym rozkład stacjonarny (graniczny) nie zależy od rozkładu oczątkowego. Uwaga. ergodyczny stacjonarny Odwrotna imlikacja nie musi zachodzić. Rozatrzmy łańcuch Markowa [ ] [ ] [ ] Jego macierz P ma ostać P Wszystkie stany mają okres 3. Zauważmy, że wielomian charakterystyczny tej macierzy ma ostać W ( λ) λ 3 i 3 + i 3 i jej wartości własne są równe: λ, λ, λ 3. Ponieważ wszystkie wartości własne maja moduł i λ jest jednokrotną wartością własną to rozatrywana macierz jest nierozkładalna i cykliczna. Łańcuch ten jest stacjonarny, jego rozkładem stacjonarnym jest (/3, /3, /3). Rozkład ten można wyznaczyć I lub II sosobem obliczania rozkładów granicznych. Kolejne otęgi macierzy P są równe 3 + P P n, 3 3 n n+ P P, P P P dla n,,,... Zauważmy, że żadna kolumna P n nie składa się wyłącznie z elementów dodatnich. Rozkład graniczny nie istnieje. Weźmy n. rozkład oczątkowy () (,, ).

13 Obliczone rawdoodobieństwa () zestawiono w tabeli i rzedstawiono na wykresie dla s ta n s t a n s t a n (n),, 8, 6, 4, n n,..., 8. (n) \ n Stan Stan Stan Jak widać lim ( n) nie istnieje dla żadnej wsółrzędnej (dla żadnego stanu). n Wniosek. Istnienie rozkładu stacjonarnego nie imlikuje, że łańcuch jest ergodyczny. Każdy łańcuch o skończonej liczbie stanów jest stacjonarny. Rozatrzmy łańcuch o macierzy P równej,5,5,5,5 Łańcuch ten nie jest ergodyczny. Zauważmy, że rozkłady (/, /,, ); (,, /, /); (/4, /4, /4, /4) są stacjonarne (rozkładów stacjonarnych może być więcej niż jeden bo rozatrywana macierz jest rozkładalna). Rozatrzmy łańcuch o macierzy P równej 3

14 /8 7 / 8 / 4 3/ 4 Wszystkie stany są okresowe (mają okres ). / / 4 / 3/ 4 Rozatrzmy łańcuch o macierzy P równej,5,5,5,5 Wyznacz graf tego łańcucha. Jakie są domknięte klasy tego łańcucha?, Czy jest to łańcuch nierzywiedlny? Czy łańcuch ten ma stany okresowe? Czy wszystkie stany są okresowe?. n Srawdź, że lim P nie istnieje i żadna kolumna P n nie składa się wyłącznie z elementów dodatnich. n Rzucamy symetryczną czworościenną kostką (na ściankach liczby,, 3, 4). Rozatrujemy łańcuch Markowa X n określony jako ciąg maksymalnych wyników sośród rzutów,,3,...,n. Srawdź, że łańcuch ten ma macierz P równą,5,5,5,5,5,5,5,75,5 Wyznacz graf tego łańcucha. Czy łańcuch ten ma stany okresowe? Gracze A i B rozoczynają grę z kaitałem zł każdy. W każdej artii gracz A wygrywa z rawdoodobieństwem,6, gracz B wygrywa z rawdoodobieństwem,4. Po każdej artii rzegrywający łaci wygrywającemu zł. a) jakie jest rawdoodobieństwo, że gra zakończy się o artiach? b) jakie jest rawdoodobieństwo, że o 4 artiach kaitał każdego gracza wyniesie zł? c) Ile wynosi wartość oczekiwana kaitału gracza A o artiach? Przyjmijmy, że stany rocesu to kaitał w osiadaniu gracza A czyli {,,, 3, 4}. Macierz P ma ostać,4,6,4,6,4,6 4

15 Stany i są ochłaniające (osiągnięcie któregoś z tych stanów oznacza bankructwo jednego z graczy). Do jakiej klasy należą ozostałe stany? Narysuj odowiedni graf. Rozkład oczątkowy () [,,,, ]. Ad. a) () ()P [,6;,,48,,,36], zatem rawdoodobieństwo zakończenia gry o artiach wynosi () + 4 (),6 +,36,5. Ad. b) (4) ()P 4 [,368;,,34,,,538), zatem rawdoodobieństwo, że każdy z graczy ma o zł o 4 artiach wynosi (4),34. Ad. c) na odstawie () [,6;,,48,,,36], obliczamy wartość oczekiwaną kaitału gracza A o artiach:,48 zł +,36 4zł,4zł. Zatem gdyby gracze wielokrotnie rozegrali o artie mając oczątkowo o zł, to rzeciętna wygrana gracza A wynosiłaby 4 gr. Jeśli ciąg zmiennych losowych X, X, X, X 3,... jest łańcuchem Markowa o macierzy P, to ciąg zmiennych losowych X, X, X 4,... jest łańcuchem Markowa o macierzy P. Wskazówka. Należy skorzystać z równości Chamana-Kołmogorowa. ZADANIA Zadanie. Wyznaczyć wartości własne macierzy a) P b) P Czy odowiedni łańcuch Markowa jest ergodyczny. Narysować graf tego łańcucha. Srawdzić, czy dla tego łańcucha istnieje rozkład graniczny. Zadanie. Wyznaczyć kolejne otęgi macierzy,5 P,5 Czy odowiedni łańcuch Markowa jest ergodyczny. Narysować graf tego łańcucha. Porównać wiersze macierzy P n (n 4, 8, 6) i składowe wektora rozkładu granicznego. Oblicz m ( ), D ( ). 6,67875,385 Od. n. P Π [/3, /3],6565,

16 Zadanie 3. Łańcuch Markowa ma dwa stany i rozkład graniczny [, ]. Wyznaczyć macierz P tego łańcucha. Zadanie 4. Rozkład oczątkowy łańcucha Markowa określonego macierzą rawdoodobieństw rzejść wyraża się wektorem a) (,, ), b) (,5; ;,5),,3 P,6,5,4,,4,6 Wyznaczyć rawdoodobieństwa znalezienia się w oszczególnych stanach tego łańcucha o ) dwóch etaach, Oblicz m (), D (). ) trzech etaach, Oblicz m (3), D (3). 3) nieskończenie wielu etaach. Oblicz m ( ), D ( ). Zadanie 5. Rozkład oczątkowy łańcucha Markowa określonego macierzą rawdoodobieństw rzejść wyraża się wektorem (,, ). P,5,5,5,5,5,5,5,5 Wyznaczyć rawdoodobieństwa znalezienia się w oszczególnych stanach tego łańcucha o kolejnych etaach. Czy łańcuch ten ma określone rawdoodobieństwa graniczne? Zadanie 6. Podaj rzykład łańcucha, którego rozkłady graniczne zależą od rozkładu oczątkowego. Zadanie 7. Uzasadnij własność: Jeśli łańcuch Markowa ma dwa różne rozkłady stacjonarne to nie może to być łańcuch ergodyczny. 6

17 7 Zadanie 8. Wyznaczyć rozkłady graniczne łańcuchów wyznaczonych rzez macierze a) P b) P Narysuj odowiednie grafy. Oblicz ) ( m, ) ( D. Od. a) [6/7, 7/7, /7, /7] b) [/, 3/, 5/, /, /] Zadanie 9. Rzucamy symetryczną czworościenną kostką (na ściankach liczby,, 3, 4). Rozatrujemy łańcuch Markowa X n określony jako ciąg maksymalnych wyników sośród rzutów,,3,...,n. Srawdź, że łańcuch ten ma macierz P równą,5,75,5,5,5,5,5,5,5 Wyznacz graf tego łańcucha. Czy łańcuch ten ma stany okresowe? Zadanie. Dany jest łańcuch Markowa o macierzy rzejścia P,5,5 Wyznacz macierze rawdoodobieństw rzejść o dwóch i o trzech krokach. Sorządź graf łańcucha. Które stany łańcucha są istotne? Które stany łańcucha są okresowe? Czy łańcuch jest ergodyczny? Oblicz rawdoodobieństwa graniczne. Oblicz ) ( m, ) ( D. L.Kowalski..9