Ćwiczenia: Ukryte procesy Markowa lista 1 kierunek: matematyka, specjalność: analiza danych i modelowanie, studia II

Transkrypt

1 Ćwiczenia: Ukryte procesy Markowa lista kierunek: matematyka, specjalność: analiza danych i modelowanie, studia II dr Jarosław Kotowicz Zadanie. Dany jest łańcuch Markowa, który może przyjmować wartości,,..., 9,. Prawdopodobieństwa przeskoku do każdego stanu są równe. Znajdź stan stacjonarny. Zadanie. Możliwe stany łańcucha (X n ) n= to,,, a jego macierz przejścia to..8 P = Obliczyć a) P (X = ), o ile P (X = ) =, b) P (X = ), o ile P (X = ) =, c) P (X = ), jeżeli start z dowolnego stanu jest jednakowo prawdopodobny. Zadanie. Poklasyfikować stany łańcucha (istotne-nieistotne, pochłaniające, powracające-chwilowe), znaleźć wszystkie zamknięte zbiory stanów i zbadać, czy łańcuchy są nieprzywiedlne, jeżeli dane są macierze przejścia tych łańcuchów: a).7., b).5.5, c) Zadanie. W pierwszej urnie są białe kule, a w drugiej urnie - czarne. W każdym kroku losujemy po jednej kuli z każdej urny i zamieniamy je miejscami. Niech stan procesu oznacza liczbę białych kul w pierwszej urnie. Opisać macierz przejścia tego łańcucha. Rozwiązać analogiczne zadanie, gdy każda urna zawiera N kul. Zadanie 5. Załóżmy,że możliwymi stanami łańcucha (Y n ) są tylko i, a macierz przejścia wygląda następująco: α α P = α + β >. β β Niech P (Y = ) = p. Wykazać, że P (Y n = ) = β ( + ( α β)n p β ). α + β α + β

2 Jak można fizycznie opisać proces o takiej macierzy przejścia? Zadanie 6. W ciągu prób Bernoulliego mówimy, że w chwili n układ jest w stanie E, gdy doświadczenia o numerach n oraz n dały ciąg SS (sukces, sukces). Podobnie stany E, E oraz E określone są przez SP, P S, P P. Wyznaczyć macierz przejścia P oraz P tego łańcucha. Zadanie 7. Pokazać z definicji, że wszystkie stany łańcucha z zadania 6 są powracające. Zadanie 8. Cząsteczka z położenia i Z skacze do i + z prawdopodobieństwem p lub do i z prawdopodobieństwem p. Obliczyć p (), p () oraz p (n). Zadanie 9. Załóżmy, że łączny kapitał graczy A i B wynosi k PLN. W pojedynczej grze gracz A wygrywa złotówkę od gracza B z prawdopodobieństwem p, a przegrywa z prawdopodobieństwem p. Za każdym razem, gdy dany gracz przegrywa ostatnią złotówkę przeciwnik oddaje mu ją z prawdopodobieństwem α. Znaleźć macierz przejścia dla łańcucha, który opisuje kapitał gracza A. Załóżmy, że na początek gracz A dostaje i PLN z prawdopodobieństwem k+, i k. Jakie jest prawdopodobieństwo ruiny gracza A w dwóch grach? Zadanie. Cząstka porusza się między stanami,,,, w taki sposób, że: - ze stanu może przejść do stanów,, z prawdopodobieństwem, - ze stanu może przejść do stanów,, z prawdopodobieństwem, - ze stanu może przejść do stanów,, z prawdopodobieństwem, - ze stanu może przejść do stanów,, z prawdopodobieństwem, - po dotarciu do stanu pozostaje w nim na zawsze. a) Napisać macierz przejścia. b) Pokazać z definicji, że stany - są chwilowe. c) Dla n obliczyć f (n) = P (X, X,..., X n, X n = X = ). d) Pokazać, że z prawdopodobieństwem stan pochłonie cząstkę. Zadanie. Łańcuch ma nieskończoną przestrzeń stanów S = {s, s,...}. Pierwszy wiersz macierzy przejścia P ma postać a a..., a w pozostałych wierszach p i,i =, i. Udowodnić, że stan s jest powracający. Znaleźć wszystkie ciągi (a n ) dla których a) wybrany stan s k jest powracający, b) wszystkie stany są powracające. Zadanie. Pierwsza kolumna macierzy przejścia P łańcucha o przestrzeni stanów S = {,,,...} ma postać q q..., natomiast p i,i+ = q i dla i =,,,.... Badając stan wykazać, że a) q i = ( ) i+ to wszystkie stany są chwilowe, b) q i = to wszystkie stany są powracające. Zadanie. Znaleźć wszystkie rozkłady stacjonarne łańcucha o macierzy przejścia a), b), c)

3 Zadanie. Zbadać kiedy istnieje rozkład stacjonarny dla łańcucha z zadania 6. Znaleźć ten rozkład w przypadku, gdy a) a i = ( ) i, i b) a i = i +i, i Zadanie 5. Dla jakich p łańcuch z zadania 5 jest stacjonarny? Kiedy łańcuch ten jest ergodyczny? Obliczyć E(Y ) oraz lim E(Y n). Zadanie 6. Uzasadnić, że dla p, q > takich, że p + q = łańcuch o macierzy przejścia q p q p q p jest ergodyczny i wyznaczyć prawdopodobieństwa ergodyczne. Zadanie 7. Łańcuch ma macierz przejścia P = Wykorzystując własności stanów obliczyć lim p ij(n) dla wszystkich i, j. Zadanie 8. W ciągu doświadczeń Bernoulliego z prawdopodobieństwem sukcesu p mówimy, że w chwili n układ znajduje się w stanie, gdy n-te doświadczenie dało porażkę, a w stanie k {,,,..., n}, gdy ostatnia porażka nastąpiła w chwili n k (zerowe doświadczenie uważamy za porażkę). Innymi słowy, stan w chwili n to długość nieprzerwanej serii sukcesów, kończącej się w chwili n. Obliczyć p j = lim p ij(n). Zadanie 9. Niech P będzie macierzą rozmiaru n n podwójnie stochastyczną, tzn. taką, w której zarówno suma każdego wiersza jak i każdej kolumny jest równa. Znaleźć rozkład stacjonarny łańcucha o takiej macierzy przejścia. Wskazówka zobacz np. zad. a), b). Zadanie. Niech P będzie macierzą przejścia łańcucha Markowa o n stanach. Pierwszy wiersz tej macierzy składa się z elementów p, p,..., p n, a następne wiersze powstają z niego przez cykliczne przesunięcie, tzn. drugi wiersz ma postać p n, p,..., p n, trzeci wiersz ma postać p n, p n, p,..., p n itd, a ostatni ma postać p, p,..., p n, p. Czy ten łańcuch jest ergodyczny tzn. czy istnieje granica lim P n? Jeżeli tak to obliczyć prawdopodobieństwa ergodyczne. Zadanie. W pudełku A jest sześć kul ponumerowanych liczbami od do 6, a pudełko B jest puste. Wykonamy rzutów kostką i po każdym rzucie przełożymy kulę o wylosowanym numerze do drugiego pudełka. Obliczyć przybliżone prawdopodobieństwo tego, że pudełko A będzie puste. Zadanie. Szachista A jest bardzo odporny psychicznie i niezależnie od wyników poprzednich gier wygrywa kolejną partię z prawdopodobieństwem p, remisuje z prawdopodobieństwem r lub przegrywa z prawdopodobieństwem q. Szachista B jest słabszy psychicznie: - jeżeli poprzednią partię przegrał to wygrywa kolejną partię z prawdopodobieństwem p ε, remisuje z prawdopodobieństwem r lub przegrywa z prawdopodobieństwem q + ε,

4 - jeżeli poprzednią partię zremisował to wygrywa kolejną partię z prawdopodobieństwem p, remisuje z prawdopodobieństwem r lub przegrywa z prawdopodobieństwem q, - jeżeli poprzednią partię wygrał to wygrywa kolejną partię z prawdopodobieństwem p+ε, remisuje z prawdopodobieństwem r lub przegrywa z prawdopodobieństwem q ε. Załóżmy, że gracz B ostatnią partię przed turniejem zremisował. a) Który z graczy w długim turnieju (kilkadziesiąt partii) osiągnie lepszy wynik? b) Jak odpowiedź do a) zależy od ε? c) Czy odpowiedź do a) zależy od wyniku ostatniej partii gracza B przed turniejem? Zadanie. Niech (X n ) n= będzie łańcuchem Markowa, przy czym p ij = P (X n+ = j X n = i). Za pomocą liczb p ij opisać prawdopodobieństwa P (X n = j X n+ = i) oraz P (X n = j X n+ = k). Zadanie. Dana jest macierz przejścia w jednym kroku łańcucha Markowa: Czy ten łańcuch jest okresowy? Czy jest ergodyczny (to znaczy, czy istnieje granica lim P n )? Jeśli tak, to obliczyć rozkład stacjonarny. Zadanie 5. Niech (X n ) n= będzie łańcuchem Markowa. Czy proces (X n ) n= (gdzie występują tylko zmienne o indeksach parzystych) jest łańcuchem Markowa? Jeśli odpowiedz brzmi TAK, to udowodnić to, jeśli brzmi NIE, to wskazać kontrprzykład. Zadanie 6. Ergodyczny łańcuch Markowa o dwóch stanach ma rozkład stacjonarny (p, p), < p <. Jak wygląda macierz przejścia tego łańcucha? Zadanie 7. Wykaż, że relacja komunikowania się jest relacją równoważności. Jak wyglądają klasy równoważności tej relacji? Zadanie 8. Określ wszystkie stany powracające i przejściowe w łańcuchu Markowa z macierzą przejścia P. Zadanie 9. Wykaż, że proces Markowa jest ergodyczny wtedy i tylko wtedy, gdy istnieje N takie, że P n > dla każdego n N. Zadanie. Rozważ problem ruiny gracza, w którym gracz gra tak długo, aż straci l dolarów lub wygra l dolarów (zaczyna z pulą dolarów, w każdej rundzie wygrywa dolara i traci dolara z jednakowym prawdopodobieństwem). Udowodnij, że:. prawdopodobieństwo wygrania l dolarów wynosi l l +l,. wartość oczekiwana liczby rozegranych rund wynosi l l. Zadanie. Macierz prawdopodobieństw przejścia w pojedynczym kroku w łańcuchu Markowa o trzech stanach {E, E, E } jest postaci q p q p q p gdzie q, oraz p = q. Załóżmy, iż po nieograniczenie rosnącej liczbie kroków rozkład prawdopodobieństwa na przestrzeni stanów zbiega do P (E ) = 7, P (E ) = 7 oraz P (E ) = 7. Obliczyć q.

5 Zadanie. Łańcuch Markowa ma przestrzeń stanów {e, e, e, e } i macierz prawdopodobieństw przejścia.5... Rozkład początkowy (w chwili ) jest wektorem.5.5. Z jakim prawdopodobieństwem łańcuch w chwili znajdzie się w stanie e? Zadanie. Łańcuch Markowa ma przestrzeń stanów {e, e, e } i macierz prawdopodobieństw przejścia. 6 Zakładamy, że w chwili łańcuch znajduje się w stanie e. Niech T oznacza chwilę, w której łańcuch po raz pierwszy znajdzie się w stanie e. Wyznaczyć wartość oczekiwaną zmiennej losowej T. Zadanie. Macierz przejścia łańcucha Markowa o stanach {E, E, E, E } jest równa:. Niech P n (, ) będzie prawdopodobieństwem, że łańcuch po wykonaniu n kroków znajdzie się w stanie E, jeśli w chwili początkowej znajdował się w stanie E. Obliczyć lim P n (, ). Zadanie 5. Łańcuch Markowa ma dwa stany: E, E i macierz przejścia.5.5 Niech X n oznacza stan, w którym znajduje się łańcuch po dokonaniu n kroków (n =,,...). Funkcję f na zbiorze stanów określamy wzorem f(e i ) = i dla i =,. Obliczyć granicę lim Cov(f(X n), f(x n+ )). Zadanie 6. Łańcuch Markowa ma przestrzeń stanów {E, E, E } i stałą macierz prawdopodobieństw przejścia. 9 9 W chwili początkowej jesteśmy w stanie E. Jakie jest prawdopodobieństwo przebywania w stanie E po dwustu krokach. Zadanie 7. Rozważamy łańcuch Markowa X, X,... na przestrzeni stanów {,, } o macierzy przejścia α α P = β β. (gdzie P ij = P (X n+ = j X n = i) dla i, j =,, ). Załóżmy, że rozkład początkowy łańcucha jest wektorem β α αβ π = β + α αβ β + α αβ β + α αβ (gdzie π i = P (X = i) dla i =,, ). Obliczyć P (X = X, X ). 9.

6 Zadanie 8. Rozważmy łańcuch Markowa (X n ) n= o dwóch stanach: i, który ma następującą macierz prawdopodobieństw przejścia: P = (oczywiście, element P ij stojący w i-tym wierszu i j-tej kolumnie tej macierzy oznacza P (X n+ = j X n = i)). Załóżmy ponadto, że P (X = ) =. Obliczyć lim P (X n = X n+ = ). Zadanie 9. Rozważmy łańcuch Markowa (X n ) n= o trzech stanach, i, który ma następującą macierz prawdopodobieństw przejścia P = (oczywiście, element P ij stojący w i-tym wierszu i j-tej kolumnie tej macierzy oznacza P (X n+ = j X n = i)). Załóżmy ponadto, że P (X = ) = 6, P (X = ) = i P (X = ) =. Obliczyć lim P (X n+ = X n = ). Zadanie. Rzucamy symetryczną monetą tak długo, aż w dwóch kolejnych rzutach pojawią się reszki. Obliczyć wartość oczekiwaną liczby wykonanych rzutów. Wskazówka: jeśli w rzucie numer n jest orzeł to przyjmijmy, że układ jest w stanie. Jeśli w rzucie numer n jest reszka a w rzucie n był orzeł, to układ jest w stanie. Kończymy, gdy układ znajdzie się w stanie. W ten sposób definiujemy łańcuch Markowa. Rozpatrzeć wartość oczekiwaną liczby rzutów w zależności od stanu układu.) Zadanie. Rozważamy łańcuch Markowa X, X,... na przestrzeni stanów {,, } o macierzy przejścia P =, (gdzie P ij = P (X n+ = j X n = i) dla i, j =,, ). Załóżmy, że rozkład początkowy łańcucha jest wektorem π = 9 9 (gdzie π i = P (X = i) dla i =,, ). Obliczyć P (X = X, X ). Zadanie. Macierz prawdopodobieństw przejścia w jednym kroku dla łańcucha Markowa (X n ) n= o trzech stanach {,, } jest postaci P = (oczywiście, element P ij stojący w i-tym wierszu i j-tej kolumnie tej macierzy oznacza P (X n+ = j X n = i)). Obliczyć lim Cov(X n, X n+ ).