Rysunek 1 Przykładowy graf stanów procesu z dyskretnymi położeniami.

Transkrypt

1 Procesy Markowa Proces stochastyczny { X } t t nazywamy rocesem markowowskim, jeśli dla każdego momentu t 0 rawdoodobieństwo dowolnego ołożenia systemu w rzyszłości (t>t 0 ) zależy tylko od jego ołożenia w chwili t=t 0 i nie zależy od tego, w jaki sosób roces ten rzebiegał w rzeszłości. Mówimy, że jest to roces bez amięci. Procesy markowowskie możemy odzielić na klasy w zależności od tego, w jaki sosób, oraz w jakim zakresie system może zmieniać swoje ołożenie. Proces markowowski jest rocesem z dyskretnymi ołożeniami (stanami), jeżeli douszczalne stany systemu E, E 2, E, można rzeliczyć (onumerować), a sam roces olega na tym, że co ewien rzyadkowy rzedział czasu system w sosób skokowy rzechodzi z jednego ołożenia w inne. Rysunek Przykładowy graf stanów rocesu z dyskretnymi ołożeniami. Procesy z ciągłymi ołożeniami charakteryzują się stoniowymi (ciągłymi) rzejściami z danego ołożenia w inne. Przykładem jest roces zmiany naięcia w sieci elektrycznej. Jeśli w rocesie rzejścia systemu z jednego ołożenia w inne, możliwe są tylko w ściśle ustalonym czasie t, t 2,, t n, i w rzedziałach czasu omiędzy tymi momentami (krokami) system zachowuje swoje orzednie ołożenie to nazywamy go rocesem z dyskretnym czasem. Jeśli rzejście systemu z jednego ołożenia w inne jest możliwe w każdym z góry nieznanym momencie, to roces nazywamy rocesem z ciągłym czasem. Proces zachodzący w systemie można rzedstawić jako ciąg (łańcuch) zdarzeń, n. (0) () (2) () E, E2, E, E2, E (4),... Bogusław Filiowicz: Modele stochastyczne w badaniach oeracyjnych, Wydawnictwa Naukowo-Techniczne, Warszawa 996, s. 27

2 Łańcuch Markowa definiuje się za omocą rawdoodobieństw zmian systemu, które możemy rzedstawić w ostaci macierzy. N. dla grafu rzedstawionego na rys. macierz rzejść wyglądałaby nastęująco: j = [ M ik ] = rzy czym 0 jk, oraz = j, k =, 2,, n. k= jk Przykłady Czy możemy liczyć na kawę? Maszyna z kawą może być czynna (stan 0) lub zesuta (stan ). Załóżmy, że jeśli maszyna jest czynna w danym dniu, to rawdoodobieństwo zesucia w dniu nastęnym jest δ, a jeśli jest zesuta w danym dniu, to rawdoodobieństwo jej narawienia na dzień nastęny jest γ. Jakie jest rawdoodobieństwo dostania kawy z maszyny? maszyna jest czynna, wczoraj też była czynna: (0, t n 0, t n- ) = - δ, maszyna jest nieczynna, wczoraj była czynna: (, t n 0, t n- ) = δ, maszyna jest czynna, wczoraj była nieczynna: (0, t n, t n- ) = γ, maszyna jest nieczynna, wczoraj też była nieczynna: (, t n, t n- ) = - γ, (Dobra i dobrze serwisowana maszyna owinna mieć δ bliskie 0 i γ bliskie!) Prawdoodobieństwo dostania kawy z maszyny będzie zależało od roorcji czasu, gdy maszyna jest czynna, do całego czasu omiaru. Symulacja dla δ = 0.2 i γ = 0.9 LICZBA SYMULACJI (DNI) 0 W DNIU 0 W DNIU

3 Zauważamy, że uśredniając o długim czasie, rawdoodobieństwo kuienia kawy stabilizuje się na oziomie 80%, raktycznie niezależnie od stanu maszyny w dniu oczątkowym 2. Brawurowa gra Mamy zł i chcemy wygrać 5 zł. Kruier oferuje nam grę, w której rawdoodobieństwo naszej wygranej wynosi w każdej rundzie z wyłatą odwójnej stawki w razie wygranej oraz jej stratą w razie rzegranej, rzy czym stawki są w całkowitych wielokrotnościach złotówki. Wybieramy nastęującą strategię brawurową: w każdej grze stawiamy wszystko co mamy, jeśli ewentualna wygrana ozwoli osiągnąć cel (osiągnąć 5 zł), lub mniej niż cel. W rzeciwnym razie, stawiamy tyle aby ewentualnie wygrać 5 zł. Jaka jest szansa wygrania w k lub mniejszej liczbie gier? Ponumerujmy stany liczbą osiadanych rzez nas złotówek. Zaczynamy grę od stanu nr. Wygrać grę znaczy rzejść od stanu do stanu 5. Stan 0 oznacza rzegraną. Prawdoodobieństwo wygrania lub rzegrania gry nie zależy od historii wygranych rzegranych w orzednich grach własność Markowa jest zatem sełniona. Prawdoodobieństwo wygranej w stanie i nie zależy od czasu, więc roces ten jest jednorodny w czasie. i Interesują nas tylko ścieżki, które kończą się w stanie 5. Nazwiemy je istotnymi. 2 wyk_9.df,

4 Prawdoodobieństwo każdej ścieżki jest iloczynem rawdoodobieństw rzejść jednokrotnych. Istotna ścieżka o długości o rawdoodobieństwie S: () (2) (4) (5) Zatem rawdoodobieństwo wygrania w trzech grach wynosi. Istotna ścieżka o długości 4 R: () (2) () (5) ma rawdoodobieństwo. Zatem rawdoodobieństwo wygrania w 4 lub mniej grach wynosi (+ ). Nie ma istotnych ścieżek o długości 6. Istotna ścieżka o długości 7 ma jedną ętlę L: () (2) (4) () (), o czym nastęuje ścieżka S. Prawdoodobieństwo ętli L wynosi λ= 2 2, zatem rawdoodobieństwo dla ścieżki L S wynosi λ. Zatem rawdoodobieństwo wygrania w 7 lub mniej grach wynosi (+λ)+. Istnieje jedna ścieżka o długości 8: L*R, dla której rawdoodobieństwo wynosi λ. Zatem rawdoodobieństwo wygrania w 8 lub mniej grach wynosi (+)(+λ). Zauważmy ogólną rawidłowość, że wszystkie dłuższe ścieżki są tyu L* *L*S lub L* *L*R. Ich rawdoodobieństwa rzy n ętlach wynoszą λ n i λ n. Mamy 0.25, zatem λ 0.625, czyli szereg geometryczny o ilorazie λ jest zbieżny. Stąd rawdoodobieństwo wygranej rzy nieograniczonej liczbie rób wynosi 2 ( + )( + λ + λ + &...) = ( + ) λ wyk_0.df,

5 Zadania. Ostrożna gra Podobnie jak w rzyadku brawurowej gry, chcemy wygrać 5 zł, startując od złotówki. Przyjmujemy ostrożną strategię, że w każdej grze stawiamy minimalną stawkę zł. Jaka jest szansa wygrania w k lub mniejsze liczbie gier? 4 2. Symulacja gry Dokonaj symulacyjnego orównania strategii brawurowej i ostrożnej.. Ostrożna gra ( rekurencyjnie)*** Rozwiąż rekurencyjnie zadanie.2.2. dla każdej wartości n (n wysokość wygranej, stawki w całkowitych wielokrotnościach złotówki). 4. Czy jest to roces Markowa?** Rozważmy ciąg rób Bernoulliego z wynikami Y 0, Y,, gdzie Y i = 0 lub z rawdoodobieństwami = i. Oczywiści Y i jest rocesem Makowa. Definiujemy nowy roces stochastyczny: X n = Y n + Y n+, n = 0,, 2, Każda zmienna X n jest zmienną o rozkładzie dwuwymiarowym z dwiema niezależnymi róbami Bernoulliego i rawdoodobieństwem. Czy roces X n jest rocesem Markowa? 5 5. Symulacja działania automatu do kawy Dokonaj symulacyjnego orównania działania maszyny do kawy (z rzykładu owyżej) dla δ = 0.4 i γ = 0.9 oraz δ = 0. i γ = wyk_0.df, wyk_9.df,