Wykład IV: dla łańcuchów Markowa 14 marca 2017 Wykład IV:
Klasyfikacja stanów Kiedy rozkład stacjonarny jest jedyny? Przykład Macierz jednostkowa I wymiaru #E jest macierzą stochastyczną. Dla tej macierzy każdy rozkład jest stacjonarny i każdy rozkład spełnia równanie równowagi szczegółowej. Problem Kiedy istnieje dokładnie jeden rozkład stacjonarny? Odpowiedź: gdy wszystkie wiersze macierzy Q są identyczne, tzn. δ ij + p ij + p ij (2) +... + p ij (n 1) n π j, dla wszystkich i, j E. W szczególności tak będzie, gdy p ij (n) π j, dla wszystkich i, j E. Wykład IV:
Klasyfikacja stanów I Klasyfikacja stanów Macierz P zadaje graf skierowany o wierzchołkach z E. P = 1 1 0 2 0 2 1 1 2 0 2 0 1 1 0 0 2 2 1 1 0 0 2 2 Definicja (Stany istotne i nieistotne) Stan i E nazywamy nieistotnym jeśli istnieje stan j E taki, że p ij (n 0 ) > 0 dla pewnego n 0 1, ale p ji (m) = 0 dla każdego m 1. Stan i jest istotny, jeśli nie jest nieistotny. Wykład IV:
Klasyfikacja stanów II Klasyfikacja stanów Definicja (Stany komunikujące się) Mówimy, że stany i oraz j komunikują się, jeśli istnieją liczby n 0, m 0 N takie, że p ij (n 0 ) > 0 i p ji (m 0 ) > 0. Uwaga: relacja komunikowania się jest relacją równoważności w zbiorze stanów istotnych. Twierdzenie Jeżeli E jest przeliczalną przestrzenią stanów, a P macierzą stochastyczną nad E, to istnieje takie rozbicie przestrzeni stanów E = E 0 E 1 E 2..., że E 0 składa się ze wszystkich stanów nieistotnych, a E 1, E 2,... są rozłącznymi klasami stanów istotnych, komunikujących się wewnątrz każdej klasy. Wykład IV:
Klasyfikacja stanów Definicja () Łańcuch Markowa jest nieprzywiedlny, jeśli wszystkie jego stany są istotne i komunikujące się. Definicja (Okres stanu) Okresem stanu i nazywamy NWD {n ; p ii (n) > 0}. Twierdzenie W łańcuchu nieprzywiedlnym wszystkie stany mają ten sam okres. Definicja (Łańcuch nieokresowy) Łańcuch Markowa jest nieokresowy, jeśli wszystkie jego stany mają okres 1. Wykład IV:
dla łańcuchów Markowa dla łańcuchów Markowa Twierdzenie Zakładamy, że przestrzeń stanów E jest skończona. I. Jeśli łańcuch Markowa jest nieprzywiedlny i nieokresowy, to: (i) i,j E p ij (n) π j ; (ii) j E π j > 0; (iii) 0 h<1 i,j E n N p ij (n) π j h n. II. Jeśli i,j E p ij (n) π j > 0, to łańcuch Markowa jest nieprzywiedlny i nieokresowy. Uwaga: bez założenia nieokresowości część I twierdzenia [ ] nie jest 0 1 prawdziwa. Wystarczy zbadać ewolucję dla P =. 1 0 Uwaga: Część II twierdzenia jest nieprawdziwa bez założenia π j > 0, j E. Wykład IV:
Najważniejsze kroki w dowodzie dla łańcuchów Markowa Lemat Niech a 1, a 2,..., a m N będą takie, że NWD {a 1, a 2,..., a m } = 1. Wówczas istnieje liczba N 0 taka, że każdą liczbę n N 0 można przedstawić w postaci gdzie l 1, l 2,..., l m N. n = l 1 a + l 2 a 2 +... + l m a m, Wniosek Jeśli łańcuch jest nieprzywiedlny i nieokresowy, to istnieje N 0 takie, że dla n N 0 wszystkie elementy macierzy P n są dodatnie. Wykład IV:
dla łańcuchów Markowa Problem Na E (zwykle bardzo licznym) mamy rozkład π. Szukamy P o własnościach: Uwaga (i) π jest rozkładem stacjonarnym dla P. (ii) P n szybko zmierzają do π (jak w tw. ergod.). Sposób osiągnięcia powyższych celów wymyślony został przez fizyków blisko 60 lat temu. W najprostszej sytuacji można go opisać w postaci algorytmu Metropolisa. Ten i inne podobne algorytmy stanowią podstawę dynamicznych metod Monte Carlo (ang. Markov Chain Monte Carlo ). Wykład IV:
dla łańcuchów Markowa Na E wybieramy strukturę grafu (nieskierowanego). W ten sposób każdy stan i E otrzymuje sąsiedztwo E i E w postaci zbioru wierzchołków, które są z nim połączone krawędziami grafu. Zakładamy, że d i = #E i > 1, i E. Weźmy i E. Kładziemy: { } 1 di π d i min j d j π i, 1 jeśli j E i, j i, { } p ij = 1 1 di π d i j E i min j d j π i, 1 jeśli j = i, 0 jeśli j / E i, j i. Łatwo sprawdzić, że tak określone p ij spełniają równanie równowagi szczegółowej(!). Dobierając odpowiednio strukturę grafową można na ogól zapewnić również nieprzywiedlność i nieokresowość, Wykład IV: