Procesy stochastyczne WYKŁAD 2-3. Łańcuchy Markowa. Łańcuchy Markowa to procesy "bez pamięci" w których czas i stany są zbiorami dyskretnymi.

Transkrypt

1 Procesy stochastyczne WYKŁAD 2-3 Łańcuchy Markowa Łańcuchy Markowa to procesy "bez pamięci" w których czas i stany są zbiorami dyskretnymi.

2 2 Łańcuchem Markowa nazywamy proces będący ciągiem zmiennych losowych X, X,... Określonych na wspólnej przestrzeni probabilistycznej, przyjmujących wartości całkowite i spełniające warunek ( ) ( ) Z j i i n n n n n n n n i X j X P i X i X i X j X P = = = = = = = =,,...,...,,,

3 Zatem dla łańcucha Markowa rozkład prawdopodobieństwa warunkowego położenia w n-tym kroku zależy tylko od prawdopodobieństwa warunkowego położenia w kroku poprzednim a nie od wcześniejszych punktów trajektorii (historia). 3

4 Andrei A.Markov Rosyjski matematyk. 4

5 Przykład. A,..., A n - wierzchołki n-kąta foremnego. Punkt losowo porusza się po tych wierzchołkach. Czy jest łańcuchem Markowa ciąg położeń punktu gdy a) punkt porusza się w sposób zdeterminowany zgodnie z ruchem wskazówek zegara, (tak) b) punkt losowo wybiera kierunek i dalej porusza się w wybranym kierunku, (nie) 5

6 Niech ( X = j X i) ( n) pij = P n n = oznacza prawdopodobieństwo przejścia w n-tym kroku ze stanu i do stanu j. 6

7 Jeśli (n) p ij nie zależą od n to łańcuch nazywamy jednorodnym i stosujemy zapis p ij. 7

8 Zakładając, że numery stanów są całkowite, nieujemne można prawdopodobieństwa przejść zapisać w macierzy P ( n p ( n p L p ) ( n) ( n) ) ( n) = p L L L L Dla łańcuchów jednorodnych powyższą macierz oznaczamy P. 8

9 9 Dla łańcuchów jednorodnych i stanów,, 2,, N macierz P ma postać: = NN N N N N p p p p p p p p p P L L L L L L L Dalej rozpatrujemy tylko łańcuchy jednorodne.

10 Własności macierzy prawdopodobieństw przejść: a) p ij b) suma każdego wiersza jest równa. tzn. i j p ij =

11 Każdą macierz spełniającą warunki a), b) nazywamy macierzą stochastyczną.

12 Uwaga. Macierz stochastyczna i rozkład zmiennej losowej X określają pewien łańcuch Markowa. Własności macierzy stochastycznych są zatem ściśle związane z własnościami łańcuchów Markowa. 2

13 Własności macierzy stochastycznych. A - dowolna macierz kwadratowa stopnia r. Wielomianem charakterystycznym tej macierzy nazywamy wielomian W ( λ) = det λ ( I A) Równanie W ( λ) = nazywamy równaniem charakterystycznym. Pierwiastki tego równania to wartości własne lub pierwiastki charakterystyczne tej macierzy. Niech λ,..., λ k - wartości własne macierzy A o krotnościach α,..., α k (k r). 3

14 Własność: I) suma wartości własnych (z krotnościami) jest równa śladowi macierzy tzn. sumie elementów jej przekątnej. II) Macierz jest osobliwa wtedy i tylko wtedy, gdy zero jest jej wartością własną 4

15 Przykład. Macierz P =

16 ma równanie charakterystyczne W ( λ) 3 λ = det = 2 λ λ λ = 6

17 5 λ. i wartości własne: λ =, 2 = 2 7

18 Własności macierzy stochastycznych: a) Wartością własną każdej macierzy stochastycznej jest λ = (oznaczamy λ =), b) Moduły wszystkich wartości własnych dowolnej macierzy stochastycznej są mniejsze lub równe, n lim n n, k c) (tw. Dooba ) istnieje granica P = A k = Macierz A ma własność PA = AP = A = A 2 (macierz idempotentna), 8

19 Klasyfikacja macierzy stochastycznych. α = α > i i> i > λ λ i = Regularne (tzn. nierozkładalne i niecykliczne) nierozkładalne cykliczne rozkładalne niecykliczne rozkładalne cykliczne 9

20 2 Tw. Frecheta (tw. Dooba dla macierzy nierozkładalnych) Dla każdej nierozkładalnej macierzy stochastycznej P istnieje granica E P n n k k n = = lim, = r r r e e e e e e e e e E L L L L L L L (macierz ergodyczna)

21 Macierz E ma własność PE = EP = E = E 2 i spełnia warunki a), b) definicji macierzy stochastycznej. 2

22 Elementy macierzy E możemy wyznaczyć z warunków: r (P - I)e T =, e i =, gdzie e = (e,..., e r ) i= 22

23 Dla macierzy regularnych tw. Dooba ma postać: Twierdzenie. Jeśli macierz stochastyczna P jest regularna to istnieje granica lim n P n = E gdzie E - macierz ergodyczna., 23

24 Stochastyczne macierze regularne charakteryzuje też tzw. twierdzenie ergodyczne: Twierdzenie. Jeśli macierz stochastyczna P jest regularna to istnieje taka jej potęga w której co najmniej jedna kolumna ma wszystkie elementy dodatnie. 24

25 Przykład. Macierz P =,5,5,25,5,5,75 ma wartości własne λ =, 2 = λ, λ 3 = 8 7 więc jest macierzą regularną. 25

26 Przykład. Macierz P =,5,5 ma wartości własne,5,5,5,5,5,5 λ =, λ 2 =, λ 3 = o krotności 2, więc jest macierzą cykliczną nierozkładalną. Macierz ta ma własność P gdy n nieparzyste P n = 2 P gdy n parzyste. 26

27 27 Przykład. Macierz = P ma wartości własne λ = o krotności 3, 2 = λ, 2 3 = λ, więc jest macierzą niecykliczną rozkładalną.

28 Macierz stochastyczna rozkładalna (po ewentualnym przestawieniu wierszy i kolumn) ma bloki diagonalne, które są macierzami stochastycznymi. Wartościami własnymi macierzy P są wartości własne poszczególnych bloków. W tym przykładzie są trzy bloki diagonalne. 28

29 Przykład. Macierz,5,5 =,5,5 P ma wartości własne λ = o krotności 2, 2 = λ, = 3 macierzą cykliczną rozkładalną. λ, więc jest 29

30 Łańcuchy Markowa (jednorodne). p i (n) - prawdopodobieństwo znalezienia się w stanie i po n krokach (rozkład zmiennej losowej X n ). p i () - prawdopodobieństwo znalezienia się w stanie i w chwili początkowej (rozkład zmiennej losowej X - rozkład początkowy). p(n) = (p (n), p (n),... p N (n)) p() = (p (), p (),... p N ()) 3

31 p ij - prawdopodobieństwo przejścia od stanu i do stanu j w jednym (dowolnym) kroku, P = [p ij ]- macierz prawdopodobieństw przejść (w jednym kroku), jest to macierz stochastyczna, 3

32 Przykład. Błądzenie przypadkowe z odbiciem. [ ] [ ] p [ ] p 2 [ 3] p [ 4] q q q 32

33 P = q q p q p p 33

34 Przykład. Zapisz macierz P dla łańcuch a Markowa przedstawionego grafem 4 2 [ ] [ ] 3/ [ 2] [ 3] / / 4 / 2 4/ 5 [ 4] /5 34

35 P(n) = P n = [p ij (n)] - macierz prawdopodobieństw przejść od stanu i do stanu j w n krokach, 35

36 Równanie Chapmana, - Kołmogorowa: = p ( k + l) p ( k) p ( l) i j m i m m j 36

37 Sydney Chapman (888 97) brytyjski matematyk i geofizyk. 37

38 Andriej Kołmogorow (93-987) rosyjski matematyk, m.in. sformułował aksjomaty prawdopodobieństwa. 38

39 Własność: Znając rozkład początkowy i macierz P możemy wyznaczyć rozkład zmiennej losowej X n czyli prawdopodobieństwo znalezienia się w poszczególnych stanach po n krokach: czyli (p (n), p (n),...) = (p (), p (),...)P n. p(n) = p()p n Mamy też własność: p(m + n) = p(m)p n 39

40 Granicę Π = p( ) = lim p( n) (o ile istnieje ) n nazywamy rozkładem granicznym łańcucha Markowa. 4

41 Łańcuch Markowa dla którego istnieje rozkład graniczny niezależny od rozkładu początkowego p() nazywamy łańcuchem ergodycznym a rozkład graniczny nazywamy rozkładem ergodycznym. 4

42 Twierdzenie. Rozkład graniczny nie zależy od rozkładu początkowego p() wtedy i tylko wtedy, gdy wiersze macierzy granicznej lim n P n = E są takie same (równe rozkładowi granicznemu Π ). Warunek ten jest spełniony dla macierzy P regularnej (jednokrotna wartość własna równa i brak innych wartości własnych o module ). 42

43 Twierdzenie. Jeśli macierz stochastyczna P lub dowolna jej potęga ma co najmniej jedną kolumnę, której wszystkie elementy są dodatnie to odpowiadający jej łańcuch Markowa jest ergodyczny. 43

44 Sposoby wyznaczania rozkładu granicznego: Sposób I. Rozkład graniczny Π jest jedynym niezerowym rozwiązaniem układu (P T - I) Π T =, spełniającym warunek Π i= = i, 44

45 Przykład. Wyznaczyć rozkład ergodyczny łańcucha Markowa o macierzy P =,3,6,5,4,2,4,6 45

46 46 Należy rozwiązać równanie jednorodne = Π Π Π,4,4,2,4,5,6,7 2

47 Jest to układ nieoznaczony z jednym parametrem. Przyjmijmy np. Π =, wtedy Π = 28/24, Π 2 = 4/24. Dzieląc te rozwiązania przez ich sumę otrzymamy rozwiązanie unormowane Π = [6/23, 7/23, /23]. 47

48 Sposób II. Π j = gdzie A kk to dopełnienia algebraiczne macierzy I - P (wyznacznik podmacierzy otrzymanej przez skreślenie k-tego wiersza i k- tej kolumny macierzy I P). k A jj A kk 48

49 Przykład. Wyznaczyć drugim sposobem rozkład ergodyczny łańcucha z poprzedniego przykładu. 49

50 Klasyfikacja stanów. Będziemy utożsamiać stan s k z liczbą k. Stan s k jest osiągalny ze stanu s j jeśli p jk (n) > dla pewnego n, Stany s k i s j nazywamy wzajemnie komunikującymi się jeśli stan s k jest osiągalny ze stanu s j, i odwrotnie. 5

51 Stan s k jest stanem nieistotnym gdy istnieje stan s j osiągalny ze stanu s k a stan s k nie jest osiągalny ze stanu s j, 5

52 Zbiór stanów C nazywamy zamkniętym, jeżeli żaden stan spoza C nie da się osiągnąć wychodząc z dowolnego stanu w C. 52

53 Pojedynczy stan zamknięty (musi być p kk = ) nazywamy stanem pochłaniającym. 53

54 Łańcuch Markowa jest nieprzywiedlny, gdy wszystkie jego stany wzajemnie komunikują się. 54

55 Przy badaniu ewolucji łańcucha Markowa w czasie chcemy wiedzieć, do których stanów łańcuch powraca nieskończenie wiele razy, a które po pewnym czasie opuszcza bezpowrotnie. 55

56 Niech F kj będzie prawdopodobieństwem, że łańcuch wychodząc ze stanu k dotrze kiedykolwiek do stanu j. F kj = P U( X n = j X = k) n 56

57 Jeśli f kj (n) - prawdopodobieństwo, że wychodząc ze stanu k łańcuch dojdzie po raz pierwszy do stanu j w n-tym kroku fk ( n) = PX ( j,..., Xn j, Xn = j X = j k ) to F = f ( n) kj n kj 57

58 Stan j nazywamy: a) powracającym, gdy F jj =. b) chwilowym gdy F jj <. 58

59 Twierdzenie. W nieprzywiedlnym łańcuchu Markowa wszystkie stany są tego samego typu: jeżeli jeden jest powracający (chwilowy) to wszystkie są powracające (chwilowe). Dlatego możemy mówić, że łańcuch jest np. powracający. 59

60 Twierdzenie. Przestrzeń stanów S łańcucha Markowa można jednoznacznie przedstawić w postaci sumy: S = T S S 2... gdzie T - zbiór stanów chwilowych, S i - nieprzywiedlne zamknięte zbiory stanów powracających. 6

61 Łańcuchy okresowe. Okresem stanu j nazywamy liczbę: o(j) = NWD(n: p jj (n)>) jest to największy wspólny dzielnik takich liczb n, że powrót do stanu j może nastąpić po n krokach. Stan j nazywamy okresowym gdy ma okres większy od i nieokresowym gdy ma okres. 6

62 Twierdzenie. W nieprzywiedlnym łańcuchu Markowa wszystkie stany mają ten sam okres. Zatem nieprzywiedlny łańcuch Markowa nazywamy okresowym, gdy jego stany mają okres większy od, w przeciwnym przypadku łańcuch nazywamy nieokresowym. 62

63 Łańcuch ergodyczny. Łańcuch jest ergodyczny jeśli istnieje lim p ( n) = π π = n ij j j Rozkład Π nazywamy rozkładem ergodycznym (granicznym). 63

64 Łańcuch stacjonarny. Łańcuch jest stacjonarny, gdy istnieje rozkład Π zwany rozkładem stacjonarnym, że ΠP = Π W łańcuchu ergodycznym rozkład stacjonarny (graniczny) nie zależy od rozkładu początkowego. 64

65 Uwaga. ergodyczny stacjonarny Każdy łańcuch o skończonej liczbie stanów jest stacjonarny. 65

66 Twierdzenie. Dla nieprzywiedlnego, nieokresowego łańcucha Markowa (X n ) dla którego istnieje rozkład stacjonarny Π mamy: a) łańcuch (X n ) jest powracający, b) łańcuch (X n ) jest ergodyczny, c) rozkład stacjonarny jest jedyny oraz π j =/µ j, gdzie µ j jest średnim czasem powrotu łańcucha do stanu j. 66