Zbigniew S. Szewczak Uniwersytet Mikołaja Kopernika Wydział Matematyki i Informatyki Graniczne własności łańcuchów Markowa Toruń, 2003
Co to jest łańcuch Markowa? Każdy skończony, jednorodny łańcuch Markowa jest równoważny modelowi urnowemu
Model urnowy Urna czarna, czerwona, niebieska 1 2 0
Model urnowy - zasada 1 Kolor urny, z której losujemy, jest taki sam jak ostatnio wylosowana kula 1 2 0
Model urnowy - zasada 2 Zawsze zwracamy wylosowaną kulę do urny i mieszamy kule 1 2 0
Model urnowy - losowanie 0 Najpierw losujemy jedną kulę z urny czarnej 1 2 0
Model urnowy - losowanie 0 Chowamy urnę czarną do szafy 1 2 0
Model urnowy - losowanie 0 Ponieważ wylosowaliśmy kulę niebieską to pierwsze losowanie będzie z urny niebieskiej 1 2
0 Model urnowy - losowanie 1 W pierwszym losowaniu uzyskujemy kulę czerwoną 1 2
Model urnowy - losowanie 1 Ponieważ wylosowaliśmy kulę czerwoną to następne losowanie będzie z urny czerwonej 1 2
Model urnowy - losowanie 2 Zwracamy kulę czerwoną do urny niebieskiej Losujemy z urny czerwonej kulę czerwoną 1 2
Model urnowy - losowanie 3 Zwracamy kulę czerwoną do urny czerwonej Losujemy z urny czerwonej kulę niebieską 1 2
Model urnowy - losowanie 4 Zwracamy kulę niebieską do urny czerwonej Losujemy z urny niebieskiej kulę niebieską 1 2
Model urnowy - losowanie 5 Zwracamy kulę niebieską do urny niebieskiej Losujemy z urny niebieskiej kulę czerwoną itd... 1 2
Model ze zwracaniem i wymianą Jeśli wylosowana kula jest tego samego koloru co poprzednio wylosowana kula to: losujemy dalej Jeśli nie to: ujmujemy cztery kule wylosowanego koloru i dodajemy cztery koloru przeciwnego 1 2
Drzewo losowań n O c n 1 c n c n 2 c n c n c n c n 3 n 4
Model urnowy - kolor (1 Pierwszy przypadek nieciekawy 1 2 0
Model urnowy - kolor (2 Drugi przypadek nieciekawy 1 2 0
Model urnowy - niezależny (1 Składy urn są jednakowe = schemat Bernoulliego 1 2 0
Model urnowy - niezależny (2 Równie dobrze moglibyśmy losować jedynie z urny czerwonej 1 2 0
Jaka jest częstość względna? Częstość względna występowania kul niebieskich =(liczba wylosowanych kul niebieskich/(liczba losowań Jak zmienia się częstość względna występowania kul niebieskich w przypadku, gdy składy urn są jednakowe a liczba losowań się zwiększa?
Schemat Bernoulliego Jakub Bernoulli I ur. 27.12.1654, Bazylea zm. 16.8.1705, Bazylea Prawo wielkich liczb dla schematu Bernoulliego Szansa na to, że częstość względna pojawienia się kul 5 niebieskich odchyli się od 12 o dowolnie małą liczbę dodatnią zmierza do zera wraz ze wzrostem liczby losowań. (1713
Model urnowy Składy urn są różne 1 2 0
Jaka jest częstość względna? Jaka jest częstość względna pojawienia się kuli niebieskiej w przypadku, gdy składy urn nie są jednakowe? Na to pytanie prawo wielkich liczb Bernoulliego nie daje odpowiedzi bowiem jest to binarny łańcuch Markowa
Łańcuch Markowa Andriej A. Markow I ur. 14.6.1856, Riazań zm. 20.7.1922, Petersburg Prawo wielkich liczb dla łańcuchów Markowa Szansa na to, że częstość względna pojawienia się kul 4 niebieskich odchyli się od 11 o dowolnie małą liczbę dodatnią zmierza do zera wraz ze wzrostem liczby losowań. (1906
Model urnowy Cztery urny : ciekawe czy nieciekawe czy ciekawe? 1 2 3 4 0
Model urnowy Pięć urn: ciekawe czy nieciekawe czy ciekawe? 4 1 2 16? 3 5 0
Twierdzenie Wielandta Jeśli losowując kulę dowolnego koloru z 2 dowolnej z N urn po N - 2. N + 2 krokach możemy wylosować kulę dowolnego koloru to taki łańcuch Markowa jest ciekawy. Ciekawy bowiem zachodzi dla niego wiele praw rachunku prawdopodobieństwa
Model urnowy Trzy urny dlatego, że trzy jest drugą liczbą pierwszą 1 2 0 3
Model urnowy (c.d. Z urny niebieskiej nie ma bezpośredniego przejścia do urny zielonej 1 2 3
Tablica 3x3 u k 4 4 4 5 4 7 6 0 2
Macierz u->i k->j i j 1 2 3 1 4 4 4 2 5 7 0 3 4 6 2
Macierz stochastyczna i j 1 1 2 3 4 12 4 12 4 12 2 5 12 7 12 0 12 3 4 12 6 12 2 12 suma liczb w każdym wierszu wynosi 1
suma strzałek wychodzących wynosi 1 Graf stochastyczny 4 12 4 12 5 12 4 12 4 12 7 12 6 12 0 12 2 12
Macierz przejścia i j 1 2 3 1 2 p p 11 21 p p p 12 13 p 22 23 3 p 31 liczby nieujemne suma liczb w każdym wierszu wynosi 1 p p 32 33
Nieciekawy 1 i j 1 1 1 2 0 2 0 1 macierz jednostkowa
Nieciekawy 2 i j 1 2 1 0 1 2 1 0 transponowana macierz jednostkowa
Schemat Bernoulliego i j 1 2 1 7 12 5 12 2 7 12 5 12 niezależny: takie same wiersze
Macierz przejścia - zadanie i j 1 1? 2? 2?? urna czerwona: 4 x i 8 x urna niebieska: 5 x i 7 x
Co dalej? 4 11 Skąd te w prawie wielkich liczb Markowa? Jak szybko szansa na to, że częstość względna występowania kul niebieskich odchyli się od 4 o 11 więcej niż 0.001 zmierza do zera? Czy jest na to jakieś oszacowanie?
Rozkład stacjonarny Skład urn : 4 kule niebieskie, 7 kul czerwonych 1 2 0
Własności graniczne Twierdzenia graniczne dla łańcuchów Markowa twierdzenie spektralne dla macierzy przejścia twierdzenie ergodyczne dla macierzy przejścia prawo wielkich liczb teoria wielkich odchyleń Twierdzenia graniczne można symulować komputerowo symulacja prawa wielkich liczb Markowa - Maple
Macierz stochastyczna Definicja. Tablicȩ liczb postaci żetak a, oraz nazywamy macierz a stochastyczn a Graniczne własności binarnych łańcuchów Markowa p. 2/2
Macierz stochastyczna gdzie postaci Definicja. Tablicȩ liczb oraz że tak a, nazywamy macierz a stochastyczn a Przykład. Graniczne własności binarnych łańcuchów Markowa p. 2/2
Prawdopodobieństwa przejścia Definicja. Liczby nazywamy prawdopodobieństwami przejścia za jeden krok i oznaczamy. Graniczne własności binarnych łańcuchów Markowa p. 3/2
Prawdopodobieństwa przejścia nazywamy prawdopodobieństwami przejścia za jeden krok i oznaczamy. Definicja. Liczby to liczby Definicja. Jeśli kroków nazywamy prawdopodobieństwami przejścia za Graniczne własności binarnych łańcuchów Markowa p. 3/2
Przykład dla Graniczne własności binarnych łańcuchów Markowa p. 4/2
Przykład dla Prawdopodobieństwa przejścia za 2 kroki Graniczne własności binarnych łańcuchów Markowa p. 4/2
Przykład dla i Graniczne własności binarnych łańcuchów Markowa p. 5/2
i Przykład dla! "! "! " "! Graniczne własności binarnych łańcuchów Markowa p. 5/2
Przykład dla Graniczne własności binarnych łańcuchów Markowa p. 6/2
Przykład dla Prawdopodobieństwa przejścia za 3 kroki % $ % $ # % $ % $ # % $ % $ # % $ % $ # Graniczne własności binarnych łańcuchów Markowa p. 6/2
Przykład dla i Graniczne własności binarnych łańcuchów Markowa p. 7/2
i Przykład dla! "!! # " " "! #! " "!!! "! # " " " "!! "! # Graniczne własności binarnych łańcuchów Markowa p. 7/2
Oznaczmy ' & Załóżmy, że ( Zadanie + Graniczne własności binarnych łańcuchów Markowa p. 8/2
Oznaczmy ' & Załóżmy, że ( + ( ( ( Zadanie ( ' Graniczne własności binarnych łańcuchów Markowa p. 8/2 Wykazać, że
Wskazówka Mamy Graniczne własności binarnych łańcuchów Markowa p. 9/2
Wskazówka Mamy to Ponieważ % $ Graniczne własności binarnych łańcuchów Markowa p. 9/2
Wskazówka Mamy to Ponieważ % $ do obu stron Dodajemy % $ Graniczne własności binarnych łańcuchów Markowa p. 9/2
Wskazówka Mamy to Ponieważ % $ do obu stron Dodajemy % $ Mnożymy wyrażenie w nawiasie Graniczne własności binarnych łańcuchów Markowa p. 9/2
Wynosimy Wskazówka (c.d. poza nawias % $ Graniczne własności binarnych łańcuchów Markowa p. 10/2
Wskazówka (c.d. poza nawias Wynosimy % $ to Ponieważ Graniczne własności binarnych łańcuchów Markowa p. 10/2
Wskazówka (c.d. poza nawias Wynosimy % $ to Ponieważ na praw a stronȩ Przenosimy Graniczne własności binarnych łańcuchów Markowa p. 10/2
Wskazówka (c.d. poza nawias Wynosimy % $ to Ponieważ na praw a stronȩ Przenosimy na Zamieniamy Graniczne własności binarnych łańcuchów Markowa p. 10/2
Wynosimy Wskazówka (c.d. poza nawias % $ Graniczne własności binarnych łańcuchów Markowa p. 11/2
Wskazówka (c.d. poza nawias Wynosimy % $ poza nawias Wynosimy % $ % $ Graniczne własności binarnych łańcuchów Markowa p. 11/2
Wskazówka (c.d. Ponieważ poza nawias dzielimy obie strony przez Wynosimy % $ poza nawias Wynosimy % $ % $ & % $ Graniczne własności binarnych łańcuchów Markowa p. 11/2
Wskazówka (c.d. Ponieważ poza nawias dzielimy obie strony przez Wynosimy % $ poza nawias Wynosimy % $ % $ & % $,.-,.-/,-. (, -.,.-/,-. Podstawiamy ( Graniczne własności binarnych łańcuchów Markowa p. 11/2
Przykład dla Graniczne własności binarnych łańcuchów Markowa p. 12/2
Przykład dla! (! Graniczne własności binarnych łańcuchów Markowa p. 12/2
Przykład dla (c.d. Graniczne własności binarnych łańcuchów Markowa p. 13/2
Przykład dla (c.d. wiȩc ( Mamy! ( (!!! ( " '! ( Graniczne własności binarnych łańcuchów Markowa p. 13/2
Przykład dla (c.d. Graniczne własności binarnych łańcuchów Markowa p. 14/2
Przykład dla (c.d. Rozkład stacjonarny!!! "! Graniczne własności binarnych łańcuchów Markowa p. 14/2
Przykład dla (c.d. Rozkład stacjonarny!!! "! Zadanie Graniczne własności binarnych łańcuchów Markowa p. 14/2
Prawdopodobieństwa za 2 kroki Graniczne własności binarnych łańcuchów Markowa p. 15/2
Prawdopodobieństwa za 2 kroki Jaki wzór? % ( $ % ( $ % ( $ % ( $ ( ( ( ( ( ( ( ( % ( $ ( % $ ( ' % $ $ ( Graniczne własności binarnych łańcuchów Markowa p. 15/2
( ( ' Graniczne własności binarnych łańcuchów Markowa p. 16/2 Zadanie (c.d. 2 1 0 Dla & to Jeśli ( + ( +
( ( ' # (# # (# ' Graniczne własności binarnych łańcuchów Markowa p. 16/2 Zadanie (c.d. 2 1 0 Dla & to Jeśli ( + ( + 3 1 0 Dla & to Jeśli # (# + # (# +
( ' ( Graniczne własności binarnych łańcuchów Markowa p. 17/2 Twierdzenie spektralne Twierdzenie & to Jeśli + ( + (
Twierdzenie spektralne Twierdzenie & to Jeśli ( + ( ' ( + ( Zadanie. Udowodnić twierdzenie spektralne. Graniczne własności binarnych łańcuchów Markowa p. 17/2
Przykład dla Graniczne własności binarnych łańcuchów Markowa p. 18/2
Przykład dla! ( (!! (! ( Graniczne własności binarnych łańcuchów Markowa p. 18/2
Twierdzenie ergodyczne Twierdzenie Jeśli & % % $ $ 5 4 i 4 4 4 ( to 6 + 6 ' 6 + 6 Graniczne własności binarnych łańcuchów Markowa p. 19/2
Twierdzenie ergodyczne Twierdzenie Jeśli & % % $ $ 5 4 i 4 4 4 ( to 6 + 6 ' 6 + 6 Zadanie. Udowodnić twierdzenie ergodyczne Graniczne własności binarnych łańcuchów Markowa p. 19/2
Przykład dla Graniczne własności binarnych łańcuchów Markowa p. 20/2
Przykład dla! 6! ( 6 (! 6!! ( 6! ( Graniczne własności binarnych łańcuchów Markowa p. 20/2
Kto po Markowie? S. N. Bernstein G. D. Birkhoff A. J. Chinczyn J. Hadamard A. N. Kołmogorow W. I. Romanowski B. W. Gniedenko W. Doeblin W. Feller S. V. Nagaev
Gdzie można o tym poczytać? William Feller wstęp do rachunku prawdopodobieństwa tom pierwszy
Gdzie można o tym poczytać? Biblioteka Matematyczna TOM 18 Marek Fisz RACHUNEK PRAWDOPODO- BIEŃSTWA I STATYSTYKA MATEMATYCZNA WYDANIE CZWARTE Państwowe Wydawnictwo Naukowe Warszawa 1969
A gdzie jest o tym więcej? William Feller wstęp do rachunku prawdopodobieństwa tom drugi
Gdzie się można tego nauczyć? http://www.mat.uni.torun.pl/