Procesy stochastyczne

Transkrypt

1 Wykład 13 Procesy stochastyczne

2 Procesy stochastyczne X(t) Proces stochastyczny to funkcja losowa X(t), czyli funkcja, której wartości X leŝą w przestrzeni zdarzeń losowych. Najprostszym przykładem procesu stochastycznego X(n), jest wielokrotny rzut monetą: dziedziną funkcji jest zbiór liczb naturalnych N (liczba rzutów n), natomiast wartością funkcji dla danej liczby n jest jeden z dwóch moŝliwych stanów losowania: orzeł lub reszka (zdarzenie losowe). W praktyce dziedziną, na której zdefiniowana jest funkcja X(t), jest najczęściej przedział czasowy (taki proces stochastyczny nazywany jest szeregiem czasowym) lub obszar przestrzeni (wtedy nazywany jest polem losowym). Przykładami szeregów czasowych są: notowania giełdowe, sygnały dźwiękowe takie jak mowa lub dźwięk pracującej maszyny, dane medyczne takie jak EKG, EEG, ciśnienie krwi lub temperatura ciała,. Przykładami pól losowych są obrazy krajobrazu, temperatura mierzona w określonym czasie na pewnej powierzchni lub układ składników w niejednorodnych materiale.

3 Procesy stochastyczne X(t) Matematycznie, proces stochastyczny jest zazwyczaj definiowany jako rodzina zmiennych losowych: gdzie: Xt - zmienna losowa, zaś T to zbiór indeksów procesu stochastycznego. Zmienne Xt muszą być określone na tej samej przestrzeni probabilistycznej. Zbiór wartości zmiennych losowych Xt nazywamy przestrzenią stanów procesu stochastycznego, zaś pojedyncza wartość zmiennej losowej to stan procesu stochastycznego. Procesy stochastyczne Xn zdefiniowane na dyskretnej przestrzeni stanów nazywane są łańcuchami.

4 Łańcuchy Markowa z przeliczalnym zbiorem stanów Przestrzeń stanów w (przestrze( przestrzeń fazowa) E E = {e1,, e2,...,ee,...,en} N = [1,2,..., N] ] (skończona liczba stanów) E = {e1,, e2,...} e N = [1,2,3,...] (nieskończona liczba stanów) Łańcuch Markowa Ciąg g zmiennych (X0,( X1, X2,,,,,,,) taki, Ŝe P{Xn = ei(n) / X0 = ei(0), e X1 = ei(1),..., e Xn-1 = e P{Xn = ei(n) / Xn-1 = ei(ne i(n-1) 1)} } = Pi(n-1),i(n) = ei(n-1) 1)} } = niezaleŝność przyszłości od przeszłości przy znanej teraźniejszości P{X0 = ei(0), e X1 = ei(1),..., e Xn = ei(n)} } = = P{X0=e =ei(0)}p{ }P{X1=ei(1) /X0=ei(0) i(0)}... P{Xn=e Xn stan cząstki (układu) w n-tym kroku pi = P{X0 = ei} rozkład początkowy pi,j def i,j(n) ) = P{Xn = ej e / X0 = ei}= P{ P{Xk+n =ei(n) /Xn-1=ei(n-1) 1)} k+n = ej e / Xk = ei}

5 Łańcuchy Markowa P = (pi,j( i,j) macierz przejścia (macierz stochastyczna) Warunki: pi,j 0; ( i)( Σ pi,j = 1; j = 1,...,N P n = ( = (pi,j i,j(n)) (P( 0 = P) pi,j(n) stoi w i-tym wierszu i j-tej kolumnie macierzy P n pi,j(0) = 1 dla i = j, oraz pi,j(0) = 0 dla i j. Równanie Chapmana-Kołmogorowa i,j(n + m) ) = Σ pi,k(n) pk,j(m) pi,j k = 1,...,N lub P n+m = P n P m

6 def. Łańcuchy Markowa fj(n) ) = pj(n) ) = P{Xn = ej} rozkład prawdopodobieństwa w n-tym kroku pj(n +1) = Σ pi(n) pi,j i = 1,...,N (0) pi,j i = 1,...,N pj(n) ) = Σ pi(0) i,j(n) def. p(n) = [p1(n), p2(n),..., pn(n)] T p(n + 1) = P T p(n) p(n + 1) = (P T ) n p(0) Przykład: Klasycznym przykładem łańcucha Markowa jest spacer losowy po prostej. Wyobraźmy sobie cząsteczkę, która moŝe się poruszać wzdłuŝ linii prostej według następujących reguł: w chwili zero cząsteczka znajduje się w punkcie o współrzędnej zero, natomiast w następnych momentach czasu (1, 2, 3i tak dalej) moŝe się przesuwać o jeden w lewo lub o jeden w prawo, z prawdopodobieństwami równymi odpowiednio p oraz q, przy czym p + q = 1, JeŜeli p = q, to mówimy, Ŝe spacer losowy jest standardowy.

7 Ergodyczność. π = lim p(n), gdzie p(n) = [p1(n), p2(n), ),..., pn(n)] T n π = [π1, π2,..., πn] T - rozkład graniczny (stacjonarny) Def. Łańcuch Markowa jest ergodyczny, jeŝeli istnieje rozkład graniczny π niezaleŝny od rozkładu początkowego p(0): ( i) lim pi,j(n) = πj Równanie rozkładu stacjonarnego: gdzie I jest macierzą jednostkową. n P T π = π lub (P T - I)π = 0 Warunek unormowania: π T 1 = 1. Ergodyczność oznacza, Ŝe dla duŝych prawdopodobieństwo przejścia ze stanu do stanu w krokach jest dodatnie i zaleŝy faktycznie od stanu końcowego, zaś nie zaleŝy od stanu początkowego - prawdopodobieństwa te moŝna otrzymać, rozwiązując odpowiedni układ równań liniowych.

8 Ergodyczność Tw. ergodyczne: JeŜeli istnieje taka liczba naturalna n, Ŝe macierz P n ma co najmniej jedną kolumnę o wszystkich wyrazach dodatnich, to łańcuch Markowa jest ergodyczny. Przykład 1 (Kubik): Mamy daną macierz przejścia P: q p 0 P = q 0 p, gdzie 0 < p < 1, q = 1- p 0 q p MoŜna sprawdzić, Ŝe macierz P 2 = P P ma wszystkie wyrazy dodatnie. ZałoŜenia twierdzenia ergodycznego są więc spełnione. Stąd: q π1 + q π2 = π1 oraz π1 + π2 + π3 = 1 p π1 + q π3 = π2 p π2 + p π3 = π3 Rozwiązanie układu równań: πi = (p / q) i-1 /(1 + p / q + (p / q) 2 ) gdzie i = 1, 2, 3. Przykład 2 (schemat urnowy jako sposób reprezentacji łańcucha Markowa o N stanach): Mamy N urn z których kaŝda zawiera N rodzajów kul ponumerowanych od 1 do N. Losujemy ze zwracaniem i w kolejnym kroku przechodzimy do urny, o numerze wylosowanej kuli.

9 Klasyfikacja stanów łańcucha Markowa Stany łańcucha Markowa moŝna pogrupować w klasy w zaleŝności od tego, czy mogą one być osiągnięta z dowolnego stanu danej klasy. stan i jest osiągalny ze stanu j (i j) wtedy i tylko wtedy, gdy istnieje takie n, Ŝe pi,j(n) > 0. stan i komunikuje się ze stanem j (i j) wtedy i tylko wtedy, gdy zarówno i j jak równier wnieŝ i j. Relacja jest przechodnia: i j oraz j k i k Klasą stanów nazywamy największy podzbiór r przestrzeni stanów w taki, Ŝe dowolne dwa jego stany komunikują się ze sobą ( i j ). Relacja i j nie jest zwrotna, moŝe e istnieć niekomunikujący się ze sobą a zarazem z Ŝadnym innym stanem (stan niepowracalny). Podzbiór r (klasę) M przestrzeni stanów w nazywamy zamknięty wtedy i tylko wtedy, gdy ( i M) Σ pi,j = 1 (wyjście ze zbioru M jest niemoŝliwe) j M Przykładem zbioru zamkniętego jest stan pochłaniaj aniający cy (pi,i i,i = 1). Stan i jest powracalny wtedy i tylko wtedy, gdy ( ( n 1) pi,j(n) > 0.

10 Klasyfikacja stanów łańcucha Markowa Stan i jest powracalny wtedy i tylko wtedy, gdy ( ( n 1) pi,j(n) > 0. JeŜeli eli i jest stanem powracalnym,, to moŝemy zdefiniować jego okres di jako największy wspólny dzielnik wszystkich liczb naturalnych m dla których pi,j(m) > 0. Stan i jest okresowy,, jeŝeli eli di > 1 oraz nieokresowy, gdy di = 1. Tw.. Dwa róŝne r stany naleŝą Ŝące do tej samej klasy mają taki sam okres. Innymi słowy, s okresowość (o długod ugości d) ) jest własnow asnością klasy. Klasa jest okresowa (periodyczna, cykliczna) albo nieokresowa (aperiodyczna) w zaleŝno ności od tego czy d > 1 czy teŝ d = 1. Przykład ad: : Zagadnienie ruiny gracza. Pierwszy gracz ma na początku k jednostek kapitału a drugi l k jednostek. Przegrywający gracz q 0 p płaci jednostkę kapitału. Pierwszy gracz wygrywa z P =... prawdopodobieństwem p a drugi z prawdop. q, q 0 p gdzie 0 < p < 1, q = 1- p Błądzenie przypadkowe z ekranami pochłaniaj aniającymi (absorbującymi) w stanach 0 i l.

11 Procesy stochastyczne X(t, ω) Przestrzeń probabilistyczna (Ω,B,P). X(t, ω) ) = Xω(t)) - proces losowy z ciągłym czasem t.. Funkcja czasu, która dla kaŝdej wybranej chwili czasowej t jest zmienną losową. x(t) ) = x(t, ω) realizacja procesu stochastycznego (dla ustalonego zdarzenia elementarnego ω). t0 < t1 < t2 <... < tn X(t0), X(t1), X(t2),..., X(tn) Xn = [X(t0),[ X(t1),..., X(tn)] T (n ) Charakterystyka procesu losowego X(t, ω) ) przez wektor losowy Xn(ω) ) o nieskończonej liczbie składowych X(ti). Funkcje dystrybuanty lub gęstości wektora losowego Xn(ω) ) w pełni określaj lają jego właściwow ciwości stochastyczne.,

12 Momenty procesu stochastycznego Def. Momentem zwyczajnym mx(t0, t1,..., tk ) k-tego rzędu procesu stochastycznego X(t) ) nazywamy wartość oczekiwaną iloczynu zmiennych losowych X(t1)... )...X(tk):): mx( t1,..., tk ) = E[X(t1)... )...X(tk)])] = + + =... x1... xk fx(x1,...,xk; t1,..., tk ) dx1...dd...dxk - - Moment pierwszego rzędu (warto( wartość oczekiwana) mx(t) ) procesu stochastycznego X(t): + mx( t) ) = E[X(t)] = x fx(x; t ) dxd - Moment centralny µx( t1,..., tk ) k-tego rzędu procesu stochastycznego X(t) µx( t1,..., tk ) = + + =... (x1-mx(t1))... (xk-mx(tk)) fx(x1,...,xk; t1,..., tk ) dx1...dd...dxk - -

13 Funkcja autokorelacji procesu stochastycznego Kx(t1, t2) funkcja autokorelacji procesu stochastycznego X(t) + + Kx(t1, t2) ) = (x1 - mx(t1)) (x2 -mx(t2)) fx(x1,,x2; t1, t2 ) dx1dx2d - - Wx(t ) = Kx(t, t) wariancja procesu stochastycznego X(t) kx(t1, t2) ) = Kx(t1, K t2) ) / (Wx(t1)W )Wx(t2)))) - unormowana funkcja autokorelacji procesu stochastycznego X(t)

14 Procesy ergodyczne (procesy stacjonarne) Wszystkie realizacje procesu stochastycznego X(t) ) są typowes typowe Znajomość pojedynczej realizacji X * (t) na dostatecznie długim odcinku czasowym pozwala wyznaczyć rozkład prawdopodobieństwa (lub jego parametrów) w innej realizacji procesie X(t). P{X(t) < y}= lim (1/T){ łączna długość odcinków czasowych z T przedziału [0,T], kiedy było X * (t) < y} E[X(τ)] = m = lim (1/T) X * (t) dt T - Szacowanie wartości oczekiwanej za pomocą średniej czasowej. T

15 Procesy Markowa Zainteresowani jesteśmy wyznaczeniem prawdopodobieństw warunkowych: P{X(τ) < y / I} gdzie I to informacje o przebiegu procesu X(t) ) dla pewnych chwil ti < τ (t0 < t1 <... < tn < τ). Dystrybuanta procesu Markowa charakteryzuje się właściwością: P{X(τ) < y / X(tn-1) ) = xn-1,..., X(t0) ) = x0} = = P{X(τ) < y / X(tn-1) ) = xn-1} JeŜeli w poszczególnych chwilach realizacje procesu są niezaleŝne od siebie to mamy proces z brakiem pamięci: P{X(τ) < y / X(tn-1) ) = xn-1,..., X(t0) ) = x0} = P{X(τ) < y}

16 Procesy o przyrostach niezaleŝnych nych X(t0), X(t1) - X(t0),..., X(tn) - X(tn-1) przyrosty zmiennej X(tk) - X(tk-1) ) sąs niezaleŝne ne od siebie Procesy o przyrostach jednorodnych Proces o przyrostach jednorodnych (proces( jednorodny) ) mamy wtedy, gdy rozkład prawdopodobieństwa P{X(t2) - X(t1)} zaleŝy tylko od róŝnicy t2 - t1 a nie zaleŝy y od chwili t1.

17 Przykład ad: : Emisja cząstek α przez pewną substancję promieniotwórcz rczą Proces emisji obserwujemy w przedziale czasu [0, ] tk chwila emisji k-tej cząstki (k( = 1, 2,...) τ(t) liczba wyemitowanych cząstek w przedziale czasu [0,t]. 0 dla 0 t < t1 τ(t) = 1 dla t1 t < t2 2 dla t2 t < t3... Dodatkowe załoŝenia o procesie emisji cząstek α: 1 o. Proces jest jednorodny w czasie Rozkład liczby cząstek emitowanych w określonym przedziale czasu (np.. jednej godziny) nie zaleŝy y od momentu obserwacji

18 Przykład ad: : Dodatkowe załoŝenia o procesie emisji cząstek α. 2 o. Proces ma własnow asność braku pamięci Przebieg procesu emisji cząstek α po dowolnej chwili nie zaleŝy y od przebiegu procesu emisji do tej chwili. Emisje cząstek w rozłą łącznych przedziałach czasu moŝna traktować jako doświadczenia niezaleŝne (proces o przyrostach niezaleŝnych nych) 3 o. Pojedynczość procesu.. Często stość λ emisji cząstki α w ciągu bardzo krótkiego przedziału u czasu jest w przybliŝeniu proporcjonalna do jego długod ugości. Emisja więcej niŝ jednej cząstki w ciągu bardzo krótkiego przedziału u czasu prawie nie zdarza się.

19 Pt(k) - prawdopodobieństwo wyemitowania k cząstek w przedziale czasu [0,t]. Zgodnie z właściwow ciwością 2 o : ( t1 > 0, t2 > 0) Pt 1 +t 2 (k)) = Σ Pt 1 (j)) PtP 2 (k-j) Zgodnie z właściwow ciwością 3 o : j = 1,...,k dla t 0 Pt(1) P = λ t + o(t) oraz Σ Pt(k) ) = o(t) k = 2,..., Jedyną rodziną rozkład adów w spełniaj niającą postulaty 1 o, 2 o oraz 3 o jest rodzina rozkład adów Poissona: Pt(k) ) = e -λt (λt) k / k!! (k( = 0,1,2,...) λ - intensywność procesu Poissona.

20 Rozkład Poissona dobrze opisuje te doświadczenia w których spełnione są postulaty 1 o, 2 o oraz 3 o Przykład ad: : Proces zgłosze oszeń abonentów w do centrali telefonicznej gdzie t = t2 - t1 pi,k def i,k(t) ) = P{X(t2) = k / X(t1) ) = i}, Dla procesu Poissona zachodzą poniŝsze związki zki dla małych wartości przedziału u czasu t (t > 0): ) = λ t + o(t) i,j(t) ) = o(t) ) (j( = i +2, i + 3,...) i,i(t) ) = 1 - λ t + o(t) pi,i+1(t) = pi,j pi,i

21 Uogólnienia procesu Poissona Proces urodzin (populacja bakterii) pi,i+1(t) ) = λ i t + o(t) pi,j(t) ) = o(t) ) (j( = i +2, i + 3,...) pi,i(t) ) = 1 - λ i t + o(t) Często stość pojawiania się nowego elementu dla bardzo krótkiego przedziału u czasu t jest w przybliŝeniu proporcjonalna do długod ugości przedziału, przy czym współczynnik proporcjonalności ci λi i zaleŝy y od stanu układu i na początku tego przedziału Proces urodzin i śmierci (populacja bakterii) pi,i+1(t) ) = λ i t + o(t) pi,i-1(t) ) = µ i t + o(t) pi,j(t) ) = o(t) ) (j( = i +2, i + 3,...) pi,i(t) ) = 1 (λ + µ) i t + o(t)