Procesy Stochastyczne I, część druga wersja 18 maja Procesy Markowa - podstawowe fakty i definicje

Procesy Stocastyczne I, część druga wersja 18 maja 23 8 Procesy Markowa - podstawowe fakty i definicje W tym i następnyc rozdziałac jak zwykle T R, (, ) zaś jest przestrzenią mierzalną taką, że wszystkie zbiory jednoelementowe są mierzalne tzn. {x} dla wszystkic x. jest procesem stocastycznym. Okre- Definicja 8.1 Załóżmy, że X = (X t ) t T ślamy następujące σ-ciała F X t := σ(x s : s t, s T ), F X t := σ(x s : s t, s T ), F X =t := σ(x t ) oraz F X [s,t] := σ(x u : s u t, u T ). Jeśli określenie procesu X wynika z kontekstu, będziemy pomijać górny indeks pisząc np. F t zamiast F X t. Definicja 8.2 Proces stocastyczny (X t ) t T o wartościac w (, ) nazywamy procesem Markowa, jeśli dla dowolnyc t T, A F X t i B F X t zacodzi P(A B F X =t) = P(A F X =t)p(b F X =t). Uwaga 8.1 Przypomnijmy, że P(A F) := (I A F), w szczególności P(A F) jest zmienną losową F mierzalną przyjmującą p.n. wartości ze zbioru [, 1]. Uwaga 8.2 Z definicji wynika natycmiast, że proces (X t ) t T jest procesem Markowa wtedy i tylko wtedy gdy proces (X t ) t T jest procesem Markowa. Fakt 8.1 Niec X = (X t ) t T będzie procesem stocastycznym, wówczas następujące warunki są równoważne a) X jest procesem Markowa b) t T A F X t c) t T B F X t P(A F X t ) = P(A F X =t) p.n. P(B F X t ) = P(B F X =t) p.n. Dowód. a) b): Niec A F X t i B F X t, wtedy I A I B = (I A B F =t ) = ((I A F =t )(I B F =t )) = ((I B (I A F =t ) F =t )) = (I B (I A F =t )). Zmienna (I A F =t ) jest F =t, a więc również F t mierzalna, zatem powyższa równość (na mocy dowolności B F t X ) implikuje, że (I A F t ) = (A F =t ) p.n. 1

b) a) Niec C F =t, wówczas I A B I C = ((I B C I A F t )) = (I B C (I A F t )) = (I B C (I A F =t )) = ((I B I C (I A F =t )) F =t ) = (I C (I A F =t )(I B F =t )). Zmienna (I A F =t )(I B F =t ) jest F =t mierzalna, więc powyższa równość (na mocy dowolności C F X =t) implikuje, że (I A B F =t ) = (I A F =t )(I B F =t ) p.n.. Równoważności warunków a) i c) dowodzimy w taki sam sposób. Uwaga 8.3 Proces (X t ) t T jest procesem Markowa wtedy i tylko wtedy gdy dla wszystkic s 1,..., s n, t, t 1,..., t m T takic, że s 1... s n t t 1... t m oraz zbiorów Γ 1,..., Γ m, 1,..., n P(X t1 Γ 1,..., X tm Γ m, X s1 1,..., X sn n X t ) = P(X t1 Γ 1,..., X tm Γ m X t )P(X s1 1,..., X sn n X t ) p.n.. Implikacja jest oczywista, a idea dowodu polega na tym, że rodzina zbiorów postaci {X t1 Γ 1,..., X tm Γ m }, t t 1... t m, Γ 1,..., Γ m jest π-systemem generującym F X t. Terminologia Załóżmy, że X = (X t ) t T jest procesem Markowa Jeśli T Z, to X nazywamy łańcucem Markowa; Jeśli T Z oraz jest zbiorem conajwyżej przeliczalnym, to X nazywamy dyskretnym łańcucem Markowa; Jeśli T jest przedziałem (najczęściej [, )), a jest zbiorem conajwyżej przeliczalnym, to X nazywamy łańcucem Markowa z czasem ciągłym. W przypadku dyskretnyc łańcuców Markowa definiujemy macierze przejścia. Jaki jest ic odpowiednik dla procesów Markowa? Definicja 8.3 Rodzinę funkcji (P s,t (x, Γ)) s,t T,s t,x,γ nazywamy funkcją przejścia (funkcją prawdopodobieństwa przejścia, jądrem przejścia) jeśli zacodzą następujące trzy własności a) s,t T,s t x P s,t (x, ) jest miarą probabilistyczną na (, ); b) s,t T,s t Γ x P s,t (x, Γ) jest funkcją mierzalną z (, ) w (R, B(R)); c) s x,γ P s,s (x, Γ) = δ x (Γ). Definicja 8.4 Jeśli (P s,t (, )) jest funkcją przejścia, to mówimy, że (P s,t ) jest funkcją przejścia dla procesu Markowa X = (X t ), jeśli s t,s,t T Γ P(X t Γ X s ) = P s,t (X s, Γ) p.n. 2

Uwaga 8.4 Nieco nieformalnie można powyższą definicję zapisać jako P s,t (x, Γ) = P(X t Γ X s = x). Przykład 1 Załóżmy, że jest zbiorem przeliczalnym, wówczas w myśl naszyc założeń to wszystkie podzbiory. Funkcja przejścia w tym przypadku jest wyznaczona przez macierz przejścia P s,t (x, y) = (p s,t (x, y)) x,y, gdzie p s,t (x, y) := P s,t (x, {y}). Wtedy dla dowolnego Γ mamy P s,t (x, Γ) = y Γ P s,t(x, {y}) = y Γ p s,t(x, y). Macierz przejścia musi spełniać następujące dwa warunki: a) s t x y p s,t(x, y) = 1 oraz x,y p s,t (x, y) czyli P s,t jest macierzą stocastyczną; b) P s,s = Id czyli p s,s (x, y) = δ x (y). Przykład 2 Załóżmy, że (, ) = (R, B(R)) (lub (R d, B(R d ))) Mówimy, że rodzina funkcji (p s,t (x, y)) x,y,s<t,s,t T jest gęstością przejścia jeśli s<t,s,t T x,γ P s,t (x, Γ) = p s,t (x, y)dy. Gęstość przejścia musi spełniać następujące dwa warunki: a) s<t x,y p s,t (x, y), p s,t(x, y)dy = 1 b) s<t (x, y) p s,t (x, y) jest funkcją mierzalną z (, ) w (R, B(R)). Proces Wienera jest procesem Markowa z gęstością przejścia 1 (y x)2 p s,t (x, y) = exp( 2π(t s) 2(t s) ). Fakt 8.2 Załóżmy, że (P s,t (, )) jest funkcją przejścia. Wówczas X = (X t ) t T jest procesem Markowa z funkcją przejścia P s,t wtedy i tylko wtedy gdy s t Γ P(X t Γ F X s) = P s,t (X s, Γ) p.n.. (1) Dowód. : Na podstawie własności Markowa mamy P(X t Γ F X s) = P(X t Γ X s ) = P s,t (X s, Γ) p.n. Zanim przejdziemy do dowodu przeciwnej implikacji sformułujemy lemat Lemat 8.3 Jeśli zacodzi (1), to dla dowolnyc indeksów s = t t 1... t n oraz funkcji mierzalnyc f 1,..., f n : R zacodzi gdzie ϕ(y ) := (f 1 (X t1 ) f n (X tn ) F X s) = ϕ(x s ) p.n.,... f 1 (y 1 ) f n (y n )P tn 1,t n (y n 1, dy n )... P t,t 1 (y, dy 1 ). Γ 3

: Zbiory A F s X takie, że P(A F s X ) = P(A F =s) X p.n. tworzą λ-system. Ponieważ σ-ciało F s X jest generowane przez π-system zbiorów postaci {X t 1 Γ 1,..., X tn Γ n )}, gdzie t t 1... t n oraz Γ 1,..., Γ n, wystarczy wykazać, że P(X t1 Γ 1,..., X tn Γ n F s ) = P(X t1 Γ 1,..., X tn Γ n X s ) p.n. Stosując Lemat 8.3 dla funkcji f i = 1 Γi, dostajemy, że dla pewnej funkcji ϕ, P(X t1 Γ 1,..., X tn Γ n F s ) = ϕ(x s ) p.n., czyli P(X t1 Γ 1,..., X tn Γ n X s ) = (ϕ(x s ) X s ) = ϕ(x s ) = P(X t1 Γ 1,..., X tn Γ n F s ). Dowód Lematu 8.3. Przeprowadzimy indukcję po n. Dla n = 1 musimy wykazać, że s t1 (f 1 (X t1 )) F X s) = ϕ(x s ), (2) gdzie ϕ(x) = f 1(y 1 )P s,t1 (x, dy 1 ). Rozpatrzymy kilka przypadków: i) Jeśli f 1 = I Γ to ϕ(x) = P s,t1 (x, Γ) czyli na mocy (1) mamy p.n. ϕ(x s ) = P s,t1 (X s, Γ) = P(X t1 Γ 1 F s ) = (f 1 (X t1 F s ). ii) Jeśli f 1 jest funkcją prostą to (2) wynika z liniowości obu stron i punktu i). iii) Jeśli f 1 jest dowolną ograniczoną funkcją mierzalną to istnieje ciąg funkcji prostyc g n taki, że f 1 g n 1/n, z punktu ii) wiemy, że (2) zacodzi dla funkcji g n w miejsce f 1 i proste przejście graniczne wykazuje, że (2) jest spełnione dla f 1. Przejdźmy teraz do dowodu kroku indukcyjnego - załóżmy, że teza lematu jest spełniona dla n funkcji, wykażemy ją dla n + 1 funkcji. Mamy (f 1 (X t1 ) f n+1 (X tn+1 ) F s ) = ((f 1 (X t1 ) f n+1 (X tn+1 ) F tn ) F s ) = (f 1 (X t1 ) f n (X tn )(f n+1 (X tn+1 ) F tn ) F s ). Na mocy udowodnionego już przypadku n = 1 mamy (f n+1 (X tn+1 ) F tn ) = g n (X tn ) p.n., gdzie g n (x) = f n+1(y)p tn,t n+1 (x, dy) jest funkcją mierzalną. Stąd teza dla n+1 funkcji łatwo wynika z założenia indukcyjnego zastosowanego do funkcji f 1,..., f n 1, f n g n. Uwaga 8.5 Czasem stosuje się ogólniejszą definicję procesu Markowa. Załóżmy, że P s,t jest funkcją przejścia a (F t ) t T filtracją. Mówimy, że (X t, F t ) jest procesem Markowa (albo, że X t jest procesem Markowa względem filtracji (F t )) z funkcją przejścia P s,t, jeśli zacodzą następujące dwa warunki a) Proces (X t ) jest (F t )-adaptowalny; b) Γ s t P(X t Γ F s ) = P s,t (X s, Γ) p.n.. 4

9 Rodziny Markowa W rozdziale tym zakładamy, że (, ) jest przestrzenią mierzalną, a (P s,t ) pewną funkcją przejścia. W wielu zastosowaniac będziemy zajmować się nie jednym ustalonym procesem Markowa, lecz całą rodziną procesów posiadająca wspólną funkcję przejścia, ale różne rozkłady początkowe. Wygodniej jest jednak nie zmieniać samego procesu, a jedynie modyfikować przestrzeń probabilistyczną - motywuje to następującą, nieco tecniczną definicję. Definicja 9.1 Załóżmy, że dla każdego t T jest określona funkcja X t : Ω R oraz dla każdego s T i x, P s,x jest miarą probabilistyczną na (Ω, F X s ). Jeśli spełnione są warunki: a) dla wszystkic s T, x proces stocastyczny (X t ) t s,t T określony na (Ω, F X s, P s,x) jest procesem Markowa z funkcją przejścia P s,t ; b) s T x P s,x (X s = x) = 1, to parę (X t ) t T, (P s,x ) s T,x nazywamy rodziną Markowa z funkcją przejścia P s,t. Uwaga 9.1 Alternatywnie zamiast definiować wspólną rodzinę zmiennyc X t i różne miary probabilistyczne P s,x można definiować wspólną miarę probabilistyczną P i rodzinę procesów Markowa (X s,x t ) t s,x taką, że P(Xs s,x = x) = 1. Uwaga 9.2 Z udowodnionyc poprzednio faktów warunek Markowa a) z Definicji 9.1 można wyrazić na kilka równoważnyc sposobów np. i) t s x A F X t,b F X P s,x (A B X t ) = P s,x (A X t )P s,x (B X t ) P s,x -p.n. [s,t] oraz s t u x Γ P s,x (X u Γ X t ) = P t,u (X t, Γ) P s,x -p.n.. ii) s t u x Γ P s,x (X u Γ F[s,t] X ) = P t,u(x t, Γ) P s,x -p.n.. Lemat 9.1 Załóżmy, że (X t ) t T, (P s,x ) s T,x jest rodziną Markowa z funkcją przejścia P s,t wówczas a) x s t t1... t n Γ1,...,Γ n gdzie P s,x (X t1 Γ 1,..., X tn Γ n F [s,t] ) = ϕ(x t ) P s,x p.n., ϕ(y) =... Γ n P t,t1 (y, dy 1 )P t1,t 2 (y 1, dy 2 )... P tn 1,t n (y n 1, dy n ). Γ 1 W szczególności biorąc s = t dostajemy b) s T A F X s P s,x (X t1 Γ 1,..., X tn Γ n ) =... Γ n P t,t1 (x, dy 1 )P t1,t 2 (y 1, dy 2 )... P tn 1,t n (y n 1, dy n ). Γ 1 x P s,x (A) jest funkcją mierzalną z (, ) w (R, B(R)). 5

Dowód. a) Pierwszy wzór wynika z Lematu 8.3 zastosowanego do procesu Markowa (X t ) t s na przestrzeni probabilistycznej (Ω, F s, P s,x ) i funkcji f i = I Γi, i = 1,..., n. Drugi wzór z a) wynika z pierwszego, wystarczy tylko zauważyć, że P s,x (X s = x) = 1. b) Zbiory postaci {X t1 Γ 1,..., X tn Γ n }, s t 1... t n, Γ 1,..., Γ n tworzą π-system generujący F s X. Ponadto dla A = {X t 1 Γ 1,..., X tn Γ n } funkcja x P s,x (A) jest mierzalna na mocy punktu a) oraz rodzina takic zbiorów A dla któryc funkcja x P s,x (A) jest mierzalna jest λ-systemem. Teza wynika więc natycmiast z twierdzenia o π λ systemac. Lemat 9.2 Załóżmy, że (X t, P s,x ) jest rodziną Markowa z funkcją przejścia P s,t, wówczas s t x A F X t P s,x (A F [s,t] ) = P t,xt(ω)(a) P s,x p.n.. Dowód. Ustalmy A F X t, na mocy Lematu 9.1 funkcja x P t,x(a) jest mierzalna, stąd wynika mierzalność funkcji ω P t,xt(ω)(a) względem σ(x t ) F [s,t]. Wystarczy więc udowodnić B F[s,t] P s,x (A B) = B P t,xt (A)dP s,x. (3) Rodzina {A F t spełniającyc (3)} jest λ-systemem. Z części a) Lematu 9.1 wynika, że zawiera ona π-system {X t1 Γ 1,..., X tn Γ n }, s t 1... t n, Γ 1,..., Γ n, a zatem zawiera i σ-ciało generowane przez ten system czyli F X t. Fakt 9.3 Para (X t, P s,x ) jest rodziną Markowa z funkcją przejścia P s,t wtedy i tylko wtedy gdy P s,x (X s = x) = 1 oraz dla wszystkic s t i A F X t P s,x (A F [s,t] ) = P t,xt(ω)(a) P s,x p.n. i P s,x (X t Γ) = P s,t (x, Γ). Dowód. : wynika z Lematu 9.2. : Przyjmując A := {X u Γ} oraz s t u dostajemy P s,x (A F [s,t] ) = P t,xt (X u Γ) = P t,u (X t, Γ) P s,x p.n. i teza wynika z części ii) Uwagi 9. 9.1 Skończenie wymiarowe rozkłady procesów Markowa W tej części odpowiemy na następujące dwa pytania: Czy można za pomocą skończenie wymiarowyc rozkładów rozpoznać procesy Markowa? Jakie warunki musi spełniać funkcja przejścia by istniała rodzina Markowa z taką funkcją? 6

Fakt 9.4 Załóżmy, że P s,t jest ustaloną funkcją przejścia, X t : Ω R dla t T oraz dla s T, x dane są rozkłady probabilistyczne P s,x na (Ω, F X s ). Wówczas (X t, P s,x ) jest rodziną Markowa z funkcją przejścia P s,t wtedy i tylko wtedy gdy skończenie wymiarowe rozkłady (X t ) przy P s,x dane są wzorem s t1... t n x Γ1,...,Γ n P s,x (X t1 Γ 1,..., X tn Γ n ) =... Γ n P s,t1 (x, dy 1 )P t1,t 2 (y 1, dy 2 )... P tn 1,t n (y n 1, dy n ). Γ 1 Dowód. Implikacja była udowodniona wcześniej (Lemat 9.1), wystarczy więc udowodnić. Najpierw wykażemy, że dla dowolnej funkcji f : n R mierzalnej i ograniczonej mamy s t1... t n s,x f(x t1,..., X tn ) =... f(y 1,..., y n )P s,t1 (x, dy 1 )P t1,t 2 (y 1, dy 2 )... P tn 1,t n (y n 1, dy n ). (4) ( s,x oznacza wartość oczekiwaną względem P s,x.) Udowodnimy 4 w kilku krokac: i) f = I Γ - rodzina A := {Γ n : f = I Γ spełnia (4)} jest λ-systemem zawierającym π-system {Γ 1... Γ n : Γ 1,..., Γ n }, generującym n, a zatem z lematu o π λ układac A = n. ii) Z liniowości (4) zacodzi dla dowolnyc funkcji prostyc. iii) Dowolną funkcję f mierzalną możemy jednostajnie aproksymować funkcjami prostymi i nietrudno zauważyć, że obie strony (4) dobrze się zacowują przy przejściu granicznym. By zakończyć dowód faktu wystarczy wykazać, że zacodzi własność Markowa tzn. że dla wszystkic x, Γ i s t u zacodzi P s,x -p.n. P s,x (X u Γ F [s,t] ) = P t,u (X t, Γ). Ponieważ zmienna P t,u (X t, Γ) jest σ(x t ) F [s,t] mierzalna, to wystarczy pokazać, że A F[s,t] P s,x (A {X u Γ}) = P t,u (X t, Γ)dP s,x. (5) Rodzina {A F [s,t] : A spełnia (5)} jest λ-systemem, wystarczy więc pokazać, że (5) zacodzi dla pewnego π-systemu generującego F [s,t]. Wykażemy zatem (5) dla A = {X t1 Γ 1,..., X tn Γ n }, s t 1... t n = t. Zauważmy, że na mocy (4) zastosowanego do f(x 1,..., x n ) = I Γ1 (x 1 ) I Γ1 (x n )P t,u (x, Γ) P t,u (X t, Γ)dP s,x = s,x f(x t1,..., X tn ) = = Γ... A A I Γ1 (y 1 ) I Γn (y n )P tn,u(y n, Γ)P s,t1 (x, dy 1 )P t1,t 2 (y 1, dy 2 )... P tn 1,t n (y n 1, dy n )... P s,t1 (x, dy 1 )P t1,t 2 (y 1, dy 2 )... P tn 1,t n (y n 1, dy n )P tn,u(y n, dz) Γ n Γ 1 7

= P s,x (X t1 Γ 1,..., X tn Γ n, X u Γ) = P s,x (A {X u Γ}). Uwaga 9.3 W przypadku procesów Markowa można w taki sam sposób udowodnić, że (X t ) t T jest procesem Markowa z funkcją przejścia P s,t wtedy i tylko wtedy gdy s t1... t n x Γ1,...,Γ n P(X t1 Γ 1,..., X tn Γ n ) =... dµ Xs (x)p s,t1 (x, dy 1 )P t1,t 2 (y 1, dy 2 )... P tn 1,t n (y n 1, dy n ). Γ n Γ 1 9.2 Równanie Capmana-Kołmogorowa Załóżmy, że (X t, P s,x ) jest rodziną Markowa z funkcją przejścia P s,t. Wówczas dla dowolnyc s t u dostajemy na mocy Faktu 9.4 P s,u (x, Γ) = P s,x (X u Γ) = P s,x (X t, X u Γ) = P s,t (x, dy)p t,u (y, dz) = P t,u (y, Γ)P s,t (x, dy). Γ Motywuje to następującą definicję Definicja 9.2 (Równanie Capmana-Kołmogorowa) Mówimy, że funkcja przejścia P s,t spełnia równanie Capmana-Kołmogorowa, jeśli s t u x Γ P s,u (x, Γ) = P t,u (y, Γ)P s,t (x, dy). Uwaga 9.4 a) W przypadku przeliczalnej przestrzeni fazowej i macierzy przejścia P s,t = (p s,t (x, y)) x,y równanie Capmana Kołmogorowa przyjmuje postać s t u x,z p s,u (x, z) = p s,t (x, y)p t,u (y, z) y czyli P s,u = P s,t P t,u. b) W przypadku = R n i gęstości przejścia p s,t równanie Capmana Kołmogorowa ma postać s<t<u x,z p s,u (x, z) = p s,t (x, y)p t,u (y, z)dy dla p.w. z R n. Twierdzenie 9.5 Załóżmy, że funkcja przejścia (P s,t ) spełnia równanie Capmana- Kołmogorowa. Dla s T i x określmy rodzinę miar probabilistycznyc (µ s,x t 1,...,t n ) s t1... t n wzorem Γ n µ s,x t 1,...,t n (Γ) :=... I Γ (y 1,..., y n )P s,t1 (x, dy 1 )P t1,t 2 (y 1, dy 2 )... P tn 1,t n (y n 1, dy n ). Wówczas dla wszystkic s T i x miary (µ s,x t 1,...,t n ) s t1... t n tworzą zgodną rodzinę miar probabilistycznyc. 8

Dowód. Trzeba wykazać, że dla wszystkic s t 1... t n oraz zbiorów Γ 1,..., Γ n i)µ s,x t 1,...,t n ( Γ 2... Γ n ) = µ s,x t 2,...,t n (Γ 2... Γ n ) ii)µ s,x t 1,...,t n (Γ 1... Γ i 1 Γ i+1... Γ n ) = µ s,x t 1,...t i 1,t i,...,t n (Γ 1... Γ i 1 Γ i+1... Γ n ) oraz iii)µ s,x t 1,...,t n (Γ 1... Γ n 1 ) = µ s,x t 1,...,t n 1 (Γ 1... Γ n 1 ). Warunek iii) jest oczywisty (odcałkowywujemy względem dy n ), sprawdzimy ii) (i) się dowodzi analogicznie). Zauważmy wpierw, że dla dowolnej funkcji f : R mierzalnej i ograniczonej zacodzi f(z)p s,t (x, dy)p t,u (y, dz) = f(z)p s,u (x, dz). (6) s t u Istotnie dla f = I Γ, (6) to równanie Capmana-Kołmogorowa, z liniowości obu stron otrzymujemy, że (6) zacodzi dla funkcji prostyc, a stąd przez jednostajną aproksymację dla dowolnyc funkcji mierzalnyc ograniczonyc. Pokażmy więc ii). Stosując (6) dla f(z) := I Γi+1 (z)... Γ n P ti+1,t i+2 (y i+1, dy i+2 )... P tn 1,t n (y n 1, dy n ) Γ i+2 dostajemy µ s,x t 1,...,t n (Γ 1... Γ i 1 Γ i+1... Γ n ) =...... P s,t1 (x, dy 1 )P t1,t 2 (y 1, dy 2 )... P tn 1,t n (y n 1, dy n ) Γ n Γ i+1 Γ i 1 Γ 1 =... P s,t1 (x, dy 1 )... P ti 1,t i (y i 1, dy i )f(y i+1 )P ti,t i+1 (y i, dy i+1 ) Γ i 1 Γ 1 =... P s,t1 (x, dy 1 )P t1,t 2 (y 1, dy 2 )... P ti 1,t i+1 (y i 1, dy i+1 )f(y i+1 ) Γ i 1 Γ 1 =...... P s,t1 (x, dy 1 )... P ti 1,t i+1 (y i 1, dy i+1 )... P tn 1,t n (y n 1, y n ) Γ n Γ i 1 Γ 1 Γ i+1 = µ s,x t 1,...t i 1,t i,...,t n (Γ 1... Γ i 1 Γ i+1... Γ n ). Twierdzenie 9.6 Niec (, ) = (R n, B(R n )), a P s,t będzie funkcją przejścia spełniającą równanie Capmana-Kołmogorowa. Wówczas istnieje rodzina Markowa (X t, P s,x ) z funkcją przejścia P s,t. Dowód. Dla ustalonyc s T, x rodzina miar (µ s,x t 1,...,t n ) s t1... t n spełnia warunki zgodności, więc na mocy Twierdzenia 2.2 istnieje proces o skończenie wymiarowyc rozkładac zadanyc przez tę rodzinę. Co więcej z dowodu Twierdzenia 2.2 proces ten można skonstruować na przestrzeni (Ω s, F s, P s,x ) takiej, że Ω s = T [s, ), F s B( T [s, ) ) sigma ciało zbiorów cylindrycznyc, a X t (x ) = x t dla x: T [s, ). Określmy Ω := T, X t (x ) = x t dla 9

x T. Wówczas nietrudno zauważyć, że F X s = T (,s) B( T [s, ) ) tzn. jest to rodzina zbiorów Określmy {{x: T, x T [s, ) A}, A B( T [s, ) )}. P s,x ( T (,s) A) := P s,x (A) dla A B( T [s, ) ). Wówczas P s,x jest miarą probabilistyczną na (Ω, F s X ) i co więcej rozkłady skończenie wymiarowe X t przy P s,x są zadane przez (µ s,x t 1,...,t n ). Zatem na podstawie Faktu 9.4 (X t, P s,x ) jest rodziną Markowa z funkcją przejścia P s,t. 1 Jednorodne Rodziny Markowa W tej części będziemy zakładać, że T jest jednym ze zbiorów R +, R, Z + lub Z. Definicja 1.1 Funkcję przejścia P s,t nazywamy jednorodną (w czasie), jeśli dla wszystkic s, t, T, s t zacodzi P s+,t+ = P s,t czyli P s,t zależy tylko od t s. Uwaga 1.5 Dla jednorodnyc funkcji przejścia P s,t można wprowadzić funkcję przejścia P t (x, Γ) zależną tylko od trzec parametrów taką, że P s,t (x, Γ) = P t s (x, Γ). Jednorodna funkcja przejścia (P t ) t T,t musi spełniać następujące warunki: i) x t P t (x, ) jest miarą probabilistyczną na (, ); ii) t Γ x P t (x, Γ) jest funkcją mierzalną z (, ) w (R, B(R)); iii) x,γ P (x, Γ) = δ x (Γ). Uwaga 1.6 Równanie Capmana-Kołmogorowa dla jednorodnyc funkcji przejścia ma postać s,t x Γ P s+t (x, Γ) = P s (y, Γ)P t (x, dy). 1.1 Operatory translacji Definicja 1.2 Załóżmy, że (X t ) t T jest procesem stocastycznym, T oraz dla każdego ω Ω istnieje θ ω Ω taka, że t T X t (θ ω) = X t+ (ω). (7) Wówczas θ nazywamy operatorem translacji. Dla A Ω określamy θ 1 A := {ω : θ ω A}. 1

Uwaga 1.7 W definicji nie zakładamy żadnej mierzalności ani jednoznaczności operatora θ. Uwaga 1.8 W wielu przypadkac naturalnym wyborem Ω jest T, proces X jest zaś określony jako X t (ω ) = ω t dla ω Ω czyli ω : T R. Wówczas θ można określić wzorem θ ω(t) = ω(t + ). Przykłady Jeśli A = {X t Γ}, to θ 1 (A) = {ω : X t(θ ω) Γ} = {ω : X t+ (ω) Γ} Jeśli B = {X t dla t t }, to θ 1 (B) = {X t dla t t + }. Jeśli C = {lim t X t = },to θ 1 (C) = {lim t X t+ = } = {lim t X t = }. Fakt 1.1 a) Jeśli A F s X, to θ 1 A F s+ X, co więcej θ 1 A nie zależy od wyboru funkcji spełniającej (7) oraz każdy zbiór B F s+ X jest postaci θ 1 A dla pewnego A F s X. b) Załóżmy, że Y jest zmienną losową F s X -mierzalną. Wówczas zmienna losowa θ Y określona wzorem θ Y (ω) := Y (θ ω) jest F s+ X -mierzalna. Co więcej θ Y jest określona jednoznacznie, niezależnie od wyboru funkcji θ spełniającej (7). Dowód. a) Rodzina A := {A F s X : θ 1 A F s+ X } jest λ-systemem zawierającym π- system zbiorów postaci {X t1 Γ 1,..., X tn Γ n }, s t 1... t n, Γ 1,..., Γ n, gdyż θ 1 {X t 1 Γ 1,..., X tn Γ n } = {X t1+ Γ 1,..., X tn+ Γ n } F s+ X. Stąd z lematu o π λ systemac A = F s X. Podobnie pokazujemy, że jeśli θ inna funkcja spełniająca (7) to {A F s X : θ 1 A = θ 1 A} = F s X. Rodzina {B F s+ X : B = θ 1 A, A F s X } jest λ-systemem zawierającym π-system zbiorów postaci {X t1 Γ 1,..., X tn Γ n }, s + t 1... t n, Γ 1,..., Γ n, który generuje σ-ciało F s+ X. b) Z mierzalności Y wynika, że {Y A} F s X, stąd na mocy a) (θ Y ) 1 (A) = {ω : Y (θ ω) A} = θ 1 {Y A} F s+ X czyli zmienna θ Y jest F X s+ -mierzalna. Jeśli θ jest innym operatorem spełniającym (7), to znów na mocy punktu a) Y (θ ω) = y ω θ 1 czyli θ Y = θ Y. 1 {Y = y} = θ {Y = y} Y ( θ ω) = y Fakt 1.2 Załóżmy, że (X t, P s,x ) jest rodziną Markowa z jednorodną funkcją przejścia, a θ s jest operatorem translacji dla X. Wówczas dla P s,x (θs 1 B) = P,x dla wszystkic B F X. 11

Dowód. Jeśli B = {X t1 Γ 1,..., X tn Γ n } to ze wzoru na skończenie wymiarowe rozkłady rodzin Markowa (Fakt 9.4) oraz z jednorodności funkcji przejścia dostajemy P s,x (θ 1 s B) = P s,x (X t1+s Γ 1,..., X tn+s Γ n ) = P,x (X t1 Γ 1,..., X tn Γ n ). Ponadto rodzina {B F X : P s,x(θs 1 B) = P,x (B)} tworzy λ-system i fakt wynika z lematu o π λ systemac. Ponieważ każdy zbiór A F s X można przedstawić w postaci θ 1 s B, B F X, więc rozkłady P s,x są wyznaczone przez P,x i operator translacji. Motywuje to następującą definicję. Definicja 1.3 Mówimy, że (X t, P x ) jest jednorodną rodziną Markowa z funkcją przejścia P t i operatorem translacji θ s, jeśli a) P x jest miarą probabilistyczną na F X taką, że t, T,t, P x (X t+ Γ F X t) = P (X t, Γ); b) P x (X = x) = 1 dla wszystkic x ; c) X t (θ s ω) = X t+s (ω) dla wszystkic t, s i ω Ω. Uwaga 1.9 Warunek a) Definicji 1.3 oznacza, że dla x, proces X t jest procesem Markowa na (Ω, P x ) z funkcją przejścia P t. Jak wiemy warunek ten ma wiele równoważnyc postaci. W szczególności oznacza on, że skończenie wymiarowe rozkłady (X t ) są dane wzorem dla t 1... t n P x (X t1 Γ 1,..., X tn Γ n ) =... Γ n P t1 (x, dy 1 )P t2 t 1 (y 1, dy 2 )... P tn t n 1 (y n 1, dy n ). Γ 1 Twierdzenie 1.3 Załóżmy, że (, ) = (R d, B(R d )) (lub jest porządną przestrzenią) oraz P t jest jednorodną funkcją przejścia spełniającą równanie Capmana-Kołmogorowa. Wówczas istnieje jednorodna rodzina Markowa (X t, P x ) z funkcją przejścia P t. Dowód. Jest to wniosek z ogólniejszego Twierdzenia 9.6 dla przypadku niejednorodnego, wystarczy jedynie udowodnić istnienie operatora translacji. Ale z konstrukcji przeprowadzonej w dowodzie Twierdzenia 9.6 wynika, że możemy przyjąć Ω = T oraz X t (ω ) = ω t i wtedy operator translacji jest zadany wzorem θ s ω := ω +. Uwaga 1.1 Własność Markowa można wyrazić w jeszcze jeden sposón za pomocą operatora translacji. Jeśli (X t, P x ) jest jednorodną rodziną Markowa z operatorem translacji θ s, to t T,x B F P x (θt 1 B F t ) = P Xt (B). Możemy to interpretować w ten sposób, że jeśli znamy zacowanie procesu X do cwili t, to dalej przebiega on tak jakby w cwili t startował (z losowego!) punktu X t (ω). 12

11 Półgrupy operatorów związane z jednorodnymi procesami Markowa Z każdym jednorodnym łańcucem Markowa możemy związać pewną rodzinę przekształceń o ciekawyc i ważnyc własnościac - tzw. półgrupę operatorów. Zacznijmy jednak od definicji dwu przestrzeni Banaca. Definicja 11.1 Załóżmy, że (, ) jest przestrzenią mierzalną. Przez B() będziemy oznaczać przestrzeń wszystkic funkcji mierzalnyc ograniczonyc z w R, a przez M() przestrzeń wszystkic miar (ze znakiem) na (, ), czyli addytywnyc funkcji z w R. Kładziemy oraz f := sup f(x), f B() x µ := sup{ µ(a i ) : A i, A i A j =, i j}, µ M(). i=1 Definicja 11.2 Załóżmy, że (X t, P x ) jest jednorodnym procesem Markowa z funkcją przejścia P t. Definiujemy operatory P t : B() B() wzorem P t f(x) = x f(x t ) = f(y)p t (x, dy), t. Uwaga 11.1 Zauważmy, że operatory P t wyznaczają funkcję przejścia, bo P t (x, Γ) = P x (X t Γ) = x I Γ (X t ) = P t I Γ (x). Fakt 11.1 Operatory (P t ) t zdefiniowane powyżej spełniają następujące własności i) P t są operatorami liniowymi; ii) P t są kontrakcjami tzn. P t f f dla f B(); iii) P t są operatorami nieujemnymi tzn. P t f dla f ; iv) P t 1 = 1, gdzie 1 oznacza funkcję stałą równą 1; v) P = Id; vi) P s+t = P s P t dla s, t. Dowód. Punkty i), iii)-v) są oczywiste. Własność ii) wynika stąd, że P t f(x) = x f(x t ) x f(x t ) f = f. Wreszcie by udowodnić vi) wykorzystamy udowodnione poprzednio konsekwencje równań Capmana-Kołmogorowa P s+t f(x) = P s+t (x, dz)f(x) = P s (x, dy)p t (y, dz)f(z) 13

= P s (x, dy) P t (y, dz)f(z) = P s (x, dy)p t f(y) = P s P t f(x). Uwaga 11.2 Rodzinę operatorów liniowyc (P t ) t określonyc na przestrzeni Banaca (X, ) taką, że P = Id oraz P s+t = P s P t nazywamy półgrupą operatorów. Przykłady a) Jeśli (W t, P x ) jest procesem Wienera, to P t f(x) = 1 2πt f(y)e y2 /2 dy = f(x + tw 1 ). b) W przypadku gdy jest przeliczalna i P t = (p t (x, y)) jest macierzą przejścia, to każdą funkcję f : R można utożsamić z wektorem [f(x 1 ), f(x 2 ),...] T i wówczas P t f(x) = y p t(x, y)f(y) mnożenie przez macierz P t. Uwaga 11.3 Można też określić P t jako operatory na M() wzorem νp t (Γ) := ν(dx)p t (x, Γ). Wówczas i) P t są operatorami liniowymi; ii) P t są kontrakcjami tzn. νp t ν dla ν M(); iii) P t są operatorami nieujemnymi tzn. jeśli ν jest miarą nieujemną to νp t też jest miarą nieujemną; iv) νp t () = ν(), w szczególności P t przeprowadza miary probabilistyczne na miary probabilistyczne; v) P = Id; vi) P s+t = P s P t dla s, t. Załóżmy, że ν jest miarą probablistyczną, wówczas możemy określić P ν (A) = P x(a)dν(x). Wtedy P ν (X Γ) = ν(γ) oraz νp t (Γ) = P ν (X t Γ) czyli νp t to rozkład X t, jeśli X ma rozkład ν. Uwaga 11.4 Każda miara ν M() wyznacza funkcjonał na B() wzorem ν, f := f(x)ν(dx). Przy tym oznaczeniu zacodzi ν, P t f = νp t, f. 11.1 Fellerowskie rodziny Markowa Przestrzeń B() jest bardzo duża i niewygodna do zastosowań praktycznyc. W szczególności na B() jest bardzo dużo ciągłyc funkcjonałów liniowyc - dużo więcej niż miar na (poza przypadkiem gdy jest skończony). Dlatego o wiele wygodniej jest pracować z przestrzenią C() - funkcji ciągłyc na. Z powodów tecnicznyc zdecydujemy się na przestrzeń C () - funkcji ciągłyc znikającyc w nieskończoności. 14

Definicja 11.3 Załóżmy, że jest przestrzenią metryczną (lub ogólniej topologiczną). Definiujemy C () := {f : R ciągłe takie, że ε> Kzwarty x / K f(x) < ε}. Uwaga 11.5 Przestrzeń C () jest przestrzenią Banaca z normą f = sup x f(x). W szczególności mamy C (R n ) = {f : R n R: lim f(x) = }. x Ogólnie f C () nie implikuje, że P t f C (). Motywuje to następującą definicję. Definicja 11.4 Załóżmy, że jest lokalnie zwartą przestrzenią metryczną, a = B() - σ-ciało borelowskic podzbiorów. Jednorodną rodzinę Markowa (X t, P x ) o wartościac w (, ) nazywamy rodziną fellerowską, jeśli P t f C () dla wszystkic t oraz f C (). Uwaga 11.6 Warunek fellerowskości oznacza przede wszystkim, że dla f C () funkcja P t f jest ciągła. Czyli P t f(x) P t f(x ) gdy x x tzn. P t (x, dy)f(y) P t (x, dy)f(y), f C() x x czyli miary P t (x, dy) słabo zbiegają do P t (x, dy) przy x x. Uwaga 11.7 W dalszym ciągu będziemy rozważać tylko przypadek metryczny, najważniejsze przykłady to = R n lub - przeliczalne (wtedy wszystkie funkcje na są ciągłe, a f C () oznacza, że f(x) ε jedynie dla skończenie wielu x). Jednak definicje i rezultaty, które będziemy formułować przenoszą się na przypadek dowolnyc przestrzeni topologicznyc lokalnie zwartyc spełniającyc warunek Haussdorfa (tzn. takic, że każde dwa punktu są oddzielone zbiorami otwartymi). Przykłady a) Niec = R, X t = X + t (deterministyczny ruc w prawo). X t jest wówczas rodziną Markowa z funkcją przejścia P t (x, Γ) = δ x+t (Γ), a P t f(x) = f(x+t) i oczywiście P t : C (R) C (R) i spełniony jest warunek fellerowskości. b) Niec = R, a funkcja przejścia jest zadana wzorem δ x+t (Γ) x > P t (x, Γ) = δ x t (Γ) x <. 1 2 δ t(γ) + 1 2 δ t(γ) x = Łatwo sprawdzić, że P t spełnia równanie Capmana-Kołmogorowa, więc istnieje rodzina Markowa (X t, P x ) z funkcją przejścia P t. Ponadto P x ( t X t = x+t) = 15

1 dla x >, P x ( t X t = x t) = 1 dla x < oraz P (X t = t) = P (X t = t) = 1/2. Zatem f(x + t) x > P t f(x) = x f(x t ) = f(x t) x <, 1 2 f(t) + 1 2 f( t) x = czyli istnieje f C (R) takie, że P t f / C (R), więc X t nie jest rodziną fellerowską. Naszym kolejnym celem jest podanie carakteryzacji tyc nieujemnyc półgrup operatorów kontrakcji na C (R), które pocodzą od rodzin Markowa. Przypomnijmy, że P t 1 = 1, ale, o ile nie jest zwarta, to 1 nie należy do C (). Musimy więc zdefiniować odpowiedni warunek dla przestrzeni niezwartyc. Definicja 11.5 Załóżmy, że jest σ-zwartą, lokalnie zwartą przestrzenią metryczną, a T : C () C () jest nieujemnym operatorem liniowym kontrakcji. Powiemy, że T zacowuje jedynkę, jeśli dla dowolnego ciągu funkcji f 1 f 2..., f i C () takic, że lim n f n (x) = 1 dla wszystkic x zacodzi lim n T f n (x) = 1 dla wszystkic x. Powiemy, że półgrupa operatorów P t na C () zacowuje jedynkę, jeśli każdy z operatorów P t zacowuje jedynkę. Uwaga 11.8 W przypadku gdy jest zwarta T zacowuje jedynkę wtedy i tylko wtedy gdy T 1 = 1. W przypadku ogólnym warunek ten oznacza, że T przedłuża się do operatora ciągłego z C () w C () (funkcje ciągłe z w R mające granice w ) w taki sposób, że T 1 = 1. Twierdzenie 11.2 Załóżmy, że jest lokalnie zwartą, σ-zwartą przestrzenią metryczną oraz = B(). Niec ponadto P t : C () C (), t będzie nieujemną półgrupą operatorów zacowującyc jedynkę. Wówczas istnieje fellerowska jednorodna rodzina Markowa (X t, P x ) dla której P t jest półgrupą operatorów. Dowód. Ustalmy x, t, wówczas przekształcenie f P t f(x) z C () w R jest ciągłym nieujemnym funkcjonałem liniowym o normie równej 1. Stąd na podstawie twierdzenia Riesza o reprezentacji (Twierdzenie A.5) istnieje miara P t (x, ) taka, że P t f(x) = f(y)p t (x, dy). Ponieważ P t oraz P t = 1, więc P t (x, ) jest miarą probabilistyczną. Oczywiście P (x, Γ) = δ (Γ) (ponieważ P = Id). By sprawdzić, że P t jest funkcją przejścia wystarczy jeszcze tylko sprawdzić mierzalność przekształcenia x P t (x, Γ) dla Γ. Załóżmy najpierw, że Γ jest zbiorem zwartym. Wtedy istnieje funkcja f : [, 1] o zwartym nośniku taka, że f = 1 na zbiorze Γ i f < 1 poza zbiorem Γ (np. dla = R n możemy zdefiniować f(x) := (1 dist(x, Γ)) ). Zauważmy, że f n 16

też ma nośnik zwarty czyli należy do C (), f n 1 oraz f n (x) I Γ (x) dla wszystkic x przy n. Zatem z twierdzenia Lebesgue a o zbieżności zmajoryzowanej otrzymujemy dla x lim P t (f n )(x) = lim n n = f n (y)p t (x, dy) = I Γ (y)p t (x, dy) = P t (x, Γ). ( lim n f n (y))p t (x, dy) Stąd x P t (x, Γ) jest granicą punktową funkcji ciągłyc, a więc jest funkcją mierzalną. Niec A := {Γ B(): x P t (x, Γ) mierzalne}, wówczas nietrudno sprawdzić, że A jest λ-systemem. Jak już wiemy A zawiera π-system zbiorów zwartyc, a więc z twierdzenia o π λ systemac σ-ciało generowane przez zbiory zwarte czyli A = B(). Wykazaliśmy zatem, że P t jest funkcją przejścia. Sprawdzimy teraz, że P t spełnia równanie Capmana-Kołmogorowa. Robimy to w podobny sposób co poprzednio - dla Γ zwartego i funcji ciągłej f takiej jak powyżej mamy P s+t (x, dz)f n (z) = P s+t (f n )(x) = P s P t (f n )(x) = P s (x, dy)p t (f n )(y) = P s (x, dy)p t (y, dz)f n (z). Biorąc granicę obu stron przy n i korzystając z twierdzenia Lebesgue a o zbieżności zmajoryzowanej dostajemy P s+t (x, Γ) = P s+t (x, dz)i Γ (z) = P s (x, dy)p t (y, dz)i Γ (z) = P s (x, dy)p t (y, Γ). Udowodniliśmy zatem, że λ-system A := {Γ B(): P s+t (x, Γ) = P s (x, dy)p t (y, Γ)} zawiera π-system zbiorów zwartyc, a więc z twierdzenia o π λ systemac A = B() czyli P t spełnia równanie Capmana-Kołmogorowa. Skoro zatem dana jest jednorodna funkcja przejścia P t spełniająca równanie Capmana-Kołmogorowa to wiemy, że istnieje jednorodny proces Markowa (X t, P x ) mająca funkcję przejścia P t, ale oznacza to, że P t f(x) = f(y)p t (x, dy) = f(x t ), czyli P t jest półgrupą operatorów dla X t. 17

11.2 Stacjonarne procesy Markowa Definicja 11.6 Proces stocastyczny (X t ) t T (gdzie T = Z +, R +, Z lub R) nazywamy stacjonarnym, jeśli dla wszystkic T proces (X t+ ) t T ma ten sam rozkład co (X t ) t T, czyli t1,...,t n T (X t1+,..., X tn+) (X t1,..., X tn ). Nasuwa się naturalne pytanie - kiedy jednorodny proces Markowa jest stacjonarny? Definicja 11.7 Niec (X t, P x ) będzie jednorodnym procesem Markowa o wartościac w (, ) z funkcją przejścia P t. Miarę µ na (, ) nazywamy miarą niezmienniczą odpowiadającą jednorodnej funkcji przejścia P t (lub miarą niezmienniczą jednorodnej rodziny Markowa (X t, P x )), jeśli t Γ µ(γ) = P t (x, Γ)µ(dx). Uwaga 11.9 W przypadku, gdy µ jest miarą skończoną powyższa definicja oznacza, że µ = µp t dla wszystkic t. Przykłady a) Na = {, 1} określmy macierz przejścia P t = 1 ( ) 3 + 2e t 2 2e t 5 3 3e t 2 + 3e t. Wówczas jedyną probabilistyczną miarą niezmienniczą dla P t jest miara µ taka, że µ({}) = 3/5, µ({1}) = 2/5. b) Dla procesu Wienera nie istnieją skończone niezerowe miary niezmiennicze. Miarą niezmienniczą jest jednak w tym przypadku miara Lebesgue a. Fakt 11.3 a) Jeśli (X t ) t T jest stacjonarnym procesem Markowa, to każdy jednowymiarowy rozkład µ Xt tego procesu jest miarą niezmienniczą (taką samą dla wszystkic t). b) Jeśli µ jest probabilistyczną miarą niezmienniczą dla funkcji przejścia P t spełniającej równanie Capmana-Kołmogorowa, jest σ-zwartą przestrzenią metryczną = B(), to istnieje stacjonarny proces Markowa o funkcji przejścia P t taki, że µ Xt = µ dla wszystkic t. Dowód. a) Wiemy, że µ Xt P s = µ Xt+s = µ Xt na mocy stacjonarności X. b) Jeśli (X t, P x ) jest rodziną Markowa o funkcji przejścia P t to zdefiniujmy P µ (A) := P x (A)µ(dx), A F. X Wówczas (X t ) t T jest procesem Markowa na (Ω, F X, P µ) o funkcji przejścia P t i rozkładzie początkowym µ. Co więcej µ Xt (Γ) = P µ (X t Γ) = P x (X t Γ)µ(dx) = P t (x, Γ)µ(dx) = µ(γ) 18

oraz P µ (X t1 Γ 1,..., X tn Γ n ) = µ Xt1 (dx 1 )P t2 t 1 (x 1, dx 2 )... P tn t n 1 (x n 1, dx n ) Γ n Γ 1 = Γ n µ(dx 1 )P t2 t 1 (x 1, dx 2 )... P tn t n 1 (x n 1, dx n ) Γ 1 = P µ (X t1+ Γ 1,..., X tn+ Γ n ). 12 Mocna własność Markowa Wiemy, że jeśli znamy wartość procesu Markowa do cwili t, to dalsze zacowanie procesu odbywa się tak jakby proces startował w cwili t z losowego punktu X t (ω). Często jednak znamy zacowanie się procesu do cwili losowej τ(ω) - czy wówczas analogiczna własność jest prawdziwa? Przykład. Niec (X n ) n=,1,... będzie symetrycznym błądzeniem losowym po Z 3. Wiadomo, że X n. Niec τ oznacza moment ostatniej wizyty X n w punkcie - wówczas τ < p.n.. Ponadto X τ (ω) = oraz P( n>τ(ω) X n = ) = P ( n> X n = ) >. Powyższy przykład pokazuje, że nasze oczekiwania były zbyt optymistyczne - nawet w bardzo prostym przypadku nie możemy mieć postulowanej własności dla wszystkic τ. Jednak zwykle decydujemy o zatrzymaniu obserwacji na podstawie zacowania procesu, czyli naturalnie jest dodać założenie, że τ jest momentem zatrzymania. Przed sformułowaniem właściwej definicji sformułujemy tecniczny fakt. Fakt 12.1 Niec (X t, P x ) będzie jednorodną rodziną Markowa z funcją przejścia (P t ). Załóżmy, że (F t ) t T jest pewną filtracją taką, że F t F X oraz X t jest progresywnie mierzalny względem F t. Wówczas dla wszystkic Γ funkcja (t, x) P t (x, Γ) jest mierzalna jako funkcja z (T, B(T ) ) w (R, B(R)). Dowód. Dla T = Z +, B(Z + ) to wszystkie podzbiory Z + czyli funkcja (n, x) f n (x) jest mierzalna wtedy i tylko wtedy gdy dla każdego n funkcja x f n (x) jest mierzalna. Zatem w tym przypadku nie mamy co dowodzić. Możemy więc przyjąć T = R +. Określmy A := {(s, ω) R + Ω: X s (ω) Γ}. Wówczas na podstawie progresywnej mierzalności X dostajemy A ([, u] Ω) = {(s, ω): s u, X s (ω) Γ} B([, u]) F u B([, u]) F X. 19

Stąd A B(R + ) F X. Zauważmy, że P t (x, Γ) = P x (X t Γ) = P x (ω : (t, ω) A), wystarczy zatem iż pokażemy, że dla wszystkic A B(R + ) F X (t, x) P x (ω : (t, ω) A) jest mierzalna. Jeśli A = C B, C B(R + ), B F X to funkcja P x (ω : (t, ω) A) = I C (t)p x (B) jest funkcją mierzalną jako iloczyn funkcji mierzalnyc. Niec A = {A B(R + ) F X : (t, x) P x (ω : (t, ω) A) jest mierzalna}, wówczas A jest λ systemem zawierającym π-system zbiorów postaci C B, C B(R + ), B F X, a zatem A zawiera σ ciało generowane przez powyższy π-system, czyli B(R + ) F X. Definicja 12.1 Niec (X t, P x ) będzie jednorodną rodziną Markowa z funcją przejścia (P t ), F t zaś filtracją taką, że dla wszystkic t, F t F X. Mówimy, że rodzina (X t, P x ) jest mocno markowska (lub ma mocną własność Markowa) względem filtracji F t, jeśli zacodzą następujące warunki a) X t jest progresywnie mierzalny względem F t ; b) Dla każdego momentu Markowa τ i dla każdej funkcji mierzalnej η = η(ω) ze zbioru Ω τ := {τ < } o wartościac w T { }, która jest F τ mierzalna zacodzi x,γ A Ωτ Ω η:={τ,η< },A F τ P x (A {X τ+η Γ}) = A P η (X τ, Γ)P x (dω) = x I A P η (X τ, Γ). Uwaga 12.1 Całka w częsci b) definicji jest dobrze określona, gdyż zmienne η, X τ są F τ - mierzalne, a funkcja (t, x) P t (x, Γ) jest, na podstawie faktu 12.1, mierzalna, czyli P η (X τ, Γ) jest F τ mierzalna na zbiorze Ω τ Ω η. Uwaga 12.2 Warunek b) często zapisuje się jako P x (X τ+η Γ F τ ) = P η (X τ, Γ) P x -p.n. na zbiorze Ω τ Ω η. Uwaga 12.3 Warunek b) implikuje, że dla dowolnej funkcji mierzalnej ograniczonej f zacodzi P x (f(x τ+η ) F τ ) = P η f(x τ ) P x -p.n. na zbiorze Ω τ Ω η czyli, że dla każdego A Ω τ Ω η, A F τ x f(x τ+η )I A = x P η f(x τ )I A. 2

Fakt 12.2 Każdy jednorodny łańcuc Markowa (X n, P x ) o dowolnej przestrzeni stanów (, ) jest procesem mocnomarkowskim względem filtracji (F X n ). Dowód. Warunek a) definicji jest spełniony, bo dla zbioru dyskretnego T progresywna mierzalność jest równoważna adaptowalności. Załóżmy więc, że τ, η, A są jak w części b) definicji. Mamy wówczas oraz P x (A (X τ+η Γ)) = A m,n= P η (X τ, Γ)P x (dω) = P x (A (τ = m, η = n, X n+m Γ)) = I m,n= A {τ=m,η=n} P n (X m, Γ) = II. Z F τ -mierzalności A i η wynika, że A {τ = m} F τ czyli B n,m := A {τ = m, η = n} F m X. Z własności Markowa P x(x n+m Γ F m ) = P n (X m, Γ), P x -p.n., więc P x (X n+m Γ B n,m ) = P n (X m, Γ)P x (dω) B n,m czyli każdy składnik sumy I jest równy odpowiedniemu składnikowi sumy II. W analogiczny sposób wykazujemy Fakt 12.3 Niec (X t, P x ) będzie dowolną rodziną Markowa oraz F t = F X t. Wówczas warunek b) Definicji 12.1 jest spełniony jeśli τ i η przyjmują przeliczalnie wiele wartości. Podamy teraz prosty przykład zastosowania mocnej własności Markowa w przypadku dyskretnym Wniosek 12.4 Niec X, X 1,... będzie dyskretnym łańcucem Markowa z macierzą przejścia (p n (x, y)) x,y. Określmy f n (x, y) = P x (X n = y, X 1 y,..., X n 1 y) prawdopodobieństwo, że startując z x pierwsza wizyta w y nastąpi w cwili n. Wówczas p n (x, y) = f n (x, y) + f n 1 (x, y)p 1 (x, y) +... + f 1 (x, y)p n 1 (x, y). Dowód. Niec τ := inf{n > : X n = y}, η := (n τ), Γ := {y} oraz A := {τ n}. Wówczas P x (A (X τ+η Γ)) = P x (A (X n = y)) = P x (X n = y) = p n (x, y) oraz n n P η (X τ, Γ) = P n k (X k, Γ) = A k=1 {τ=k} k=1 {τ=k} p n k (x, y)dp x 21

= n P x (τ = k)p n k (x, y) = f n (x, y)+f n 1 (x, y)p 1 (x, y)+...+f 1 (x, y)p n 1 (x, y). k=1 Czyli dowodzona teza natycmiast wynika z mocnej własności Markowa. Przykład procesu Markowa bez mocnej własności Markowa Niec (W t, P x ) będzie procesem Markowa, zdefiniujmy proces X wzorem { Wt (ω) jeśli W X t (ω) := (ω) jeśli W (ω) =. Wówczas (X t, P x ) jest rodziną Markowa z funkcją przejścia { 1 (y x)2 P t (x, Γ) := 2πt exp( Γ 2t )dy jeśli x δ (Γ) jeśli x =. Istotnie, P t jest funkcją przejścia i wystarczy udowodnić, że t,x P x (X t+ Γ F X t) = P (X t, Γ) P x p.n.. (8) Jeśli x, to P x (X t W t ) = P x (W ) = 1, czyli P x (X t+ Γ F X t ) = P x (W t+ Γ F X t ) P x p.n.. Ponadto P x (X t = ) = P x (W t = ) =, więc P (X t, Γ) = P (W t, Γ) P x p.n., gdzie P t jest funkcją przejścia dla procesu Wienera. Zatem (8) dla x wynika z własności Markowa dla procesu Wienera. Dla x = mamy natomiast P (X t+ Γ F X t) = δ (Γ) = P (, Γ) = P (X t, Γ) P p.n.. Pokażemy teraz, że X nie ma mocnej własności Markowa. Określmy τ := inf{t: X t Γ}, η := (1 τ), A := {τ 1}, Γ := R \ {}. Wówczas dla x P x (A {X τ+η Γ}) = P x (τ 1, X 1 ) = P x (τ 1) > oraz P η (X τ, Γ)dP x = P η (, Γ)dP x =. A τ 1 Twierdzenie 12.5 Załóżmy, że jest lokalnie zwartą, σ-zwartą przestrzenią metryczną, a (X t, P x ) t jest fellerowską rodziną Markowa o prawostronnie ciągłyc trajektoriac. Wówczas X t ma mocną własność Markowa względem F X t+ (czyli również względem F X t ). Dowód. Najpierw zauważmy, iż wystarczy udowodnić, że dla dowolnego momentu zatrzymania τ względem F X t+ oraz zmiennej losowej F τ mierzalnej η : Ω τ R + zacodzi f C() A Ωτ Ω η,a F τ x f(x τ+η )I A = x P η f(x τ )I A. (9) 22

Istotnie, jeśli zacodzi (9) i Γ jest zbiorem zwartym, to możemy znaleźć funkcję f C () taką, że f(x) = 1 dla x Γ oraz f(x) < 1 dla x / Γ. Stosujemy wówczas (9) dla f n w miejsce f, przecodzimy z n do nieskończoności i dostajemy Γ zwarty P x (A {X τ+η Γ}) = x P η (X τ, Γ)I A. Stąd w zwykły sposób (przy użyciu twierdzenia o π λ układac) dowodzimy, że powyższy warunek zacodzi dla wszystkic Γ B() czyli X t jest mocno markowski. Tożsamość (9) udowodnimy w trzec krokac. Krok I. Zmienne τ i η przyjmują przeliczalnie wiele wartości, τ jest momentem zatrzymania względem F t X, a η i A są F τ X mierzalne. Wówczas (9) zacodzi na mocy Faktu (12.3). Krok II. Zmienna τ jest momentem zatrzymania względem F t+ X, a η jest F τ+ X mierzalna, ale przyjmuje jedynie przeliczalnie wiele wartości. Określmy τ n := 2 n ( 2 n τ + 1), wówczas τ n > τ, τ n przyjmuje tylko wartości 2 n k, k = 1, 2,... oraz. Co więcej τ n jest momentem zatrzymania względem F t X i F τ+ X F τ X n. Zatem η oraz A są F τ X mierzalne i na mocy Kroku I, x f(x τn+η)i A = x P η f(x τn )I A. Ponieważ τ n τ i τ n > τ, więc na mocy prawostronnej ciągłości X dostajemy f(x τn+η)i A f(x τ+η )I A ). Oszacowanie f(x τn+η)i A f oraz twierdzenie Lebesgue a o zbieżności zmajoryzowanej implikuje x f(x τn+η)i A x f(x τ+η )I A. Z drugiej strony dla wszystkic ω, P η(ω) f C () (fellerowskość), czyli na zbiorze Ω τ, P η f(x τn ) P η f(x τ ). Zatem w podobny sposób co poprzednio dostajemy x P η f(x τn )I A x P η f(x τ )I A. Krok III. Zmienne τ i η spełniają tylko wymagane w definicji założenia. Określamy wówczas η n := 2 n ( 2 n η + 1) i zauważamy, że η n η, η n η, σ(η n ) σ(η) F X τ+. Zatem τ i η n spełniają założenia Kroku II, czyli jak już wiemy x f(x τ+ηn )I A = x P ηn f(x τ )I A. Ponadto z prawostronnej ciągłości f(x τ+ηn ) f(x τ+η ) i jak poprzednio twierdzenie Lebesgue a o zbieżności zmajoryzowanej implikuje x f(x τ+ηn )I A x f(x τ+η )I A. Zauważmy wreszcie, że dla f C (), x, funkcja t P t f(x) jest prawostronnie ciągła (bo P t f(x) = x f(x t ) x f(x t ) przy t t +), zatem P ηn f(x τ )I A P η f(x τ )I A i x P ηn f(x τ )I A x P η f(x τ )I A. 23

Uwaga 12.4 W dowodzie twierdzenia nie korzystaliśmy z tego, że rozważane funkcje znikają w. Zamiast zatem założeń o fellerowskości X możemy zakładać, że P t przeprowadza funkcje ciągłe ograniczone na ciągłe, a jest dowolną przestrzenią metryczną. 12.1 *Mocna własność Markowa a operatory translacji* Przypomnijmy, że operator translacji θ t jest zdefiniowany wzorem s T X s (θ t ω) = X s+t (ω). (1) Definicja 12.2 Jeśli (θ t ) t jest operatorem translacji, a τ zmienną losową o wartościac w T { }, to definiujemy operator θ τ : Ω τ Ω wzorem θ τ ω := θ τ(ω) (ω). Dla podzbioru A Ω i zmiennej losowe η definiujemy θτ 1 A := {ω Ω τ : θ τ ω A} oraz θ τ η(ω) := η(θ τ ω), ω Ω τ. Przykłady A = {X t Γ}, θτ 1 (A) = {τ <, X t+τ Γ}; B = { t X t }, θ 1 τ (B) = {τ <, t X t+τ } = {τ <, t τ X t }; C = {lim t X t = }, θ 1 τ (C) = {τ <, lim t X t+τ = } = {τ <, lim t X t = }. Fakt 12.6 Załóżmy, że X t jest progresywnie mierzalny względem filtracji F t zawartej w F X i τ jest momentem zatrzymania. Wówczas a) Dla A F X, θ 1 τ A F X oraz θ 1 τ A nie zależy od wyboru funkcji θ t spełniającej (1). b) Dla dowolnej zmiennej η, F X mierzalnej, zmienna θ τ η, określona na Ω τ, jest F X mierzalna oraz θ τ η nie zależy od wyboru funkcji θ t spełniającej (1). Dowód. Tak jak w dowodzie Faktu 1.1 wystarczy udowodnić punkt a) dla A = {X t1 Γ 1,..., X tn Γ n }, ale wówczas θτ 1 A = {X t1+τ Γ 1,..., X tn+τ Γ n } nie zależy od wyboru θ t. Progresywna mierzalność X implikuje mierzalność X t+τ, stąd θτ 1 A F X. Fakt 12.7 Jeśli (X t, P x ) ma mocną własność Markowa, to B F X P x (θ 1 τ B F τ ) = P Xτ (B) P x p.n. na zbiorze Ω τ (11) (tzn. P x (θ 1 τ B A) = x P Xτ (B)I A dla wszystkic A F τ, A Ω τ ). Dowód. Wystarczy (stosując twierdzenie o π λ układac) wykazać, że (11) zacodzi dla B = {X t1 Γ 1,..., X tn Γ n }, t 1 < t 2 <... < t n. Wówczas B = {τ <, X t1+τ Γ 1,..., X tn+τ Γ n } oraz θ 1 τ P x (θ 1 τ B F τ ) = x (I Γ1 (X t1+τ ) I Γn (X tn+τ ) F τ ), 24

P Xτ (B) = Xτ (I Γ1 (X t1+τ ) I Γn (X tn+τ )). Wystarczy zatem, że udowodnimy ogólniejszy fakt, że dla dowolnyc funkcji mierzalnyc ograniczonyc f 1,..., f n : R x (f 1 (X t1+τ ) f n (X tn+τ ) F τ ) = Xτ (f 1 (X t1 ) f n (X tn )) P x p.n. na zbiorze Ω τ. (12) Dla n = 1, (12) wynika z mocnej własności Markowa (dla η = t 1 ). By wykazać krok indukcyjny zauważmy, że na mocy przypadku n = 1 x (f 1 (X t1+τ ) f n (X tn+τ ) F τ ) = x ( x (f 1 (X t1+τ ) f n (X tn+τ ) F tn 1+τ ) F τ ) = (f 1 (X t1+τ ) f n 1 (X tn 1+τ ) x (f n (X tn+τ ) F tn 1+τ ) F τ ) = (f 1 (X t1+τ ) f n 1 (X tn 1+τ )g(x tn 1+τ ) F τ ), gdzie g(x) = x f n (X tn t n 1 ). Zatem na mocy założenia indukcyjnego mamy P x p.n. na zbiorze Ω τ x (f 1 (X t1+τ ) f n (X tn+τ ) F τ ) = Xτ (f 1 (X t1 ) f n 1 (X tn 1 )g(x tn 1 )). Ale dla dowolnego y y (f 1 (X t1 ) f n (X tn )) = y (f 1 (X t1 ) f n 1 (X tn 1 ) y (f n (X tn ) F tn 1 )) = y (f 1 (X t1 ) f n 1 (X tn 1 )g(x tn 1 )), na mocy własności Markowa. Uwaga 12.5 Przy założeniac powyższego faktu, dla dowolnej zmiennej Y ograniczonej i F X mierzalnej x (θ τ Y F τ ) = Xτ Y P x p.n. na zbiorze Ω τ. (13) Dowód. Dla Y = I B, (13) wynika z (11), stąd otrzymujemy tezę dla funkcji prostyc, a przez jednostajną aproksymację dla dowolnyc zmiennyc mierzalnyc ograniczonyc. Wniosek 12.8 (Prawo Zero Jedynkowe Blumentala) Jeśli (X t, P x ) ma mocną własność Markowa względem F X t+, to dla dowolnego B F X + i x zacodzi P x (B) {, 1}. Dowód. Niec τ = i B F + X, korzystając z mocnej własności Markowa i Faktu 12.7 dostajemy P x (B) = P x (B θ 1 B) = xp X (B)I B = x P x (B)I B = P x (B) 2. 25

13 Operatory infinitezymalne W części tej pokażemy, że z każdą półgrupą operatorów da się związać pewien operator zdefiniowany na liniowej (zazwyczaj niedomkniętej) podprzestrzeni. Operator taki nazywamy operatorem infinitezymalnym bądź generatorem półgrupy, gdyż na ogół jednoznacznie wyznacza on półgrupę. Zobaczymy też związki między własnościami półgrup oraz ic generatorów. Zacznijmy od ogólnej definicji. Definicja 13.1 Załóżmy, że (F, ) jest przestrzenią Banaca, a (P t ) t jest półgrupą ograniczonyc operatorów liniowyc na F (tzn. P t : F F liniowe ograniczone, P t+s = P t P s, P = Id). Definiujemy wówczas oraz D A := {f F : Af := lim t + P t f f lim t + t istnieje w F } P t f f, f D A. t Operator A określony na zbiorze D A nazywamy operatorem infinitezymalnym (generatorem) półgrupy P t, a D A dziedziną generatora A. Fakt 13.1 Zbiór D A jest podprzestrzenią liniową F, a A: D A F jest liniowy. Dowód. Jest to natycmiastowa konsekwencja liniowości granicy, Przykłady 1. Załóżmy, że A: F F jest ograniczonym operatorem liniowym, a Wtedy P = Id, P t := e ta = Id + ta + t2 A 2 2! + t3 A 3 3! +.... P t 1 + t A + t2 A 2 2! + t3 A 3 3! +... = e t A i nieco żmudny, coć standardowy racunek pokazuje, że P t+s = P t P s czyli P t jest półgrupą ograniczonyc operatorów liniowyc na F. Mamy czyli P t f f t P t f f t = Af + t 2! A2 f + t2 3! A3 f +..., Af t 2! A 2 f + t2 3! A 3 f +... t A 2 f (1 + t A + t 2 A 2 +...) = t A 2 f 1 t A przy t +. Zatem D A = F oraz generatorem e ta jest A. 26

2. Dla jednorodnyc rodzin Markowa (X t, P x ) z przestrzenią stanów naturalnym wyborem F jest B() lub C () dla rodzin fellerowskic. Wówczas P t f(x) = x f(x t ) oraz R oraz Af(x) = lim t + x f(x t ) f(x). t 2a) Niec X t = X +t deterministyczny ruc w prawo. Wówczas dla f : R f(x + t) f(x) Af(x) = lim = f t + t +(x) (pocodna prawostronna w x) D A = {f : R R: f(x + t) f(x) lim t + t zbiega jednostajnie do funkcji z B()}. Niec f D A, wówczas dla t t, t 1 (f(x + t) f(x)) Af(x) 1, czyli sup f(x + t) f(x) t + t Af gdy t +. x R Stąd łatwo wynika, że f jest funkcją ciągłą, a zatem Af jest granicą jednostajną funkcji ciągłyc, czyli też jest funkcją ciągłą. Nietrudno stąd wywnioskować, że D A = {f : R R różniczkowalne, o pocodnej ciągłej i ograniczonej} oraz Af(x) = f (x) dla f D A. 2b) Dla procesu Wienera (W t, P x ) można udowodnić, że D A zawiera C u (2) (R) - zbiór funkcji f : R R dwukrotnie różniczkowalnyc ograniczonyc o pierwszyc dwu pocodnyc ograniczonyc i jednostajnie ciągłyc oraz Af = 1 2 f (x) dla f C u (2) (R). Ogólniej dla d wymiarowego procesu Wienera C u (2) (R) D A oraz Af = 1 2 f dla f C u (2) (R n ). Uwaga 13.6 Dokładne wyznaczenie D A bywa bardzo trudnym (często beznadziejnym) zadaniem. 13.1 Podprzestrzeń F, C -półgrupy W dalszej części będziemy rozważać jedynie półgrupy kontrakcji tzn. takie, że P t f f dla wszystkic f F. Definicja 13.2 Dla półgrupy P t operatorów na przestrzeni Banaca F określmy F := {f F : lim P t f f = }. t + 27

Fakt 13.2 Załóżmy, że P t : F F jest półgrupą kontrakcji, A: D A F jest zaś jej generatorem. Wówczas a) F jest domkniętą liniową podprzestrzenią F (czyli (F, ) jest przestrzenią Banaca), b) Dla f F funkcja t P t f jest ciągła na [, ), w szczególności P t F F, c) D A F oraz AD A F (tzn. jeśli f D A, to f, P t f F. Dowód. a) Liniowość F jest oczywista, trzeba wykazać domkniętość. Niec f n F takie, że f n f F, wtedy P t f f P t f P t f n + P t f n f n + f n f P t f n f n +2 f n f. Dla ε > dobierzmy n takie, że f n f ε/3 i t takie, że P t f n f n ε/3 dla t t. Wówczas P t f f ε dla t t, czyli P t f f przy t +, więc f F. b) Mamy dla s t P t f P s f = P s (P t s f f) P t s f f, skąd łatwo wynika jednostajna ciągłość t P t f dla f F. c) Niec f D A, wtedy t 1 (P t f f) jest funkcją zbieżną przy t +, a zatem ograniczoną w otoczeniu zera, czyli t 1 (P t f f) M dla t t. Stąd P t f f Mt przy t +, więc f F. Z liniowości F i punktu b), również t 1 (P t f f) F dla t >, a zatem Af = lim t + t 1 (P t f f) F z domkniętości F. Fakt 13.3 Niec P t będzie półgrupą kontrakcji oraz f D A. Wówczas P t f D A dla wszystkic t, funkcja t P t f jest różniczkowalna w sposób ciągły oraz Co więcej P t f = f + d dt P t f = AP t f = P t Af. t Dowód. Ustalmy f D A, wtedy AP s fds = f + t P s Afds. Zatem z ciągłości P t P t+ f P t f = P P t f P t f = P t ( P f f ). P t+ f P t f lim + = P t ( lim + P f f ) = P t Af, czyli P t f D A oraz AP t f = P t Af, pokazaliśmy też, że lim + 1 (P t+ f P t f) = P t Af. Musimy jeszcze policzyć lewostronną pocodną P t czyli P t+ f P t f lim P t f P t f = lim + 28 = lim + P t f P t f.