Procesy stochastyczne

Transkrypt

1 Wykład I: Istnienie procesów stochastycznych 21 lutego 2017

2 Forma zaliczenia przedmiotu Forma zaliczenia Literatura 1 Zaliczenie ćwiczeń rachunkowych. 2 Egzamin ustny z teorii 3 Do wykładu przygotowane są materiały dydaktyczne mojego autorstwa. Treść wykładów. 4 Prezentacje z wykładów dostępne będą na mojej stronie adjakubo.

3 Forma zaliczenia Literatura

4 Literatura podstawowa Forma zaliczenia Literatura 1 J. Jakubowski i R. Sztencel Wstęp do teorii prawdopodobieństwa, Script, Warszawa 2004, 2 S. I. Resnick, Adventures in Stochastic Processes, Birkhäuser, 1994.

5 Literatura uzupełniająca Forma zaliczenia Literatura 1 A.A. Borowkow, Rachunek prawdopodobieństwa, PWN, Warszawa O. Häggström, Finite Markov chains and algorithmic applications, Cambridge University Press, Cambridge 2008.

6 Przykład: funkcje Rademachera Funkcje Rademachera Zgodność rozkładów i twierdzenie Kołmogorowa Skończony schemat Bernoullego Ω = {0, 1} N, F = 2 Ω, P(A) = #A #Ω, X k( (ω1, ω 2,..., ω N ) ) = ω k, k = 1, 2,..., N. Zmienne {X k ; k = 1, 2,..., N} tworzą skończony schemat Bernoullego z prawdopodobieństwem sukcesu p = 1/2. Czy istnieje ciąg nieskończony takich zmiennych? Funkcje Rademachera Ω = [0, 1], F = B 1, P = l [0,1], f n (x) = sign sin ( 2 n πx ), n = 1, 2,.... Rozwijając wzór otrzymujemy f n (x) = { ( 1) i 1 jeśli i 1 2 n x < i 2 n, i = 1, 2,..., 2 n, 1 jeśli x = 1. Rysunek przekonuje o niezależności!

7 Pojęcie procesu stochastycznego Funkcje Rademachera Zgodność rozkładów i twierdzenie Kołmogorowa Definicja Procesem stochastycznym nazywamy rodzinę zmiennych losowych {X t ; t T}, indeksowanych podzbiorem T R 1 i określonych na tej samej przestrzeni probabilistycznej (Ω, F, P). Zbiór indeksów T jest interpretowany jako czas i zwykle jest postaci N, Z (wtedy mówimy o procesie stochastycznym z czasem dyskretnym ) lub [0, 1], [0, T ] (gdzie T > 0), R +, R 1 ( proces stochastyczny z czasem ciągłym ). Uwaga: Jeśli zmienne losowe {X u ; u U} są określone na wspólnej przestrzeni probabilistycznej, a zbiór U jest podzbiorem R 2 lub innej przestrzeni wielowymiarowej, to rodzinę {X u } zwykle nazywa się polem losowym.

8 Rozkłady skończenie wymiarowe Funkcje Rademachera Zgodność rozkładów i twierdzenie Kołmogorowa Definicja Niech {X t ; t T} będzie procesem stochastycznym i niech S T będzie podzbiorem skończonym. Uwaga Rozkład łączny zmiennych losowych {X t } t S nazywamy rozkładem skończenie wymiarowym procesu {X t } i oznaczamy P XS. Rozkłady pojedynczych zmiennych losowych X t nazywamy rozkładami brzegowymi procesu stochastycznego {X t ; t T}. P XS jest rozkładem #S-wymiarowego wektora losowego X S = {X t } t S, czyli miarą probabilistyczną na R S daną wzorem P XS (B) = P ( X S B ), B B S.

9 Rozkłady skończenie wymiarowe Funkcje Rademachera Zgodność rozkładów i twierdzenie Kołmogorowa Uwaga: Rozkłady skończenie wymiarowe istnieją, bo zmienne losowe budujące proces stochastyczny są określone na wspólnej przestrzeni probabilistycznej i dlatego dobrze określone są liczby P XS (B) = P ( X S B ), B B S. To jest silne założenie, nie zawsze spełnione (np. w modelach mechaniki kwantowej obserwable, czyli odpowiedniki zmiennych losowych, nie mają rozkładów łącznych).

10 Funkcje Rademachera Zgodność rozkładów i twierdzenie Kołmogorowa Zgodność rozkładów skończenie wymiarowych Niech {X t } t T będzie procesem stochastycznym i niech S 1 = {t 1, t 2 } {t 1, t 2, t 3 } = S 2. Rozważmy wektory losowe ( X t1, X t2 ) i ( Xt1, X t2, X t3 ). Jeśli przez Π 3 2 : R3 R 2 oznaczymy naturalny rzut R 3 (x 1, x 2, x 3 ) (x 1, x 2 ) R 2, to ( Xt1, X t2 ) = Π 3 2 ( Xt1, X t2, X t3 ). Tak więc dla B B 2 ( ) ( P XS1 B = P (Xt1, X t2 ) B ) = P ( Π 3 ( ) ) 2 Xt1, X t2, X t3 B = P (( ) ( X t1, X t2, X t3 Π 3) 1B ) 2 (( = P XS2 Π 3) 1B ) 2 = PXS2 ( Π 3 1 ( 2) B). Ostatecznie P XS1 = P XS2 ( Π )

11 Funkcje Rademachera Zgodność rozkładów i twierdzenie Kołmogorowa Zgodność rozkładów skończenie wymiarowych A teraz ogólnie: Niech {X t ; t T} będzie procesem stochastycznym i niech S 1 S 2 T będą skończone. Oznaczmy przez Π S 2 S 1 naturalny rzut po współrzędnych R S 2 {t s } s S2 {t s } s S1 R S 1. Mamy P XS1 = P XS2 ( Π S 2 S 1 ) 1. (1) Definicja Własność (1) rozkładów skończenie wymiarowych procesu stochastycznego nazywamy zgodnością.

12 Funkcje Rademachera Zgodność rozkładów i twierdzenie Kołmogorowa Twierdzenie Kołmogorowa o istnieniu procesu stochastycznego Wniosek Zgodność w sensie (1) jest warunkiem koniecznym dla istnienia procesu stochastycznego o zadanych własnościach rozkładów skończenie wymiarowych. Twierdzenie Niech każdemu skończonemu podzbiorowi S T odpowiada rozkład µ S określony na (R S, B S ). Jeżeli rodzina rozkładów {µ S } jest zgodna, to istnieje proces stochastyczny {X t ; t T}, którego rozkładami skończenie wymiarowymi są rozkłady {µ S }, tzn P XS = µ S, S T.

13 Funkcje Rademachera Zgodność rozkładów i twierdzenie Kołmogorowa Twierdzenie Kołmogorowa o istnieniu procesu stochastycznego Idea dowodu twierdzenia Kołmogorowa polega na pokazaniu, że na przestrzeni (R T, B T ) istnieje miara probabilistyczna µ, której rzuty na produkty skończone pokrywają się z rozkładami µ S. Wtedy wystarczy określić X t jako rzut na współrzędną t. Kompletny dowód można znaleźć w podręcznikach Jakubowskiego i Sztencla oraz Borowkowa.

14 Ciągi niezależnych zmiennych losowych Charakterystyki wektorów losowych i ich transformacje Istnienie procesów gaussowskich Istnienie ciągów niezależnych zmiennych losowych Twierdzenie Niech F będzie dystrybuantą na R 1. Istnieje ciąg niezależnych zmiennych losowych X 0, X 1, X 2,... o jednakowym rozkładzie zadanym przez F. Taki ciąg czasami nazywamy z angielska i.i.d (bo: independent identically distributed ). Twierdzenie Niech F 0, F 1, F 2,... będzie ciągiem dystrybuant na R 1. Istnieje ciąg niezależnych zmiennych losowych X 0, X 1, X 2,... o zadanych rozkładach: X j F j, j = 0, 1, 2,....

15 Ciągi niezależnych zmiennych losowych Charakterystyki wektorów losowych i ich transformacje Istnienie procesów gaussowskich Podstawowe charakterystyki wektorów losowych Niech X = (X 1, X 2,..., X d ) T będzie wektorem losowym. Niech każda składowa wektora X będzie całkowalna (równoważnie: E X < + ). Wartością oczekiwaną wektora X nazywamy wektor wartości oczekiwanych jego składowych: E X = (EX 1, EX 2,..., EX d ) T. Niech każda składowa wektora X będzie całkowalna z kwadratem (równoważnie: E X 2 < + ). Macierzą kowariancji wektora X nazywamy macierz Cov ( X ) o współczynnikach σ jk = cov (X j, X k ), 1 j, k d. Wariancją wektora X nazywamy liczbę Var ( X ) := E X EX d 2 = Var (X j ) = tr Cov ( X ). j=1

16 Ciągi niezależnych zmiennych losowych Charakterystyki wektorów losowych i ich transformacje Istnienie procesów gaussowskich Podstawowe charakterystyki wektorów losowych Twierdzenie (Równoważna definicja wartości oczekiwanej) Niech E X < +. Wartość oczekiwana wektora X to jedyny wektor m R d taki, że E x, X = x, m, x R d. Wniosek Jeżeli X jest wektorem losowym o wartościach w R n, A : R n R m jest odwzorowaniem liniowym i istnieje E X, to istnieje EA( X ) i mamy E(A( X )) = A ( E X ).

17 Ciągi niezależnych zmiennych losowych Charakterystyki wektorów losowych i ich transformacje Istnienie procesów gaussowskich Podstawowe charakterystyki wektorów losowych Twierdzenie (Równoważna definicja macierzy kowariancji) Niech E X 2 < +. Macierz kowariancji wektora X jest jedyną symetryczną macierzą Σ wyznaczoną przez formę kwadratową E x, X E X 2 = Var ( x, X ) = x, Σ x, x R d. Cov ( X ) jest więc jedyną macierzą Σ spełniającą związek E x, X E X y, X E X = cov ( x, X, y, X ) = x, Σ y, x, y R d. Wniosek Jeżeli X jest wektorem losowym o wartościach w R n, A : R n R m jest odwzorowaniem liniowym i E X 2 < +, to istnieje Cov (A( X )) i mamy Cov (A( X )) = ACov ( X )A T.

18 Istnienie procesów gaussowskich Ciągi niezależnych zmiennych losowych Charakterystyki wektorów losowych i ich transformacje Istnienie procesów gaussowskich Definicja Procesem gaussowskim nazywamy proces stochastyczny, którego wszystkie rozkłady skończenie wymiarowe są normalne (wielowymiarowe). Wniosek Jeżeli {X j } jest procesem gaussowskim, to funkcja charakterystyczna wektora losowego Y n = ( X 1, X 2,..., X n ) T jest postaci Ee i θ, Y n = Ee i( n j=1 θ j X j ) = exp (i θ, EY n 1/2 θ, Cov ( Y n ) θ ).

19 Istnienie procesów gaussowskich Ciągi niezależnych zmiennych losowych Charakterystyki wektorów losowych i ich transformacje Istnienie procesów gaussowskich Twierdzenie Niech a j R 1, j N będzie dowolnym ciągiem liczbowym, a {σ ij, i, j N} będzie nieskończoną macierzą symetryczną (σ ij = σ ji ) i nieujemnie określoną (tzn. dla każdego n macierz {σ ij ; 1 i, j n} jest nieujemnie określona). Istnieje proces gaussowski {X j } taki, że X j N (a j, ρ ii ) i cov (X i, X j ) = σ ij.