Wykład I: Istnienie procesów stochastycznych 2 marca 2015
Forma zaliczenia przedmiotu Forma zaliczenia Literatura 1 Zaliczenie ćwiczeń rachunkowych. 2 Egzamin ustny z teorii 3 Do wykładu przygotowane są materiały dydaktyczne mojego autorstwa. Treść wykładów. 4 Te materiały oraz prezentacje z wykładów dostępne będą na mojej stronie www.mat.umk.pl/ãdjakubo.
Forma zaliczenia Literatura
Literatura podstawowa Forma zaliczenia Literatura 1 J. Jakubowski i R. Sztencel Wstęp do teorii prawdopodobieństwa, Script, Warszawa 2004, 2 S. I. Resnick, Adventures in Stochastic Processes, Birkhäuser, 1994.
Literatura uzupełniająca Forma zaliczenia Literatura 1 A.A. Borowkow, Rachunek prawdopodobieństwa, PWN, Warszawa 1975. 2 O. Häggström, Finite Markov chains and algorithmic applications, Cambridge University Press, Cambridge 2008.
Przykład: funkcje Rademachera Funkcje Rademachera Zgodność rozkładów i twierdzenie Kołmogorowa Skończony schemat Bernoullego Ω = {0, 1} N, F = 2 Ω, P(A) = #A #ω, X k( (ω1, ω 2,..., ω N ) ) = ω k, k = 1, 2,..., N. Zmienne {X k ; k = 1, 2,..., N} tworzą skończony schemat Bernoullego z prawdopodobieństwem sukcesu p = 1/2. Czy istnieje ciąg nieskończony takich zmiennych? Funkcje Rademachera Ω = [0, 1], F = B 1, P = l [0,1], f n (x) = sign sin ( 2 n πx ), n = 1, 2,.... Rozwijając wzór otrzymujemy f n (x) = { ( 1) i 1 jeśli i 1 2 n x < i 2 n, i = 1, 2,..., 2 n, 1 jeśli x = 1. Rysunek przekonuje o niezależności!
Pojęcie procesu stochastycznego Funkcje Rademachera Zgodność rozkładów i twierdzenie Kołmogorowa Definicja Procesem stochastycznym nazywamy rodzinę zmiennych losowych {X t ; t T}, indeksowanych podzbiorem T R 1 i określonych na tej samej przestrzeni probabilistycznej (Ω, F, P). Zbiór indeksów T jest interpretowany jako czas i zwykle jest postaci N, Z (wtedy mówimy o procesie stochastycznym z czasem dyskretnym ) lub [0, 1], [0, T ] (gdzie T > 0), R +, R 1 ( proces stochastyczny z czasem ciągłym ). Uwaga: Jeśli zmienne losowe {X u ; u U} są określone na wspólnej przestrzeni probabilistycznej, a zbiór U jest podzbiorem R 2 lub innej przestrzeni wielowymiarowej, to rodzinę {X u } zwykle nazywa się polem losowym.
Rozkłady skończenie wymiarowe Funkcje Rademachera Zgodność rozkładów i twierdzenie Kołmogorowa Definicja Niech {X t ; t T} będzie procesem stochastycznym i niech S T będzie podzbiorem skończonym. Rozkład P XS wektora losowego X S = {X t } t S (miarę na R S!) nazywamy rozkładem skończenie wymiarowym procesu {X t }. Rozkłady pojedynczych zmiennych losowych X t nazywamy rozkładami brzegowymi.
Rozkłady skończenie wymiarowe Funkcje Rademachera Zgodność rozkładów i twierdzenie Kołmogorowa Uwaga: Rozkłady skończenie wymiarowe istnieją, bo zmienne losowe budujące proces stochastyczny są określone na wspólnej przestrzeni probabilistycznej i dlatego dobrze określone są liczby P XS (B) = P ( X S B ), B B S. To jest silne założenie, nie zawsze spełnione (np. w modelach mechaniki kwantowej obserwable, czyli odpowiedniki zmiennych losowych, nie mają rozkładów łącznych).
Funkcje Rademachera Zgodność rozkładów i twierdzenie Kołmogorowa Zgodność rozkładów skończenie wymiarowych Niech {X t ; t T} będzie procesem stochastycznym i niech S 1 S 2 T. Oznaczmy przez Π S 2 S 1 naturalny rzut po współrzędnych R S 2 {t s } s S2 {t s } s S1 R S 1. Mamy P XS1 = P XS2 ( Π S 2 S 1 ) 1. (1) Definicja Własność (1) rozkładów skończenie wymiarowych procesu stochastycznego nazywamy zgodnością.
Funkcje Rademachera Zgodność rozkładów i twierdzenie Kołmogorowa Twierdzenie Kołmogorowa o istnieniu procesu stochastycznego Wniosek Zgodność w sensie (1) jest warunkiem koniecznym dla istnienia procesu stochastycznego o zadanych własnościach rozkładów skończenie wymiarowych. Twierdzenie Niech każdemu skończonemu podzbiorowi S T odpowiada rozkład µ S określony na (R S, B S ). Jeżeli rodzina rozkładów {µ S } jest zgodna, to istnieje proces stochastyczny {X t ; t T}, którego rozkładami skończenie wymiarowymi są rozkłady {µ S }, tzn P XS = µ S, S T.
Funkcje Rademachera Zgodność rozkładów i twierdzenie Kołmogorowa Twierdzenie Kołmogorowa o istnieniu procesu stochastycznego Idea dowodu twierdzenia Kołmogorowa polega na pokazaniu, że na przestrzeni (R T, B T ) istnieje miara probabilistyczna µ, której rzuty na produkty skończone pokrywają się z rozkładami µ S. Wtedy wystarczy określić X t jako rzut na współrzędną t. Kompletny dowód można znaleźć w podręcznikach Jakubowskiego i Sztencla oraz Borowkowa.
Ciągi niezależnych zmiennych losowych Charakterystyki wektorów losowych i ich transformacje Istnienie procesów gaussowskich Istnienie ciągów niezależnych zmiennych losowych Twierdzenie Niech F będzie dystrybuantą na R 1. Istnieje ciąg niezależnych zmiennych losowych X 0, X 1, X 2,... o jednakowym rozkładzie zadanym przez F. Taki ciąg czasami nazywamy z angielska i.i.d (bo: independent identically distributed ). Twierdzenie Niech F 0, F 1, F 2,... będzie ciągiem dystrybuant na R 1. Istnieje ciąg niezależnych zmiennych losowych X 0, X 1, X 2,... o zadanych rozkładach: X j F j, j = 0, 1, 2,....
Ciągi niezależnych zmiennych losowych Charakterystyki wektorów losowych i ich transformacje Istnienie procesów gaussowskich Podstawowe charakterystyki wektorów losowych Niech X = (X 1, X 2,..., X d ) T będzie wektorem losowym. Niech każda składowa wektora X będzie całkowalna (równoważnie: E X < + ). Wartością oczekiwaną wektora X nazywamy wektor wartości oczekiwanych jego składowych: E X = (EX 1, EX 2,..., EX d ) T. Niech każda składowa wektora X będzie całkowalna z kwadratem (równoważnie: E X 2 < + ). Macierzą kowariancji wektora X nazywamy macierz Cov ( X ) o współczynnikach σ jk = cov (X j, X k ), 1 j, k d. Wariancją wektora X nazywamy liczbę Var ( X ) := E X EX d 2 = Var (X j ) = tr Cov ( X ). j=1
Ciągi niezależnych zmiennych losowych Charakterystyki wektorów losowych i ich transformacje Istnienie procesów gaussowskich Podstawowe charakterystyki wektorów losowych Twierdzenie (Równoważna definicja wartości oczekiwanej) Niech E X < +. Wartość oczekiwana wektora X to jedyny wektor m R d taki, że E x, X = x, m, x R d. Wniosek Jeżeli X jest wektorem losowym o wartościach w R n, A : R n R m jest odwzorowaniem liniowym i istnieje E X, to istnieje EA( X ) i mamy E(A( X )) = A ( E X ).
Ciągi niezależnych zmiennych losowych Charakterystyki wektorów losowych i ich transformacje Istnienie procesów gaussowskich Podstawowe charakterystyki wektorów losowych Twierdzenie (Równoważna definicja macierzy kowariancji) Niech E X 2 < +. Macierz kowariancji wektora X jest jedyną symetryczną macierzą Σ wyznaczoną przez formę kwadratową E x, X E X 2 = Var ( x, X ) = x, Σ x, x R d. Cov ( X ) jest więc jedyną macierzą Σ spełniającą związek E x, X E X y, X E X = cov ( x, X, y, X ) = x, Σ y, x, y R d. Wniosek Jeżeli X jest wektorem losowym o wartościach w R n, A : R n R m jest odwzorowaniem liniowym i E X 2 < +, to istnieje Cov (A( X )) i mamy Cov (A( X )) = ACov ( X )A T.
Istnienie procesów gaussowskich Ciągi niezależnych zmiennych losowych Charakterystyki wektorów losowych i ich transformacje Istnienie procesów gaussowskich Definicja Procesem gaussowskim nazywamy proces stochastyczny, którego wszystkie rozkłady skończenie wymiarowe są normalne (wielowymiarowe). Wniosek Jeżeli {X j } jest procesem gaussowskim, to funkcja charakterystyczna wektora losowego Y n = ( X 1, X 2,..., X n ) T jest postaci Ee i θ, Y n = Ee i( n j=1 θ j X j ) = exp (i θ, EY n 1/2 θ, Cov ( Y n ) θ ).
Istnienie procesów gaussowskich Ciągi niezależnych zmiennych losowych Charakterystyki wektorów losowych i ich transformacje Istnienie procesów gaussowskich Twierdzenie Niech a j R 1, j N będzie dowolnym ciągiem liczbowym, a {ρ ij, i, j N} będzie nieskończoną macierzą symetryczną (ρ ij = ρ ji ) i nieujemnie określoną (tzn. dla każdego n macierz {ρ ij ; 1 i, j n} jest nieujemnie określona). Istnieje proces gaussowski {X j } taki, że X j N (a j, ρ ii ) i cov (X i, X j ) = ρ ij.