Proste Procesy Stochastyczne i ich zastosowania. Pawe J. Szab owski March 27 Pawe J. Szab owski () Wyk ad 1 March 27 1 / 17
Plan wyk adu: 1-3. Wst ¾ep i preliminaria- przyk ady szeregów czasowych.. Zagadnienie przybli zania jednych zmiennych losowych przez inne. Przegl ¾ad wybranych procesów stochastycznych. 4-5 Rozk ad wyk adniczy i jego w asności. Proces Poissona i jego uogólnienia. 6-7. Wektory losowe gaussowskie. Filtr Kalmana - Bucy. 8-9. Funkcja kowariancji i jej w asności, funkcje nieujemne określone tw. Herglotza i Bochnera. Elementy analizy 2 rz ¾edu. Rozwini ¾ecie Karhunena-Loève a 1. Przestrzeń Hilberta tw. o rzucie ortogonalnym na podprzestrzeń. 11 12. Ca ki stochastyczne: procesy o przyrostach nieskorelowanych, miary losowe o wartościach ortogonalnych, ca ka wzgl ¾edem miary losowej. Podstawowe w asności ca ki stochastycznej. Twierdzenie o rozk adzie spektralnym procesu stochastycznego i Tw. Wolda o rozk adzie na cz ¾eść deterministyczn ¾a i czysto losow ¾a procesu stochastycznego. 13-14. Klasy kacja szeregów czasowych: Szeregi autoregresyjne i Pawe J. Szab owski () Wyk ad 1 March 27 2 / 17
Literatura: 1 Robert B. Ash, Melvin F. Gardner, Topics in Stochastic Processes, Acad. Press N. York S. Francisco London, 1975. 2 J. S. Mereditch, Estymacja i sterowanie statystycznie optymalne w uk adach liniowych, WNT, Warszawa 1975. 3 E. Wong, Procesy Stochastyczne w teorii informacji i uk adach dynamicznych, WNT 1976. 4 A. D. Wentzell, Wyk ady z teorii procesów stochastycznych, PWN Warszawa 198. 5 George E. P. Box, Gwilym M. Jenkins, Analiza Szeregów Czasowych PWN Warszawa, 1983. 6 Luc Devroy, Làszló Györ, Nonparametric density estimation. The L 1 view. John Wiley & Sons, N. Jork. 1985 7 M. B. Nevel son, P. Z. Chasminskij, Stochasticzeskaja approksimacja i rekurentne oceniwanije, Izdatiellstwo Nauka, Moskwa, 1972. 8 David Wiliams, Probability with Martingales, Cambridge Mathematical textbook, 1991. 9 Sheldon Ross, Introduction to Probability Models, A Harcourt Sc. Pawe J. Szab owski () Wyk ad 1 March 27 3 / 17
Nieformalny wst ¾ep Nieformalna de nicja: szereg czasowy to ci ¾ag zmiennych losowych lub inaczej proces stochastyczny z dyskretnym czasem. Jeśli jest to ci ¾ag nieskorelowanych zmiennych losowych o zerowych wartościach oczekiwanych i jednakowych wariancjach to nazywa si ¾e on dyskretnym bia ym szumem. 5 ε i 5 1 2 i Pawe J. Szab owski () Wyk ad 1 March 27 4 / 17
2 2 ξ i ζ i 2 1 2 2 1 2 i i Pawe J. Szab owski () Wyk ad 1 March 27 5 / 17
5 x i 5 1 2 i Na pierwszy rzut oka trudno jest powiedzieć, który z tych szeregów jest bia ym szumem a który jest ci ¾agiem zale znych zmiennych losowych. Trzeba g ¾ebszej analizy. Aby to zrobić rozwa zmy np. tzw. wykresy fazowe tj. wykresy we wspó rz ¾ednych (poprzednia obserwacja, bie z ¾aca obserwacja). Mamy dla tych samych 5 4 2 ε i ξ i 2 Pawe J. Szab owski () Wyk ad 1 4 March 27 6 / 17
4 5 2 ζ i x i 1 2 2 ζ i 1 5 2 2.3x..5x. i i 1 Pawe J. Szab owski () Wyk ad 1 March 27 7 / 17
Bior ¾ac estymatory tzw. funkcji kowariancji obliczane wed ug wzoru: j kowariancja j = n i=1 obserwacja i obserwacja i+j n j dla kilku j =, 1, 2,... otrzymamy jeszcze inne spojrzenie na prezentowane szeregi czasowe: Pawe J. Szab owski () Wyk ad 1 March 27 8 / 17
.5.1 kowε j kowξ j.1.5 1 2 3.2 1 2 3 j j 2.5 1 kowζ j kowx j 1.5 2 1 2 3 1 1 2 3 j j Pawe J. Szab owski () Wyk ad 1 March 27 9 / 17
Kilka faktów z rachunku prawdopodobieństwa. W asności kowariancji i macierzy kowariancji.. Aby unikn ¾ać niepotrzebnych formalnych komplikacji zak adamy, ze wszystkie rozwa zane zmienne losowe maj ¾a wartości oczekiwane. 1. 2. 8a, b, c, d2r : cov(ax + b, cy + d) = ac cov(x, Y ). (1) cov(x, Y ) = cov(x EX, X EY ) = E (X EX )(Y EY ) (2) 3. V (X )! wynika to ze wzoru (2) przy podstawieniu X = Y. Pawe J. Szab owski () Wyk ad 1 March 27 1 / 17
Kilka faktów z rachunku prawdopodobieństwa. W asności kowariancji i macierzy kowariancji. 4. 5. cov(x, Y ) = cov(y, X ); (3) cov(x, Y + Z ) = cov(x, Y ) + cov(x, Z ). jcov(x, Y )j q V (X )V (Y ). (4) De nition Zmienne losowe X i Y nazywamy nieskorelowanymi, jeśli Fact cov(x, Y ) =. Je sli zmienne losowe X i Y sa¾ niezale zne, to sa¾ nieskorelowane (lecz nie na odwrót!). Pawe J. Szab owski () Wyk ad 1 March 27 11 / 17
Kilka faktów z rachunku prawdopodobieństwa. W asności kowariancji i macierzy kowariancji. 6. Σ X = E (X EX)(X EX) T, E (XX T ) = [X i X j ] i,j=1,...,n, jeśli X = [X 1,..., X n ] T 7. macierze Σ X, E (XX T ) s ¾a symetryczne i dodatnio pó określone. 8. Σ X+b = Σ X dla ka zdego b 2R n. Dowód tego faktu jest oczywisty. 9. Σ AX = AΣ X A T dla dowolnej macierzy A o wymiarze m n. W szczególności dla m = 1 mamy równości: 1. V ( n i=1 a i X i ) = V (a T X) = a T Σ X a = n i,j=1 a i a j cov(x i X j ) dla X = [X 1,..., X n ] T, a = [a 1,..., a n ] T. Pawe J. Szab owski () Wyk ad 1 March 27 12 / 17
Kilka faktów z rachunku prawdopodobieństwa. W asności kowariancji i macierzy kowariancji. Jeśli zaś dodatkowo za o zyć n = 1 11.V (X + b) = V (X ), V (ax ) = a 2 V (X ) dla a, b 2R De nition Wielkość ρ i,j = cov(x i,x j ) p gdzie i, j = 1,..., n jest wspó czynnikiem V (Xi )V (X j ) korelacji zmiennych losowych X i i X j. Macierz Θ = [ρ i,j ] i,j=1,...,n zwana jest macierz ¾a korelacyjn ¾a wektora losowego X. Pawe J. Szab owski () Wyk ad 1 March 27 13 / 17
Kilka faktów z rachunku prawdopodobieństwa. W asności kowariancji i macierzy kowariancji. Jeśli X jest n wymiarow ¾a zmienn ¾a losow ¾a, i Y- m- wymiarow ¾a zmienn ¾a losow ¾a to, macierz ¾a kowariancji wzajemnej wektora losowego X i Y nazywamy macierz Σ XY = [cov(x i, X j )] i=1,...,n;j=1,...,m. 12. Σ XY = E (X EX)(Y EY) T. 13. Jeśli X jest n-wymiarow ¾a zmienn ¾a losow ¾a, Y- m-wymiarow ¾a zmienn ¾a X losow ¾a i Z =, to Y EZ = EX EY ΣX, Σ Z = Σ YX Σ XY Σ Y. Pawe J. Szab owski () Wyk ad 1 March 27 14 / 17
Kilka faktów z rachunku prawdopodobieństwa. Nierówności Markowa, Czebyszewa Niech X b ¾edzie jedno wymiarow ¾a zmienn ¾a losow ¾a, dla której EX i V (X ) istniej ¾a, zaś Y nieujemn ¾a zmienn ¾a losow ¾a, tak ¾a, ze EY istnieje. EY ε P(Y ε). (5) Jest to tak zwana nierówność Markowa. Aby dostać nierówność Czebyszewa z nierówności Markowa po ó zmy Y = (X EX ) 2 i ε = k 2 V (X ) i odejmijmy obie strony (5) od 1. Dostaniemy wówczas dla ka zdego k2r + nierówność: P jx q EX j < k V (X ) > 1 Nierówność ta nosi nazw ¾e nierówności Czebyszewa. 1 k 2. (6) Pawe J. Szab owski () Wyk ad 1 March 27 15 / 17
Zagadnienie przybli zania jednych zmiennych losowych przez inne. Niech X, Y 1,..., Y n b ¾ed ¾a L 2 -zmiennymi losowym. Rozwa zmy sekwencj ¾e nast ¾epuj ¾acych problemów przybli zania jednych zmiennych losowych funkcjami innych. 1. min c2r E (X c) 2. Rozwiazanie: ¾ c opt = EX, minimalny b ¾ad przybli zenia: E (X c opt ) 2 = var(x ). 2. min a,b2r E (X b ay 1 ) 2. Rozwiazanie: ¾ a opt = cov(x,y 1) var(y 1, b ) opt = EX a opt EY 1, minimalny b ¾ad przybli zenia E (X b opt a opt EY 1 ) 2 = var(x )(1 ρ 2 X,Y 1 ) = var(x ). cov 2 (X,Y 1 ) var(y 1 ) Pawe J. Szab owski () Wyk ad 1 March 27 16 / 17
3. Uogólnienie punktu 2. min b,a1,...,a n 2R E (X b a 1 Y 1 a n Y n ) 2 = min b2r,a2r n E (X b a T Y ) 2, gdzie oznaczono a T = (a 1,..., a n ), Y T = (Y 1,..., Y n ). Rozwiazanie: ¾ a opt = ΣY 1 Σ YX, b = EX aopty T, minimalny b ¾ad przybli zenia: E (X b aopty T ) 2 = var(x ) Σ X Y ΣY 1 Σ YX. 4. min Y F E (X Y ) 2 gdzie F jest pewnym σ-cia em. Aby rozwi ¾azać to zagadnienie potrzeba wprowadzić poj ¾ecie warunkowej warto sci oczekiwanej. Pawe J. Szab owski () Wyk ad 1 March 27 17 / 17