Proste Procesy Stochastyczne i ich zastosowania.

HTML
DOWNLOAD

Wielkość: px

Rozpocząć pokaz od strony:

Download "Proste Procesy Stochastyczne i ich zastosowania."

Antoni Czyż
5 lat temu
Przeglądów:

1 Proste Procesy Stochastyczne i ich zastosowania. Pawe J. Szab owski March 27 Pawe J. Szab owski () Wyk ad 1 March 27 1 / 17

2 Plan wyk adu: 1-3. Wst ¾ep i preliminaria- przyk ady szeregów czasowych.. Zagadnienie przybli zania jednych zmiennych losowych przez inne. Przegl ¾ad wybranych procesów stochastycznych. 4-5 Rozk ad wyk adniczy i jego w asności. Proces Poissona i jego uogólnienia Wektory losowe gaussowskie. Filtr Kalmana - Bucy Funkcja kowariancji i jej w asności, funkcje nieujemne określone tw. Herglotza i Bochnera. Elementy analizy 2 rz ¾edu. Rozwini ¾ecie Karhunena-Loève a 1. Przestrzeń Hilberta tw. o rzucie ortogonalnym na podprzestrzeń Ca ki stochastyczne: procesy o przyrostach nieskorelowanych, miary losowe o wartościach ortogonalnych, ca ka wzgl ¾edem miary losowej. Podstawowe w asności ca ki stochastycznej. Twierdzenie o rozk adzie spektralnym procesu stochastycznego i Tw. Wolda o rozk adzie na cz ¾eść deterministyczn ¾a i czysto losow ¾a procesu stochastycznego Klasy kacja szeregów czasowych: Szeregi autoregresyjne i Pawe J. Szab owski () Wyk ad 1 March 27 2 / 17

3 Literatura: 1 Robert B. Ash, Melvin F. Gardner, Topics in Stochastic Processes, Acad. Press N. York S. Francisco London, J. S. Mereditch, Estymacja i sterowanie statystycznie optymalne w uk adach liniowych, WNT, Warszawa E. Wong, Procesy Stochastyczne w teorii informacji i uk adach dynamicznych, WNT A. D. Wentzell, Wyk ady z teorii procesów stochastycznych, PWN Warszawa George E. P. Box, Gwilym M. Jenkins, Analiza Szeregów Czasowych PWN Warszawa, Luc Devroy, Làszló Györ, Nonparametric density estimation. The L 1 view. John Wiley & Sons, N. Jork M. B. Nevel son, P. Z. Chasminskij, Stochasticzeskaja approksimacja i rekurentne oceniwanije, Izdatiellstwo Nauka, Moskwa, David Wiliams, Probability with Martingales, Cambridge Mathematical textbook, Sheldon Ross, Introduction to Probability Models, A Harcourt Sc. Pawe J. Szab owski () Wyk ad 1 March 27 3 / 17

4 Nieformalny wst ¾ep Nieformalna de nicja: szereg czasowy to ci ¾ag zmiennych losowych lub inaczej proces stochastyczny z dyskretnym czasem. Jeśli jest to ci ¾ag nieskorelowanych zmiennych losowych o zerowych wartościach oczekiwanych i jednakowych wariancjach to nazywa si ¾e on dyskretnym bia ym szumem. 5 ε i i Pawe J. Szab owski () Wyk ad 1 March 27 4 / 17

5 2 2 ξ i ζ i i i Pawe J. Szab owski () Wyk ad 1 March 27 5 / 17

6 5 x i i Na pierwszy rzut oka trudno jest powiedzieć, który z tych szeregów jest bia ym szumem a który jest ci ¾agiem zale znych zmiennych losowych. Trzeba g ¾ebszej analizy. Aby to zrobić rozwa zmy np. tzw. wykresy fazowe tj. wykresy we wspó rz ¾ednych (poprzednia obserwacja, bie z ¾aca obserwacja). Mamy dla tych samych ε i ξ i 2 Pawe J. Szab owski () Wyk ad 1 4 March 27 6 / 17

7 4 5 2 ζ i x i ζ i x..5x. i i 1 Pawe J. Szab owski () Wyk ad 1 March 27 7 / 17

8 Bior ¾ac estymatory tzw. funkcji kowariancji obliczane wed ug wzoru: j kowariancja j = n i=1 obserwacja i obserwacja i+j n j dla kilku j =, 1, 2,... otrzymamy jeszcze inne spojrzenie na prezentowane szeregi czasowe: Pawe J. Szab owski () Wyk ad 1 March 27 8 / 17

9 .5.1 kowε j kowξ j j j kowζ j kowx j j j Pawe J. Szab owski () Wyk ad 1 March 27 9 / 17

10 Kilka faktów z rachunku prawdopodobieństwa. W asności kowariancji i macierzy kowariancji.. Aby unikn ¾ać niepotrzebnych formalnych komplikacji zak adamy, ze wszystkie rozwa zane zmienne losowe maj ¾a wartości oczekiwane a, b, c, d2r : cov(ax + b, cy + d) = ac cov(x, Y ). (1) cov(x, Y ) = cov(x EX, X EY ) = E (X EX )(Y EY ) (2) 3. V (X )! wynika to ze wzoru (2) przy podstawieniu X = Y. Pawe J. Szab owski () Wyk ad 1 March 27 1 / 17

11 Kilka faktów z rachunku prawdopodobieństwa. W asności kowariancji i macierzy kowariancji cov(x, Y ) = cov(y, X ); (3) cov(x, Y + Z ) = cov(x, Y ) + cov(x, Z ). jcov(x, Y )j q V (X )V (Y ). (4) De nition Zmienne losowe X i Y nazywamy nieskorelowanymi, jeśli Fact cov(x, Y ) =. Je sli zmienne losowe X i Y sa¾ niezale zne, to sa¾ nieskorelowane (lecz nie na odwrót!). Pawe J. Szab owski () Wyk ad 1 March / 17

12 Kilka faktów z rachunku prawdopodobieństwa. W asności kowariancji i macierzy kowariancji. 6. Σ X = E (X EX)(X EX) T, E (XX T ) = [X i X j ] i,j=1,...,n, jeśli X = [X 1,..., X n ] T 7. macierze Σ X, E (XX T ) s ¾a symetryczne i dodatnio pó określone. 8. Σ X+b = Σ X dla ka zdego b 2R n. Dowód tego faktu jest oczywisty. 9. Σ AX = AΣ X A T dla dowolnej macierzy A o wymiarze m n. W szczególności dla m = 1 mamy równości: 1. V ( n i=1 a i X i ) = V (a T X) = a T Σ X a = n i,j=1 a i a j cov(x i X j ) dla X = [X 1,..., X n ] T, a = [a 1,..., a n ] T. Pawe J. Szab owski () Wyk ad 1 March / 17

13 Kilka faktów z rachunku prawdopodobieństwa. W asności kowariancji i macierzy kowariancji. Jeśli zaś dodatkowo za o zyć n = 1 11.V (X + b) = V (X ), V (ax ) = a 2 V (X ) dla a, b 2R De nition Wielkość ρ i,j = cov(x i,x j ) p gdzie i, j = 1,..., n jest wspó czynnikiem V (Xi )V (X j ) korelacji zmiennych losowych X i i X j. Macierz Θ = [ρ i,j ] i,j=1,...,n zwana jest macierz ¾a korelacyjn ¾a wektora losowego X. Pawe J. Szab owski () Wyk ad 1 March / 17

14 Kilka faktów z rachunku prawdopodobieństwa. W asności kowariancji i macierzy kowariancji. Jeśli X jest n wymiarow ¾a zmienn ¾a losow ¾a, i Y- m- wymiarow ¾a zmienn ¾a losow ¾a to, macierz ¾a kowariancji wzajemnej wektora losowego X i Y nazywamy macierz Σ XY = [cov(x i, X j )] i=1,...,n;j=1,...,m. 12. Σ XY = E (X EX)(Y EY) T. 13. Jeśli X jest n-wymiarow ¾a zmienn ¾a losow ¾a, Y- m-wymiarow ¾a zmienn ¾a X losow ¾a i Z =, to Y EZ = EX EY ΣX, Σ Z = Σ YX Σ XY Σ Y. Pawe J. Szab owski () Wyk ad 1 March / 17

15 Kilka faktów z rachunku prawdopodobieństwa. Nierówności Markowa, Czebyszewa Niech X b ¾edzie jedno wymiarow ¾a zmienn ¾a losow ¾a, dla której EX i V (X ) istniej ¾a, zaś Y nieujemn ¾a zmienn ¾a losow ¾a, tak ¾a, ze EY istnieje. EY ε P(Y ε). (5) Jest to tak zwana nierówność Markowa. Aby dostać nierówność Czebyszewa z nierówności Markowa po ó zmy Y = (X EX ) 2 i ε = k 2 V (X ) i odejmijmy obie strony (5) od 1. Dostaniemy wówczas dla ka zdego k2r + nierówność: P jx q EX j < k V (X ) > 1 Nierówność ta nosi nazw ¾e nierówności Czebyszewa. 1 k 2. (6) Pawe J. Szab owski () Wyk ad 1 March / 17

16 Zagadnienie przybli zania jednych zmiennych losowych przez inne. Niech X, Y 1,..., Y n b ¾ed ¾a L 2 -zmiennymi losowym. Rozwa zmy sekwencj ¾e nast ¾epuj ¾acych problemów przybli zania jednych zmiennych losowych funkcjami innych. 1. min c2r E (X c) 2. Rozwiazanie: ¾ c opt = EX, minimalny b ¾ad przybli zenia: E (X c opt ) 2 = var(x ). 2. min a,b2r E (X b ay 1 ) 2. Rozwiazanie: ¾ a opt = cov(x,y 1) var(y 1, b ) opt = EX a opt EY 1, minimalny b ¾ad przybli zenia E (X b opt a opt EY 1 ) 2 = var(x )(1 ρ 2 X,Y 1 ) = var(x ). cov 2 (X,Y 1 ) var(y 1 ) Pawe J. Szab owski () Wyk ad 1 March / 17

17 3. Uogólnienie punktu 2. min b,a1,...,a n 2R E (X b a 1 Y 1 a n Y n ) 2 = min b2r,a2r n E (X b a T Y ) 2, gdzie oznaczono a T = (a 1,..., a n ), Y T = (Y 1,..., Y n ). Rozwiazanie: ¾ a opt = ΣY 1 Σ YX, b = EX aopty T, minimalny b ¾ad przybli zenia: E (X b aopty T ) 2 = var(x ) Σ X Y ΣY 1 Σ YX. 4. min Y F E (X Y ) 2 gdzie F jest pewnym σ-cia em. Aby rozwi ¾azać to zagadnienie potrzeba wprowadzić poj ¾ecie warunkowej warto sci oczekiwanej. Pawe J. Szab owski () Wyk ad 1 March / 17

Podobne dokumenty

Wybrane zagadnienia teorii procesów stochastycznych. Paweł J. Szabłowski Wydział Matematyki i Nauk Informacyjnych

Wybrane zagadnienia teorii procesów stochastycznych Paweł J. Szabłowski Wydział Matematyki i Nauk Informacyjnych Luty 21 ii Abstract Celem wykładu jest omówienie ważnych z punktu widzenia zastosowań w