Wybrane zagadnienia teorii procesów stochastycznych Paweł J. Szabłowski Wydział Matematyki i Nauk Informacyjnych Luty 21
ii Abstract Celem wykładu jest omówienie ważnych z punktu widzenia zastosowań w naukach technicznych procesów stochastycznych. Wykład zaczyna się od powtórzenia najważniejszych pojęc rachunku prawdopodobieństwa. Następnie omawiany jest process Poissona i jego wlasności a także najważniejsze zastosownania w telekomunikacji. Po przypomnieniu własności zmiennych gaussowskich omawia się dyskretny filtr Kalmana. Wreszcie przedstawione s a zarysy teorii liniowej procesów i jej zastosowania do teorii sygnałów. Wykład kończy sie wyprowadzeniem tzw. filtru Wienera dla procesów dyskretnych. Wykładowi towarzysza laboratoria polegajacena symulacji omawianych procesów i zjawisk.
Spis treści 1 Wstęp i preliminaria. 1 1.1 Literatura:............................... 1 1.2 Planwykładu:............................. 1 1.2.1 Nieformalnywstęp...................... 2 1.3 Kilkafaktówzrachunkuprawdopodobieństwa........... 1.3.1 Własnościkowariancjiimacierzykowariancji........ 1.3.2 Interpretacjewartościoczekiwanejiwariancji....... 7 1.4 Zagadnienie przybliżania jednych zmiennych losowych przez inne. 7 2 Wybrane zagadnienia rachunku prawdopodobieństwa c.d. 9 2.1 Kilkainformacjioprocesachstochastycznych........... 1 2.2 Klasyfikacjaprocesówstochastycznych................ 11 3 Rozkład wykładniczy. Proces Poissona. 1 3.1 Własnościrozkładuwykładniczego................. 1 3.1.1 Rozkładgeometryczny:................... 1 3.1.2 Rozkładwykładniczy:.................... 1 4 Proces Poissona 21 4.1 Proces zliczajacy........................... 21 4.2 Okresymiędzyzgłoszeniami..................... 22 4.3 SumowanieprocesówPoissona.................... 23 4.4 Rozkładwarunkowyczasówprzybycia............... 2 Uogólnienia procesu Poissona 31.1 Procesniejednorodny......................... 31.1.1 ZłożonyprocesPoissona................... 31.2 SystemM/M/c............................ 32 6 Rozkład normalny(gaussa) 3 6.1 Wielowymiarowerozkładynormalne:................ 36 6.2 Momenty............................... 39 6.2.1 Momenty1-wymiarowe................... 39 6.2.2 Momentycentralne...................... 39 6.2.3 Przypadekwielowymiarowy................. 39 6.3 Warunkowa wartość oczekiwana wielowymiarowych wektorów gaussowskich................................ 4 7 Filtr Kalmana 43 iii
iv SPIS TREŚCI 8 Funkcja kowariancji i rozwinięcia Karhunena-Loeve a. 47 8.1 Oznaczeniaipierwszedefinicje:................... 47 8.2 RozwinięciaKarhunena-Loève a................... 1 9 Procesy stacjonarne 3 9.1 Własnościfunkcjikowariancji.................... 3 9.2 PrzestrzeńHilbertaijejpodstawowewłasności........... 4 9.3 Całkistochastyczne.......................... 7 9.3.1 Miary stochastyczne o wartościach ortogonalnych(mswo). 7 1 Rozkład spektralny 61 1.1 Własnościcałekstochastycznych.................. 61 1.2 Podstawowakonstrukcja....................... 63 1.3 Rozkładspektralnyprocesustacjonarnego.............. 63 11 Przekształcenia procesów stacjonarnych 67 11.1 WstępdorozkładuWoldaiproblemówpredykcji.......... 67 11.2 Operacjeliniowe. Przypadekzczasemdyskretnym........ 69 11.2.1 Interpretacja zwiazana z przybliżeniem całki stochastycznej. 69 11.3 Szeregiczasowespecjalnegotypu.................. 7 11.3.1 Procesy ruchomej średniej( MA- moving average processes) 7 11.3.2 Procesyautoregresyjne.................... 71 11.3.3 ProcesyARMA(p,q)...................... 72 12 Dygresja o Równaniach Różnicowych i inne uzupełniajacefakty 73 12.1 Równaniaróżnicowe......................... 73 12.2 Przekształceniez........................... 74 12.3 RównanieYule a-walker a...................... 74 12.4 WstępdoPredykcji-przypadekszczególny............. 7 12. Przykładypredykcji.......................... 76 13 Wstęp do ogólnego problemu predycji szeregów czasowych 79 13.1 Uzupełniajacefaktyzanalizyzespolonej.............. 79 13.1.1 J adro Poissona. Wstęp do przestrzeni Hardego-Lebesgue a. 79 13.2 Zastosowaniadoszeregówczasowych................ 81 14 Kilka informacji martyngałach dyskretnych. 8
Wykład 1 Wstęp i preliminaria. 1.1 Literatura: 1. Robert B. Ash, Melvin F. Gardner, Topics in Stochastic Processes, Acad. Press N. York S. Francisco London, 197. 2. J. S. Mereditch, Estymacja i sterowanie statystycznie optymalne w układach liniowych, WNT, Warszawa 197. 3. E. Wong, Procesy Stochastyczne w teorii informacji i układach dynamicznych, WNT 1976. 4. A. D. Wentzell, Wykłady z teorii procesów stochastycznych, PWN Warszawa 198.. George E. P. Box, Gwilym M. Jenkins, Analiza Szeregów Czasowych PWN Warszawa, 1983. 6. Luc Devroy, Làszló Györfi, Nonparametric density estimation. The L 1 view. JohnWiley&Sons,N.Jork. 198 7. M. B. Nevel son, P. Z. Chasminskij, Stochasticzeskaja approksimacja i rekurentne oceniwanije, Izdatiellstwo Nauka, Moskwa, 1972. 8. David Wiliams, Probability with Martingales, Cambridge Mathematical textbook, 1991. 9. Sheldon Ross, Introduction to Probability Models, A Harcourt Sc. &Techn. Comp., san Diego, 2(VIIth ed.) 1.2 Plan wykładu: 1-3. Wstęp i preliminaria- przykłady szeregów czasowych.. Zagadnienie przybliżania jednych zmiennych losowych przez inne. Przeglad wybranych procesów stochastycznych. 4- Rozkład wykładniczy i jego własności. Proces Poissona i jego uogólnienia. 1
2 WYKŁAD 1. WSTEP I PRELIMINARIA. ε i 1 2 i Rysunek 1.1: 6-7. Wektory losowe gaussowskie. Filtr Kalmana- Bucy. 8-9. Funkcja kowariancji i jej własności, funkcje nieujemne określone tw. Herglotza i Bochnera. Elementy analizy 2 rzędu. Rozwinięcie Karhunena- Loève a 1. Przestrzeń Hilberta tw. o rzucie ortogonalnym na podprzestrzeń. 11 12. Całki stochastyczne: procesy o przyrostach nieskorelowanych, miary losowe o wartościach ortogonalnych, całka względem miary losowej. Podstawowe własności całki stochastycznej. Twierdzenie o rozkładzie spektralnym procesu stochastycznego i Tw. Wolda o rozkładzie na część deterministycznaiczystolosow a procesu stochastycznego. 13-14. Klasyfikacja szeregów czasowych: Szeregi autoregresyjne i ruchomej średniej. Własności ich funkcji kowariancji. Zagadnienie identyfikacji. Problemy filtracji i predykcji procesów stochastycznych. 1.2.1 Nieformalny wstęp Nieformalna definicja: szereg czasowy to ciag zmiennych losowych lub inaczej dyskretny proces stochastyczny. Jeśli jest to ciag nieskorelowanych zmiennych losowych o zerowych wartościach oczekiwanych i jednakowych wariancjach to nazywa się on dyskretnym białym szumem. Przykład 1.2.1 ciagcenakcjiwybranychspółek,ci temperatur średnich dziennych zanotowanych w ostatnich latach. Poniżejs a przedstawione przykłady różnych szeregów czasowych: Na pierwszy rzut oka trudno jest powiedzieć który z tych szeregów jest białym szumem a który jest ci agiem zależnych zmiennych losowych. Trzeba głębszej analizy. Aby to zrobić rozważmy np. tzw. wykresy fazowe tj. wykresy we współrzędnych(poprzednia obserwacja, bieżaca obserwacja). Mamy dla tych samych szeregów: Bior ac estymatory tzw. funkcji kowariancji obliczane według wzoru: kowariancja j = n j i=1 obserwacja i obserwacja i+j n j
1.2. PLANWYKŁADU: 3 2 ξ i 2 1 2 i Rysunek 1.2: 2 ζ i 2 1 2 i Rysunek 1.3: x i 1 2 i Rysunek 1.4:
4 WYKŁAD 1. WSTEP I PRELIMINARIA. ε i ε i 1 Rysunek 1.: 4 2 ξ i 2 4 2 2 ξ i 1 Rysunek 1.6: 4 2 ζ i 2 2 ζ i 1 Rysunek 1.7:
1.3. KILKA FAKTÓW Z RACHUNKU PRAWDOPODOBIEŃSTWA. x i 1 2 2.3. x.. x i i 1 Rysunek 1.8: dlakilkuj =,1,2,...otrzymamyjeszczeinnespojrzenienaprezentowane szeregi czasowe:..1 kow ε j kow ξ j.1. 1 2 3.2 1 2 3 j j 2. 1 kowζ j kowx j 1. 2 1 2 3 1 1 2 3 j j 1.3 Kilka faktów z rachunku prawdopodobieństwa. 1.3.1 Własności kowariancji i macierzy kowariancji. Uwaga1.3.1. Abyunikn ać niepotrzebnych formalnych komplikacji zakładamy, że wszystkie rozważane zmienne losowe maja wartości oczekiwane. 1. a,b,c,d R:cov(aX+b,cY +d)=accov(x,y). (1.3.1)
6 WYKŁAD 1. WSTEP I PRELIMINARIA. 2. cov(x,y)=cov(x EX,X EY)=E(X EX)(Y EY) (1.3.2) 3. V(X)! wynikatozewzoru(1.3.2)przypodstawieniux=y. 4. cov(x,y) = cov(y,x); (1.3.3) cov(x,y +Z) = cov(x,y)+cov(x,z).. cov(x,y) V(X)V(Y). (1.3.4) Uwaga 1.3.2 Zmienne losowe X i Y nazywamy nieskorelowanymi, jeśli cov(x,y)=. Uwaga1.3.3 JeślizmiennelosoweX iy aniezależne,tos a nieskorelowane (lecz nie na odwrót!). Uwaga 1.3.4 Także łatwo zauważyć, że dla dowolnych funkcji Borelowskich g,h:r Rmamy: Eg(X)h(X)=Eg(X)Eh(X)podwarunkiem,żeoczywíscieobiecałkimaj a sens. Okazuje się(dowód pomijamy), że jeśli dla dowolnych ci agłychiograniczonychfunkcjig,h:r R,zmiennelosoweg(X)ih(Y)s a nieskorelowanetozmiennelosowex iy s a niezależne. 6. Σ X =E(X EX)(X EX) T,E(XX T )=[X i X j ] i,j=1,...,n, jeślix=[x 1,...,X n ] T 7. macierzeσ X,E(XX T )s a symetryczne i dodatnio półokreślone. 8. Σ X+b =Σ X dlakażdegob R n. Dowódtegofaktujestoczywisty. 9. Σ AX =AΣ X A T dladowolnejmacierzyaowymiarzem n. Wszczególnościdlam=1mamyrówności: 1. V( n i=1 a ix i ) = V(a T X) = a T Σ X a = n i,j=1 a ia j cov(x i X j ) dla X = [X 1,...,X n ] T,a=[a 1,...,a n ] T. Jeślizaśdodatkowozałożyćn=1
1.4. ZAGADNIENIE PRZYBLIŻANIA JEDNYCH ZMIENNYCH LOSOWYCH PRZEZ INNE.7 11.V(X+b)=V(X),V(aX)=a 2 V(X)dlaa,b R Definicja1.3. Wielkośćρ i,j = cov(x i,x j ) gdziei,j=1,...,njestwspółczyn- V(Xi)V(X j) nikiemkorelacjizmiennychlosowychx i ix j. MacierzΘ=[ρ i,j ] i,j=1,...,n zwana jest macierza korelacyjna wektora losowego X. Jeśli X jest n wymiarow a zmienn a losow a, i Y- m- wymiarow a zmienn a losowato,macierz a kowariancji wzajemnej wektora losowego X i Y nazywamy macierzσ XY =[cov(x i,x j )] i=1,...,n;j=1,...,m. 12. Σ XY =E(X EX)(Y EY) T. 13. Jeśli X jest n- [ wymiarow ] a zmienn a losow a, Y- m-wymiarow a zmienn a X losowaiz=,to Y [ ] [ ] EX ΣX Σ EZ=,Σ EY Z = XY. Σ YX Σ Y 1.3.2 Interpretacje wartości oczekiwanej i wariancji Nierówności Markowa, Czebyszewa Niech X będzie jedno wymiarowa zmienn alosow a, dla której EX iv(x)istniej a,zaśy nieujemn azmienn alosow a,tak a,żeey istnieje. EY ε P(Y ε). (1.3.) Jest to tak zwana nierówność Markowa. Aby dostać nierówność Czebyszewa z nierówności Markowa połóżmy Y = (X EX) 2 i ε = k 2 V(X) i odejmijmy obie strony (1.3.) od 1. Dostaniemy wówczasdlakażdegok R + nierówność: P ( X EX <k ) V(X) Nierówność ta nosi nazwę nierówności Czebyszewa. >1 1 k2. (1.3.6) 1.4 Zagadnienie przybliżania jednych zmiennych losowych przez inne. NiechX,Y 1,...,Y n będ al 2 -zmiennymilosowym. Rozważmysekwencjęnastępuj acych problemów przybliżania jednych zmiennych losowych funkcjami innych. 1. min c R E(X c) 2. Rozwiazanie: c opt =EX, minimalnybł adprzybliżenia: E(X c opt ) 2 = var(x).
8 WYKŁAD 1. WSTEP I PRELIMINARIA. 2. min a,b R E(X b ay 1 ) 2. Rozwiazanie: a opt = cov(x,y1) var(y 1), b opt = EX a opt EY 1, minimalny bł ad przybliżenia E(X b opt a opt EY 1 ) 2 = var(x)(1 ρ 2 X,Y 1 ) = var(x) cov 2 (X,Y 1) var(y 1 ). 3. Uogólnieniepunktu2. min b,a1,...,a n RE(X b a 1 Y 1 a n Y n ) 2 = min b R,a R ne(x b a T Y) 2,gdzieoznaczonoa T =(a 1,...,a n ),Y T = (Y 1,...,Y n ). Rozwiazanie: a opt =Σ 1 Y Σ YX,b=EX a T opty, minimalny bł ad przybliżenia: E(X b a T opty) 2 =var(x) Σ XY Σ 1 Y Σ YX. 4. min Y F E(X Y) 2 gdzief jestpewnymσ-ciałem. Abyrozwi azać to zagadnienie potrzeba wprowadzić pojęcie warunkowej wartości oczekiwanej.