Wybrane zagadnienia teorii procesów stochastycznych. Paweł J. Szabłowski Wydział Matematyki i Nauk Informacyjnych

Transkrypt

1 Wybrane zagadnienia teorii procesów stochastycznych Paweł J. Szabłowski Wydział Matematyki i Nauk Informacyjnych Luty 21

2 ii Abstract Celem wykładu jest omówienie ważnych z punktu widzenia zastosowań w naukach technicznych procesów stochastycznych. Wykład zaczyna się od powtórzenia najważniejszych pojęc rachunku prawdopodobieństwa. Następnie omawiany jest process Poissona i jego wlasności a także najważniejsze zastosownania w telekomunikacji. Po przypomnieniu własności zmiennych gaussowskich omawia się dyskretny filtr Kalmana. Wreszcie przedstawione s a zarysy teorii liniowej procesów i jej zastosowania do teorii sygnałów. Wykład kończy sie wyprowadzeniem tzw. filtru Wienera dla procesów dyskretnych. Wykładowi towarzysza laboratoria polegajacena symulacji omawianych procesów i zjawisk.

3 Spis treści 1 Wstęp i preliminaria Literatura: Planwykładu: Nieformalnywstęp Kilkafaktówzrachunkuprawdopodobieństwa Własnościkowariancjiimacierzykowariancji Interpretacjewartościoczekiwanejiwariancji Zagadnienie przybliżania jednych zmiennych losowych przez inne. 7 2 Wybrane zagadnienia rachunku prawdopodobieństwa c.d Kilkainformacjioprocesachstochastycznych Klasyfikacjaprocesówstochastycznych Rozkład wykładniczy. Proces Poissona Własnościrozkładuwykładniczego Rozkładgeometryczny: Rozkładwykładniczy: Proces Poissona Proces zliczajacy Okresymiędzyzgłoszeniami SumowanieprocesówPoissona Rozkładwarunkowyczasówprzybycia Uogólnienia procesu Poissona 31.1 Procesniejednorodny ZłożonyprocesPoissona SystemM/M/c Rozkład normalny(gaussa) Wielowymiarowerozkładynormalne: Momenty Momenty1-wymiarowe Momentycentralne Przypadekwielowymiarowy Warunkowa wartość oczekiwana wielowymiarowych wektorów gaussowskich Filtr Kalmana 43 iii

4 iv SPIS TREŚCI 8 Funkcja kowariancji i rozwinięcia Karhunena-Loeve a Oznaczeniaipierwszedefinicje: RozwinięciaKarhunena-Loève a Procesy stacjonarne Własnościfunkcjikowariancji PrzestrzeńHilbertaijejpodstawowewłasności Całkistochastyczne Miary stochastyczne o wartościach ortogonalnych(mswo). 7 1 Rozkład spektralny Własnościcałekstochastycznych Podstawowakonstrukcja Rozkładspektralnyprocesustacjonarnego Przekształcenia procesów stacjonarnych WstępdorozkładuWoldaiproblemówpredykcji Operacjeliniowe. Przypadekzczasemdyskretnym Interpretacja zwiazana z przybliżeniem całki stochastycznej Szeregiczasowespecjalnegotypu Procesy ruchomej średniej( MA- moving average processes) Procesyautoregresyjne ProcesyARMA(p,q) Dygresja o Równaniach Różnicowych i inne uzupełniajacefakty Równaniaróżnicowe Przekształceniez RównanieYule a-walker a WstępdoPredykcji-przypadekszczególny Przykładypredykcji Wstęp do ogólnego problemu predycji szeregów czasowych Uzupełniajacefaktyzanalizyzespolonej J adro Poissona. Wstęp do przestrzeni Hardego-Lebesgue a Zastosowaniadoszeregówczasowych Kilka informacji martyngałach dyskretnych. 8

5 Wykład 1 Wstęp i preliminaria. 1.1 Literatura: 1. Robert B. Ash, Melvin F. Gardner, Topics in Stochastic Processes, Acad. Press N. York S. Francisco London, J. S. Mereditch, Estymacja i sterowanie statystycznie optymalne w układach liniowych, WNT, Warszawa E. Wong, Procesy Stochastyczne w teorii informacji i układach dynamicznych, WNT A. D. Wentzell, Wykłady z teorii procesów stochastycznych, PWN Warszawa George E. P. Box, Gwilym M. Jenkins, Analiza Szeregów Czasowych PWN Warszawa, Luc Devroy, Làszló Györfi, Nonparametric density estimation. The L 1 view. JohnWiley&Sons,N.Jork M. B. Nevel son, P. Z. Chasminskij, Stochasticzeskaja approksimacja i rekurentne oceniwanije, Izdatiellstwo Nauka, Moskwa, David Wiliams, Probability with Martingales, Cambridge Mathematical textbook, Sheldon Ross, Introduction to Probability Models, A Harcourt Sc. &Techn. Comp., san Diego, 2(VIIth ed.) 1.2 Plan wykładu: 1-3. Wstęp i preliminaria- przykłady szeregów czasowych.. Zagadnienie przybliżania jednych zmiennych losowych przez inne. Przeglad wybranych procesów stochastycznych. 4- Rozkład wykładniczy i jego własności. Proces Poissona i jego uogólnienia. 1

6 2 WYKŁAD 1. WSTEP I PRELIMINARIA. ε i 1 2 i Rysunek 1.1: 6-7. Wektory losowe gaussowskie. Filtr Kalmana- Bucy Funkcja kowariancji i jej własności, funkcje nieujemne określone tw. Herglotza i Bochnera. Elementy analizy 2 rzędu. Rozwinięcie Karhunena- Loève a 1. Przestrzeń Hilberta tw. o rzucie ortogonalnym na podprzestrzeń Całki stochastyczne: procesy o przyrostach nieskorelowanych, miary losowe o wartościach ortogonalnych, całka względem miary losowej. Podstawowe własności całki stochastycznej. Twierdzenie o rozkładzie spektralnym procesu stochastycznego i Tw. Wolda o rozkładzie na część deterministycznaiczystolosow a procesu stochastycznego Klasyfikacja szeregów czasowych: Szeregi autoregresyjne i ruchomej średniej. Własności ich funkcji kowariancji. Zagadnienie identyfikacji. Problemy filtracji i predykcji procesów stochastycznych Nieformalny wstęp Nieformalna definicja: szereg czasowy to ciag zmiennych losowych lub inaczej dyskretny proces stochastyczny. Jeśli jest to ciag nieskorelowanych zmiennych losowych o zerowych wartościach oczekiwanych i jednakowych wariancjach to nazywa się on dyskretnym białym szumem. Przykład ciagcenakcjiwybranychspółek,ci temperatur średnich dziennych zanotowanych w ostatnich latach. Poniżejs a przedstawione przykłady różnych szeregów czasowych: Na pierwszy rzut oka trudno jest powiedzieć który z tych szeregów jest białym szumem a który jest ci agiem zależnych zmiennych losowych. Trzeba głębszej analizy. Aby to zrobić rozważmy np. tzw. wykresy fazowe tj. wykresy we współrzędnych(poprzednia obserwacja, bieżaca obserwacja). Mamy dla tych samych szeregów: Bior ac estymatory tzw. funkcji kowariancji obliczane według wzoru: kowariancja j = n j i=1 obserwacja i obserwacja i+j n j

7 1.2. PLANWYKŁADU: 3 2 ξ i i Rysunek 1.2: 2 ζ i i Rysunek 1.3: x i 1 2 i Rysunek 1.4:

8 4 WYKŁAD 1. WSTEP I PRELIMINARIA. ε i ε i 1 Rysunek 1.: 4 2 ξ i ξ i 1 Rysunek 1.6: 4 2 ζ i 2 2 ζ i 1 Rysunek 1.7:

9 1.3. KILKA FAKTÓW Z RACHUNKU PRAWDOPODOBIEŃSTWA. x i x.. x i i 1 Rysunek 1.8: dlakilkuj =,1,2,...otrzymamyjeszczeinnespojrzenienaprezentowane szeregi czasowe:..1 kow ε j kow ξ j j j 2. 1 kowζ j kowx j j j 1.3 Kilka faktów z rachunku prawdopodobieństwa Własności kowariancji i macierzy kowariancji. Uwaga Abyunikn ać niepotrzebnych formalnych komplikacji zakładamy, że wszystkie rozważane zmienne losowe maja wartości oczekiwane. 1. a,b,c,d R:cov(aX+b,cY +d)=accov(x,y). (1.3.1)

10 6 WYKŁAD 1. WSTEP I PRELIMINARIA. 2. cov(x,y)=cov(x EX,X EY)=E(X EX)(Y EY) (1.3.2) 3. V(X)! wynikatozewzoru(1.3.2)przypodstawieniux=y. 4. cov(x,y) = cov(y,x); (1.3.3) cov(x,y +Z) = cov(x,y)+cov(x,z).. cov(x,y) V(X)V(Y). (1.3.4) Uwaga Zmienne losowe X i Y nazywamy nieskorelowanymi, jeśli cov(x,y)=. Uwaga1.3.3 JeślizmiennelosoweX iy aniezależne,tos a nieskorelowane (lecz nie na odwrót!). Uwaga Także łatwo zauważyć, że dla dowolnych funkcji Borelowskich g,h:r Rmamy: Eg(X)h(X)=Eg(X)Eh(X)podwarunkiem,żeoczywíscieobiecałkimaj a sens. Okazuje się(dowód pomijamy), że jeśli dla dowolnych ci agłychiograniczonychfunkcjig,h:r R,zmiennelosoweg(X)ih(Y)s a nieskorelowanetozmiennelosowex iy s a niezależne. 6. Σ X =E(X EX)(X EX) T,E(XX T )=[X i X j ] i,j=1,...,n, jeślix=[x 1,...,X n ] T 7. macierzeσ X,E(XX T )s a symetryczne i dodatnio półokreślone. 8. Σ X+b =Σ X dlakażdegob R n. Dowódtegofaktujestoczywisty. 9. Σ AX =AΣ X A T dladowolnejmacierzyaowymiarzem n. Wszczególnościdlam=1mamyrówności: 1. V( n i=1 a ix i ) = V(a T X) = a T Σ X a = n i,j=1 a ia j cov(x i X j ) dla X = [X 1,...,X n ] T,a=[a 1,...,a n ] T. Jeślizaśdodatkowozałożyćn=1

11 1.4. ZAGADNIENIE PRZYBLIŻANIA JEDNYCH ZMIENNYCH LOSOWYCH PRZEZ INNE.7 11.V(X+b)=V(X),V(aX)=a 2 V(X)dlaa,b R Definicja1.3. Wielkośćρ i,j = cov(x i,x j ) gdziei,j=1,...,njestwspółczyn- V(Xi)V(X j) nikiemkorelacjizmiennychlosowychx i ix j. MacierzΘ=[ρ i,j ] i,j=1,...,n zwana jest macierza korelacyjna wektora losowego X. Jeśli X jest n wymiarow a zmienn a losow a, i Y- m- wymiarow a zmienn a losowato,macierz a kowariancji wzajemnej wektora losowego X i Y nazywamy macierzσ XY =[cov(x i,x j )] i=1,...,n;j=1,...,m. 12. Σ XY =E(X EX)(Y EY) T. 13. Jeśli X jest n- [ wymiarow ] a zmienn a losow a, Y- m-wymiarow a zmienn a X losowaiz=,to Y [ ] [ ] EX ΣX Σ EZ=,Σ EY Z = XY. Σ YX Σ Y Interpretacje wartości oczekiwanej i wariancji Nierówności Markowa, Czebyszewa Niech X będzie jedno wymiarowa zmienn alosow a, dla której EX iv(x)istniej a,zaśy nieujemn azmienn alosow a,tak a,żeey istnieje. EY ε P(Y ε). (1.3.) Jest to tak zwana nierówność Markowa. Aby dostać nierówność Czebyszewa z nierówności Markowa połóżmy Y = (X EX) 2 i ε = k 2 V(X) i odejmijmy obie strony (1.3.) od 1. Dostaniemy wówczasdlakażdegok R + nierówność: P ( X EX <k ) V(X) Nierówność ta nosi nazwę nierówności Czebyszewa. >1 1 k2. (1.3.6) 1.4 Zagadnienie przybliżania jednych zmiennych losowych przez inne. NiechX,Y 1,...,Y n będ al 2 -zmiennymilosowym. Rozważmysekwencjęnastępuj acych problemów przybliżania jednych zmiennych losowych funkcjami innych. 1. min c R E(X c) 2. Rozwiazanie: c opt =EX, minimalnybł adprzybliżenia: E(X c opt ) 2 = var(x).

12 8 WYKŁAD 1. WSTEP I PRELIMINARIA. 2. min a,b R E(X b ay 1 ) 2. Rozwiazanie: a opt = cov(x,y1) var(y 1), b opt = EX a opt EY 1, minimalny bł ad przybliżenia E(X b opt a opt EY 1 ) 2 = var(x)(1 ρ 2 X,Y 1 ) = var(x) cov 2 (X,Y 1) var(y 1 ). 3. Uogólnieniepunktu2. min b,a1,...,a n RE(X b a 1 Y 1 a n Y n ) 2 = min b R,a R ne(x b a T Y) 2,gdzieoznaczonoa T =(a 1,...,a n ),Y T = (Y 1,...,Y n ). Rozwiazanie: a opt =Σ 1 Y Σ YX,b=EX a T opty, minimalny bł ad przybliżenia: E(X b a T opty) 2 =var(x) Σ XY Σ 1 Y Σ YX. 4. min Y F E(X Y) 2 gdzief jestpewnymσ-ciałem. Abyrozwi azać to zagadnienie potrzeba wprowadzić pojęcie warunkowej wartości oczekiwanej.