Analiza szeregów czasowych: 5. Liniowe modele stochastyczne

Analiza szeregów czasowych: 5. Liniowe modele stochastyczne P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ semestr letni 2006/07

Dwa rodzaje modelowania 1. Modelowanie z pierwszych zasad. Znamy prawa rzadz ace jakimś zjawiskiem (fizycznym, biologicznym, procesem społecznym), na ich podstawie, dokonujac odpowiednich idealizacji, tworzymy model szczegółowy. Często uwzględniamy zaburzenie stochastyczne. 2. Modelowanie stochastyczne. Nie znamy praw rzadz acych jakimś procesem, znamy tylko szereg czasowy będacy wynikiem tego procesu. Wiemy lub zakładamy przy tym, iż w procesie uczestniczy bardzo wielu agentów, którzy dokonuja przypadkowych decyzji, ale jakiś mechanizm sprawia, że wynikowy, uśredniony proces wykazuje pewne regularności. Obserwujac owe regularności w szeregu czasowym, chcemy poznać pewne charakterystyki mechanizmu odpowiedzialnego za jego wygenerowanie. 5. Liniowe modele stochastyczne 2

Liniowe modele stochastyczne Niech {y n } N n=1 będzie pewnym ciagiem danych pomiarowych. Nie znamy mechanizmu, który wygenerował ten szereg. Przypuszczamy, że jest on mocno zaszumiony. Jeżeli szereg {y n } N n=1 jest stacjonarny, próbujemy przedstawić go w postaci y n = β 1 y n 1 + β 2 y n 2 + + β p y n p + α 0 η n + α 1 η n 1 + + α q η n q, (1) gdzie {η k } jest białym szumem. Model (1) próbuje przedstawić rzeczywisty szereg czasowy w postaci odfiltrowanego białego szumu. Proces (1) nazywam procesem ARMA(p, q) (AutoRegressive Moving Average autoregresywny proces średniej ruchomej). W ogólności zamiast białego szumu, szereg {η k } mógłby być dowolnym stacjonarnym sygnałem o znanych własnościach. 5. Liniowe modele stochastyczne 3

Przykład procesu ARMA(3,2) 5 4 white noise ARMA(3,2) 3 2 1 0-1 -2-3 -4-5 -6 50 100 150 200 250 n 5. Liniowe modele stochastyczne 4

Funkcja korelacji W teorii funkcję korelacji wylicza się średniujac po realizacjach procesu stochastycznego, który odpowiada za wygenerowanie tego szeregu: ρ(i) = 1 N i N j=i+1 y j i y j / 1 N N yj 2 j=1 W praktyce mamy dana tylko jedna realizację naszego szeregu i dlatego obliczona funkcja korelacji może się różnić od wartości teoretycznej. (2) 5. Liniowe modele stochastyczne 5

Funkcja korelacji powyższego procesu 1.0 0.9 pojedyncza realizacja 0.8 0.7 0.6 ρ(j) 0.5 0.4 0.3 0.2 0.1 0.0 0 8 16 24 32 j 5. Liniowe modele stochastyczne 6

Widmo mocy powyższego procesu 10 0 pojedyncza realizacja wiele realizacji 10-1 10-2 P(f) 10-3 10-4 10-5 10-6 2-6 2-5 2-4 2-3 2-2 2-1 f 5. Liniowe modele stochastyczne 7

Warunek stacjonarności procesu ARMA Proces (1) ma postać filtru IIR, a zatem Proces (1) jest stacjonarny wtedy i tylko wtedy gdy pierwiastki równania λ p β 1 λ p 1 β 2 λ p 2 β p = 0 (3) leża wewnatrz okręgu jednostkowego. 5. Liniowe modele stochastyczne 8

Procesy autoregresywne AR(p) Jeżeli proces ARMA nie ma średniowania szumu, nazywamy go procesem autoregresywnym: y n = β 1 y n 1 + β 2 y n 2 + + β p y n p + α 0 η n. (4) Aby obliczyć jego funkcję autokorelacji, mnożę (4) przez y n m i średniuję po realizacjiach szumu: y n m y n = β 1 y n m y n 1 + + β p yn m y n p + α0 y n m η n. (5) Ostatni człon w (5) znika, gdyż y n m nie może zależeć od późniejszego od siebie szumu. 5. Liniowe modele stochastyczne 9

Dzielac (5) przez wariancję yn 2, dostajemy równanie na funkcję korelacji procesu AR(p): ρ m = β 1 ρ m 1 + β 2 ρ m 2 + + β p ρ m p (6) Z teorii równań różnicowych wiemy, że rozwiazanie równania różnicowego (6) ma postać ρ m = p j=1 A j λ m j, (7) gdzie λ j sa rozwiazaniami równania (3). Z uwagi na wymaganie stabilności, j : λ j < 1, a zatem możemy napisać λ j = e τ je 2πif j, gdzie j : τ j > 0. 5. Liniowe modele stochastyczne 10

Funkcja korelacji procesu autoregresywnego Ponieważ równanie (3) ma współczynniki rzeczywiste, jego pierwiastki sa albo rzeczywiste, albo parami sprzężone. Wobec tego stałe A j można dobrać tak, aby ρ m było rzeczywiste. Ostatecznie stwierdzamy, że Funkcja korelacji procesu autoregresywnego ma postać kombinacji liniowej zanikajacych eksponent i tłumionych sinusoid: ρ m = A j e mτ j + Aj e mτ j sin(2πf j m + φ j ). (8) 5. Liniowe modele stochastyczne 11

Widmo procesu autoregresywnego Widmo procesu autoregresywnego otrzymujemy natychmiast z funkcji przejścia odpowiedniego filtru: P (f) = 1 p n=1 α 2 0 β n e 2πinf 2, 0 f 1 2,. (9) 5. Liniowe modele stochastyczne 12

Równania Yule a-walkera W równaniu (6) podstawmy m = 1. Dostaniemy ρ 1 = β 1 ρ 1 1 + β 2 ρ 1 2 +... β p ρ 1 p = β 1 + β 2 ρ 1 +... β p ρ p 1, (10) gdyż na mocy stacjonarności ρ j = ρ j. Jeżeli zrobimy tak dla m = 1,..., p, dostaniemy równania Yule a-walkera: 1 ρ 1 ρ 2 ρ p 1 ρ 1. 1. ρ 1. ρ p 2. ρ p 1 ρ p 2 ρ p 3 1 β 1 β 2. β p = ρ 1 ρ 2. ρ p. (11) 5. Liniowe modele stochastyczne 13

Teoretycznie, znajac funkcję korelacji ρ m, możemy stad obliczyć parametry procesu β j. W praktyce nie znamy funkcji korelacji ρ m, możemy tylko używać korelacji doświadczalnej, wyliczonej z jedynej znanej nam realizacji procesu: r m = 1 N m N i=m+1 y i m y i / 1 N N yi 2 i=1. (12) r m podstawiamy do równania Yule a-walkera (11), skad wyliczamy przybliżone wartości współczynników β i. Jest jednak poważny problem: Skad mamy wiedzieć jaki jest rzad procesu, czyli jaki jest rozmiar układu równań (11)? 5. Liniowe modele stochastyczne 14

Funkcja autokorelacji czastkowej Funkcja autokorelacji procesu AR(p) ma rozwinięcie nieskończone, zależy jednak od p liniowo niezależnych funkcji. Załóżmy, że proces jest rzędu k. Wówczas równania Yule a-walkera maja postać 1 ρ 1 ρ 2 ρ k 1 ρ 1. 1. ρ 1. ρ k 2. ρ k 1 ρ k 2 ρ k 3 1 ϕ k1 ϕ k2. ϕ kk = ρ 1 ρ 2. ρ k. (13) ϕ kk nazywam funkcja autokorelacji czastkowej. Dla procesu AR rzędu p, ϕ kk 0 dla k p i ϕ kk 0 dla k > p. W praktyce zamiast ρ m używamy r m, co oczywiście utrudnia podjęcie decyzji o rzędzie procesu 5. Liniowe modele stochastyczne 15

Przykład 5 4 Pewien proces AR 1 correlations partial correlations 3 0.8 2 1 0.6 0 0.4-1 -2 0.2-3 -4 0 64 128 192 256 0 0 2 4 6 8 10 12 14 16 Parametry wyestymowane: p = 3: β 1 = 0.415, β 2 = 0.003, β 3 = 0.470 p = 4: β 1 = 0.474, β 2 = 0.149, β 3 = 0.530, β 4 = 0.015 Parametry prawdziwe : p = 3: β 1 = 0.500, β 2 = 0.125, β 3 = 0.500 5. Liniowe modele stochastyczne 16

Proces AR(1) y n = β 1 y n 1 + α 0 η n (14) 1 < β 1 < 1. Funkcja korelacji (m > 0): y n y n m = β 1 y n 1 y n m + α 0 η n y n m (15) ρ m = β 1 ρ m 1 (16) ρ m = β 1 m = (sgn(β 1 )) m e m ln β 1 (17) 5. Liniowe modele stochastyczne 17

y n = 0.75y n 1 + η n 4 AR(1) "a" GWN 2 0-2 -4 20 40 60 80 100 120 5. Liniowe modele stochastyczne 18

1 N=2 7 N=2 14 0.5 0-0.5-1 0 2 4 6 8 10 12 14 5. Liniowe modele stochastyczne 19

y n = 0.75y n 1 + η n 4 AR(1) "b" GWN 2 0-2 -4 20 40 60 80 100 120 5. Liniowe modele stochastyczne 20

Proces AR(2) Postępujac jak poprzednio y n = β 1 y n 1 + β 2 y n 2 + α 0 η n (18) ρ i = β 1 ρ i 1 + β 2 ρ i 2 (19) Rozwiazaniem jest albo suma dwu członów zanikajacych potęgowo ( dwie eksponenty ), albo pewne zanikajace rozwiazanie znakozmienne ( drgania tłumione ). To, że korelacja zanika, jest zagwarantowane przez warunki stacjonarności. 5. Liniowe modele stochastyczne 22

y n = 0.75y n 1 0.05y n 2 + η n 4 AR(2) "a" GWN 2 0-2 -4 20 40 60 80 100 120 5. Liniowe modele stochastyczne 23

y n = 0.75y n 1 0.5y n 2 + η n 4 AR(2) "b" GWN 2 0-2 -4 20 40 60 80 100 120 5. Liniowe modele stochastyczne 25

Procesy średniej ruchomej MA(q) Dla procesu y n = α 0 η n + α 1 η n 1 + + α q η n q (20) otrzymujemy y n y n i = Funkcja korelacji urywa się dla i > q: ρ i = q j=0 α i +α 1 α i 1 + +α q i α q 1+α 2 1 + +α2 q α j ηn j y n i 0 i > q Funkcja autokorelacji czastkowej zanika. i = 1, 2,..., q (21) (22) 5. Liniowe modele stochastyczne 27

y n = 0.25η n + 0.5η n 1 + 0.25η n 2 4 MA(3) "a" GWN 2 0-2 -4 20 40 60 80 100 120 5. Liniowe modele stochastyczne 28

y n = 0.25η n + 0.5η n 1 + 0.25η n 2 4 MA(3) "b" GWN 2 0-2 -4 20 40 60 80 100 120 5. Liniowe modele stochastyczne 30

Procesy ARMA(p, q) Warunkiem stacjonarności procesu ARMA jest stacjonarność części autoregresywnej. Widmo procesu ARMA otrzymujemy z funkcji przejścia odpowiedniego filtru IIR: P (f) = q n=0 1 p n=1 α n e 2πinf β n e 2πinf 2, 0 f 1 2. (23) 5. Liniowe modele stochastyczne 32

y n = 0.75y n 1 + 0.25η n + 0.5η n 1 + 0.25η n 2 4 ARMA(1,3) GWN 2 0-2 -4 20 40 60 80 100 120 5. Liniowe modele stochastyczne 33

Kryteria identyfikacji rzędu procesu Rodzaj procesu Fukcja autokorelacji Funkcja autokorelacji czastkowej AR(p) zanika (nieskończona) urywa się (skończona) MA(q) urywa się (skończona) zanika (nieskończona) ARMA(p,q) zanika (nieskończona) zanika (nieskończona) 5. Liniowe modele stochastyczne 35