Analiza szeregów czasowych: 7. Liniowe modele stochastyczne

Analiza szeregów czasowych: 7. Liniowe modele stochastyczne P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ semestr letni 2005/06

Liniowe modele stochastyczne Niech {y n } N n=1 będzie pewnym ciagiem danych pomiarowych. Nie znamy mechanizmu, który wygenerował ten szereg. Przypuszczamy, że jest on mocno zaszumiony. Jeżeli szereg {y n } N n=1 jest stacjonarny, próbujemy przedstawić go w postaci y n = β 1 y n 1 + β 2 y n 2 + + β p y n p + α 0 η n + α 1 η n 1 + + α q η n q, (1) gdzie {η k } jest białym szumem. Model (1) próbuje przedstawić rzeczywisty szereg czasowy w postaci odfiltrowanego białego szumu. Proces (1) nazywam procesem ARMA(p, q) (AutoRegressive Moving Average autoregresywny proces średniej ruchomej). W ogólności zamiast białego szumu, szereg {η k } mógłby być dowolnym stacjonarnym sygnałem o znanych własnościach. 7. Liniowe modele stochastyczne 2

Przykład procesu ARMA(3,2) 5 4 white noise ARMA(3,2) 3 2 1 0-1 -2-3 -4-5 -6 50 100 150 200 250 n 7. Liniowe modele stochastyczne 3

Funkcja korelacji W teorii funkcję korelacji wylicza się średniujac po realizacjach procesu stochastycznego, który odpowiada za wygenerowanie tego szeregu: ρ(i) = 1 N i N j=i+1 y j i y j / 1 N N yj 2 j=1 W praktyce mamy dana tylko jedna realizację naszego szeregu i dlatego obliczona funkcja korelacji może się różnić od wartości teoretycznej. (2) 7. Liniowe modele stochastyczne 4

Funkcja korelacji powyższego procesu 1.0 0.9 pojedyncza realizacja 0.8 0.7 0.6 ρ(j) 0.5 0.4 0.3 0.2 0.1 0.0 0 8 16 24 32 j 7. Liniowe modele stochastyczne 5

Widmo mocy powyższego procesu 10 0 pojedyncza realizacja wiele realizacji 10-1 10-2 P(f) 10-3 10-4 10-5 10-6 2-6 2-5 2-4 2-3 2-2 2-1 f 7. Liniowe modele stochastyczne 6

Warunek stacjonarności procesu ARMA Proces (1) ma postać filtru IIR, a zatem Proces (1) jest stacjonarny wtedy i tylko wtedy gdy pierwiastki równania λ p β 1 λ p 1 β 2 λ p 2 β p = 0 (3) leża wewnatrz okręgu jednostkowego. 7. Liniowe modele stochastyczne 7

Procesy autoregresywne AR(p) Jeżeli proces ARMA nie ma średniowania szumu, nazywamy go procesem autoregresywnym: y n = β 1 y n 1 + β 2 y n 2 + + β p y n p + α 0 η n. (4) Aby obliczyć jego funkcję autokorelacji, mnożę (4) przez y n m i średniuję po realizacjiach szumu: y n m y n = β 1 y n m y n 1 + + β p yn m y n p + α0 y n m η n. (5) Ostatni człon w (5) znika, gdyż y n m nie może zależeć od późniejszego od siebie szumu. 7. Liniowe modele stochastyczne 8

Dzielac (5) przez wariancję yn 2, dostajemy równanie na funkcję korelacji procesu AR(p): ρ m = β 1 ρ m 1 + β 2 ρ m 2 + + β p ρ m p (6) Z teorii równań różnicowych wiemy, że rozwiazanie równania różnicowego (6) ma postać ρ m = p j=1 A j λ m j, (7) gdzie λ j sa rozwiazaniami równania (3). Z uwagi na wymaganie stabilności, j : λ j < 1, a zatem możemy napisać λ j = e τ je 2πif j, gdzie j : τ j > 0. 7. Liniowe modele stochastyczne 9

Funkcja korelacji procesu autoregresywnego Ponieważ równanie (3) ma współczynniki rzeczywiste, jego pierwiastki sa albo rzeczywiste, albo parami sprzężone. Wobec tego stałe A j można dobrać tak, aby ρ m było rzeczywiste. Ostatecznie stwierdzamy, że Funkcja korelacji procesu autoregresywnego ma postać kombinacji liniowej zanikajacych eksponent i tłumionych sinusoid: ρ m = A j e mτ j + Aj e mτ j sin(2πf j m + φ j ). (8) 7. Liniowe modele stochastyczne 10

Widmo procesu autoregresywnego Widmo procesu autoregresywnego otrzymujemy natychmiast z funkcji przejścia odpowiedniego filtru: P (f) = 1 p n=1 α 2 0 β n e 2πinf 2, 0 f 1 2,. (9) 7. Liniowe modele stochastyczne 11

Równania Yule a-walkera W równaniu (6) podstawmy m = 1. Dostaniemy ρ 1 = β 1 ρ 1 1 + β 2 ρ1 2 +... β p ρ 1 p = β 1 + β 2 ρ 1 +... β p ρ p 1, (10) gdyż na mocy stacjonarności ρ j = ρ j. Jeżeli zrobimy tak dla m = 1,..., p, dostaniemy równania Yule a-walkera: 1 ρ 1 ρ 2 ρ p 1 ρ 1. 1. ρ 1. ρ p 2. ρ p 1 ρ p 2 ρ p 3 1 β 1 β 2. β p = ρ 1 ρ 2. ρ p. (11) 7. Liniowe modele stochastyczne 12

Teoretycznie, znajac funkcję korelacji ρ m, możemy stad obliczyć parametry procesu β j. W praktyce nie znamy funkcji korelacji ρ m, możemy tylko używać korelacji doświadczalnej, wyliczonej z jedynej znanej nam realizacji procesu: r m = 1 N m N i=m+1 y i m y i / 1 N N yi 2 i=1. (12) r m podstawiamy do równania Yule a-walkera (11), skad wyliczamy przybliżone wartości współczynników β i. Jest jednak poważny problem: Skad mamy wiedzieć jaki jest rzad procesu, czyli jaki jest rozmiar układu równań (11)? 7. Liniowe modele stochastyczne 13

Funkcja autokorelacji czastkowej Funkcja autokorelacji procesu AR(p) ma rozwinięcie nieskończone, zależy jednak od p liniowo niezależnych funkcji. Załóżmy, że proces jest rzędu k. Wówczas równania Yule a-walkera maja postać 1 ρ 1 ρ 2 ρ k 1 ρ 1. 1. ρ 1. ρ k 2. ρ k 1 ρ k 2 ρ k 3 1 ϕ k1 ϕ k2. ϕ kk = ρ 1 ρ 2. ρ k. (13) ϕ kk nazywam funkcja autokorelacji czastkowej. Dla procesu AR rzędu p, ϕ kk 0 dla k p i ϕ kk 0 dla k > p. W praktyce zamiast ρ m używamy r m, co oczywiście utrudnia podjęcie decyzji o rzędzie procesu 7. Liniowe modele stochastyczne 14

Przykład 5 4 Pewien proces AR 1 correlations partial correlations 3 0.8 2 1 0.6 0 0.4-1 -2 0.2-3 -4 0 64 128 192 256 0 0 2 4 6 8 10 12 14 16 Parametry wyestymowane: p = 3: β 1 = 0.415, β 2 = 0.003, β 3 = 0.470 p = 4: β 1 = 0.474, β 2 = 0.149, β 3 = 0.530, β 4 = 0.015 Parametry prawdziwe : p = 3: β 1 = 0.500, β 2 = 0.125, β 3 = 0.500 7. Liniowe modele stochastyczne 15

Proces AR(1) y n = β 1 y n 1 + α 0 η n (14) 1 < β 1 < 1. Funkcja korelacji (m > 0): y n y n m = β 1 y n 1 y n m + α 0 η n y n m (15) ρ m = β 1 ρ m 1 (16) ρ m = β 1 m = (sgn(β 1 )) m e m ln β 1 (17) 7. Liniowe modele stochastyczne 16

y n = 0.75y n 1 + η n 4 AR(1) "a" GWN 2 0-2 -4 20 40 60 80 100 120 7. Liniowe modele stochastyczne 17

1 N=2 7 N=2 14 0.5 0-0.5-1 0 2 4 6 8 10 12 14 7. Liniowe modele stochastyczne 18

y n = 0.75y n 1 + η n 4 AR(1) "b" GWN 2 0-2 -4 20 40 60 80 100 120 7. Liniowe modele stochastyczne 19

Proces AR(2) Postępujac jak poprzednio y n = β 1 y n 1 + β 2 y n 2 + α 0 η n (18) ρ i = β 1 ρ i 1 + β 2 ρ i 2 (19) Rozwiazaniem jest albo suma dwu członów zanikajacych potęgowo ( dwie eksponenty ), albo pewne zanikajace rozwiazanie znakozmienne ( drgania tłumione ). To, że korelacja zanika, jest zagwarantowane przez warunki stacjonarności. 7. Liniowe modele stochastyczne 21

y n = 0.75y n 1 0.05y n 2 + η n 4 AR(2) "a" GWN 2 0-2 -4 20 40 60 80 100 120 7. Liniowe modele stochastyczne 22

y n = 0.75y n 1 0.5y n 2 + η n 4 AR(2) "b" GWN 2 0-2 -4 20 40 60 80 100 120 7. Liniowe modele stochastyczne 24

Procesy średniej ruchomej MA(q) Dla procesu y n = α 0 η n + α 1 η n 1 + + α q η n q (20) otrzymujemy y n y n i = Funkcja korelacji urywa się dla i > q: ρ i = q j=0 α i +α 1 α i 1 + +α q i α q 1+α 2 1 + +α2 q α j ηn j y n i 0 i > q Funkcja autokorelacji czastkowej zanika. i = 1, 2,..., q (21) (22) 7. Liniowe modele stochastyczne 26

y n = 0.25η n + 0.5η n 1 + 0.25η n 2 4 MA(3) "a" GWN 2 0-2 -4 20 40 60 80 100 120 7. Liniowe modele stochastyczne 27

y n = 0.25η n + 0.5η n 1 + 0.25η n 2 4 MA(3) "b" GWN 2 0-2 -4 20 40 60 80 100 120 7. Liniowe modele stochastyczne 29

Procesy ARMA(p, q) Warunkiem stacjonarności procesu ARMA jest stacjonarność części autoregresywnej. Widmo procesu ARMA otrzymujemy z funkcji przejścia odpowiedniego filtru IIR: P (f) = q n=0 1 p n=1 α n e 2πinf β n e 2πinf 2, 0 f 1 2. (23) 7. Liniowe modele stochastyczne 31

y n = 0.75y n 1 + 0.25η n + 0.5η n 1 + 0.25η n 2 4 ARMA(1,3) GWN 2 0-2 -4 20 40 60 80 100 120 7. Liniowe modele stochastyczne 32

Kryteria identyfikacji rzędu procesu Rodzaj procesu Fukcja autokorelacji Funkcja autokorelacji czastkowej AR(p) zanika (nieskończona) urywa się (skończona) MA(q) urywa się (skończona) zanika (nieskończona) ARMA(p,q) zanika (nieskończona) zanika (nieskończona) 7. Liniowe modele stochastyczne 34