Analiza szeregów czasowych: 7. Liniowe modele stochastyczne

Transkrypt

1 Analiza szeregów czasowych: 7. Liniowe modele stochastyczne P. F. Góra semestr letni 2005/06

2 Liniowe modele stochastyczne Niech {y n } N n=1 będzie pewnym ciagiem danych pomiarowych. Nie znamy mechanizmu, który wygenerował ten szereg. Przypuszczamy, że jest on mocno zaszumiony. Jeżeli szereg {y n } N n=1 jest stacjonarny, próbujemy przedstawić go w postaci y n = β 1 y n 1 + β 2 y n β p y n p + α 0 η n + α 1 η n α q η n q, (1) gdzie {η k } jest białym szumem. Model (1) próbuje przedstawić rzeczywisty szereg czasowy w postaci odfiltrowanego białego szumu. Proces (1) nazywam procesem ARMA(p, q) (AutoRegressive Moving Average autoregresywny proces średniej ruchomej). W ogólności zamiast białego szumu, szereg {η k } mógłby być dowolnym stacjonarnym sygnałem o znanych własnościach. 7. Liniowe modele stochastyczne 2

3 Przykład procesu ARMA(3,2) 5 4 white noise ARMA(3,2) n 7. Liniowe modele stochastyczne 3

4 Funkcja korelacji W teorii funkcję korelacji wylicza się średniujac po realizacjach procesu stochastycznego, który odpowiada za wygenerowanie tego szeregu: ρ(i) = 1 N i N j=i+1 y j i y j / 1 N N yj 2 j=1 W praktyce mamy dana tylko jedna realizację naszego szeregu i dlatego obliczona funkcja korelacji może się różnić od wartości teoretycznej. (2) 7. Liniowe modele stochastyczne 4

5 Funkcja korelacji powyższego procesu pojedyncza realizacja ρ(j) j 7. Liniowe modele stochastyczne 5

6 Widmo mocy powyższego procesu 10 0 pojedyncza realizacja wiele realizacji P(f) f 7. Liniowe modele stochastyczne 6

7 Warunek stacjonarności procesu ARMA Proces (1) ma postać filtru IIR, a zatem Proces (1) jest stacjonarny wtedy i tylko wtedy gdy pierwiastki równania λ p β 1 λ p 1 β 2 λ p 2 β p = 0 (3) leża wewnatrz okręgu jednostkowego. 7. Liniowe modele stochastyczne 7

8 Procesy autoregresywne AR(p) Jeżeli proces ARMA nie ma średniowania szumu, nazywamy go procesem autoregresywnym: y n = β 1 y n 1 + β 2 y n β p y n p + α 0 η n. (4) Aby obliczyć jego funkcję autokorelacji, mnożę (4) przez y n m i średniuję po realizacjiach szumu: y n m y n = β 1 y n m y n β p yn m y n p + α0 y n m η n. (5) Ostatni człon w (5) znika, gdyż y n m nie może zależeć od późniejszego od siebie szumu. 7. Liniowe modele stochastyczne 8

9 Dzielac (5) przez wariancję yn 2, dostajemy równanie na funkcję korelacji procesu AR(p): ρ m = β 1 ρ m 1 + β 2 ρ m β p ρ m p (6) Z teorii równań różnicowych wiemy, że rozwiazanie równania różnicowego (6) ma postać ρ m = p j=1 A j λ m j, (7) gdzie λ j sa rozwiazaniami równania (3). Z uwagi na wymaganie stabilności, j : λ j < 1, a zatem możemy napisać λ j = e τ je 2πif j, gdzie j : τ j > Liniowe modele stochastyczne 9

10 Funkcja korelacji procesu autoregresywnego Ponieważ równanie (3) ma współczynniki rzeczywiste, jego pierwiastki sa albo rzeczywiste, albo parami sprzężone. Wobec tego stałe A j można dobrać tak, aby ρ m było rzeczywiste. Ostatecznie stwierdzamy, że Funkcja korelacji procesu autoregresywnego ma postać kombinacji liniowej zanikajacych eksponent i tłumionych sinusoid: ρ m = A j e mτ j + Aj e mτ j sin(2πf j m + φ j ). (8) 7. Liniowe modele stochastyczne 10

11 Widmo procesu autoregresywnego Widmo procesu autoregresywnego otrzymujemy natychmiast z funkcji przejścia odpowiedniego filtru: P (f) = 1 p n=1 α 2 0 β n e 2πinf 2, 0 f 1 2,. (9) 7. Liniowe modele stochastyczne 11

12 Równania Yule a-walkera W równaniu (6) podstawmy m = 1. Dostaniemy ρ 1 = β 1 ρ β 2 ρ β p ρ 1 p = β 1 + β 2 ρ β p ρ p 1, (10) gdyż na mocy stacjonarności ρ j = ρ j. Jeżeli zrobimy tak dla m = 1,..., p, dostaniemy równania Yule a-walkera: 1 ρ 1 ρ 2 ρ p 1 ρ ρ 1. ρ p 2. ρ p 1 ρ p 2 ρ p 3 1 β 1 β 2. β p = ρ 1 ρ 2. ρ p. (11) 7. Liniowe modele stochastyczne 12

13 Teoretycznie, znajac funkcję korelacji ρ m, możemy stad obliczyć parametry procesu β j. W praktyce nie znamy funkcji korelacji ρ m, możemy tylko używać korelacji doświadczalnej, wyliczonej z jedynej znanej nam realizacji procesu: r m = 1 N m N i=m+1 y i m y i / 1 N N yi 2 i=1. (12) r m podstawiamy do równania Yule a-walkera (11), skad wyliczamy przybliżone wartości współczynników β i. Jest jednak poważny problem: Skad mamy wiedzieć jaki jest rzad procesu, czyli jaki jest rozmiar układu równań (11)? 7. Liniowe modele stochastyczne 13

14 Funkcja autokorelacji czastkowej Funkcja autokorelacji procesu AR(p) ma rozwinięcie nieskończone, zależy jednak od p liniowo niezależnych funkcji. Załóżmy, że proces jest rzędu k. Wówczas równania Yule a-walkera maja postać 1 ρ 1 ρ 2 ρ k 1 ρ ρ 1. ρ k 2. ρ k 1 ρ k 2 ρ k 3 1 ϕ k1 ϕ k2. ϕ kk = ρ 1 ρ 2. ρ k. (13) ϕ kk nazywam funkcja autokorelacji czastkowej. Dla procesu AR rzędu p, ϕ kk 0 dla k p i ϕ kk 0 dla k > p. W praktyce zamiast ρ m używamy r m, co oczywiście utrudnia podjęcie decyzji o rzędzie procesu 7. Liniowe modele stochastyczne 14

15 Przykład 5 4 Pewien proces AR 1 correlations partial correlations Parametry wyestymowane: p = 3: β 1 = 0.415, β 2 = 0.003, β 3 = p = 4: β 1 = 0.474, β 2 = 0.149, β 3 = 0.530, β 4 = Parametry prawdziwe : p = 3: β 1 = 0.500, β 2 = 0.125, β 3 = Liniowe modele stochastyczne 15

16 Proces AR(1) y n = β 1 y n 1 + α 0 η n (14) 1 < β 1 < 1. Funkcja korelacji (m > 0): y n y n m = β 1 y n 1 y n m + α 0 η n y n m (15) ρ m = β 1 ρ m 1 (16) ρ m = β 1 m = (sgn(β 1 )) m e m ln β 1 (17) 7. Liniowe modele stochastyczne 16

17 y n = 0.75y n 1 + η n 4 AR(1) "a" GWN Liniowe modele stochastyczne 17

18 1 N=2 7 N= Liniowe modele stochastyczne 18

19 y n = 0.75y n 1 + η n 4 AR(1) "b" GWN Liniowe modele stochastyczne 19

20 1 N=2 7 N= Liniowe modele stochastyczne 20

21 Proces AR(2) Postępujac jak poprzednio y n = β 1 y n 1 + β 2 y n 2 + α 0 η n (18) ρ i = β 1 ρ i 1 + β 2 ρ i 2 (19) Rozwiazaniem jest albo suma dwu członów zanikajacych potęgowo ( dwie eksponenty ), albo pewne zanikajace rozwiazanie znakozmienne ( drgania tłumione ). To, że korelacja zanika, jest zagwarantowane przez warunki stacjonarności. 7. Liniowe modele stochastyczne 21

22 y n = 0.75y n y n 2 + η n 4 AR(2) "a" GWN Liniowe modele stochastyczne 22

23 1 N=2 7 N= Liniowe modele stochastyczne 23

24 y n = 0.75y n 1 0.5y n 2 + η n 4 AR(2) "b" GWN Liniowe modele stochastyczne 24

25 1 N=2 7 N= Liniowe modele stochastyczne 25

26 Procesy średniej ruchomej MA(q) Dla procesu y n = α 0 η n + α 1 η n α q η n q (20) otrzymujemy y n y n i = Funkcja korelacji urywa się dla i > q: ρ i = q j=0 α i +α 1 α i 1 + +α q i α q 1+α α2 q α j ηn j y n i 0 i > q Funkcja autokorelacji czastkowej zanika. i = 1, 2,..., q (21) (22) 7. Liniowe modele stochastyczne 26

27 y n = 0.25η n + 0.5η n η n 2 4 MA(3) "a" GWN Liniowe modele stochastyczne 27

28 1 N=2 7 N= Liniowe modele stochastyczne 28

29 y n = 0.25η n + 0.5η n η n 2 4 MA(3) "b" GWN Liniowe modele stochastyczne 29

30 1 N=2 7 N= Liniowe modele stochastyczne 30

31 Procesy ARMA(p, q) Warunkiem stacjonarności procesu ARMA jest stacjonarność części autoregresywnej. Widmo procesu ARMA otrzymujemy z funkcji przejścia odpowiedniego filtru IIR: P (f) = q n=0 1 p n=1 α n e 2πinf β n e 2πinf 2, 0 f 1 2. (23) 7. Liniowe modele stochastyczne 31

32 y n = 0.75y n η n + 0.5η n η n 2 4 ARMA(1,3) GWN Liniowe modele stochastyczne 32

33 1 N=2 7 N= Liniowe modele stochastyczne 33

34 Kryteria identyfikacji rzędu procesu Rodzaj procesu Fukcja autokorelacji Funkcja autokorelacji czastkowej AR(p) zanika (nieskończona) urywa się (skończona) MA(q) urywa się (skończona) zanika (nieskończona) ARMA(p,q) zanika (nieskończona) zanika (nieskończona) 7. Liniowe modele stochastyczne 34