Prognozowanie i Symulacje. Wykład VI. Niestacjonarne szeregi czasowe

Transkrypt

1 Prognozowanie i Symulacje. Wykład VI. e.kozlovski@pollub.pl

2 Spis treści Analiza stacjonarności szeregów czasowych 1 Analiza stacjonarności szeregów czasowych Modele niestacjonarne Szeregi TS i DS 2 Test DF Test ADF Test KPSS 3 4 Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA

3 Modele niestacjonarne Modele niestacjonarne Szeregi TS i DS Niech (Ω, F, P ) będzie przestrzenią probabilistyczną, natomiast {ɛ t } t 1 będzie ciągiem niezależnych zmiennych losowych o rozkładzie normalnym N ( 0, σ 2) (biały szum), gdzie Eɛ t = 0, (1) { σ 2 dla τ = 0 Eɛ t ɛ t±τ = 0 dla τ 0. (2) Na przestrzeni probabilistycznej (Ω, F, P ) definiujemy rodzinę σ ciał F j = σ {ɛ i : i = 0, 1,..., j}. Niech dany jest szereg czasowy {ε t } t 1 postaci AR (1) ε t = aε t 1 + ɛ t. (3) W przyadku gdy a < 1, to powyższy model autoregresji spełnia warunek stacjonarności.powstaje zatem pytanie jak, się zachowują szeregi postaci (3) gdy warunek stacjonarności nie jest spełniony.

4 Modele niestacjonarne Szeregi TS i DS Rysunek: Symulacje seregów {ε t} 1 t 50 modeli autoregresji rzędu pierwszego dla a {0, 0.3, 0.5, 0.8, 1, 1.1}

5 Modele niestacjonarne Szeregi TS i DS Rysunek: Symulacje seregów {ε t} 1 t 50 modeli autoregresji rzędu pierwszego dla a { 0.5, 0.8, 1, 1.1}

6 Modele niestacjonarne Szeregi TS i DS Model trendu stochastycznego. Poniżej przedstawione zostaną własności procesu błądzenia losowego, który w literaturze przedmiotu jest określany jako model trendu stochastycznego. Niech szereg czasowy {ε t } t 1 jest określony za pomocą równania ε t = ε t 1 + ɛ t. (4) z warunkiem początkowym ε 0 = 0. Szereg czasowy {ε t } t 1 możemy również przedstawić w postaci procesu błądzenia losowego ε t = t ɛ i. i=1 Dla procesu błądzenia losowego wartość oczekiwana wynosi Eε t = t Eɛ i = 0, i=1

7 Modele niestacjonarne Szeregi TS i DS natomiast wariancja [ t ] 2 γ 0 (t) = Eε 2 t = E ɛ i = i=1 t σ 2 = tσ 2. j=1 Kowariancja pomiędzy elementami ε t oraz ε t τ wynosi [ t ] [ t τ ] γ τ (t) = Eε t ε t τ = E ɛ i ɛ i = (t τ) σ 2, natomiast współczynnik korelacji r τ (t) = i=1 i=1 γ τ (t) (t τ) = = γ0 (t) γ 0 (t τ) t (t τ) 1 τ t.

8 Modele niestacjonarne Szeregi TS i DS Zatem wraz ze wzrostem t współczynnik korelacji r τ (t) dąży do 1 lim r 1 (t) = lim t t 1 1 t = 1, co oznacza, że dla dowolnego przesunięcia czasowego τ > 0 sąsiednie elementy ε t i ε t 1 procesu błądzenia losowego są mocno ze sobą skorelowanesą. Dodatkowo współczynnik korelacji jest dodatni, co całkowicie wyjaśnia sposób zachowania procesu błądzenia losowego. W pierwszych krokach trajektoria ókreśla się gdzie będzie się znajdować w ciągu dłuższego okresu, tzn. jeżeli po pierwszych krokach trajektoria błądzenia losowego znajduje się powyżej poziomu zero, to tam pozostanie przez dłuższy okres. Dokonując dłuższej symulacji można zauważyć, że trajektoria procesu błądzenia losowego składa się z długich kawałków, na których realizacje procesu {ε t } t 1 są powyżej lub poniżej poziomu zero.

9 Szeregi TS i DS Analiza stacjonarności szeregów czasowych Modele niestacjonarne Szeregi TS i DS Model I (złożenie trendu deterministycznego i białego szumu). Niech szereg czasowy {ε t } t 1 jest dany wzorem ε t = ε 0 + at + ɛ t, (5) gdzie ε 0 oznacza stan początkowy, natomiast {ɛ t } t 1 jest ciągiem niezależnych zmiennych losowych o rozkładzie normalnym N ( 0, σ 2). Dla każdego t 1 wartość oczekiwana oraz wariancja elementów wynoszą odpowiednio Eε t = ε 0 + at, V ar (ε t ) = E (ε t ε 0 at) 2 = σ 2. Model (5) jest sumą trendu ε 0 + at oraz zaburzeń zewnętrznych ɛ t w postaci białego szumu. Po wydzieleniu z szeregu {ε t } t 1 trendu deterministycznego ε 0 + at otrzymujemy szereg postaci ɛ t = ε t (ε 0 + at), czyli zwykły biały szum, który spełnia własność stacjonarności.

10 Modele niestacjonarne Szeregi TS i DS Model II (błądzenie losowe z dryfem). Niech szereg czasowy {ζ t } t 1 jest dany wzorem ζ t = a + ζ t 1 + ɛ t (6) z warunkiem początkowym ζ 0, gdzie {ɛ t } t 1 jest ciąg niezależnych zmiennych losowych o rozkładzie normalnym N ( 0, σ 2). Szereg czasowy {ζ t } t 1 możemy również przedstawić w postaci ζ t = a + (a + ζ t 2 + ɛ t 1 ) + ɛ t =... = ζ 0 + at + ɛ t + ɛ t ɛ 1 = ζ 0 + at + Dla każdego t 1 wartość oczekiwana również wynosi Eζ t = ζ 0 + at, j=1 ɛ j t ɛ j. j=1 natomiast wariancja elementów szeregu {ζ t } t 1 wynosi 2 t V ar (ζ t ) = E (ζ t ζ 0 at) 2 = E = tσ 2.

11 Modele niestacjonarne Szeregi TS i DS Wariancja elementów szeregu {ζ t } t 1 nie jest stała. W rozważanym przypadku model (5) jest sumą trendu ζ 0 + at oraz sumy zaburzeń zewnętrznych t j=1 ɛ j. Po wydzieleniu z tego szeregu trendu deterministycznego ζ 0 + at otrzymujemy szereg {η t } t 1 postaci η t = ζ t (ζ 0 + at) = t ɛ j. Jest to proces błądzenia losowego proces niestacjonarny. Dla każdego t 1 wartość oczekiwana oraz wariancja sumy zaburzeń zewnętrznych wynoszą Eη t = t E = 0, j=1 ɛ j V ar (η t ) = t V ar j=1 j=1 ɛ j = tσ 2.

12 Modele niestacjonarne Szeregi TS i DS Rysunek: Szeregi {ε t} 0 t 100 i {ζ t} 0 t 100 z warunkiem początkowym ε 0 = ζ 0 = 0.5, współczynnikiem{ kierunkowym/dryfem a = 0.15 oraz biały szum t } {ɛ t} 1 t 100 i błądzenie losowe ɛ j. j=1 1 t 100

13 Modele niestacjonarne Szeregi TS i DS Definicja 1 Szereg czasowy {x t } t 1 jest stacjonarny względem trendu f (t), jeżeli szereg postaci {x t f (t)} t 1 jest stacjonarny, gdzie f ( ) jest funkcją deterministyczną. Klasę szeregów czasowych {x t } t 1 stacjonarnych względem trendu deterministycznego nazywamy klasą TS (trend stationary). Każdy szereg stacjonarny należy do klasy TS (trend deterministyczny występuje w postaci stałej). Stosując operator różnicowy do szeregów {ε t } t 1 postaci (5) i {ζ t } t 1 postaci (6) otrzymujemy ε t = ε t ε t 1 = a + ɛ t ɛ t 1, ζ t = ζ t ζ t 1 = a + ɛ t.

14 Modele niestacjonarne Szeregi TS i DS Każdy z szeregów { ε t } t 2 i { ζ t } t 2 spełnia warunek stacjonarności. Szereg czasowy { ε t } t 2 jest ruchomą średnią rzędu pierwszego MA(1), dla którego warunek odwracalności nie jest spełniony. Szereg czasowy { ζ t } t 2 jest sumą stałej a i białego szumu. Różnicowanie kolejnych elementów szeregu czasowego (zastosowanie operatora ) pozwoliło sprowadzić niestacjonarne szeregi czasowe {ε t } t 1 i {ζ t } t 1 do szeregów stacjonarnych. Wniosek 1 Jeżeli niestacjonarny szereg czasowy posiada dodatkowo trend stochastyczny, to wydzielenie tylko trendu deterministycznego nie sprowadzi do szeregu stacjonarnego. Dopiero zastosowanie operatora różnicowego pozwala wyeliminować niestacjonarność związaną z trendem stochastycznym.

15 Modele niestacjonarne Szeregi TS i DS Model III (proces zintegrowany). Niech szereg czasowy {ν t } t 1 jest dany wzorem ν t = ν 0 + ɛ t + 2ɛ t tɛ 1 = ν 0 + t (t j + 1) ɛ j, (7) gdzie {ɛ t } t 1 jest ciąg niezależnych zmiennych losowych o rozkładzie normalnym N ( 0, σ 2), natomiast ν 0 określa stan początkowy. Dla każdego t 1 wartość oczekiwana wynosi Eν t = ν 0, natomiast wariancja t V ar (ν t ) = E (t j + 1) ɛ j = j=1 t (t + 1) (2t + 1) σ j=1 = ( t 2) σ 2

16 Modele niestacjonarne Szeregi TS i DS Stosując operator różnicowy otrzymujemy szereg { ν t } t 2 postaci ν t = ɛ ɛ t = t ɛ j. Widzimy, że szereg { ν t } t 2 reprezentuje proces błądzenia losowego, który nadal posiada trend stochastyczny (własność stacjonarności nie jest spełniona). Stosując kolejny raz operator różnicowy otrzymujemy szereg { 2 ν t o równaniu stanu }t 3 2 ν t = ɛ t. Dopiero szereg { 2 ν t spełnia warunek stacjonarności (jest ciągiem }t 3 niezależnych zmiennych losowych o rozkładzie normalnym N ( 0, σ 2) ). W tym przypadku zastosowanie podwójnego operatora różnicowego wyeliminowało trend stochastyczny z szeregu postaci (7). j=1

17 Modele niestacjonarne Szeregi TS i DS Engle R.F. i Granger C.W.J wprowadzili definicję zmiennej zintegrowanej. Definicja 2 Szereg czasowy {x t } t 1 jest zintegrowany w stopniu d (oznaczamy jako {x t } t 1 I(d)), jeśli szereg {x t } t 1 jest niestacjonarny, natomiast szereg różnic { d x t jest stacjonarny, przy czym d jest najmniejszą liczbą }t 1 całkowitą, dla której własność stacjonarności szeregu { d x t }t 1 jest spełniona. Klasę szeregów czasowych {x t } t 1, których elementy są zintegrowane w stopniu d 1, nazywamy klasą DS (difference stationary). Jeżeli szereg czasowy {x t } t 1 jest stacjonarny, to mówimy, że elementy tego szeregu są zintegrowane w stopniu zero oraz oznaczamy {x t } t 1 I (0).

18 Modele niestacjonarne Szeregi TS i DS Dla szeregów TS i DS spełnione są następujące własności: wyeliminowanie deterministycznej składowej z szeregu TS sprowadza do szeregu stacjonarnego; wyeliminowanie deterministycznej składowej z szeregu DS sprowadza do szeregu DS; zastosowanie operatora różnicowego rzędu d 1 do szeregu TS sprowadza do szeregu TS, z tym że w otrzymanym szeregu składnik losowy jest postaci ruchomej średniej MA(q), dla której warunek odwracalności nie jest spełniony (natomiast warunek stacjonarności jest spełniony); zastosowanie operatora różnicowego rzędu d 1 do niestacjonarnego szeregu I(d) (zintegrowanego w stopniu d) sprowadza go do szeregu stacjonarnego. W szeregach TS wpływy zewnętrzne są niwelowane w czasie, natomiast w szeregach DS wpływy zewnetrzne oddziaływują na zachowanie szeregu w przyszłości. W szeregach TS wartości układają się ( ślizgają się ) wzdłuż linii trendu, dość często przecinają tę linię, daleko od trendu nie odbiegają oraz dość szybko do niego powracają, natomiast szeregi DS zachowują się zupełnie odwrotnie.

19 Przykład 1 Analiza stacjonarności szeregów czasowych Modele niestacjonarne Szeregi TS i DS Dany jest niestacjonarny szereg czasowy {x t } 0 t 100 o realizacji 0, -0.43, -2.53, -4.51, -6.19, -9.02, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , -6.85, -5.06, -3.53, -3.06, , , 1.514, 3.343, 4.25, 2.986, 1.664, , , -3.60, -3.12, , , , , , , , , , , , -4.18, -3.49, , , 1.073, 3.627, 5.926, 7.847, 9.473, 9.623, 9.54, 9.574, 9.924, 11.72, 13.16, 15.22, 18.09, 21.89, 24.71, 27.73, 30.99, 33.25, 34.76, 37.36, 39.82, 42.68, 45.62, 47.93, 49.67, 51.86, 53.10, 55.13, 57.72, 59.48, Dokonać identyfikacji szeregu: a.) wydzielając trend deterministyczny w postaci funkcji wielomianowej stopnia drugiego, b.) wyznaczając integrację stopnia drugiego.

20 Modele niestacjonarne Szeregi TS i DS Korzystając z klasycznej metody najmniejszych kwadratów szereg {x t } 0 t 100 możemy przedstawić w postaci gdzie trend deterministyczny ma postać x t = f (t) + ε t, (8) f (t) = t t Zachowanie szeregu {x t } 0 t 100 oraz trend f (t) są przedstawione na rysunku 4a. Szereg reszt ε t = x t f (t) przedstawia rysunek 4c. W rozważanym przypadku wariancja skadnika losowego wynosi V ar (ε t ) = oraz jest równa wariancji elementów szeregu {x t } 0 t 100.

21 Modele niestacjonarne Szeregi TS i DS Różnicując elementy szeregu {x t } 0 t 100 otrzymujemy szereg { x t } 1 t 100 przedstawiony na rysunku 4b w postaci błądzenia losowego, który nadal ma w sobie trend stochastyczny. Stosując kolejny raz operator różnicowy otrzymujemy szereg { 2 x t }2 t 100 przedstawiony na rysunku 4d w postaci białego szumu (trend stochastyczny w tym przypadku został wyeliminowany). Zatem szereg {x t } 0 t 100 możemy przedstawić jako lub w postaci równoważnej 2 x t = ɛ t x t = x 0 + ɛ t + 2ɛ t tɛ 1, (9) gdzie wariancja zaburzeń zewnętrznych jest równa V ar (ɛ t ) = W rozważanym przypadku wariancja elementów szeregu { x t } 0 t 100 wynosi V ar (ɛ t ) = t(t+1)(2t+1) 6 dla 2 t 100.

22 Modele niestacjonarne Szeregi TS i DS Rysunek: Identyfikacja trendu deterministycznego oraz trendu stochastycznego w szeregu {x t} 0 t 100.

23 Modele niestacjonarne Szeregi TS i DS Analizując modele (8) i (9) powstaje pytanie, który z tych modeli używać do prognoz lub do której klasy TS czy DS należy szereg {x t } 0 t 100? Uwaga 1 Różnicowanie TS szeregu doprowadza do przeróżnicowania szeregu, najpierw trend zostaje wyeliminowany oraz tak zróżnicowany szereg spełnia warunek stacjonarności, natomiast składowa odpowiadająca za ruchomą średnią (MA) nie spełnia warunku odwracalności. Podstawowa różnica pomiędzy tymi klasami polega na tym, że wydzielając trend deterministyczny z TS szeregu otrzymujemy szereg stacjonarny, natomiast wydzielając trend deterministyczny z szeregu klasy DS szereg nadal nie jest stacjonarny.

24 Test DF Analiza stacjonarności szeregów czasowych Test DF Test ADF Test KPSS Najprostrzym i najpopularniejszym testem, za pomocą którego weryfikuje się stacjonarność elementów szeregu czasowego, jest test Dickey-Fullera (w literaturze przedmiotu czasami nazywany jest testem pierwiastka jednostkowego). Test Dickey-Fulleraprzeprowadzamy w sposób następujący. Niech dany jest szereg czasowy {ε t } 1 t N postaci ε t = θε t 1 + ɛ t, (10) gdzie {ɛ t } t 1 jest ciągiem niezależnych zmiennych losowych o rozkładzie normalnym N ( 0, σ 2). Na poziomie istotności α tworzymy hipotezę roboczą H 0 : θ = 1 (szereg czasowy {ε t } t 1 jest niestacjonarny model błądzenia losowego) wobec hipotezy alternatywnej H 1 : θ < 1 (szereg czasowy {ε t } t 1 jest stacjonarny).

25 Test DF Test ADF Test KPSS W modelu (10) odejmując obustronnie ε t 1 otrzymujemy ε t = κε t 1 + ɛ t, (11) gdzie κ = θ 1. Hipotezy zerową i altenatywną dla modelu (11) możemy przedstawić jako: H 0 : κ = 0 (szereg czasowy {ε t } t 1 jest niestacjonarny, tzn. ε t I(d), d > 0) H 1 : κ ( 2, 0) (szereg czasowy {ε t } t 1 jest stacjonarny, tym samym elementy szeregu są zintegrowane w stopniu zero, tzn. ε t I (0)). Wyznaczamy wartość estymatora κ oraz odchylenie standardowe N ε t ε t 1 t=2 ˆκ = N ε 2 t 1 t=2 ˆσ S (κ) = N ε 2 t 1 t=2,

26 Test DF Test ADF Test KPSS gdzie Statystyka testowa ˆσ = 1 N ( ε t ˆκε t 1 ) 2. N 2 t=2 DF = ˆκ S (κ) (12) ma rozkład Dickey-Fullera. Z tablic dla testu Dickey-Fullera odczytujemy wartość krytyczną DF. Jeżeli DF DF, to na poziomie istotności α nie ma podstaw do odrzucenia hipotezy roboczej H 0, (szereg czasowy {ε t } 1 t N jest niestacjonarny). Jeżeli DF < DF, to na poziomie istotności α odrzucamy hipotezę roboczą H 0 na korzyść hipotezy alternatywnej H 1, zatem szereg czasowy {ε t } 1 t N spełnia własność stacjonarności (elementy są zintegrowane w stopniu zero, ε t I (0)).

27 Test DF Test ADF Test KPSS W podobny sposób są przeprowadzane testy dla następujących modeli: na istnienie pierwiastka jednostkowego z dryftem ε t = α 0 + κε t 1 + ɛ t, na istnienie pierwiastka jednostkowego z dryftem i trendem deterministycznym ε t = α 0 + α 1 t + κε t 1 + ɛ t. Statystykę testowę DF obliczamy ze wzoru (12), natomiast wartość estymatora parametru κ oraz odchylenie standardowe tego parametru wyznaczamy korzystając z metody najmniejszych kwadratów.

28 Przykład 2 Analiza stacjonarności szeregów czasowych Test DF Test ADF Test KPSS Dany jest szereg czasowy {ε t } 1 t 50 o realizacji 0.89, 0.11, 0.08, -0.45, 0.49, -0.22, -0.06, -0.28, 0.31, 0.1, 0.55, 0.52, 0.19, 1.09, 0.08, 0.04, 0.39, -0.28, 0.83, -0.06, -0.58, -0.76, -0.2, -0.37, 0.11, 0.17, -0.23, 0.09, -0.94, -0.46, -0.48, -0.49, 0.15, 0.12, -0.48, 1.12, 0.14, 0.07, -0.26, -0.87, -0.88, -0.81, -0.14, 0.19, 0.35, 0.44, 0.77, 0.43, -0.05, Na poziomie istotności α = 0.01 zweryfikować hipotezę o stacjonarności tego szeregu. Wartość estymatora parametru κ dla modelu (11) wynosi ˆκ = , natomiast odchylenie standardowe tego estymatora S (κ) = Statystyka testowa jest równa DF = = , natomiast wartość krytyczna DF = Widzimy, że na poziomie istotności α = 0.01 odrzucamy hipotezę roboczą H 0 na korzyść hipotezy alternatywnej H 1, zatem szereg czasowy {ε t } 1 t 50 spełnia warunek stacjonarności (elementy są zintegrowane w stopniu zero, ε t I (0)).

29 Test ADF Analiza stacjonarności szeregów czasowych Test DF Test ADF Test KPSS Test Dickey a-fullera opiera się na założeniu, że w modelu (10) zaburzenia zewnętrzne ɛ t dla t 1 są niezależnymi zmiennymi losowymi o rozkładzie normalnym N ( 0, σ 2). W przypadku, gdy występuje autokorelacja pomiędzy zaburzeniami ɛ t oraz ɛ t+τ dla τ 1, to moc testu DF spada. Rozszerzony test DF (ADF) polega na uwzględnieniu w modelu (10) dodatkowych elementów, których celem jest eliminacja autokorelacji reszt ɛ t dla t 1. ε t = κε t 1 + k κ i ε t i + ɛ t. (13) i=1 Rząd autoregresji k dobieramy tak, aby wyeliminować korelację zaburzeń zewnętrznych oraz powinien spełniać równanie [ ( ) ] 0.25 N k < 4, 100 gdzie [ ] oznacza część całkowitą.

30 Test DF Test ADF Test KPSS Na poziomie istotności α tworzymy hipotezę roboczą H 0 : κ = 0 (szereg czasowy {ε t } t 1 jest niestacjonarny stopień integracji jest większy od zero) oraz hipotezę alternatywną H 1 : κ ( 2, 0) (szereg czasowy {ε t } t 1 jest stacjonarny, tym samym elementy szeregu są zintegrowane w stopniu zero). Korzystając z metody najmniejszych kwadratów na podstawie realizacji szeregu {ε t } 1 t N wyznaczamy wartość estymatora κ oraz odchylenia standardowe tego estymatora. Statystyka testowa dla testu ADF jest taka sama jak w przypadku testu DF oraz ma rozkład Dickey-Fullera. Z tablic dla testu Dickey-Fullera odczytujemy wartość krytyczną DF. Jeżeli DF DF, to na poziomie istotności α nie ma podstaw do odrzucenia hipotezy roboczej H 0. Jeżeli DF < DF, to na poziomie istotności α odrzucamy hipotezę roboczą H 0 na korzyść hipotezy alternatywnej H 1, zatem szereg czasowy {ε t } 1 t N spełnia warunek stacjonarności (elementy szeregu są zintegrowane w stopniu zero, tzn. ε t I(0)).

31 Test KPSS Analiza stacjonarności szeregów czasowych Test DF Test ADF Test KPSS Aby zweryfikować stacjonarność szeregu czasowego możemy skorzystać z testu Kwiatkowskiego-Phillipsa-Schmidta-Shina (test KPSS). Rozważamy szereg czasowy postaci ε t = βt + r t + ɛ t, (14) gdzie {ɛ t } t 1 jest ciągiem niezależnych zmiennych losowych o rozkładzie normalnym N ( 0, σ 2 ε), natomiast rt reprezentuje błądzenie losowe r t = r t 1 + u t (15) oraz jest nieobserwowalną częścią w modelu (14), natomiast {u t } t 1 jest ciągiem niezależnych zmiennych losowych o rozkładzie normalnym N ( 0, σ 2 u). Jeżeli wariancja składnika losowego ut jest równa zero (σ u = 0), to nieobserwowalny składnik w modelu (14) jest stałą r. Jeżeli proces {ε t } t 1 jest sumą stałej r lub stałej i trendu deterministycznego r + βt oraz stacjonarnego składnika czysto losowego ɛ t, to elementy szeregu {ε t } t 1 są zintegrowane w stopniu zero (ε t I (0)). Jeżeli natomiast σ 2 u > 0, to równanie (15) określa proces błądzenia losowego.

32 Test DF Test ADF Test KPSS Test KPSS przeprowadzamy w sposób następujący Na poziomie istotności α tworzymy hipotezę roboczą H 0 : σ 2 u = 0 (szereg czasowy {ε t } t 1 jest stacjonarny, tzn. ε t I(0) ) wobec hipotezy alternatywnej H 1 : σ 2 u > 0 (szereg czasowy {ε t } t 1 jest niestacjonarny, tzn. ε t I(d), d > 0). Hipotezy zerowa i alternatywna mają układ odwrotny niż w teście Dickey a-fullera. Za pomocą MNK szacujemy parametry strukturalne modelu (z trendem lub bez) ε t = βt + r + ɛ t oraz wyznaczamy szereg reszt {ɛ t } 1 t N.

33 Obliczamy sumy reszt Analiza stacjonarności szeregów czasowych S t = Test DF Test ADF Test KPSS dla t = 1, 2,..., N oraz wartości zgodnego estymatora wariancji długookresowej reszt (z wagami Bartletta) jako ( S 2 (k) = 1 N ) k N ɛ 2 t + 2 w (s, k) ɛ t ɛ t s, N t=1 gdzie wagi Bartletta określamy jako t i=1 s=1 w (s, k) = 1 ɛ i s k + 1. t=s+1 Rząd opóźnienia (lag truncation) powinien spełniać równanie [ ( ) ] 0.25 N k < 12, 100 gdzie [ ] oznacza część całkowitą.

34 Statystyka testowa jest dana wzorem N Test DF Test ADF Test KPSS St 2 t=1 η = N 2 S 2 (k). Z tablic odczytujemy wartości krytyczne α η Jeżeli η < η, to na poziomie istotności α nie ma podstaw do odrzucenia hipotezy roboczej H 0, zatem szereg czasowy {ε t } 1 t N spełnia warunek stacjonarności. Jeżeli η η, to na poziomie istotności α odrzucamy hipotezę roboczą H 0 na korzyść hipotezy alternatywnej H 1, zatem szereg czasowy {ε t } 1 t N jest niestacjonarny. W przypadku odrzucenia H 0 należy zbadać stacjonarność różnic pomiędzy elementami szeregów { d ε t dla d 1). }t d Inne testy: test Phillipsa-Perrona, ADF-GLS (test Elliotta-Rothenberga-Stocka).

35 Definicja 3 Szereg czasowy {ε t } t 1 nazywamy niestacjonarnym jednorodnie (homoskedastycznie), jeżeli eliminując nielosową składową z rozważanego szeregu otrzymujemy szereg stacjonarny (w szerszym sensie). W literaturze przedmiotu niestacjonarność jednorodna jest określana jako niestacjonarność I rzędu. Widzimy zatem, że każdy szereg TS jest niestacjonarny jednorodnie.stosując metodę różnicową można wyjeliminować nielosową składową z szeregu czasowego. Modele opisujące jednorodny niestacjonarny przebieg po zastosowaniu operatora różnicowego rzędu r 1 można sprowadzić do modeli autoregresji i ruchomej średniej ARMA.

36 Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Model autoregresji i scałkowanej ruchomej średniej ARIMA(p, r, q) (AutoRegresive Integrated Moving Average) służy do opisu niestacjonarnych szeregów czasowych {ε t } t 1, które w pewnych przedziałach czasowych spełniają własność stacjonarności lub po wyeliminowaniu nielosowej składowej zachowują sią jak procesy stacjonarne. Od strony praktycznej po zastosowaniu r krotnie operatora różnicowego otrzymujemy szereg stacjonarny ARMA(p, q). Model ARIMA(p, r, q) można przedstawić jako r ARIMA (p, r, q) = ARMA (p, q). Powyższy model po raz pierwszy został zaproponowany prze Boxa i Jenkinsa oraz w lietraturze przedmiotu jest nazywany jako model Boxa - Jenkinsa.

37 Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Jeżeli elementy szeregu { r ε t } r t N spełniają własności modelu ARMA(p, q), to możemy przedstawić je za pomocą równania r ε t = α 1 r ε t α p r ε t p + ɛ t θ 1 ɛ t 1... θ q ɛ t q, (16) gdzie r ε t = r j=0 ( ) r ( 1) j ε t j. (17) j Z definicji operatorów przesunięć F oraz F + wynika, że model ARIMA(p, r, q) możemy przedstawić za pomocą równania gdzie A p (F, α) (1 F ) r ε t = B q (F, θ) ɛ t, (18) A p (F, α) = 1 α 1 F α 2 F 2... α p F p, (19) B q (F, θ) = 1 θ 1 F θ 2 F 2... θ q F q. (20)

38 Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Operator odwrotny do operatora różnicowego definiujemy jako S = (1 F ) 1 = 1 + F + F 2 + F oraz nazywamy operatorem całkowania (dokładniej operatorem sumowania). Stosując operator całkowania do szeregu zaburzeń zewnętrznych {ɛ t } t C otrzymujemy oraz S r ɛ t = Sɛ t = t t k= k 1 k 1= k 2=... ɛ k k r 1 k r= ɛ kr. Dla danych z nieskończoną historią dla szeregu {ɛ t } t Z widzimy, że (1 F ) Sɛ t = S (1 F ) ɛ t = ɛ t. Powyższa równość spełniona jest również dla szeregów ze skończoną historią danych {ɛ t } 1 t N, w tym przypadku wystarczy przyjąć ɛ t = 0 dla t 0.

39 Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Równanie (18) możemy przedstawić w postaci równoważnej A p (F, α) ε t = B q (F, θ) S r ɛ t. (21) Równanie (18) opisuje zachowanie modelu autoregresji i scałkowanej ruchomej średniej ARIMA = AR + I + MA. Równanie A p (z, α) = 0 (22) jest równaniem charakterystycznym odpowiadającym za autoregresję rzędu p 0 dla szeregu { r ε t } r t N. Jeżeli χ 1,..., χ p są pierwiastkami tego równania oraz spełniają warunek stacjonarności ( χ i > 1 dla i = 1,..., p), to równanie (22) możemy przedstawić w postaci ) ) 0 = A p (z, α) = (z χ 1 )... (z χ p ) = (1 zχ1... (1 zχp. (23)

40 Identycznie równanie Analiza stacjonarności szeregów czasowych Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA B q (z, α) = 0 (24) jest równaniem charakterystycznym odpowiadającym za ruchomą średnią rzędu q 0. Jeżeli κ 1,..., κ p są pierwiastkami tego równania oraz spełniają warunek odwracalności ( κ i > 1 dla i = 1,..., q), to równanie (24) możemy przedstawić w postaci ) ) 0 = B q (z, α) = (z κ 1 )... (z κ q ) = (1 zκ1... (1 zκq. (25) Podstawiając (23) (25) do równania (18) otrzymujemy ) ) (1 1χ1 F... (1 1χp F (1 F ) r ε t = (1 1κ1 F )... (1 1κq F ) ɛ t (26) natomiast podstawiając (23) (25) do (21) mamy ) ) ) ) (1 1χ1 F... (1 1χp F ε t = (1 1κ1 F... (1 1κq F S r ɛ t. (27)

41 Transformacja modeli ARIMA Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Elementy szeregu ARIMA można przedstawiać na różne sposoby: w postaci różnicowej poprzez poprzednie wartości procesu {ε t } t 1 oraz bieżącą i poprzednie wartości zaburzeń {ɛ t } t 1 ; w postaci scałkowanej tylko poprzez bieżącą i poprzednie wartości zaburzeń {ɛ t } t 1 ; w postaci odwróconej tylko poprzez poprzednie wartości procesu {ε t } t 1 oraz bieżącą wartość zaburzenia ɛ t. Aby przedstawić proces ARIMA(p, r, q) w postaci różnicowej należy dokonać konwersji do procesu ARMA(p + r, q). W przypadku postaci scałkowanej należy dokonać transformacji do MA( ), natomiast dla postaci odwróconej należy sprowadzić do modelu AR( ).

42 Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Sprowadzenie do postaci różnicowej (ARIMA(p, r, q) = ARMA(p + r, q)) Z definicji operatorów przesunięcia mnożąc operator autoregresji A p (F, α) z operatorem różnicowym (1 F ) r otrzymujemy operator autoregresji A p+r (F, α) dany wzorem A p+r (F, α) = A p (F, α) (1 F ) r, gdzie p 0 oraz r 0. Zatem równanie (18) możemy przedstawićw postaci A p+r (F, α) ε t = B q (F, θ) ɛ t. (28) gdzie parametry α 1,..., α p+r wyznaczamy rozwiązując równanie ( 1 α1 F α 2 F 2... α p F p ) (1 F ) r = 1 α 1 F α 2 F 2... α p+r F p+r Szeregu ARIMA(p, r, q) możemy przedstawić za pomocą ARIMA(p + r, q) ε t = α 1 ε t α p+r ε t p r + ɛ t θ 1 ɛ t 1... θ q ɛ t q, (29)

43 Przykład 3 Analiza stacjonarności szeregów czasowych Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Przedstawić model ARIMA(1, 1, 1) w postaci różnicowej. Szereg czasowy {ε t } t 1 postaci ARIMA(1, 1, 1) możemy przedstwić za pomocą równania stanu ε t = α ε t 1 + ɛ t θɛ t 1, (30) {ɛ t } t 0 jest ciągiem niezależnych zmiennych losowych o rozkładzie N ( 0, σ 2). Powyższy model przedstawiamy w postaci A 1 (F, α) (1 F ) ε t = B 1 (F, θ) ɛ t, gdzie operatory autoregresji i ruchomej średniej dane są wzorami A 1 (F, α) = (1 αf ), B 1 (F, θ) = (1 θf ).

44 Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Z rachunku operatorów otrzymujemy ( 1 (1 + α) F + αf 2 ) εt = (1 θf ) ɛ t. Ostatecznie model ARIMA(1, 1, 1) sprowadzamy do ARMA(2, 1) postaci ε t = (1 + α) ε t 1 αε t 2 + ɛ t θɛ t 1, gdzie {ɛ t } t 0 jest ciągiem niezależnych zmiennych losowych o rozkładzie N ( 0, σ 2).

45 Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Sprowadzenie do postaci scałkowanych zaburzeń (ARIMA(p, r, q) = MA( )) Elementy szeregu czasowego {ε t } t 1 autoregresji i scałkowanej ruchomej średniej ARIMA(p, r, q) możemy przedstawić w postaci kombinacji liniowej zaburzeń zewnętrznych {ɛ k } k t lub postaci ε t = ɛ t + η 1 ɛ t η k ɛ t k (31) ε t = A (F, η) ɛ t. (32) Z drugiej strony model ARIMA(p, r, q) możemy skonwertować do ARMA(p + r, q). Podstawiająć (32) do (28) otrzymujemy równanie A p+r (F, α) A (F, η) ɛ t = B q (F, θ) ɛ t. (33) Współczynniki η 1, η 2,... powinny spełniać równanie A p+r (F, α) A (F, η) = B q (F, θ), które zapisujemy w postaci ( 1 α1 F... α p+r F p+r ) ( 1 + η1 F + η 2 F ) = ( 1 θ 1 F... θ q F

46 Przykład 4 Analiza stacjonarności szeregów czasowych Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Korzystając z rachunku operatorów przesunięcia przedstawić model ARIMA(1, 1, 1) w postaci scałkowanych zaburzeń ( jako model MA( )). Model ARIMA(1, 1, 1) postaci (30) przedstawiamy jako MA( ), zatem elementy szeregu {ε t } t 1 przedstawiamy w postaci ε t = ɛ t + η 1 ɛ t η k ɛ t k +..., gdzie ze wzoru (33) parametry η 1, η 2,... powinny spełniać równanie ( 1 (1 + α1 ) F + α 1 F 2 ) ( 1 + η1 F + η 2 F ) = (1 θ 1 F ).

47 Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Porównując współczynniki przy operatorach F k dla k 0 tworzymy nieskończony układ równań (1 + α 1 ) + η 1 = θ 1, α 1 (1 + α 1 ) η 1 + η 2 = 0, α 1 η 1 (1 + α 1 ) η 2 + η 3 = 0,... α 1 η k 2 (1 + α 1 ) η k 1 + η k = 0,... Rozwiązaniem powyższego układu równań są parametry η 1, η 2,... postaci η 1 = (1 + α 1 ) θ 1, η 2 = (1 + α 1 ) η 1 α 1, η 3 = (1 + α 1 ) η 2 α 1 η 1,... η k = (1 + α 1 ) η k 1 α 1 η k 2,...

48 Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Sprowadzenie do postaci odwróconej (ARIMA(p, r, q) = AR( ) ) Elementy szeregu czasowego modelu ARIMA(p, r, q) można przedstawić w postaci kombinacji liniowej poprzednich wartości tego szeregu plus zaburzenie w chwili obecnej t, tzn. elementy szeregu {ε t } t 1 określamy za pomocą równania ε t = ɛ t + π 1 ε t π k ε t k (34) Z rachunku operatorów powyższe równanie przedstawiamy w postaci A (F, π) ε t = ɛ t. (35) Z drugiej strony, model ARIMA(p, r, q) możemy skonwertować do modelu ARMA(p + r, q), tzn. elementy szeregu {ε t } t 1 przedstawiamy za pomocą wzoru (28). Podstawiająć (35) do (28) otrzymujemy A p+r (F, α) ε t = B q (F, θ) A (F, π) ε t.

49 Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Parametry π 1, π 2,... powinny spełniać warunek A p+r (F, α) = B q (F, θ) A (F, π), (36) który zapisujemy w postaci ( 1 α1 F... α p+r F p+r ) ( = 1 θ1 F... θ q F q ) ( 1 π1 F π 2 F 2 Porównując odpowiednie współczynniki przy potęgach F, k k 0 tworzymy nieskończony układ równań k θ j π n j π k = α k, dla 1 k p + r, j=1 k θ j π n j π k = 0, dla k > q, j=1 (37) gdzie π 0 = 1 oraz θ j = 0 dla j > q. Rozwiązując powyższy układ otrzymujemy wartości współczynników π 1, π 2,...

50 Przykład 5 Analiza stacjonarności szeregów czasowych Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Korzystając z rachunku operatorów przesunięcia przedstawić model ARIMA(1, 1, 1) w postaci odwróconej (jako model autoregresji rzędu nieskończoność AR( )). Sprowadzając do postaci odwróconej elementy szeregu należy przedstawić jako AR( ), zatem ε t = ɛ t + π 1 ε t 1 + π 2 ε t (38) Parametry π 1, π 2,... powinny spełniac warunek ( 1 (1 + α1 ) F + α 1 F 2 ) = (1 θ1 F ) ( 1 π 1 F π 2 F 2... ).

51 Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Porównując współczynniki przy operatorach F, k k 0 tworzymy nieskończony układ równań postaci θ 1 π 1 = (1 + α 1 ), θ 1 π 1 π 2 = α 1, θ 1 π 2 π 3 = 0,... θ 1 π k 1 π k = 0,... Rozwiązaniem powyższego układu równań jest 1 α 1 θ 1, dla k = 1, π k = (θ 1 α 1 ) (1 θ 1 ), dla k = 2 θ1 k 2 (θ 1 α 1 ) (1 θ 1 ), dla k 3.

52 Identyfikacja modeli ARIMA Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Identyfikacja modeli ARIMA(p, r, q) przebiega w dwu etapach. Etap pierwszy polega na wyznaczeniu stopnia operatora różnicowego r, który możemy wykonać na dwa sposoby. Pierwszy sposób polega na analizie kwadratowej wariacji różnic szeregu {ε t } t 1. Sposób drugi polega } na analizie funkcji autokorelacji dla procesów {(1 F ) k ε t. Kolejne przekształcenia szeregu {ε t } t 1 za t>k pomocą operatorów (1 F ) k polegają na eliminacji niestacjonarności (patrz założenia testu ADF ). Dla pewnego momentu r funkcja autokorelacji szybko wygasa, co oznacza, że proces {(1 F ) r ε t } t>r może spełniać własność stacjonarności. W celu upewnienia się przeprowadzamy test stacjonarności. Etap drugi polega na indentyfikacji otrzymanego szeregu {(1 F ) r ε t } t>r za pomocą modelu ARMA(p, q). Algorytm identyfikacji ARMA(p, q) został przedstawiony wcześniej.

53 Przykład 6 Analiza stacjonarności szeregów czasowych Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Dany jest szereg czasowy -5.25, -5.05, -5.14, -5.4, -5.47, -5.66, -4.92, -4.78, -4.9, -4.83, -4.59, -4.47, -3.91, -3.58, -3.58, -3.02, -3.38, -2.95, -1.93, -1.67, -1.7, -1.71, -1.95, -0.58, -0.12, -0.07, -0.12, 0.17, -0.48, -0.86, -1.41, -2.47, -3.23, -2.76, -2.96, -2.93, -2.12, -1.66, -0.9, -0.14, 0.51, 1.13, 0.67, 1.1, 1.57, 1.63, 3.06, 2.03, 2.27, 2.27, 1.49, 0.8, 1.67, 2.23, 2.02, 2.11, 2.95, 2.61, 2.29, 1.35, 1.6, 1.5, 0.89, 0.67, 0.93, 0.91, 0.6, 1.06, 1.02, 2.18, 2.61, 2.93, 2.59, 2.93, 2.73, 2.11, 2.97, 3.45, 3.74, 3.79, 3.18, 3.13, 2.85, 1.7, 1.44, 1.44, 1.08, 0.95, 0.39, 0.69, 0.44, 0.96, 2.11, 1.79, 2.08, 1.95, 1.81, 2.54, 2.42, Dokonać identyfikacji szeregu {ε t } 1 t 100 w oparciu o ARIMA, dla których rząd autoregresji i rząd ruchomej średniej są równe jeden (p = q = 1). Identyfikację szeregu {ε t } 1 t 100 przeprowadzamy w oparciu o modele ARIMA(1, r, 1) postaci gdzie r 1. (1 αf ) (1 F ) r ε t = (1 θf ) ɛ t,

54 Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Rysunek 5a przedstawia zachowanie szeregu czasowego {ε t } 1 t 100. Szeregi czasowe {(1 F ) r ε t } 1+r t 100 są przedstawione na rysunku 5b, 5c oraz 5d odpowiednio. Rysunek: Szeregi czasowe {ε t} 1 t 100 oraz {(1 F ) r ε t} 1+r t 100 dla r = 1, 2, 3..

55 Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Tabela poniżej przedstawia wartości średnie oraz kwadratowe wariacje różnic, które wyznaczamy za pomocą wzorów ˆm r = ˆσ 2 r = 1 N r N (1 F ) r ε t, t=r N ((1 F ) r ε t ) 2 t=r (N r) C r 2r dla r = 0, 1, 2, 3. r ˆm r ˆσ r W rozważanym przypadku moment stabilizacji kwadratowej wariacji różnic wynosi 2, zatem do dalniejszej identyfikacji rozważamy szereg {(1 F ) ε t } 2 t 100.

56 Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Dodatkowo dla 0 r 3 przeanalizujmy wartości funkcji autokorelacji szeregów {(1 F ) r ε t } 1+r t 100, które szacujemy jako r r τ = ˆγr τ ˆγ 0 r, gdzie wartości funkcji autokowariancji wyznaczamy za pomocą wzoru ˆγ r τ = 1 N τ r dla 0 τ 9. N t=r+τ ((1 F ) r ε t m r ) ((1 F ) r ε t+τ m r ) r r τ τ = 0 τ = 1 τ = 2 τ = 3 τ = 4 τ = 5 τ = 6 τ = 7 r = r = r = r = Korelacja pomiędzy elementami } przy przesunięciach czasowych τ 1 w szeregach {(1 F ) 1 ε τ dość szybko zanika. τ t 100

57 Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA W oparciu o model ARMA(1, 1) parametr α dla szeregów {(1 F ) r ε t } 1+r t 100 szacujemy jako ˆα = ˆγr 2 ˆγ r 1 = rr 2 r r. 1 Dla r = 1 parametr ˆα = Również widzimy, że dla r = 2 parametr ˆα = , natomiast dla dla r = 3 parametr ˆα = W każdym z tych przypadków warunek stacjonarności dla części odpowiadającej za autoregresję jest spełniony ( ˆα < 1). Prognozowanie zjawisk ekonomicznych, fizycznych, technicznych itp. w oparciu o zbyt rozbudowane modele, dla których wartości parametrów strukturalnych są nieduże co do wartości bezwględnej, nie jest działaniem optymalnym. Zatem wybieramy rząd integracji jak najmniejszy. W rozważanym przypadku dla r = 1 wartości funkcji autokorelacji szybko wygasają (korelacja szybko zanika).

58 Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Przeprowadzając test Dickey-Fullera również podtwierdzamy spełnienie własności stacjonarności. Na poziomie istotności α = 0.01 tworzymy hipotezę roboczą H 0 : szereg czasowy {(1 F ) ε t } 2 t 100 jest niestacjonarny wobec hipotezy alternatywnej H 1 : szereg czasowy {(1 F ) ε t } 2 t 100 jest stacjonarny. Wartość statystyki testu Dickey-Fullera wynosi DF = , natomiast wartość krytyczna DF = Ponieważ DF < DF, to na poziomie istotności α = 0.01 odrzucamy hipotezę roboczą na korzyść hipotezy alternatywnej, zatem szereg {(1 F ) ε t } 2 t 100 spełnia własność stacjonarności.

59 Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Do dalszej identyfikacji obieramy szereg {(1 F ) ε t } 2 t 100. Parametr strukturalny odpowiadający za autoregresję w modelu ARMA(1, 1) wynosi ˆα = Pozostaje wyznaczyć część odpowiadającą za ruchomą średnią. Rozwiązując układ równań { σ 2 ( 1 + θ 2) = , θσ 2 = wynika, że parametr θ powinien spełniać równanie Rozwiązując równanie 1 + θ 2 θ = θ θ + 1 = 0 otrzymujemy pierwiastki ˆθ 1 = i ˆθ 2 = Tylko pierwiastek ˆθ 1 spełnia warunek odwracalności, w tym przypadku wariancja zaburzeń zewnętrznych wynosi ˆσ 2 =

60 Własności modeli ARIMA Transformacja modeli ARIMA Identyfikacja modeli ARIMA Ostatecznie, szereg {ε t } t 1 możemy przedstawić za pomocą równania ( F ) (1 F ) ε t = ( F ) ɛ t, które sprowadzamy do postaci ε t = ε t ε t + ɛ t ɛ t 1, gdzie {ɛ t } t 1 jest ciągiem zmiennych losowych o rozkładzie normalnym N (0, ).