Zaawansowane metody odsezonowywania szeregów czasowych. TRAMO/SEATS i JDemetra+

Zaawansowane metody odsezonowywania szeregów czasowych. TRAMO/SEATS i JDemetra+ Ekonometria Szeregów Czasowych SGH TRAMO/SEATS i JDemetra+ 1 / 84

Plan wykªadu 1 Odsezonowanie ogólne informacje 2 Sezonowo± w modelach ARIMA: przypomnienie i notacja 3 JDemetra+: podstawy 4 Metoda TRAMO-SEATS 5 Odsezonowanie w praktyce TRAMO/SEATS i JDemetra+ 2 / 84

Plan prezentacji 1 Odsezonowanie ogólne informacje 2 Sezonowo± w modelach ARIMA: przypomnienie i notacja 3 JDemetra+: podstawy 4 Metoda TRAMO-SEATS 5 Odsezonowanie w praktyce TRAMO/SEATS i JDemetra+ 3 / 84

Odsezonowanie Prezentacja dost pna pod adresem http://web.sgh.waw.pl/~atoroj/ Zakªadka: Ekonometria Szregów Czasowych TRAMO/SEATS i JDemetra+ 4 / 84

Odsezonowanie Dekompozycja szeregu czasowego Elementy SZEREGU 1) TREND (I CYKL) 2) SEZONOWO 3) ELEMENT PRZEJ CIOWY 4) ELEMENT NIEREGULARNY W TRAMO/SEATS: TREND i CYKL wyznaczaj poziom; pozostaªe elementy wyra»one jako czynniki albo skªadniki koryguj ce ten poziom. Dodatkowo: efekty kalendarzowe; obserwacje odstaj ce; zmienne interwencyjne i inne egzogeniczne (takie i tylko takie, których wpªyw ma by usuni ty!). TRAMO/SEATS i JDemetra+ 5 / 84

Odsezonowanie Rodzaje sezonowo±ci sezonowo± deterministyczna: np. sezonowe zmienne zerojedynkowe w równaniu regresji (d 1,t, d 2,t,..., d s 1,t) sezonowo± stochastyczna: wzorzec sezonowy mo»e podlega ewolucji Rozró»nienie: test HEGY (Hylleberg, Engle, Granger, Yoo, 1990). TRAMO-SEATS bazuje na modelu SARIMA implementacja sezonowo±ci stochastycznej (bardziej elastyczny schemat równie» w przypadku deterministycznym). sezonowo± multiplikatywna: wahania sezonowe silniejsze przy wzro±cie poziomu szeregu sezonowo± addytywna: amplituda niezale»na od poziomu szeregu TRAMO-SEATS testuje, czy modelowa szereg na poziomach, czy logarytmach (u»ytkownik mo»e to te» zada wedªug uznania). TRAMO/SEATS i JDemetra+ 6 / 84

Odsezonowanie Narz dzia X-11 / X-12 / X-13-ARIMA US Bureau of Census TRAMO-SEATS V. Gomez i A. Maravall: Bank Hiszpanii TRAMO: Time Series Regression with ARIMA Noise, Missing Observations and Outliers SEATS: Signal Extraction in ARIMA Time Series JDemetra+ interfejs korzystaj cy z algorytmów X-13-ARIMA i TRAMO-SEATS (podobnie jak EViews, Gretl,...) TRAMO/SEATS i JDemetra+ 7 / 84

Odsezonowanie ródªa wiedzy 1 Grudkowska S. (2015), JDemetra+ User Guide. 2 Maravall A. (2008), Notes on Programs Tramo and Seats, cz. I, II, III, Banco de Espana. 3 Eurostat (2015), ESS Guidelines on Seasonal Adjustment, European Communnities. 4 Strona programu JDemetra+. TRAMO/SEATS i JDemetra+ 8 / 84

Odsezonowanie Sposób post powania w TRAMO-SEATS 1 [TRAMO] Zidentykuj model SARIMAX dla obserwowalnego szeregu czasowego. 2 [SEATS] Zdekomponuj model na nieobserwowalne komponenty i oszacuj warto± tych komponentów (sygnaª). TRAMO/SEATS i JDemetra+ 9 / 84

Modele ARIMA Model AR AR ang. autoregression, proces autoregresyjny bie» ca (w okresie t) warto± stacjonarnego szeregu czasowego y t zale»y od p warto±ci poprzedzaj cych: y t = c +φ 1 y t 1 +φ 2 y t 2 +...+φ p y t p +ε t = c + Notacja wielomianu charakterystycznego: ( 1 φ1 L φ 2 L 2... φ p L p) y t = c + ε t p φ i y t i +ε t i=1 TRAMO/SEATS i JDemetra+ 11 / 84

Modele ARIMA Model MA MA ang. moving average, ±rednia ruchoma bie» ca (w okresie t) warto± stacjonarnego szeregu czasowego y t zale»y od q poprzedz jacych warto±ci skªadnika losowego: y t = c +θ 1 ε t 1 +θ 2 ε t 2 +...+θ q ε t q +ε t = c + Notacja wielomianu charakterystycznego: y t c = ( 1 + θ 1 L + θ 2 L 2 +... + θ q L q) ε t q θ j ε t j +ε t j=1 TRAMO/SEATS i JDemetra+ 12 / 84

Modele ARIMA Model ARMA poª czenie AR i MA Przy odpowiednich zaªo»eniach mo»na proces AR przeksztaªci do postaci MA( ) i na odwrót. W praktyce zadowalaj ce dopasowanie uzyskuje si dzi ki kombinacji niewielkiej liczby regresorów typu AR i MA, czyli y t = c + p φ i y t i + q θ j ε t j + ε t i=1 Umieszczenie w modelu regresorów zarówno typu AR, jak i MA, pozwala uzyska rozs dne przybli»enie, cho identykacja parametrów p i q takiego modelu jest trudniejsza. Notacja wielomianu charakterystycznego: j=1 ( 1 φ1l φ 2L 2... φ pl p) y t = c + ( 1 + θ 1L + θ 2L 2 +... + θ ql q) ε t TRAMO/SEATS i JDemetra+ 13 / 84

Modele ARIMA Model ARIMA Szeregi niestacjonarne tworzymy model ARMA na szeregu zró»nicowanym tyle razy, aby uzyska jego stacjonarno± : Y t = Y t Y t 1 2 Y t = Y t Y t 1 Model ARIMA(p,d,q): ARMA a ARIMA d y t = c + p φ i d y t i + i=1 q θ j ε t j + ε t Model ARMA jest szczególnym przypadkiem modelu ARIMA (z parametrem d=0). TRAMO/SEATS i JDemetra+ 14 / 84 j=1

Modele ARIMA Model ARIMAX ARIMAX model ARIMA uzupeªniony o zestaw egzogenicznych regresorów: W TRAMO x t : d y t = c + x t β + p φ i d y t i + i=1 zadane przez u»ytkownika; generowane w programie: q θ j ε t j + ε t j=1 dni robocze, Wielkanoc; zmienne interwencyjne, obserwacje odstaj ce. TRAMO/SEATS i JDemetra+ 15 / 84

Modele ARIMA Stacjonarno± procesu Proces AR jest stacjonarny......je»eli wszystkie pierwiastki wielomianu charakterystycznego (tzn. rozwi zania równania 1 φ 1 L φ 2 L 2... φ p L p = 0 wzgl dem L) le» poza koªem jednostkowym, tzn. s co do moduªu > 1. Stacjonarny proces AR(p) mo»na przedstawi jako MA( ). W modelu AR bie» ca warto± szeregu zale»y od p poprzednich, a na poprzednie skªada sie niesko«czona liczba opó¹nionych szoków (ε). W modelu MA tych szoków model "widzi" tylko q. TRAMO/SEATS i JDemetra+ 16 / 84

Modele ARIMA Odwracalno± procesu Proces MA jest odwracalny......je»eli wszystkie pierwiastki wielomianu charakterystycznego (tzn. rozwi zania równania 1 + θ 1 L + θ 2 L 2... + θ q L q = 0 wzgl dem L) le» poza koªem jednostkowym, tzn. s co do moduªu > 1. Odwracalny proces MA(q) mo»na przedstawi jako AR( ). TRAMO/SEATS i JDemetra+ 17 / 84

Modele ARIMA Czym jest koªo jednostkowe? Pierwiastki wielomianu mog by liczbami zespolonymi, tzn. mie cz ± rzeczywist a i urojon b (a + bi). Mo»na je przedstawi na pªaszczy¹nie jako punkt w przestrzeni dwuwymiarowej o wspóªrz dnych (a,b). a + bi = a 2 + b 2, wi c warunek stacjonarno±ci/odwracalno±ci a + bi > 1 oznacza a 2 + b 2 > 1 2 (pole poza okr giem o ±rodku (0, 0) i promieniu 1, czyli koªem jednostkowym). Niektóre programy ekonometryczne podaj pierwiastki w formie odwrotno±ci (Inverse Roots). Skoro a + bi > 1, to 1 a+bi < 1. W tej sytuacji odwrotno± pierwiastka musi le»e wewn trz koªa jednostkowego. TRAMO/SEATS i JDemetra+ 18 / 84

Modele SARIMA Ró»nicowanie sezonowe Model ARIMA z sezonowo±ci nazywamy SARIMA (Seasonal ARIMA). Dodatkowe parametry (w stosunku do ARIMA): s dªugo± cyklu sezonowo±ci (4 dla danych kwartalnych, 12 dla miesi cznych, 5 lub 7 dla dziennych itp.) D parametr sezonowego ró»nicowania Dla d = 1: Ogólnie: s y t = y t y t s 2 s y t = s y t s y t s. D s y t = D 1 s y t D 1 s y t s s ( d y t ) = d y t d y t s 2 s ( d y t ) = s ( d y t ) s ( d y t s ). D s ( d y t ) = D 1 s ( d y t ) D 1 s ( d y t s ) TRAMO/SEATS i JDemetra+ 19 / 84

Modele SARIMA Model SARIMA Dla uproszczenia notacji: niech yt = D s ( d y t) oznacza odpowiednio zró»nicowany szereg. Oprócz sezonowego ró»nicowania szeregu wyj±ciowego, mo»emy w modelu uwzgl dni sezonowe regresory typu AR i MA. Model ARIMA (p,d,q): ( 1 φ1l φ 2L 2... φ pl p) y t = c + ( 1 + θ 1L + θ 2L 2 +... + θ ql q) ε t Model SARIMA (p,d,q)x(p,d,q) s: ( 1 φ1l φ 2L 2... φ pl p) ( 1 Φ 1L 1 s Φ 2L 2 s... Φ P L P s) y t = c + ( 1 + θ 1L + θ 2L 2 +... + θ ql q) ( 1 + Θ 1L 1 s + Θ 2L 2 s +... + Θ Q L Q s) ε t TRAMO/SEATS i JDemetra+ 20 / 84

Modele SARIMA Model SARIMA - parametryzacja P rz d opó¹nie«sezonowych typu AR Q rz d opó¹nie«sezonowych typu MA Parametryzacja modelu SARIMA: (p,d,q)x(p,d,q) s Notacja: Φ (L) y t = Θ (L) ε t Φ (L) δ (L) y t = Θ (L) ε t Wielomian AR rozbija si cz sto na cz ± stacjonarn Φ (L) i cz ± niestacjonarn, zwi zan z uprzednim ró»nicowaniem zmiennej, δ (L), b d c reprezentacj operacji D s ( d y t). Czyli np. δ (L) = (1 L) ( 1 L 12) przy d = 1 i D = 1. Model ARIMA jest szczególnym przypadkiem modelu SARIMA z P = 0, D = 0 i Q = 0. Brak sezonowo±ci sprowadza si do ustalenia parametru s = 1, przez co P, D i Q trac sens bytu (staj si nierozró»nialne od odpowiednio p, d i q). TRAMO/SEATS i JDemetra+ 21 / 84

ACF i PACF Funkcja autokorelacji (ACF) Pokazuje korelacj warto±ci szeregu z kolejnymi opó¹nieniami tego samego szeregu: opó¹nienie 1 r 1 opó¹nienie 2 r 2 opó¹nienie 3 r 3 itd. Szacujemy na podstawie danych, obliczaj c wspóªczynniki korelacji liniowej Pearsona. TRAMO/SEATS i JDemetra+ 22 / 84

ACF i PACF Wspóªczynnik korelacji cz stkowej Wspóªczynnik korelacji mi dzy i oraz j z wykluczeniem wpªywu l: r ij.l = r ij r il r jl (1 r 2 il ) (1 r 2 jl ) TRAMO/SEATS i JDemetra+ 23 / 84

ACF i PACF Funkcja autokorelacji cz stkowej (PACF) Pokazuje korelacj warto±ci szeregu z kolejnymi opó¹nieniami tego samego szeregu, z wykluczeniem wpªywu opó¹nie«ni»szego rz du: opó¹nienie 1 r 1 (tak samo jak w ACF) opó¹nienie 2 korelacja cz stkowa warto±ci bie» cej z 2 opó¹nieniem z wykluczeniem wpªywu 1 opó¹nienia opó¹nienie 3 korelacja cz stkowa warto±ci bie» cej z 3 opó¹nieniem z wykluczeniem wpªywu 1 i 2 opó¹nienia opó¹nienie 4 korelacja cz stkowa warto±ci bie» cej z 4 opó¹nieniem z wykluczeniem wpªywu 1, 2 i 3 opó¹nienia itd. TRAMO/SEATS i JDemetra+ 24 / 84

ACF i PACF Funkcje ACF i PACF jako kryterium doboru p,q Sposób post powania podpowiadany przez korelogram: Uwaga! dla modeli AR(p): szukamy punktu uci cia na wykresie PACF dla modeli MA(q): szukamy punktu uci cia na wykresie ACF dla modeli ARMA(p,q): zwi kszamy stopniowo p i q, staraj c si wyczy±ci wykres ACF i PACF; szukamy: wzorców cyklicznych i nielosowych zmian znaków, niezbie»no±ci, nieusuni tej sezonowo±ci Przy poziomie istotno±ci 5%, 1 na 20 wspóªczynników b dzie istotny, nawet dla biaªego szumu! TRAMO/SEATS i JDemetra+ 25 / 84

JDemetra+: podstawy Import danych (1) Krok zero: przygotowanie pliku XLS. Struktura pliku XLS: lewa kraw d¹ daty (w formacie Date), górny wiersz nazwy szeregów (ograniczenia!), komórka (1,1) pusta TRAMO/SEATS i JDemetra+ 27 / 84

JDemetra+: podstawy Import danych (2) Krok 1: Klikamy prawym przyciskiem na Spreadsheets (mo»liwe te» alternatywne ¹ródªa danych). Wybieramy Open, a nast pnie w oknie dialogowym wskazujemy plik ¹ródªowy. TRAMO/SEATS i JDemetra+ 28 / 84

JDemetra+: podstawy Wybór procedury odsezonowania Krok 2: Wybór TramoSeats. Krok 3: Wybór odpowiedniej specykacji modelu Specications (zostanie omówiony). Krok 4: Odsezonowanie szeregu przez przeci gni cie jego ikony na praw stron (Drop data here) Krok 5: mo»liwa jest zmiana ustawie«i powtórzenie procedury odsezonowania (przycisk Apply pod zakªadk Specications). TRAMO/SEATS i JDemetra+ 29 / 84

JDemetra+: podstawy Pojedyncza analiza i masowe przetwarzanie SINGLE ANALYSIS podstawowa forma analizy danych w JDemetrze+, uaktywnia si po dwukrotnym klikni ciu sªu»y do szczegóªowej analizy pojedynczego szeregu MULTI-PROCESSING do jednoczesnej analizy wielu szeregów czasowych do regularnej, powtarzalnej produkcji oczyszczonych sezonowo szeregów masowe przetwarzanie zbiorów danych, dost pne zbiorcze oceny jako±ci tego przetwarzania za pomoc tego samego lub ró»nych modeli TRAMO/SEATS i JDemetra+ 30 / 84

JDemetra+: podstawy Kluczowe wyniki Zestawienie oryginalnego i odsezonowanego szeregu (Main results / Charts / Sa, trend). Odsezonowany szereg mo»na zobaczy w formie tabeli i wyeksportowa do XLS (Main results / Table; klikni cie prawym przyciskiem w ±rodku tabeli / Save). TRAMO/SEATS i JDemetra+ 31 / 84

JDemetra+: podstawy Jako± wyników? TRAMO/SEATS i JDemetra+ 32 / 84

JDemetra+: podstawy Wyniki testów: pomoc w interpretacji Wedªug p-value: good uncertain (<0,1) bad (<0,05) severe (<0,01) undened (przetwarzanie si nie powiodªo) error (bª d bezsensowne wyniki przetwarzania) TRAMO/SEATS i JDemetra+ 33 / 84

JDemetra+: podstawy Wyniki testów: agregacja TRAMO/SEATS i JDemetra+ 34 / 84

Wprowadzenie TRAMO i SEATS co robi? 1. TRAMO: dopasowuje proces SARIMAX do szeregu i oczyszcza szereg z wpªywu wybranych czynników X (kalendarzowych, nietypowych...) za pomoc tego modelu. 2. SEATS: korzysta ze specykacji SARIMA, by zdekomponowa tak oczyszczony szereg na elementy: trendu, sezonowo±ci, nieregularny i ew. przej±ciowy. TRAMO/SEATS i JDemetra+ 36 / 84

Wprowadzenie Zakres próby T [LB; UB] (dªugo± szeregu) { 36 s = 12 LB = max {12; 4s} s 12 UB = 600 Rekomendowane limity dla TRAMO (uwzgl dniane w procedurach automatycznych): p, d, q 3 P, D, Q 2 Specykacja (SERIES) Wyniki (Main results) TRAMO/SEATS i JDemetra+ 37 / 84

Wprowadzenie Transformacja logarytmiczna (1) pomaga osi gn staª wariancj (wraz z korekt obserwacji odstaj cych) warunek stacjonarno±ci (alternatywa: modelowanie zmiennej wariancji np. GARCH) brak skali i procentowa interpretacja ró»nic wªa±ciwa, gdy amplituda oscylacji ro±nie z warto±ci szeregu (wahania multiplikatywne) interpretacja odch. standardowego reszt jako procentowego bª du prognozy wzgl dem poziomu szeregu WADA: roczna ±rednia szeregu wyj±ciowego > oczyszczonego sezonowo (±rednia geometryczna vs arytmetyczna nierówno± Cauchy'ego) TRAMO/SEATS i JDemetra+ 38 / 84

Wprowadzenie Transformacja logarytmiczna (2) Specykacja (SERIES) Wyniki (Main results) function: poziom zmiennej, logarytm naturalny lub wybór automatyczny fct>1: obci»enie testu w kierunku poziomów fct<1: obci»enie testu w kierunku ln TRAMO/SEATS i JDemetra+ 39 / 84

Wprowadzenie Konsekwencje transformacji logarytmicznej czynnik sezonowy (S) i nieregularny (I) podawane jako... Transformacja Model Efekty deterministyczne (np. kalendarzowe) oraz brak addytywny komponent, który nale»y doda do trendu logarytm multiplikatywny czynnik, przez który nale»y pomno»y trend Wykres S-I ratio Tabela efektów deterministycznych (Pre-processing / Pre-adjustment series) TRAMO/SEATS i JDemetra+ 40 / 84

Wprowadzenie SI-ratio Main results / S-I ratio: to wykres grupuj cy elementy szeregu z tych samych miesi cy, kwartaªów itp.: krzywa linia (niebieska): korekta sezonowa trendu prosta linia (czerwona): u±redniona korekta sezonowa punkty: S+I, iloczyn albo suma korekty sezonowej i nieregularnej dwukrotne klikni cie w obszarze danego miesi ca / kwartaªu powi ksza element wykresu interpretacja: wykres pozwala wykry zmiany strukturalne w schemacie sezonowo±ci (do osobnego modelowania)...i zauwa»y okresy o wy»szej zmienno±ci czynnika sezonowego ewolucja akceptowalna, chyba»e czynnik sezonowy mija 0 (w modelu addytywnym) lub 1 (w multiplikatywnym) TRAMO/SEATS i JDemetra+ 41 / 84

TRAMO R czna specykacja modelu ARIMA Automatyczna lub r cznie okre±lona (P to odpowiednik p z prezentacji modeli ARIMA, a BP -- jak big P to odpowiednik P): W TRAMO nale»y unika modeli z q > p lub p q Zwi ksza to ryzyko,»e w SEATS nie b dzie istniaªa dopuszczalna dekompozycja (zob. dalej). TRAMO/SEATS i JDemetra+ 42 / 84

TRAMO Automatyczna specykacja modelu ARIMA W automatycznym poszukiwaniu specykacji brane pod uwag : pewne proste, ale do± elastyczne specykacje (Accept Default); granica, powy»ej której pierwiastek wielomianu charakterystycznego AR jest traktowany jako jednostkowy (UR); statystyka t dla regresorów (ARMA limit); test Ljunga-Boxa dla rest (LjungBox limit). TRAMO/SEATS i JDemetra+ 43 / 84

TRAMO Wielomian MA z zaªo»enia odwracalny TRAMO wymusza odwracalno± cz ±ci MA procesu ARIMA. Powód: stabilno± numeryczna oblicze«w sko«czonych próbach. Je»eli odwrotno± pierwiastka wielomianu charakterystycznego zbiega (od doªu) do 1, zatrzymuje si na pewnej warto±ci (default = 0,99, mo»na j zmieni w oknie specykacji: Decomposition (Seats) / MA unit root boundary) Nadmierne ró»nicowanie (overdierencing) Niech y t = ε t (biaªy szum). Przy ró»nicowaniu y t = (1 L) y t znajdziemy model MA (1 L) y t = (1 0.99L) ε t WNIOSEK: (umiarkowane) nadmierne ró»nicowanie nie stanowi, z praktycznego punktu widzenia, istotnego problemu w TRAMO. Przy wªasnor cznej specykacji, zwi kszeniu d mo»e towarzyszy zwi kszenie q (parametr θ q mo»e, ale nie musi okaza si nieistotny). TRAMO/SEATS i JDemetra+ 44 / 84

TRAMO Oszacowania wielomianów charakterystycznych Pre-processing / Regressors: Pre-processing / Arima: TRAMO/SEATS i JDemetra+ 45 / 84

TRAMO Oszacowania efektów kalendarzowych (1) Trading days: osobne efekty od poniedziaªku do soboty. Working days: efekt dla dni roboczych (vs dni ±wi teczne i weekendowe). Leap year: efekt roku przest pnego Easter: efekt wielkanocny Mo»na samemu zdeniowa dodatkowe zmienne. TRAMO/SEATS i JDemetra+ 46 / 84

TRAMO Oszacowania efektów kalendarzowych (2) Pre-processing: TRAMO/SEATS i JDemetra+ 47 / 84

TRAMO Obserwacje odstaj ce AO: Additive Outlier, [0 0 0 0 1 0 0 0] TC: Transitory Change, [0 0 0 0 1 δ δ 2 δ 3... 0] gdy δ = 1 efekt skrajnie uporczywy (LS), gdy δ = 0 natychmiast przemija (AO) LS: Level Shift, [0 0 0 0 1 1 1 1 1] TRAMO/SEATS i JDemetra+ 48 / 84

TRAMO Wªasno±ci procedury automatycznej identykacji cel: usuni cie odchyle«od normalnego rozkªadu reszt, pozornych efektów w ACF, obci»enia oszacowa«nieznana LOKALIZACJA ex ante! (tym obserwacje odstaj ce si ró»ni od zmiennych interwencyjnych) ale je»eli jest uzasadnienie ex post, lepiej wprowadzi zmienn interwencyjn optymalnie do 2%, maksymalnie do 5% liczby obserwacji w szeregu (trzeba zwróci na to uwag po fakcie...) mo»liwo± sterowania warto±ci krytyczn testu na obecno± outliera: im wy»sza, tym trudniej go stwierdzi ; default = 3,5, w praktyce od 3 (krótki szereg, <50) do 4 (dªugi szereg, >450) statystyka testowa: Maravall, cz. II, s. 93 TRAMO/SEATS i JDemetra+ 49 / 84

TRAMO Przebieg procedury automatycznej identykacji 1 Oszacowanie modelu ARIMAX (EML lub HR). 2 Test na obecno± obserwacji nietypowej ka»dego z 3 typów dla reszt modelu we wszystkich okresach. nie znaleziono outlierów w pierwszym przebiegu: STOP. nie znaleziono outlierów, ale nie byª to pierwszy przebieg: ID DO 3. znaleziono outliery: uzupeªnij model o zmienne egzogeniczne i ID DO 1. 3 Regresja ze wszystkimi dodanymi zmiennymi zerojedynkowymi. s nieistotne outliery: usu«ten z najni»sz warto±ci statystyki i ID DO 1. brak nieistotnych outlierów: STOP. TRAMO/SEATS i JDemetra+ 50 / 84

TRAMO Efekty procedury identykacji obserwacji odstaj cych Pre-processing: TRAMO/SEATS i JDemetra+ 51 / 84

TRAMO Estymacja modelu ARIMA Exact ML: TAK: Exact Maximum Likelihood (mo»na dobra parametr precyzji w procedurze optymalizacyjnej dla funkcji wiarygodno±ci) NIE: metoda Hannana-Rissanena Model ARIMA zawiera nieobserwowalne regresory (cz ± MA). Dlatego: zapisanie (stacjonarnego) modelu w przestrzeni stanów (Akaike, 1974) maksymalizacja funkcji wiarygodno±ci wyprowadzonej przy pomocy ltru Kalmana (Mélard, 1984) TRAMO/SEATS i JDemetra+ 52 / 84

TRAMO Metoda Hannana-Rissanena Szacujemy parametry modelu ARMA(p,d): Φ (L) y t = Θ (L) ε t Θ (L) 1 Φ (L) y t = ε t Efekt dzielenia wielomianów (wymuszony odwracalny proces MA!): Π (L) y t = ε t Wielomian Π (L) jest niesko«czony, ale przy odwracalnym procesie MA jego parametry zbiegaj do zera w niesko«czono±ci. Dlatego mo»na go przybli»y sko«czonym wielomianem Π n (L). Wtedy parametry równania mog zosta oszacowane za pomoc MNK, co pozwoli uzyska oszacowania reszt ˆε t. W drugim kroku Exact ML oszacowania te traktujemy jako obserwowalne regresory do cz ±ci MA. szybko± oblicze«, przypadki niestabilne numerycznie; uzyskanie warto±ci startowych do estymacji. TRAMO/SEATS i JDemetra+ 53 / 84

TRAMO Kryteria informacyjne Mo»liwe porównanie modeli, o ile rozwa»amy konkurencyjne (im ni»sze warto±ci przyjmuj kryteria, tym lepiej): AIC = ln 1 T BIC = ln 1 T T t=1 T t=1 ˆε 2 t + 2k T ˆε 2 t + k ln(t ) n Pre-processing: TRAMO/SEATS i JDemetra+ 54 / 84

TRAMO Testy reszt (1) rozkªad Pre-processing / Residuals / Statistics, Distribution Mean H o : ±rednia reszt = 0 (to nie s reszty z KMNK!) Skewness H o : sko±no± reszt odpowiada rozkªadowi normalnemu Kurtosis H o : kurtoza reszt odpowiada rozkªadowi normalnemu Normality H o : sko±no± i kurtoza reszt odpowiada rozkªadowi normalnemu (na podstawie statystyk opisowych) TRAMO/SEATS i JDemetra+ 55 / 84

TRAMO Testy reszt (2) autokorelacja / losowo± Ljung-Box (Box-Pierce) H o : brak autokorelacji reszt do rz du 24 wª cznie Ljung-Box (Box-Pierce) on seasonality H o : brak sezonowej autokorelacji reszt do rz du 2 wª cznie Randomness ró»ne warianty testu serii (H o : losowy charakter reszt) Test Ljunga-Boxa H 0 : nie ma autokorelacji do rz du P (wariant sezonowy: P s) wª cznie H 1 : wyst puje autokorelacja rz du od 1 do P (wariant sezonowy: P s) Q = T (T + 2) P j=1 T ˆε t ˆε t j T ˆε 2 t t=1 }{{} 1 t=j+1 T j ρ 2 j Q s = T (T + 2) P j=1 ( ) 1 T js ρ2 js TRAMO/SEATS i JDemetra+ 56 / 84

TRAMO Testy reszt (3) autokorelacja / losowo± TRAMO/SEATS i JDemetra+ 57 / 84

TRAMO Inne narz dzia diagnostyczne Linearity H o : liniowy charakter modelu (liniowa kombinacja normalnych reszt) implementacja Ljunga-Boxa dla kwadratów reszt sªu»y wykrywaniu efektów ARCH / GARCH Seasonality wykrywanie sezonowych wzorców pozostaªych w resztach (Diagnostics / Seasonality tests / Full residuals) TRAMO/SEATS i JDemetra+ 58 / 84

SEATS SEATS: zasady dekompozycji Wszystkie trzy (albo cztery) komponenty szeregu czasowego s ortogonalne. Mog by modelowane za pomoc osobnych procesów SARIMA: komponent nieregularny koncentruje w sobie szum, wielomiany charakterystyczne: AR=1, MA=1; wielomiany charakterystyczne AR i MA caªego procesu iloczynem odpowiednich wielomianów dla komponentu trendowego, sezonowego i przej±ciowego. Patrz c z drugiej strony: iloczyn wielomianów charakterystycznych dla skªadowych to proces SARIMA dla caªego szeregu. A zatem tworzymy skªadowe, przypisuj c im poszczególne pierwiastki wielomianów charakterystycznych znalezionego przez TRAMO modelu SARIMA. TRAMO/SEATS i JDemetra+ 59 / 84

SEATS Reprezentacja szeregu za pomoc waha«sinusoidalnych Ka»dy szereg czasowy x t (t = 1,..., T ) mo»emy obja±ni (stuprocentowo) za pomoc ukªadu T równa«z T niewiadomymi a i : x t = a 0 + a 1 t + a 2 t 2 +... + a T 1 t T 1 Dla ka»dej obserwacji x t mo»emy zapisa, przy znanych a i i x t : t T 1 + a T 2 a T 1 t T 2 +... + a 2 a T 1 t 2 + a 1 a T 1 t + a 0 x t a T 1 = 0 Powy»szy zapis jest to»samy z równaniem charakterystycznym liniowego równania ró»nicowego o rzeczywistych wspóªczynnikach. Rozwi zanie takiego równania dla ka»dego x j jest postaci: A j cos (ω j t) + B j sin (ω j t) TRAMO/SEATS i JDemetra+ 60 / 84

SEATS Spektrum Okres waha«tych funkcji to 2π. ω j mo»emy tu interpretowa jako cz stotliwo± waha«(w radianach na jednostk czasu). Rozwa»my nast puj cy zbiór cz stotliwo±ci: ω j = 2π T j, j = 1,..., T 2 (raz w szeregu, dwa razy w szeregu,..., co druga obserwacja w szeregu), ω j [0; π] Wówczas szereg mo»emy zaprezentowa jako sum takich rozwi za«: T /2 x t = (A j cos (ω j t) + B j sin (ω j t)) Spektrum j=1 Funkcj A 2 j + B 2 j mo»emy interpretowa jako kontrybucj cz stotliwo±ci ω j do wariancji caªego szeregu. TRAMO/SEATS i JDemetra+ 61 / 84

SEATS Cz stotliwo±ci sezonowe w spektrum Wahania o cz stotliwo±ci co ka»d obserwacj maj cz stotliwo± 2π (okres funkcji sin i cos). Oczywi±cie nie mo»emy ich zaobserwowa, bo musieliby±my widzie, co si dzieje mi dzy obserwacjami. Dla nas dostrzegalne s najwy»ej wahania co drug obserwacj (cz stotliwo± 2π = 2 π). W danych sezonowych mog nas np. interesowa wahania: co 12-t obserwacj, czyli miesi czne: cz stotliwo± 2π = π 12 6 co 4-t obserwacj, czyli kwartalne: cz stotliwo± 2π = π 4 2 W wahaniach miesi cznych mog by ukryte wahania o wy»szej cz stotliwo±ci, b d cej wielokrotno±ci π 6 : 2π 6, 3π 6, 4π 6, 5π 6 (harmonics). St d w danych: miesi cznych: n π cz stotliwo±ci sezonowe 6 kwartalnych: n π cz stotliwo±ci sezonowe 2 TRAMO/SEATS i JDemetra+ 62 / 84

SEATS Typowe spektrum szeregów z trendem i sezonowo±ci Dlaczego rozwa»amy spektrum? Bo znalezienie cz stotliwo±ci, na której dany pierwiastek wielomianów charakterystycznych SARIMA generuje wahania, pozwoli go zaklasykowa do jednego z komponentów szeregu: szereg z trendem o znikomych wahaniach lokalnych: wysoko wa»y dªugi okres = niska cz stotliwo± szereg bez trendu o relatywnie silnych wahaniach lokalnych: wysoko wa»y krótki okres = wysoka cz stotliwo± szereg z wahaniami sezonowymi: pojawia si dodatkowa górka TRAMO/SEATS i JDemetra+ 63 / 84

SEATS Klasykacja pierwiastków: przykªad (1) Rozwa»my wielomian charakterystyczny dla sezonowych ró»nic przy danych miesi cznych: x t x t 12 ( 1 L 12 ) x t Pierwiastki rozwi zaniami równania: 1 L 12 = 0 12 pierwiastków o module jednostkowym: L = 1 1 12 TRAMO/SEATS i JDemetra+ 64 / 84

SEATS Klasykacja pierwiastków: przykªad (2) Mo»na rozªo»y ( 1 L 12) x t na czynniki: ( 1 L 12 ) x t = (1 L) (1 3L + L 2) ( 1 L + L 2 ) ( 1 + L 2 ) ( 1 + L + L 2 ) (1 + 3L + L 2) (1 + L) }{{}}{{}}{{}}{{}}{{}}{{}}{{} trend 1/rok= π 2/rok= 2π 6 6 3/rok= 3π 6 4/rok= 4π 6 5/rok= 5π 6/rok= 6π 6 6 }{{} sezonowosc W ten sposób SEATS rozbija zidentykowany model SARIMA na komponenty TRAMO/SEATS i JDemetra+ 65 / 84

SEATS Klasykacja pierwiastków: ogólna zasada TRAMO/SEATS i JDemetra+ 66 / 84

SEATS Parametry dekompozycji Φ (L) = Φ p (L) Φ s (L) Φ c (L) pierwiastki AR s przypisywane stosownie do cz stotliwo±ci, jakie generuj Decomposition (Seats) / Trend boundary: granica, powy»ej której odwrotno± pierwiastka AR jest przypisywana do trendu (poni»ej: komponent przej±ciowy) Decomposition (Seats) / Seasonal tolerance: odlegªo± w spektrum od cz stotliwo±ci sezonowych (w stopniach), poni»ej której pierwiastek jest przypisywany do komponentu sezonowego Gdy q > p, zawsze pojawi si komponent przej±ciowy, nawet je»eli»aden pierwiastek AR nie zostanie do niego przypisany. Obecno± stacjonarnego (z denicji) komponentu przej±ciowego sªu»y temu, by zawrze w nim struktury korelacyjne szeregu, które nie zostaªy zawarte w trendzie i sezonowo±ci, tak aby komponent nieregularny byª biaªoszumowy. TRAMO/SEATS i JDemetra+ 67 / 84

Kompletny opis trzech (czterech) procesów skªadowych wymaga jeszcze podania wariancji ich skªadników losowych. S one nieidentykowalne bez dodatkowych zaªo»e«: manipuluj c wariancjami skªadników losowych, spektrum ka»dego komponentu mo»emy przesuwa równolegle w gór i w dóª je»eli inny element przesuniemy adekwatnie w drug stron, spektrum caªego procesu nie zmieni si Zaªo»enie identykuj ce: wariancja komponentu nieregularnego maksymalizowana kosztem trendu i sezonowo±ci. Przesuwamy spektrum komponentu trendowego, przej±ciowego i sezonowego jak najni»ej (tzn. a» zetknie si z zerem). Wariancj komponentu nieregularnego przesuwamy odpowiednio wy»ej. TRAMO/SEATS i JDemetra+ 68 / 84 SEATS Problem identykacji w SEATS (1)

SEATS Problem identykacji w SEATS (2) TRAMO/SEATS i JDemetra+ 69 / 84

SEATS Spektrum teoretycznych komponentów Decomposition / WK analysis / Components Z zaªo»e«identykacji wynika: spektrum trendu i sezonowego komponentu dotyka 0 (mo»liwie najni»sza wariancja) poziome (z denicji) spektrum komponentu nieregularnego maksymalnie wysoko (mo»liwie najwy»sza wariancja) TRAMO/SEATS i JDemetra+ 70 / 84

SEATS SEATS: efekt dekompozycji Decomposition: TRAMO/SEATS i JDemetra+ 71 / 84

SEATS Jak oszacowa komponent sezonowy? Φ (L) y t = Θ (L) ε t, ε t (0; V ) Φ s (L) s t = Θ s (L) ε s t, εs t (0; V s ) y t = Ψ(L)ε t s t = Ψ s (L)ε s t ŝ t = V s V Ψs (L)Ψ s (F ) Ψ(L)Ψ(F ) }{{} υ s(l,f ) gdzie F i = L i (operator przesuni cia w przyszªo± ) W mianowniku wielomiany MA caªego modelu (odwracalne) i AR cz ±ci sezonowej (skróc si z licznikiem, bo tam wielomiany AR caªego modelu b d ce iloczynem wielomianów sezonowych i niesezonowych). St d: zbie»no± wag w niesko«czono±ci i ltr mo»e by obci ty dla potrzeb analizy sko«czonej próby. TRAMO/SEATS i JDemetra+ 72 / 84 y t

SEATS Filtr Wienera-Koªmogorowa Ci g liniowych wspóªczynników υ s (L, F ) przykªadanych do przyszªych, bie» cej i przeszªych realizacji szeregu w celu znalezienia jego sezonowego komponentu nazywamy ltrem Wienera-Koªmogorowa. Analogicznie wyznaczamy pozostaªe komponenty. Powinien by zbie»ny (wynika z wymuszonej odwracalno±ci cz ±ci MA), scentrowany w 0 i symetryczny. Decomposition / WK analysis / Final estimators / WK lters Estymator ró»ni si od prawdziwego procesu zale»no±ci od przyszªych obserwacji. Wprowadza do szacowanego komponentu dodatkowe struktury korelacyjne. Dlatego nie warto odsezonowywa szeregu po to, by pó¹niej modelowa go za pomoc technik ARIMA (w szczególno±ci AR). TRAMO/SEATS i JDemetra+ 73 / 84

SEATS Wagi PsiE Filtr WK obejmuje przyszªe obserwacje, wi c wagi mogªyby da wyobra»enie o skali i horyzoncie mo»liwych rewizji odsezonowanego szeregu. Jednak w takim uj ciu ta skala byªaby przeszacowana, gdy» w modelu SARIMA o przyszªych obserwacjach sporo ju» wiadomo (prognoza z modelu SARIMA). Dlatego w tym celu wyrazi ŝ t jako funkcj przeszªych i przyszªych innowacji ε t. ŝ t = υ s (L, F ) y t = υ s (L, F ) Θ(B) εt = ξs (B, F ) ε Φ(B) t }{{} PsiE weights Decomposition / WK analysis / Final estimators / PsiE-weights Niesymetryczne, zbie»ne w przyszªo±ci, rozbie»ne w przeszªo±ci dla modelu niestacjonarnego. TRAMO/SEATS i JDemetra+ 74 / 84

SEATS Istnienie dopuszczalnej dekompozycji Dopuszczalna dekompozycja......gdy spektrum wszystkich komponentów jest nieujemne. Nie zawsze istnieje. Gdy model znaleziony przez TRAMO nie implikuje dopuszczalnej dekompozycji, mo»na próbowa j aproksymowa : TRAMO/SEATS i JDemetra+ 75 / 84

SEATS Diagnostyka spektrum oszyszczonego sezonowo (1) Diagnostics / Spectral analysis: mo»liwa wªasna ocena wizualna, czy spektrum szeregu oczyszczonego sezonowo zostaªo pozbawione maksimów lokalnych dla cz stotliwo±ci sezonowych niebieskie linie: cz stotliwo±ci zwi zane z sezonowo±ci czerwona linia: cz stotliwo± zwi zana z dniami roboczymi TRAMO/SEATS i JDemetra+ 76 / 84

SEATS Diagnostyka spektrum oszyszczonego sezonowo (2) Main results: wybrane formalne testy visual spectral analysis: identykacja wierzchoªków na wykresie spektrum dla (i) komponentu sezonowego i (ii) komponentu liczby dni roboczych regarima spectral peaks: przy zaªo»eniu normalno±ci rozkªadu reszt z modelu ARIMA mo»liwe wyprowadzenie testów istotno±ci wokóª pewnych cz stotliwo±ci w spektrum (sezonowo±, dni robocze) odrzucenie H o sugeruje,»e sezonowo±ci i efektu dni roboczych nie udaªo si w peªni usun TRAMO/SEATS i JDemetra+ 77 / 84

Wytyczne Eurostatu ESS Guidelines on SA Dokument Eurostatu, kodeks dobrych praktyk odsezonowania. Maj zapewni wy»sz jako± i mi dzynarodow porównywalno± odsezonowanych szeregów. Wskazanie na potrzeb jednolitej metodologii i oprogramowania. ESS Guidelines dotycz nast puj cych obszarów: wst pna obróbka danych (analiza graczna, dostosowanie kalendarzowe, obserwacje odstaj ce, wybór modelu); wyrównanie sezonowe (wybór metody, spójno± danych surowych i SA); rewizje (zasady; horyzont); diagnostyka jako±ci; szeregi krótkie i problematyczne TRAMO/SEATS i JDemetra+ 79 / 84

Wytyczne Eurostatu Badania Eurostatu Za pomoc automatycznej procedury TRAMO-SEATS zbadano 13227 szeregów: 60% szeregów multiplikatywnych (log), 40% addytywnych (level) 50% szeregów: RSA0 87% szeregów: dobre dopasowanie, 11% akceptowalne, 2% zªe 15% szeregów stacjonarnych, 2% wymagaªo d > 1 50% bez outlierów, 27% z jednym, 23% bez outlierów TRAMO/SEATS i JDemetra+ 80 / 84

Zadania Zadanie 1 1 Zaimportuj do Demetry+ swój szereg czasowy (bez ostatniej obserwacji). 2 Spróbuj samodzielnie znale¹ dla niego najlepszy mode ARIMA. Porównaj z modele znalezionym przez Demetr +. 3 Czy w szeregu wyst puj istotne efekty kalendarzowe? 4 Czy w szeregu wyst puj istotne efekty sezonowe? Omów ich charakter. Czy sezonowo± jest stabilna? 5 Skopiuj wyrównany sezonowo szereg do Excela. Oce«jego jako± i ewentualne kierunki poprawek. 6 Skopiuj do Excela histori rewizji sezonowego komponentu dla 10. obserwacji od ko«ca i komponentu trendu dla ostatniej obserwacji z roku 2008. 7 Porównaj jako± uzyskanego modelu ze specykacj RSA0. 8 Powtórz odsezonowanie modelu w Excelu. Uzupeªnij szereg o ostatni obserwacj i przeprowad¹ rewizj. TRAMO/SEATS i JDemetra+ 81 / 84

Zadania Zadanie 2 Za pomoc metody TRAMO-SEATS oczyszczono z sezonowo±ci miesi czny szereg cen tekstyliów we Francji w okresie 1990m01-2009m08. Na podstawie zaª czonych informacji z programu JDemetra+ odpowiedz na pytania: a) Jaki jest wielomian charakterystyczny cz ±ci AR procesu ARIMA znalezionego przez TRAMO? b) Do którego komponentu szeregu zostaªy wª czone pierwiastki wielomianu AR zwi zane z ró»nicowaniem zwykªym i sezonowym? c) Wiedz c,»e szereg byª poddany logarytmowaniu, omów, czy wyodr bniona sezonowo± stochastyczna ma charakter addytywny, czy multiplikatywny. d) Oszacowano tylko dwa parametry modelu: θ 1 = 0.6704 oraz Θ 1 = 0.5598. Dlaczego zatem w wielomianie charakterystycznym cz ±ci MA dla procesu przed dekompozycj pojawia si trzeci parametr, 0.37527, przy opó¹nieniu do pot gi trzynastej? TRAMO/SEATS i JDemetra+ 82 / 84

Zadania Zadanie 2 ARIMA model [(0,1,1)(0,1,1)] Parameter Value Std error T-Stat P-value Th(1) -0,6704 0,0528-12,69 0,0000 BTh(1) -0,5598 0,0664-8,43 0,0000 Decomposition Model Non-stationary AR: 1 - B - B^12 + B^13 Stationary AR: 1 MA: 1-0,67036 B - 0,55981 B^12 + 0,37527 B^13 Innovation variance: 1,0000 trend Non-stationary AR: 1-2 B + B^2 Stationary AR: 1 MA: 1 + 0,046844 B - 0,95316 B^2 Innovation variance: 0,0167 seasonal Non-stationary AR: 1 + B + B^2 + B^3 + B^4 + B^5 + B^6 + B^7 + B^8 + B^9 + B^10 + B^11 Stationary AR: 1 MA: 1 + 0,75892 B + 0,49417 B^2 + 0,23805 B^3 + 0,012022 B^4-0,17119 B^5-0,30585 B^6-0,3916 B^7-0,43219 B^8-0,43437 B^9-0,40707 B^10-0,36088 B^11 Innovation variance: 0,0648 irregular Non-stationary AR: 1 Stationary AR: 1 MA: 1 Innovation variance: 0,4145 TRAMO/SEATS i JDemetra+ 83 / 84

Zadania Zadanie 3 Za pomoc metody TRAMO-SEATS oczyszczono z sezonowo±ci miesi czny szereg cen»ywno±ci w Niemczech w okresie 1990m01-2009m08. a) Scharakteryzuj krótko przebieg procedury TRAMO i procedury SE- ATS. b) Do którego komponentu szeregu zostaªy w SEATS wª czone pierwiastki wielomianu AR zwi zane z ró»nicowaniem zwykªym (niesezonowym)? c) Wiedz c,»e szereg nie byª poddany logarytmowaniu, omów, czy wyodr bniona sezonowo± stochastyczna ma charakter addytywny, czy multiplikatywny. d) W modelu oszacowanym w cz ±ci TRAMO q=1 i Q=1, oszacowano równie» parametry θ 1 = 0.6704 oraz Θ 1 = 0.5598. Zapisz wielomian charakterystyczny cz ±ci MA. TRAMO/SEATS i JDemetra+ 84 / 84