wprowadzenie do analizy szeregów czasowych

Transkrypt

1 19 stycznia 2016

2 Wprowadzenie Prezentacja danych Dekompozycja Preprocessing Model predykcji ARIMA Dobór parametrów modelu ARIMA Podsumowanie

3 Definicje i przykłady Definicje Szeregiem czasowym nazywamy ciag (x 1,x 2,...,x t,...) następujacych po sobie obserwacji pewnego zjawiska. charakter dyskretny kolejne obserwacje w identycznych odstępach czasowych, formalnie jest realizacja pewnego procesu stochastycznego (tj. rodziny zmiennych losowych) postaci X = (X t ) t T. X 1 x 1, x 1, x 1,... X 2 x 2, x 2, x 2, X t x t, x t, x... t,....

4 Definicje i przykłady Przykłady Wykres miesięczne zestawienie ilości wytworzonej energii elektrycznej dla Australii Zjawiska trend, sezonowość, wysoka przewidywalność.

5 Definicje i przykłady Przykłady Wykres notowania bonów skarbowych USA w ciagu 100 kolejnych dni roboczych 1981r. Zjawiska trend albo chwilowy spadek, ryzyko dużego błędu prognozy.

6 Definicje i przykłady Przykłady Wykres sprzedaż produktu C notowana w dużej spółce naftowej Zjawiska spikes, predykcja wymaga analizy jakościowej.

7 Definicje i przykłady Przykłady Wykres miesięczne zestawienie produkcji gliny ceglarskiej dla Australii Zjawiska silne wahania, sezonowość o nieregularnej intensywności, predykcja jedynie po ustaleniu przyczyn fluktuacji.

8 Definicje i przykłady Zarys problematyki Cel Dysponujac historycznymi obserwacjami pewnego zjawiska (x 1,x 2,...,x n ), zrozumieć jego charakter i/lub przewidzieć przyszłe wartości, tj. x n+1,x n+2,...,x n+m dla m > 0. Założenia Istnieje proces stochastyczny (X t ) t T, którego instancja jest ciag (x 1,x 2,...,x n,...). Na podstawie obserwacji (x 1,x 2,...,x n ) można estymować parametry rozkładów zmiennych losowych X 1,X 2,...,X n. Autokorelacja w procesie (X t ) t T pozwala na jakiekolwiek przewidywania na temat zmiennych X n+1,x n+2,...,x n+m.

9 Definicje i przykłady Zarys problematyki Metody prezentacja danych wykresy, statystyki, estymacja parametrów rozkładów X 1,X 2,...,X n wartości oczekiwanych, (auto)kowariancji, (auto)korelacji i innych, dobór i konstrukcja modelu (X t ) t T, dekompozycja modelu, testowanie modelu szacowanie błędów, dopasowania, etc. zastosowanie mechanizmu predykcji dla modelu autoregresja, średnie kroczace i inne.

10 Statystyki i wykresy Proste statystyki Niech (x 1,x 2,...,x n ) będzie szeregiem czasowym. średnia arytmetyczna x = n x i i=1 wariancja (z próby) s 2 = 1 n n i=1 (x i x) 2 odchylenie standardowe s = s 2 x = 0, s 2 50 x = 0, s 2 0.5

11 Statystyki i wykresy Proste statystyki Niech 1 k < n. Autokowariancja (z próby) c k = 1 n (x t x)(x t k x) n t=k+1 Autokorelacja (z próby) czyli 1 r k 1. r k = c k s 2 = n t=k+1(x t x)(x t k x) n t=1(x t x) 2,

12 Statystyki i wykresy Proste statystyki Niech k = 2m + 1. Prosta średnia kroczaca gdzie m < t n m. SMA k (t) = 1 k m x t+j, i= m Dla krańcowych wartości t stosuje się zmodyfikowane warianty 1 m + 1 m x t+j i=0 oraz 0 1 x t+j. m + 1 i= m

13 Statystyki i wykresy Wykres punktowy (ang. scatterplot) Wykres cena vs. ilość dostarczanej pulpy drzewnej Zjawiska zależność zbliżona do liniowej.

14 Statystyki i wykresy Wykres punktowy różne wartości (auto)korelacji

15 Statystyki i wykresy Korelogram miesięczne zestawienie sprzedaży piwa silna korelacja dodatnia dla k = 12, silna korelacja ujemna dla k = 6.

16 Usuwanie trendu i sezonowości Model addytywny i multiplikatywny Rozważamy zwykle dwa zasadnicze modele: addytywny multiplikatywny X t = T t + S t + E t, X t = T t S t E t, gdzie T t składowa trend-cykl, S t składowa sezonowa, E t reszta.

17 Usuwanie trendu i sezonowości Przykład model addytywny obserwacje składowa trend-cykl składowa sezonowa reszta

18 Usuwanie trendu i sezonowości Wykrywanie trendu Najprostszym mechanizmem wykrywania trendu jest wygładzanie za pomoca średniej kroczacej. im większa wartość k, tym gładszy wykres, im mniejsza wartość k, tym mniej danych potrzebnych do wyliczenia średniej kroczacej.

19 Usuwanie trendu i sezonowości Wykrywanie trendu Optymalnie wyznaczony trend dla k = 19 ze zmodyfikowana średnia kroczac a dla krańcowych wartości t.

20 Usuwanie trendu i sezonowości Usuwanie sezonowości Po usunięciu składowej trend-cykl, otrzymujemy X t T t = S t + E t, X t /T t = S t E t. Załóżmy, że badany szereg czasowy jest ciagiem comiesięcznych obserwacji danego zjawiska. Średnie arytmetyczne obserwacji (po usunięciu trendu) z poszczególnych miesięcy wyznaczaja przybliżenie składowej sezonowej.

21 Usuwanie trendu i sezonowości Usuwanie trendu i sezonowości przykład Niech n = 5 12 mies. = 60 Dane sa obserwacje (x 1,x 2,...,x 60 ). Przyjmujemy model addytywny. Algorytm (1) Obliczamy τ t = SMA k (t), np. dla k = 15. (2) Wyznaczamy średnie dla miesięcy σ Jan = 4 i=0(x 1+12 i τ 1+12 i ),...,σ Dec = 4 i=0(x i τ i ) 5 5 (3) Obliczamy resztę (bład) e t = x t τ t σ mies.

22 Usuwanie trendu i sezonowości Usuwanie trendu i sezonowości przykład

23 Usuwanie trendu i sezonowości Dekompozycja uwagi Pomyślnie przeprowadzona dekompozycja dostarcza istotnych informacji o postaci szeregu czasowego. Wiele metod predykcji wymaga usunięcia trendu i sezonowości. Problemy Czy składowe trend-cykl i sezonowa również należy przewidywać czy przyjać, że nie ulegna zmianie w przyszłości? Jak dużo danych (np. τ t,σ t ) należy dodatkowo gromadzić dla skutecznej predykcji?

24 Przekształcenia matematyczne i kalendarzowe Zaszumienie danych Wszelkie obserwacje narażone sa na liczne zaszumienia, np.: przerwy w działaniu urzadzenia pomiarowego (braki danych), znaczne błędy pomiaru (nadspodziewanie duże lub małe wartości, ang. outliers), wpływ kalendarza, w szczególności: liczba dni w miesiacu, liczba weekendów, święta (w tym święta ruchome ).

25 Przekształcenia matematyczne i kalendarzowe Proste przekształcenia matematyczne Szczególna rolę odgrywa logarytmowanie, które pozwala przejść od modelu multiplikatywnego do addytywnego.

26 Przekształcenia matematyczne i kalendarzowe Proste przekształcenia kalendarzowe W wykresie na dole uwzględniono liczbę dni w miesiacu.

27 Definicje i przykłady Predykcja Istnieje wiele metod prognozowania szeregów czasowych, m.in.: analiza jakościowa (np. kondycja firm, stan gospodarki), wiedza i doświadczenie (np. odwołanie się do podobnych zjawisk opisanych w literaturze), intuicja (np. w kontekście postępowania drugiej osoby), użycie jako prognozy ostatniej odnotowanej wartości, analiza ilościowa (metody matematyczne).

28 Definicje i przykłady Analiza ilościowa Wykorzystanie metod matematycznych wymaga spełnienia pewnych warunków. Dane obciażone trendem i/lub sezonowościa utrudniaja predykcję. W modelu X t = T t + S t + E t lub X t = T t S t E t racjonalna jest analiza ilościowa wyłacznie dla E t. Podstawowym wymogiem nakładanym na prognozowany szereg czasowy jest jego stacjonarność, a więc stacjonarność procesu, którego jest on instancja.

29 Definicje i przykłady Proces stacjonarny Proces nazywamy stacjonarnym, jeżeli dla dowolnych t, k T : wartość oczekiwana jest stała E(X t ) = E(X t+k ) = µ autokowariancja zależy jedynie od k Cov(X t,x t+k ) = Cov(X 1,X k+1 ) = γ(k) X 1,..., X t 1, X t, X t+1,..., X t+k 1, X }{{ t+k, X } t+k+1, X t+k+2,... µ, γ(k)

30 Definicje i przykłady Biały szum Proces stacjonarny (X t ) t T złożony wyłacznie ze zmiennych losowych parami nieskorelowanych nazywamy białym szumem. Wówczas dla dowolnego t T E(X t ) = µ, Cov(X t,x t+k ) = { 1, k = 0 0, k 0. Biały szum jest więc nieprzewidywalny.

31 Definicje i przykłady Model autoregresywny AR(p) Model procesu, w którym każda zmienna losowa jest w liniowej zależności z p > 0 poprzedzajacymi ja zmiennymi, nazywamy modelem autoregresywnym rzędu p, AR(p): X t = c + φ 1 X t 1 + φ 2 X t φ p X t p + e t, gdzie c = const, 1 φ 1,φ 2,...,φ p 1, zaś e t biały szum. Random walk ( spacer losowy ) Szczególny przypadek modelu AR(1) dla c = 0,φ 1 = 1 X t = X t 1 + e t.

32 Definicje i przykłady Częściowa autokorelacja Rozważmy model AR(1), czyli X t = c + φ 1 X t 1 + e t. X t jest zwiazane z X t 1, więc występuje silna autokorelacja r 1. X t 1 jest z kolei zwiazane z X t 2, więc pośrednio X t jest zwiazane z X t 2, czyli występuje istotna autokorelacja r Problem: Jaka jest bezpośrednia zależność pomiędzy X t a X t k dla k > 1? Odpowiedzia jest częściowa autokorelacja, czyli współczynnik φ k w modelu AR(k) X t = c + φ 1 X t 1 + φ 2 X t φ k X t k + e t,

33 Definicje i przykłady Częściowa autokorelacja przykład Notowania indeksu Dow-Jones łudzaco przypominaja random walk. Model ten jest często najbardziej adekwatny w zagadnieniach finansowych.

34 Definicje i przykłady Model średniej kroczacej MA(q) W praktyce, składowa e t w stanowi residuum, tzn. różnicę pomiędzy teoretycznym modelem a odnotowana obserwacja (bład). Model średniej kroczacej MA(q) jest kombinacja liniowa residuów X t = c + e t θ 1 e t 1 + θ 2 e t θ q e t q, gdzie c = const, 1 θ 1,θ 2,...,θ q 1, zaś e t biały szum. Uwaga Modelu MA(q) nie należy mylić ze średnia kroczac a obserwacji (np. SMA k ) wykorzystywana do wykrywania trendu. W modelu MA(q) mamy do czynienia ze średnia kroczac a ciagu residuów.

35 Definicje i przykłady Model ARIMA(p, d, q) AR(p) i MA(q) wzajemnie się dopełniaja, tworzac model ARMA(p, q) X t = c + φ 1 X t φ p X t p + e t θ 1 e t 1... θ q e t q W bardzo wielu praktycznych problemach, aby usunać niestacjonarność z szeregu czasowego, wystarczy rozważyć szereg różnic X t X t 1. Model ARIMA(p,d,q) to model ARMA(p,q) dla szeregu czasowego poddanego d-krotnemu różnicowaniu (w celu zagwarantowania stacjonarności).

36 Modele teoretyczne Kryterium Akaike AIC = 2k 2 N i=0 ln(p i ), gdzie k to liczba parametrów modelu, N to liczba rozpatrywanych obserwacji, zaś p i to estymowane prawdopodobieństwo, że przy założeniach rozpatrywanego modelu i-ta obserwacja będzie miała taka wartość jaka została zarejestrowana.

37 Modele teoretyczne Błędy dopasowania modelu mean absolute error: root mean squared error: MAE = mean( e i ) RMSE = mean absolute percentage error: mean(e 2 i ) MAPE = mean( p i ), mean absolute scaled error: where p i = 100e i y i MASE = mean( q j ), where q j = e j (1/(T 1) T t=2 y t y t 1 )

38 Modele teoretyczne Przykład AR(1)

39 Modele teoretyczne Przykład MA(1)

40 Modele teoretyczne Przykład AR(2)

41 Modele teoretyczne Przykład MA(2)

42 Modele teoretyczne Model mieszany W przypadku mieszanym dobór parametrów ARIMA(p, d, q) nie jest natychmiastowy. zwykle dobór metoda empiryczna, podobne rezulataty moga być osiagane dla różnych parametrów, na ogół wartości p,d,q ograniczaja się do zbioru {0,1,2}, Powszechna praktyka jest podział danych historycznych na dane treningowe ( uczace ) i testowe. dobór parametrów na danych treningowych, weryfikacja skuteczności predykcji na danych testowych, powszechnie stosowany bład średniokwadratowy jako miara dopasowania.

43 Podsumowanie Szereg czasowy jest realizacja pewnego procesu stochastycznego. Metody matematyczne dostarczaja wiele modeli pozwalajacych opisywać szeregi czasowe występujace w praktyce. Stacjonarność szeregu czasowego jest podstawowym wymogiem do zbudowania skutecznego modelu predykcji. ARIMA(p, d, q) jest uniwersalnym modelem autoregresywnym i średniej kroczacej z opcja różnicowania (w celu usuwania niestacjonarności).

44 Literatura Box, G., E., P., Jenkins, G., M., Reinsel, G., C., Time series analysis: Forecasting and control, Makridakis, S., G., Wheelwright, S., C., Hyndman, R., F., Forecasting: Methods and applications, Falk, M. et al., A first course on time series analysis examples with SAS, Taylor, S., J., Modelling financial time series, 2008.