Wprowadzenie do szeregów czasowych i modelu ARIMA

Transkrypt

1 Wprowadzenie do szeregów czasowych i modelu ARIMA

2 Plan 1 Pojęcie szeregu czasowego 2 Stacjonarne szeregi czasowe 3 Model autoregresyjny - AR 4 Model średniej ruchomej - MA 5 Model ARMA 6 ARIMA - model ARMA z trendem

3 Co to rozumiemy przez szereg czasowy? Definicja 1 Szereg czasowy to ciąg danych liczbowych, w którym każda obserwacja związana jest z konkretnym momentem w czasie. Aby móc używać narzędzi statystycznych konieczne jest zbudowanie matematycznego modelu. Definicja 2 Szereg czasowy to realizacje pewnego procesu stochastycznego.

4 Przykłady szeregów czasowych Występowanie szeregów Dane giełdowe Dane dotyczące urządzeń fizycznych Dane dotyczące pogody Dane biologiczne Rodzaje danych Indywidualnie rozpatrywany szereg w oderwaniu od innych danych Analiza danych powiązanych ze sobą

5 Praca z szeregami czasowymi Cele analizy szeregów czasowych Przewidywanie przyszłych wartości Badanie dynamiki szeregów Proces analizy szeregów czasowych Analiza wykresu danych Zastosowanie wybranych metod statystycznych adekwatnych do wstępnej analizy wykresu Składowe szeregu Trend Sezonowość (cykliczność) Losowość

6 Przykłady szeregów czasowych 1 Biały szum: w t iid(0, σ 2 w ). Często w t Niid(0, σ 2 w ). Średnia ruchoma: v t = 1 3 (w t 2 + w t 1 + w t ) (model MA(2)). Rysunek: Gausowski biały szum i średnia ruchoma tego szumu.

7 Przykłady szeregów czasowych 2 Autoregresja: x t = x t 1 + 0, 9x t 2 + w t dla t = 0, 1, 2,... (model AR(2)). Rysunek: Autoregresja.

8 Przykłady szeregów czasowych 3 Błądzenie losowe z trendem (lub bez): x t = δ + x t 1 + w t = δt + t j=1 w j dla t = 1, 2,... oraz x 0 = 0 (model ARIMA(1,1,0)). Rysunek: Błądzenie losowe z trendem δ = 2 i bez trendu (δ = 0).

9 Przykłady szeregów czasowych 4 Sygnał w szumie: x t = 2 cos(2πt/50 + 0, 6π) + w t dla t = 1, 2,... (szereg cykliczny). Rysunek: Cosinus, cosinus z szumem σ w = 1 i cosinus z szumem σ w = 5.

10 Opis modelu Dla dowolnych momentów czasowych s, t możemy wyznaczyć funkcje: średniej: µ t = E(x t ) autokowariancji: γ(s, t) = E[(x s µ s )(x t µ t )] autokorelacji: ρ(s, t) = γ(s,t) γ(s,s)γ(t,t) kowariancji dwóch szeregów: γ xy (s, t) = E[(x s µ xs )(y t µ yt )] korelacji dwóch szeregów: ρ xy (s, t) = Zauważmy, że: γ(s, t) = γ(t, s) γ(t, t) = σ 2 t 1 ρ(s, t) 1 γ xy (s,t) γxy (s,s)γ xy (t,t) Jeśli γ(s, t) = 0 i x s, x t mają dwuwymiarowy rozkład normalny to są niezależne - dla dowolnych rozkładów niekoniecznie

11 Autokowariancja - przykład Rysunek: Autokowariancja średniej ruchomej x t = 1 (wt + wt 1 + wt 2). 3

12 Stacjonarność Problem: Chcemy estymować średnie i kowariancje z danych. Do dyspozycji mamy po jednej realizacji procesu, a nie cały proces, co utrudnia zadanie. Definicja - ścisła stacjonarność Szereg czasowy jest ściśle stacjonarny jeśli dla dowolnych dopuszczalnych danych t 1,..., t k i dowolnego h Z łączny rozkład kolekcji {x t1,..., x tk } jest identyczny z rozkładem {x t1+h,..., x tk +h}. Ze ścisłej stacjonarności wynika stałość średnich i wariancji w czasie. Definicja - słaba stacjonarność (stacjonarność) Szereg czasowy o skończonej wariancji jest słabo stacjonarny (stacjonarny) jeśli: 1 Średnia µ t jest stała w czasie. 2 Autokowariancja γ(s, t) zależy tylko od różnicy h = t s.

13 Przykłady Biały szum: γ(s, t) = E[(w t 0)(w s 0)] = { σ 2 w, s = t, 0, s t. Jest stacjonarny. Jeśli w t Niid(0, σ 2 w ), to jest nawet ściśle stacjonarny. Średnia ruchoma: v t = 1 3 (w t 1 + w t + w t+1 ) Jest stacjonarny. µ t = 0 3/9, s = t, 2/9, s t = 1, γ(s, t) = 1/9, s t = 2, 0, s t 3

14 Przykłady c.d. Błądzenie losowe z dryfem: x t = δt + t j=1 w j. µ t = δt. Zatem błądzenie losowe z dryfem nie jest szeregiem stacjonarnym. Bez dryfu również, ponieważ γ(s, t) = min{s, t}σ 2 w. Sygnał w szumie: x t = 2 cos(2πt/50 + 0, 6π) + w t. Nie jest stacjonarny. µ t = 2 cos(2πt/50 + 0, 6π),

15 Własności szeregów stacjonarnych Własności: Jeśli szereg jest ściśle stacjonarny, to jest stacjonarny. Jeśli szereg jest stacjonarny i każdy wielowymiarowy rozkład {x t1,..., x tn } jest gaussowski, to szereg jest ściśle stacjonarny. Oznaczenia: µ = µ t γ(h) = γ(t, t + h) ρ(h) = ρ(t, t + h) Analogiczne oznaczenia dla kowariancji i korelacji dwóch szeregów. Własności: γ(h) = γ( h) γ(0) = σ 2 - wariancja x t γ(h) γ(0)

16 Szereg stacjonarny Estymacja parametrów szeregu stacjonarnego: Średnia: ˆµ = 1 n n t=1 x t. Autokowariancja: ˆγ(h) = 1 n Autokorelacja: ˆρ(h) = ˆγ(h) Kowariancja: ˆγ xy (h) = 1 n Korelacja: ˆρ xy (h) = ˆγ(0) n h ˆγ xy (h) ˆγx (0)ˆγ y (0) n h t=1 (x t+h ˆµ)(x t ˆµ). t=1 (x t+h ˆµ x )(y t ˆµ y )

17 Rodzaje analiz szeregów czasowych Analiza czasowa Korelacja aktualnych danych z danymi poprzednimi Modelowanie przyszłych wartości na podstawie aktualnych i przeszłych Korzysta z regresji Modele ARIMA Analiza częstościowa Wpływ czynników cyklicznych (sezonowych) na wartości szeregu Główne narzędzie to analiza spektralna (gęstość spektralna)

18 Wprowadzenie do modelu ARIMA - pomocnicze operatory Oznaczenia: Operator przesunięcia Bx t = x t 1, B k x t = x t k. Operator różnicowy x t = x t x t 1, d x t = (1 B) d x t.

19 Model autoregresyny - AR Definicja modelu autoregresyjnego stopnia p - AR(p) Model postaci: x t = Φ 1 x t Φ p x t p + w t, gdzie x t to szereg stacjonarny, Φ i - stałe (Φ p 0), w t to biały szum (gaussowski). Jeśli µ = E(x t ) 0, to powyższy szereg zastępujemy przez: gdzie α = µ(1 Φ 1... Φ p ). x t = α + Φ 1 x t Φ p x t p + w t, Zapis operatorowy Φ(B)x t = w t, gdzie Φ(B) = 1 Φ 1 B... Φ p B p. Wielomianem AR(p) nazywamy wielomian zespolony: Φ(z) = 1 Φ 1 z... Φ p z p, Φ p 0 oraz z C.

20 Model AR(1) Własności procesu x t = Φx t 1 + w t dla Φ < 1 Średnia: E(x t ) = 0 Autokowariancja: γ(h) = σ2 w Φh 1 Φ 2, h 0 Autokorelacja: ρ(h) = Φ h, h 0 Własność autokorelacji: ρ(h) = Φρ(h 1) Zmienna x t jest skorelowana z wszystkimi poprzednimi zmiennymi x t k, k 1.

21 Proces: x t = Φx t 1 + w t Jeśli Φ < 1, to iterując wstecz otrzymujemy: x t = Φ j w t j. j=0 Szereg jest zbieżny (w sensie średniokwadratowym - przestrzeń L 2 ) i można sprawdzić, że jest stacjonarny. Nazywamy go szeregiem kazualnym. Jeśli Φ = 1, to dostajemy błądzenie losowe, o którym wiemy już, że nie jest stacjonarny. Jeśli Φ > 1, to powyższy szereg nie jest zbieżny, ale można iterować go wprzód: x t = Φ 1 x t+1 Φ 1 w t+1 =... = Φ j w t+j. j=1 Również jest zbieżny, choć ta forma jest bezużyteczna, gdyż teraźniejszość zależy od przyszłości - nazywamy go niekazualnym.

22 AR(p) W ogólności mamy model Φ(B)x t = w t i naszym celem jest znalezienie ciągu x t. Mnożąc obustronnie przez Φ 1 (B) otrzymujemy: x t = Φ 1 (B)w t, ale musimy mieć pewność, że Φ jest odwracalne. Odwracalność jest zdeterminowana przez odwracalność wielomianu zespolonego AR. Dla AR(1) wielomian AR i jego wielomian odwrotny to Φ(z) = 1 Φ 1 z Φ 1 (z) = j=0 Φ j 1 zj i odwracalność wielomianu jest równoważna zbieżności szeregu. Podobnie jest dla innych modeli AR - wielomianami odwrotnymi są szeregi zespolone.

23 Własność kazualności Definicja Proces AR(p) postaci Φ(B)x t = w t nazywamy kazualnym jeśli daje się zapisać jako: x t = Ψ(B)w t, gdzie Ψ(B) = j=0 Ψ jb j oraz j=0 Ψ j <. Twierdzenie Proces AR(p) jest kazualny jeśli Φ(z) 0 dla z 1.

24 Przykład - autokorelacja AR(2) Dany proces: x t = Φ 1 x t 1 + Φ 2 x t 2 + w t - kazualny. Bierzemy: E(x t x t h ) = Φ 1 E(x t 1 x t h ) + Φ 2 E(x t 2 x t h ) + E(w t x t h ). Ponieważ E(x t ) = 0 oraz dla h > 0 to E(w t x t h ) = E(w t Dzieląc przez ρ(0) dostajemy j=0 w t h j ) = 0, γ(h) = Φ 1 γ(h 1) + Φ 2 γ(h 2). ρ(h) Φ 1 ρ(h 1) Φ 2 ρ(h 2) = 0, z warunkami początkowymi ρ(0) = 1 i ρ( 1) = ρ(1) = Φ1 1 Φ 2.

25 C.d. - rozwiązania: Niech z 1, z 2 będą zerami wielomianu Φ(z) = 1 Φ 1 z + Φ 2 z 2. Oczywiście z 1 > 1 oraz z 2 > 1 - z kazualności. 1 Jeśli z 1 z 2 - rzeczywiste, to więc ρ(h) 0, gdy h. 2 Jeśli z 1 = z 2 - rzeczywiste, to więc ρ(h) 0, gdy h. ρ(h) = c 1 z h 1 + c 2 z h 2, ρ(h) = z h 1 (c 1 + c 2 h), 3 Jeśli z 1 = z 2, to c 1 = c 2 (ponieważ ρ(h) - rzeczywiste) oraz ρ(h) = c 1 z h 1 + c 1 z h 1 Upraszczając dostaniemy, że ρ(h) 0, gdy h sinusoidalnie.

26 Model MA Definicja modelu średniej ruchomej stopnia q - MA(q) Model postaci: x t = w t + Θ 1 w t Θ q w t q, gdzie w t -biały szum (gaussowski), Θ i -stałe (Θ q 0). Zapis operatorowy x t = Θ(B)w t, gdzie Θ(B) = 1 + Θ 1 B Θ q B q. Wielomianem MA(q) nazywamy wielomian zespolony: Θ(z) = 1 + Θ 1 z Θ p z p, Θ p 0 oraz z C. Proces jest stacjonarny dla wszystkich Θ i.

27 Model MA(1) Własności procesu x t = w t + Θw t 1 Średnia: E(x t ) = 0 Autokowariancja: Autokorelacja: (1 + Θ 2 )σw 2, h = 0, γ(h) = Θσw 2, h = 1, 0, h > 1 ρ(h) = { Θ 1+Θ 2, h = 1, 0, h > 1 Zmienna x t jest skorelowana jedynie ze zmienną w czasie poprzednim x t 1

28 Niejednoznaczność modelu MA(1) Rozważmy model x t = w t + Θw t 1. Jeśli zatem założymy, że Θ = 5 oraz σ 2 w = 1, to z funkcji autokowariancji widać, że otrzymujemy model o takim samym rozkładzie jak model z parametrami Θ = 1/5 oraz σ 2 w = 25. Wynika stąd, że ten sam model może być zapisany za pomocą dwóch różnych procesów, dlatego należy stworzyć kryterium dzięki któremu uzyskamy jednoznaczność.

29 Niejednoznaczność w MA(q) Rozważając model x t = Θ(B)w t, przedstawmy proces w t jako kombinację liniową procesu x t podobnie jak dla procesu AR(p). Mnożąc obustronnie przez Θ 1 (B) otrzymujemy: ale Θ musi być odwracalne. w t = Θ 1 (B)x t, Ponownie, odwracalność Θ(B) jest zdeterminowana odwracalnością wielomianu zespolonego Θ(z).

30 Własność odwracalności dla procesu MA(p) Definicja Proces MA(q) postaci x t = Θ(B)w t jest odwracalny jeśli można go zapisać jako: w t = π(b)x t, gdzie π(b) = j=0 π jb j oraz j=0 π j <. Twierdzenie Proces MA(q) jest odwracalny jeśli Θ(z) 0 dla z 1.

31 Przykład - autokorelacja MA(q) Dany jest proces x t = Θ(B)w t, gdzie Θ(B) = 1 + Θ 1 B +... Θ q B. Po pierwsze E(x t ) = 0 Po drugie Ostatecznie: q q γ(h) = E[( Θ j w t+h j )( Θ k w t k )] = j=0 k=0 { σ 2 w q h j=0 Θ jθ j+h, 0 h q, 0, h > q q h j=0 Θj Θ j+h ρ(h) =, 1 h q, 1+Θ Θ2 q 0, h > q Czyli x t jest tylko skorelowane z q poprzedzającymi wyrazami.

32 Model ARMA Definicja modelu autoregresyjnego ze średnią ruchomą ARMA(p,q) Model postaci: x t = Φ 1 x t Φ p x t p + w t + Θ 1 w t Θ q w t q, gdzie x t to szereg stacjonarny, Φ p 0, Θ q 0, w t to biały szum (gaussowski). Jeśli µ = E(x t ) 0, to powyższy szereg zastępujemy przez: x t = α + Φ 1 x t Φ p x t p + w t + Θ 1 w t Θ q w t q, gdzie α = µ(1 Φ 1... Φ p ). Zapis operatorowy Φ(B)x t = Θ(B)w t. Dla procesu ARMA(p,q) przenosimy definicję kazualności oraz odwracalności analogicznie jak dla procesów AR(p) i MA(q). Również w podobny sposób można liczyć korelację w tym modelu.

33 Redundancja parametrów modelu ARMA Procesy: x t = w t, opisują ten sam model. Odejmujc stronami 0, 5x t 1 = 0, 5w t 1 x t 0, 5x t 1 = w t 0, 5w t 1 nadal dostajemy ten sam model. Chcemy potrafić wykryć nadmiarowość parametrów i uprościć model. W tym celu stosujemy zapis operatorowy: i dostajemy: (1 0, 5B)x t = (1 0, 5B)w t x t = (1 0, 5B) 1 (1 0, 5B)w t = w t. Podobnie możemy rozwiązywać ten problem dla innych procesów ARMA porównując wielomiany AR i MA.

34 Modele ARMA z trendem Model ARMA zakłada stacjonarność procesu x t Jednym z czynników psującym stacjonarność jest trend Pewna klasa procesów z trendem może być sprowadzona do modelu ARMA przez usunięcie trndu. Metody usuwania trendu Regresja Różnicowanie

35 Usuwanie trendu za pomocą regresji Sytuacja x t = µ t + y t, gdzie µ t = k j=0 β jt j - trend wielomianowy, y t - szereg stacjonarny. Procedura usuwania trendu: Estymujemy trend za pomocą regresji wielomianowej - ˆµ t i tworzymy nowy szereg jako: ŷ t = x t ˆµ t. Dzięki estymacji znamy dokładną postać nowego szeregu ŷ t.

36 Usuwanie trendu za pomocą różnicowania Sytuacja 1 x t = µ t + y t, µ t = β 0 + β 1 t, gdzie y t - szereg stacjonarny, β j - stałe. Czyli przyjmujemy trend liniowy(szczególny przypadek poprzedniej sytuacji). Operacja: daje nam szereg stacjonarny. x t = x t x t 1 = β 1 + y t.

37 Usuwanie trendu za pomocą różnicowania Sytuacja 2 x t = µ t + y t, µ t = δ + µ t 1 + w t, gdzie w t - biały szum. Czyli przyjmujemy, że błądzenie losowe jest modelem trendu. Postępowanie: x t = (µ t + y t ) (µ t 1 + y t 1 ) = δ + w t + y t. - szereg stacjonarny. Dzięki różnicowaniu, nie musimy nic estymować, ale nie też nie poznajemy wprost szeregu y t.

38 Różnicowanie wyżej wymiarowe Sytuacja 3 x t = µ t + y t, µ t = gdzie y t - stacjonarny, β j - stałe. Wówczas k x t - stacjonarny. k β j t j, j=0

39 Usuwanie niestacjonarności za pomocą różnicowania Sytuacja 4 x t = µ t + y t, µ t = µ t 1 + v t, v t = v t 1 + w t, gdzie w t - biały szum, y t - stacjonarny. Niestacjonarność jest modelowana jako podwójne błądzenie losowe. Tym razem: 2 x t = 2 y t + w t - szereg stacjonarny. Dla k-krotnie złożonych procesów tego typu wykonujemy k-krotne różnicowanie w celu usunięcia niestacjonarności.

40 Proces ARIMA Defnicja Proces x t nazywamy procesem ARIMA(p,d,q) jeśli jest procesem ARMA(p,q). Ogólnie ten model zapisujemy jako: Jeśli E( d x t ) = µ, to piszemy gdzie α = µ(1 Φ 1... Φ p ). d x t = (1 B) d x t Φ(B)(1 B) d x t = Θ(B)w t. Φ(B)(1 B) d x t = α + Θ(B)w t,

41 Przykład Rysunek: Dane dotyczące temperatury i trend liniowy.

42 Przykład c.d. Rysunek: Szereg po usunięciu trendu za pomocą regresji (góra) i różnicowania (dół).

43 Przykład c.d. Rysunek: Autokorelacja oryginalnego szeregu(góra) oraz szeregów po usunięciu trendu za pomocą regresji (środek) i różnicowania (dół).