Modele zapisane w przestrzeni stanów

Modele zapisane w przestrzeni stanów Modele Przestrzeni Stanów (State Space Models) sa to modele, w których część parametrów jest nieobserwowalna i losowa. Zachowanie wielowymiarowej zmiennej y t zależy więc od parametrów deterministycznych wektora zmiennych egzogenicznych X t nieobserwowalnego stanu danego wektorem z t. Równanie pomiarowe (measurement equation) y t = H t z t + G t x t + v t gdzie z t nazywamy wektorem stanu (state vector) Konwersatorium z Ekonometrii, IV rok, WNE UW 1

Równanie przejścia (transition equation) z t = B t z t 1 + F t x t 1 + w t Razem oba te równania nazywamy liniowym systemem przestrzeni stanów (linear state space system) gdzie y t jest (G 1) wymiarowym obserwowalnym wektorem zmiennych endogenicznych z t jest (S 1) wymiarowym wektorem stanów natury x t jest (K 1) wymiarowym obserwowalnym wektorem zmiennych wejściowych v t jest (G 1) wymiarowym błędów pomiaru Konwersatorium z Ekonometrii, IV rok, WNE UW 2

w t jest (S 1) wymiarowym błędów losowych w równiach przejścia H t jest (G S) wymiarowa macierza pomiarowa G t jest (G K) wymiarowa macierza wejścia w równaniach pomiaru B t jest (S S) wymiarowa macierza przejścia F t jest (S K) wymiarowa macierza wejścia w równaniach przejścia O macierzach H t, G t, B t, F t zakładamy, że sa niezależne od v t. Zakładamy też, że proces zaczyna się od pewnego stanu poczatkowego z 0, x 0. Zaburzenia losowe w t, v t sa niezależne i maja stałe w czasie wariancje Konwersatorium z Ekonometrii, IV rok, WNE UW 3

łaczny proces generujacy zaburzenia losowe jest niekorelowany w czasie, ma rozkład [ wt v t N ( [ ) Σw 0 0, 0 Σ v dla t = 0,... i jest niezależny od z 0, który ma rozkład: z 0 N (µ 0, Σ 0 ) Przyjmijmy następujace oznaczenia Konwersatorium z Ekonometrii, IV rok, WNE UW 4

Y s = (y 1,..., y s ) z t s = E (z t Y s ) Σ z (t s) = Var (z t Y s ) y t s = E (y t Y s ) Σ y (t s) = Var (y t Y s ) Σ zy (t s) = Cov (z t, y t Y s ) (z y) N (µ, Σ) oznacza, że warunkowy rozkład z przy danym y jest wielowymiarowym rozkładem normalnym o wartości oczekiwanej µ i macierzy wariancji kowariancji Σ. Przy tych założeniach warunkowe rozkłady z t i y t będa rozkładami normalnymi o następujacych parametrach Konwersatorium z Ekonometrii, IV rok, WNE UW 5

(z t Y t 1 ) N ( z t t 1, Σ z (t t 1) ) dla t = 2,..., T (z t Y t ) N ( z t t 1, Σ z (t t) ) dla t = 1,..., T ( ) (y t Y t 1 ) N y t t 1, Σ y (t t 1) dla t = 2,..., T (z t Y T ) N ( z t T, Σ z (t T ) ) dla t > T ( ) (y t Y T ) N y t T, Σ y (t T ) dla t > T Konwersatorium z Ekonometrii, IV rok, WNE UW 6

Przykład Proces MA (2) y t = µ + ε t + θ 1 ε t 1 równanie pomiarowe y t = Hz t H = [ 1 θ 1 z t = [ ε t ε t 1 równanie przejścia B = [ 0 0 1 0 z t = Bz [ t 1 + w t εt, w t =, Σ 0 w = [ σ 2 w 0 0 0 Konwersatorium z Ekonometrii, IV rok, WNE UW 7

Filtry Kalmana Przy tych założeniach można dowieść następujacych zależności nazywanych rekursjami filtrów Kalmana (Kalman filter recursions) Inicjacja: (t = 0) z 0 0 = µ 0 Σ z (0 0) = Σ 0 Konwersatorium z Ekonometrii, IV rok, WNE UW 8

Predykcja: (1 t T ) z t t 1 = B t z t 1 t 1 + F t x t 1 Σ z (t t 1) = B t Σ z (t 1 t 1) B t + Σ w y t t 1 = H t z t t 1 + G t x t Σ y (t t 1) = H t Σ z (t t 1) H t + Σ v Korekta: (1 t T ) z t t = z t t 1 + P t ( y t y t t 1 ) Σ z (t t) = Σ z (t t 1) P t Σ y (t t 1) P t Konwersatorium z Ekonometrii, IV rok, WNE UW 9

gdzie P t = Σ z (t t 1) H tσ y (t t 1) 1 ((zysk z filtru Kalmana)) W przypadku, kiedy nie istnieje odwrotność macierzy Σ y (t t 1) możemy zastosować uogólniona odwrotność macierzy. Rekursje przeprowadzamy zaczynajac od predykacji dla t = 1. Potem przeprowadzamy korektę dla t = 1. Później odpowiednio predykcję i korektę przeprowadzamy dla t = 2, t = 3 itd. Prognozowanie: (t > T ) Konwersatorium z Ekonometrii, IV rok, WNE UW 10

z t T = B t z t 1 T +F t x t 1 Σ z (t T ) = B t Σ z (t 1 T ) B t + Σ w y t T = H t z t T + G t x t Σ y (t T ) = H t Σ z (t T ) H t + Σ v Prognozowanie wykonujemy rekursywnie dla t = T + 1, T + 2,.... Niekiedy chcemy oszacować wartości wektora stanu dla znanego Y T. Posługujemy się do tego wzorami rekursywnymi nazywanymi wygładzaniem Kalmana. Wzory te stosujemy kolejno dla T 1, T 2,... Konwersatorium z Ekonometrii, IV rok, WNE UW 11

Wygładzanie: (t < T ) z t T = z t t + S t ( z t+1 T z t+1 t ) Σ z (t T ) = Σ z (t t) S t [Σ z (t + 1 t) Σ z (t + 1 T ) S t gdzie S t = Σ z (t t) B t+1σ z (t + 1 t) 1 ((macierz wygładzania Kalmana)) Konwersatorium z Ekonometrii, IV rok, WNE UW 12

Inicjacja z 0 0 = µ 0 Σ z (t s) = Σ 0. z t 1 t 1 Σ z (t 1 t 1) Predykcja z t t 1 Σ z (t t 1) y t t 1 Σ y (t t 1) Korekta t = 1,..., T z t t Σ z (t t). Prognozowanie z t T Σ z (t T ) y t T Σ y (t T ) t = T + 1, T + 2,.... Konwersatorium z Ekonometrii, IV rok, WNE UW 13

Przykład algorytm w zastosowaniach Proces MA (2) Inicjacja (załóżmy, że ε 0 0 i ε 1 0 sa niezależne i maja równe wariancje) z 0 0 = [ ε 0 0 ε 1 0 Σ z (0 0) = σ 11 (0 0) [ 1 0 0 1 Konwersatorium z Ekonometrii, IV rok, WNE UW 14

Predykcja: z t t 1 = [ 0 ε t 1 t 1 [ σ 2 Σ z (t t 1) = w 0 0 σ 11 (t 1 t 1) y t t 1 = θ 1 ε t 1 t 1 Σ y (t t 1) = σ 2 w + θ 2 1σ 11 (t 1 t 1) Korekta: P t = [ σ 2 w + θ 1 σ 11 (t 1 t 1) [ 1 σ 2 w θ 1 σ 11 (t 1 t 1) Konwersatorium z Ekonometrii, IV rok, WNE UW 15

z t t = z t t 1 + P t ( y t y t t 1 ) Σ z (t t) = Σ z (t t 1) P t Σ y (t t 1) P t Prognozowanie t > T z t T = [ 0 ε t 1 T [ σ 2 Σ z (t T ) = w 0 0 σ 11 (t 1 T ) y t T = θ 1 ε t 1 T Σ y (t T ) = σ 2 w + θ 1 σ 11 (t 1 T ) Konwersatorium z Ekonometrii, IV rok, WNE UW 16

Wygładzanie t < T S t = z t T = [ 1 0 0 0 [ εt t + ( ) ε t+1 T ε t+1 t ε t 1 t Konwersatorium z Ekonometrii, IV rok, WNE UW 17

Estymacja parametrów w Modelach Przestrzeni Stanów Jedna z podstawowych zalet modeli przestrzeni stanów jest to, że umożliwiaja one stosunkowo łatwa specyfikację całej klasy modeli dla analizy szeregów czasowych. Zgromadźmy wszystkie nieznane parametry z macierzy B t, F t, H t, Σ w, Σ v, Σ 0 i µ 0 w wektorze parametrów δ. Estymacja parametrów modeli przestrzeni stanów polegać będzie na maksymalizacji funkcji wiarygosności względem parametru δ. Okazuje się, że postać funkcji wiarygodności można stosunkowo prosto przestawić przy zastosowaniu Filtrów Kalmana. Konwersatorium z Ekonometrii, IV rok, WNE UW 18

Funkcja wiarygodności Korzystajac z twierdzenia Bayesa można przedstawić łaczn a funkcję wiarygodności dla zależnych zdarzeń Y T = (y 1, y 2,..., y T ) w postaci następujacego iloczynu L (Y T, θ) = L (y 1, y 2,..., y T, θ) = f (y 1, θ) f (y 2,..., y T y 1, θ) = f (y 1, θ) f (y 2,..., y T Y 1, θ) = f (y 1, θ) f (y 2 Y 1, θ) f (y 3,..., y T Y 2, θ). = f (y 1, θ) f (y 2 Y 1, θ)... f (y T Y T 1, θ). Konwersatorium z Ekonometrii, IV rok, WNE UW 19

Logarytm funkcji wiarygodności będzie miał więc postać l (Y T, θ) = ln f (y 1, θ) + T ln f (y t Y t 1, θ) i=1 Jeśli prawdziwe sa założenie konieczne do wyprowadzenia postaci Filtrów Kalmana to zmienna (y t Y t 1, θ) będzie miała rozkład normalny a funkcja wiarygodności przyjmie postać l (Y T, θ) = KT 2 ln (2π) 1 2 T t=1 T ln Σ y (t t 1) i=1 ( ) ) y t y t t 1 Σ 1 y (t t 1) (y t y t t 1. Konwersatorium z Ekonometrii, IV rok, WNE UW 20

Wartość warunkowej wariancji Σ y (t t 1) i warunkowej wartości oczekiwanej y t t 1 otrzymujemy rekurencyjnie ze wzorów na Filtry Kalmana. Dla uproszczenia notacji onaczmy e t (θ) = y t y t t 1 i Σ t (θ) = Σ 1 y (t t 1) Przy takim zapisie funkcja wiarygodności przyjmuje postać l (Y T, θ) = KT 2 ln (2π) 1 2 T i=1 [ ln Σt (θ) + e t (θ) Σ 1 t (θ) e t Konwersatorium z Ekonometrii, IV rok, WNE UW 21

Do szacowanych parametrów modelu należeć moga dowolne parametry będace cześcia macierzy H t, G t, B t, F t oraz macierze Σ w, Σ v oraz µ 0, Σ 0. W wielu zastosowaniach okazuje się, że trzeba na parametry nałożyć dodatkowe ograniczenia celem uzyskania identyfikacji. Konwersatorium z Ekonometrii, IV rok, WNE UW 22

Własności estymatorów M N W W przypadku filtrów Kalmana nie jest łatwo podać ogólne warunki, dla których estymatory MNW maja standardowe własności. Przy spełnionych warunkach z poczatku tego rozdziału najłatwiej podać takie warunki dla przypadku, gdy macierz G t = G, B t = B, F t = F nie zależa od t. W takim przypadku, jeśli 1. wektor θ znajduje się we wnętrzu zbioru Θ 2. H t = (x t I) J, gdzie J jest z góry znana macierza lub H t = H jest nielosowa macierza parametrów Konwersatorium z Ekonometrii, IV rok, WNE UW 23

3. x t jest niestochastyczne i istnieja takie stałe c 1 i c 2, że c 1 x tx t c 2 dla t = 1, 2,... 4. spełniony jest warunek, że macierz informacyjna jest asymptotycznie nieosobliwa 5. wszystkie wartości własne macierzy B sa co do modułu mniejsze od 1 to estymator n ( θ θ ) D N ( 0,i 1 (θ) ) Konwersatorium z Ekonometrii, IV rok, WNE UW 24