Metody Ekonometryczne

Transkrypt

1 Metody Ekonometryczne Jakub Mućk Katedra Ekonomii Ilościowej Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 1 / 19

2 Outline Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 2 / 19

3 Niesferyczność macierzy wariancji kowariancji składnika losowego Kluczowy problem: Var(ε) = σ 2 Ω σ 2 I (1) Konsekwencje: Obciążenie estymatora wariancji-kowariancji Var(β OLS ) Niewiarygodność błędów standardowych, statystyk testu t-studenta, statystyki testu liniowych resktykcji Rozwiązania: Alternatywna postać funkcyjna Szeregi czasowe: modele autoregresyjne Dane przekrojowe: transformacja logarytmiczna, uwzględnienie pominiętych zmiennych, uzwględnienie nieliniowości, itp Odporny estymator wariancji-kowariancji Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 3 / 19

4 Model regresji liniowej: gdzie y wektor zmiennej objaśnianej, X macierz zmiennych objaśniających, β wektor parametrów strukturalnych, ε składnik losowy założenia: 1 rz(x) = k + 1 n 2 E(Xε) = 0 3 E(ε) = 0 4 Var(ε) = E(εε T ) = σ 2 Ω 5 ε i N (0, σ 2 ) y = Xβ + ε, (2) Estymator Uogólnionej Metody Najmniejszych Kwadratów UMNK (GLS generalized least squares): ˆβ GLS = ( X T Ω 1 X ) 1 X T Ω 1 y (3) Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 4 / 19

5 Model regresji liniowej: gdzie y wektor zmiennej objaśnianej, X macierz zmiennych objaśniających, β wektor parametrów strukturalnych, ε składnik losowy założenia: 1 rz(x) = k + 1 n 2 E(Xε) = 0 3 E(ε) = 0 4 Var(ε) = E(εε T ) = σ 2 Ω 5 ε i N (0, σ 2 ) y = Xβ + ε, (2) Estymator Uogólnionej Metody Najmniejszych Kwadratów UMNK (GLS generalized least squares): ˆβ GLS = ( X T Ω 1 X ) 1 X T Ω 1 y (3) Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 4 / 19

6 Model regresji liniowej: gdzie y wektor zmiennej objaśnianej, X macierz zmiennych objaśniających, β wektor parametrów strukturalnych, ε składnik losowy założenia: 1 rz(x) = k + 1 n 2 E(Xε) = 0 3 E(ε) = 0 4 Var(ε) = E(εε T ) = σ 2 Ω 5 ε i N (0, σ 2 ) y = Xβ + ε, (2) Estymator Uogólnionej Metody Najmniejszych Kwadratów UMNK (GLS generalized least squares): ˆβ GLS = ( X T Ω 1 X ) 1 X T Ω 1 y (3) Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 4 / 19

7 : ˆβ GLS = ( X T Ω 1 X ) 1 X T Ω 1 y (4) Geneza: ˆβ GLS = arg min (y Xβ) T Ω 1 (y Xβ) (5) β Estymator ˆβ GLS jest zgodny, nieobciążony i najefektywniejszy przy spełnieniu założeń z poprzedniego slajdu Jeżeli Ω = I to wtedy ˆβ GLS = ˆβ OLS Kluczowa jest znajomość Ω, a więc macierzy wariancji-kowariancji składnika losowego Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 5 / 19

8 Kluczowe założeniem o macierzy wariancji-kowariancji skłanika losowego jest fakt, że Ω jest symetryczną pozytywnie zdefiniowaną macierzą Wtedy, Ω = CΛC T, (6) gdzie C to macierz wektorów własnych a Λ to macierz diagonalna, której elementami są wartości własne macierzy Ω Zdefiniujmy macierz P: a więc w szczególności: P T = CΛ 1/2, (7) Ω 1 = P T P (8) Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 6 / 19

9 Wprowadźmy transformację elementów polegającą na lewostronnym pomnożeniu przez macierz P, tj y = Py, wtedy zapis: jest tożsamy zapisowi: Py = PXβ + Pε, (9) y = X β + ε (10) Natomiast wariancja składnika losowego jest sferyczna (pamiętając, że Ω 1 = P T P): Var(ε ) = PΩP T = σ 2 I (11) Znając powyższą transformację, zastosujemy teraz estymator MNK dla przetransformowanych obserwacji, ponieważ Var(ε ) jest sferyczna: ˆβ OLS = ( X T X ) 1 X T y = ( X T P T PX ) 1 X T P T Py = ( X T Ω 1 X ) 1 X T Ω 1 y = ˆβ GLS Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 7 / 19

10 Kluczowym praktycznym wyzwaniem jest znajomość macierzy wariancjikowariancji składnika losowego σ 2 Ω W empirycznych aplikacjach wykorzystywany jest estymator FGLS (feasible generalized squares) Ogólna idea: 1 Szacujmy parametry modelu MNK Dzięki wektorowi ˆβ OLS uzyskujemy reszty 2 Na podstawie (i) uzyskanych reszt oraz (ii) założenia o strukturze niesferyczności składnika losowego (np heteroskedastyczność lub autokorelacja) wyznaczamy szacunek macierzy ˆΩ 3 Mając macierz ˆΩ możemy wyznaczyć estymator (F)GLS, tj : ˆβ ( FGLS = X T Ω ˆ ) 1 1 X X T Ωˆ 1 y, (12) lub zastosować odpowiednią tranformację danych Rozszerzeniem estymatora FGLS jest iterowany estymator FGLS Transformacja wynikająca z estymatora GLS jest stosowana wielokrotnie do momentu spełnienia pewnego kryterium (np brak autokorelacji) Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 8 / 19

11 Outline Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 9 / 19

12 I polega na wykorzystaniu estymatora FGLS w przypadku autokorelacji składnika losowego pierwszego rzędu Model regresji liniowej dla szeregów czasowych: y t = X t β + ε t (13) Autokorelacja składnika losowego pierwszego rzędu AR(1): ε t = ρε t 1 + η t (14) gdzie η t N (0, ση 2), E(η) = 0 oraz Var(η)2 = I ση 2 Zakładamy również, że ρ < 1 Przy takich założeniach, macierz wariancji-kowariancji składnika losowego nie jest diagonalna: 1 ρ ρ 2 ρ n 1 ρ 1 ρ ρ n 2 Var(ε t ) = σ2 η ρ 2 ρ 1 ρ n 3 1 ρ = σ2 η Ω ρ n 1 ρ n 2 ρ n 3 1 Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 10 / 19

13 II Macierz odwrotna do macierzy Ω: 1 ρ 0 0 ρ 1 + ρ 2 ρ 0 Ω 1 0 ρ 1 + ρ = ρ 2 Korzystając z dekompozycji macierzy Ω 1 = P T P, otrzymujemy następującą macierz P: 1 ρ ρ P = 0 ρ Powyższy zapis sugeruje następującą transformację (dla t > 1): y t ˆρy t 1 = X t β ˆρX t β + η t (15) Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 11 / 19

14 III Transformacja ta zmniejsza liczebność obserwacji wykorzystywanych w próbie Prozszerzeniem metody Cochrane a-orcutta jest metoda Praisa-Winstena, z godnie z którą proponowana jest następująca tranformacja dla t = 1 (pierwszej obserwacji): 1 ˆρ 2 y 1 = 1 ˆρ 2 X 1 β + η t (16) Oszacowanie współczynnika autokorelacji pierwszego rzędu ( ˆρ) można wyznaczyć na podstawie reszt z modelu, którego parametry szacowano MNK Powyższa transformacja jest nazywana quasi różnicowaniem quasi-differencing Przypominając operator opóźnień Ly t = y t 1, dla t > 1 mamy: y t (1 ˆρL) = (1 ˆρL) X t β + η t, (17) a operator różnicowania jest definiowany jako y t = (1 L)y t Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 12 / 19

15 Outline Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 13 / 19

16 I Ważona Metoda Najmniejszych Kwadratów WLS (weighted least squares) jest szczególnym przypadkiem estymatora GLS, który jest wykorzystywany w przypadku heteroskedastyczności składnika losowego W przypadku heteroskedastyczności składnika losowego, macierz wariancjikowariancji jest następująca: σ σ Var(ε) = 2 2, 0 0 σn 2 a samą wariancję składnika losowego możemy zapisać jako: σ 2 i = ω iσ 2 (18) wtedy macierz wariancji-kowariancji można zapisać: ω Var(ε) = σ 2 Ω = σ 2 0 ω ω n Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 14 / 19

17 II Stosując estymator GLS ˆβ GLS = ( X T Ω 1 X ) 1 X T Ω 1 y (19) możemy zuważyć, że nieznana macierz Ω 1 to macierz zawierająca elementy ω i na przekątnej (weights): ω 1 Ω 1 1 = 0 ω ω n Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 15 / 19

18 III Kluczowe jest zdefiniowanie macierz P, a więc macierzy transformacji GLS Pamiętając, że Ω 1 = P T P łatwo pokazać, że taką macierzą dla estymatora WLS można zapisać następująco: P = 1 ω ω ωn Powyższe własności (macierz P) implikują następującą transformację danych: y i = yi, (20) ωi a następnie możliwość zastosowania estymatora OLS dla następującego modelu: y = X β + η i (21) Intuicja: w estymacji ważoną MNK niższe wagi (znaczenie) będą otrzymywać jednostki charakteryzujące się wyższą wariancją składnika losowego Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 16 / 19

19 Ważona MNK a wybór wag Kluczowym założeniem estymatora WLS jest fakt, że znamy wagi wynikające z poniższej zależności σ 2 i = ω iσ 2 (22) Jednak w aplikacjach empirycznych zazwyczaj nie znamy wag, tj ω i Dlatego, kluczowe jest zrozumienie problemu heteroskedastyczności odpowienio wyznaczyć wagi Popularne strategie wyznaczania wag: 1 Założenie o zależności pomiędzy σ i a x ij, czyli pewną zmienną objaśniającą Np σ 2 i = σ 2 x ij (23) wtedy wagami są naturalnie 1/ x ij 2 Uwzględnienie różnic pomiędzy grupami Procedura jest następująca: Identyfikujemy K grup Każda jednostka/obserwacja powinna być przyporządkowana dokładnie do jednej grupy Dla każdej grupy szacujemy parametry strukturalne (MNK) a następnie wyznaczamy wariancję wariancję składnika losowego, tj ˆσ 2 i będzie taka sama dla wszystkich jednostek przynależących do pewnej grupy Wagami w estymatorze WLS będą zatem 1/ˆσ i Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 17 / 19

20 w przypadku heteroskedastyczności W przypadku heteroskedastyczności można rozważyć bardziej elastyczną zależność między wariancją składnika losowego σi 2 a zmiennymi objaśniającymi (x) Wtedy możliwe jest zastosowanie estymatora FGLS Ogólna procedura jest następująca: 1 Oszacuj parametry rozważanego modelu MNK 2 Na podstawie oszacowań z poprzedniego punktu wyznacza kwadraty reszt, êi 2 3 Rozważ model pomocniczy, w którym zmienną obajśnianą są êi 2 (lub logarytm naturalny ln êi 2 ) a zmiennymi objaśniającymi x Oszacuj parametry takiego modelu MNK 4 Wyznacz wartości teoretyczne na podstawie oszacowań z poprzedniego punktu, tj ˆe i 2 5 Wykorzystaj ˆe i 2 jako wagi w estymatorze WLS, a więc przeprowadź transformację wykorzystując (dzieląc przez)ˆe i Zazwyczaj zależność między σi 2 a x i ma charakter multiplikatywny Przykładowe założenia o zależności między σi 2 a x i [Przykład #1] założenie σi 2 = σ 2 x γ 1 1i xγ 2 2i będzie implikować następująca postać regresji pomocnicznej: ln ê 2 i = γ 0 + γ 1 ln x 1i + γ 1 ln x 2i + η i (24) [Przykład #2] założenie σi 2 = σ 2 exp(γ 1 + x γ 2x 2i 1i ) będzie implikować następująca postać regresji pomocnicznej: ln ê 2 i = γ 0 + γ 1 x 1i + γ 1 x 2i + η i (25) [Przykład #3] wykorzystać ŷ i ŷ 2 zamiast x Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 18 / 19

21 Uwagi ogólne Testowanie liniowych restrykcji ma sens jeżeli korzystamy z tych samych wag Co jeżeli oszacowania WLS i OLS są statystycznie różne, tj charakteryzują się przeciwnymi znakami? Czy R 2 ma interpretację? Jakub Mućk Metody Ekonometyczne Wykład 4 Uogólniona Metoda Najmniejszych Kwadratów (GLS) 19 / 19