Autokorelacja i heteroskedastyczność Założenie o braku autokorelacji Cov (ε i, ε j ) = E (ε i ε j ) = 0 dla i j Oczekiwana wielkość elementu losowego nie zależy od wielkości elementu losowego dla innych obserwacji Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 1
Załóżenie o homoskedastyczności Var (ε i ) = E ( ε 2 i) = σ 2 dla i = 1,..., N Wariancja jest taka sama dla wszytkich obserwacji Proces, który spełnia te dwa założenia nazywamy białym szumem Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 2
Biały szum 3 y(t)=e(t) e(t)=n(0,1) 2 1 0-1 -2 0 5 10 15 20 25 30 35 40 45 50 Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 3
Przypuśćmy, że założenia KMRL nie sa spełnione i Var (ε) =Ω = σ 2 V Mówimy, że w modelu występuje: autokorelacja, gdy Cov (ε i, ε j ) = E (ε i ε j s ) 0 dla pewnych s 1, 2,... Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 4
heteroskedastyczność, gdy Var (ε i ) = E ( ε 2 i) const O modelu, w którym występuje autokorelacja lub heteroskedastyczność mówimy, że jego składniki losowe sa niesferyczne Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 5
Autokorelacja dodatnia (rzadka zmiana znaku) 1.5 y(t)=0,6*y(t-1)+e(t) e(t)~n(0,1) 1.5 0 -.5-1 -1.5 0 5 10 15 20 25 30 35 40 45 50 Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 6
Autokorelacja ujemna (częsta zmiana znaku) 3 y(t)=-0.6*y(t-1)+e(t) e(t)~n(0,1) 2 1 0-1 -2 0 5 10 15 20 25 30 35 40 45 50 Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 7
Dodatnia autokorelacja często spotykana w modelach szacowanych na szeregach czasowych Powód: rozciagnięciem na dłużej niż jeden okres skutków zdarzeń losowych W przypadku błędnego zdefiniowania formy funkcyjnej autokorelacja może wystapić także w próbie przekrojowej Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 8
Reszty z regresji t na t 2 - silnie skorelowane! 5 y(t)=-0,01t^2+0,6t-3 2.5 0 0 5 10 15 20 25 30 35 40 45 50 1 Reszty 0-1 -2 0 5 10 15 20 25 30 35 40 45 50 Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 9
Heteskedastyczność często występuje w modelach szacowanych na próbach przekrojowych Powód: wariancja błędu losowego zależy od jednej ze zmiennych objaśniajacych Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 10
Reszty w modelu z heteroskedastycznościa zależna od x i y(n)=3*sqrt(x(n))*e(n), e(t)~n(0,1) 10 7.5 5 2.5 0-2.5-5 -7.5-10 1 1.25 1.5 1.75 2 2.25 2.5 2.75 3 3.25 3.5 3.75 4 Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 11
Przykład Model wyjaśniajacy logarytm wydatków na żywność (lq) w rodzinach pracowniczych z dwojgiem dzieci, zmienne objaśniajace - logarytm dochodu (linc), klasa miejscowości (klm): Source SS df MS Number of obs = 3346 -------------+------------------------------ F( 6, 3339) = 181.40 Model 89.6721174 6 14.9453529 Prob > F = 0.0000 Residual 275.09173 3339.08238746 R-squared = 0.2458 -------------+------------------------------ Adj R-squared = 0.2445 Total 364.763848 3345.109047488 Root MSE =.28703 ------------------------------------------------------------------------------ lq Coef. Std. Err. t P> t [95% Conf. Interval] -------------+---------------------------------------------------------------- linc.3540467.0113581 31.17 0.000.3317772.3763162 _Iklm_2 -.0334229.0197196-1.69 0.090 -.0720866.0052408 _Iklm_3 -.0584767.0213409-2.74 0.006 -.1003194 -.0166341 _Iklm_4 -.0325534.0176063-1.85 0.065 -.0670736.0019668 Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 12
_Iklm_5 -.0423542.019028-2.23 0.026 -.0796619 -.0050465 _Iklm_6 -.0203535.0189354-1.07 0.283 -.0574796.0167726 _cons 3.749705.090792 41.30 0.000 3.571692 3.927719 ------------------------------------------------------------------------------ Wynik testu Breuscha-Pagana dla zmiennej klm chi2(5) = 14.45 Prob > chi2 = 0.0130 Wersja testu Breuscha-Pagana, która jest używana przez STAT ę opiera się na założeniu, że błędy losowe maja rozkład normalny Wynik testu Jarque-Berra Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 13
Skewness/Kurtosis tests for Normality ------- joint ------ Variable Pr(Skewness) Pr(Kurtosis) chi2(2) Prob>chi2 -------------+------------------------------------------------------- resid 0.000 0.000 80.86 0.0000 Wersja testu Breuscha-Pagana podana na wykładzie jest odporna na brak normalności rozkładu błędów losowych Regresja e 2 i na klm ------------------------------------------------------------------------------ resid2 Coef. Std. Err. t P> t [95% Conf. Interval] -------------+---------------------------------------------------------------- _Iklm_2.0068093.0091102 0.75 0.455 -.0110528.0246715 _Iklm_3 -.016938.0098739-1.72 0.086 -.0362975.0024215 _Iklm_4 -.0129282.0080402-1.61 0.108 -.0286926.0028361 Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 14
_Iklm_5 -.0088624.0086485-1.02 0.306 -.0258194.0080945 _Iklm_6 -.0133894.0084823-1.58 0.115 -.0300205.0032416 _cons.0906276.0066867 13.55 0.000.0775171.1037381 ------------------------------------------------------------------------------ Łaczny test na nieistotność zmiennych klm F( 5, 3340) = 2.19 Prob > F = 0.0526 Regresja e 2 i na linc ------------------------------------------------------------------------------ resid2 Coef. Std. Err. t P> t [95% Conf. Interval] -------------+---------------------------------------------------------------- linc.017435.005053 3.45 0.001.0075278.0273423 _cons -.0504988.0385321-1.31 0.190 -.1260476.02505 ------------------------------------------------------------------------------ Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 15
Test na nieistotność linc F( 1, 3344) = 11.91 Prob > F = 0.0006 Wniosek: heteroskedastyczność w modelu występuje i zwiazana jest z dochodem gospodarstwa Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 16
Konsekwencje heteroskedastyczności i autokorelacji Zakładamy, że Var (ε) = Ω = σ 2 V Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 17
Sprawdzmy najpierw, czy esymator b jest nieobciażony [ ] E (b) = E (X X) 1 X y [ ] = E (X X) 1 X Xβ + (X X) 1 X ε = β + (X X) 1 X E (ε) = β Estymator b pozostaje nieobciażony, korzystamy jedynie z założenia, że E (ε) = 0 Można pokazać, że estymator b będzie też zgodny b p β Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 18
Estymator s 2 jest obciażony w małych próbach ale także jest zgodny s 2 p σ 2 Macierz wariancji kowariancji b dla niesferycznych składników losowych: Var (b) = E ((X X) 1 X εε X (X X) 1) = (X X) 1 X ΩX (X X) 1 = σ 2 (X X) 1 X V X (X X) 1 A więc Var (b) σ 2 (X X) 1 Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 19
Nawet dla bardzo dużych N, macierze σ 2 (X X) 1 i σ 2 (X X) 1 X V X (X X) 1 będa od siebie różne. = estymator S = s 2 (X X) 1 jest nie jest zgodnym estymatorem wariancji b! Wynik W przypadku występowania heteroskedastycznoś badź autokorelacji estymator b jest dalej nieobciażony i zgodny, estymator s 2 jest obciażony ale zgodny jednak esymator wariancji b jest obciażony i nie jest zgodny. Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 20
Standardowe statystyki testowe oparte na estymatorze wariancji S = stosowanie standardowych statystyk testowych w modelu, w którym składniki losowe sa niesferyczne, może prowadzić do błędnych wyników wnioskowania Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 21
Uogólniona Metoda Najmniejszych Kwadratów Jednym z możliwych sposobów rozwiazania problemu heteroskedastyczności jest wymodelowanie wariancji błędu losowego Analizowany model y = Xβ + u, Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 22
X jest nielosowe Var (u) = Ω = σ 2 V Dla dodatnio określonej i symetrycznej V zawsze można znaleźć taka macierz L, że LV L = I n i L L = V 1 Jeśli Var (u) σ 2 I estymator b jest nieobciażony i zgodny Pomnóżmy obie strony modelu przez L Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 23
Otrzymujemy w ten sposób model Ly = LXβ + Lu Zdefiniujmy y = Ly, X = LX, u = Lu y = X β + u Dla modelu przekształconego Var (u ) = Var (Lu) = σ 2 LV L = σ 2 I Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 24
Dla modelu przekształconego błędy losowe sa homoskedastycznie i nieskorelowane! Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 25
Estymator b UMNK otrzymujemy liczac estymator M N K dla przekształconych zmiennych b UMNK = (X X ) 1 X y = ( (LX) (LX) ) 1 (LX) Ly = ( X V 1 X ) 1 X V 1 y = ( X Ω 1 X ) 1 X Ω 1 y Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 26
Macierz wariancji kowariancji b UMNK Var (b UMNK ) = σ 2 (X X ) 1 = σ [ 2 (LX) (LX) ] 1 = σ ( 2 X V 1 X ) 1 = ( X Ω 1 X ) 1 Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 27
Estymator UMNK wariancji błędu losowego s 2 UMNK = (y X b UMNK ) (y X b UMNK ) n K = (y Xb UMNK) V 1 (y Xb UMNK ) n K = e UMNK V 1 e UMNK n K gdzie e UMNK = y Xb UMNK. Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 28
Uwaga (Tw. Aitkena) Estymator Uogólnionej Metody Najmniejszych Kwadratów jest najlepszym, liniowym i nieobciażonym estymatorem parametru β o ile macierz Ω jest znana. Uwaga Ponieważ model przekształcony spełnia wszytskie założenia KM RL więc testowanie wszystkich hipotez przebiega w nim dokładnie tak jak w standardowej M N K. Uwaga Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 29
1. W ogólnym przypadku estymatory U M N K sa niemożliwe do bezpośredniego zostosowania, ponieważ nieznane sa macierze Ω, V lub L 2. Stosowalna UMNK polega na zastapieniu macierzy Ω jej zgodnym estymatorem Ω 3. Jeśli forma Ω nie jest ograniczona, mamy zbyt mało stopni swobody by wyestymować Ω ilość parametrów zawartych w Ω wynosi n(n+1) 2 ilość dostępnych stopni swobody n K Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 30
Ważona Metoda Najmniejszych Kwadratów W modelu występuje σ 2 1 0 Ω =... 0 σ 2 n = σ 2 v 1 0... 0 v n = σ 2 V Załóżmy, że elementy v i sa znane Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 31
Macierz L ma postać L = 1 v1 0... 0 1 vn UMNK sprowadza się do MNK z użyciem zmiennych X = LX i y = Ly W naszym przypadku zmienne te będa miały postać yi = y i vi i x s,i = x s,i vi Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 32
Wielkości v i można interpretować jako wagi przypisywane obserwacjom Obserwacje o niskiej wariancji błędu losowego moja przypisana większa wagę a te o wyższej wariancji uzyskuja niższa wagę Przykład Przypuśćmy, że heteroskedastyczność w modelu ma postać σ 2 i = σ 2 zi 2, gdzie z i jest pewna z góry ustalona zmienna. W tym przypadku yi = y i z i i x s,i = x s,i z i Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 33
Przykład Funkcja konsumpcji C i = a + by i + ε i gdzie C i konsumpcja w kraju i, Y i jest poziomem GDP w tym kraju. Precyzję oszacowania można mierzyć stosunkiem σ y i. Wartość dóbr skonsumowanych na Litwie jest około 1000 razy mniejsza niż wartość konsumpcji w USA. Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 34
Jeśli w oszacowanym modelu relacja σ C i dla Litwy wynosiłaby 1, to dla Stanów stosunek wynosiłaby 0, 001 Homoskedastyczności implikuje, że precyzja oszacowania jest wyższa dla krajów dużych niż dla krajów małych Bardziej realistyczny model na zmiennych wyrażonych per capita gdzie C i = C i z i, Yi C i = a 1 z i + by i = Y i z i + ε i a z i jest ludnościa danego Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 35
kraju UMNK jeśli odchylenie standardowe błędu losowego proporcjonalne do liczby ludności Zwróćmy uwagę, że stała przy takim przekształceniu zamienia się w zmienn a 1 z i Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 36
Stosowalna UMNK (SUMNK) Zakładamy, że Var (ε) = Ω (θ), gdzie wymiar θ nie zależy od ilości obserwacji Dla znanego θ moglibyśmy zastosować UMNK, jednak zwykle θ jest nieznane. Wiemy, że estymator M N K jest zgodny nawet wtedy, gdy występuje autokorelacja lub heteroskedastyczn Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 37
Dwa kroki wykonywalnej UMNK 1. Szacujemy model za pomoca MNK uzyskujemy zgodny estymator b. Na podstawie oszacowania b uzyskujemy zgodny estymator θ 2. Uzyskujemy oszacowanie ) SU M N K przy zastosowaniu macierzy Ω ( θ b SUMNK = [ ) X 1 Ω ( θ 1 ) X] X 1 Ω ( θ Uwaga Estymator SUMNK jest równie efektywny (ma ta sama macierz wariancji kowariancji), co Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 38 y
estymator UMNK, jeśli tylko estymator θ jest zgodny. Typowy przykład zastosowania SUMNK - usuwanie heteroskedastyczności z modelu Heteroskedastyczność ma postać zależności funkcyjnej σ 2 i = α 0 + z i α, a więc Var (ε) = Ω (α 0, α) Można ja wykryć za pomoca testu Breuscha- Pagana Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 39
Estymator UMNK można policzyć dla znanych α 0 i α Najczęściej jednak α 0 i α sa nieznane W tym przypadku możemy posłużyć się metoda dwustopniowa Estymator MNK jest nieobciażony i zgodny e 2 i - kwadraty reszt z MNK stanowia pewne oszacowanie σ 2 i Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 40
Regresja e 2 i na stałej i z i da zgodny estymator α 0 i α Dla tak policzonych estymatorów α 0 i α policzyć można wartości teoretyczne σ 2 i = α 0 + z i α dla poszczególnych obserwacji i uzyskać macierz Ω ( α 0, α) Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 41
Stosowalna U M N K polega na wystymowania MNK równania gdzie y i = y i σ i a x s,i = x s,i σ i. y i = x iβ + ε i, Uzyskany w ten sposób estymator będzie asymptotycznie zgodnym i efektywnym Przykład Wydatki na żywność cd. Przyjęto, że zależność między wariancja błędu losowego i ma Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 42
postać σ 2 i = α 0 + αlinc. Z regresji lq na stałej i linc uzyskano reszty e i. Następnie wyestymowano regresję e 2 i na stałej i linc. ------------------------------------------------------------------------------ resid2 Coef. Std. Err. t P> t [95% Conf. Interval] -------------+---------------------------------------------------------------- linc.017435.005053 3.45 0.001.0075278.0273423 _cons -.0504988.0385321-1.31 0.190 -.1260476.02505 ------------------------------------------------------------------------------ Z regresji tej najpierw wartości dopasowne σ i = α0 + α 1 linc Podzielono zmienna zależna i wszytkie zmienne Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 43
niezależne (łacznie ze stała i zmiennymi zerojedynkowymi w pierwotnej regresji przez σ i Przeprowadzono regresję na zmiennych przekształconych i uzyskano następujacy wynik: Source SS df MS Number of obs = 3346 -------------+------------------------------ F( 7, 3339) =. Model 1682677.41 7 240382.487 Prob > F = 0.0000 Residual 3345.60972 3339 1.00197955 R-squared = 0.9980 -------------+------------------------------ Adj R-squared = 0.9980 Total 1686023.02 3346 503.892116 Root MSE = 1.001 ------------------------------------------------------------------------------ t_lq Coef. Std. Err. t P> t [95% Conf. Interval] -------------+---------------------------------------------------------------- t_linc.3603508.0114135 31.57 0.000.3379727.3827289 t_iklm_2 -.0330761.0199833-1.66 0.098 -.0722569.0061048 t_iklm_3 -.0565737.0216039-2.62 0.009 -.0989319 -.0142156 Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 44
t_iklm_4 -.0290265.0178167-1.63 0.103 -.0639593.0059063 t_iklm_5 -.0374901.0191635-1.96 0.051 -.0750634.0000832 t_iklm_6 -.017306.0190144-0.91 0.363 -.054587.0199751 t_cons 3.699076.0906672 40.80 0.000 3.521307 3.876845 ------------------------------------------------------------------------------ Oszacowanie błędu standardowego s 2 powinno być równe 1. Standardowo uzyskiwana wielkość statystyki F jest niepoprawna (przekształcona stała jest traktowana jako jedna ze zmiennych). Poprawny test F powinien testować łaczn a istotność wszystkich zmiennych poza przekształcona stała Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 45
F( 6, 3339) = 183.74 Prob > F = 0.0000 R 2 uzyskane w takiej regresji nie jest intepretowalne - zmienna zależna została stworzona sztucznie Można policzyć R 2 dla orginalnej regresji i uzyskanych z UMNK wartości dopasowanych ( ŷ UMNK,i ŷ UMNK ) 2 R 2 UMNK = (yi y) 2 = ρ 2 ŷ,y Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 46
gdzie ŷ UMNK = x i β UMNK. Policzona wartość R 2 UMNK =.28674733 Statystyka ta jest wyłacznie statystyka opisowa, nie służyć do porównywania wyników regresji MNK i UMNK Wynik standardowego testu Breuscha-Pagana jest teraz następujacy: Wielkości uzyskanych statystyk R 2 i wielkość Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 47
Breusch-Pagan LM statistic:.0090563 Chi-sq( 1) P-value =.9242 Heteroskedastyczność udało się usunać! Zwróć uwagę na małe różnice w oszacowaniach parametrów a także odchyleń standardowych Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 48
Estymacja macierzy wariancji kowariancji metoda Neweya-Westa Estymator ten stanowi uogólnienie estymatora White a na przypadek, kiedy w modelu występuje auokorelacja Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 49
Zdefiniujmy Ŝ x = Ŝ0 + 1 n L l=1 w l = 1 l L + 1 n t=l+1 ( ) w l e t e t l xt x t l x t l x t w l zostało tak dobrane by macierz Ŝx była zawsze dodatnio określona Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 50
Forma estymatora zapewnia, że macierz ta jest również symetryczna Przy założeniu, że korelacja między e t i e t l malej wraz ze wzrostem l można pokazać, że plim Ŝx = lim S x Estymator zgodny jeśli wielkość L proporcjonalne do T 1 4 Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 51
Estymatorem wariancji b Σ b = n (X X) 1 Ŝ x (X X) 1 Estymator ten nazywamy odpornym estymatorem (robust) macierzy wariancji-kowariancji Można go używać przy testowaniu hipotez. Problemem może być ustalenie ilości opóźnień L Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 52