Autokorelacja i heteroskedastyczność

Transkrypt

1 Autokorelacja i heteroskedastyczność Założenie o braku autokorelacji Cov (ε i, ε j ) = E (ε i ε j ) = 0 dla i j Oczekiwana wielkość elementu losowego nie zależy od wielkości elementu losowego dla innych obserwacji Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 1

2 Załóżenie o homoskedastyczności Var (ε i ) = E ( ε 2 i) = σ 2 dla i = 1,..., N Wariancja jest taka sama dla wszytkich obserwacji Proces, który spełnia te dwa założenia nazywamy białym szumem Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 2

3 Biały szum 3 y(t)=e(t) e(t)=n(0,1) Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 3

4 Przypuśćmy, że założenia KMRL nie sa spełnione i Var (ε) =Ω = σ 2 V Mówimy, że w modelu występuje: autokorelacja, gdy Cov (ε i, ε j ) = E (ε i ε j s ) 0 dla pewnych s 1, 2,... Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 4

5 heteroskedastyczność, gdy Var (ε i ) = E ( ε 2 i) const O modelu, w którym występuje autokorelacja lub heteroskedastyczność mówimy, że jego składniki losowe sa niesferyczne Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 5

6 Autokorelacja dodatnia (rzadka zmiana znaku) 1.5 y(t)=0,6*y(t-1)+e(t) e(t)~n(0,1) Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 6

7 Autokorelacja ujemna (częsta zmiana znaku) 3 y(t)=-0.6*y(t-1)+e(t) e(t)~n(0,1) Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 7

8 Dodatnia autokorelacja często spotykana w modelach szacowanych na szeregach czasowych Powód: rozciagnięciem na dłużej niż jeden okres skutków zdarzeń losowych W przypadku błędnego zdefiniowania formy funkcyjnej autokorelacja może wystapić także w próbie przekrojowej Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 8

9 Reszty z regresji t na t 2 - silnie skorelowane! 5 y(t)=-0,01t^2+0,6t Reszty Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 9

10 Heteskedastyczność często występuje w modelach szacowanych na próbach przekrojowych Powód: wariancja błędu losowego zależy od jednej ze zmiennych objaśniajacych Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 10

11 Reszty w modelu z heteroskedastycznościa zależna od x i y(n)=3*sqrt(x(n))*e(n), e(t)~n(0,1) Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 11

12 Przykład Model wyjaśniajacy logarytm wydatków na żywność (lq) w rodzinach pracowniczych z dwojgiem dzieci, zmienne objaśniajace - logarytm dochodu (linc), klasa miejscowości (klm): Source SS df MS Number of obs = F( 6, 3339) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = lq Coef. Std. Err. t P> t [95% Conf. Interval] linc _Iklm_ _Iklm_ _Iklm_ Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 12

13 _Iklm_ _Iklm_ _cons Wynik testu Breuscha-Pagana dla zmiennej klm chi2(5) = Prob > chi2 = Wersja testu Breuscha-Pagana, która jest używana przez STAT ę opiera się na założeniu, że błędy losowe maja rozkład normalny Wynik testu Jarque-Berra Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 13

14 Skewness/Kurtosis tests for Normality joint Variable Pr(Skewness) Pr(Kurtosis) chi2(2) Prob>chi resid Wersja testu Breuscha-Pagana podana na wykładzie jest odporna na brak normalności rozkładu błędów losowych Regresja e 2 i na klm resid2 Coef. Std. Err. t P> t [95% Conf. Interval] _Iklm_ _Iklm_ _Iklm_ Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 14

15 _Iklm_ _Iklm_ _cons Łaczny test na nieistotność zmiennych klm F( 5, 3340) = 2.19 Prob > F = Regresja e 2 i na linc resid2 Coef. Std. Err. t P> t [95% Conf. Interval] linc _cons Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 15

16 Test na nieistotność linc F( 1, 3344) = Prob > F = Wniosek: heteroskedastyczność w modelu występuje i zwiazana jest z dochodem gospodarstwa Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 16

17 Konsekwencje heteroskedastyczności i autokorelacji Zakładamy, że Var (ε) = Ω = σ 2 V Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 17

18 Sprawdzmy najpierw, czy esymator b jest nieobciażony [ ] E (b) = E (X X) 1 X y [ ] = E (X X) 1 X Xβ + (X X) 1 X ε = β + (X X) 1 X E (ε) = β Estymator b pozostaje nieobciażony, korzystamy jedynie z założenia, że E (ε) = 0 Można pokazać, że estymator b będzie też zgodny b p β Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 18

19 Estymator s 2 jest obciażony w małych próbach ale także jest zgodny s 2 p σ 2 Macierz wariancji kowariancji b dla niesferycznych składników losowych: Var (b) = E ((X X) 1 X εε X (X X) 1) = (X X) 1 X ΩX (X X) 1 = σ 2 (X X) 1 X V X (X X) 1 A więc Var (b) σ 2 (X X) 1 Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 19

20 Nawet dla bardzo dużych N, macierze σ 2 (X X) 1 i σ 2 (X X) 1 X V X (X X) 1 będa od siebie różne. = estymator S = s 2 (X X) 1 jest nie jest zgodnym estymatorem wariancji b! Wynik W przypadku występowania heteroskedastycznoś badź autokorelacji estymator b jest dalej nieobciażony i zgodny, estymator s 2 jest obciażony ale zgodny jednak esymator wariancji b jest obciażony i nie jest zgodny. Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 20

21 Standardowe statystyki testowe oparte na estymatorze wariancji S = stosowanie standardowych statystyk testowych w modelu, w którym składniki losowe sa niesferyczne, może prowadzić do błędnych wyników wnioskowania Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 21

22 Uogólniona Metoda Najmniejszych Kwadratów Jednym z możliwych sposobów rozwiazania problemu heteroskedastyczności jest wymodelowanie wariancji błędu losowego Analizowany model y = Xβ + u, Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 22

23 X jest nielosowe Var (u) = Ω = σ 2 V Dla dodatnio określonej i symetrycznej V zawsze można znaleźć taka macierz L, że LV L = I n i L L = V 1 Jeśli Var (u) σ 2 I estymator b jest nieobciażony i zgodny Pomnóżmy obie strony modelu przez L Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 23

24 Otrzymujemy w ten sposób model Ly = LXβ + Lu Zdefiniujmy y = Ly, X = LX, u = Lu y = X β + u Dla modelu przekształconego Var (u ) = Var (Lu) = σ 2 LV L = σ 2 I Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 24

25 Dla modelu przekształconego błędy losowe sa homoskedastycznie i nieskorelowane! Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 25

26 Estymator b UMNK otrzymujemy liczac estymator M N K dla przekształconych zmiennych b UMNK = (X X ) 1 X y = ( (LX) (LX) ) 1 (LX) Ly = ( X V 1 X ) 1 X V 1 y = ( X Ω 1 X ) 1 X Ω 1 y Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 26

27 Macierz wariancji kowariancji b UMNK Var (b UMNK ) = σ 2 (X X ) 1 = σ [ 2 (LX) (LX) ] 1 = σ ( 2 X V 1 X ) 1 = ( X Ω 1 X ) 1 Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 27

28 Estymator UMNK wariancji błędu losowego s 2 UMNK = (y X b UMNK ) (y X b UMNK ) n K = (y Xb UMNK) V 1 (y Xb UMNK ) n K = e UMNK V 1 e UMNK n K gdzie e UMNK = y Xb UMNK. Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 28

29 Uwaga (Tw. Aitkena) Estymator Uogólnionej Metody Najmniejszych Kwadratów jest najlepszym, liniowym i nieobciażonym estymatorem parametru β o ile macierz Ω jest znana. Uwaga Ponieważ model przekształcony spełnia wszytskie założenia KM RL więc testowanie wszystkich hipotez przebiega w nim dokładnie tak jak w standardowej M N K. Uwaga Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 29

30 1. W ogólnym przypadku estymatory U M N K sa niemożliwe do bezpośredniego zostosowania, ponieważ nieznane sa macierze Ω, V lub L 2. Stosowalna UMNK polega na zastapieniu macierzy Ω jej zgodnym estymatorem Ω 3. Jeśli forma Ω nie jest ograniczona, mamy zbyt mało stopni swobody by wyestymować Ω ilość parametrów zawartych w Ω wynosi n(n+1) 2 ilość dostępnych stopni swobody n K Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 30

31 Ważona Metoda Najmniejszych Kwadratów W modelu występuje σ Ω =... 0 σ 2 n = σ 2 v v n = σ 2 V Załóżmy, że elementy v i sa znane Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 31

32 Macierz L ma postać L = 1 v vn UMNK sprowadza się do MNK z użyciem zmiennych X = LX i y = Ly W naszym przypadku zmienne te będa miały postać yi = y i vi i x s,i = x s,i vi Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 32

33 Wielkości v i można interpretować jako wagi przypisywane obserwacjom Obserwacje o niskiej wariancji błędu losowego moja przypisana większa wagę a te o wyższej wariancji uzyskuja niższa wagę Przykład Przypuśćmy, że heteroskedastyczność w modelu ma postać σ 2 i = σ 2 zi 2, gdzie z i jest pewna z góry ustalona zmienna. W tym przypadku yi = y i z i i x s,i = x s,i z i Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 33

34 Przykład Funkcja konsumpcji C i = a + by i + ε i gdzie C i konsumpcja w kraju i, Y i jest poziomem GDP w tym kraju. Precyzję oszacowania można mierzyć stosunkiem σ y i. Wartość dóbr skonsumowanych na Litwie jest około 1000 razy mniejsza niż wartość konsumpcji w USA. Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 34

35 Jeśli w oszacowanym modelu relacja σ C i dla Litwy wynosiłaby 1, to dla Stanów stosunek wynosiłaby 0, 001 Homoskedastyczności implikuje, że precyzja oszacowania jest wyższa dla krajów dużych niż dla krajów małych Bardziej realistyczny model na zmiennych wyrażonych per capita gdzie C i = C i z i, Yi C i = a 1 z i + by i = Y i z i + ε i a z i jest ludnościa danego Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 35

36 kraju UMNK jeśli odchylenie standardowe błędu losowego proporcjonalne do liczby ludności Zwróćmy uwagę, że stała przy takim przekształceniu zamienia się w zmienn a 1 z i Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 36

37 Stosowalna UMNK (SUMNK) Zakładamy, że Var (ε) = Ω (θ), gdzie wymiar θ nie zależy od ilości obserwacji Dla znanego θ moglibyśmy zastosować UMNK, jednak zwykle θ jest nieznane. Wiemy, że estymator M N K jest zgodny nawet wtedy, gdy występuje autokorelacja lub heteroskedastyczn Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 37

38 Dwa kroki wykonywalnej UMNK 1. Szacujemy model za pomoca MNK uzyskujemy zgodny estymator b. Na podstawie oszacowania b uzyskujemy zgodny estymator θ 2. Uzyskujemy oszacowanie ) SU M N K przy zastosowaniu macierzy Ω ( θ b SUMNK = [ ) X 1 Ω ( θ 1 ) X] X 1 Ω ( θ Uwaga Estymator SUMNK jest równie efektywny (ma ta sama macierz wariancji kowariancji), co Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 38 y

39 estymator UMNK, jeśli tylko estymator θ jest zgodny. Typowy przykład zastosowania SUMNK - usuwanie heteroskedastyczności z modelu Heteroskedastyczność ma postać zależności funkcyjnej σ 2 i = α 0 + z i α, a więc Var (ε) = Ω (α 0, α) Można ja wykryć za pomoca testu Breuscha- Pagana Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 39

40 Estymator UMNK można policzyć dla znanych α 0 i α Najczęściej jednak α 0 i α sa nieznane W tym przypadku możemy posłużyć się metoda dwustopniowa Estymator MNK jest nieobciażony i zgodny e 2 i - kwadraty reszt z MNK stanowia pewne oszacowanie σ 2 i Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 40

41 Regresja e 2 i na stałej i z i da zgodny estymator α 0 i α Dla tak policzonych estymatorów α 0 i α policzyć można wartości teoretyczne σ 2 i = α 0 + z i α dla poszczególnych obserwacji i uzyskać macierz Ω ( α 0, α) Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 41

42 Stosowalna U M N K polega na wystymowania MNK równania gdzie y i = y i σ i a x s,i = x s,i σ i. y i = x iβ + ε i, Uzyskany w ten sposób estymator będzie asymptotycznie zgodnym i efektywnym Przykład Wydatki na żywność cd. Przyjęto, że zależność między wariancja błędu losowego i ma Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 42

43 postać σ 2 i = α 0 + αlinc. Z regresji lq na stałej i linc uzyskano reszty e i. Następnie wyestymowano regresję e 2 i na stałej i linc resid2 Coef. Std. Err. t P> t [95% Conf. Interval] linc _cons Z regresji tej najpierw wartości dopasowne σ i = α0 + α 1 linc Podzielono zmienna zależna i wszytkie zmienne Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 43

44 niezależne (łacznie ze stała i zmiennymi zerojedynkowymi w pierwotnej regresji przez σ i Przeprowadzono regresję na zmiennych przekształconych i uzyskano następujacy wynik: Source SS df MS Number of obs = F( 7, 3339) =. Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = t_lq Coef. Std. Err. t P> t [95% Conf. Interval] t_linc t_iklm_ t_iklm_ Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 44

45 t_iklm_ t_iklm_ t_iklm_ t_cons Oszacowanie błędu standardowego s 2 powinno być równe 1. Standardowo uzyskiwana wielkość statystyki F jest niepoprawna (przekształcona stała jest traktowana jako jedna ze zmiennych). Poprawny test F powinien testować łaczn a istotność wszystkich zmiennych poza przekształcona stała Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 45

46 F( 6, 3339) = Prob > F = R 2 uzyskane w takiej regresji nie jest intepretowalne - zmienna zależna została stworzona sztucznie Można policzyć R 2 dla orginalnej regresji i uzyskanych z UMNK wartości dopasowanych ( ŷ UMNK,i ŷ UMNK ) 2 R 2 UMNK = (yi y) 2 = ρ 2 ŷ,y Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 46

47 gdzie ŷ UMNK = x i β UMNK. Policzona wartość R 2 UMNK = Statystyka ta jest wyłacznie statystyka opisowa, nie służyć do porównywania wyników regresji MNK i UMNK Wynik standardowego testu Breuscha-Pagana jest teraz następujacy: Wielkości uzyskanych statystyk R 2 i wielkość Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 47

48 Breusch-Pagan LM statistic: Chi-sq( 1) P-value =.9242 Heteroskedastyczność udało się usunać! Zwróć uwagę na małe różnice w oszacowaniach parametrów a także odchyleń standardowych Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 48

49 Estymacja macierzy wariancji kowariancji metoda Neweya-Westa Estymator ten stanowi uogólnienie estymatora White a na przypadek, kiedy w modelu występuje auokorelacja Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 49

50 Zdefiniujmy Ŝ x = Ŝ0 + 1 n L l=1 w l = 1 l L + 1 n t=l+1 ( ) w l e t e t l xt x t l x t l x t w l zostało tak dobrane by macierz Ŝx była zawsze dodatnio określona Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 50

51 Forma estymatora zapewnia, że macierz ta jest również symetryczna Przy założeniu, że korelacja między e t i e t l malej wraz ze wzrostem l można pokazać, że plim Ŝx = lim S x Estymator zgodny jeśli wielkość L proporcjonalne do T 1 4 Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 51

52 Estymatorem wariancji b Σ b = n (X X) 1 Ŝ x (X X) 1 Estymator ten nazywamy odpornym estymatorem (robust) macierzy wariancji-kowariancji Można go używać przy testowaniu hipotez. Problemem może być ustalenie ilości opóźnień L Wykład z Ekonometrii nr 13-14, III rok, WNE UW, Copyright c 2005 by Jerzy Mycielski 52