Heteroscedastyczność. Zjawisko heteroscedastyczności Uogólniona Metoda Najmniejszych Kwadratów Stosowalna Metoda Najmniejszych Kwadratów

Transkrypt

1

2 Formy heteroscedastyczności Własności estymatorów MNK wydatki konsumpcyjne dochód rozporz¹dzalny Zródlo: Obliczenia wlasne, dane BBGD 2004

3 Formy heteroscedastyczności Własności estymatorów MNK Model y = X β + ε

4 Formy heteroscedastyczności Własności estymatorów MNK Model y = X β + ε Wariancja składnika losowego var(ε) = Ω = σ 2 V

5 Formy heteroscedastyczności Własności estymatorów MNK Model Wariancja składnika losowego y = X β + ε var(ε) = Ω = σ 2 V W przypadku heteroscedastycznego składnika losowego i braku autokorelacji V jest macierzą diagonalną

6 Formy heteroscedastyczności Własności estymatorów MNK 1 Wariancja może być funkcją liniową zmiennych macierzy Z var(ε i ) = σ 2 i = δz i δ > 0

7 Formy heteroscedastyczności Własności estymatorów MNK 1 Wariancja może być funkcją liniową zmiennych macierzy Z var(ε i ) = σi 2 = δz i δ > 0 2 Forma kwadratowa zabezpiecza przed ujemnością wariancji var(ε i ) = σi 2 = δzi 2 δ > 0

8 Formy heteroscedastyczności Własności estymatorów MNK 1 Wariancja może być funkcją liniową zmiennych macierzy Z var(ε i ) = σ 2 i = δz i δ > 0 2 Forma kwadratowa zabezpiecza przed ujemnością wariancji var(ε i ) = σ 2 i = δz 2 i δ > 0 3 Wariancja może być również funkcją afiniczną zmiennych macierzy Z var(ε i ) = σ 2 i = δ 1 + δ 2 z 2 i δ 1 > 0, δ 2 > 0 W takim przypadku mówimy o heteroscedastyczności addytywnej.

9 Formy heteroscedastyczności Własności estymatorów MNK 4 Wariancja może przyjmować postać wykładniczą var(ε i ) = σ 2 i = exp(δ 1 + δ 2 z 2 i ) Wtedy mówimy o wariancji z heteroscedastycznością multiplikatywną.

10 Formy heteroscedastyczności Własności estymatorów MNK 4 Wariancja może przyjmować postać wykładniczą var(ε i ) = σ 2 i = exp(δ 1 + δ 2 z 2 i ) Wtedy mówimy o wariancji z heteroscedastycznością multiplikatywną. 5 W modelu może również występować wariancja przełącznikowa (switching) { var(ε i ) = σi 2 σ 2 = 1 dla i=1...s dla i=s+1...t ten typ wariancji może być połączony z każdą z uprzednio przedstawionych postaci. σ 2 2

11 Nieobciążoność Formy heteroscedastyczności Własności estymatorów MNK Nieobciążoność estymatora wektora parametrów E(b) = E(X X ) 1 X y = E(X X ) 1 X (X β + ε) =

12 Nieobciążoność Formy heteroscedastyczności Własności estymatorów MNK Nieobciążoność estymatora wektora parametrów E(b) = E(X X ) 1 X y = E(X X ) 1 X (X β + ε) = = (X X ) 1 X X E(β) + (X X ) 1 X E(ε) = β }{{}}{{} I 0

13 Nieobciążoność Formy heteroscedastyczności Własności estymatorów MNK Nieobciążoność estymatora wektora parametrów E(b) = E(X X ) 1 X y = E(X X ) 1 X (X β + ε) = = (X X ) 1 X X E(β) + (X X ) 1 X E(ε) = β }{{}}{{} I 0 Estymator jest nieobciążony, gdyż jego postać nie zależy od składnika losowego

14 Brak zgodności Formy heteroscedastyczności Własności estymatorów MNK Brak zgodności estymatora wariancji wektora parametrów var(b) = E(b E(b))(b E(b)) = E[(X X ) 1 X εε X (X X ) 1 ]

15 Brak zgodności Formy heteroscedastyczności Własności estymatorów MNK Brak zgodności estymatora wariancji wektora parametrów var(b) = E(b E(b))(b E(b)) = E[(X X ) 1 X εε X (X X ) 1 ] = (X X ) 1 X E(εε )X (X X ) 1 = (X X ) 1 X E[Ω]X (X X ) 1

16 Brak zgodności Formy heteroscedastyczności Własności estymatorów MNK Brak zgodności estymatora wariancji wektora parametrów var(b) = E(b E(b))(b E(b)) = E[(X X ) 1 X εε X (X X ) 1 ] = (X X ) 1 X E(εε )X (X X ) 1 = (X X ) 1 X E[Ω]X (X X ) 1 var(b) = σ 2 (X X ) 1 X VX (X X ) 1

17 Brak zgodności Formy heteroscedastyczności Własności estymatorów MNK Brak zgodności estymatora wariancji wektora parametrów var(b) = E(b E(b))(b E(b)) = E[(X X ) 1 X εε X (X X ) 1 ] = (X X ) 1 X E(εε )X (X X ) 1 = (X X ) 1 X E[Ω]X (X X ) 1 var(b) = σ 2 (X X ) 1 X VX (X X ) 1 Standardowe testy oparte na statystykach t, χ 2 oraz F będą wskazywać nieprawidłowe wyniki

18 Własności estymatorów UMNK Ważona MNK Twierdzenie o faktoryzacji macierzy Każdą dodatnio określoną macierz A można przedstawić w postaci A = CΛC 1 gdzie kolumny macierzy C zawierają wektory własne macierzy A, a Λ jest macierzą diagonalną z wartościami własnymi macierzy A na diagonali.

19 Własności estymatorów UMNK Ważona MNK Zatem Ω = CΛC 1

20 Własności estymatorów UMNK Ważona MNK Zatem Ω = CΛC 1 Niech Λ = Λ 1 2 Λ 1 2

21 Własności estymatorów UMNK Ważona MNK Zatem Niech Λ = Λ 1 2 Λ 1 2 Ω = CΛC 1 Niech P = CΛ 1 2. Wobec tego Ω 1 = P P, ponieważ P (jeśli nie ma autokorelacji) i Λ są diagonalne to P = P oraz Λ = Λ.

22 Własności estymatorów UMNK Ważona MNK Zatem Niech Λ = Λ 1 2 Λ 1 2 Ω = CΛC 1 Niech P = CΛ 1 2. Wobec tego Ω 1 = P P, ponieważ P (jeśli nie ma autokorelacji) i Λ są diagonalne to P = P oraz Λ = Λ. Mnożąc model regresji przez macierz P z lewej strony uzyskujemy Py = PX β + Pε lub alternatywnie y = X β + ε (1)

23 Własności estymatorów UMNK Ważona MNK Zatem Niech Λ = Λ 1 2 Λ 1 2 Ω = CΛC 1 Niech P = CΛ 1 2. Wobec tego Ω 1 = P P, ponieważ P (jeśli nie ma autokorelacji) i Λ są diagonalne to P = P oraz Λ = Λ. Mnożąc model regresji przez macierz P z lewej strony uzyskujemy Py = PX β + Pε lub alternatywnie y = X β + ε (1) Wariancja składnika losowego dla przekształconego modelu wynosi E[ε ε ] = Pεε P = σ 2 PVP = σ 2 I

24 Własności estymatorów UMNK Ważona MNK Estymator UMNK wektora parametrów Zapiszmy wzór na estymator MNK ˆβ = (X X ) 1 X y

25 Własności estymatorów UMNK Ważona MNK Estymator UMNK wektora parametrów Zapiszmy wzór na estymator MNK ˆβ = (X X ) 1 X y Podstawiając otrzymujemy ˆβ = (X P PX ) 1 X P Py

26 Własności estymatorów UMNK Ważona MNK Estymator UMNK wektora parametrów Zapiszmy wzór na estymator MNK ˆβ = (X X ) 1 X y Podstawiając otrzymujemy ˆβ = (X P PX ) 1 X P Py W rezultacie ˆβ = (X Ω 1 X ) 1 X Ω 1 y

27 Własności estymatorów UMNK Ważona MNK Estymator UMNK wariancji wektora parametrów W MNK var(b) = σ 2 (X X ) 1 zatem var( ˆβ) = σ 2 (X V 1 X ) 1

28 Własności estymatorów UMNK Ważona MNK Estymator UMNK wariancji wektora parametrów W MNK var(b) = σ 2 (X X ) 1 zatem var( ˆβ) = σ 2 (X V 1 X ) 1 Ale nie jest ona równa wariancji estymatora MNK var(b) = σ 2 (X X ) 1 X VX (X X ) 1 σ 2 (X V 1 X ) 1

29 Własności estymatorów UMNK Ważona MNK Estymator UMNK wariancji wektora parametrów W MNK var(b) = σ 2 (X X ) 1 zatem var( ˆβ) = σ 2 (X V 1 X ) 1 Ale nie jest ona równa wariancji estymatora MNK var(b) = σ 2 (X X ) 1 X VX (X X ) 1 σ 2 (X V 1 X ) 1 Zatem wykorzystując MNK nie można w prawidłowy sposób oszacować wariancji jeśli składnik losowy nie jest sferyczny

30 Własności estymatorów UMNK Ważona MNK Twierdzenie Aitkena Estymator Uogólnionej Metody Najmniejszych Kwadratów jest najlepszym, liniowym i nieobciążonym estymatorem wektora parametrów β o ile postać macierzy wariancji jest znana

31 Własności estymatorów UMNK Ważona MNK Twierdzenie Aitkena Estymator Uogólnionej Metody Najmniejszych Kwadratów jest najlepszym, liniowym i nieobciążonym estymatorem wektora parametrów β o ile postać macierzy wariancji jest znana Twierdzenie Aitkena wynika wprost z zastosowania Twierdzenia Gaussa-Markowa do przekształconego modelu

32 Własności estymatorów UMNK Ważona MNK Praktyka. Nie znamy postaci macierzy V

33 Własności estymatorów UMNK Ważona MNK Praktyka. Nie znamy postaci macierzy V Nie możemy jej oszacować ze względu na duży wymiar

34 Własności estymatorów UMNK Ważona MNK Praktyka. Nie znamy postaci macierzy V Nie możemy jej oszacować ze względu na duży wymiar Szczególny przypadek - Ważona Metoda Najmniejszych Kwadratów

35 Własności estymatorów UMNK Ważona MNK Estymator UMNK dany jest wzorem: ˆβ = (X Ω 1 X ) 1 X Ω 1 y

36 Własności estymatorów UMNK Ważona MNK Estymator UMNK dany jest wzorem: ˆβ = (X Ω 1 X ) 1 X Ω 1 y Jeżeli elementy ω i (wagi) są znane to Ω 1 jest macierzą diagonalną o elementach na diagonali równych 1/ω i.

37 Własności estymatorów UMNK Ważona MNK Estymator UMNK dany jest wzorem: ˆβ = (X Ω 1 X ) 1 X Ω 1 y Jeżeli elementy ω i (wagi) są znane to Ω 1 jest macierzą diagonalną o elementach na diagonali równych 1/ω i. Przekształcając model mnożąc przez macierz P daną wzorem: P = 1/ ω / ω N i stosując MNK do przekształconego modelu

38 Własności estymatorów UMNK Ważona MNK Estymator UMNK dany jest wzorem: ˆβ = (X Ω 1 X ) 1 X Ω 1 y Jeżeli elementy ω i (wagi) są znane to Ω 1 jest macierzą diagonalną o elementach na diagonali równych 1/ω i. Przekształcając model mnożąc przez macierz P daną wzorem: P = 1/ ω / ω N i stosując MNK do przekształconego modelu otrzymujemy estymator ważonej MNK w którym w i = 1/ω i. ( n ) 1 ( n ) b = w i x i x i w i x i y i i=1 i=1

39 Estymator White a Zakładamy, że wariancja jest funkcją zmiennych Z E(ε i Z i ) = σ 2 i = σ 2 f (z i )

40 Estymator White a Zakładamy, że wariancja jest funkcją zmiennych Z E(ε i Z i ) = σ 2 i = σ 2 f (z i ) Wówczas odwrotność macierzy wariancji-kowariancji ma postać Ω 1 = 1 σ 2 V 1 = 1 σ 2 1 f (α 0 +αz i ) f (α 0 +αz i ) = σ 2 L L

41 SUMNK - algorytm Estymator White a 1 Szacujemy model y i = x i b + e i i uzyskujemy wektor reszt.

42 SUMNK - algorytm Estymator White a 1 Szacujemy model y i = x i b + e i i uzyskujemy wektor reszt. 2 Przeprowadzamy regresję e 2 i na stałej i wektorze z i

43 SUMNK - algorytm Estymator White a 1 Szacujemy model y i = x i b + e i i uzyskujemy wektor reszt. 2 Przeprowadzamy regresję e 2 i na stałej i wektorze z i 3 Szacujemy macierz L.

44 SUMNK - algorytm Estymator White a 1 Szacujemy model y i = x i b + e i i uzyskujemy wektor reszt. 2 Przeprowadzamy regresję ei 2 na stałej i wektorze z i 3 Szacujemy macierz L. 4 Przekształcamy za pomocą oszacowania ˆL oryginalny model

45 SUMNK - algorytm Estymator White a 1 Szacujemy model y i = x i b + e i i uzyskujemy wektor reszt. 2 Przeprowadzamy regresję ei 2 na stałej i wektorze z i 3 Szacujemy macierz L. 4 Przekształcamy za pomocą oszacowania ˆL oryginalny model 5 Obliczamy wartość estymatora

46 SUMNK - algorytm Estymator White a 1 Szacujemy model y i = x i b + e i i uzyskujemy wektor reszt. 2 Przeprowadzamy regresję ei 2 na stałej i wektorze z i 3 Szacujemy macierz L. 4 Przekształcamy za pomocą oszacowania ˆL oryginalny model 5 Obliczamy wartość estymatora W praktyce oszacowania uzyskane za pomocą SUMNK są zbliżone do oszacowań MNK.

47 ( Estymator White a SUMNK - przykład) Source SS df MS Number of obs = F( 1, 27368) = Model e e+10 Prob > F = Residual e R-squared = Adj R-squared = Total e Root MSE = w Coef. Std. Err. t P> t [95% Conf. Interval] ld _cons

48 ( Estymator White a SUMNK - przykład) Source SS df MS Number of obs = F( 1, 31488) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = w_f Coef. Std. Err. t P> t [95% Conf. Interval] ld_f _cons

49 Estymator White a Estymator odporny na heteroscedastyczność Jeżeli macierz wariacji-kowariancji Ω byłaby znana, wówczas estymatorem asymptotycznej macierzy kowariancji b byłoby Ω = 1 N ( 1 N X X ) 1 ( 1 N X V 1 X )( 1 N X X ) 1 Aby oszacować elementy środkowej macierzy trzeba znaleźć elementy macierzy plim 1 N N σ 2 N ijx i x j i=1 j=1 Ponieważ estymator MNK dla wektora parametrów β jest zgodny, estymatory dla reszt e i są punktowo zgodne White (1980) pokazał, że plim 1 N ei 2 = x i x i = plim 1 N N σ 2 N N ijx i x j i=1 i=1 j=1

50 Estymator White a Estymator odporny na heteroscedastyczność Zatem następujące macierze są asymptotycznie równoważne 1 N X ΩX = 1 N X σ 2 i IX

51 Estymator White a Estymator odporny na heteroscedastyczność Zatem następujące macierze są asymptotycznie równoważne 1 N X ΩX = 1 N X σ 2 i IX Zgodnym estymatorem macierzy wariancji-kowariancji wektora parametrów jest ˆΣ b = n(x X ) 1[ 1 ] e 2 N i x i x i (X X ) 1

52 Regresja odporna - przykład Estymator White a. reg wtukg ldochg [aw=w04g] if dochg>0 & wtukg>0 (sum of wgt is e+04) Source SS df MS Number of obs = F( 1, 32052) = Model e e+10 Prob > F = Residual e R-squared = Adj R-squared = Total e Root MSE = wtukg Coef. Std. Err. t P> t [95% Conf. Interval] ldochg _cons

53 Regresja odporna - przykład Estymator White a. reg wtukg ldochg [aw=w04g] if dochg>0 & wtukg>0,robust (sum of wgt is e+04) Linear regression Number of obs = F( 1, 32052) = Prob > F = R-squared = Root MSE = Robust wtukg Coef. Std. Err. t P> t [95% Conf. Interval] ldochg _cons