Formy heteroscedastyczności Własności estymatorów MNK wydatki konsumpcyjne 0 10000 20000 30000 40000 14.4 31786.08 dochód rozporz¹dzalny Zródlo: Obliczenia wlasne, dane BBGD 2004
Formy heteroscedastyczności Własności estymatorów MNK Model y = X β + ε
Formy heteroscedastyczności Własności estymatorów MNK Model y = X β + ε Wariancja składnika losowego var(ε) = Ω = σ 2 V
Formy heteroscedastyczności Własności estymatorów MNK Model Wariancja składnika losowego y = X β + ε var(ε) = Ω = σ 2 V W przypadku heteroscedastycznego składnika losowego i braku autokorelacji V jest macierzą diagonalną
Formy heteroscedastyczności Własności estymatorów MNK 1 Wariancja może być funkcją liniową zmiennych macierzy Z var(ε i ) = σ 2 i = δz i δ > 0
Formy heteroscedastyczności Własności estymatorów MNK 1 Wariancja może być funkcją liniową zmiennych macierzy Z var(ε i ) = σi 2 = δz i δ > 0 2 Forma kwadratowa zabezpiecza przed ujemnością wariancji var(ε i ) = σi 2 = δzi 2 δ > 0
Formy heteroscedastyczności Własności estymatorów MNK 1 Wariancja może być funkcją liniową zmiennych macierzy Z var(ε i ) = σ 2 i = δz i δ > 0 2 Forma kwadratowa zabezpiecza przed ujemnością wariancji var(ε i ) = σ 2 i = δz 2 i δ > 0 3 Wariancja może być również funkcją afiniczną zmiennych macierzy Z var(ε i ) = σ 2 i = δ 1 + δ 2 z 2 i δ 1 > 0, δ 2 > 0 W takim przypadku mówimy o heteroscedastyczności addytywnej.
Formy heteroscedastyczności Własności estymatorów MNK 4 Wariancja może przyjmować postać wykładniczą var(ε i ) = σ 2 i = exp(δ 1 + δ 2 z 2 i ) Wtedy mówimy o wariancji z heteroscedastycznością multiplikatywną.
Formy heteroscedastyczności Własności estymatorów MNK 4 Wariancja może przyjmować postać wykładniczą var(ε i ) = σ 2 i = exp(δ 1 + δ 2 z 2 i ) Wtedy mówimy o wariancji z heteroscedastycznością multiplikatywną. 5 W modelu może również występować wariancja przełącznikowa (switching) { var(ε i ) = σi 2 σ 2 = 1 dla i=1...s dla i=s+1...t ten typ wariancji może być połączony z każdą z uprzednio przedstawionych postaci. σ 2 2
Nieobciążoność Formy heteroscedastyczności Własności estymatorów MNK Nieobciążoność estymatora wektora parametrów E(b) = E(X X ) 1 X y = E(X X ) 1 X (X β + ε) =
Nieobciążoność Formy heteroscedastyczności Własności estymatorów MNK Nieobciążoność estymatora wektora parametrów E(b) = E(X X ) 1 X y = E(X X ) 1 X (X β + ε) = = (X X ) 1 X X E(β) + (X X ) 1 X E(ε) = β }{{}}{{} I 0
Nieobciążoność Formy heteroscedastyczności Własności estymatorów MNK Nieobciążoność estymatora wektora parametrów E(b) = E(X X ) 1 X y = E(X X ) 1 X (X β + ε) = = (X X ) 1 X X E(β) + (X X ) 1 X E(ε) = β }{{}}{{} I 0 Estymator jest nieobciążony, gdyż jego postać nie zależy od składnika losowego
Brak zgodności Formy heteroscedastyczności Własności estymatorów MNK Brak zgodności estymatora wariancji wektora parametrów var(b) = E(b E(b))(b E(b)) = E[(X X ) 1 X εε X (X X ) 1 ]
Brak zgodności Formy heteroscedastyczności Własności estymatorów MNK Brak zgodności estymatora wariancji wektora parametrów var(b) = E(b E(b))(b E(b)) = E[(X X ) 1 X εε X (X X ) 1 ] = (X X ) 1 X E(εε )X (X X ) 1 = (X X ) 1 X E[Ω]X (X X ) 1
Brak zgodności Formy heteroscedastyczności Własności estymatorów MNK Brak zgodności estymatora wariancji wektora parametrów var(b) = E(b E(b))(b E(b)) = E[(X X ) 1 X εε X (X X ) 1 ] = (X X ) 1 X E(εε )X (X X ) 1 = (X X ) 1 X E[Ω]X (X X ) 1 var(b) = σ 2 (X X ) 1 X VX (X X ) 1
Brak zgodności Formy heteroscedastyczności Własności estymatorów MNK Brak zgodności estymatora wariancji wektora parametrów var(b) = E(b E(b))(b E(b)) = E[(X X ) 1 X εε X (X X ) 1 ] = (X X ) 1 X E(εε )X (X X ) 1 = (X X ) 1 X E[Ω]X (X X ) 1 var(b) = σ 2 (X X ) 1 X VX (X X ) 1 Standardowe testy oparte na statystykach t, χ 2 oraz F będą wskazywać nieprawidłowe wyniki
Własności estymatorów UMNK Ważona MNK Twierdzenie o faktoryzacji macierzy Każdą dodatnio określoną macierz A można przedstawić w postaci A = CΛC 1 gdzie kolumny macierzy C zawierają wektory własne macierzy A, a Λ jest macierzą diagonalną z wartościami własnymi macierzy A na diagonali.
Własności estymatorów UMNK Ważona MNK Zatem Ω = CΛC 1
Własności estymatorów UMNK Ważona MNK Zatem Ω = CΛC 1 Niech Λ = Λ 1 2 Λ 1 2
Własności estymatorów UMNK Ważona MNK Zatem Niech Λ = Λ 1 2 Λ 1 2 Ω = CΛC 1 Niech P = CΛ 1 2. Wobec tego Ω 1 = P P, ponieważ P (jeśli nie ma autokorelacji) i Λ są diagonalne to P = P oraz Λ = Λ.
Własności estymatorów UMNK Ważona MNK Zatem Niech Λ = Λ 1 2 Λ 1 2 Ω = CΛC 1 Niech P = CΛ 1 2. Wobec tego Ω 1 = P P, ponieważ P (jeśli nie ma autokorelacji) i Λ są diagonalne to P = P oraz Λ = Λ. Mnożąc model regresji przez macierz P z lewej strony uzyskujemy Py = PX β + Pε lub alternatywnie y = X β + ε (1)
Własności estymatorów UMNK Ważona MNK Zatem Niech Λ = Λ 1 2 Λ 1 2 Ω = CΛC 1 Niech P = CΛ 1 2. Wobec tego Ω 1 = P P, ponieważ P (jeśli nie ma autokorelacji) i Λ są diagonalne to P = P oraz Λ = Λ. Mnożąc model regresji przez macierz P z lewej strony uzyskujemy Py = PX β + Pε lub alternatywnie y = X β + ε (1) Wariancja składnika losowego dla przekształconego modelu wynosi E[ε ε ] = Pεε P = σ 2 PVP = σ 2 I
Własności estymatorów UMNK Ważona MNK Estymator UMNK wektora parametrów Zapiszmy wzór na estymator MNK ˆβ = (X X ) 1 X y
Własności estymatorów UMNK Ważona MNK Estymator UMNK wektora parametrów Zapiszmy wzór na estymator MNK ˆβ = (X X ) 1 X y Podstawiając otrzymujemy ˆβ = (X P PX ) 1 X P Py
Własności estymatorów UMNK Ważona MNK Estymator UMNK wektora parametrów Zapiszmy wzór na estymator MNK ˆβ = (X X ) 1 X y Podstawiając otrzymujemy ˆβ = (X P PX ) 1 X P Py W rezultacie ˆβ = (X Ω 1 X ) 1 X Ω 1 y
Własności estymatorów UMNK Ważona MNK Estymator UMNK wariancji wektora parametrów W MNK var(b) = σ 2 (X X ) 1 zatem var( ˆβ) = σ 2 (X V 1 X ) 1
Własności estymatorów UMNK Ważona MNK Estymator UMNK wariancji wektora parametrów W MNK var(b) = σ 2 (X X ) 1 zatem var( ˆβ) = σ 2 (X V 1 X ) 1 Ale nie jest ona równa wariancji estymatora MNK var(b) = σ 2 (X X ) 1 X VX (X X ) 1 σ 2 (X V 1 X ) 1
Własności estymatorów UMNK Ważona MNK Estymator UMNK wariancji wektora parametrów W MNK var(b) = σ 2 (X X ) 1 zatem var( ˆβ) = σ 2 (X V 1 X ) 1 Ale nie jest ona równa wariancji estymatora MNK var(b) = σ 2 (X X ) 1 X VX (X X ) 1 σ 2 (X V 1 X ) 1 Zatem wykorzystując MNK nie można w prawidłowy sposób oszacować wariancji jeśli składnik losowy nie jest sferyczny
Własności estymatorów UMNK Ważona MNK Twierdzenie Aitkena Estymator Uogólnionej Metody Najmniejszych Kwadratów jest najlepszym, liniowym i nieobciążonym estymatorem wektora parametrów β o ile postać macierzy wariancji jest znana
Własności estymatorów UMNK Ważona MNK Twierdzenie Aitkena Estymator Uogólnionej Metody Najmniejszych Kwadratów jest najlepszym, liniowym i nieobciążonym estymatorem wektora parametrów β o ile postać macierzy wariancji jest znana Twierdzenie Aitkena wynika wprost z zastosowania Twierdzenia Gaussa-Markowa do przekształconego modelu
Własności estymatorów UMNK Ważona MNK Praktyka. Nie znamy postaci macierzy V
Własności estymatorów UMNK Ważona MNK Praktyka. Nie znamy postaci macierzy V Nie możemy jej oszacować ze względu na duży wymiar
Własności estymatorów UMNK Ważona MNK Praktyka. Nie znamy postaci macierzy V Nie możemy jej oszacować ze względu na duży wymiar Szczególny przypadek - Ważona Metoda Najmniejszych Kwadratów
Własności estymatorów UMNK Ważona MNK Estymator UMNK dany jest wzorem: ˆβ = (X Ω 1 X ) 1 X Ω 1 y
Własności estymatorów UMNK Ważona MNK Estymator UMNK dany jest wzorem: ˆβ = (X Ω 1 X ) 1 X Ω 1 y Jeżeli elementy ω i (wagi) są znane to Ω 1 jest macierzą diagonalną o elementach na diagonali równych 1/ω i.
Własności estymatorów UMNK Ważona MNK Estymator UMNK dany jest wzorem: ˆβ = (X Ω 1 X ) 1 X Ω 1 y Jeżeli elementy ω i (wagi) są znane to Ω 1 jest macierzą diagonalną o elementach na diagonali równych 1/ω i. Przekształcając model mnożąc przez macierz P daną wzorem: P = 1/ ω 1 0... 0 1/ ω N i stosując MNK do przekształconego modelu
Własności estymatorów UMNK Ważona MNK Estymator UMNK dany jest wzorem: ˆβ = (X Ω 1 X ) 1 X Ω 1 y Jeżeli elementy ω i (wagi) są znane to Ω 1 jest macierzą diagonalną o elementach na diagonali równych 1/ω i. Przekształcając model mnożąc przez macierz P daną wzorem: P = 1/ ω 1 0... 0 1/ ω N i stosując MNK do przekształconego modelu otrzymujemy estymator ważonej MNK w którym w i = 1/ω i. ( n ) 1 ( n ) b = w i x i x i w i x i y i i=1 i=1
Estymator White a Zakładamy, że wariancja jest funkcją zmiennych Z E(ε i Z i ) = σ 2 i = σ 2 f (z i )
Estymator White a Zakładamy, że wariancja jest funkcją zmiennych Z E(ε i Z i ) = σ 2 i = σ 2 f (z i ) Wówczas odwrotność macierzy wariancji-kowariancji ma postać Ω 1 = 1 σ 2 V 1 = 1 σ 2 1 f (α 0 +αz i ) 0... 0 1 f (α 0 +αz i ) = σ 2 L L
SUMNK - algorytm Estymator White a 1 Szacujemy model y i = x i b + e i i uzyskujemy wektor reszt.
SUMNK - algorytm Estymator White a 1 Szacujemy model y i = x i b + e i i uzyskujemy wektor reszt. 2 Przeprowadzamy regresję e 2 i na stałej i wektorze z i
SUMNK - algorytm Estymator White a 1 Szacujemy model y i = x i b + e i i uzyskujemy wektor reszt. 2 Przeprowadzamy regresję e 2 i na stałej i wektorze z i 3 Szacujemy macierz L.
SUMNK - algorytm Estymator White a 1 Szacujemy model y i = x i b + e i i uzyskujemy wektor reszt. 2 Przeprowadzamy regresję ei 2 na stałej i wektorze z i 3 Szacujemy macierz L. 4 Przekształcamy za pomocą oszacowania ˆL oryginalny model
SUMNK - algorytm Estymator White a 1 Szacujemy model y i = x i b + e i i uzyskujemy wektor reszt. 2 Przeprowadzamy regresję ei 2 na stałej i wektorze z i 3 Szacujemy macierz L. 4 Przekształcamy za pomocą oszacowania ˆL oryginalny model 5 Obliczamy wartość estymatora
SUMNK - algorytm Estymator White a 1 Szacujemy model y i = x i b + e i i uzyskujemy wektor reszt. 2 Przeprowadzamy regresję ei 2 na stałej i wektorze z i 3 Szacujemy macierz L. 4 Przekształcamy za pomocą oszacowania ˆL oryginalny model 5 Obliczamy wartość estymatora W praktyce oszacowania uzyskane za pomocą SUMNK są zbliżone do oszacowań MNK.
( Estymator White a SUMNK - przykład) Source SS df MS Number of obs = 27370 ----------+------------------------------ F( 1, 27368) =15997.69 Model 2.4008e+10 1 2.4008e+10 Prob > F = 0.0000 Residual 4.1071e+10 27368 1500687.61 R-squared = 0.3689 ----------+------------------------------ Adj R-squared = 0.3689 Total 6.5078e+10 27369 2377812.7 Root MSE = 1225 ------------------------------------------------------------------------- w Coef. Std. Err. t P> t [95% Conf. Interval] ----------+-------------------------------------------------------------- ld 1947.76 15.39951 126.48 0.000 1917.576 1977.944 _cons -12795.35 118.5725-107.91 0.000-13027.76-12562.94 -------------------------------------------------------------------------
( Estymator White a SUMNK - przykład) Source SS df MS Number of obs = 31490 ----------+------------------------------ F( 1, 31488) = 1318.27 Model 1115.98327 1 1115.98327 Prob > F = 0.0000 Residual 26656.2551 31488.846552817 R-squared = 0.0402 ----------+------------------------------ Adj R-squared = 0.0402 Total 27772.2384 31489.88196635 Root MSE =.92008 ------------------------------------------------------------------------- w_f Coef. Std. Err. t P> t [95% Conf. Interval] ----------+-------------------------------------------------------------- ld_f 49.58846 1.365774 36.31 0.000 46.91149 52.26543 _cons 1.242684.0104248 119.20 0.000 1.222251 1.263117 -------------------------------------------------------------------------
Estymator White a Estymator odporny na heteroscedastyczność Jeżeli macierz wariacji-kowariancji Ω byłaby znana, wówczas estymatorem asymptotycznej macierzy kowariancji b byłoby Ω = 1 N ( 1 N X X ) 1 ( 1 N X V 1 X )( 1 N X X ) 1 Aby oszacować elementy środkowej macierzy trzeba znaleźć elementy macierzy plim 1 N N σ 2 N ijx i x j i=1 j=1 Ponieważ estymator MNK dla wektora parametrów β jest zgodny, estymatory dla reszt e i są punktowo zgodne White (1980) pokazał, że plim 1 N ei 2 = x i x i = plim 1 N N σ 2 N N ijx i x j i=1 i=1 j=1
Estymator White a Estymator odporny na heteroscedastyczność Zatem następujące macierze są asymptotycznie równoważne 1 N X ΩX = 1 N X σ 2 i IX
Estymator White a Estymator odporny na heteroscedastyczność Zatem następujące macierze są asymptotycznie równoważne 1 N X ΩX = 1 N X σ 2 i IX Zgodnym estymatorem macierzy wariancji-kowariancji wektora parametrów jest ˆΣ b = n(x X ) 1[ 1 ] e 2 N i x i x i (X X ) 1
Regresja odporna - przykład Estymator White a. reg wtukg ldochg [aw=w04g] if dochg>0 & wtukg>0 (sum of wgt is 3.2050e+04) Source SS df MS Number of obs = 32054 ----------+------------------------------ F( 1, 32052) =19343.27 Model 2.6186e+10 1 2.6186e+10 Prob > F = 0.0000 Residual 4.3390e+10 32052 1353729.97 R-squared = 0.3764 ----------+------------------------------ Adj R-squared = 0.3763 Total 6.9575e+10 32053 2170633.52 Root MSE = 1163.5 ------------------------------------------------------------------------- wtukg Coef. Std. Err. t P> t [95% Conf. Interval] ----------+-------------------------------------------------------------- ldochg 1392.982 10.01568 139.08 0.000 1373.351 1412.613 _cons -8487.298 74.84795-113.39 0.000-8634.003-8340.593 -------------------------------------------------------------------------
Regresja odporna - przykład Estymator White a. reg wtukg ldochg [aw=w04g] if dochg>0 & wtukg>0,robust (sum of wgt is 3.2050e+04) Linear regression Number of obs = 32054 F( 1, 32052) = 3220.03 Prob > F = 0.0000 R-squared = 0.3764 Root MSE = 1163.5 ------------------------------------------------------------------------- Robust wtukg Coef. Std. Err. t P> t [95% Conf. Interval] ----------+-------------------------------------------------------------- ldochg 1392.982 24.54795 56.75 0.000 1344.867 1441.097 _cons -8487.298 180.9891-46.89 0.000-8842.044-8132.553 -------------------------------------------------------------------------