Natalia Neherbecka. 11 czerwca 2010

Natalia Neherbecka 11 czerwca 2010 1

1. Konsekwencje heteroskedastyczności i autokorelacji 2. Uogólniona MNK 3. Stosowalna Uogólniona MNK 4. Odporne macierze wariancji i kowariancji b 2

Jeżeli założenie o homoskedastyczności lub założenie o braku autokorelacji nie jest spełnione to mówimy o niesferyczności błędów losowych W przypadku występowania heteroskedastyczności lub autokorelacji: Var ( ε ) 2 =Ω= σ V 4

Estymator b jest nadal nieobciążony (korzystamy jedynie z założenia, że E(ε)= 0): = = 1 Eb ( ) E ( X' X) X' y 1 1 E ( X ' X) X ' Xβ + ( X ' X) X ' ε = 1 β + ( X ' X) X ' E( ε) = β Można pokazać, ze estymator b, przy odpowiednich założeniach, jest także zgodny Nie będzie ę on jednak efektywny y można znaleźć estymator o mniejszej wariancji 5

Macierz wariancji i kowariancji b: ( 1 1 εε ) Var ( b ) = E ( X ' X ) X ' ' X ( X ' X ) = 1 1 ( X ' X) X ' Ω X ( X ' X ) = σ ( X ' X) X ' VX( X ' X) 2 1 1 Wzór ten różni się znacznie od prawidłowego wzoru na wariancję MNK: Var() b = σ ( X ' X ) 2 1 6

W rezultacie estymator macierzy wariancji i kowariancji b, którym posługiwaliśmy się do tej pory, nie będzie dobrym oszacowaniem macierzy wariancji i kowariancji b Konsekwencje braku zgodności estymatora macierzy wariancji i kowariancji b mogą być poważne: estymatora macierzy wariancji i kowariancji b używamy przy konstruowaniu praktycznie wszystkich statystyk testowych brak jego zgodności implikuje, że używanie standartowych statystyk testowych może doprowadzić dobłędnych wynikówwnioskowania wnioskowania statystycznego 7

Założenia analogiczne do KMRL ale różniące się brakiem założenia o homoskedastyczności i autokorelacji: 1. y= Xβ + ε 2. X jest nielosowe 3. E() ε = 0 2 4. Var ( ε ) =Ω= σ V, gdzie V jest znana 9

Var V V 2 ( ε ) = Ω= σ, gdzie jest znana L Możemy ż znaleźć pewną macierz diki dzięki, której przekształcimy ł model dl tak, że błędy losowe w przekształconym modelu będą homoskedastyczne i nieskorelowane Dla dodatnio określonej i symetrycznej V zawsze można znaleźć taką macierz L, że LV L = I i L L = V 11 2 Var ( ε ) σ I Jeśli i estymator b jest nieobciążony i zgodny Pomnóżmy obie strony modelu przez L 10

Ly = LXβ + Lε Zdefiniujmy: i y* = Ly X * = LX ε* = Lε Dla modelu przekształconego 2 2 Var ( ε *) = Var ( L ε ) = LVar ( ε ) L' = σ LVL' = σ I 11

L Możemy znaleźć pewną macierz dzięki, której przekształcimy model tak, że błędy losowe w przekształconym modelu będą homoskedastyczne i nieskorelowane Model ten będzie ę spełniał wszystkie założenia KMRL Dla tego modelu prawdziwe są wszystkie wnioski na temat własności MNK Estymator, który otrzymamy nazywamy estymatorem UMNK i ma on wszystkie własności które posiada estymator MNK wszystkie własności, które posiada estymator MNK 12

Estymator b UMNK otrzymujemy licząc estymator MNK dla przekształconych zmiennych 13

Macierz wariancji kowariancji b UMNK : 14

Estymator UMNK wariancji błędu losowego 15

Przy założeniu normalności rozkładu ε sposób testowania hipotez statystycznych w UMNK będzie identyczny jak w MNK Prawdziwe będzie też uogólnienie twierdzenia Gaussa Markowa: Twierdzenie Aitkena: Estymator Uogólnionej Metody Najmniejszych Kwadratów jest najlepszym, liniowym i nieobciążonym estymatorem parametru o ile macierz lub macierz jest znana. Ω β Ω V problem: prawie nigdy nie znamy V 16

Wyjątek gdy znamy V Ważona UMNK (stosujemy jeżeli w modelu tylko heteroskedastyczność) Ważona UMNK przypisujemy wagi obserwacjom przy czym im wyższa wariancja błędu ę losowego tym niższą ą wagę przypisujemy y 17

W modelu występuje: Załóżmy, że elementy v i są znane. Macierz L ma postać: 18

UMNK sprowadza się do MNK z użyciem zmiennych: y * = Ly X* = LX W naszym przypadku zmienne te będą miały postać: y = y x = * i * i i i vi vi x Wielkości v i można interpretować jako wagi przypisywane obserwacjom 19

V - Gdy nie znamy używamy Stosowalną UMNK zastępujemy oszacowaniem V V Zakładamy, że Var ( ε ) = Ω ( θ ) gdzie wymiar θ nie zależy od ilości obserwacji. Dla znanego θ moglibyśmy zastosować UMNK, jednak zwykle θ jest nieznane. Wiemy, że estymator MNK jest zgodny nawet wtedy, gdy występuje autokorelacja lub heteroskedastyczność 22

Dwa kroki wykonywalnej UMNK 1. Szacujemy model dlza pomocą MNK uzyskujemy zgodny estymator t b. Na podstawie oszacowania b uzyskujemy zgodny estymator θ 2. Uzyskujemy oszacowanie SUMNK przy zastosowaniu macierzy Uwaga! Estymator SUMNK jest równie efektywny (ma tą samą macierz wariancji kowariancji), co estymator UMNK, jeśli tylko estymator θˆ ˆ jest zgodny. 23

Typowy przykład zastosowania SUMNK usuwanie heteroskedastyczności z modelu Heteroskedastyczność ma postać zależności funkcyjnej Można ż ją wykryć ć za pomocą testu Breuscha Pagana 24

Najczęściej jednak α i α 0 są nieznane W tym przypadku możemy posłużyć się metodą dwustopniową Estymator MNK jest nieobciążony i zgodny e 2 kwadraty reszt z MNK stanowią ą pewne oszacowanie σ 2 Regresja e 2 i na stałej i z i da zgodny estymator α i α 0 25

Uzyskany w ten sposób estymator będzie asymptotycznie zgodnym i efektywnym 26

Wydatki na żywność Przyjęto, że zależność ż między wariancją błędu losowego i ma postać: ć Z regresji lq na stałej i linc uzyskano reszty e i Następnie wyestymowano regresję e 2 na stałej i linc 27

Z regresji tej najpierw wartości dopasowane ˆ σ = ˆ α 0 + ˆ α linc i 1 Podzielono zmienną zależną i wszystkie zmienne niezależne (łącznie ze stałą i zmiennymi zerojedynkowymi) w pierwotnej regresji przez σˆi 28

Standardowo uzyskiwana wielkość statystyki F jest niepoprawna (przekształcona stała jest traktowana jako jedna ze zmiennych). Poprawny test F powinien testować łączną ą istotność wszystkich zmiennych poza przekształconą stałą. R 2 uzyskane w takiej regresji nie jest interpretowalne zmienna zależna została stworzona sztucznie Można policzyć R 2 dla oryginalnej regresji i uzyskanych z UMNK wartości dopasowanych 30

Wynik standardowego testu Breuscha Pagana jest teraz następujący: Heteroskedastyczność udało się usunąć! 31

Istnieją estymatory macierzy wariancji i kowariancji, które są zgodne w przypadku występowania heteroskedastyczności lub autokorelacji odporne (robust) estymatory wariancji Stosujemy różne estymatory w zależności od tego czy w modelu występuje heteroskedastyczność czy autokorelacja Nj Najpopularniejszym ij odpornym na ht heteroskedastyczność kd t estymatorem t macierzy wariancji i kowariancji b jest estymator White a Estymator Newey a Westa macierzy wariancji i kowariancji b stosujemy gdy w modelu występuje heteroskedastyczność i autokorelacja 33

Jeśli znalibyśmy macierz wariancji kowariancji Ω, wtedy estymatorem macierzy wariancji kowariancji wektora parametrów β byłoby Jednak macierz Ω nie jest znana. Zachodzi wiec konieczność oszacowania n(n+1)/2 nieznanych parametrów macierzy na podstawie n obserwacji. White (1980) pokazał, ze rozwiązaniem jest odmienne spojrzenie na problem. To co jest istotne to uzyskanie zgodnego estymatora dla macierzy X ΩX, która ma wymiar k x k. Ponadto liczba zmiennych w modelu jest zazwyczaj stała i nie zależy od rozmiaru próby. Oznaczmy przez x j j ty wiersz macierzy obserwacji X. 34

White zaproponował by nieznane wariancje zastąpić kwadratami reszt White zaproponował by nieznane wariancje zastąpić kwadratami reszt. W ten sposób uzyskany estymator jest zgodny. = = N i i i i x x e N S 1 2 0 ' 1 ˆ W rezultacie otrzymujemy estymator White a, który jest zgodny w przypadku heteroscedastyczności. 1 0 ' 1 ˆ ' 1 1 ˆ = Σ X X N S X X N N b 0 N N N b 35

Przeanalizujemy model popytu na prace zgłaszanego przez belgijskie firmy. Próba zawiera dane z 570 firm z roku 1996. Dostępne są następujące zmienne: labor zatrudnienie wage suma pensji podzielona przez liczbę pracowników (w milionach jednostek) output wartość dodana produkcji (w milionach jednostek) capital wartość majątku trwałego ł (w milionach jednostek) 36

Przeprowadzając regresje pomocnicza kwadratów reszt na zbiór zmiennych od których chcemy uzależnić wariacje składnika losowego otrzymujemy: 40

Zmienna lnoutput wydaje się być istotna w wyjaśnianiu zróżnicowania kwadratów reszt. Wysoka wartość statystyki F modelu, również sugeruje obecność heteroscedastyczności w składniku losowym, ponieważ zmienne są łącznie istotne, czyli wyjaśniają ją kwadrat błędu. ę Postępując dalej w sposób analogiczny, możemy dokładnie znaleźć funkcje, która jest odpowiedzialna d i za ht heteroscedastyczność. t 41

Jakie są zalety stosowania estymatora MNK w połączeniu z estymatorem odpornym macierzy wariancji i kowariancji w porównaniu do stosowania estymatora UMNK? 1. Nie robiąc żadnych założeń a priori o postaci heteroscedastyczności bądź autokorelacji, możemy przeprowadzić estymacje metoda MNK. Jest to bardzo użyteczne w sytuacji, j,gdy nic nie wiemy o naturze heteroscedastyczności bądź ą autokorelacji w modelu. 2. Estymatory odporne macierzy wariancji kowariancji estymatora MNK są zgodne nawet w przypadku występowania heteroskedastyczności lub autokorelacji. 3. W praktyce często nie zależy ż nam na znalezieniu i efektywnego fkt estymatora t b, estymator MNK może być wystarczająco dobry. Zachowanie wariancji błędu losowego jest najczęściej nieciekawe z w kontekście naszego pytania badawczego Wtedy najlepiej posłużyć się takim estymatorem macierzy wariancji b, który będzie odporny na występowanie heteroskedastyczności (autokorelacji). 42

1. Jak niesferyczność błędów losowych wpływa na własności MNK? 2. Pokazać, w jaki sposób można, w przypadku znanej macierzy Ώ, sprowadzić model z niesferycznymi błędami losowymi do modelu spełniającego założenia KMRL. 3. Wyjaśnić różnicę między UMNK i SUMNK. 4. Jakie są zalety stosowania estymatora MNK w połączeniu z estymatorem odpornym macierzy wariancji i kowariancji w porównaniu do stosowania estymatora UMNK. 43

Dziękuję za uwagę 44