Stanisław Cichocki. Natalia Nehrebecka. Wykład 12

Transkrypt

1 Stanisław Cichocki Natalia Nehrebecka Wykład 12 1

2 1.Problemy z danymi Zmienne pominięte Zmienne nieistotne 2. Autokorelacja o Testowanie autokorelacji

3 1.Problemy z danymi Zmienne pominięte Zmienne nieistotne 2. Autokorelacja o Testowanie autokorelacji

4 - Mamy 2 modele: y X u 1 1 (1) y X X (2) - Potencjalnie każdy z tych modeli może prawidłowo opisywać zmienną y problemy gdy przy liczeniu estymatorów zastosujemy niewłaściwy model - Załóżmy, ze estymujemy model (1) a prawdziwy jest model (2)

5 2 0 - Zakładamy, że gdy w rzeczywistości Przypadek ten nazywamy problemem zmiennych pominiętych (ommitted variables)

6 ˆ estymator MNK wektora parametrów w modelu (1) - Załóżmy, że prawdziwy jest model (2) ˆ ( X X ) X y ( X X ) X ( X X ) ' 1 ' ' 1 ' ( X X ) X X ( X X ) X ' 1 ' ' 1 '

7 - E( ˆ ) ( X X ) X X ( X X ) X E( ) ' 1 ' ' 1 ' ( 1 ) ( X X ) X X ' 1 ' Jeśli więc pominiemy istotne zmienne estymator nie jest estymatorem nieobciążonym - Obciążenie: E( ˆ ) ( X X ) X X ' 1 '

8 - Dwa przypadki, dla których pominięcie zmiennej nie powoduje obciążenia estymatora a) 2 0 XX ' b) - zmienne pominięte nie są skorelowane ze zmiennymi objaśniającymi, które zostały uwzględnione w modelu

9 - Pominięcie istotnych zmiennych jest prawdopodobnie najczęstszym powodem błędów w oszacowaniach - W praktyce nigdy nie dysponujemy danymi odnośnie wszystkich zmiennych mogących wpływać na zmienną zależną - W takim przypadku warto umieć określić kierunek ewentualnego obciążenia (trudne w ogólnym przypadku)

10 - Kierunek obciążenia dla najprostszego przypadku (model ze stałą i jedną zmienną objaśniającą, pominięta jedna dodatkowa zmienna objaśniająca): gdzie: E ( ˆ ) ( xx 1 2 s s x x 1 s, s - wariancja empiryczna x, x x 1 2 xx 1 2 x wsp. korelacji miedzy x a x 1 2

11 - Kierunek obciążenia dla najprostszego przypadku (model ze stałą i jedną zmienną objaśniającą, pominięta jedna dodatkowa zmienna objaśniająca): Przypadek Wpływ zmiennej pominiętej na zmienną zależną (β₂) Korelacja między zmienną pominiętą a zmienną niezależną (ρ) Znak obciążenia I (przeszacowanie) II III (niedoszacowanie) IV - + -

12 - Przykład: Dla pewnej badanej grupy osób przeprowadzono regresję logarytmu wynagrodzenia na latach nauki (zmienna latanauki). Jaki będzie prawdopodobny kierunek obciążenia parametru przy zmiennej latanauki wynikający z pominięcia: a) wielkości miejscowości, w której zamieszkuje badana osoba; b) liczby dzieci badanej osoby?

13 - Obciążenie może prowadzić do: a) Uznania za zmienną istotną zmiennej, która nie ma żadnego wpływu na zmienna zależną najgorszy przypadek b) Przeszacowania/niedoszacowania wpływu zmiennej objaśniającej na zmienna objaśnianą

14 Przykład reg wydg dochg Source SS df MS Number of obs = F( 1, 31677) = Model e e+10 Prob > F = Residual e R-squared = Adj R-squared = Total e Root MSE = wydg Coef. Std. Err. t P> t [95% Conf. Interval] dochg _cons

15 Przykład reg wydg dochg los Source SS df MS Number of obs = F( 2, 31676) = Model e e+10 Prob > F = Residual e R-squared = Adj R-squared = Total e Root MSE = wydg Coef. Std. Err. t P> t [95% Conf. Interval] dochg los _cons

16 - Mamy 2 modele: y X u 1 1 (1) y X X (2) - Załóżmy, ze estymujemy model (2) a prawdziwy jest model (1) Zakładamy, że gdy w rzeczywistości Przypadek ten nazywamy problemem zmiennych nieistotnych

17 1 - Estymator - nieobciążony, ale będzie miał większą wariancję niż estymator uzyskany na podstawie modelu (1) - Inaczej mówiąc, w modelu w którym występują zmienne nieistotne estymator MNK ma wyższą wariancję niż w modelu, z którego usunięto zmienne nieistotne

18 - Usuwamy z modelu zmienne nieistotne bo: a) Poprawia to precyzję oszacowań parametrów przy zmiennych istotnych (estymator MNK ma mniejszą wariancję) b) Uzyskujemy uproszczenie modelu

19 1.Problemy z danymi Zmienne pominięte Zmienne nieistotne 2. Autokorelacja o Testowanie autokorelacji

20 Przypomnienie: Co to znaczy, że w modelu występuje autokorelacja? -Brak autokorelacji ) ( ), ( ), ( ), ( ) ( ), ( ), ( ), ( ) ( ) ( n n n n n Var Cov Cov Cov Var Cov Cov Cov Var Var

21 Przypadek zerowych kowariancji dla różnych zaburzeń losowych oraz nazywamy brakiem autokorelacji zaburzeń. Oznacza to, że zaburzenia losowe dla różnych obserwacji są niezależne, a przez to nieskorelowane, a więc nie mają tendencji do gromadzenia się np. wokół dodatnich lub ujemnych (lub naprzemiennie dodatnich i ujemnych) wartości y i j Rys. 2. Autokorelacja x

22 Cov(, ) E( ) 0 dla i j - dodatnia autokorelacja i j i j Cov(, ) E( ) 0 dla i j - ujemna autokorelacja i j i j

23 - Test Durbina-Watsona (Test DW): H : Cov(, ) 0 0 t t1 - brak autokorelacji H : Cov(, ) 0 1 t t1 - autokorelacja gdzie t 1,..., T

24 - Test Durbina-Watsona (Test DW): - specjalne tablice z wartościami krytycznymi: d, d l u 1. Statystyka DW<2 d l a) DW < - odrzucamy hipotezę zerową o braku autokorelacji i przyjmujemy hipotezę o dodatniej autokorelacji b) < DW < - brak konkluzji d l d u c) DW > d u - nie ma podstaw do odrzucenia hipotezy zerowej o braku autokorelacji

25 - Test Durbina-Watsona (Test DW): 2. Statystyka DW >2 4 dl a) DW > - odrzucamy hipotezę zerową o braku autokorelacji i przyjmujemy hipotezę o ujemnej autokorelacji 4 du 4 dl b) < DW < - brak konkluzji 4 du c) DW < - nie ma podstaw do odrzucenia hipotezy zerowej o braku autokorelacji

26

27 Test Durbina-Watsona (Test BW): t, t - Do badania autokorelacji I rzędu (między ) - Rozkład statystki testowej wyprowadzony dla małych prób 1 - Wada: nie można go stosować w modelach gdzie jedną ze zmiennych objaśniających jest opóźniona zmienna zależna - Wada: niestandardowy rozkład i możliwość wystąpienia braku konkluzji

28 Test Breuscha-Godfreya (Test BG): - Do badania autokorelacji wyższego rzędu - Można go stosować w modelach gdzie występują opóźnione zmienne zależne

29 - Test Breuscha-Godfreya (Test BG): H : Cov( ) 0 0 t, ti gdzie i 1,..., s H :... u 1 t 1 t1 s ts t gdzie 2 Var( u) u I - Hipoteza zerowa: brak autokorelacji - Hipoteza alternatywna: autokorelacja

30 Test Breuscha-Godfreya (Test BG) sposób przeprowadzenia testu: y 1. przeprowadzamy regresję na i uzyskujemy reszty 2. przeprowadzamy regresję pomocniczą: i x i t t 1 t 1... s ts t e x e e u i testujemy H0: 1... s 0

31 Statystyka testowa: D 2 2 LM TR p lub statystyka F

32 Brak autokorelacji błędu losowego kowariancja dwóch różnych błędów losowych jest zerowa: cov(, ) 0 dla i j i j

33 1. Jaki skutek może mieć pominięcie istotnej zmiennej w modelu? 2. W jakim szczególnym przypadku można uzyskać prawidłowe oszacowania parametrów mimo, że w modelu pominięto istotne zmienne. 3. Dlaczego z modelu powinno się usuwać zmienne nieistotne? 4. Parametry przy zmiennych x i x 1 2 są dodatnie. Zmienne są ujemnie skorelowane. Jaki będzie wpływ pominięcia zmiennej x 1 na oszacowania parametrów przy zmiennej? x 2

34 5. Za pomocą jakich testów testuje się autokorelację? Jakiemu założeniu KMRL odpowiada H0 w tych testach? Jakie są hipotezy alternatywne w tych testach?

35 Dziękuję za uwagę 35