Natalia Nehrebecka. 18 maja 2010

Transkrypt

1 Natalia Nehrebecka 18 maja 2010

2 1. Testy diagnostyczne 2. Testowanie prawidłowości formy funkcyjnej modelu 3. Testowanie normalności składników losowych 4. Testowanie stabilności parametrów 5. Testowanie heteroskedastyczności 6. Testowanie autokorelacji

3 1. Testy diagnostyczne 2. Testowanie prawidłowości formy funkcyjnej modelu 3. Testowanie normalności składników losowych 4. Testowanie stabilności parametrów 5. Testowanie heteroskedastyczności 6. Testowanie autokorelacji

4 Służą do weryfikacji założeń KMRL Jeśli któreś z założeń nie jest spełnione należy zastanowić się nad przeformułowaniem modelu Testy są stosowane po wyestymowaniu modelu

5 Nazwa testu Hipotezy Jakie założenie KMRL nie jest spełnione przy odrzucenie H 0 Jakie są skutki niespełnienia założenia KMRL W jaki sposób można rozwiązać problemy zasygnalizowane W jaki sposób można rozwiązać problemy zasygnalizowane przez wynik testów?

6 1. Testy diagnostyczne 2. Testowanie prawidłowości formy funkcyjnej modelu 3. Testowanie normalności składników losowych 4. Testowanie stabilności parametrów 5. Testowanie heteroskedastyczności 6. Testowanie autokorelacji

7 Test RESET (Regression Specification Error Test): H0 : y = xβ + ε i i i liniowa postać modelu H 1 : y = f ( xβ i i ) + εi nieliniowa postać modelu gdzie f () jest nieliniowa

8 Krok 1: estymujemy współczynniki regresji w modelu: y = i x i x β + ε Krok 2: uzyskujemy wartości dopasowane: yˆi = x b Krok k3: przeprowadzamy regresję pomocniczą: i i ˆ 2 p+1 yi = xi β + α1 y α p y + ˆ + i i u i

9 2 p + 1 Krok 4: testujemy istotność zmiennych yˆ,..., yˆ i i Hipoteza zerowa oznacza łączną nieistotność tych zmiennych, implikuje poprawność formy funkcyjnej przyjętej przez nas w regresji wyjściowej. H 0 : α 1 =... = α p = 0 Statystyka testowa: F Snedecora Statystyka t t krytyczna: F(p, N K p)

10 Związek pomiędzy zmienną zależną a zmiennymi niezależnymi ż i opisany jest równaniem: y i = β + β x + β x + L + β x + ε i 1,2, 3L N 1 2 2i 3 3i K Ki i =

11 podważa interpretacje ekonomiczną modelu (interpretacja oszacowanych parametrów) Odrzucenie hipotezy zerowej o poprawności przyjętej formy funkcyjnej niemożliwe udowodnienie własności estymatora MNK (nieobciążoność ą czy efektywność estymatora MNK )

12 W jaki sposób można rozwiązać problemy zasygnalizowane przez wynik testu? Możemy próbować poprawić formę funkcyjna modelu wprowadzając do modelu: interakcje miedzy zmiennymi, dokonać przekształceń zmiennych (np. przekształcenie Boxa Coxa), zastosować model wielomianowy, schodkowy lub krzywej łamanej. 12

13 13

14 Analiza prestiżu wykonywanego zawodu (siops) a) wiek (age) b) płeć ł ć (sex, 1 Mężczyzna, ż 2 kobieta) kbi c) wykształcenie respondenta (dp podstawowe, ds średnie, dw wyższe) d) miejsce zamieszkania respondenta (size) e) prestiż wykonywanego przez ojca zawodu (pasiops całkowite od 1 do 100.) f) prestiż wykonywanego przez matkę zawodu (masiops całkowite od 1 do 100.) g) wykształcenie ojca (padeg) h) wykształcenie matki (madeg)

15 . xi: regress siops age pasiops masiops i.sex ds dw i.sex _Isex_1-2 (naturally coded; _Isex_1 omitted) Source SS df MS Number of obs = 1232 F( 6, 1225) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = siops Coef. Std. Err. t P> t [95% Conf. Interval] age pasiops masiops _Isex_ ds dw _cons /*test Ramsey'a RESET na poprawność formy funkcyjnej*/. ovtest Ramsey RESET test using powers of the fitted values of siops Ho: model has no omitted variables F(3, 1222) = 1.15 Prob > F = OVTEST: w regresji pomocniczej testowana jest łączna nieistotność wartości dopasowanych an podniesionych do 2,3 i 4 potęgi

16 1. Testy diagnostyczne 2. Testowanie prawidłowości formy funkcyjnej modelu 3. Testowanie normalności składników losowych 4. Testowanie stabilności parametrów 5. Testowanie heteroskedastyczności 6. Testowanie autokorelacji

17 - Test tjarque Berra (Test JB): H H : ε ~ N( 0, σ 2 I 0 : ε ~ N( 0, σ 2 I 1 ) ) składnik los. ma rozkład normalny składnik los. nie ma rozkładu normalnego

18 Procedura przeprowadzenia testu JB: Krok 1: estymujemy współczynniki regresji w modelu: y = i x i β + ε e i Krok 2: uzyskujemy reszty: Krok 3: liczymy współczynnik skośności i kurtozy dla rozkładu reszt: i

19 Krok 4: statystyka testowa: U! Dl kł d l Uwaga! Dla rozkładu normalnego: Współczynnik skośności θ 1 =0 Kurtoza θ 2 =3

20 Niespełnione dodatkowe założenie o tym, że składnik losowy ma rozkład normalny Założeniem o istotnych konsekwencjach dla wnioskowania statystycznego na podstawie klasycznegomodelu regresji liniowej jest założenie o normalności zaburzeń losowych.

21 Jakie są ą skutki niespełnienia założenia KMRL Próba duża: rozkłady statystyk tt tksą bliskie standardowym d rozkładom Mała próba: jest problemem, gdyż: To założenie jest niezbędne do wyprowadzenie rozkładów statystyk testowych oraz prawidłowego wnioskowania statystycznego. b MNK jest najlepszym liniowym, nieobciążonym estymatorem β, a estymator var cov estymatora b MNK jest nieobciążona b MNK nie jest efektywny wśród nieobciążonych estymatorów 21

22 W jaki sposób można rozwiązać problemy zasygnalizowane przez wynik testów? Powiększenie próby, ponieważ dla większej próby rozkłady będą bliższe znanym rozkładom asymptotycznym 22

23 . sktest e Skewness/Kurtosis tests for Normality joint Variable Obs Pr(Skewness) Pr(Kurtosis) adj chi2(2) Prob>chi2 e 1.2e Analiza Graficzna Reszt 05 Density Wykres kwantylowy - analizuje ogony rozkładu 0 Residuals Histogram Residuals Wykres kwantylowy Inverse Normal Residuals Normal F[(e-m)/s] Wykres pudełkowy Wykres prawdopodobieństwa - analizuje Wykres prawdopodbieństwa środkową część rozkładu Empirical P[i] = i/(n+1)

24 1. Testy diagnostyczne 2. Testowanie prawidłowości formy funkcyjnej modelu 3. Testowanie normalności składników losowych 4. Testowanie stabilności parametrów 5. Testowanie heteroskedastyczności 6. Testowanie autokorelacji

25 Służy ż do weryfikacji czy parametry modelu będą takie same dla kilku różnych podpróbek Załóżmy, że modele dla podpróbek: s X s s s, gdzie s=1,,m oznacza numer podpróbki y = β + ε H0: β1 = β2 =... = βm parametry są takie same w podpróbkach H β β : 1 r s parametry różnią się w podpróbkach

26

27

28 Sprawdzimy, czy parametry regresji są takie same w próbkach wyodrębnionych za pomocą zmiennej np. pleć KROK 1: przeprowadzamy regresję na całej próbie (nie wprowadzamy do modelu zmiennej płec!) obliczamy: S=RSS Suma kwadratów z regresji na całej próbie KROK 2: przeprowadzamy regresję na próbie kobiet kbi obliczamy: S 1 =RSS 1 Suma kwadratów z regresji na próbce zawierającej j kobiety kbit KROK 3: przeprowadzamy regresję na próbie mężczyzn obliczamy: S 2 =RSS 2 Suma kwadratów z regresji na próbce zawierającej mężczyzn

29 Statystyka opisowa: Gdzie: S suma kwadratów reszt z regresji na całej próbie, S j suma kwadratów reszt z regresji na j tej j podpróbie, m liczba wyodrebnionych próbek, K liczba szacowanych parametrów tó (taka sama we wszystkich regresjach), N liczba obserwacji.

30 . xi: regress siops age age3 ds dw pasiops masiops Source SS df MS Number of obs = 1232 F( 6, 1225) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = siops Coef. Std. Err. t P> t [95% Conf. Interval] age age e e-06 ds dw pasiops masiops _cons

31 . xi: regress siops age age3 ds dw pasiops masiops if sex==2 Source SS df MS Number of obs = 663 F( 6, 656) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = siops Coef. Std. Err. t P> t [95% Conf. Interval] age age e e-07 ds dw pasiops masiops _cons

32 . xi: regress siops age age3 ds dw pasiops masiops if sex==1 Source SS df MS Number of obs = 569 F( 6, 562) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = siops Coef. Std. Err. t P> t [95% Conf. Interval] age age e e-06 ds dw pasiops masiops _cons

33 (96395, , ,28) / (7 *1) F = = (55567, ,28) / ( * 2) 3, F* = F(7,1218) = 2,

34 Związek pomiędzy zmienną zależną a zmiennymi niezależnymi ż i opisany jest równaniem: y = β + β x + β x + L + β x + ε i 1,2, 3L N i i 3 3 i K Ki + i = 3

35 podważa interpretacje ekonomiczną modelu (interpretacja oszacowanych parametrów) Odrzucenie hipotezy zerowej o tym, że parametry są stabilne niemożliwe udowodnienie własności estymatora MNK (nieobciążoność ą czy efektywność estymatora MNK )

36 W jaki sposób można rozwiązać problemy zasygnalizowane przez wynik testu? Problem niestabilności parametrów można rozwiązać poprzez estymacje osobnych regresji na wyodrębnionych próbach. 36

37 Testowanie stabilności parametrów Test prognoz stosowany w 2 przypadkach: a) podejrzewamy, iż w momencie t* parametry modelu uległy zmianie np. na skutek zmian systemu polityczn. gosp. prognozy wygenerowane na podstawie modelu oszacowanego dla obserwacji sprzed t* nie będą dobrymi prognozami obserwacji dla okresów po t* b) interesuje nas czy mała podgrupa populacji może być opisana tym samym modelem co cała populacja 37

38 Testowanie stabilności parametrów Test prognoz 38

39 Testowanie stabilności parametrów Test prognoz 39

40 Testowanie stabilności parametrów Test prognoz Podział próby na 2 części: 1,,N okres estymacji N+1,,N+g okres prognozy Estymacja modelu na obserwacjach z okresu estymacji i wygenerowanie prognoz Sprawdzenie czy tk tak uzyskane prognozy sprawdzają się dla obserwacji z okresu prognoz 40

41 Testowanie stabilności parametrów Test prognoz 41

42 Testowanie stabilności parametrów Test prognoz 42

43 1. Testy diagnostyczne 2. Testowanie prawidłowości formy funkcyjnej modelu 3. Testowanie normalności składników losowych 4. Testowanie stabilności parametrów 5. Testowanie heteroskedastyczności 6. Testowanie autokorelacji

44 P i i C t ż d l t j Przypomnienie: Co to znaczy, że w modelu występuje homoskedastyczność/heteroskedastyczność? - heteroskedastyczność ), ( ), ( ) ( n Cov Cov Var σ ε ε ε ε ε L L = = ), ( ) ( ), ( ) ( n Cov Var Cov Var σ ε ε ε ε ε ε M M M L M M M L ) ( ), ( ), ( n n n n Var Cov Cov σ ε ε ε ε ε L L

45 Stosujemy go, jeśli możliwe jest podzielenie i obserwacji na grupy w taki sposób, że przy prawdziwej H1, wariancje błędów są od siebie różne. Załóżmy, że wariancja błędu losowego zależy monotonicznie od pewnej zmiennej z k.

46 H : ( ) 0 Var ε i σ 2 = dla i = 1,..., N H : ( ) ( ) 1 Var ε i Var ε j > zi zj > z dla gdzie jest pewną zmienną - Hipoteza zerowa: homoskedastyczność - Hipoteza alternatywna: heteroskedastyczność

47 Sposób przeprowadzenia testu: t Krok 1: Sortujemy i dzielimy próbę w następujący sposób:

48 Krok k2: Przeprowadzamy regresję y i na X osobno dla grupy 1 i dla grupy 2 Krok 3: Tworzymy ystatystykę y ę Jeśli prawdziwa jest H0, że błędy losowe są homoskedastyczne i spełnione jest założenie o normalności rozkładu błędów losowych, to statystyka testowa jest następująca: Interpretacja wyniku testu: p j y Jeśli H0 zostanie odrzucona, to odrzucamy hipotezę, że n + 1,, n + g pochodzą z tego samego modelu co 1,,n

49 - Test Goldfelda-Quandta dt (Test GQ): - Jako jedyny z testów na heteroskedastyczność ma rozkład wyprowadzony dla małych prób - Wada: wariancja może zależeć monotonicznie od jednej zmiennej

50 Test tbp stosowany jeśli it istnieje ij podejrzenie, dj że wariancja błędów losowych w modelu zależy od pewnego wektora zmiennych z i. Test BP służy do testowania heteroscedastyczności w przypadku gdy wiemy jakie zmienne ja wywołują. ł 2 H : ( ) 0 Var εi σ = dla i = 1,..., N H Var f z : ( εi ) = σi = σ ( α0 + i α ) f ( ) gdzie - funkcja różniczkowalna z i - wektor zmiennych, może zawierać zmienne występujące w wektorze zmiennych objaśniających

51 Sposób przeprowadzania: Krok 1: Estymujemy ymodel i uzyskujemy yreszty e i. Krok 2: Przeprowadzamy regresję pomocniczą oraz stałej: e ~ σ 2 i 2 = α + α z 0 i + u i Krok 3: H 0 weryfikujemy testując w regresji pomocniczej hipotezę: Używamy alternatywnie statystyk testowych: H 0 : α = 0 (jeżeli nie jest spełnione założenie o normalności zaburzenia losowego) gdzie p jest liczbą zmiennych zawartych w z i

52 Zlt Zalety testu: t bardziej ogólna postać ć ht heteroskedastyczności kd t ś Wady: znany jedynie rozkład asymptotyczny y y

53 - Test Breuscha-Pagana (Test BP): - Hipoteza zerowa: homoskedastyczność - Hipoteza alternatywna: heteroskedastyczność - Szczególną postacią testu BP jest test White a z i zawiera wszystkie kwadraty i iloczyny krzyżowe zmiennych objaśniających

54 - Test BP i White a są bardziej uniwersalne niż test t GQ jednak rozkłady statystyk testowych dla tych testów są znane tylko dla dużych prób -Przy małych próbach stosujemy test GQ, przy dużych próbach test BP i White a

55 xi: regress siops age age3 pasiops masiops i.sex ds dw Source SS df MS Number of obs = F( 7, 1224) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = siops Coef. Std. Err. t P> t [95% Conf. Interval] age age e e-06 pasiops masiops _Isex_ ds dw _cons

56 W regresji pomocniczej biorą udział wszystkie wyjściowe zmienne hettest, rhs Breusch-Pagan / Cook-Weisberg test for heteroskedasticity Ho: Constant variance Variables: age age3 pasiops masiops _Isex_2 ds dw chi2(7) = Prob > chi2 = Poprawka na brak normalności ś zaburzenia losowego: iid hettest, rhs iid Breusch-Pagan / Cook-Weisberg test t for heteroskedasticity ti it Ho: Constant variance Variables: age age3 pasiops masiops _Isex_2 ds dw chi2(7) = Prob > chi2 =

57 Test Breuscha Pagana służy do testowania heteroscedastyczności w przypadku gdy wiemy jakie zmienne ja wywołują. hettest age, iid Breusch-Pagan / Cook-Weisberg test for heteroskedasticity Ho: Constant variance Variables: age hi2(1) 0 61 chi2(1) = 0.61 Prob > chi2 =

58 . imtest, white White's test for Ho: homoskedasticity against Ha: unrestricted heteroskedasticity chi2(31) = Prob > chi2 = Cameron & Trivedi's decomposition of IM-test Source chi2 df p Heteroskedasticity Skewness Kurtosis Total

59 Homoskedastyczność składnika losowego wariancja błędu losowego jest stała dla wszystkich obserwacji: 2 var( ε ) = σ = 1, 2,..., i dla i N

60 Jakie są ą skutki niespełnienia założenia KMRL estymatory MNK b są nadal nieobciążone i zgodne, ale nieefektywne, co oznacza, że ich błędy standardowe nie są najmniejsze z możliwych. estymator macierzy wariancji kowariancji b jest już obciążony i niezgodny. Macierzwariancji kowariancji jestwykorzystywanadotestowania testowania hipotez na temat istotności zmiennych, wiec poprawność wnioskowania statystycznego jest podważona. estymator s 2 jest obciążony ale zgodny 60

61 W jaki sposób można rozwiązać problemy zasygnalizowane przez wynik testów? Estymator odporny White a Stosowalna UMNK powiemy na dalszych zajęciach 61

62 1. Testy diagnostyczne 2. Testowanie prawidłowości formy funkcyjnej modelu 3. Testowanie normalności składników losowych 4. Testowanie stabilności parametrów 5. Testowanie heteroskedastyczności 6. Testowanie autokorelacji

63 Przypomnienie: Co to znaczy że w modelu występuje Przypomnienie: Co to znaczy, że w modelu występuje autokorelacja? - Brak autokorelacji 2 = = ), ( ) ( ), ( ), ( ), ( ) ( ) ( σ σ ε ε ε ε ε ε ε ε ε ε ε M M M L L M M M L L n n Cov Var Cov Cov Cov Var Var ) ( ), ( ), ( ) ( σ ε ε ε ε ε L M M M L M M M n n n Var Cov Cov

64 64

65 65

66 66

67 Dodatnia autokorelacja Ujemna autokorelacja Brak autokorelacji 67

68 - Test Durbina-Watsona (Test DW): H : Cov ( ε, ε ) 0 - brak autokorelacji = 0 t t 1 H : Cov( ε, ε ) 0 1 t t 1 - autokorelacja gdzie t = 1,..., T

69 Sposób przeprowadzenia testu: t Krok 1: Estymujemy model Krok 2: Na podstawie reszt z modelu liczymy następującą statystykę: DW T ( t= 2 = T e t e t t= 1 e 2 t ) 2 1

70 - Test Durbina-Watsona (Test DW): - specjalne tablice z wartościami krytycznymi:, d l d u 1. Statystyka DW<2 d l a) DW < - odrzucamy hipotezę zerową o braku autokorelacji i przyjmujemy hipotezę o dodatniej autokorelacji d b) < DW < - brak konkluzji l d u c) DW > d u - nie ma podstaw do odrzucenia hipotezy zerowej o braku autokorelacji

71 - Test Durbina-Watsona (Test DW): 2. Statystyka DW >2 4 d l a) DW > - odrzucamy hipotezę zerową o braku autokorelacji i przyjmujemy hipotezę o ujemnej autokorelacji 4 d u 4 d l b) < DW < - brak konkluzji d 4 u c) DW < - nie ma podstaw do odrzucenia hipotezy zerowej o braku autokorelacji

72 - Test Durbina-Watsona (Test DW): Przyczyną występowania obszaru braku konkluzji jest zależność Przyczyną występowania obszaru braku konkluzji jest zależność rozkładu statytyki DW od postaci nielosowej macierzy X

73 - Test Durbina-Watsona (Test DW): ε, ε t 1 - Do badania autokorelacji I rzędu (między ) -Rozkład statystki testowej wyprowadzony dla małych prób t - Nie można go stosować w modelach gdzie jedną ze zmiennych objaśniających jest opóźniona zmienna zależna

74 Dane roczne za okres dotyczące rynku paliwowego w Stanach Zjednoczonych. Zmienne, które wykorzystamy w regresji: G konsumpcja benzyny wyrażona jako całkowite wydatki podzielone przez indeks cen; Pg indeks cen benzyny; Y PKB.

75

76

77 - Test Breuscha-Godfreya (Test BG): - Do badania autokorelacji wyższego rzędu -Można go stosować w modelach gdzie występują opóźnione zmienne zależne

78 - Test Breuscha-Godfreya (Test BG): H : Cov ( εε ) = 0 gdzie i = 1,..., 0 t, t i s H : ε γε... γε = u gdzie 2 1 t 1 t 1 s t s t Var( u) = σ u I - Hipoteza zerowa: brak autokorelacji - Hipoteza alternatywna: autokorelacja

79 Sposób przeprowadzania: Krok 1: Estymujemy ymodel i uzyskujemy yreszty e i. Krok 2: Przeprowadzamy regresję pomocniczą reszt z tej regresji na resztach opóźnionych: Krok 3: Przetestować hipotezę o braku autokorelacji możemy testując:

80

81 Brak autokorelacji błędu losowego kowariancja dwóch różnych błędów losowych jest zerowa: cov( ε i, ε j) = 0 dla i j

82 Jakie są ą skutki niespełnienia założenia KMRL estymatory MNK b są nadal nieobciążone i zgodne, ale nieefektywne, co oznacza, że ich błędy standardowe nie są najmniejsze z możliwych. estymator macierzy wariancji kowariancji b jest już obciążony i niezgodny. Macierzwariancji kowariancji jestwykorzystywanadotestowania testowania hipotez na temat istotności zmiennych, wiec poprawność wnioskowania statystycznego jest podważona. estymator s 2 jest obciążony ale zgodny 82

83 W jaki sposób można rozwiązać problemy zasygnalizowane przez wynik testów? Estymator odporny Newey a Westa Stosowalna UMNK - powiemy na dalszych zajęciach 83

84 1. Do czego służą testy diagnostyczne? 2. Za pomocą jakiego testu testujemy prawidłowość formy funkcyjnej? Jakiemu założeniu KMRL odpowiada H0 w tym teście? Jaka jest hipoteza alternatywna w tym teście? 3. Za pomocą jakiego testu weryfikowana jest normalność składnika losowego? Jakiemu założeniu KMRL odpowiada H0 w tym teście? Jaka jest hipoteza alternatywna w tym teście? Jakie są konsekwencje dla własności MNK, jeśli H0 jest fałszywe? 4. Za pomocą ą jakich testów testujemy stabilność parametrów? Jakiemu założeniu KMRL odpowiada H0 w tym testach? Jakie są hipotezy alternatywne w tym testach? 5. Za pomocą ą jakich testów można testować heteroskedastyczność? Jakiemu założeniu KMRL odpowiada H0 w tych testach? Jakie są hipotezy alternatywne w tym testach? 6. Za pomocą ą jakich testów testuje się ę autokorelację? Jakiemu założeniu KMRL odpowiada H0 w tych testach? Jakie są hipotezy alternatywne w tym testach? 7.

85 Dziękuję za uwagę