Analizowane modele. Dwa modele: y = X 1 β 1 + u (1) y = X 1 β 1 + X 2 β 2 + ε (2) Będziemy analizować dwie sytuacje:

Transkrypt

1 Analizowane modele Dwa modele: y = X 1 β 1 + u (1) Będziemy analizować dwie sytuacje: y = X 1 β 1 + X 2 β 2 + ε (2) zmienne pominięte: estymujemy model (1) a w rzeczywistości β 2 0 zmienne nieistotne: stymujemy model (2) a w rzeczywistości β 2 = 0. Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 1

2 Problem zmiennych pominiętych ma znacznie gorsze konsekwencje niż problem zmiennych nieistotnych Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 2

3 Zmienne pominięte. Przykład Przeprowadzono badanie skuteczności leku. Grupę chorych podzielono losowo na grupę, która podano lek i grupę kontrolna, której podano placebo. Następnie mierzono jaki procent chorych w obu grupach wyzdrowiał. Wiadomo, że wpływ na wyzdrowienie ma wiele dodatkowych charakterystyk pacjenta, takich jak na przykład wiek. Czy tak zaprojektowane badanie da właściwe oszacowanie wpływu leku na stan chorych, skoro pominięto te dodatkowe charakterystyki? Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 3

4 Odpowiedź: Tak, ponieważ dla próby dobranej losowo nie ma korelacji między zmiennymi uwzględnionymi w modelu i charakterystykami pacjenta, to jest Σ X1 X 2 = 0. Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 4

5 Przykład Korelacja między logarytmem płacy i numerem ankietera Wynik regresji lognetpay Coef. Std. Err. t P> t [95% Conf. Interval] ANKR _cons Dodajmy jednak do modelu zmienne zerojedynkowe zwiazane z numerem województwa i wielkościa miasta Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 5

6 Cześć tablicy z wynikami regresji lognetpay Coef. Std. Err. t P> t [95% Conf. Interval] ANKR _IWOJ1_ _IWOJ1_ _ITOWN2_ _ITOWN2_ _cons Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 6

7 Zmienna zwiazana z numerem ankietera jest teraz nieistotna! Powód: korelacja między numerami województw i wielkościami miast (pominiętych w orginalnym modelu) i numerem ankietera. Rzeczywiście regresja numeru ankietera na numerach województw i wielkościa miast daje R-squared = Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 7

8 Kierunek obciażenia ) E ( β1 = β 1 + β 2 s x2 s x1 ρ x1 x 2 zmienna pominięta x 2 skorelowana dodatnio z x 1, współczynnik β 2 dodatni - współczynnik przy x 1 będzie przeszacowany zmienna pominięta x 2 skorelowana dodatnio x 1, współczynnik β 2 ujemny - współczynnik przy x 1 będzie niedoszacowany zmienna pominięta x 2 skorelowana ujemnie x 1, współczynnik β 2 dodatni - współczynnik przy x 1 będzie niedoszacowany zmienna pominięta x 2 skorelowana ujemnie x 1, współczynnik β 2 ujemny - współczynnik przy x 1 będzie przeszacowany Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 8

9 Wnioski te używa się także (niecałkiem poprawnie) w odniesieniu do modeli z wieloma zmiennymi, w przypadku, kiedy pominięta zmienna skorelowana jest z jedna zmienna, która uwzględniona została w modelu. Przykład Zbudowano prosty model liniowy, w którym zmienna objaśniana była stopa przyrostu naturalnego na określonym terenie a zmienna objaśniajac a ilość bocianów zamieszkujacych na tym terenie. Stwierdzono, że ilość bocianów istotnie wpływa na ilość rodzacych się dzieci. Czyżby istotnie bociany przynosiły dzieci? Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 9

10 Odpowiedź: W Polsce znacznie wyższy przyrost naturalny odnotowuje się na wsi niż w mieście (β 2 > 0). Na wsi mieszka też znacznie więcej bocianów (ρ x1 x 2 > 0). W modelu pominięto ważna zmienna zwiazan a z tym, czy dany teren jest w dominujacej części terenem wiejskim czy miejskim. Dodatnie oszacowanie przy zmiennej bociany jest najprawdopodobniej s wynikiem obciażenia estymatora (E (b 1 ) = β 1 + β x2 2 s x1 ρ x1 x 2 > 0 nawet jeśli β 1 = 0). Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 10

11 Przykład Staż i wiek Zależność płacy od stażu lplaca Coef. Std. Err. t P> t [95% Conf. Interval] staz _cons Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 11

12 Zależność od stażu i wieku lplaca Coef. Std. Err. t P> t [95% Conf. Interval] staz wiek _cons Współczynnik przy stażu znacznie niższy Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 12

13 Zmienne nieistotne Problem zmiennych nieistotnych: β 2 = 0. estymujemy model (2) a Ustaliliśmy wtedy, że dla prawdziwych ograniczeń postaci Hβ = h, estymator z ograniczeniami jest nieobciażony i ma mniejsza wariancję od estymatora bez ograniczeń. Wynika z tego, że jeśli prawdziwe jest ograniczenie β 2 = 0 (prawdziwy jest model 1) a my w trakcie estymacji nie uwzględnimy tego ograniczenia (estymujemy model 2), to Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 13

14 uzyskany estymator będzie co prawda nieobciażony ale będzie też nieefektywny. Wniosek: W modelu, w którym występuja zmienne nieistotne estymator M N K jest estymatorem nieefektywnym, ponieważ jego wariancja jest wyższa niż estymatora w modelu bez zmienych nieistotnych Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 14

15 Obserwacje nietypowe i błędne (outliers) Możemy natknać się na dwa przypadki: obserwacja jest nietypowa na tle pozostałych obserwacji (obserwacja nietypowa) obserwacja jest błędna Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 15

16 Obserwacja nietypowa x t Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 16

17 Obserwacja nietypowa y t Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 16

18 Obserwacja nietypowa y x Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 16

19 Obserwacja błędna (outlier) x t Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 17

20 Obserwacja błędna (outlier) y t Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 17

21 Obserwacja błędna (outlier) y x Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 17

22 Wpływ obserwacji nietypowych i outlierów na wynik regresji jest całkowicie przeciwny: Obserwacja nietypowa może pozytywnie wpłynać na: dokładność oszacowania β dopasowanie modelu Outlier negatywnie wpłyna na dokładność oszacowania β dopasowanie modelu Przykład Dostaliśmy za zadanie porównanie rentowności dwóch typów kontraktów: A i B. Dysponujemy następujacymi 10 danymi historycznymi dotyczacymi stóp zwrotu (IRR) dla kontraktu Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 18

23 A: {10, 8, 8, 9, 11, 10, 8, 9, 11, 10} B: {16, 15, 18, 17, 16, 80, 17, 16, 16, 17}. Zwraca uwagę jedna nietypowa ujemna obserwacja dla kontraktu B (dotyczy ona dłużnika, który zbankrutował), czy obserwację tę można pominać? Zdefiniujmy zmienna zerojedynkowa B przyjmujac a wartość 1 dla kontraktów z grupy B. Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 19

24 Wynik regresji z pominięta jedna obserwacja: IRR Coef. Std. Err. t P> t [95% Conf. Interval] _IB_ _cons Wynik regresji z uwględnionymi wszystkimi obserwacjami IRR Coef. Std. Err. t P> t [95% Conf. Interval] _IB_ _cons Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 20

25 Do stwierdzenia, czy x i jest nietypowe na tle pozostałych x można wykorzystać statystykę dźwigni (levarege) h i h i = δ ix ( X X ) 1 X δ i = δ ip X δ i = (P X ) ii = x i ( X X ) 1 x i gdzie δ i = [0,..., 0, 1, 0..., 0] a P X = X ( X X ) 1 X. Własności dźwigni: Dla każdego modelu 0 h i 1 Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 21

26 Dla modelu ze stała 1 n h i 1 Obserwacja może zostać uznana za nietypowa jeśli h i > 2k n To, że obserwacja x i jest nietypowa na tle x jednak nic nie mówi na temat tego, czy obserwacja ta dobrze pasuje do modelu. Wariancja wektora reszt jest równa: Var (e) = Var (M X ε) = M X ( Iσ 2 ) M X = σ 2 M X Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 22

27 W zwiazku z tym pojdeyncza reszta ma wariancję równa Var (e i ) = Var ( δ ie ) = σ 2 δ im X δ i = σ 2 ( 1 δ ip X δ i ) = σ 2 (1 h i ) A więc wystandaryzowane reszta ma wzór ê i = e i Var (ei ) = e i s 1 h i e i σ 1 h i Szczególnie duże będa wystandaryzowane reszty dla obserwacji, dla których duże jest e i i h i Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 23

28 Miara różnicy między ŷ uzyskiwanymi z pełnej próby i ŷ (i) uzyskiwanymi z próby powstałej po usunięciu i-tej obserwacji jest odległościa Cooka: (ŷ ŷ (i) ) (ŷ ŷ (i) ) CD i = Ks 2 = ê2 i K h i 1 h i Należy sprawdzić te obserwacje dla których CD i szczególnie te, dla których CD i > 1. > 0.5 a Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 24

29 Przykład Zależność wydatków na mieszkanie od dochodu Wynik regresji dla 4111 obserwacji lq Coef. Std. Err. t P> t [95% Conf. Interval] linc _cons Liczba ê > 2 równa 217 a więc około 5% Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 25

30 Tablica uporzadkowana dla 5 największych dźwigni q inc r2st lev cook Tablica uporzadkowana dla 5 największych odległości Cooka q inc r2st lev cook Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 26

31 Dla wszystkich obserwacji mamy q > inc co jest rzeczywiście nietypowe Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 27

32 Wykres standaryzowanych kwadratów standaryzownych reszt i dźwigni Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 28

33 Prównanie wyników regresji orginalnej i tej z usuniętymi obserwacjami, dla których q > inc Wykład z Ekonometrii nr 12, III rok, WNE UW, Copyright c 2006 by Jerzy Mycielski 29