Ekonometria 1 2. Metoda Najmniejszych Kwadratów. Katarzyna Bech-Wysocka Szkoła Główna Handlowa w Warszawie

Transkrypt

1 Ekonometria 1 2. Metoda Najmniejszych Kwadratów Katarzyna Bech-Wysocka Szkoła Główna Handlowa w Warszawie 1

2 Prosty model regresji liniowej (simple linear regression model) Ekonomiści interesują się związkami między zmiennymi, np. teoria ekonomcizna mówi, że wydatki na dane dobro y (np. jedzenie) zależą od dochodu x. W ekonometrii,yjest zmienną losową i należy wykorzystać dane, żeby zrozumieć tę zależność między wydatkami a dochodem. Model ekonometryczny pozwala na oszacowanie warunkowej wartości oczekiwanej E(y x)= μ y x oraz warunkowej wariancji σ 2 zmiennej y. Parametry μ y x i σ 2 dostarczają wartościowych informacji o populacji, którą analizujemy. 2

3 Prosty model regresji liniowej 3

4 Prosty model regresji liniowej 4

5 Prosty model regresji liniowej W celu analizy związku między wydatkami a dochodami wykorzystujemy model ekonomiczny wraz z odpowiednim modelem ekonometrycznym (lub modelem regresji): lub gdzie β 0 to wyraz wolny, a β 1 współczynnik kierunkowy (funkcji liniowej). Jest to model prosty, nie dlatego, że łatwo się go analizuje, ale dlatego, że mamy w nim tylko jedną zmienną objaśniającą (jeden x po prawej stronie równania). Współczynnik kierunkowy modelu to: β 2 1 E ( y x) de( y x) = = x dx czyli pochodna warunkowej wartości oczekiwanej y (warunkując po x). 5

6 Szacowanie parametrów regresji Idea szacowania parametrów: wykorzystując obserwacje w próbie,, 1,,, znajdź liniową kombinację 1,, która odpowiednio dobrze odzwierciedla wartości. 6

7 Szacowanie parametrów regresji Wybierz dowolną kombinację, parametry a i b dobierz tak, żeby odległość między dopasowaną linią, a prawdziwą wartością y była mała. W celu określenia co oznacza mała możemy wykorzystać różne miary. 7

8 Szacowanie parametrów regresji Dopasowana linia (oszacowany model): a reszty określamy jako: Wartości estymatorów i minimalizują sumę kwadratów reszt: " "! # # FOCs (nazywane normal equations): $!! $% & $ $% ( " # =0 " # =0

9 Szacowanie parametrów regresji Rozwiązanie: " #! +! "! # i +-. Estymatory MNK w prostym modelu regresji liniowej 9

10 Szacowanie parametrów regresji Model empiryczny: Załóżmy, że:..//0_ :;/<2. Jak zinterpretować oszacowane wartości parametrów tego modelu? 10

11 Szacowanie parametrów regresji: przykład Na podstawie danych w bweight.gdt oszacowano wpływ wieku matki (mage, w latach) na wagę urodzeniową noworodka (bweight, w gramach). Model 1: OLS, using observations Dependent variable: bweight Coefficient Std. Error t-ratio p-value const < *** mage < *** Mean dependent var S.D. dependent var Sum squared resid 1.54e+09 S.E. of regression R-squared Adjusted R-squared F(1, 4640) P-value(F) 6.22e-13 Log-likelihood Akaike criterion Schwarz criterion Hannan-Quinn Czy oszacowany wyraz wolny ma ekonomiczną interpretację? O ile zmieni się waga urodzeniowa dziecka, jeżeli wiek matki wzrośnie o 1 jednostkę (1 rok)? 11

12 Model liniowej regresji wielorakiej (multiple linear regression model) W modelu regresji wielorakiej, zmienna objaśniana y zależy od (więcej niż jednej) kilku zmiennych objaśniających x 1, x 2,, x K w równaniu: Pojedynczy parameter β k mierzy wpływ zmiany wartości zmiennej x k na wartość oczekiwaną y, przy założeniu ceteris paribus. W modelu w notacji macierzowej estymator MNK = minimalizuje sumę kwadratów reszt: = argminc argmin D! D! FOC to: i otrzymujemy: J J. D FC F 2DG 2D G D 0 = D G D! H D G Estymatory MNK w modelu liniowej regresji wielorakiej 12

13 Model liniowej regresji wielorakiej Załóżmy, że posiadamy dodatkowe informacje o innych determinantach wydatków na jedzenie, które możemy włączyć jako dodatkowe zmiennej objaśniające do naszego modelu. Po oszacowaniu parametrów tego rozszerzonego modelu otrzymujemy:.//0_ :;/< NO;2P: O<2O, gdzie.no;2p:02 to indeks cen jedzenia, a.o<2o to zmienna zero-jedynkowa, przyjmująca wartośc 1 dla rolników. Jak możemy zinterpretować oszacowane parametry tego modelu? 13

14 Model liniowej regresji wielorakiej: przykład Na podstawie danych w bweight.gdt oszacowano wpływ wieku matki (mage, w latach), wieku ojca (fage, w latach) oraz rasy matki (mhisp=1 jeżeli matka jest Latynoską, mrace=1 jeżeli matka jest biała) na wagę urodzeniową noworodka (bweight, w gramach). Model 2: OLS, using observations Dependent variable: bweight Coefficient Std. Error t-ratio p-value const < *** mage *** fage * mhisp mrace < *** Mean dependent var S.D. dependent var Sum squared resid 1.48e+09 S.E. of regression R-squared Adjusted R-squared F(4, 4637) P-value(F) 1.63e-48 Log-likelihood Akaike criterion Schwarz criterion Hannan-Quinn Czy oszacowany wyraz wolny ma ekonomiczną interpretację? O ile zmieni się waga urodzeniowa dziecko, jeżeli wiek matki wzrośnie o 1 jednostkę (1 rok)? Jak zinterpretować pozostałe oszacowania? 14

15 Założenia Założenie 1 Prawdziwy jest model A1 oznacza, że: D Poprawnie dobrano postać funkcyjną modelu. Odpowiednio dobrano zbiór regresorów, tj. nie pominięto żadnej zmiennej, która jest ważna w objaśnianiu zmienności zmiennej zależnej (brak omitted variables). Odpowiednio dobrano zbiór regresorów, tj. nie włączono do zbioru regresorów niepotrzebnych zmiennych, czyli takich, które nie wpływają na y (brak irrelevant regressors) Założenie 2 0 Niespełnienia założenia A2 (pewnej zmodyfikowanej wersji tego założenia) nazywamy endogenicznością. Będziemy ten problem omawiać pod koniec semestru. 15

16 Założenia Założenie 3 RO S P Złamanie A3 oznacza, że wariancja jest heteroskedastyczna lub, że występuje korelacja składników losowych z różnych obserwacji. Założenie 4 X jest nielosową macierzą : T U 1! z rzędem O:V D U 1! W. Złamanie A4 oznacza, że regresory są współliniowe. Założenie 5 (opcjonalne) ~ 0,S P! Założenie A5 nie jest konieczne do zapewnienia odpowiednich własności estymatorów MNK, ale jest potrzebne do przeprowadzania testów (tylko w małych próbach). 16

17 Własności estymatorów MNK Możemy zbadać własności estymatorów MNK, jeżeli spełnione są założenia A1-A4 i odpowiedzieć na pytania: 1. Skoro estymatory MNK są zmiennymi losowymi, to jaka jest ich wartość oczekiwana, wariancja, kowariancje oraz rozkład prawdopodobieństwa? 2. Jak możemy porównać estymatory MNK do estymatorów otrzymanych z innych (niż MNK) metod estymacji? Zaczynamy od najważniejszej własności estymatora, czylinieobciążoności. = D G D H D G D G D H D G D! D G D H D G D G D H D G. Jeżeli spełnione są założenia A1-A4 to estymatory MNK są nieobciążone. WAŻNE: nieobciążoność nie oznacza, że wartość estymatora (estimate) z jednej próby losowej jest bliska prawdziwej wartości parametru! (pamiętaj, że estimate Y estimator). 17

18 Własności estymatorów MNK Jaka jest wariancja estymatora MNK? RO = = = = = S D G D! H to macierz wariancji-kowariancji, a wariancje poszczególnych Z to elementy na głównej przekątnej tej macierzy. 1. Im większa wariancja składnika losowego σ 2, tym większa jest niepewność modelu ekonometrycznego oraz większa wariancja (i kowariancje) estymatorów MNK. 2. Im większa liczebość próby N, tym mniejsza jest wariancja (i kowariancje) estymatorów MNK. 18

19 Twierdzenie Gaussa - Markova Jeżeli spełnione są założenia A1-A4, to estymator MNK ma najmniejszą wariancję wśród wszystkich liniowych, nieobciążonych estymatorów (jest najefektywniejszy). Mówimy wtedy, że jestbest Linear Unbiased Estimators (BLUE). Zauważ, że: 1. Estymatory MNK są najlepsze w porównaniu do innych liniowych, nieobciążonych estymatorów twierdzenie nie mówi o wszystkich możliwych estymatorach. 2. Estymatory MNK są najlepsze, bo mają najmniejsze wariancje. 3. Twierdzenie jest prawdziwe tylko, jeżeli spełnione są założenia A1-A4. Jeżeli którekolwiek z nich jest niespełnione, to estymatory MNK nie są BLUE. ASIDE: Jeżeli dodatkowo spełnione jest założenie A5, to zamiast estymacji metodą MNK możemy wykorzystać Metodą Największej Wiarygodności (Maximum Likelihood Estimation). Jeżeli spełnione są wszystkie założenia to estymatory MLE są algebraicznie identyczne jak estymatory MNK. Możemy wtedy wykorzystać Cramer-Rao Lower Bound, żeby udowodnić, że estymatory MLE=MNK są BUE-Best Unbiased Estimators. 19

20 Wariancja składnika losowego W celu oszacowania wariancji estymatorów MNK musimy zastąpić nieznaną wartość wariancji składnika losowego oszacowaniem. Oczywistym estymatorem wariancji składnika losowego jest (średnia arytmetyczna kwadratów reszt): " S 1 # Niestety, możemy pokazać, że ten estymator jest obciążony. Niebciążony estymator dany jest wzorem: [ 1 U 1! # Idea: mianownik (N U 1!) to korekta stopni swobody. W celu obliczenia [, musimy oszacować U 1 bet, tj. tracimy U 1! stopnie swobody. " Pierwiastek kwadratowy z [ nazywamy błędem standardowym regresji. 20

21 Oszacowana wariancja estymatorów MNK Zastąpmy nieznaną wartość σ 2 estymatorem, żeby otrzymać: RO = [ D G D! H Pierwiastki kwadratowe tych oszacowanych wariancji nazywamy błędami standardowymi estymatorów MNK: [2 = Z ]O 4= Z! Błąd standardowy może być wykorzystany do mierzenia precyzji otrzymanych oszacowań MNK. Możemy skonstruować relatywny błąd standardowy jako Z^ [2 = Z = Z T 100%. Jeżeli wartość tej statystyki jest <50%, to możemy być zadowoleni z precyzji naszych oszacowań. 21

22 Szacowanie przedziałowe Błędy standardowe mogą być również wykorzystane do konstrukcji przedziałów ufności (lub oszacowań przedziałowych), tj. przedziału wartości, do którego z określonym prawdopodobieństwem należy prawdziwa wartość parametru. Jeżeli spełnione jest założenie A5, to: = Z ~ Z,RO = Z!! lub = Z Z RO = Z! ~ 0,1! Jeżeli znalibyśmy S to oznacza, że P ( 1.96 Z 1.96) = N = Z 1.96 RO = Z ` Z ` = Z 1.96 RO = Z!

23 Szacowanie przedziałowe Niestety, nie znamy S i musimy ją zastąpić przez [, a wtedy: co oznacza = Z Z [2 = Z! ~a "H Jb! N = Z a c [2 = Z! ` Z ` = Z a c [2 = Z! 0.95 Przedział = Z d a c [2 = Z! nazywamy e!% przedziałem ufności dla parametru Z. 23

24 Szacowanie przedziałowe: przykład Na podstawie danych w bweight.gdt otrzymano następujący wynik estymacji: Model 1: OLS, using observations Dependent variable: bweight Coefficient Std. Error t-ratio p-value const < *** mage < *** Mean dependent var S.D. dependent var Sum squared resid 1.54e+09 S.E. of regression R-squared Adjusted R-squared F(1, 4640) P-value(F) 6.22e-13 Log-likelihood Akaike criterion Schwarz criterion Hannan-Quinn % przedział ufności dla fghi to ( , ). Jak obliczono ten przedział? Spróbuj obliczyć go samodzielne. 24

25 Dopasowanie modelu: R-kwadrat (R-square) Jak ocenić jakość modelu? Możemy rozdzielić na gdzie to część wyjaśniona, a to część losowa, niewyjaśniona. Na podstawie modelu empirycznego mamy: lub jako odchylenie od średniej: + +!. Total sample variation lub total sum of squares (TSS) można rozdzielić na sumę kwadratów objaśnioną w modelu i sumę kwadratów reszt: +! +! TSS=SSR+RSS Współczynnik determinacji C zdefiniowany jest jako proporcja zmienności y wyjaśniona przez model: C C j 1 C j. C przyjmuje wartości od 0 do 1. Im bliżej 1, tym lepiej. 25

26 Dopasowanie modelu: adjusted R-square Problemem miary C jest fakt, że miara ta rośnie (nie maleje), jeżeli dodajemy do modelu kolejne regresory, nawet jeżeli te zmienne nie wpływają na y. Dlatego, w celu porównywania alternatywnych specyfikacji modeli korzystamy ze skorygowanego C+ : C+ C/ U! 1 j/ 1! który wprowadza karę za liczbę parametrów i rośnie tylko wtedy, gdy nowo-dodane zmienne są ważne w wyjaśnianiu zmienności y. Pamiętaj: gdy porównujemy alternatywne specyfikacje modelu, wybierz tę z wyższą wartością skorygowanego R-kwadrat. Można też porównywać modele wykorzystując kryteria informacyjne: Akaike Information Criterion (AIC), Baysian- Schwartz Information Criterion (BIC) or Hannan-Quinn Information Criterion (HIC). Pamiętaj: gdy porównujemy alternatywne specyfikacje modelu, wybierz tę z niższą wartością kryteriów informacyjnych. 26

27 Zadania 27

28 Zadania Zadanie 2.1. Niełatwo jest zrozumieć, że estymatory MNK to zmienne losowe i ich wartości zależą od zbioru danych, z którym pracujemy. Wygenerujemy syntetyczne obserwacje (jeden zbiór danych dla każdego studenta w sali). Załóżmy, że dane pochodzą z procesu: D~ 5,2 ~ 0,1 l D. Wygeneruj taką próbę z N=50 obserwacjami. Oszacuj parametry modelu: i zapisz otrzymane wartości estymatorów MNK. Czy wszyscy otrzymali identyczne wyniki? 28

29 Zadania Zadanie 2.2. Jak zmiana jednostek miary zmiennych wpływa na oszacowania? Załóżmy, że szacujemy parametru prostego modelu liniowego: ℇ a) Jeżeli wartości x pomnożymy przez 10, a nie zmienimy wartości y, co stanie się z wartościami parametrów? Co stanie się z wartościami estymatorów MNK? Co stanie się z wariancją składnika losowego? b) Jeżeli wartości y pomnożymy przez 10, a nie zmienimy wartości x, co stanie się z wartościami parametrów? Co stanie się z wartościami estymatorów MNK? Co stanie się z wariancją składnika losowego? 29

30 Zadania Zadanie 2.3. Lorraine Jenkins jest dyrektorem firmy produkującej ciasteczka. Poprosiła swojego asystenta o zebranie danych dotyczących produktywności pracowników firmy. Zebrano informacje o: Produktywności (mierzonej jako odchylenie od średniej) Poziomie wykształcenia (zmienna kategoryczna z 7 wartościami: 1 najniższy poziom, 7 najwyższy poziom) Wrodzonej inteligencji (IQ, mierzone jako odchylenie od średniej) Płci (zmienna zero-jedynkowa, 1 dla kobiet) Stanie cywilnym (zmienna zero-jedynkowa, 1 dla zamężnych/żonatych). Lorraine jest samotną matką i nie podoba jej się nowa polityka działu HR promująca pracowników pozostających w związkach małżeńskich. Lorraine chce wykorzystać dane, żeby udowodnić, że niezamężni/nieżonaci pracownicy są równie produktywni co ci w związkach małżeńskich. Model, który Lorraine chce oszacować to: 3O/0o;a]a 20o;a/: Pp q <OO20. 30

31 Zadania Wyniki (na podstawie 2649 obserwacji) to: a) Zinterpretuj oszacowania parametrów. b) Skoro Lorraine chce głównie mierzyć różnice w produktywności singli i osób w związkach małżeńskich mogłaby oszacować prostszy model: Wyjaśnij dlaczego to jest zły pomysł. coefficient standard error q 3O/0o;a]a <OO20. c) Lorraine otrzymała C C Jak możemy zinterpretowac te wartości? Dlaczego są inne? 31

32 Zadania d) Lorraine dodała do modelu zmienną płeć : 3O/0o;a]a 20o;a/: Pp q <OO20 r s2:02o. Otrzymała następujące wyniki: coefficient Co możemy powiedzieć na temat produktywności kobiet? standard error q r 32

33 Zadania e) Lorraine oszacowała ponownie oryginalny model, ale tylko dla kobiet i otrzymała: coefficient standard error q Porównując te wyniki do (d) czy widzisz jakieś nieścisłości? Czy zamężne kobiety są bardziej czy mniej produktywne niż kobiety niezamężne? f) Biorąc pod uwagę wszystkie wyniki otrzymane przez Lorraine, czy polityka działu HR i promowanie zamężnych/żonatych pracowników ma sens? 33

34 Zadania Zadanie 2.4. Chcemy oszacować wpływ dochodu (P - w $) i ceny (N - w $) na konsumpcję czekolady (th/; - w 100g). Podstawowe równanie to Otrzymano następujące wyniki: th/; P N. 27 [ 0.19 th/; P 0.95N i macierz wariancji-kowariancji: [ D G D! H Zinterpretuj wartości oszacowań. Dla każdego oszacowania oblicz relatywny błąd standardowy i określ precyzję tego oszacowania. Podaj 99% przedziały ufności dla /Ov. 34

35 Zadania Zadanie 2.5. Na podstawie pliku Q3_data.xlsx. Anna jest naukowcem zajmującym się badaniem zdolności językowych dzieci. Stawia hipotezę, że bogactwo słownictwa dzieci zależy od bogactwa słownictwa jakie matka używa mówiąc do dziecka. Anna przez 5 lat zbierała informacje na temat dwóch interesujących zmiennych. Po pierwsze, zebrała informację o liczbie różnych słów wypowiadanych przez matkę do dziecka w pierwszym roku jego życia zmienna W. Po drugie, zebrała dane o wyniku testu słownictwa dzieci, który odbywa się w pierwszym roku szkoły zmienna S (mierzona w skali 1-100). 1. Zapisz model regresji pozwalający na zbadanie związku, którym Anna jest zainteresowana. 2. Na podstawie danych zebranych przez Annę, oszacuj parametry tego modelu. 3. Zinterpretuj wyniki. 35

36 Zadania Lola również zajmuje się badaniem zdolności językowych dzieci. Lola wykorzystuje dane zgromadzone przez Annę, ale zamiast mierzyć wynik testu dzieci w skali używa skali Na podstawie danych Loli oszacuj model z punktu (1). 5. Opisz zależność między oszacowaniami z punktu (2) i (4). Maria jest kolejnym badaczem zdolności językowych dzieci, który również korzysta z danych zebranych przez Annę. Maria nie pracuje jednak bezpośrednio ze zmienną W, ale używa odchylenia wartości od średniej zmienna w w wx. 6. Na podstawie danych Marii oszacuj parametry modelu. 7. Porównaj wyniki z (6) z wynikami z (2) oraz (4). 36

37 Zadania Zadanie 2.6. Jak edukacja wpływa na zarobki? Plik cps5.gdt zawiera dane o stawce godzinowej, edukacji i innych zmiennych zebranych w 2008 Current Population Survey (CPS). 1. Oblicz statystyki opisowe i zbuduj histogramy dla zmiennych WAGE i EDUC. Opis charakterystykę tych danych. 2. Oszacuj model liniowy wpływu edukacji na zarobki. Zinterpretuj wyniki. 3. Oszacuj reszty i zbuduj wykres reszt względem edukacji. Czy coś na tym wykresie wygląda niepokojąco? Czy obserwujemy jakiś wzór? Jeżeli spełnione są założenia A1-A4, to czy powinnismy obserwować jakiś wzór w rozkładzie reszt? 4. Dodaje zmienne black, exper, female, faminc and south jako dodatkowe zmienne objaśniające. Oszacuj parametry tego modelu i zinterpretuj wpływ poszczególnych zmiennych na zarobki. 5. Dla każdego oszacowania oblicz relatywny błąd standardowy i oceń prezycję tych oszacowań. 6. Porównaj skorygowany R-kwadrat między modelem prostym, a tym z wieloma regresorami. Który model jest lepiej dopasowany do danych? 7. Porównaj AIC między modelem prostym, a tym z wieloma regresorami. Który model jest lepiej dopasowany do danych? 37

38 Zadania Zadanie 2.7. Dane o nieruchomościach sprzedawanych w Stockton, California zawarte są w pliku stockton5.gdt. Dostępne zmienne to SPRICE ($) cena domu, LIVAREA (hundreds of square feet) - powierzchnia, BEDS- liczba sypialni, BATHS liczba łazienek, LGELOT 1, jeżeli powierzchnia działki jest większa niż 0.5 ara, AGE wiek domu i POOL- 1, jeżeli jest basen. 1. Stwórz histogram dla zmiennej PRICE. Co obserwujesz? 2. Oszacuj parametry modelu wyjaśniającego PRICE pozostałymi zmiennymi. Zinterpretuj oszacowania. 3. Zinterpretuj wartość R-kwadrat. Jeżeli mielibysmy dostęp do innych zmiennych, to jakie czynniki (inne niż te wykorzystane w zadaniu) mają wpływ na cenę mieszkań? Jak możemy je zmierzyć? 4. Dla każdego regresora, podaj 95% przedział ufności dla parametru. Formalnie zinterpretuj te przedziały. 38