Ekonometria. Weryfikacja liniowego modelu jednorównaniowego. Jakub Mućk. Katedra Ekonomii Ilościowej

Ekonometria Weryfikacja liniowego modelu jednorównaniowego Jakub Mućk Katedra Ekonomii Ilościowej Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 1 / 28

Agenda 1 Estymator MNK Twierdzenie Gaussa -Markowa Estymator macierzy wariancji-kowariancji 2 3 Błąd I rodzaju Test t-studenta Test Walda 4 5 Test RESET Test Davidsona-McKinnona Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 2 / 28

Outline Estymator MNK Twierdzenie Gaussa -Markowa Estymator macierzy wariancji-kowariancji 1 Estymator MNK Twierdzenie Gaussa -Markowa Estymator macierzy wariancji-kowariancji 2 3 Błąd I rodzaju Test t-studenta Test Walda 4 5 Test RESET Test Davidsona-McKinnona Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 3 / 28

Oznaczenia Estymator MNK Twierdzenie Gaussa -Markowa Estymator macierzy wariancji-kowariancji Zapis ogólny: Zapis macierzowy gdzie y = y = β 0 + β 1x 1 + β 2x 2 +... + β k x k + ɛ (1) y 1 y 2. y n X = β = y = Xβ + ε (2) β 0 β 1. β k 1 x 1,1 x 1,2... x 1,k 1 x 2,1 x 2,2... x 2,k..... 1 x n,1 x n,2... x n,k ε 1 ε 2 ε =. ε n k liczba zmiennych objaśniających; n liczba obserwacji. Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 4 / 28

Estymator MNK Estymator MNK Twierdzenie Gaussa -Markowa Estymator macierzy wariancji-kowariancji Załóżmy, że badane zjawisko można opisać modelem postaci [lub prawdziwy proces generujący zmienną y jest następujący]: y = β 0 + β 1 x 1 + β 2 x 2 +... + β k x k + ε (3) Nieznane parametry można uzyskać przy pomocy Metody Najmniejszych Kwadratów (OLS ordinary least squares). Idea tej metody polega na znalezieniu takich wartości nieznanego wektora parametrów β, który minimalizują sumę kwadratów reszt, czyli różnic pomiędzy wartościami obserwowanymi a teoretycznymi: gdzie e = y ŷ = y X ˆβ. Ostatecznie estymator OLS (MNK) dla wektora β: ˆβ = arg min e T e (4) β ˆβ OLS = (X T X) 1 X T y (5) Szczegóły β a ˆβ β oznacza nieznany i prawdziwy wektor parametrów, a ˆβ jest oszacowaniem punktowym wektora parametrów. Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 5 / 28

Estymator MNK Twierdzenie Gaussa -Markowa Estymator macierzy wariancji-kowariancji Załóżmy: 1 rz(x) = k + 1 n 2 Zmienne xi są nielosowe, a zatem są niezależne od składnika losowego 3 E(ɛ) = 0 4 D 2 (ε) = E(εε T ) = I σ 5 εi N (0, σ 2 ) Twierdzenie Gaussa - Markowa Estymator ˆβ uzyskany Klasyczną Metodą Najmniejszych Kwadratów jest estymatorem BLUE [best linear unbiased estimator], tj. zgodnym, nieobciążonym i najefektywniejszy w klasie liniowych estymatorów wektora β. nieobciążoność, czyli E( ˆβ) = β najefektywniejszy, czyli posiadający najmniejszą wariancję w swojej klasie zgodny, czyli lim n P( ˆβ n β ) < δ Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 6 / 28

Interpretacja Estymator MNK Twierdzenie Gaussa -Markowa Estymator macierzy wariancji-kowariancji Załóżmy, że oszacowaliśmy parametry modelu ekonometrycznego: ŷ = ˆβ 0 + ˆβ 1x 1 + ˆβ 2x 2 +... + ˆβ k x k (6) Interpretacja: Wzrost x i o jednostkę powoduje wzrost y o β i ceteris paribus jednostek. Uwagi: Należy pamiętać o zasadzie ceteris paribus. Oszacowanie wyrazu wolnego zazwyczaj nie ma interpretacji ekonomicznej (dlaczego?). Pułapka przyczynowości. Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 7 / 28

Przykład [Greene, 2003] Funkcja konsumpcji została oszacowana dla gospodarki amerykańskiej w latach 1970-1979. Wydatki konsumpcyjne (C) są objaśniane dochodem do dyspozycji (Y ) [obie zmienne w mln USD w cenach bieżących]: Ĉ = 67.58 + 0.979Y (7) 0.5 Konsumpcja 700 750 800 850 900 1.3359 11.181 9.78 11.291 9.3407 2.6814 8.5299 2.4815 3.6636 750 800 850 900 950 1000 Dochod Obserwowane wartości, wartości teoretyczne, reszty.

Estymacja błędów szacunku Estymator MNK Twierdzenie Gaussa -Markowa Estymator macierzy wariancji-kowariancji W przypadku MNK, możemy wyznaczyć estymator macierzy wariancji-kowariancji dla parametrów ˆβ OLS : gdzie S 2 ɛ = ˆD 2 ( ˆβ OLS ) = S 2 ε(x T X) 1 (8) ε T ε n (k + 1) = SSE( ˆβ OLS ) df gdzie SSE( ˆβ OLS ) to suma kwadratów reszt, a df to liczba stopni swobody. Element diagonalne macierzy wariancji-kowariancji (oznaczmy jako ˆd ii), stanowią wariancję estymowanych parametrów. Zatem błąd szacunku dla i-tego parametru jest równy: (9) S( ˆβ i) = d ii (10) Względny błąd szacunku S( ˆβ i) ˆβ i (11) Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 9 / 28

Outline 1 Estymator MNK Twierdzenie Gaussa -Markowa Estymator macierzy wariancji-kowariancji 2 3 Błąd I rodzaju Test t-studenta Test Walda 4 5 Test RESET Test Davidsona-McKinnona Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 10 / 28

Współczynnik determinacji R 2 Współczynnik determinacji R 2 pozwola zmierzyć jaką częścią zmienności (wariancji) zmiennej objaśnianej jest wyjaśniana zmiennością wartości teoretycznych wynikających z modelu. gdzie: R 2 = n (ŷ i ȳ) 2 i=1 (12) n (y i ȳ) 2 i=1 y i - empiryczna (obserwowana) wartość zmiennej y dla i-tej obserwacji, ŷ i - teoretyczna wartość zmiennej y dla i-tej obserwacji, ȳ - średnia wartość zmiennej objaniającej. Zazwyczaj R 2 (0, 1) Konstrukcja współczynnika determinacji R 2 posiada dwa mankamenty: i) faworyzuje modele z większą liczbą zmiennych egzogenicznych ii) jego konstrukcja opiera się o uwzględnienie wyrazu wolnego w modelu. Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 11 / 28

Niescentrowany współczynnik R 2 N W przypadku, gdy w specyfikacji modelu ekonometrycznego nie uwzględniono wyrazu wolnego, współczynnik R 2 może przyjmować wartości powyżej jedności. Rozwiązaniem tego problemu jest niescentrowany R 2 N: e - wektor reszt. y - wektor obserwacji zmiennej endogenicznej. R 2 N < 0, 1 > R 2 N = 1 eet yy T (13) Interpretacja: większa wartość RN 2 oznacza większa rola zmiennych egzogenicznych w wyjaśnianiu zmienności zmiennej objaśnianej. Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 12 / 28

Skorygowany współczynnik R 2 Współczynnik determinacji R 2 zawsze będzie faworyzował modele z większą liczbą zmiennych. W porównaniu z podstawowym współczynnikiem R 2, skorygowany współczynnik R 2 uwzględnia również liczbę stopni swobody: R 2 = R 2 k n (k + 1) (1 R2 ) (14) Skorygowany współczynnik R 2 przyjmuje zazwyczaj niższe wartości: R 2 R 2 (15) w szczególności możliwe jest przyjmowanie wartości poniżej 0. R 2 jest pozbawiony standardowej interpretacji. Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 13 / 28

Wartości wpółczynnika R 2 Typowe wartości R 2 zależą od rodzaju danych empirycznych, tj. : Dane makroekonomiczne oparte na surowych (poziomach) szeregach czasowych: R 2 > 0.9 Dane makroekonomiczne oparte na przyrostach szeregów czasowych: R 2 (0.7, 0.9) Dane przekrojowe o wyższym poziomie agregacji: R 2 (0.3, 0.7) Dane przekrojowe dla jednostek indywidualnych: R 2 (0.05, 0.4) Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 14 / 28

Kryterium Akaike a Kryterium Akaike a (AIC) jest miernikiem, który uwzględnia zarówno dopasowanie do obserwacji (funkcja wiarygodności) oraz liczbę stopni swobody: n AIC = ln 1 ei 2 + n i=1 }{{} funkcja wiarygodności 2(k + 1) n }{{} liczba stopni swobody gdzie n to liczba obserwacji, k + 1 to liczba oszacowanych parametrów oraz e i to reszta dla i-tej obserwacji. Kryterium AIC maleje wraz ze wzrostem funkcji wiarygności oraz rośnie wraz ze wzrostem liczby parametrów. Kryterium AIC nie posiada interpretacji i jest wykorzytywane do porównania dopasowania modeli. W większośći pakietów ekonometryczny dostępne są inne kryteria informacyjne, jak np. bayesowskie kryterium Schwarza (BIC), Hannana-Quinna (HQ). Kryteria te różnią się od AIC, ponieważ w większym stopniu uwzględniają liczbę stopni swobody. Ogólnie: AIC HQ BIC (17) (16) Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 15 / 28

ekonometrycznego do danych Miernik R 2 Skorygowany R 2 Niescentrowany R 2 Kryterium AIC Opis Ogólny miernik, interpretacja, rośnie wraz z liczbą zmiennych uwzględnia korektę na liczbę zmiennych, porównanie modeli model bez wyrazu wolnego uwzględnia korektę na liczbę zmiennych, porównanie modeli Powyższe mierniki kwantyfikują jedynie dopasowanie modelu do obserwowanych danych. Wspomniane dopasowanie do danych ma charekter informacyjny i nie stanowi głównego kryterium w wyborze modelu. Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 16 / 28

Outline Błąd I rodzaju Test t-studenta Test Walda 1 Estymator MNK Twierdzenie Gaussa -Markowa Estymator macierzy wariancji-kowariancji 2 3 Błąd I rodzaju Test t-studenta Test Walda 4 5 Test RESET Test Davidsona-McKinnona Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 17 / 28

Błąd I i II rodzaju a p-value Błąd I rodzaju Test t-studenta Test Walda Zgodnie z zasadami wnioskowania statystycznego można wyróżnić dwa ryzyka wynikające z wykorzystania testów statystycznych, których konstrukcja opiera się na klarownie sformułowanych hipotezach: zerowej (H 0 ) oraz alternatywnej (H 1 ): Błąd pierwszego rodzaju to odrzucenie H 0, która w rzeczywistości jest prawdziwa. Błąd drugiego rodzaju to przyjęcie H 0, która w rzeczywistości jest fałszywa. W pakietach ekonometryczno-statystycznych szeroko stosowane jest p-value, które mierzy prawdopobieństwo błędu pierwszego rodzaju. W praktyce ekonometrycznej nie rozważa się minimalizacji obu ryzyk i wnioskowanie statystyczne jest najczęściej przeprowadzane na podstawie analizy prawdopodobieństwa błędu pierwszego rodzaju. Poziom krytyczny oznacza arbitralnie wybrany poziom prawdopodobieństwa błędu I rodzaju, który można uznać za akceptowalny. Najczęściej jest równy: 0.01, 0.05 lub 0.1. Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 18 / 28

Test t-studenta Błąd I rodzaju Test t-studenta Test Walda Test t-studenta pozwala zweryfikować istotność oszacowania parametru dla każdej zmiennej objaśniającej (x j) osobno, tj.: Statystyka testowa: H 0 : β j = 0 H 1 : β j 0 (18) t j = ˆβ j S( ˆβ i) (19) gdzie ˆβ j to oszacowanie punktowe parametru β j, a S( ˆβ i) to błąd szacunku. Statystyka testowa testu t-studenta jest odwrotnością względnego błędu szacunku. Wartości krytyczne pochodzą z rozkładu t-studenta i można je uzyskać dla określonej liczby stopni swobody (df = n (k + 1)) oraz przyjętego poziomu krytycznego (α). Jeżeli t j > t df,α - to dorzucamy H 0 na rzecz H 1. Jeżeli t j < t df,α - to nie ma podstaw do odrzucenia H 0 na rzecz H 1. Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 19 / 28

Test Walda Błąd I rodzaju Test t-studenta Test Walda Łączna istotność oszacowań parametrów może być weryfikowana przy pomocy testu Walda, tj.: Statystyka testowa: H 0 : β 1 = β 2 =... = β k = 0 (20) H 1 : j {1,...,k} β j 0 (21) F = R 2 /k (1 R 2 )/(n (k + 1)) (22) Statystyka testowa F ma rozkład F-Snedecora z r 1 = k oraz r 2 = n (k + 1) stopniami swobody. Jeżeli F > F r 1,r 2,α - to dorzucamy H 0 na rzecz H 1. Jeżeli F < F r 1,r 2,α -to nie ma podstaw do odrzucenia H 0 na rzecz H 1. Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 20 / 28

Test Walda Błąd I rodzaju Test t-studenta Test Walda Test Walda umożliwia przede wszystkim szersze testowanie restrykcji liniowych. H 0 : R β = q (23) Macierz restrykcji R jest wymiarów r (k + 1), gdzie r to liczba restrykcji. Restrykcje są zapisywane wierszowo, a test Walda pozwala na weryfikację koniunkcji wszystkich restrykcji. Statystyka testowa: F = (SSE( ˆβ) SSE( ˆβ R ))/r SSE( ˆβ)/(n (k + 1)) ma rozkład F-Snedecora z r 1 = r oraz r 2 = n (k + 1). SSE( ˆβ R ) - jest sumą kwadratów reszt modelu z restrykcjami; SSE( ˆβ) - jest sumą kwadratów reszt modelu bez restrykcji; Przykłady wykorzystania testu Walda: Weryfikowanie restrykcji ekonomicznych. Test pominiętych zmiennych. (24) Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 21 / 28

Błąd I rodzaju Test t-studenta Test Walda Przykłady zapisu macierzowego w teście liniowych restrykcji Walda Przykład #1: test Walda na istotność zmiennych w modelu: 0 1 0... 0 0 0 1... 0 R =......... oraz q = 0 0 0... 1 Przykład #2: załóżmy, że mamy cztery zmienne egzogeniczne oraz 0 0. 0 1 β 1 = β 3 2 β 2 = ν 3 β 1 + β 4 = γ. Wtedy: R = [ 0 1 0 1 0 0 0 1 0 0 0 1 0 0 1 ] oraz q = [ 0 ν γ ] Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 22 / 28

Outline 1 Estymator MNK Twierdzenie Gaussa -Markowa Estymator macierzy wariancji-kowariancji 2 3 Błąd I rodzaju Test t-studenta Test Walda 4 5 Test RESET Test Davidsona-McKinnona Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 23 / 28

deterministyczna to sytuacja, w której jedna ze zmiennych objąśniających może zostać przedstawiona jako kombinacja liniowa pozostałych regresorów. Wówczas niemożliwe jest uzyskanie estymatora β OLS. stochastyczna polega na wysokiej zależności statystycznej pomiędzy zmiennymi objaśniającymi. Problem współliniowości (stochastycznej) może powodować zwiększenie wariancji estymatora MNK (zmniejszenie efektywności). może zostać zidentyfikowana przy pomocy czynnika inflacji wariancji CIW (ang. Variance Inflation Factor). Dla każdej ze zmniennych objaśniających konstruowany jest model x j, w którym zmienną objaśnianą jest ona sama, a zmiennymi objaśniającymi pozostałe zmienne z wyjściowego zbioru regresorów, czyli: j J {j} x j = β 0 + β 1 x 1 +... + β J x J + ε (25) Dla każdego modelu jest obliczany współczynnik determinacji R 2, a następnie CIW j : 1 CIW j = 1 Rj 2 (26) Wartości CIW powyżej 10 sugerują problem współliniowości. Wtedy R 2 z regresji pomocniczej jest większe od 0.9. Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 24 / 28

rozwiązanie W przypadku współlniowości kluczowa jest identyfikacja źródeł tego problemu, tj. czy wynika z jakości danych czy też specyfikacji modelu ekonometrycznego. Brak zmian. Usunięcie zmiennych współliniowych zmiennych objaśniającyh. Usunięcie zmiennych objaśniających z specyfikacji modelu może doprowadzić do obciążenia oszacowań parametrów uzyskanych MNK. Transformacja zmiennych objaśniających. Wykorzystanie regresji grzbietowej (ridge regression): ˆβ RIDGE = (X T X + λi ) 1 X T y (27) gdzie λ to skalar a I to macierz jednostkowa. Estymator regresji grzbietowej ˆβ RIDGE jest obciążony, ale posiada mniejszą wariancję (jest bardziej efektywny) niż ˆβ OLS. Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 25 / 28

Outline Test RESET Test Davidsona-McKinnona 1 Estymator MNK Twierdzenie Gaussa -Markowa Estymator macierzy wariancji-kowariancji 2 3 Błąd I rodzaju Test t-studenta Test Walda 4 5 Test RESET Test Davidsona-McKinnona Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 26 / 28

Test RESET Test Davidsona-McKinnona Test poprawnej specyfikacji modelu Ramseya RESET (ang. Regression Equation Specification Error Test) jest ogólnym testem, który pozwala zidentyfikować niepoprawną postać funkcyjną modelu ekonometrycznego. Rozważmy standardowy model regresji liniowej: y = β 0 + β 1 x 1 + β 2 x 2 +... + β k x k + ε (28) W drugim kroku, obliczmy wartości teoretyczne, tj. ŷ = ˆβ 0 + β 1 x 1 + ˆβ 2 x 2 +... + ˆβ k x k (29) W kolejnym kroku, rozważmy model (28) rozszerzonego o kwadraty i iloczyny wartości teoretycznych ŷ: y = γ 0 + γ 1 x 1 +... + γ k x k + γ k+1 ŷ 2 + γ k+2 ŷ 3 + ε (30) Następnie przy pomocy testu Walda, zweryfikujmy istostność oszacowań parametrów γ k+1 oraz γ k+1. Hipoteza zerowa oznacza poprawną postać funkcyjną modelu: H 0 : γ k+1 = γ k+2 = 0 (31) Statystyka testu RESET ma rozkład F-Snedecora. W przypadku dużej liczby stopni swobody, warto również testować nieliniowy wpływ poszczególnych zmiennych objąśniających (tj. przez uwzględnienie kwadratów i sześcianów) oraz interakcje pomiędzy tymi zmiennymi (ich iloczyny). Alternatywna statystyka testu RESET jest równa nr 2, gdzie współczynnik determinacji jest obliczany z modelu (30). Alternatywna statystyka ma rozkład χ 2 z liczbą stopni swobody równej liczbie dodanych zmiennych. Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 27 / 28

Test RESET Test Davidsona-McKinnona Test Davidsona-McKinnona pozwala na porównanie dwóch modeli, które: 1 tłumaczą tę samą zmienną objaśniającą, 2 posiadają identyczną postać funkcyjną, 3 posiadają rozłączne zbiory zmiennych objaśniających. Rozważmy dwa modele: model A: y = β 0 + β 1 x 1 + β 2 x 2 +... + β k x k + ε model B: y = γ 0 + γ 1 z 1 + γ 2 z 2 +... + γ k z k + η Szacujemy wektory parametrów, tj ˆβ oraz ˆγ. Wyznaczamy wartości teoretyczne zmiennej objaśnianej z modeli A i B, tj. ŷ A oraz ŷ B. Wyznaczone wartości teoretyczne dołączamy do konkurencyjnego modelu, tj. model A: y = β 0 + β 1 x 1 + β 2 x 2 +... + β k x k + β k+1 ŷ B + ε model B: y = γ 0 + γ 1 z 1 + γ 2 z 2 +... + γ k z k + γ k+1 ŷ A + η Sprawdzamy czy parametr przy wartości teoretycznej z konkurencyjnego modelu jest statystycznie istotny (np. czy β k+1 w modelu A). W przypadku, gdy oszacowanie parametru nie jest istotne statystycznie, to wówczas model jest kompletny względem swojego konkurenta (np. jeżeli β k+1 nie jest statystycznie istotne, to model A jest kompletny względem modelu B) Korzystając z testu Davidsona-Mackinnona należy sprawdzić kompletność modeli w obu wariantach. Może się okazać, że oba modele są (nie)kompletne względem siebie i wtedy test nie jest konkluzywny. Jakub Mućk Ekonometria Wykład 2 Weryfikacja liniowego modelu jednorównaniowego 28 / 28