Statystyka opisowa. Wykład V. Regresja liniowa wieloraka

Transkrypt

1 Statystyka opisowa. Wykład V.

2 Spis treści 1 Prosta regresji cechy Y względem cech X 1,..., X k. 2 3

3 Wyznaczamy zależność cechy Y od cech X 1, X 2,..., X k postaci Y = α 0 + α 1 X α k X k + ε (1) Na podstawie danych z obserwacji zmiennych Y, X 1,..., X k Y X 1... X k y 1 x x 1k.... y n x n1... x nk wartości ocen α 0, α 1,..., α k parametrów modelu (1) wyznaczymy korzystając z metody najmniejszych kwadratów.

4 Na podstawie odserwacji cech Y, X 1,..., X k model (1) możemy zapisać w postaci układu równań Rozwiązując zadanie y 1 = α 0 + α 1 x α k x 1k + ε 1... y n = α 0 + α 1 x n α k x nk + ε n min F (α 0, α 1,..., α k ) α 0,α 1,...,α k gdzie F (α 0, α 1,..., α k ) = n (y i α 0 α 1 x i α k x ik ) 2, i=1 wyznaczamy wartości parametrów α 0, α 1,..., α k.

5 Układ równań możemy przedstawić w postaci macierzowej y 1... = 1 x α x 0 1k.... α ε 1... y n 1 x n1... x nk ε α n k Wprowadzając oznaczenia na Y R n i X R n (k+1), β R k+1, ε R n mamy Y = Xβ + ε Twierdzenie 1. Jeżeli det ( X T X ) 0 to estymatory parametrów strukturalnych modelu (1) szacujemy jako β = ( X T X ) 1 X T Y

6 Dowód. Metoda najmniejszych kwadratów polega min β ε 2 Natomiast ε 2 = Y Xβ, Y Xβ. Zdefiniujmy funkcję celu F (β) = Y Xβ, Y Xβ. Zatem Szukamy gradient F (β) = Y 2 2 Y, Xβ + Xβ, Xβ F (β) = β F (β) = 2XT Y + 2X T Xβ Przyrównując do zera otrzymujemy X T Xβ = X T Y mnożąc lwostroniie przez ( X T X ) 1 otrzymujemy β = ( X T X ) 1 X T Y. Z drugiej strony, ponieważ kwadrat błędu ε 2 jest funkcją kwadratową i wypukłą ze względu na β, zatem funkcja ta osiąga w β swoje ekstremum minimum globalne.

7 Przykład 1. Dane są obserwacje zmiennych Y, X 1, X 2, X 3. Y X 1 X 2 X Oszacujemy parametry strukturalne modelu Y = α 0 + α 1 X 1 + α 2 X 2 + α 3 X 3 + ε. Rozwiązanie zadania 2 2 Niech Y = 4 4, X = , β = α 0 α 1 α 2 α 3.

8 Zatem X T X = ( X T X ) 1 = Ostatecznie β = , 5 1 1, , 5 2 3, 5 7 0, 5 2 2, 5., det ( X T X ) = 2,, XT Y =

9 Przykład 2. Dane są obserwacje zmiennych Y, X 1, X 2 Y X 1 X Wyznaczymymy parametry strukturalne modelu Y = α 0 + α 1 X 1 + α 2 X 2 + ε. Rozwiązanie zadania 2 Niech Y = 3 4, X = , β = α 0 α 1 α 2.

10 Zatem X T X = ( X T X ) 1 = Ostatecznie β = , 6 0, 2 0, 4 0, 2 0, 4 0, 2 0, 4 0, 2 1, 1 2, 2 0, 6 1, 7., det ( X T X ) = 10,, X T Y =

11 Weryfikacja liniowej zależności Po oszacowaniu parmetrów strukturalnych modelu ekonometrycznego należe zbadać, czy ów model dobrze opisuje badane przez nas zależności. Jeżeli okaże się, że rozbieżność pomiędzy otrzymanym modelem a wiedzą ekonomiczną o badanych zależnościach jest duża, należy go wówczas skorygować i poprawić. Ta nieefektywność może być spowodowana wieloma przyczynami: złe dobranie zmiennych objaśniających zła postać analityczna modelu zastosowanie niewłaściwej metody estymacji parametrów.

12 Przed wykonaniem wnioskowania statystycznego należy przeprowadziċ weryfikację modelu ekonometrycznego. Weryfikacja modelu sprowadza się do zbadania trzech własności: stopnia zgodności modelu z danymi empirycznymi jakości ocen parametrów strukturalnych rozkładu ocen odchyleń losowych.

13 polega na wyjaśniu w jakim stopniu model opsuje kształtowanie się zmiennej zależnej. Do tego celu służą różne miary zgodności modelu z danymi empirycznymi: wspolczynnik zmienności losowej współczynnik zbieżności współczynnik determinacji Rozważmy model liniowy w którym występuje k zmiennych objaśniających modelu liniowego Model w postaci macierzowej Y = α 0 + α 1 X α k X k + ε Y = Xβ + ε gdzie Y R n 1, X R n (k+1), β R (k+1) 1, ε R n 1, a n liczba obserwacji.

14 Odchylenie standardowe skladnika losowego n ε 2 i i=1 S e = n k 1 = ε T ε n k 1 gdzie ε = Y X β (wektor różnić pomiędzy wartością empiryczną a wartością teoretyczną zmiennej zależnej).

15 Współczynnik zbieżności ϕ 2 [0, 1] ϕ 2 = n ε 2 i i=1 n (y i y) 2 i=1 pokazuje jaka część całkowitej zmienności zmiennej zależnej nie jest wyjaśniana przez model. Dopasowanie do dannych jest trym lepsze im ϕ 2 bliższy jest zera.

16 Współczynnik determinacji R 2 [0, 1] R 2 = 1 ϕ 2 pokazuje jaka część całkowitej zmienności zmiennej zależnej jest wyjaśniana przez model, ta część jest zdeterminowana przez zmienne niezależne. Innymi słowy, współczynnik detrminacji pokazuje jaką cześć całkowitej zmienności zmiennej objaśnianej stanowi zmiennośc wartości teoretycznych. Im R 2 jest bliższe 1 tym dopasowanie modelu jest lepsze.

17 Przykład 3. Na podstawie danych z obserwacji cech Y, X 1, X 2 oszacować parametry regresji liniowej, znaleźć odchylenie standardowe składnika losowego, współczynniki zbieżności i determinacji. Y = α 0 + α 1 X 1 + α 2 X 2 + ε Y X 1 X 2 Ŷ ε i ε 2 i Y Y (Y Y ) , 4 54, 76 4, , 1 0, 01 4, 5 20, 25 10, , 5 0, 25 1, 1 1, 21 4, , 3 0, 09 5, 1 26, , 6 43, , 6 21, , 6 2, 56 12, , 5 0, 25 3, 1 9, 61 75, 2 0, 6 179, 12

18 Oszacujemy parametry modelu , , 5 X = , Y = 4, , Zatem X T X = (X T X) 1 = X T Y = 364, 8 334, 9 75, 2., , Ostatecznie β = 1, ,

19 Po oszacowaniu parametrów strukturalnych modelu mamy: odchylenie standardowe składnika losowego 0, 6 S e = = 0, 12 0, 346

20 Po oszacowaniu parametrów strukturalnych modelu mamy: odchylenie standardowe składnika losowego 0, 6 S e = = 0, 12 0, 346 współczynnik zbieźności ϕ 2 = 0, 6 = 0, , 12

21 Po oszacowaniu parametrów strukturalnych modelu mamy: odchylenie standardowe składnika losowego 0, 6 S e = = 0, 12 0, 346 współczynnik zbieźności współczynnik determinacji ϕ 2 = 0, 6 = 0, , 12 R 2 = 1 0, = 0, a zatem zmienność zmiennej zależnej jest wyjaśniana przez model na 99, 665%.