3. Regresja liniowa Założenia dotyczące modelu regresji liniowej

Transkrypt

1 3. Regresja liiowa 3.. Założeia dotyczące modelu regresji liiowej Aby moża było wykorzystać model regresji liiowej, muszą być spełioe astępujące założeia:. Relacja pomiędzy zmieą objaśiaą a zmieymi objaśiającymi musi być iezmieicza ze względu a obserwacje, tz. jeśli istieje fukcji opisujących te relacje, y f (,,...,, ε),,,...,, to f f f f. Model jest liiowy względem parametrów, tz. przy zmieych objaśiających jego postać jest daa wzorem y f(,,..., k 0, ε ) α + α + α α + ε 3. Zmiea objaśiająca jest ielosowa, a jej wartości są ustaloymi liczbami rzeczywistymi. Ozacza to, że a) wartość oczekiwaa zmieej objaśiaej, E(y), ie jest warukowa względem zmieej objaśiającej, b) wariacja zmieej objaśiaej, D (y), ie jest warukowa względem zmieej objaśiającej. 4. Składik losowy ma rozkład ormaly 5. Występujące zakłóceia, które reprezetuje składik losowy ε, mają tedecje do wzajemej redukcji: E(ε)0, (wartość oczekiwaa jest rówa zero). 6. Iformacje zawarte w próbie są jedyymi, a podstawie których dokouje się estymacji parametrów modelu. 7. Poszczególe wartości składika losowego ie zależą wzajemie od siebie. Założeia te azywae są założeiami schematu Gaussa-Markowa i defiiują tzw. stadardowy model liiowy. k 3.

2 3.. Estymacja modelu liiowego - metoda ajmiejszych kwadratów Model liiowy postaci y α + α + α α + ε 0 moża zapisać, wykorzystując zapis zmieych oraz składika losowego (elemetów zakłóceia) w postaci macierzowej: α + α + α α + ε 0 gdzie - przy obserwacjach - zmiee i składik losowy maja postać y y M y Wprowadzając macierze, k M k k k, ε ε ε M ε α0 α α M α ( + ), ( + ) parametry strukturale układu możemy zapisać model liiowy w zwartej postaci, a miaowicie: α + ε umer obserwacji to dla wszystkich macierzy (oprócz α) umery wierszy. Dla macierzy α liczba wierszy określoa jest jako +, co wyika z tego, ze wszystkie (poza pierwszym) elemety tej macierzy są współczyikami przy zmieych objaśiających, a pierwszy jest wyrazem wolym. Składik losowy (macierz zakłóceia) to macierz różic pomiędzy elemetami rzeczywistymi a przewidywaymi przez model: ε α 3.

3 3.3. Metoda ajmiejszych kwadratów Oczywiste jest, że model będzie tym lepiej opisywał zmieą objaśiaa im miejsze będą zakłóceia, opisywae przez macierz kolumową ε. aką macierz moża utożsamić z wektorem o współrzędych. wadrat długości tego wektora zapiszemy w postaci φ ε ε ε ε [ ] ε ε ε ε + ε + + ε gdzie - zgodie ze wzorem M ε ε α ε i wprowadzoymi ozaczeiami - ( α + α + α + α ) ε y + 0 wadrat długości wektora ε moża zatem zapisać jako φ ε ε ( y ( α + α + α + + α )) φ( α, α,, α ) 0 czyli jako fukcję + zmieych, którymi są parametry strukturale modelu α α,, α. Warukiem koieczym osiągięcia miimum przez tę fukcję jest zerowaie się wszystkich pochodych cząstkowych względem parametrów strukturalych. Prowadzi to do układu rówań: 0 φ α k ( y ( α + α + α + + α )) k,,..., 0 k gdzie 0,,,...,. e układ rówań moża po podzieleiu przez zapisać w zwartej, macierzowej postaci: ( α ) 0 Jest to tzw. układ rówań ormalych. 3.3

4 Układ rówań ormalych ( ) 0 α moża zapisać w postaci α Jeśli macierz jest ieosobliwa (czyli istieje macierz do iej odwrota), to możąc lewostroie powyższe rówaie przez ( ) - otrzymujemy wektor parametrów strukturalych w postaci: α ( ) Moża sprawdzić bezpośredim rachukiem, że dla tak wyzaczoych parametrów strukturalych macierz φ αk 0 α, α z czego wyika, że fukcja φ ( α, ) jest dodatio określoa,, osiąga dla ich miimum. o ozacza, że dla tak wyzaczoej macierzy α składik losowy (macierz zakłóceia) jest rzeczywiście zmiimalizoway. ym samym zamy postać modelu liiowego z dokładością do zmiimalizowaych zakłóceń: y α + α + α α + ε 0 Przykład abela przedstawia dae dotyczące liczby ludości oraz liczby ucziów szkół podstawowych y w powiatach województwa świętokrzyskiego w 00 roku (bez powiatu grodzkiego ielce): B J W ie o Op Ost P Sa S- Star Stasz Wło Wyzaczyć liiową postać modelu ekoometryczego opisującego liczbę ucziów w zależości od liczby ludości w powiatach. 3.4

5 Rozwiązaie: Poieważ jest jeda zmiea objaśiająca, zatem szukamy fukcji α + α 0 W tym przykładzie (jeda zmiea objaśiająca) oraz 3 (trzyaście powiatów). Odpowiedie macierze są astępujące: , , α α 0 α ajpierw obliczymy : jak widać, jest oa symetrycza. Jej wyzaczik det( ) Zatem istieje macierz odwrota: ( )

6 Obliczeie iloczyu prowadzi do wyiku skąd α ( ) co ozacza, że α oraz α Zatem model ekoometryczy zależości pomiędzy liczbą ludości w powiecie województwa świętokrzyskiego a liczbą ucziów szkół podstawowych wyraża się wzorem: y Porówajmy, jak wygląda obliczoa liczba ucziów w powiatach w porówaiu z liczbą faktycza: powiat Bus Jęd a W ie o Op Ost Piń Sa S- Star Stasz Wło dae obl d - o błąd % -3,6-3, 7,4 7,30-4,07 7,74-9,3,55 -,7-7,56-6,0 6,59 9,33 Jak widać z tabeli, w iektórych powiatach występuje zacze odstępstwo wartości obliczoych od faktyczych. Przykład cd Wyzaczyć liiową postać modelu ekoometryczego opisującego produkcję firmy w mld zł (y) przy astępujących zmieych objaśiających (umeracja jak w części ): wartość środków trwałych (mld zł), 3 czas przestoju maszy (di). Podae w tym przykładzie dwie zmiee objaśiające zostały wybrae arbitralie spośród trzech kadydatek. Aby uikąć ieporozumień co do umeracji, wprowadzoo ozaczeia I II 3 3.6

7 Rozwiązaie Poieważ mamy tu dwie zmiee objaśiające, więc szukamy fukcji α + α + α 0 I II W tym przykładzie (dwie zmiee objaśiające) oraz 0 (dae z dziesięciu lat). Odpowiedie macierze mają postać: , , α 0 α α α ajpierw obliczymy : Jak widać, jest to macierz symetrycza. Jej wyzaczik det( ) Stąd macierz odwrota: ( ),

8 Obliczeie iloczyu prowadzi do wyiku skąd α ( ) co ozacza, że α , α oraz α Zatem model ekoometryczy zależości pomiędzy produkcją firmy w mld zł (y) a wartością środków trwałych (mld zł) i czasem przestoju maszy (di) wyraża się wzorem: y I II Porówajmy, jak wygląda obliczoa wartość produkcji firmy w mld zł w porówaiu z wartością faktyczą: ata dae obl ,034 5,034,783,783 9,057 83,48,74 d - ob. ε , ,48 74 błąd % 8,5 8,5-6,04-6,04 6,53-8,69-4,7 9 5,74,4 Jak widać z tabeli, występuje tu iezacze odstępstwo wartości obliczoych od faktyczych. a koiec wypiszmy własości wektora α : I α + ε, 3.8 obl α obl ( ) ε 0 ε I ( α ) 0 ( α ) ε α 0 ε α ε ε α