Realizacje zmiennych są niezależne, co sprawia, że ciąg jest ciągiem niezależnych zmiennych losowych,

Transkrypt

1 Klsyczn Metod Njmniejszych Kwdrtów (KMNK)

2 Postć ć modelu jest liniow względem prmetrów (lbo nleży dokonć doprowdzeni postci modelu do liniowości względem prmetrów), Zmienne objśnijące są wielkościmi nielosowymi, Skłdnik losowy m wrtość oczekiwną ą zero i stłą ą wrincję o skończonej wrtości (stłość wrincji jest rozumin jko jej niezleżność od t, tj od numerów kolejnych relizcji zmiennych występujących w modelu), li j i h i l i i Relizcje zmiennych są niezleżne, co sprwi, że ciąg jest ciągiem niezleżnych zmiennych losowych,

3 Skłdnik losowy objśnijącymi, ξ t jest nieskorelowny ze zmiennymi Zmienne objśnijące są wolne od współliniowości ) Ideę metody njmniejszych kwdrtów przedstwimy n przykłdzie di Złóżmy, Złó że zdecydowliśmy, d iż szcowny model m mieć postć: Y t α α X 0 t t ξ

4 Poniewż w modelu występuje jedn zmienn objśnijąc, przedstwimy stochstyczny związek, który tu obserwujemy z pomocą wykresu korelcyjnego (rys )

5 Grficznie i wygląd to nstępująco (rys ) )

6 Zpiszmy obecnie kryterium zgodności modelu z opisywnym związkiem stochstycznym, n którym opier się metod njmniejszych kwdrtów: n ψ [ y ( ) ] t f X t min t ( ) gdzie f spełni złożeni omwine powyżej X t

7 Spełnienie złożeń, że bez utrty ogólności możemy dlej rozwżć jedynie modele liniowe, rozumiejąc pod nimi tkże trnsformty liniowe modeli nieliniowych Pozwl to przeksztłcić wzór poprzedni ido nstępującej j postci: n k ψ t t i y α i it min Algorytm znjdowni ekstremum (minimum) funkcji Algorytm znjdowni ekstremum (minimum) funkcji przedstwimy w konwencji rchunku mcierzowego

8 Ustlony ukłd punktów oznczymy przez: P, P, P3,, P, n ich współrzędne odpowiednio przez: ( y,,,, ), ( y,,,,, ),,, k k ( y,,, ) n, n n nk

9 Mmy znleźć tkie równnie liniowe hiperpłszczyzny, lbo jego prmetry spełniły kryterium Oznczmy te prmetry jko:,,,,, 3 k 0 Poniewż nie ud się nm znleźć tkiej hiperpłszczyzny, któr przechodziłby przez wszystkie punkty, więc będą występowły odchyleni punktów od hiperpłszczyzny mierzone równolegle do osi Oznczmy je przez: e e,, e, n i nzwijmy resztmi modelu

10 Możemy terz zpisć ukłd równń: Możemy terz zpisć ukłd równń: 0 k k e y M 0 k k e y M, 0 n nk k n n n e y

11 lub mcierzowo: Y X e, gdzie: Y y y M y n wektor wrtości zmiennej objśninej o wymirch n,

12 X,,,, k 0,,,, k 0,,,, n n nk n0 mcierz relizcji zmiennych objśnijących o wymirze n(k ), przy czym dl t,,, n, e e kt t d l i h e M en wektor reszt modelu o wymirch n,

13 M k 0 wektor poszukiwnych ocen prmetrów modelu o wymirch (k )

14 Wzór (), w którym występuje równość: e Y X możn terz zpisć jko: ' ' ψ e e ( Y X ) ( Y X ) Y' Y Y' X' Y Y' X 'X' X Y' Y 'X' Y X' X min (5) ψ jest funkcją wektor, wrunkiem koniecznym istnieni ekstremum jest zniknie i pochodnej ψ

15 Pochodn t jest równ: ψ X'Y X' X Przyrównujemy ją do zer: X' Y X'X 0 gdzie 0 jest wektorem złożonym z smych zer o wymirze (k )n, co osttecznie dje równnie mcierzowe: X' X X' Y

16 Rozwiązniem tego równni jest: ( X'X ) X' Y W ten sposób poznliśmy metodęę njmniejszych j kwdrtów, pozwljącą otrzymć oceny prmetrów strukturlnych modelu Jk widomo, estymtory y sąą zmiennymi losowymi, skąd wynik, że oceny prmetrów są tylko wielkościmi przybliżonymi, y obrczonymi błędmi Poprwn estymcj prmetrów powinn przeto podć jeszcze wielkość błędów ich ocen Jeżeli są spełnione złożeni leżące u podstw stosowni metody njmniejszych j kwdrtów, to mcierz wrincji D ( ) i kowrincji estymtorów prmetrów dnych wzorem otrzymujemy,wykonującnstępujące y y j pj dziłnie: D ( ) ( ) σ X' X

17 Elementy głównej przekątnej mcierzy (0) są wrincjmi estymtorów prmetrów, ntomist elementy leżące poz główną przekątną - ich kowrincjmi Pierwistki kwdrtowe z elementów głównej przekątnej stnowią błędy średnie estymtorów Wrincją skłdnik losowego jest Poniewż jednk skłdnik losowego nie znmy (znmy tylko reszty), zstępujemy jego wrincję estymtorem, który w wrunkch spełnieni złożeń m postć: S [ ] Y' Y Y' X( X' X) X' Y ( k ) n ( k ) n e' e Pierwistek kwdrtowy z estymtor nzywmy stndrdowym błędem oceny Jest on podstwowym prmetrem struktury stochstycznej modelu

18 Przykłd Dotyczy dnych liczbowych, które chrkteryzują wypdki drogowe (X) orz ofiry śmiertelne tych wypdków w niektórych krjch w 980r Obie zmienne są wyrżone w przeliczeniu n 000 pojzdów w użytkowniu, przy czym ich relizcje są przedstwione w tbli tbeli Tbel Wypdki drogowe i ofiry śmiertelne wypdków w niektórych krjch w 980r Krje Wypdki drogowe Ofiry śmiertelne Krje Wypdki drogowe Ofiry śmiertelne N 000 pojzdów w użytkowniu N 000 pojzdów w użytkowniu Szwecj Hiszpni Dni CSRS NRD Polsk Włochy USA 4,9 6,7 7,3 7,5 7,8 8,4 8,7 9,4 0,3 0,5 0,4 0,6 0,5,3 0,5 0,3 Węgry Holndi Frncj WBrytni RFN Grecj Belgi Austri 0,4,0,5 4, 5,0 5,4 7,3 8,3 Szwjcri 0 0,5 Jugosłwi 9,9,3 0,9 0,4 0,6 0,4 0,5,0 0,7 0,7

19 Trktując bdne krje jko zbiorowość sttystyczną (n8) 8), zuwżmy, że wzrostowi liczby wypdków drogowych odpowid, wprwdzie nieregulrny, wzrost liczby ofir śmiertelnych tych wypdków Wzrost ten wydje dj się być ć zbliżony do liniowego i Szcunek prmetrów strukturlnych i stochstycznych modelu regresji Y do X przeprowdzimy p metodąą njmniejszych j kwdrtów (MNK) Ze stwinych tej metodzie złożeń teoretycznych njbrdziej kłopotliwym, w dnym przypdku, okzuje się to, że zmienn objśnijąc zmienność liczby ofir śmiertelnych (tzn liczb wypdków drogowych) nie jest zmienną losową Z tym też zstrzeżeniem przystępujemy do estymcji prmetrów strukturlnych α Y orz β Y orz prmetrów stochstycznych D (ξ) orz D(ξ) Zostną użyte wzory n estymtory tych prmetrów tzn (7) i (8) Zostną tkże wyznczone stndrdowe błędy ę oceny prmetrów strukturlnych, tzn D( y ) orz D(b y ), zgodnie ze wzormi () i (3), jk również oszcowne będą współczynniki determincji i indetermincji

20 Tblic Rchunek ocen prmetrów strukturlnych modelu regresji liniowej liczby ofir śmiertelnych względem liczny wypdków drogowych w wybrnych krjch w 980r i i y i i y y i z i z y i i ,9 6,7 7,3 7,3 8,3 9,9 0,3 0,5 0,4 0,7 0,7,3 4,0 44,89 53,9 99,9 344,89 396,0,47 3,35,9,,8 45,77 0,09 0,5 0,6 0,49 0,49 5,76 0,3 0,4 0,46,03,09,9-0,0 0,08-0,06-0,33-0,39, 0,0004 0,0064 0,0036 0,089 0,5,3 Ogółem 03,7,4 69,9 59,6,67,40 0,7640

21 N podstwie informcji liczbowych zwrtych w tbeli otrzymujemy oszcowni: ocen punktow prmetru α Y : ,7 4 α y (03,7) co ozncz, że przyrostowi liczby wypdków o jeden odpowid przeciętny ę wzrost liczby ofir śmiertelnych y o 0,058,,przy czym jk pmiętmy obie zmienne są wyrżone w przeliczeniu n 000 pojzdów w użytkowniu,

22 ocen punktow prmetru β Y :, ,7 b 0, 034 y 8 proksymnt funkcji regresji liniowej y i i 0,034

23 określon dl wszystkich X od min 4,9 do m 9,9, co dje podstwę do oszcowni wektor wrtości teoretycznych tej funkcji minowicie: i i [ y ^ i ] 0,3 0,4 M,09, 9

24 ocen punktow wrincji skłdnik losowego D (ξ): S (z) (,7640 / (8-) ) 0,78 przy czym jk widomo wrincj skłdnik resztowego nie jest interpretown merytorycznie, ocen punktow odchyleni stndrdowego skłdnik losowego D(ξ): S ( z ) 0,78 0, 457

25 co ozncz, że przeciętny błąd niedopsowni funkcji regresji ^ y i 0,058 i 0,034 do dnych empirycznych (y i ) wynosi 0,457 i stnowi stosunkowo brdzo wysoki procent średniorytmetycznego poziomu ofir śmiertelnych wypdków drogowych

26 Jk już stwierdziliśmy, oceny prmetrów α Y orz β Y zostły ustlone n poziomch: y 0,058 orz b y 0,34 Oceny te są obciążone błędmi typu losowego, których rozmiry są w dnym przykłdzie di numerycznym nstępujące: D( y ) 0,457 69,9 8,367 0,03

27 orz 69,9 D( b y ) 0,457 8 (69,9 8,367 ) 0,79 Ozncz to, że przyjmując jko prmetr α y ocenę punktową y 0,058, 058 mylimy się średnio o 0,03, 03 podczs gdy przyjmując jko prmetr β y ocenę punktową b y 0,034 mylimy się średnio o 0,79