Natalia Nehrebecka. Dariusz Szymański

Transkrypt

1 atala ehreecka Darusz Szmańsk Wkład

2 . MK przpadek welu zmech. Własośc hperpłaszczz regresj 3. Doroć ć dopasowaa rówaa regresj. Współczk determacj R Dekompozcjawaracj zmeejzależejzależej Współczk determacj R

3 . MK przpadek welu zmech. Własośc hperpłaszczz regresj 3. Doroć ć dopasowaa rówaa regresj. Współczk determacj R Dekompozcjawaracj zmeejzależejzależej Współczk determacj R 3

4 x β x β... x β K K ε stopa referecja BP (ez rzka stała prema za rzko stopa procetowa WIBOR 3M oczekwae zma stop BP w ajlższch 3 mesącach emocje rku 4

5 ε β K x x x M M M M M L M { { ε β ε β K K x x x L ε β Stąd rówae macerzowe ma postać: β ε β 5

6 Zapsz model teoretcz, model westmowa, wartośc dopasowae oraz reszt dla modelu lowego zawerającego K zmech ojaśającch 6

7 Suma kwadratów reszt zaps macerzow S( e Poeważ Zt Zatem: e M e [ e L e ] e e ( ( S ( 7

8 Waruk perwszego rzędu Waruk perwszego rzędu ( S 0 o: β β αβ A ( β β β β α β αβ A A A 8

9 ? [ ] ( ( [ ] K L M O M L L ( ( [ ] K L L ( ( [ ] ( K L K M ( ( [ ] K M M L ( ( [ ] K K M L M 9

10 a, a β a β β β a ech:,. [ L ], a [ a a L a ] β β β β k k f ( β,..., β a β aβ a β... a β ech: a β f β β f β a f β a M M f a β k k k k k a L [ a a L a ] k a a β a β a β a β β β β βk 0

11 Aβ β β A A, β A ech A ędze macerzą wmaru x atomast β wektorem elemetowm. a a L a β a β a a L a β a β Aβ M M O M M M a a a β L a β a β β a β Aβ β β M a β β

12 Aβ β β A A, β A ech A ędze macerzą wmaru x atomast β wektorem elemetowm. a a L a a a a β A [ β β βk] L Lβ a β a β a β L M M O M a a L a a a a β A β β β β β β β K

13 ( A A β β Aβ β β Aβ β β a, j j j ββ ja, j j β ββ jaj, j M ββ, j jaj β β Aβ β β 3

14 Rozwem l t elemet powższej macerz: ββ ja β β j ja j β β j j ja j βl β j jalj β β j jaj, j β l β j β al βa l... βl all βjalj... βal βjalj βjajl βj ( alj ajl l j j j j β Aβ β βj ( aj aj j β j ( a j a j j ( A A β M βj( aj aj j 4

15 Jeśl macerz A jest smetrcza, to A A β A β β AA β 5

16 Układ rówań ormalch Układ rówań ormalch 0 ( ( /( I ( ( ( 6

17 Rozwązae układu rówań ormalch : steje o le macerz ma peł rząd kolumow, tz. jej kolum są lowo ezależe, wted steje (. MK e da sę oszacować modelu w którm: (K> lcza zmech (parametrów przekracza lczę ę oserwacj. 7

18 Wektor α, α,..., α k są lowo ezależe, jeśl jedm rozwązaem rówaa: α α αk 0 α α α k 0 α α... α... k k k M M M M α α αk 0 sąą... k 0 8

19 . MK przpadek welu zmech. Własośc hperpłaszczz regresj 3. Doroć ć dopasowaa rówaa regresj. Współczk determacj R Dekompozcjawaracj zmeejzależejzależej Współczk determacj R 9

20 Hperpłaszczzą regresj azwam płaszczzę dopasowaą do dach z pomocą MK Płaszczzę tę wzacza fukcja: x x 0

21 . e 0. ˆ e 0 Dodatkowo dla modelu ze stałą: e ˆ 0

22 . MK przpadek welu zmech. Własośc hperpłaszczz regresj 3. Doroć ć dopasowaa rówaa regresj. Współczk determacj R Dekompozcjawaracj zmeejzależejzależej Współczk determacj R

23 Doroć dopasowaa rówaa regresj (do dach emprczch wrażoa jest przez tak zwa współczk determacj lowej ozacza przez R. Współczk te określa jaka część zmeośc zmeej ojaśaej jest wjaśoa łącze przez zmeość wszstkch zmech ojaśającch, L K. Jedą z mar zmeośc zmeej jest WARIACJA. 3

24 Waracje zmeej zależej moża przedstawć jako dekompozcje (podzał a część wjaśoą przez model a część ewjaśoą przez model. TSS ESS RSS Dekompozcja waracj jest możlwa JEDYIE dla modelu ze stałą 4

25 Całkowta suma kwadratów: Zmeość całkowtą zmeej ojaśaej, ozaczaą w lteraturze agelskm skrótem TSS (Total Sum of Squares, merzm za pomocą sum kwadratów odchleń oserwacj zmeej ojaśaej od średej: TSS ( 5

26 Wjaśoa suma kwadratów: Jeśl model zawera stałą, to całkowtą sumę kwadratów możem zdekompoować a dwa składk, a wjaśoą (rówaem regresj sumę kwadratów, ozaczaą przez ESS (Explaed Sum of Squares ESS ( $ 6

27 Resztowa suma kwadratów: resztową (ewjaśoą sumę kwadratów, ozaczaą przez RSS (Resdual Sum of Squares. RSS e 7

28 8

29 9

30 R wjasoa suma kwadratów ESS calkowta suma kwadratów TSS ( $ ( RSS TSS Dla modelu ze stałą 0 R 30

31 TSS TSS TSS R 0 RSS R 0,50 ESS RSS R 0,90 ESS R S S Współczk determacj jest jedą z podstawowch mar jakośc dopasowaa modelu. Iformuje o tm, jaka część zmeośc zmeej ojaśaej została wjaśoa przez model. Współczk determacj przjmuje wartośc z przedzału [0;] w modelu ze stałą. Jego wartośc ajczęścej są wrażae w procetach. Dopasowae modelu jest tm lepsze, m jego wartość jest lższa jedośc. 3

32 R przjmuje wartośc z przedzału domkętego mędz 0. Jeśl R, to model regresj w 00% wjaśa zmeość, ˆ, e 0 oraz RSS a jeśl R 0, to model regresj w ogóle e wjaśa zmeośc. w ˆ, ESS 0 0 Jeśl a przkład wos R 0,7 to możem powedzeć, że 70% zmeośc zmeej ojaśaej jest wjaśoe przez łączą zmeość wszstkch zmech ojaśającch, ś j a 30% zmeośc ś jest ewjaśoe (jest zmeoścą resztową. 3

33 Współczk determacj R azwa jest eked współczkem korelacj welorakej. R jest rów kwadratow współczka korelacj mędz ˆ W modelu ze stałą jedą zmeą współczk determacj R jest rów kwadratow współczka korelacj ρˆ x 33

34 { } ( ˆ ( x x TSS ESS R ( ( TSS ( ( ( x x x x x x ( ( ( S x S x 34

35 ( S S S x x ˆ ( x x x x x x S S S S S S S R ρ ( 35

36 R jest WYŁĄCZIE statstką opsową e ależ jej stosować do porówwaa model. Prz szacowau klku model dla daej zmeej zależej z różą lczą zmech ojaśającch a podstawe detczego zoru dach, korzstae ze współczka determacj R dla woru modelu lepej dopasowaego do dach emprczch staje sę prolematcze. Gd owem dodajem do rówaa dalsze zmee ojaśające to zawsze wzrasta R ezależe od prawdzwej ważośc tch owododach zmech. placa β β wek ε R 5% placa β R β wek β3 plec ε 7% 36

37 Gd owem dodajem do rówaa dalsze zmee ojaśające to zawsze wzrasta R ezależe od prawdzwej ważośc tch owododach zmech. Wąże sę to z ogólm własoścam optmalzacj. Jeśl, poprzez arzucea ograczeń, zmejszm zór, a którm mmalzujem fukcję celu, to uzskaa w mmum wartość fukcj celu ędze wększa lu rówa wartośc fukcj w mmum dla mmalzacj ez ograczeń. 37

38 Aalzuje dwe regresj: x β x β... x β ε x xβ... x K β K x K β K β K K ε Model perwsz moża uzskać z modelu drugego, jeśl arzucm ograczee β K 0 38

39 Estmator MK parametrów dla modelu drugego: m s(,,..., K, K,,..., K, K Estmator MK parametrów * dla modelu perwszego: m s(,,..., K, K s. t. K,,..., K, K 0 S(* jest wartoścą fukcj w mmum z warukam pooczm S( jest wartoścą fukcj w mmum ez tch waruków S(* RSS* S( RSS TSS* TSS 39

40 awet dodając do modelu całkowce ezsesową zmeą uzskujem polepszee dopasowaa. Co węcej, jeśl K (lcza parametrów lcze oserwacj, to R Z tego powodu za marę doroc dopasowaa zapropoowao e R, a tak zwa skorgowa współczk determacj. R 40

41 R R jest skorgowa ze względu a tak zwaą lczę stop swood, to zacz ze względu a różcę mędz lczą oserwacj a lczą zmech ojaśającch K. R K ( R 4

42 Oszacowao dwa modele za pomocą MK a próe lczącej oserwacj Oszacowao dwa modele za pomocą MK a próe lczącej oserwacj otrzmao astępujące wk: 0,8, 3,64 ˆ 0,8,,5 ˆ 3 R x x R x a Któr z powższch model ależ wrać dlaczego?,,, 3 4

43 Oszacowao dwa modele za pomocą MK a próe lczącej 083 oserwacj: Model A: l_zarokf(płeć, wek Model B: l_zarokf(płeć, wek, wek 43

44 Model A Source SS df MS umer of os F(, Model Pro > F Resdual R-squared Adj R-squared Total Root MSE l_zarok Coef. Std. Err. t P> t [95% Cof. Iterval] plec wek _cos

45 Model B Source SS df MS umer of os F( 3, Model Pro > F Resdual R-squared Adj R-squared 0.09 Total Root MSE l_zarok Coef. Std. Err. t P> t [95% Cof. Iterval] plec wek wek _cos

46 Model R K Porówae model! A R ( 0, , B R ( 0,0946 0, R 46

47 Talca aalz waracj Źródło zmeośc Suma kwadratów Lcza stop swood Średa suma kwadratów Source SS df MS Model (ESS (K Resdual (RSS (-K Total (TSS ( ESS/df RSS/df 47

48 . Co to jest układ rówań ormalch?. Wprowadzć estmator MK dla modelu z weloma zmem ojaśającm. 3. Dlaczego e da sę uzskać oszacowań MK, jeśl lcza zmech ojaśającch w modelu jest wększa od lcz oserwacj. 4. Pokazać, że w modelu ze stałą suma reszt jest rówa zero. 5. Pokazać, że w modelu ze stałą średa wartość zmeej zależej rówa jest średej z wartośc dopasowach. 6. Udowodć, d ć że w modelu dl ze stałą ł TSS ESS RSS. 7. Podać terpretacje R. 8. Wjaść, dlaczego R e moża użwać do porówaa model. 48

49 Dzękuję za uwagę 49