Lam regresj II-go rodzaju zmeej () względem () azwam zadae krzwe g(;,, ) oraz h(;,, ) gd spełają oe odpowedo waruk: E E Le regresj II-go rodzaju ( ( )) ( ) ( ) ( ) ( ) g ;,,... g ;,,... f, dd m,,... ( ( )) ( ) ( ) ( ) ( ) h( ;,,... h ;,,... f, dd m,,... W szczególośc proste regresj II-go rodzaju mają postać: σ σ ρ ρ µ +µ σ σ σ σ σ σ ρ ρ µ +µ µ +µ σ σ ρσ ρσ W praktce zazwczaj e zam łączej fukcj rozkładu zmech, z której pochodzą zmee (a węc także obu dspersj współczka korelacj), a krzwe regresj musm określać z próbk dskretch dach. M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-
Metoda ajmejszch kwadratów Załóżm, że merzm N ezależch wartośc,,, każda z rozkłądu Gaussa o ezaej wartośc oczekwaej zaej waracj: E η σ [ ] ( ; ) V[ ] Welkośc to tzw. zmee kotrolowae, objaśające, które zakładam, że są zae dokłade. Chcem oszacować ezae parametr tak ab dopasowae krzwej do puktów bło możlwe ajlepsze. Kostruujem łączą fukcję gęstośc p-twa ( ) g M. Przbceń Rachuek prawdopodobeństwa statstka ( η ),..., ; η,..., η ; σ,..., σ ep πσ σ Wówczas log fukcj warogodośc ma postać (pomjam wraz ezależe od parametrów): ( ) ( η ( ; )) l L +... σ Wkład 4-3
Zasada ajmejszch kwadratów głos, że parametr ależ dobrać tak, ab spełał oe waruek: ( ) ( η ( ; )) R m( ) σ W przpadku skorelowach pomarów korzstam z welowmarowego rozkładu Gaussa ze zaą macerzą kowaracj V: Wted Metoda ajmejszch kwadratów ( ( ) T ( )) - g( ; µ,v) ep µ V µ / ( π) V, j ( ) l ( ( ; ))( V ) ( ( ; )) L η j j η j +... R a zasada ajmejszch kwadratów sprowadza sę do waruku Zależość fukcją η ; V η ; m ( )( ) j j ( j ) ( ) ( ), j ( ) ; η ( ) ( ) azwam krzwą regresj ajlepszego dopasowaa metod ajmejszch kwadratów. Parametr to estmator MNK. M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-4
MNK przpadek low Rozważm stuację ked zwązek pomędz parametram, a welkoścą merzoąηprzjmuje postać lową: η ( ; ) ϕ ( ) +ϕ ( ) +... +ϕ ( ) Dla puktów pomarowch (, ),, otrzmujem układ rówań: gdze: η ϕ ( ) +ϕ ( ) +... +ϕ m ( ) η η ϕ ( ) +ϕ ( ) +... +ϕ m ( ) η ϕ ( ) +ϕ ( ) +... +ϕ ( ) m m η ϕ ( ) ϕ ( ) ϕ m( ) m η ϕ ϕ ϕ ( ) ( ) ( ) η Φ η ϕ ( ) ϕ ( ) ϕ m( ) m Macerz Φ azwam macerzą kostrukcją. m m m m ηφ M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-5
MNK przpadek low Zasada ajmejszch kwadratów przjmuje postać (ozaczee Q V - ): T T T T R ( Φ ) Q( Φ ) ( Φ ) Q( Φ ) m( ) Wpszem welkośćrw jawej postac: m m R ϕ k ( ) k Qj j ϕ l ( ) l Qj j, j k l, j R m m m ϕ ( ) Q Q ϕ ( ) + ϕ ( ) Q ϕ ( ) k k j j j l j l k k j l j l, j k, j l, j k, l m Q ϕ ( ) Q j j k k j j, j, j k Różczkujem względem parametru p : m m + ϕ ( ) Q ϕ ( ), j k, l M. Przbceń Rachuek prawdopodobeństwa statstka m k kp j j k kp j l j l p, j k, j k, l, j k, l k k j l j l ϕ ( ) δ Q + ϕ ( ) δ Q ϕ ( ) + m + ϕ ( ) Q ϕ ( ) δ k k j l j lp m m ϕ ( ) Q + ϕ ( ) Q ϕ ( ) + ϕ ( ) Q ϕ ( ) p j j p j l j l k k j p j, j, j l, j k Wkład 4-6
MNK przpadek low Zameając deks l a k oraz zmeając mędz sobą azw deksów oraz j otrzmujem (macerz QV - jest smetrcza): m R ϕ p( ) Qj j + ϕ p( ) Qj ϕ k ( j ) k p,,..., m 0 p, j, j k T T ( Φ Q ) ( Φ Q Φ ) p Otrzmalśm układ lowch rówań (zwach ormalm) a ezae parametr w postac macerzowej: T T M. Przbceń Rachuek prawdopodobeństwa statstka p Φ QΦ Φ Q o rozwązaach lowo zależch od merzoch welkośc: T T T T T ( Q ) Q ( V ) V Φ Φ Φ Φ Φ Φ W Φ V Ψ W Ψ Jeśl welkośc merzoe są eobcążoe, to róweż eobcążoe są estmator parametrów: T T E E Ψ Ψ E Ψη Φ V Φ Φ V Φ [ ] [ ] ( ) Wkład 4-7
MNK przpadek low Macerz kowaracj estmatorów parametrów ma postać: T V ( ( )) ( ) T T T T ( ) ( )( ) E Ψ η Ψ η Ψ η η Ψ Ψ ( η )( η ) E E Ψ T T T T W V ( )( ) V W W V V V W W V Φ E η η Φ Φ Φ Φ Φ W W W V W Φ V T a węc: ( ) Φ Dspoując estmatam parametrów możem wkorzstać je do terpolacj bądź ekstrapolacj, kostruując krzwą ajlepszego dopasowaa: T η ( ) ϕ ( ) +ϕ ( ) +... +ϕ m( ) m ϕ ( ) Błąd takej operacj wos: [ ] ( )( ) T T T V η ( ) E ( η ( ) η ( )) E ϕ ( )( ) ϕ ( )( ) T T T E ϕ ( )( )( ) ϕ ( ) ϕ ( ) W ϕ ( ) Twerdzee Gaussa-Markowa: Pośród wszstkch eobcążoch estmatorów, które są lowm kombacjam welkośc merzoch, estmator metod ajmejszch kwadratów mają ajmejszą warację. M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-8
Ocea jakośc dopasowaa Ocea jakośc dopasowaa a podstawe resztkowej różc w mmum: ε η m Wartość oczekwaa macerz kowaracj są odpowedo rówe: [ m] [ ] ε η η η E E Ψ E E E ηψηη 0 [ ] ( )( ) T V ε m E η η... V[ ] V η η Ocea błędów sstematczch wpłw: z V[ ] V[ η ] Ocea jakośc dopasowaa a podstawe wartośc R m : porówae model m mejsze R m tm lepsza zgodość (uwaga: dopasowując weloma - stopa do puktów dostaem R m 0) gd merzoe welkośc pochodzą z rozkładu ormalego, wówczas estmator parametrów mają rozkład ormale, atomast welkość R m jest statstkąχ wlosowaą z rozkładu o (-m) stopach swobod R m χ -m o le postulowaa zależośćη(;,, m ) jest słusza. (Prawda jeśl macerz V() jest macerzą kowaracj, a e jej estmat.) M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-9
MNK dopasowae l prostej Rozważm dopasowae l prostej do dach dośwadczalch: η η ηφ η Zakładam, że pomar e są skorelowae: Wprowadzam ozaczea: 0 0 s s 0 0 s V 0 0 V 0 0 s 0 0 s 0 0 s s s s s s s M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-0 0
MNK dopasowae l prostej Kostruujem macerze W Ψ: 0 s s s T V Φ Φ s s 0 s W T ( Φ V Φ ) s s s s T W V Ψ Φ s s s s M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-
MNK dopasowae l prostej Wzaczam estmator parametrów l prostej s s Ψ s s Z macerz W V[ ] odcztujem: V[ ] V[ ] cov[, ] Oblczam wartość statstkrw mmum: M. Przbceń Rachuek prawdopodobeństwa statstka ρ (, ) R m Poeważ parametr są lowm fukcjam welkośc merzoch, węc pozomce stałej wartoścr(czlχ ) są elpsam: ( ) ( ) + ρ m [ ] [ ] [ ] [ ρ ] R R D D D D Wkład 4-
Dopasowae l prostej - dgresja Dopasowae l prostej z pomęcem rachuku macerzowego: η f ; + ( ) ( ) Zajdujem wartośc parametrów dla którch R osąga mmum: R s s s s R s s s s s s s s wprowadzając ozaczea: dostajem: ( ) ( ) 0 0 s s M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-3 3
MNK dopasowae l prostej La prosta ajlepszego dopasowaa pozwala dokoać terpolacj lub ekstrapolacj: η ( ) + Błąd tej operacj da jest przez: V [ ] [ ] T η ϕ ( ) W ϕ ( ) + ( + ) + + V Problem dopasowaa do dach welu elowch fukcj moża sprowadzć do problemu dopasowaa l prostej: ab l a + l b a + b b a l a + bl a + b b a e l a + b a + b b + a a + b a+ b M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-4
Dopasowae l prostej Przkład: Wkoao badaa wpłwu kofe a sprawość wkowaa prostch czośc maualch. Trzdzestu studetów podzeloo losowo a trz grup po dzesęć osób każdej grupe podao róże lośc kofe: 0 mg, 00 mg 00 mg. Po dwóch godzach poproszoo ch o wkoae z maksmalą szbkoścą czośc polegającej a stukau palcam po stole. Wk pomarów przedstawa tabela. Dawka [mg] Lczba stukęć palcam a mutę ± σ 0 4 45 44 48 47 48 4 44 46 4 44.8 ± 0.76 00 48 46 45 47 48 50 47 46 43 44 46.4 ± 0.65 00 46 48 50 5 48 50 46 48 45 50 48.3 ± 0.70 Lczba stukęć [m - ] 50 49 48 47 46 45 44 43 4-50 0 50 00 50 00 50 Dawka [mg] Prosta dopasowaa MNK: ( 447. ± 07. ) + ( 007. ± 0005. ) ±σ ±σ Kowaracja współczk korelacj pomędz estmatoram parametrów: cov[, ]. 0 008 ( ) ρ,. 08 M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-5 5
Dopasowae l prostej Kwatle η ( ) + ± + V[ ],5 0,5 0-0,5-639. 64485. η ( 400) 55. ±. 5 -,5 4 43 45 47 49 5 53 zbkość stukaa [m - ] Lczba stukęć [m - ] 54 5 50 48 46 44 4 0 < F( ) < + + F(q ) 0.09 0.8 0.73 0.364 0.455 0.546 0.636 0.77 0.88 0.909 q -.335-0.908-0.605-0.349-0.4 0.4 0.349 0.605 0.908.335-50 0 50 00 50 00 50 300 350 400 450 Dawka [mg] + F( q ) + µ q σ M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-6 6
R m Dopasowae l prostej Jeśl hpoteza o zależośc lowej jest prawdzwa, to statstkarma rozkład χ o -m 3 - stopach swobod. 0. 033 P( χ > ) χ ( ) 0. 857 Jeśl zażądam Rm u du R ( R ) ( ) ( ) P χ > χ ( u) du 0. 99 R 0. 0005 Ozacza to, że średe odchlee każdego puktu od dopasowaej l wos w jedostkach tpowej epewośc wos tlko M. Przbceń Rachuek prawdopodobeństwa statstka m 00005. / 3 0. 007 Poeważ parametr są lowm fukcjam welkośc merzoch, węc pozomce stałej wartoścr(czlχ ) są elpsam: + ρ [ ] [ ] [ ] [ ρ ] R R D D D D R m m m m Wkład 4-7 7
Dopasowae krzwej ekspoecjalej Przkład: W tabel podae są dae o lczbe k lśc rzęs wodej jako fukcj czasu k lczoego w tgodach. k 0 3 4 5 6 7 8 k 0 30 5 77 35 36 550 05 Uwag: a e b l l a + b z a + b ozaczea: k k zaedbujem ewdete korelacje, zakładam, że epewośc zlczeń podlegają rozkładow Possoa: z σ z l σ z σ Lczba lśc k Lczba lśc k 00 000 800 600 400 00 0 0000 000 00 0 0 3 4 5 6 7 8 9 Tdzeń k 0 5 Tdzeń k M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-8 8
Dopasowae krzwej ekspoecjalej Lczba lśc k z ( 8. ± 008. ) + ( 05. ± 00. ) a ±σ b ±σ 00 000 800 600 400 a cov[ a, b] 0. 0009 ρ 0. 97 R m b ( R ) 83. P χ > 006. m a a a l a a e σ e σ [ ] ( 65. ± 3. )ep ( 05. ± 00. ) a l( k) a 8 6 4 0 3 4 5 6 7 8 9 Tdzeń k 00 0 0 3 4 5 6 7 8 9 Tdzeń k M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-9 9