Linie regresji II-go rodzaju

Transkrypt

1

2 Lam regresj II-go rodzaju zmeej () względem () azwam zadae krzwe g(;,, ) oraz h(;,, ) gd spełają oe odpowedo waruk: E E Le regresj II-go rodzaju ( ( )) ( ) ( ) ( ) ( ) g ;,,... g ;,,... f, dd m,,... ( ( )) ( ) ( ) ( ) ( ) h( ;,,... h ;,,... f, dd m,,... W szczególośc proste regresj II-go rodzaju mają postać: σ σ ρ ρ µ +µ σ σ σ σ σ σ ρ ρ µ +µ µ +µ σ σ ρσ ρσ W praktce zazwczaj e zam łączej fukcj rozkładu zmech, z której pochodzą zmee (a węc także obu dspersj współczka korelacj), a krzwe regresj musm określać z próbk dskretch dach. M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-

3 Metoda ajmejszch kwadratów Załóżm, że merzm N ezależch wartośc,,, każda z rozkłądu Gaussa o ezaej wartośc oczekwaej zaej waracj: E η σ [ ] ( ; ) V[ ] Welkośc to tzw. zmee kotrolowae, objaśające, które zakładam, że są zae dokłade. Chcem oszacować ezae parametr tak ab dopasowae krzwej do puktów bło możlwe ajlepsze. Kostruujem łączą fukcję gęstośc p-twa ( ) g M. Przbceń Rachuek prawdopodobeństwa statstka ( η ),..., ; η,..., η ; σ,..., σ ep πσ σ Wówczas log fukcj warogodośc ma postać (pomjam wraz ezależe od parametrów): ( ) ( η ( ; )) l L +... σ Wkład 4-3

4 Zasada ajmejszch kwadratów głos, że parametr ależ dobrać tak, ab spełał oe waruek: ( ) ( η ( ; )) R m( ) σ W przpadku skorelowach pomarów korzstam z welowmarowego rozkładu Gaussa ze zaą macerzą kowaracj V: Wted Metoda ajmejszch kwadratów ( ( ) T ( )) - g( ; µ,v) ep µ V µ / ( π) V, j ( ) l ( ( ; ))( V ) ( ( ; )) L η j j η j +... R a zasada ajmejszch kwadratów sprowadza sę do waruku Zależość fukcją η ; V η ; m ( )( ) j j ( j ) ( ) ( ), j ( ) ; η ( ) ( ) azwam krzwą regresj ajlepszego dopasowaa metod ajmejszch kwadratów. Parametr to estmator MNK. M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-4

5 MNK przpadek low Rozważm stuację ked zwązek pomędz parametram, a welkoścą merzoąηprzjmuje postać lową: η ( ; ) ϕ ( ) +ϕ ( ) ϕ ( ) Dla puktów pomarowch (, ),, otrzmujem układ rówań: gdze: η ϕ ( ) +ϕ ( ) ϕ m ( ) η η ϕ ( ) +ϕ ( ) ϕ m ( ) η ϕ ( ) +ϕ ( ) ϕ ( ) m m η ϕ ( ) ϕ ( ) ϕ m( ) m η ϕ ϕ ϕ ( ) ( ) ( ) η Φ η ϕ ( ) ϕ ( ) ϕ m( ) m Macerz Φ azwam macerzą kostrukcją. m m m m ηφ M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-5

6 MNK przpadek low Zasada ajmejszch kwadratów przjmuje postać (ozaczee Q V - ): T T T T R ( Φ ) Q( Φ ) ( Φ ) Q( Φ ) m( ) Wpszem welkośćrw jawej postac: m m R ϕ k ( ) k Qj j ϕ l ( ) l Qj j, j k l, j R m m m ϕ ( ) Q Q ϕ ( ) + ϕ ( ) Q ϕ ( ) k k j j j l j l k k j l j l, j k, j l, j k, l m Q ϕ ( ) Q j j k k j j, j, j k Różczkujem względem parametru p : m m + ϕ ( ) Q ϕ ( ), j k, l M. Przbceń Rachuek prawdopodobeństwa statstka m k kp j j k kp j l j l p, j k, j k, l, j k, l k k j l j l ϕ ( ) δ Q + ϕ ( ) δ Q ϕ ( ) + m + ϕ ( ) Q ϕ ( ) δ k k j l j lp m m ϕ ( ) Q + ϕ ( ) Q ϕ ( ) + ϕ ( ) Q ϕ ( ) p j j p j l j l k k j p j, j, j l, j k Wkład 4-6

7 MNK przpadek low Zameając deks l a k oraz zmeając mędz sobą azw deksów oraz j otrzmujem (macerz QV - jest smetrcza): m R ϕ p( ) Qj j + ϕ p( ) Qj ϕ k ( j ) k p,,..., m 0 p, j, j k T T ( Φ Q ) ( Φ Q Φ ) p Otrzmalśm układ lowch rówań (zwach ormalm) a ezae parametr w postac macerzowej: T T M. Przbceń Rachuek prawdopodobeństwa statstka p Φ QΦ Φ Q o rozwązaach lowo zależch od merzoch welkośc: T T T T T ( Q ) Q ( V ) V Φ Φ Φ Φ Φ Φ W Φ V Ψ W Ψ Jeśl welkośc merzoe są eobcążoe, to róweż eobcążoe są estmator parametrów: T T E E Ψ Ψ E Ψη Φ V Φ Φ V Φ [ ] [ ] ( ) Wkład 4-7

8 MNK przpadek low Macerz kowaracj estmatorów parametrów ma postać: T V ( ( )) ( ) T T T T ( ) ( )( ) E Ψ η Ψ η Ψ η η Ψ Ψ ( η )( η ) E E Ψ T T T T W V ( )( ) V W W V V V W W V Φ E η η Φ Φ Φ Φ Φ W W W V W Φ V T a węc: ( ) Φ Dspoując estmatam parametrów możem wkorzstać je do terpolacj bądź ekstrapolacj, kostruując krzwą ajlepszego dopasowaa: T η ( ) ϕ ( ) +ϕ ( ) ϕ m( ) m ϕ ( ) Błąd takej operacj wos: [ ] ( )( ) T T T V η ( ) E ( η ( ) η ( )) E ϕ ( )( ) ϕ ( )( ) T T T E ϕ ( )( )( ) ϕ ( ) ϕ ( ) W ϕ ( ) Twerdzee Gaussa-Markowa: Pośród wszstkch eobcążoch estmatorów, które są lowm kombacjam welkośc merzoch, estmator metod ajmejszch kwadratów mają ajmejszą warację. M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-8

9 Ocea jakośc dopasowaa Ocea jakośc dopasowaa a podstawe resztkowej różc w mmum: ε η m Wartość oczekwaa macerz kowaracj są odpowedo rówe: [ m] [ ] ε η η η E E Ψ E E E ηψηη 0 [ ] ( )( ) T V ε m E η η... V[ ] V η η Ocea błędów sstematczch wpłw: z V[ ] V[ η ] Ocea jakośc dopasowaa a podstawe wartośc R m : porówae model m mejsze R m tm lepsza zgodość (uwaga: dopasowując weloma - stopa do puktów dostaem R m 0) gd merzoe welkośc pochodzą z rozkładu ormalego, wówczas estmator parametrów mają rozkład ormale, atomast welkość R m jest statstkąχ wlosowaą z rozkładu o (-m) stopach swobod R m χ -m o le postulowaa zależośćη(;,, m ) jest słusza. (Prawda jeśl macerz V() jest macerzą kowaracj, a e jej estmat.) M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-9

10 MNK dopasowae l prostej Rozważm dopasowae l prostej do dach dośwadczalch: η η ηφ η Zakładam, że pomar e są skorelowae: Wprowadzam ozaczea: 0 0 s s 0 0 s V 0 0 V 0 0 s 0 0 s 0 0 s s s s s s s M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-0 0

11 MNK dopasowae l prostej Kostruujem macerze W Ψ: 0 s s s T V Φ Φ s s 0 s W T ( Φ V Φ ) s s s s T W V Ψ Φ s s s s M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-

12 MNK dopasowae l prostej Wzaczam estmator parametrów l prostej s s Ψ s s Z macerz W V[ ] odcztujem: V[ ] V[ ] cov[, ] Oblczam wartość statstkrw mmum: M. Przbceń Rachuek prawdopodobeństwa statstka ρ (, ) R m Poeważ parametr są lowm fukcjam welkośc merzoch, węc pozomce stałej wartoścr(czlχ ) są elpsam: ( ) ( ) + ρ m [ ] [ ] [ ] [ ρ ] R R D D D D Wkład 4-

13 Dopasowae l prostej - dgresja Dopasowae l prostej z pomęcem rachuku macerzowego: η f ; + ( ) ( ) Zajdujem wartośc parametrów dla którch R osąga mmum: R s s s s R s s s s s s s s wprowadzając ozaczea: dostajem: ( ) ( ) 0 0 s s M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-3 3

14 MNK dopasowae l prostej La prosta ajlepszego dopasowaa pozwala dokoać terpolacj lub ekstrapolacj: η ( ) + Błąd tej operacj da jest przez: V [ ] [ ] T η ϕ ( ) W ϕ ( ) + ( + ) + + V Problem dopasowaa do dach welu elowch fukcj moża sprowadzć do problemu dopasowaa l prostej: ab l a + l b a + b b a l a + bl a + b b a e l a + b a + b b + a a + b a+ b M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-4

15 Dopasowae l prostej Przkład: Wkoao badaa wpłwu kofe a sprawość wkowaa prostch czośc maualch. Trzdzestu studetów podzeloo losowo a trz grup po dzesęć osób każdej grupe podao róże lośc kofe: 0 mg, 00 mg 00 mg. Po dwóch godzach poproszoo ch o wkoae z maksmalą szbkoścą czośc polegającej a stukau palcam po stole. Wk pomarów przedstawa tabela. Dawka [mg] Lczba stukęć palcam a mutę ± σ ± ± ± 0.70 Lczba stukęć [m - ] Dawka [mg] Prosta dopasowaa MNK: ( 447. ± 07. ) + ( 007. ± ) ±σ ±σ Kowaracja współczk korelacj pomędz estmatoram parametrów: cov[, ] ( ) ρ,. 08 M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-5 5

16 Dopasowae l prostej Kwatle η ( ) + ± + V[ ],5 0,5 0-0, η ( 400) 55. ±. 5 -, zbkość stukaa [m - ] Lczba stukęć [m - ] < F( ) < + + F(q ) q Dawka [mg] + F( q ) + µ q σ M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-6 6

17 R m Dopasowae l prostej Jeśl hpoteza o zależośc lowej jest prawdzwa, to statstkarma rozkład χ o -m 3 - stopach swobod P( χ > ) χ ( ) Jeśl zażądam Rm u du R ( R ) ( ) ( ) P χ > χ ( u) du R Ozacza to, że średe odchlee każdego puktu od dopasowaej l wos w jedostkach tpowej epewośc wos tlko M. Przbceń Rachuek prawdopodobeństwa statstka m / Poeważ parametr są lowm fukcjam welkośc merzoch, węc pozomce stałej wartoścr(czlχ ) są elpsam: + ρ [ ] [ ] [ ] [ ρ ] R R D D D D R m m m m Wkład 4-7 7

18 Dopasowae krzwej ekspoecjalej Przkład: W tabel podae są dae o lczbe k lśc rzęs wodej jako fukcj czasu k lczoego w tgodach. k k Uwag: a e b l l a + b z a + b ozaczea: k k zaedbujem ewdete korelacje, zakładam, że epewośc zlczeń podlegają rozkładow Possoa: z σ z l σ z σ Lczba lśc k Lczba lśc k Tdzeń k 0 5 Tdzeń k M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-8 8

19 Dopasowae krzwej ekspoecjalej Lczba lśc k z ( 8. ± 008. ) + ( 05. ± 00. ) a ±σ b ±σ a cov[ a, b] ρ R m b ( R ) 83. P χ > 006. m a a a l a a e σ e σ [ ] ( 65. ± 3. )ep ( 05. ± 00. ) a l( k) a Tdzeń k Tdzeń k M. Przbceń Rachuek prawdopodobeństwa statstka Wkład 4-9 9