Regresja wielokrotna. Przygotowano w oparciu o Applied Linear Regression Models Neter, Wasserman, Kutner

Transkrypt

1 acj Kotrzwk Rgrja wlokrota Przygotowao w oarcu o Ald Lar Rgro odl Ntr Warma Kutr odl rgrj: - zmych zalżych... - β +β +...+β - - +ε Jśl założymy ż wówcza otać rówoważa jt otac: k β k k + ε Zakładając E(ε wówcza E(β +β +...+β - - (tzw. Fukcja rakcj/odowdz ro fucto Jt to hrłazczyza. Itrrtacja aramtru β k : wkazuj o a zmay z względu a jdotkowy wzrot zalżj zmj k rzy utaloym ozom ozotałych zmych. Warto zauważyć ż a modl każda z zmych ma jdakowy wływ (dmokracja zmych zalżych. Ogóly modl rgrj lowj W ogólj ytuacj zm... - muzą rrztować różych zalżych zmych. Zdfujmy Ogóly modl rgrj lowj o łędach ormalych w otac: β +β +...+β - - +ε gdz β β...β - ą aramtram... - za wlkośc ε - dn( Wok z otac : -N(β +β +...+β - - ; Przykład: β +β +β +ε Przykład: Torę rgrj moża wykorzytać w rzyadku /(β +β +...+β - - +ε dfując ową zmą zalżą otac Z/β +β +...+β - - +ε Za macrzowy Rówa rgrj moża zaać w otac macrzowj: β+ε (wymary: xx x+x Douzczamy ytuację ż zma jt.: otac *

2 L L K β β β β ε ε ε ε -wktor rakcj (zma zalża β- wktor aramtrów macrz tałych (zm zalż ε-wktor zalżych zmych o rozkładz ormalym o E(ε macrzy kowaracj I } { ε. Łatwo wdać z E(β atomat macrz kowaracj dla wyo I } { (x. Etymatory ajmjzych kwadratów Ozaczmy wktor tymowaych aramtrów:. Rówa ormal ma otać Etymatory ą otac; ( - (x x x Wartośc tortycz rzty Ozaczmy wktor wartośc tortyczych (doaowaych wykających z modlu Ŷ rzz ˆ a wktor rzt ˆ rzz ˆ ˆ ˆ ˆ. Wlkośc tortycz dfuj ę jako ˆ a rzty jako ˆ. Poadto rzyjmjmy ozacz: ( ' ' ˆ H H. Stad (I-H wówcza macrz kowaracj ma otać { } ( H I która jt tymowaa rzz { } ( H I SE. W zczgólośc { } ( h gdz h jt lmtm z dagoal macrzy H. ( ' ' ' h gdz (-ty wrz macrzy (rzyom: ( SESSE/(- zczgóły ożj

3 Aalza waracj Przyom: SSE SSR ( ( ˆ (rror um of quar ˆ (rgro um of quar Z dfcj wyka ż SSTOSSR+ SSE (. (total um of quar ˆ Uzaad dkomozycj: ˆ + ˆ (całkowt odchyl (SSTOodchyl doaowaa modlu rgrj wokół śrdj (SSR+odchyl wokół doaowaj l rgrj (SSE Z owyżzgo zwązku wyka: ( ( ˆ + ( ˆ Im wękzy jt SSTO tym wękza jt waracja omędzy orwacjam. Im wękz jt SSE tym wękz jt odchyl orwacj od doaowaj rotj rgrj. Im wękz SSR w touku do SSTO tym wękz jt zacz rgrj w o (wyjaśau całkowtj waracj orwacj. SSTO -(/ J [I-(/J] SSE (- (- - (I-H SSR -(/ J [H-(/J] gdz L J (x L SSTO - t. woody SSE - (oważ tymujmy aramtrów SSR - (odowada lcz zmych zalżych Źródło waracj SS Df S Zmość wwątrz SSR -(/ J - SRSSR/(- modlu Zmość rzt SSE - - SESSE/(- Zmość całkowta SSTO -(/ J - E(SE E(SR +ujma wlkość.:dla -: E(SR [ ]/ + β ( + β ( + ββ ( ( Tt F dla modlu rgrj Ttujmy czy zachodz zwązk omędzy zmą zalżą układm zmych zalżych zadaym modlm rgrj tz. H: β β...β - 3

4 H: wzytk β k ą zram Statytyka ttowa: F*SR/SE Pozom totośc α (łąd Igo rodzaju Jśl F*<F(-α ;-- rzyjmuję H Jśl F*>F(-α ;-- rzyjmuję H 4

5 5 Wółczyk doaowaa R SSR/SSTO-SSE/SSTO (*% okrśla w lu roctach zmość jt wyjaśaa rzz zmość modlu. rzy roorcjoalą rdukcję zmośc wykającą z zatoowaa modlu rgrj. Właość: R Jśl wzytk β k to R Jśl R to mu zachodzć ˆ Duż wlkośc R ozaczają ż doaoway modl jt użytczy : rówoczś mogą wytęować duż wlkośc SE któr umożlwają właścw wokowa. Doda zmj zalżj do modlu moż zwękzyć wlkość tgo wółczyka (gdy zmjzyć. Dzj ę tak oważ SSE gdy ę zwękzy rzy wękzj lcz zmych zalżych a SSTO jt zawz tak amo. odl koomtryczy ow yć ozczędy. Potrza jt mara która ędz rfrować modl rotz. Porawoy wółczyk dtrmacj : SSTO SSE SSTO SSE R Wółczyk korlacj jt okrślay jako R R Wokowa o aramtrach Etymatory ajmjzych kwadratów ą ocążo E(β acrz kowaracj: { } { } { } { } { } { } { } { } { } { } wyo {} ( - Etymowaa macrz kowaracj: { } { } { } { } { } { } { } { } { } { } wyo {} SE( - Przdzałowa tymacja aramtrów Dla rgrj o łędach ormalych: { } (... k t k k β k zatm rzdzały ufośc dla β k z rzdzałm ufośc -α ą otac: k ±t(-α/;-{ k }

6 Ttowa wółczyków H: β k H: β k Statytyka t* k /{ k } Rguła dcyzyja: Jśl t* t(-α/;- rzyjmujmy H w ym rzyadku rzyjmujmy H Progoza Przdzał rogozy dla jdgo kroku z rawdoodońtwm -α dla owych orwacj h(owy odowadającj wlkośc zmj zalżj h wyo: ˆ ± t α / ; ( { } h h( owy gdz { h(owy }SE+ { Ŷ h }SE+ h {} h SE(+ h( - h Doór zmych zalżych do modlu Wzrot zmość modlu rgrj o dołącza zmj do modlu zawrającgo już zmą : SSR( SSE( -SSE( SSR( - SSR( (otata rówość wyka z SSTOSSR+SSE Aalogcz zwązk gdy dołączymy 3 do modlu w którym rozważao już. SSR( 3 SSE( -SSE( 3 SSR( 3- SSR( Podo zadamy wływ dołącza klku zmych.: SSR( 3 SSE( -SSE( 3 SSR( 3 - SSR( Dkomozycja SSR SSR( SSR( + SSR( a oważ koljość dków w lwj tro rówośc ma zacza zatm zachodz: SSR( SSR( + SSR( W aalogczy oó moża zaać zwązk: SSR( 3 SSR( + SSR( + SSR( 3 SSR( + SSR( 3 Źródło zmośc SS df S Rgrja SSR( 3 3 SR( 3 3 SSR( SSR( SSR( 3 SR( SR( SR( 3 Błąd SSE( 3-4 SE( 3 Całkowta SSTO - Uzaad: Lcza t. woody (dgr of frdom df dla SSR( 3 mu yć 3 gdyż SSR( 3 SSR( + SSR( + SSR( 3 a każda z kładowych ma df o dodatkowy aramtr do wytymowaa. Ttowa totośc wółczyków rgrj Rozważmy β +β +β +β 3 3 +ε (jzy tt jt rówoważy z ttm owyżj o (t* F* H: β 3 6

7 H: β 3 Ozacz F ozacza modl ły w tj ytuacj oz. ż rozważamy 3 R modl zrdukoway tz Wówcza: SSE(FSSE( 3 df F -4 (o 4 aramtry Jśl H to mamy β +β +β +ε (oczywśc tutaj łędy ą to jt to amo co owyżj. Wówcza SSE(RSSE( df R -3 (o 3 aramtry ( SSE( R SSE( F SSE F Statytyka F* (rzyadk ogóly. df R df F df F Rguła dcyzyja: Jśl F* F(-α; df R - df F df F rzyjmujmy H w ym rzyadku rzyjmujmy H Warto zauważyć ż df R - df F df F - (gdz to lcza aramtrów rgrj Wółczyk dtrmacj czątkowj Ida R mrzy roorcjoalą rdukcję zmośc uzykaą orzz rozważa całgo zoru zmych zalżych. Wółczyk korlacj czątkowj mrzą rzgowy wływ jdj z zmych a wyjaśa zmośc zmj gdy ozotał zm zalż ą już włączo do modlu. Rozważmy: β +β +β +ε SSE( mrzy rozroz gdy do modlu jt włączoa zma SSE( mrzy rozroz gdy do modlu włączo ą zm Rdukcja zmośc zwązaa z zmą gdy jt już w modlu wyraża ę orzz wółczyk korlacj czątkowj: r SSE( SSE( SSR(. SSE SSE ( ( Ogóljzy rzyadk: r.3 r 4.3 ( 3 ( 3 ( 4 3 ( SSR SSE SSR SSE 3 Wółczyk korlacj czątkowj Wółczyk korlacj czątkowj : r k. g(β k (r k.^.5 Wółczyk t toowa ą do dtyfkacj zmych zalżych a odtaw tych formacj włącza ę lu zm do modlu. 7

8 Przykład r r r r. r r r.3 ( ( ( ( r r r ( r ( r.3.3 gdz r to korlacja omędzy Stadaryzoway modl rgrj wlokrotj Umożlwa orówa wytymowaych aramtrów w tych amych jdotkach Przykład: ˆ + +. a rwzy rzut oka ma toty wływ a a zkomy. Wok moż yć łędy o odao jdotk rzyuśćmy zatm ż w dolarach w tyącach dolarów w ctach Wływ wzrotu o dolarów zmj a jt tak am jak wzrot zmj o dolarów Umożlwa kotrolę łędów zaokrąglń w roc tymacj aramtrów. Zagad mało tot dla modl o 3ch zmych zalżych lu mj tutaj łędy zaokrąglń ą tak tot zwłazcza jśl mazya lcząca używa odwójj rcyzj tj 6 cyfr o rzcku Ukęc łędów zaokrąglń odywa ę orzz zatoowa tzw. traformacj korlacyjj ' ' k k k k...- k gdz ( k ( k k odl rgrj dla owych zmych k azyway jt modlm tadardowj rgrj wyraża ę orzz β +...+β - -+ε ( ma wyrazu wolgo! Jgo uwzględ tak okaż ę zclow o tymatory ajmjzych kwadratów dają mu wartość rówą Itj zwązk omędzy owym tarym aramtram: β k ( / k β k (k...- β β... β Uwaga: Dla tadaryzowago modlu rgrj macrz r tz.jt macrzą korlacj. W kokwcj jj lmty alżą do rzdzału [-] co owoduj ż wytęują tak lcz rolmy rzy odwracau macrzy jak w tadardowy modlu. Poadto r. Prolm w olczach wyka rzd wzytkm rzy olczau ( - 8

9 Uzaad: ' ' ( ( ( ( [ ] / r ( ( Przykład: Dla : ' r r r ' r r r. r r Itrrtacja Z orówaa wlkośc wółczyków wycągay jt wok o tym która zma ma wękzy wływ a zmą zalżą. Z taką trrtacją alży yć jdak otroży zwłazcza w rzyadku zmych zalżych mędzy którym wytęuj zalżość. Uwaga: Itrrtacja wółczyków rgrj tj. jak zma ę zma zalża jśl wą zmą zalżą zmmy o jdotkę a ozotał utalmy jt rawdłowa gdy wśród zmych zalżych wytęuj la korlacja gdyż zmając jdą z zmych zalżych zmamy rówoczś korlowaą z ą ą zmą zalżą. Aalza odtających wartośc zmj Na oczątku yła dfcja h. oża okazać ż zachodzą dla go: h h (gdz to lcza aramtrów. h jt wkaźkm czy day -ty rzyadk jt odtający (w odu do zmych zalżych azyway jt dźwgą. Uzaad: moża okazać ż jt o odlgłoścą omędzy -tym rzyadkm a środkm daych (rzyadk śrd. Orwacja. Czym wękza wartość h tym ardzj odtający jt -ty rzyadk a jdoczś tym wękzy jt jgo wływ a olcz wartośc tortyczych Ŷ. Jt tak dlatgo ż Ŷ. jt lową komacją gdz h jt wagą ( ˆ H.. W rzyadku. Czym wękz h tym mjza waracja łędu gdyż { } ( krajym tj. gdy h to { } h zatm wartość tortycza okrywa ę z rawdzwą. Zatm rzyadk z dużą wlkoścą h mają zyt dużą warację rzt zatm wykryc wartośc odtającj a odtaw orwacj wyłącz rzt moż yć możlw. Wkazówka raktycza: Orwację uzaj ę za odtającą jśl h >/. h >5 mów ę ardzo duża dźwga <h <5 śrda wlkość dźwg 9

10 Uwaga orządkująca: Ida: Najrw alży zdtyfkować lmty odtając otm rzrowadzć dla ch aalzę ch wływu a aalzę modl. Natę odjąć dcyzję czy wylmować rzyadk z azy daych. Aalza odtających wartośc zmj Elmacja rzt tudtyzowaych Rzty: ˆ Stadaryzowa rzty: SE Wwętrz tudtyzowa rzty W ytuacj gdy mają zacząco róż waracj { } ( ( h touku do { } alży rozważyć w któr umożlwą am rozoza różc w rzyadku łędów. Wówcza wwętrz tudtyzowa rzty dfuj ę jako: * gdz { } { }SE(-h jt ocążoym tymatorm waracj Rzty mają róż rókow waracj o l wartośc dźwg h zmają ę zacząco odcza gdy wwętrz tudtyzowa rzty mają tałą warację ( o l modl jt właścwy. Uuęt rzty (dltd rdual otywacja: Załóżmy ż dla wgo jt orwacją odtającą. Na doaowa wółczyków rgrj moż mć duży wływ taka orwacja. W kokwcj wartość tortycza Ŷ moż yć ardzo lko tz. rzta ˆ jt mała a to śwadczy o tym ż orwacja jt odtająca. Ia ytuacja ędz jśl rzd dokoam aalzy uuęto odtający rzyadk. Wówcza rzta ędz duża odzwrcdlając tym amym tyowość. Ida: lmujmy orw. odtającą rzrowadzamy aalzę rgrj atę do wytymowago modlu rgrj odtawamy wylmoway rzyadk olczamy tzw. uuęt rzty: d ˆ ( gdz ot.ymol ozacza z ty rzyadk zotał wylmoway z aalzy rgrj. oża okazać ż d (czyk wylczo w oarcu o wzytk rzyadk. h Orwacja: h roś to roś d. Rzty t w odróżu od rwotych dtyfkują orwacj odtając. Fakt: (d SE ( /(-h gdz SE ( zotało olczo gdy -ty rzyadk zotał omęty. d t( d (

11 Studtyzowa uuęt rzty (Studtzd Dltd Rdual Komacja dwóch owyżj zdfowaych rzt rowadz do ojęca Studtzd Dltd Rdual: * d d. d SE h { } ( ( Wyzacza takch rzt mu łączyć ę z dokoywam aalzy rgrj rzy każdorazowym wylmowau koljgo rzyadku o: d * SSE( h Fakt d * - t(-- / Duż wartośc d * rzmawają za tym ż -ta orwacja jt odtająca Idtyfkacja rzyadków wływowych mary DFFITS DFBETAS odlgłość Cook a Umjąc zdtyfkować orwacj odtając alży zadać czy ą to rzyadk wływow. (DFFITS ˆ ˆ SE ( h ( (DF dffrc Jt to mara okrślająca wływ -tgo rzyadku a tortyczą wartość Ŷ (tj. gdy wzytk rzyadk ą uwzględo w aalz. Itrrtacja: DFFITS dla -tgo rzyadku rzdtawa z gruza lczę wytymowaych odchylń tadardowych wływu -tgo rzyadku. DFFITS moża lczyć a odtaw wzytkch rzyadków: / * h DFFITS d h Jśl -ty rzyadk jt odtający ma dużą wartość h to mara DFFITS roś (a wartość zwzględą. Zaada raktycza: dla małj lu śrdo lczj róy: rzyadk jt wływowy jśl DFFITS > dla lczj róy DFFITS >(/^.5 DFBETAS rzy wływ -tgo rzyadku a każdy z wółczyków rgrj k (k...- k k ( ( DFBETAS k ( k...- gdz SE( ckk k( jt ozacowam k-tgo wółczyka gdy uumy -ty rzyadk. c kk jt k-tym lmtm z dagoal macrzy ( -

12 Zaada raktycza: dla małj lu śrdo lczj róy: rzyadk jt wływowy jśl DFBETAS > dla lczj róy DFFITS >/^.5 Odlgłość Cook a rzy wływ -tgo rzyadku a cały wktor tymowaych aramtrów modlu rgrj. ( ( ' ' ( ( D SE gdz ( jt wktorm aramtrów rgrj wytymowaym a odtaw daych z omęcm - tgo rzyadku atomat gdy do aalzy douzczoo wzytk wlkośc. arę tę moża lczyć a odtaw łgo modlu gdyż: ( h D SE h Czym wękz jt lu h tym wękz jt D. Przyjmuj ę ż rozkład D rzylża ę orzz F(-. Wyzaczając wlkość rctyla wokuj ę o rol -tgo rzyadku: a rctyl< to -ty rzyadk ma mały wływ a wółczyk rgrj rctyl>5 to -ty rzyadk ma duży wływ a doaowa wółczyków rgrj Uwaga krytycza: Prztowa mary wływu dago rzyadku zwykl właścw dagozują. Jdak trudo wyorazć o ytuację gdy mamy orwacj tyow lko. Wówcza uuęc jdj z ch ma totgo odzwrcdla w wółczykach o ta druga daa tuzuj jj rak wływu. Wokowa o wływ rzyadku Jśl ma wyraźgo wływu orwacj tyowj a aalzę rgrj to ma u wrowadzaa cjalj dagotyk dla takgo rzyadku. Sytuacja zma ę gdy wływ jt toty. Załóżmy ż mamy daą odtającą o totym wływ a aalzę rgrj. umy zdcydować co zroć z taką orwacją. jśl tją rzłak wkazując a tyową ytuację którj wykm jt tyowy rzyadk taka ytuacja jt tota o ardzo oradycza (. zawał oratora krawark to uuwamy rzyadk Jśl łąd omaru mał mjca yło to rzjawm tyowgo zdarza wówcza to raczj modl jt odowd (a wkutk uwzględa dodatkowj zmj zalżj 3 Jśl orwacja jt tyowa ma uzaada ż jt wykm łędu gromadza daych oraz ma owj trrtacj jj wytęowa. Wówcza o wl lzym ouęcm ż jj lmacja jt zmjz jj wływu. Jśl orw. odt. dotyczy jdj z zmych zalżych wówcza alży zatoować traformację zmych tj logarytm rw. kwadratowy. Oczywśc to mam jśl traformacja zrodz ych rolmów.