Regresja wielokrotna: diagnostyka i selekcja modelu regresji. Multiple Regression: Diagnostics and Selection of Regression Models

Transkrypt

1 Regresa welokrotna: dagnostyka selekca modelu regres Multple Regresson: Dagnostcs and Selecton of Regresson Models Roman Konarsk Unwersytet Gdańsk UWAGA: Proszę ne cytować bez pozwolena autora. Adres Pocztowy: Dr Roman Konarsk Instytut Psycholog Unwersytet Gdańsk ul. Pomorska Gdańsk Tel: (58) Fax: (58) E-mal: Lpec 2004

2 1 STRESZCZENIE Dagnostyka założeń modelu regres est stotnym elementem ostrożne analzy statystyczne. Analza regres pozbawona elementu weryfkac oraz korekty założeń teoretycznych testowanego modelu regres może prowadzć do netrafnych wnosków badawczych. Szczególne stotne dla testowanego modelu regres są problemy wpływowych obserwac, współlnowośc oraz obecność błędu pomarowego w zmennych wyaśnaących. W obecnym artykule podsumowuę nabardze stotne założena modelu regres, metody weryfkac oraz korekty braku spełnena tych założeń. W dagnostyce statystyczne szczególną rolę odgrywaą metody grafczne. Użyteczność oraz nterpretaca różnorodnych metod grafcznych est szczególne podkreślana w obecne prezentac zagadneń dagnostycznych. Prezentaca est przeprowadzona na przykładach konkretnych analz statystycznych.

3 2 WPROWADZENIE Analza regres est zapewne naszerze stosowanym modelem statystycznym, gdyż pozwala na szacowane sły formy zwązku pomędzy zmennym oraz na predykcę edne zmenne bazuąc na wedzy o wartoścach skorelowanych z ną nnych zmennych. Ponadto, model regres stanow podstawę ogólnego modelu lnowego (general lnear model, GLM) (McCullagh, Nelder, 1989) oraz modelu równań strukturalnych (structural equaton model, SEM) (Bollen, 1989). Zrozumene założeń ogranczeń regres ma zastosowane w praktyce stosowana tych, pochodnych regres, model statystycznych. Analza założeń modelu regres est ważna, poneważ trafność wynków analzy regres est zależna od stopna spełnena e założeń teoretycznych. Obecne podsumowane prezentue narzędza dagnostyczne pozwalaące na weryfkacę korektę założeń analzy regres. Prezentacę rozpocznę od przedstawena podstawowych konceptów założeń regres. Następne przedę do takch zagadneń dagnostycznych ak problemy zależnośc lnowe, wpływowych obserwac, heterogenczność waranc, nelnowość, oraz konsekwenc błędu pomarowego. Każdy problem dagnostyczny rozpatrzę pod względem detekc, konsekwenc, oraz akc korekcynych danego problemu. Prezentaca est przeprowadzona na przykładach konkretnych analz statystycznych. PODSTAWOWE KONCEPTY I ZAŁOŻENIA REGRESJI MODEL REGRESJI Model klasyczne regres to równane Y 0 1X12X2 px p

4 3 dla obserwac = 1, 2,..., n. W równanu regres Y est wartoścą zmenne wyaśnane dla obserwac, X ( = 1, 2,..., p) są wartoścam p zmennych wyaśnaących dla obserwac, est błędem losowym obserwac, a 0 są neznanym parametram modelu. Jeżel mamy edną (p = 1) zmenną wyaśnaącą nasz model est nazywany regresą prostą. Jeżel mamy węce nż edną (p > 1) zmenną wyaśnaącą nasz model est nazywany regresą welokrotną. Kluczowym założenem modelu regres est brak błędu pomarowego w zmennych Y X. Pozostałe założena odnoszą sę do rozkładu pozostałośc regres, które typowo zapsuemy ako NID 0, 2 co oznacza, że maą rozkład normalny nezależny (normally and ndependently dstrbuted, NID) ze średną wartoścą równą zero, 2 całym zakrese X, E 0, oraz stałą warancę w 2. W emprycznych zastosowanach modelu regres powyższe założena ngdy ne są dokładne spełnone. Dlatego muszą one być zweryfkowane konsekwence braku spełnena tych założeń muszą być rozważone. METODA NAJMNIEJSZYCH KWADRATÓW W analze regres parametry modelu 0 ne są znane muszą być oszacowane w próbe danych. W tym celu, kryterum sumy namneszych kwadratów (ordnary least squares, OLS) est stosowane do oszacowana nalepszego lnowego zwązku pomędzy zmenną wyaśnaną (Y) zmennym wyaśnaącym X. Model regres szacowany w próbe danych est typowo zapsany ako p p Y b b X b X b X e Ŷ e

5 4 gdze Y X są tym samym wartoścam co w modelu dla populac. Wartośc dopasowane Y ˆ są wartoścam przewdywanym dla Y, b 0 est szacunkem stałe regres 0, współczynnk regres b (b 1, b 2,..., b p ) są szacunkam odpowadaących m parametrów populac ( 1 2,,, p ), a e są szacunkam pozostałośc regres. Metoda OLS pozwala na selekcę takch wartośc b0 oraz b, które mnmalzuą ogólny błąd e Y Yˆ w tak sposób, że suma kwadratu pozostałośc, RSS 2 2 = e (resdual sum of squares), est namnesza z możlwych. Poneważ est średną wartoścą kwadratu pozostałośc w populac możemy oczekwać, że 2 neobcążonym estymatorem est średn kwadrat pozostałośc (resdual mean square) MSE = RSS / (n - p - 1). Jeżel założena odnośne rozkładu pozostałośc są spełnone to metoda OLS posada właścwośc BLUE (best lnear unbased estmator). Estymator OLS est nalepszym (daącym namnesze warance parametrów) lnowym neobcążonym estymatorem parametrów modelu regres. Jeżel założena modelu regres ne są spełnone to metoda OLS ne posada właścwośc BLUE. W konsekwenc, szacowane parametry modelu mogą być obcążone, a ch warance ne są namnesze z możlwych. PODSTAWOWE KONCEPTY ANALIZY REGRESJI W dalsze częśc prezentac posłużę sę następuącym przykładem syntetycznym 1. Poradna psychologczna pragne określć efektywność nowego programu terap rodznne. W tym celu, losowo wyselekconowano 25 par pacentów z pośród wszystkch par rozpoczynaących terapę w cągu ostatnch 10 mesęcy. Zmenną wyaśnaną w testowanym modelu regres est efektywność terap (ET), to

6 5 est zmana (przyrost) w deklarowanym zadowolenu z pożyca małżeńskego pomędzy pozomem na rozpoczęce terap pozomem osągnętym po określonym okrese trwana terap. Długość terap (DT), merzona w tygodnach, est naważneszą zmenną wyaśnaącą. Poneważ długość pożyca małżeńskego (DPM), merzona w latach, lczba dzec (LD) mogą meć wpływ na efektywność terap te zmenne są równeż zawarte w testowanym modelu regres. Dane dla 25 par pacentów są przedstawone w Tabel tuta Tabela Wynk analzy regres, za pomocą paketu statystycznego SAS (SAS Insttute, 1999a), są następuące: ET DT 2. 01DPM 4. 25LD W powyższym równanu, współczynnk regres b określaą zmanę w zmenne wyaśnane Y dla zmany o 1 ednostkę w dane zmenne wyaśnaące, X utrzymuąc pozostałe zmenne wyaśnaące X k na stałych pozomach. Na przykład, każdy dodatkowy tydzeń terap (DT) est zwązany z podwyższenem zadowolena z pożyca małżeńskego (ET) o 0.61 ednostek, utrzymuąc długość pożyca małżeńskego (DPM) oraz lczbę dzec (LD) na stałych pozomach. Jedną z naważneszych mar efektywność zastosowanego modelu regres est R 2 (R-kwadrat). R 2 est frakcą zmennośc w Y, która est wyaśnana przez zmany w zmennych X. Gdy zmenne X wyaśnaą całą zmenność w Y, R 2 est +1. Jeżel ne ma zwązku pomędzy Y zmennym X, R 2 est zero. R 2 to także kwadrat korelac mędzy wartoścam przewdywanym Y ˆ przez nasz model regres oraz

7 6 wartoścam zaobserwowanym Y, R 2 r 2 ŶY. W naszym przykładze R 2 = 0.35 co oznacza, że DT, DPM LD wspólne wyaśnaą 35% zmennośc w ET. Błędy standardowe (coeffcent standard errors) współczynnków regres s b są marą zakresu prawdopodobnych wartośc szacowanych współczynnków w populac. Na przykład, możemy stwerdzć z ufnoścą 95%, że prawdzwa wartość danego współczynnka est w grancach ±2.0 błędu standardowego od szacowane wartośc 2. Błędy standardowe współczynnków regres dla naszego modelu są podane w nawasach ponże szacowanych wartośc. Na przykład, błąd standardowy współczynnka regres dla DT wynos s b W konsekwenc, możemy stwerdzć z ufnoścą 95%, że prawdzwa wartość tego współczynnka znadue sę w przedzale 0.61 ± 2(.26). DT Statystyk testowe-t merzą statystyczną stotność zmennych X w predykc zmenne Y. Jeżel dana zmenna X ne est stotna to e współczynnk regres w badane populac. Wartość statystyk testowe-t dla danego współczynnka to loraz 0 szacunku tego współczynnka ego błędu standardowego b s b. Wartośc statystyk testowe-t, w przyblżenu, wększe nż 2 oznaczaą, że dana zmenna X est ważna ze statystycznego punktu wdzena 3. W naszym przykładze, wartośc statystyk testowych-t dla DPM (t = -0.61) LD (t = -0.52) są blsko zera, dlatego te zmenne prawdopodobne ne przewduą pozomu ET. Natomast DT wydae sę być ważna gdyż wartość e statystyk testowe-t > 2 (t = 2.37). Innym słowy, zaobserwowana relaca (b DT = 0.61) pomędzy efektywnoścą psychoterap długoścą psychoterap ne est wynkem czynnków losowych. Natomast zaobserwowana relaca pomędzy efektywnoścą terap długoścą pożyca

8 7 małżeńskego (b DPM = -2.01) oraz lczbą dzec (b LD = -4.25) est prawdopodobne wynkem czynnków losowych ne występue w badane populac. TESTOWANIE ZAŁOŻEŃ REGRESJI Testowane założeń modelu regres polega na eksplorac cech analzowanego zboru danych oraz testowanego modelu regres. W dagnostyce statystyczne szczególne ważną rolę spełnaą metody grafczne (Cook Wesberg, 1994). Grafka statystyczna, w odróżnenu od formalnych testów statystycznych, pozwala na ocenę stopna spełnena różnorodnych założeń testowanego modelu, uawna strukturę szczególnego problemu dagnostycznego, oraz sugerue nabardze optymalną akcę korekcyną. Często stnee naturalna herarcha w użycu narzędz dagnostycznych. Analzę założeń modelu regres typowo zaczynamy od dagnozy korekty problemów współzależnośc lnowe oraz wpływowych obserwac. Założena normalnośc oraz homogencznośc rozkładu pozostałośc regres rozważamy ako ostatne zagadnena odnoszące sę do analzowanego zboru danych. Problemy nelnowośc oraz obecnośc błędu pomarowego są, w pewen sposób, oddzelne gdyż w wększym stopnu dotyczą przyęte formy testowanego modelu regres nż charakterystyk analzowanego zboru danych. WSPÓŁLINIOWOŚĆ Gdy zmenne wyaśnaące są wysoko skorelowane wynk analzy regres mogą być nestablne. Szacowany efekt dane zmenne X może zmenć welkość, a nawet kerunek, zależne od pozostałych zmennych wyaśnaących zawartych w testowanym modelu regres. Warunek, w którym zależność lnowa pomędzy zmennym wyaśnaącym zagraża trafnośc wynków analzy regres est nazywany

9 8 współlnowoścą (collnearty) lub welowspółlnowoścą (multcollnearty) aby podkreślć, że ten problem może dotyczyć węce nż dwóch zmennych wyaśnaących. Alternatywne, problem zależnośc lnowe est nazywany złym uwarunkowanem (ll condtonng) aby podkreślć, że ten problem dotyczy szczególne formy macerzy X (Belsley, Kuh Welsch, 1980). W lteraturze stosowane przyęły sę określena współlnowość oraz welowspółlnowość, które są stosowane zamenne. Symptomam wysoke współlnowośc są znaczne zanżone statystyk testowe-t dla zmennych wyaśnaących, które logczne pownny posadać relacę ze zmenną wyaśnaną (lub dzwne wysoke wartośc statystk-t), lub współczynnk regres posadaące odwrotny kerunek współczynnka od spodzewanego (na przykład, w relac ntelgenc do wynków w szkole, eżel współczynnk dla ntelgenc byłby negatywny). Innym typowym obawem wysoke współlnowośc est sytuaca gdy testowany model regres dae wysoke R 2 ednak żadna zmenna wyaśnaąca ne est statystyczne stotna. Typowo efekt współlnowośc est wyrażany poprzez współczynnk VIF (varance nflaton factor), który wskazue o le warance współczynnków są zawyżone z powodu zależnośc lnowych w testowanym modelu. VIF dla dane zmenne nezależne X est zdefnowany ako gdze VIF 1/ 1 R, 2 R est współczynnkem welokrotne determnac dla regres dane zmenne X na pozostałe zmenne wyaśnaące zawarte w modelu 4 (Belsley, Kuh Welsch, 1980, s. 93). VIF wskazue o le waranca szacowanego współczynnka regres 2

10 9 2 s b est podwyższona z powodu współlnowośc dane zmenne nezależne z pozostałym zmennym nezależnym. Pakety statystyczne (np. SAS, SPSS) typowo podaą wartość VIF oraz nną welkość nazywaną TOL (tolerance). TOL est zdefnowany ako 1 VIF. Fox (1991) rekomendue stosowane VIF gdyż welkość ta bezpośredno wyraża o le przedzał ufnośc dla danego współczynnka est poszerzony, lub o le wartość statystyk testowe-t est obnżona z powodu zależnośc lnowe. Chocaż ne ma unwersalne przyęte krytyczne wartośc dla VIF, wartośc VIF 4 mogą być uważane za wskazuące na obecność problemu współlnowośc gdyż oznaczaą, że dany przedzał ufnośc est przynamne dwa razy szerszy (a dana statystyka testowa-t est co namne o połowę mnesza) z powodu zależnośc lnowych. Problem zależnośc lnowe może być także wykryty poprzez wzualne przeegzamnowane macerzy korelac zmennych wyaśnaącym. Wysok współczynnk korelac, r X Xk, pomędzy zmenną X akąkolwek nną zmenną X k est warunkem wystarczaącym, chocaż ne konecznym, do wystąpena wysokego 5 VIF. Na przykład, współczynnk korelac r. 87 X Xk wynkne w VIF 4.1 ( VIF 2. 0). Ne ma prostego sposobu na korektę zależnośc lnowe. Gdy wystąp problem slne współlnowośc pomędzy X dane nosą mało nformac o X1 2 oddzaływanu zmenne X 1 na Y kontroluąc statystyczne (utrzymuąc na stałym pozome). To samo możemy powedzeć o efekce X na Y. Tak est poneważ X 2 2 X1 X 2 dzelą wększość swoch waranc pozostae mała proporca waranc w edne zmenne gdy ta druga est utrzymywana na stałym pozome. Poneważ 1 est

11 10 efektem częścowym zmenne kontroluąc X oszacowane tego parametru ne X1 2 est precyzyne, gdyż opera sę na relatywne małe proporc nformac zawarte w X1. Stratege korekty problemu wysoke współlnowośc odnoszą sę do trzech elementów zastosowana analzy regres: danych, testowanego modelu, oraz metody estymac (Fox, 1991). Nabardze pożądaną metodą korekty problemu wysoke współlnowośc est poprawa uwarunkowana danych poprzez rozszerzene stneącego zboru obserwac o nowe, w tak sposób, aby zmnmalzować stneące zależnośc lnowe pomędzy zmennym wyaśnaącym. Ta metoda, chocaż nabardze pożądana ze statystycznego teoretycznego punktu wdzena, ma ogranczone zastosowane praktyczne z powodu kosztów czasu realzac planów badawczych. Ponadto, dodatkowe obserwace ne gwarantuą poprawy uwarunkowana zależnośc pomędzy zmennym wyaśnaącym, szczególne eżel manpulaca eksperymentalna tych zmennych ne est możlwa. Z tych powodów stratega wprowadzene dodatkowych danych prawdopodobne ne est metodą o znaczenu praktycznym (Belsley n., 1980; Fox, 1991). Chocaż wysoka współlnowość to przede wszystkm problem danych, edną z nabardze skutecznych strateg korekcynych tego problemu est przeformułowane testowanego modelu regres. Przekształcene modelu może nastąpć w dwoak sposób. Perwszy sposób to wyrażene zmennych wyaśnaących będących w zależnośc lnowe ako kompozyt tych zmennych. Na przykład, eżel w testowanym modelu mamy wzrost wagę ako zmenne wyaśnaące, które są zwykle wysoko skorelowane, możemy zastąpć te zmenne nową zmenną wyrażaącą stosunek wzrostu do wag. Jeżel lczba zmennych wyaśnaących w testowanym modelu est duża to możemy posłużyć sę analzą głównych składowych w celu

12 11 redukc tych zmennych do edne lub klku relatywne nezależnych kompozytów. Jeżel tak otrzymane kompozyty orygnalnych zmennych wyaśnaących poddaą sę nterpretac to mogą być one użyte ako zmenne wyaśnaące w analze regres. Klka warantów tego podeśca est znanych w lteraturze pod nazwam prncpal component regresson oraz latent root regresson (Wetherll, Duncombe, Kenward, Köllerström, Paul Vowden, 1986). Drug sposób przeformułowana testowanego modelu regres to redukca orygnalnego zboru zmennych wyaśnaących do mneszego mne skorelowanego podzboru tych zmennych. Jest to zdecydowane naczęśce stosowana metoda rozwązywana problemu wysoke współlnowośc. Trzeba ednak podkreślć, że redukca zmennych wyaśnaących wąże sę ze zreformułowanem a pror postawone hpotezy o zwązku pomędzy zmenną zależną zmennym nezależnym. Idealne, taka selekca zmennych wyaśnaących pownna być dokonana w śwetle teor badanego procesu psychologcznego, a ne poprzez edną z dostępnych metod automatyczne selekc modelu regres. Automatyczne metody selekc modelu to selekca postępuąca (forward selecton), elmnaca wsteczna (backward elmnaton), oraz metoda krokowa (stepwse). W selekc postępuące zaczynamy od edne zmenne wyaśnaące dodaemy zmenne do modelu, które na danym etape selekc maksymalzuą R 2. Proces selekc zatrzymue sę gdy poprawa w R 2 ne osąga ustalonego mnmum. Elmnaca wsteczna est podobna z tym, że proces selekc rozpoczyna sę od pełnego modelu, zaweraącego wszystke zmenne wyaśnaące, dana zmenna est elmnowana z modelu eżel e brak ne prowadz do ustalonego spadku w R 2. Metoda postępuąca wsteczna charakteryzuą sę tym, że dana zmenna wyaśnaąca ne może znaleźć sę w modelu węce nż raz.

13 12 Metoda krokowa est kombnacą metody postępuące wsteczne. W metodze krokowe dana zmenna wyaśnaąca może opuścć lub weść do modelu wele razy. Metody automatyczne selekc modelu są unwersalne krytykowane (np. Draper Smth, 1981; Wesberg, 1985; Wetherll n., 1986) poneważ ostateczny podzbór zmennych wyaśnaących est zależny od zastosowane metody selekc, zwykle ne est optymalny an z teoretycznego an ze statystycznego punktu wdzena. To est, metody automatyczne selekc, z defnc, ne borą pod uwagę czynnków teoretycznych, an ne musza dać maksymalnego R 2 dla wynkaącego podzboru zmennych wyaśnaących o dane welkośc. Ponadto, metody automatyczne selekc w znaczny sposób przecenaą stotność otrzymanych wynków poneważ testowany model est dostosowywany do losowych charakterystyk analzowanego zboru danych (Wesberg, 1985). W konsekwenc, metody automatyczne selekc modelu pownny być stosowane z rozwagą oraz w śwetle ogranczeń tych technk. Ostatna stratega korekty wysoke współlnowośc to zastosowane estymatora ne spełnaącego warunków BLUE. Tak estymator dae obcążone szacunk parametrów modelu regres, ale z relatywne zredukowanym błędam standardowym w porównanu z metodą OLS (Hoerl Kennard, 1970a, 1970b; Marquardt Snee, 1975). Naszerze stosowanym obcążonym estymatorem est regresa krawędzowa (rdge regresson). Regresa krawędzowa est modyfkacą metody namneszych kwadratów, w które mała wartość stała c 0, nazywana obcążaącą konstantą, est dodana do waranc zmennych wyaśnaących. Gdy c = 0 estymator krawędzowy est estymatorem OLS. Obcążene szacowanych współczynnków regres wzrasta wraz z c, a waranca parametrów malee. Zawsze stnee akaś wartość c, dla które estymator krawędzowy dae mnesze błędy standardowe nż estymator OLS. Jednak, trudność w zastosowanu regres

14 13 krawędzowe polega na tym, że optymalna wartość dla c ne est znana est nna dla każde aplkac modelu regres (Neter, Kutner, Nachtshem Wasserman, 1996). Regresa krawędzowa est możlwa w wększośc popularnych paketów statystycznych (np. SAS SPSS). Draper Smth (1981), Wesberg (1985) oraz Fox (1991) sugeruą szczególną rozwagę w stosowanu te metody estymac. Wesberg (1985) podkreśla, że w sytuac problemu współlnowośc regresa krawędzowa może dać nam relatywne dużą redukcę błędów standardowych, ednak wartość te redukc ne est asna. Jeżel szacowane ne są blsko zera to korzyśc wypływaące z zastosowana metody krawędzowe są neznaczne. Jeżel szacowane są blsko zera to metoda OLS dae nam mało precyzyne (posadaące duże błędy standardowe), ale neobcążone (prawdłowe) szacunk parametrów. Z druge strony, metoda krawędzowa dae nam bardze precyzyne, ale obcążone szacunk parametrów modelu. Powracaąc do naszego przykładu, w szacowanym modelu regres ET na DT, DPM LD, edyne współczynnk regres dla DT est statystyczne stotny, t(21) = 2.37, p <.001, podczas gdy współczynnk dla DPM, t(21) = -0.61, p >.5, oraz LD, t(21) = -0.52, p >.5, ne osągnęły statystyczne stotnośc. Zauważmy ednak, że zmenne DPM LD posadaą relatywne wysoke wskaźnk zależnośc lnowe, VIFDPM 2. 5 VIFLD 2. 5, spowodowane wysoką korelacą (r =.91) pomędzy tym zmennym. Wysoka korelaca pomędzy DPM LD est zrozumała gdyż badane pary małżeńske są we wczesnych latach (1.5 do 11 lat) małżeństwa, które są typowym okresem powększana rodzny. Dlatego naprostszą metodą obnżena te korelac było by przebadane dodatkowych par w późneszych latach pożyca małżeńskego. Poneważ rozszerzene zakresu zaobserwowanych wartośc zmenne DPM ne est

15 14 możlwe, problem wysoke współlnowośc pomędzy DPM LD mus być rozwązany poprzez wyelmnowane edne z tych dwóch zmennych wyaśnaących. Idealne taka decyza pownna być podyktowana czynnkam teoretycznym. W naszym wypadku, pozostawmy w modelu zmenną DPM. Szacunk parametrów regres dla tak zredukowanego modelu są pokazane ponże: RZ DT 3. 57DPM Elmnaca zmenne LD skuteczne rozwązała problemu współlnowośc (VIF DPM = 1.02), spowodowała tylko neznaczną degradacę efektywnośc (R 2 = 0.34) zredukowanego modelu regres. Ponadto, zauważmy, że zmenna DPM est statystyczne stotna (t = -2.67, p <.05) w zredukowanym modelu, podczas gdy była ona nestotna w pełnym modelu regres. NIETYPOWE I WPŁYWOWE OBSERWACJE W analze regres netypowe obserwace (outlers) posadaą netypowe wartośc zmenne Y dla ch wartośc zmennych X, w konsekwenc, posadaą duże wartośc pozostałośc e. Netypowe obserwace to także obserwace z relatywne nskm pozostałoścam regres, lecz z netypowym wartoścam edne lub węce zmennych wyaśnaących. Netypowe obserwace są problematyczne dla metody namneszych kwadratów poneważ mogą w znaczny sposób wpływać na wynk (szacunk parametrów) analzy regres. Take netypowe obserwace nazywamy wpływowym. W regres proste, obserwaca posadaąca netypową wartość Y dla dane wartośc X posada wysoką odmenność (dscrepancy). Natomast obserwaca posadaąca typową wartość Y (małe e ) netypową wartość X posada wysoką dźwgnę (leverage). Często odmenne obserwace maą duże wartośc pozostałośc

16 15 regres e, ale ne zawsze. Obserwaca posadaąca wysoką dźwgnę może meć małą wartość e, poneważ przycąga lnę (płaszczyznę w regres welokrotne) regres Ŷ blsko Y. W konsekwenc, wpływ dane obserwac na współczynnk regres est wyrażany ako funkca odmennośc dźwgn te obserwac (Fox, 1991): Wpływ Obserwac = Dźwgna Odmenność. Dagnostyka wpływu obserwac na wynk analzy regres sprowadza sę do analzy odmennośc dźwgn tych obserwac, lub bezpośredne oceny wpływu obserwac na współczynnk testowanego modelu regres. Naczęśce stosowaną marą dźwgn dane obserwac est tak zwana wartość h (hat-value) te obserwac. W regres proste, wartość h merzy dystans dane obserwac od średne wartośc zmenne X: h 2 1 X X n X X 2. W regres welokrotne, h merzy dystans od punktu średnch (centrod) wszystkch zmennych wyaśnaących borąc pod uwagę strukturę korelacyną tych zmennych. Wartośc h meszczą sę w przedzale 1 nh 1, a ch suma est równa lczbe zmennych wyaśnaących, h p1. Nektóre systemy statystyczne (np. SPSS) podaą odległość Mahalanobsa (Mahalanobs dstance), m, ako alternatywną marę dzwgn obserwac. Odległość Mahalanobsa est otrzymana poprzez opuszczene elementu 1/n pomnożene pozostałośc przez (n 1) w równanu dla h : 1 m h n1. n Belsley n. (1980) deklaruą obserwace ako punkty wysoke dzwgn (hghleverage ponts), których wartośc h przekraczaą dwe średne wartość, to est h 2 p1 n. Gdy zmenne wyaśnaące posadaą rozkład welozmennowy

17 16 normalny (multvarate normal), ta wartość krytyczna dla h pozwala na zdentyfkowane 5% nabardze ekstremalnych obserwac. Marą odmennośc obserwac w modelu regres est t-standaryzowana pozostałość regres (studentzed resdual) (Belsley n., 1980) t MSE e 1 h, gdze e h są wartoścam z modelu regres szacowanego dla wszystkch n obserwac. Natomast błąd standardowy regres MSE est otrzymany poprzez dopasowane modelu regres do (n - 1) obserwac elmnuąc obserwacę. Tak wystandaryzowane pozostałośc regres maą rozkład t(n - p 2), około 5% obserwac będze sę znadowało poza zakresem t 2. W konsekwenc, Fox (1991) sugerue traktowane wartośc t przekraczaące ± 2 ako wskazuące na obserwace zasługuące na naszą uwagę. W lteraturze statystyczne, t- standaryzowane pozostałośc regres są także nazywane deleton resduals (Atknson, 1985), oraz externally Studentzed resduals (Cook Wesberg, 1982). Nabardze bezpośredna mara wpływu obserwac na szacunk współczynnków regres b est otrzymana z testowana danego modelu regres dwukrotne. Raz w pełnym komplece n obserwac oraz powtórne w n 1 obserwacach, gdy obserwaca est wyelmnowana ze zboru danych. Belsley n. (1980) defnuą taką różncę dla danego współczynnka regres ako DFBETA b gdze b (-) est szacunkem parametru b, dla każdego = 1,..., n, gdy obserwaca est wyelmnowana ze zboru danych. Aby ułatwć nterpretacę, Belsley n. (1980) także proponuą wystandaryzowaną wersę ako

18 17 DFBETAS DFBETA. MSE b - Walor wyrażana wpływu dane obserwac w ednostkach błędu standardowego regres pozwala na określene (w przyblżenu) statystyczne stotnośc tego wpływu. W konsekwenc Fox (1991) sugerue stosowane wartośc DFBETAS > 2 ako wskazuące na stotny wpływ dane obserwac w małych średne welkośc próbach badawczych. Dla dużych prób, Belsley n. (1980) proponuą stosowane wartośc krytyczne skorygowane o welkość próby ako DFBETAS 2 n. Poneważ dla dane obserwac mamy p + 1 wpływów (p współczynnków plus stała regres) te obserwac na szacunk parametrów modelu potrzebuemy metody na określene ogólnego wpływu dane obserwac na szacowany model regres. Dwe naczęśce stosowane mary ogólnego wpływu obserwac na szacowany model regres to odległość Cooka (Cook s dstance) oraz DFFIT. Obe mary wyrażaą wpływ obserwac ako loczyn dzwgn odmennośc te obserwac. Cook (1977) zaproponował marę odległośc D obserwac ako e 2 D MSE p h h 1 1 gdze perwszy element est marą odmennośc a drug est marą dzwgn dane obserwac. Belsley n. (1980) zaproponowal konceptualne dentyczny ndeks ogólnego wpływu dane obserwac ako 2, DFFIT oraz ego wersę wystandaryzowaną ako h e 1 h, DFFITS t h. 1 h

19 18 Fox (1991) zauważa, że z wyątkem pewnych rzadkch konfgurac danych 2 DFFITS 1 D p. Dla DFFITS, Chatteree Had (1988), Belsley n. (1980) oraz Fox (1991) rekomenduą stosowane wartośc krytyczne skorygowane o welkość próby ako DFFITS p n p krytyczne dla odległośc Cooka ako D 4 n p 1., oraz odpowedne wartośc Wpływ dane obserwac na wynk analzy regres może być także wyrażony poprzez wpływ te obserwac na błędy standardowe szacowanych współczynnków regres. Poneważ przedzały ufnośc szacowanych współczynnków regres są bezpośredno proporconalne do błędów standardowych tych współczynnków, Belsley n. (1980) zaproponowal marę wpływu obserwac na wspólny obszar ufnośc współczynnków szacowanego modelu regres ako kwadrat stosunku przedzałów ufnośc dla pełnego (n) zredukowanego (n - 1) zboru danych COVRATIO p1 n p2 t 1 h n p1. Wartośc COVRATIO < 1 wskazuą na obserwace, których elmnaca zmneszy błędy standardowe szacowanych współczynnków regres, natomast wartośc COVRATIO > 1 wskazuą na obserwace, których elmnaca zwększy błędy standardowe szacowanych współczynnków regres (Belsley n., 1980). Belsley n. (1980) oraz Fox (1991) sugeruą stosowane wartośc krytycznych skorygowanych na p n. welkość próby ako COVRATIO Do te pory rozważalśmy edyne wpływ poedynczych obserwac. W sytuacach gdy mamy do czynena z grupam obserwac wyweraącym kolektywny wpływ na szacunk parametrów modelu regres nezastąpone są metody grafczne, a wśród nch wykres nazywany partal-regresson leverage plot (Belsley n., 1980)

20 19 lub added-varable plot (Cook Wesberg, 1982) lub, po prostu, partal-regresson plot (Fox, 1991). Proponuę tłumaczene nomenklatury Foxa (1991) ako wykres regres cząstkowe. Wykres regres cząstkowe est konstruowany w następuący sposób. Zdefnumy 1 y ako pozostałość z regres zmenne Y na wszystke zmenne wyaśnaące z wyątkem X 1, X 1. To est pozostałość z dopasowana modelu Y b b X b X y p p. Podobne, 1 x są pozostałoścam z regres zmenne X 1 na pozostałe X 1 : * * * p X b b X b X x p. Wykreślaąc wartośc 1 y 1 x pozwala na egzamnowane dzwgn wpływu każde obserwac na b 1. Podobne wykresy mogą być skonstruowane dla pozostałych współczynnków regres. Fox (1991) oraz Cook Wesberg (1994) demonstruą zastosowane wykresów regres cząstkowe w dagnostyce wpływu grup obserwac. Cook Wesberg (1989) oraz McCulloch (1993) rozwaą koncept tych wykresów do grafk dynamczne w węce nż dwóch wymarach. Wszystke dyskutowane statystyk wpływu obserwac są dostępne we współczesnych paketach statystycznych ogólnego zastosowana (np. SAS, SPSS). Jednak szczególne wyróżna sę system SAS (SAS Insttute, 1999b), który pozwala na egzamnowane wpływu dźwgn obserwac na dynamcznych wykresach 3- wymarowych. Dagnostyka wpływu obserwac dla zredukowanego modelu regres ET na DT DPM ukazue cztery pary małżeńske posadaące przynamne edną statystykę wpływu przekraczaącą swoą wartość krytyczną. Para małżeńska numer 19 posada DFFITS 19 = -3.2 COVARTIO 19 = 4.0. Natomast, para małżeńska 18 posada

21 20 DFFITS 18 = 1.5, a pary małżeńske posadaą odpowedno COVRATIO 15 = 0.6 COVRATIO 23 = 1.5. Dla naszych danych, zgodne z zalecenam Belsleya n. (1980) oraz Foxa (1991), wartość krytyczna dla statystyk wpływu na parametry modelu regres est DFFITS = 0.74, a wartość krytyczna dla statystyk wpływu na warance szacowanych parametrów modelu est COVRATIO = 1.36 dla zaobserwowanych wartośc COVRATIO > 1, oraz COVRATIO = 0.64 dla przypadku gdy COVRATIO < 1. Wpływ każde obserwac na współczynnk regres est także pokazany na wykresach regres cząstkowych zaprezentowanych w Rycne 1. W Rycne 1 wcześne zdentyfkowane wpływowe obserwace (para 15, 18, 19, 23) są oznaczone numerem obserwac. Wykres regres cząstkowe dla DT (Rycna 1a) potwerdza znaczny wpływ obserwac 19, która powodue zanżene cząstkowego efektu DT na ET. Jak możemy dale zauważyć z Rycny 1a, wyłączene obserwac 19 z dalszych analz spowodue znaczne zmneszene odmennośc obserwac 15, 18, 23, w konsekwenc znaczne zmneszene wpływu tych obserwac na cząstkowy efekt zmenne DT na ET tuta Rycna Wykres regres cząstkowe dla DPM (Rycna 1b) pokazue relatywne duży wpływ obserwac 18 na cząstkowy efekt DPM na ET. Jak możemy dale zauważyć z Rycny 1b, para 15 posada relatywne dużą odmenność oraz relatywne małą dzwgnę,, w konsekwenc, newelk wpływ na cząstkowy efekt zmenne DPM na ET. Pozostałe obserwace (19 23) wcześne zdentyfkowane ako potencalne wpływowe ne wydaą sę znacząco odbegać od główne tendenc zawarte w danych.

22 21 Powtórne sprawdzene danych w Tabel 1 wskazue na błąd wprowadzana danych dla pary 19. Zgodne z naszym danym para 19 była w 82 tygodnu terap rodznne (DT 19 = 82), podczas gdy dopuszczalna długość terap, w naszym badanu, wynosła 40 tygodn. W konsekwenc dane pary 19 będą wykluczone z dalszych analz. Ponadto z dalszych analz zostaną wykluczone dane pary 18 z powodu dużego wpływu te obserwac na cząstkowy współczynnk regres zmenne DPM. Ponowny test modelu regres ET na DT DPM w zredukowanym (n = 23) zborze danych dał następuące równane regres: ET DT 4. 59DPM Zgodne z sugestam wykresów regres cząstkowych wykluczene obserwac z analzowanego zboru danych wynkło w znaczne wyższych współczynnkach regres dla obu zmennych wyaśnaących nż te otrzymane w pełnym (n = 25) zborze danych. Zwróćmy także uwagę na znaczny wzrost mocy wyaśnaące (R 2 = 0.51) testowanego modelu po wykluczenu par Decyza odnośne wykluczena netypowych obserwac zawsze nese ze sobą element nepewnośc. Chocaż problematyczne dane pownny być wykluczone, ne pownnśmy elmnować takch obserwac bez namysłu rozwag. Fox (1991) podkreśla, że est krytyczne abyśmy zawsze rozważyl powód, dla którego nektóre obserwace są netypowe. Netypowe obserwace mogą motywować modyfkacę testowanego modelu poprzez dodane zmenne wyaśnaące. Pownnśmy ednak unkać sytuac, w których mała proporca danych determnue formę naszego modelu regres. Jeżel ednak decyduemy sę na elmnacę netypowych obserwac to cąży na nas obowązek odnotowana tego faktu w raporce badawczym.

23 22 NORMALNOŚĆ ROZKŁADU POZOSTAŁOŚCI REGRESJI Metoda OLS est relatywne odporna na brak spełnena założena normalnośc rozkładu pozostałośc regres. Jednak w przypadku małych prób lub znacznego pogwałcena tego założena brak normalnośc rozkładu pozostałośc może zagrażać trafnośc wynków analzy regres. Normalność rozkładu pozostałośc est typowo egzamnowana za pomocą metod grafcznych. Metody grafczne pozwalaą nam ne tylko na określena stopna pogwałcena tego założena, ale także na określene formy rozkładu pozostałośc. Takm narzędzem est wykres normalnych centyl (normal quantle-quantle plot) lub w skróce wykres normalnych Q-Q, w którym empryczne centyle (quantles) t-standaryzowanych pozostałośc regres są wykreślone na os rzędnych a teoretyczne centyle z, z rozkładu Z N0, 1, są wykreślone na os odcętych. Jeżel nasze t pochodzą z rozkładu normalnego to, w grancach błędu próby, uszeregowane rosnąco t = z, wykres tych wartośc est lnowy. Konstrukca nterpretaca wykresów Q-Q est opsana w szczegółach w Chambers, Cleveland, Klener Tukey (1983) oraz Fox (1990). Wykresy normalnych Q-Q są dostępne w standardowych paketach statystycznych (np. SAS, SPSS). Wykres normalnych Q-Q dla zredukowanego (n = 23) zboru danych est pokazany w Rycne 2. Dagonalna lna referencyna na wykrese odnos sę do dealne normalnego rozkładu pozostałośc regres. Jak możemy zauważyć z Rycny 2, poza neznaczną skłonnoścą rozkładu pozostałośc do skośnośc do lewe strony, wzorzec wykresu pozostałośc wskazue na rozkład ne odbegaący w znaczny sposób od rozkładu normalnego tuta Rycna Analza stopna spełnena założena normalnośc rozkładu pozostałośc est w welu aspektach trudnesza od analzy nnych założeń modelu regres. Jeżel próba

24 23 badawcza est relatywne mała ocena normalnośc rozkładu est relatywne trudna. Ponadto, brak spełnena nnych założeń modelu regres zwykle wpływa na rozkład pozostałośc. Na przykład, pozostałośc mogą ne posadać normalnego rozkładu poneważ newłaścwa funkconalna forma modelu est testowana, lub poneważ rozkład pozostałośc ne posada stałe waranc. Z tego powodu, zwykle dobrą strategą est egzamnowane stopna spełnena pozostałych założeń modelu regres przed sprawdzenem normalnośc rozkładu pozostałośc. Efektywnym sposobem korekty braku normalnośc pozostałośc est transformaca zmenne Y, z zastosowanem proste transformac z rodzny transformac drabny potęg (ladder of powers) Tukeya (1977). Taka transformaca p polega na wyrażenu zmenne Y ako Y Y. Typowo p = -2, -1, -1/2, 1/2, 2, lub 3. Zauważmy, że p = 1 oznacza brak transformac. Transformaca dla p = 0 była by bezużyteczna gdyż Y 0 1. Z tego powodu transformaca dla p = 0 oznacza transformacę logarytmczną Y l ogy. Transformace w górę (p > 1) drabny potęg koryguą pozytywną skośność rozkładu pozostałośc, transformace w dół (p < 1) drabny potęg koryguą negatywną skośność rozkładu. STAŁOŚĆ WARIANCJI POZOSTAŁOŚCI REGRESJI Brak stałośc rozproszena pozostałośc regres w całym zakrese wartośc zmennych wyaśnaących est nazywana heteroscedastycznoścą (heteroscedastcty). Jeżel założene homogencznośc rozproszena pozostałośc est spełnone to mówmy, że dane są homoscedastyczne (homoscedastc). Heteroscedastyczność ne powodue obcążena szacunków parametrów regres, ale wpływa uemne na szacunk błędu standardowego regres. W konsekwenc, heteroscedastyczność

25 24 zagraża wnoskowanu statystycznemu odnośne szacowanych współczynnków regres oraz uemne obcąża szacunk R 2 (Carroll Ruppert, 1988). Heteroscedastyczność może być zdagnozowana za pomocą wykresu rozproszena pozostałośc regres e wartośc przewdywanych Y ˆ. W przypadku regres proste, wykres pozostałośc wartośc przewdywanych może być zastąpony wykresem e ˆ wartoścam zmenne wyaśnaące X, poneważ Y est lnową funkcą X. Wykres pozostałośc regres wartośc przewdywanych dla naszego modelu regres ET na DT DPM testowanego w zredukowanym (n = 23) zborze danych est pokazany w Rycne 3. Wzorzec rozproszena pozostałośc regres w Rycne 3 ne ukazue żadne systematycznośc odpowada warunkow spełnena założena homoscedastycznośc tuta Rycna Gdy założene homoscedastycznośc ne est spełnone, wykres e X (lub e Ŷ ) pokazue regularny wzorzec rozproszena pozostałośc. Dwe take sytuace są przedstawone w Rycne 4. Jak możemy zauważyć w Rycne 4a, pozostałośc regres systematyczne rosną wraz z wartoścam zmenne wyaśnaące. Tak wzorzec heteroscedastycznośc est często obserwowany w danych rozwoowych, gdy zmenną wyaśnaną est cecha podlegaąc procesow rozwou a zmenną wyaśnaącą est wek, poneważ rosnące zróżncowane nterndywdualne est naturalnym zawskem rozwoowym. Inny wzorzec heteroscedastycznośc est przedstawony w Rycne 4b. W tym przypadku, waranca pozostałośc regres est namnesza dla średnch wartośc zmenne wyaśnaące, rośne w raz z rosnącym maleącym wartoścam zmenne wyaśnaące tuta Rycna

26 25 Gdy wzorzec heteroscedastycznośc ne est zbyt złożony to możemy p zastosować transformace z rodzny drabny potęg Y Y ako metodę korekty tego problemu. Na przykład, w sytuac przedstawone w Rycne 4a pownnśmy zastosować transformacę z p < 1. Natomast gdyby waranca pozostałośc systematyczne malała wraz z wartoścam Y ˆ to pownnśmy zastosować transformacę z p > 1. Typowo nabardze skuteczną transformacę doberamy metodą prób błędów. Poneważ transformaca zmenne Y może zmenć funkconalną formę regres Y na X pownnśmy zawsze sprawdzć czy lnowa forma zwązku est dale odpowedna po dokonanu transformac zmenne Y. Gdy lnowy zwązek pomędzy Y X est odpowedn, ale warance pozostałośc regres ne są stałe, alternatywą do transformac Y est zastosowane estymatora ważonych namneszych kwadratów (weghted least squares, WLS). Estymator WLS różn sę od estymatora OLS tym, że pozostałośc regres e są ważone wagą w 1 2 równą odwrotnośc waranc pozostałośc regres obserwac, w wyrażenu dla sumy kwadratu pozostałośc, RSSw we 2 (Carroll Ruppert, 1988). Estymator WLS wymaga wedzy o waranc, które zwykle ne 2 2 posadamy. W takch przypadkach warance muszą być oszacowane. Jednak stosowane szacunków dla w w znacznym stopnu komplkue nferencę statystyczną w regres. Na przykład welkość współczynnka welokrotne determnac R 2 pownna być nterpretowana z ostrożnoścą poneważ ne posada ona asne nterpretac dla estymatora WLS (Neter n., 1996). Regresa z zastosowanem estymatora WLS est możlwa za pomocą standardowych paketów statystycznych (np. SAS, SPSS).

27 26 NIELINIOWOŚĆ Nespełnene założena lnowośc funkconalne formy modelu mplkue, że testowany model regres ne wyaśna, w sposób zadawalaący, systematycznego zwązku pomędzy Y daną zmenną X. Na przykład, relaca pomędzy Y edną (lub węce) zmenną X może być nelnowa, lub dwe zmenne wyaśnaące mogą ne meć efektu addytywnego, poneważ pozostaą w nterakc. W takch przypadkach założene, że E 0 w całym zakrese wartośc zmennych X ne będze spełnone. W regres proste wykres rozproszena wartośc e X est nezmerne użyteczny w zobrazowanu natury zwązku pomędzy tym zmennym. Jednak, w regres welokrotne podobne wykresy dla e każde zmenne X są neadekwatne poneważ, w tym wypadku, esteśmy zanteresowan cząstkową relacą pomędzy Y każdą zmenną X, kontroluąc pozostałe zmenne. X k W Rycne 5 przedstawamy typowy wzorzec rozproszena pozostałośc regres gdy lnowa relaca Yˆ b b X est neadekwatna do wyaśnena kwadratowego zwązku pomędzy Y X. Jak możemy zauważyć w Rycne 5, założene 0 1 E 0 est w oczywsty sposób pogwałcone gdyż średna wartość pozostałośc est e 0 dla nskch wysokch wartośc X, natomast e 0 dla średnch wartośc zmenne X tuta Rycna Aby w pełn zdagnozować odstępstwa od lnowośc zwązku Y na X musmy skupć naszą uwagę na szczególnych wzorcach warunkowego rozkładu pozostałośc regres rozkładze dane zmenne wyaśnaące. W regres welokrotne, taką dagnozę umożlwaą wykresy nazywane partal-resdual plots (Larsen McCleary,

28 ; Atknson, 1985), lub alternatywne nazywane component-plus-resdual plot (Wood, 1973; Cook Wesberg, 1994) aby podkreślć to, że warunkowy rozkład pozostałośc regres składa sę z komponentu lnowego modelu dane zmenne wyaśnaące pozostałość regres. Proponuę stosowane tłumaczena nomenklatury zaproponowane przez Larsena McClearygo (1972) ako wykres pozostałośc cząstkowe. W wykrese pozostałośc cząstkowych e wartośc dane zmenne wyaśnaące X, pozostałośc cząstkowe dla zmenne X są zdefnowane ako e e b X, gdze perwszy komponent e est pozostałoścą z pełnego modelu regres, a b X est lnowym komponentem cząstkowego zwązku pomędzy Y daną zmenną X. W przecweństwe do prostego wykresu e X, wykres pozostałośc cząstkowych est efektywny w dagnostyce nelnowośc poneważ pokazue czy dany zwązek częścowy Y na X est monotonczny (edyne rosnący lub maleący) czy nemonotonczny (np. maleący a następne rosnący). Nelnowy zwązek monotonczny może być skorygowany za pomocą proste transformac dane zmenne wyaśnaące p X X, natomast nelnowy zwązek nemonotonczny ne może być skorygowany za pomocą proste transformac z rodzny transformac potęg (Fox, 1991). Wykresy pozostałośc cząstkowe są dostępne w pakece SAS, ale ne są obecne zamplementowane w pakece SPSS. Wykresy pozostałośc cząstkowe dla regres ET na DT DPM testowane w zredukowanym (n = 23) zborze par małżeńskch są przedstawone w Rycne 6. Rycna 6a przedstawa częścowy efekt długośc terap na efektywność terap, natomast Rycna 6b przedstawa częścowy efekt długośc pożyca małżeńskego na efektywność terap. Jak możemy zauważyć w Rycne 6, oba wykresy pokazuą, że

29 28 lnowa funkca dla regres cząstkowych ET na DT oraz ET na DPM est adekwatna do opsana relac pomędzy tym zmennym tuta Rycna BŁĄD POMIAROWY W Y I X Klasyczny model regres zakłada, że zmenna Y X są pozbawone błędu pomarowego (Draper Smth, 1981; Wesberg, 1985; Fuller, 1987; Neter n., 1996; Hausman, 2001). Chocaż błąd pomarowy est powszechny, obecność błędu pomarowego est często nedocenanym aspektem komplkuącym wnoskowane w analze regres (Fuller, 1991). Problem błędu pomarowego nalepe zademonstrować na przykładze regres proste. Załóżmy, że pragnemy oszacować zwązek pomędzy czasem spędzonym na nauce ęzyka angelskego kompetencą ęzykową uczna. Zdefnumy X ako prawdzwą wartość spędzonego czasu, a ako wartość podaną przez uczna. Podobne zdefnumy Y ako prawdzwy pozom * kompetenc uczna, a Y ako zaobserwowany pozom kompetenc uczna. W konsekwenc możemy zdefnować błąd pomarowy w Y X ako * X Y Y * X X * Model regres, który pragnemy testować posada standardową formę Y X. 0 1 Jednak, my edyne możemy zaobserwować * X * Y, w konsekwenc testowany model regres est: Y X * * 0 1 Y X * * 0 1 X * 0 1 1

30 29 Powyższe równane może wyglądać na typowy model regres ze zmenną wyaśnaącą * X elementem błędu 1, ale nm ne est. Zmenna nezależna est zmenną losową skorelowaną z elementem błędu 1. W konsekwenc, standardowe założena klasycznego modelu regres ne mogą być zastosowane (Wesberg, 1985; Bollen, 1989; Fuller, 1991; Neter n., 1996). Tak długo ak błąd pomarowy w Y est losowy, ne skorelowany neobcążony, błąd pomarowy w Y est absorbowany w pozostałośc regres. Element błędu w modelu regres,, odzwercedla kompozyt duże lczby czynnków, które ne są brane pod uwagę w testowanym modelu. Teraz ednym z tych czynnków est błąd pomaru. Poneważ błąd pomarowy w zmenne zależne edyne wpływa na welkość pozostałośc modelu regres, edyna praktyczna konsekwence błędu pomarowego w Y to zanżone szacunk R 2 oraz zawyżone szacunk błędów standardowych parametrów modelu (Neter n., 1996; Hausman, 2001). Nestety, konsekwence obecnośc błędu pomarowego w zmenne wyaśnaące X są bardze znaczące dla trafnośc szacowanego modelu regres. W tym wypadku, pozostałośc regres 1 są skorelowane ze zmenną wyaśnaącą * X. W regres proste obecność błędu pomarowego w zmenne wyaśnaące powodue nedoszacowane współczynnka regres 1. To est estymator b 1 est negatywne obcążony odwrotne proporconalne do pozomu rzetelnośc pomaru zmenne wyaśnaące: b 1 (Bollen, 1989; Wetherll n., 1986; XX 1 XX Fuller, 1991; Hausman, 2001). W przypadku regres welokrotne ocena wpływu błędu pomarowego w X na szacunk parametrów modelu regres b est zdecydowane bardze skomplkowana. Efekt błędu pomarowego zależy od pozomu

31 30 rzetelnośc pomaru zmennych wyaśnaących oraz od wzaemnych relac pomędzy tym zmennym. W regres welokrotne, błąd pomarowy w X może zanżyć, zawyżyć lub pozostawć be zmany szacunk współczynnków regres. Ponadto, szacunk współczynnków dla zmennych wolnych od błędu pomarowego są także obcążone, poneważ błąd pomarowy w edne zmenne wyaśnaące est propagowany w całym modelu regres (Lord, 1960). Błąd pomarowy w zmennych wyaśnaących ne mus być zawsze destruktywny dla analzy regres. Berkson (1950) opsał bardzo ważny przypadek zastosowana regres w predykc. Jeżel zmenne przewduące są merzone z błędem teraz w przyszłośc, to pożądany model regres est dla zmennych merzonych z błędem, * X. W tym wypadku, prawdzwe wartośc tych zmennych, X, nas ne nteresuą poneważ w przyszłośc będzemy edyne znal * X a ne X. Dlatego, błąd pomarowy może ne być stotny dla problemów, w których szacowany zwązek bazue na zaobserwowanych wartoścach, a ne na neobserwowalnych prawdzwych wartoścach zmennych wyaśnaących. Jednak w sytuacach gdy pragnemy oszacować słę /lub formę zwązku pomędzy Y X, na przykład w weryfkac lub konstrukc teor psychologcznych, obecność błędu pomarowego znaczne komplkue sytuacę regres. W tradyc ekonometryczne, typowym podeścem do problemu błędu pomarowego w X est zastosowane tak zwane regres ze zmennym nstrumentalnym (nstrumental varables) (Fuller 1987, 1991; Angrst Krueger, 2001; Hausman, 2001). Take uęce modelu regres wymaga pomaru zmenne Z, która pozostae w relac z prawdzwym wynkam X, cov Z, X 0, ne est skorelowana an z błędem pomarowym, cov Z, 0, an z pozostałoścą regres, co v Z, 0 (Hausman, 2001). Zmenna Z est nazywana nstrumentem, poneważ est użyta

32 31 edyne nstrumentalne, ako środek do poznana prawdzwe (neobcążone błędem pomarowym) relac mędzy X Y. W modelu regres ze zmenną nstrumentalną naperw szacuemy wartośc przewdywane ˆX z regres X na Z, a następne szacuemy nteresuące nas parametry modelu ( 0 1 ) z regres Y na ˆX. Tak dwuetapowy estymator est nazywany dwustopnową metodą namneszych kwadratów (two-stage least squares) (James Sngh, 1978). W welu przypadkach zastosowane zmennych nstrumentalnych może być pomocne w korekce konsekwenc obecnośc błędu pomarowego w X. Jednak w przypadkach tak zwanych słabych nstrumentów gdy relaca pomędzy X Z est słaba oraz/lub gdy błąd pomarowy w X est znaczący regresa ze zmennym nstrumentalnym może dać znaczne obcążone szacunk parametrów modelu regres (Hausman, 2001). Analza regres ze zmennym nstrumentalnym est możlwa za pomocą SAS SPSS. Fuller (1975; 1987; 1991) zaprezentował alternatywną strategę przezwycężena problemu błędu pomarowego w X opartą na powtórnym pomarze te zmenne. Zastosowane metody test-retest pozwala na ednoczesne oszacowane waranc błędu pomarowego w X, var, użyce te nformac w szacowanu parametrów modelu regres. Szacowane parametrów odbywa sę za pomocą specalstycznego estymatora dla tak zwanych złożonych prób badawczych ( complex sample desgns ), zamplementowanego w pakece EV CARP (Schnell, Park Fuller, 1988). Podeśce zaprezentowane przez Fullera (1975; 1987; 1991) posada ednak poważne ogranczena praktyczne wynkaące z zastosowane metody szacowana va r. Metoda test-retest wymaga kosztownego powtórnego testowana przynamne częśc respondentów oraz określena optymalnego nterwału dzelącego obe chwle pomaru. Jeżel ten nterwał est zbyt krótk to pomary mogą ne być

33 32 nezależne, a szacowany pozom rzetelnośc będze pozytywne obcążony (Fuller, 1991). Przy zbyt długm nterwale dzelącym chwle pomaru szacowany pozom rzetelnośc może być obcążony negatywne z powodu naturalnych nesystematycznych zman, którym ulega dana zmenna wyaśnaąca (Crocker Algna, 1986). Obecne naszerze stosowaną strategą przezwycężana konsekwenc błędu pomarowego est przekształcene problemu regres w ogólny model równań strukturalnych SEM. SEM est modelem statystycznym ntegruącym model błędu pomarowego (konfrmacyną analzę czynnkową) z modelem strukturalnym (analzą śceżkową) (Bollen, 1989). W podeścu SEM zakładamy, że zmenna wyaśnana oraz zmenne wyaśnaące są edyne obserwowalne poprzez wskaźnk tych zmennych y x. Część pomarowa modelu SEM zawera równana dla zmennych obserwowalnych: y=λη+ ζ y x=λξ+ δ x gdze macerze Λ Λ zaweraą ładunk czynnkowe, a ζ δ są wektoram błędu y x pomarowego. W częśc strukturalne, współczynnk regres ( ) reprezentuą efekty latentnych zmennych wyaśnaących na latentną zmenną wyaśnaną: p p Szacowane parametrów zawartych w częśc pomarowe oraz strukturalne modelu SEM odbywa sę ednocześne za pomocą estymatora nawększe warygodnośc (maxmum lkelhood). Jeżel założena modelu są spełnone to otrzymuemy szacunk współczynnków modelu regres na neobcążone obecnoścą błędu pomarowego w zmennych obserwowalnych y x (Bollen, 1989). Podeśce SEM

34 33 wymaga, ednak, że nasz plan badawczy przewdue pomar dla przynamne dwóch wskaźnków (ndcators) każde zmenne latentne zawarte w testowanym modelu regres. Zastosowane podeśca SEM est możlwe za pomocą paketu SAS, lub ednego z welu dostępnych specalstycznych paketów SEM, z których naszerze znanym est LISREL 8 (Jöreskog, Sörbom, 1993). W welu emprycznych aplkacach modelu regres rzetelnośc zmennych zawartych w testowanym modelu są znane z własnych badań psychometrycznych lub z lteratury tematu. Fuller Hdroglou (1978) oraz Fuller (1987) demonstruą dwuetapową metodę użyca zewnętrzne nformac o pozome rzetelnośc zmennych (Y /lub X ) w szacowanu parametrów modelu regres. W perwszym etape zaobserwowana macerz kowaranc est skorygowana o znany pozom rzetelnośc zmennych zawartych w testowanym modelu. W drugm etape, tak skorygowana macerz kowaranc est użyta do szacowana parametrów modelu regres. Maras Wecker (1998) demonstruą zastosowane metody Fullera Hdrogloua (1978) w szacowanu efektu ołowu na loraz ntelgenc za pomocą standardowego paketu statystycznego. Bollen (1989) demonstrue zastosowane metody Fullera Hdrogloua (1978) w kontekśce ogólnego modelu SEM. W podeścu SEM metoda Fullera Hdrogloua (1978) polega na zrównanu dane zmenne obserwowalne ze swoą zmenną latentną, X, poprzez ogranczene ładunku czynnkowego te zmenne do ednośc, X 1. Poneważ proporca waranc w X spowodowana błędem pomaru est równa 1 X X możemy dale ogranczyć warancę błędu pomarowego w testowanym modelu SEM tak aby odzwercedlć znany pozom rzetelnośc w X : var X X var X 1.

35 34 Konceptualne, take sformułowane problemu regres pozwala na zastąpene arbtralnego założena o rzetelnośc X X 1, w klasycznym uęcu regres, nnym arbtralnym, lecz bardze realstycznym, założenem o rzetelnośc X X 1. Typowo taką analzę realzuemy za pomocą specalstycznego paketu SEM (np. LISREL 8) lub ogólnego paketu statystycznego pozwalaącego na testowane model SEM (np. SAS). Konsekwence błędu pomarowego w Y X na wynk naszego modelu regres są przedstawone w Tabel 2 6. Model regres ET na DT DPM szacowany dla zredukowanego (n = 23) zboru danych est powtórne pokazany ako Model 0 w Tabel 2. W Modelu 0, zgodne z założenem klasycznego modelu regres, przyęte rzetelnośc zmennych są równe ednośc (patrz Tabela 2). Dla porównana, Model 1 w Tabel 2 odnos sę do szacunków tego samego modelu regres, ale zakładaąc rzetelność pomaru dla nasze zmenne wyaśnane ET na pozome 0 80 ET,ET. Porównane szacunków dla Modelu 0 z szacunkam otrzymanym dla Modelu 1 (patrz Tabela 2) potwerdza wynk teoretyczne. Szacunk R 2 oraz błędów standardowych współczynnków regres są bardze korzystne dla Modelu 1, lecz założene pełne rzetelnośc pomaru dla ET w Modelu 0 ne rzutue na szacunk parametrów naszego modelu regres. Rozważmy teraz konsekwence błędu pomarowego w zmenne wyaśnaące X. Wynk analzy naszego modelu regres z założenem pozomu 7. rzetelnośc pomaru DPM,DPM.90 dla DPM są przedstawone ako Model 2 w Tabel 2 8. Porównane wynków dla Modelu 0 z wynkam dla Modelu 2 potwerdza rozległy efekt błędu pomarowego w zmenne X dla, bez wyątku, wszystkch szacowanych wartośc modelu regres. W końcu, w ostatne kolumne Tabel 2 pokazuemy wynk dla Modelu 3, w którym zakładamy rzetelność pomaru zmenne