Regresja wielokrotna: diagnostyka i selekcja modelu regresji. Multiple Regression: Diagnostics and Selection of Regression Models.

Transkrypt

1 Regresja welokrotna: dagnostyka selekcja modelu regresj Multple Regresson: Dagnostcs and Selecton of Regresson Models Roman Konarsk Unwersytet Gdansk & Pracowna Badan Spolecznych Wersja wstepna: Prosze ne cytowac bez wczesnejszego kontaktu z autorem Lpec 2004

2 1 STRESZCZENIE Dagnostyka zalozen modelu regresj jest stotnym elementem ostroznej analzy statystycznej. Analza regresj pozbawona elementu weryfkacj oraz korekty zalozen teoretycznych testowanego modelu regresj moze prowadzc do netrafnych wnosków badawczych. Szczególne stotne dla testowanego modelu regresj sa problemy wplywowych obserwacj, wspóllnowosc oraz obecnosc bledu pomarowego w zmennych wyjasnajacych. W obecnym artykule podsumowuje najbardzej stotne zalozena modelu regresj, metody weryfkacj oraz korekty braku spelnena tych zalozen. W dagnostyce statystycznej szczególna role odgrywaja metody grafczne. Uzytecznosc oraz nterpretacja róznorodnych metod grafcznych jest szczególne podkreslana w obecnej prezentacj zagadnen dagnostycznych. Prezentacja jest przeprowadzona na przykladach konkretnych analz statystycznych.

3 2 WPROWADZENIE Analza regresj jest zapewne najszerzej stosowanym modelem statystycznym, gdyz pozwala na szacowane sly formy zwazku pomedzy zmennym oraz na predykcje jednej zmennej bazujac na wedzy o wartoscach skorelowanych z na nnych zmennych. Ponadto, model regresj stanow podstawe ogólnego modelu lnowego (general lnear model, GLM) (McCullagh, Nelder, 1989) oraz modelu równan strukturalnych (structural equaton model, SEM) (Bollen, 1989). Zrozumene zalozen ogranczen regresj ma zastosowane w praktyce stosowana tych, pochodnych regresj, model statystycznych. Analza zalozen modelu regresj jest wazna, ponewaz trafnosc wynków analzy regresj jest zalezna od stopna spelnena jej zalozen teoretycznych. Obecne podsumowane prezentuje narzedza dagnostyczne pozwalajace na weryfkacje korekte zalozen analzy regresj. Prezentacje rozpoczne od przedstawena podstawowych konceptów zalozen regresj. Nastepne przejde do takch zagadnen dagnostycznych jak problemy zaleznosc lnowej, wplywowych obserwacj, heterogencznosc warancj, nelnowosc, oraz konsekwencj bledu pomarowego. Kazdy problem dagnostyczny rozpatrze pod wzgledem detekcj, konsekwencj, oraz akcj korekcyjnych danego problemu. Prezentacja jest przeprowadzona na przykladach konkretnych analz statystycznych. PODSTAWOWE KONCEPTY I ZALOZENIA REGRESJI MODEL REGRESJI Model klasycznej regresj to równane Y = β + β X + β X + + β X + ε p p

4 3 dla obserwacj = 1, 2,..., n. W równanu regresj Y jest wartosca zmennej wyjasnanej dla obserwacj, X j (j = 1, 2,..., p) sa wartoscam p zmennych wyjasnajacych dla obserwacj, ε jest bledem losowym obserwacj, a β 0 β j sa neznanym parametram modelu. Jezel mamy jedna (p = 1) zmenna wyjasnajaca nasz model jest nazywany regresja prosta. Jezel mamy wecej nz jedna (p > 1) zmenna wyjasnajaca nasz model jest nazywany regresja welokrotna. Kluczowym zalozenem modelu regresj jest brak bledu pomarowego w zmennych Y X j. Pozostale zalozena odnosza se do rozkladu pozostalosc regresj ε, które typowo zapsujemy jako ε NID 0, 2 ( σ ) co oznacza, ze ε maja rozklad normalny nezalezny (normally and ndependently dstrbuted, NID) ze sredna wartosca równa zero, E ( ε ) = 0, oraz stala warancje w calym zakrese X, ( ) σ ε = σ. W emprycznych zastosowanach modelu regresj 2 2 powyzsze zalozena ngdy ne sa dokladne spelnone. Dlatego musza one byc zweryfkowane konsekwencje braku spelnena tych zalozen musza byc rozwazone. METODA NAJMNIEJSZYCH KWADRATÓW W analze regresj parametry modelu ( β0 β j ) ne sa znane musza byc oszacowane w próbe danych. W tym celu, kryterum sumy najmnejszych kwadratów (ordnary least squares, OLS) jest stosowane do oszacowan najlepszego lnowego zwazku pomedzy zmenna wyjasnana (Y) zmennym wyjasnajacym X j. Model regresj szacowany w próbe danych jest typowo zapsany jako Y = b + bx + bx + + bx + e p p = Ŷ + e

5 4 gdze Y X j sa tym samym wartoscam co w modelu dla populacj. Wartosc dopasowane Ŷ sa wartoscam przewdywanym dla Y, b 0 jest szacunkem stalej regresj β 0, wspólczynnk regresj b j (b 1, b 2,..., b p ) sa szacunkam odpowadajacych m parametrów populacj β j ( β1 β2,,, βp ), a e sa szacunkam pozostalosc regresj ε. Metoda OLS pozwala na selekcje takch wartosc b 0 oraz b j, które mnmalzuja ogólny blad e = Y ˆ Y w tak sposób, ze suma kwadratu pozostalosc, RSS 2 = e (resdual sum of squares), jest najmnejsza z mozlwych. Ponewaz 2 σ jest sredna wartosca kwadratu pozostalosc ε w populacj mozemy oczekwac, ze neobcazonym estymatorem square) MSE = RSS / (n - p - 1). 2 σ jest sredn kwadrat pozostalosc (resdual mean Jezel zalozena odnosne rozkladu pozostalosc sa spelnone to metoda OLS posada wlascwosc BLUE (best lnear unbased estmator). Estymator OLS jest najlepszym (dajacym najmnejsze warancje parametrów) lnowym neobcazonym estymatorem parametrów modelu regresj. Jezel zalozena modelu regresj ne sa spelnone to metoda OLS ne posada wlascwosc BLUE. W konsekwencj, szacowane parametry modelu moga byc obcazone, a ch warancje ne sa najmnejsze z mozlwych. PODSTAWOWE KONCEPTY ANALIZY REGRESJI W dalszej czesc prezentacj posluze se nastepujacym przykladem syntetycznym 1. Poradna psychologczna pragne okreslc efektywnosc nowego programu terap rodznnej. W tym celu, losowo wyselekcjonowano 25 par pacjentów z posród wszystkch par rozpoczynajacych terape w cagu ostatnch 10 mesecy. Zmenna wyjasnana w testowanym modelu regresj jest efektywnosc terap (ET), to

6 5 jest zmana (przyrost) w deklarowanym zadowolenu z pozyca malzenskego pomedzy pozomem na rozpoczece terap pozomem osagnetym po okreslonym okrese trwana terap. Dlugosc terap (DT), merzona w tygodnach, jest najwaznejsza zmenna wyjasnajaca. Ponewaz dlugosc pozyca malzenskego (DPM), merzona w latach, lczba dzec (LD) moga mec wplyw na efektywnosc terap te zmenne sa równez zawarte w testowanym modelu regresj. Dane dla 25 par pacjentów sa przedstawone w Tabel tutaj Tabela Wynk analzy regresj, za pomoca paketu statystycznego SAS (SAS Insttute, 1999a), sa nastepujace: ET = DT 201. DPM 425. LD ( ) ( ) ( ) ( ) W powyzszym równanu, wspólczynnk regresj ( b j ) okreslaja zmane w zmennej wyjasnanej ( ) X, Y dla zmany o 1 jednostke w danej zmennej wyjasnajacej ( j ) utrzymujac pozostale zmenne wyjasnajace ( k j) X na stalych pozomach. Na przyklad, kazdy dodatkowy tydzen terap (DT) jest zwazany z podwyzszenem zadowolena z pozyca malzenskego (ET) o 0.61 jednostek, utrzymujac dlugosc pozyca malzenskego (DPM) oraz lczbe dzec (LD) na stalych pozomach. Jedna z najwaznejszych mar efektywnosc zastosowanego modelu regresj jest R 2 (R-kwadrat). R 2 jest frakcja zmennosc w Y, która jest wyjasnana przez zmany w zmennych X j. Gdy zmenne X j wyjasnaja cala zmennosc w Y, R 2 jest +1. Jezel ne ma zwazku pomedzy Y zmennym X j, R 2 jest zero. R 2 to takze kwadrat korelacj medzy wartoscam przewdywanym Ŷ przez nasz model regresj oraz

7 6 2 2 wartoscam zaobserwowanym Y, R = r ŶY. W naszym przykladze R 2 = 0.35 co oznacza, ze DT, DPM LD wspólne wyjasnaja 35% zmennosc w ET. Bledy standardowe (coeffcent standard errors) wspólczynnków regresj s( b j ) sa mara zakresu prawdopodobnych wartosc szacowanych wspólczynnków w populacj. Na przyklad, mozemy stwerdzc z ufnosca 95%, ze prawdzwa wartosc danego wspólczynnka jest w grancach ±2.0 bledu standardowego od szacowanej wartosc 2. Bledy standardowe wspólczynnków regresj dla naszego modelu sa podane w nawasach ponzej szacowanych wartosc. Na przyklad, blad standardowy wspólczynnka regresj dla DT wynos s( b ) 026. DT =. W konsekwencj, mozemy stwerdzc z ufnosca 95%, ze prawdzwa wartosc tego wspólczynnka znajduje se w przedzale 0.61 ± 2(.26). Statystyk testowe-t merza statystyczna stotnosc zmennych X j w predykcj zmennej Y. Jezel dana zmenna X j ne jest stotna to jej wspólczynnk regresj β j = 0 w badanej populacj. Wartosc statystyk testowej-t dla danego wspólczynnka to loraz szacunku tego wspólczynnka jego bledu standardowego j ( j) b sb. Wartosc statystyk testowej-t, w przyblzenu, weksze nz 2 oznaczaja, ze dana zmenna X j jest wazna ze statystycznego punktu wdzena 3. W naszym przykladze, wartosc statystyk testowych-t dla DPM (t = -0.61) LD (t = -0.52) sa blsko zera, dlatego te zmenne prawdopodobne ne przewduja pozomu ET. Natomast DT wydaje se byc wazna gdyz wartosc jej statystyk testowej-t > 2 (t = 2.37). Innym slowy, zaobserwowana relacja (b DT = 0.61) pomedzy efektywnosca psychoterap dlugosca psychoterap ne jest wynkem czynnków losowych. Natomast zaobserwowana relacja pomedzy efektywnosca terap dlugosca pozyca

8 7 malzenskego (b DPM = -2.01) oraz lczba dzec (b LD = -4.25) jest prawdopodobne wynkem czynnków losowych ne wystepuje w badanej populacj. TESTOWANIE ZALOZEN REGRESJI Testowane zalozen modelu regresj polega na eksploracj cech analzowanego zboru danych oraz testowanego modelu regresj. W dagnostyce statystycznej szczególne wazna role spelnaja metody grafczne (Cook Wesberg, 1994). Grafka statystyczna, w odróznenu od formalnych testów statystycznych, pozwala na ocene stopna spelnena róznorodnych zalozen testowanego modelu, ujawna strukture szczególnego problemu dagnostycznego, oraz sugeruje najbardzej optymalna akcje korekcyjna. Czesto stneje naturalna herarcha w uzycu narzedz dagnostycznych. Analze zalozen modelu regresj typowo zaczynamy od dagnozy korekty problemów wspólzaleznosc lnowej oraz wplywowych obserwacj. Zalozena normalnosc oraz homogencznosc rozkladu pozostalosc regresj rozwazamy jako ostatne zagadnena odnoszace se do analzowanego zboru danych. Problemy nelnowosc oraz obecnosc bledu pomarowego sa, w pewen sposób, oddzelne gdyz w wekszym stopnu dotycza przyjetej formy testowanego modelu regresj nz charakterystyk analzowanego zboru danych. WSPÓLLINIOWOSC Gdy zmenne wyjasnajace sa wysoko skorelowane wynk analzy regresj moga byc nestablne. Szacowany efekt danej zmennej X j moze zmenc welkosc, a nawet kerunek, zalezne od pozostalych zmennych wyjasnajacych zawartych w testowanym modelu regresj. Warunek, w którym zaleznosc lnowa pomedzy zmennym wyjasnajacym zagraza trafnosc wynków analzy regresj jest nazywany

9 8 wspóllnowosca (collnearty) lub welowspóllnowosca (multcollnearty) aby podkreslc, ze ten problem moze dotyczyc wecej nz dwóch zmennych wyjasnajacych. Alternatywne, problem zaleznosc lnowej jest nazywany zlym uwarunkowanem (ll condtonng) aby podkreslc, ze ten problem dotyczy szczególnej formy macerzy X (Belsley, Kuh Welsch, 1980). W lteraturze stosowanej przyjely se okreslena wspóllnowosc oraz welowspóllnowosc, które sa stosowane zamenne. Symptomam wysokej wspóllnowosc sa znaczne zanzone statystyk testowe-t dla zmennych wyjasnajacych, które logczne pownny posadac relacje ze zmenna wyjasnana (lub dzwne wysoke wartosc statystk-t), lub wspólczynnk regresj posadajace odwrotny kerunek wspólczynnka od spodzewanego (na przyklad, w relacj ntelgencj do wynków w szkole, jezel wspólczynnk dla ntelgencj bylby negatywny). Innym typowym objawem wysokej wspóllnowosc jest sytuacja gdy testowany model regresj daje wysoke R 2 jednak zadna zmenna wyjasnajaca ne jest statystyczne stotna. Typowo efekt wspóllnowosc jest wyrazany poprzez wspólczynnk VIF (varance nflaton factor), który wskazuje o le warancje wspólczynnków sa zawyzone z powodu zaleznosc lnowych w testowanym modelu. VIF dla danej zmennej nezaleznej X j jest zdefnowany jako gdze 2 ( j) VIF = 1/ 1 R, j 2 R j jest wspólczynnkem welokrotnej determnacj dla regresj danej zmennej X j na pozostale zmenne wyjasnajace zawarte w modelu 4 (Belsley, Kuh Welsch, 1980, s. 93). VIF j wskazuje o le warancja szacowanego wspólczynnka regresj

10 9 ( j ) 2 s b jest podwyzszona z powodu wspóllnowosc danej zmennej nezaleznej z pozostalym zmennym nezaleznym. Pakety statystyczne (np. SAS, SPSS) typowo podaja wartosc VIF oraz nna welkosc nazywana TOL (tolerance). TOL jest zdefnowany jako 1VIF. Fox (1991) rekomenduje stosowane VIF j gdyz welkosc ta bezposredno wyraza o le przedzal ufnosc dla danego wspólczynnka jest poszerzony, lub o le wartosc statystyk testowej-t jest obnzona z powodu zaleznosc lnowej. Chocaz ne ma unwersalne przyjetej krytycznej wartosc dla VIF, wartosc VIF j = 4 moga byc uwazane za wskazujace na obecnosc problemu wspóllnowosc gdyz oznaczaja, ze dany przedzal ufnosc jest przynajmnej dwa razy szerszy (a dana statystyka testowa-t jest co najmnej o polowe mnejsza) z powodu zaleznosc lnowych. Problem zaleznosc lnowej moze byc takze wykryty poprzez wzualne przeegzamnowane macerzy korelacj zmennych wyjasnajacym. Wysok wspólczynnk korelacj, r X j X k j, pomedzy zmenna X j jakakolwek nna zmenna X jest warunkem wystarczajacym, chocaz ne konecznym, do wystapena k j wysokego 5 VIF j. Na przyklad, wspólczynnk korelacj r =. 87 wynkne w VIFj 4.1 ( VIFj 20. ). XjXk j Ne ma prostego sposobu na korekte zaleznosc lnowej. Gdy wystap problem slnej wspóllnowosc pomedzy X 1 X 2 dane nosa malo nformacj o oddzalywanu zmennej X 1 na Y kontrolujac statystyczne (utrzymujac na stalym pozome) X 2. To samo mozemy powedzec o efekce X 2 na Y. Tak jest ponewaz X 1 X 2 dzela wekszosc swoch warancj pozostaje mala proporcja warancj w jednej zmennej gdy ta druga jest utrzymywana na stalym pozome. Ponewaz β 1 jest

11 10 efektem czescowym zmennej X 1 kontrolujac X 2 oszacowane tego parametru ne jest precyzyjne, gdyz opera se na relatywne malej proporcj nformacj zawartej w X 1. Stratege korekty problemu wysokej wspóllnowosc odnosza se do trzech elementów zastosowana analzy regresj: danych, testowanego modelu, oraz metody estymacj (Fox, 1991). Najbardzej pozadana metoda korekty problemu wysokej wspóllnowosc jest poprawa uwarunkowana danych poprzez rozszerzene stnejacego zboru obserwacj o nowe, w tak sposób, aby zmnmalzowac stnejace zaleznosc lnowe pomedzy zmennym wyjasnajacym. Ta metoda, chocaz najbardzej pozadana ze statystycznego teoretycznego punktu wdzena, ma ogranczone zastosowane praktyczne z powodu kosztów czasu realzacj planów badawczych. Ponadto, dodatkowe obserwacje ne gwarantuja poprawy uwarunkowana zaleznosc pomedzy zmennym wyjasnajacym, szczególne jezel manpulacja eksperymentalna tych zmennych ne jest mozlwa. Z tych powodów stratega wprowadzene dodatkowych danych prawdopodobne ne jest metoda o znaczenu praktycznym (Belsley n., 1980; Fox, 1991). Chocaz wysoka wspóllnowosc to przede wszystkm problemem danych, jedna z najbardzej skutecznych strateg korekcyjnych tego problemu jest przeformulowane testowanego modelu regresj. Przeksztalcene modelu moze nastapc w dwojak sposób. Perwszy sposób to wyrazene zmennych wyjasnajacych bedacych w zaleznosc lnowej jako kompozyt tych zmennych. Na przyklad, jezel w testowanym modelu mamy wzrost wage jako zmenne wyjasnajace, które sa zwykle wysoko skorelowane, mozemy zastapc te zmenne nowa zmenna wyrazajaca stosunek wzrostu do wag. Jezel lczba zmennych wyjasnajacych w testowanym modelu jest duza to mozemy posluzyc se analza glównych skladowych w celu

12 11 redukcj tych zmennych do jednej lub klku relatywne nezaleznych kompozytów. Jezel tak otrzymane kompozyty orygnalnych zmennych wyjasnajacych poddaja se nterpretacj to moga byc one uzyte jako zmenne wyjasnajace w analze regresj. Klka warantów tego podejsca jest znanych w lteraturze pod nazwam prncpal component regresson oraz latent root regresson (Wetherll, Duncombe, Kenward, Köllerström, Paul Vowden, 1986). Drug sposób przeformulowana testowanego modelu regresj to redukcja orygnalnego zboru zmennych wyjasnajacych do mnejszego mnej skorelowanego podzboru tych zmennych. Jest to zdecydowane najczescej stosowana metoda rozwazywana problemy wysokej wspóllnowosc. Musze jednak podkreslc, ze redukcja zmennych wyjasnajacych waze se ze zreformulowanem a pror postawonej hpotezy o zwazku pomedzy zmenna zalezna zmennym nezaleznym. Idealne, taka selekcja zmennych wyjasnajacych pownna byc dokonana w swetle teor badanego procesu psychologcznego, a ne poprzez jedna z dostepnych metod automatycznej selekcj modelu regresj. Automatyczne metody selekcj modelu to selekcja postepujaca (forward selecton), elmnacja wsteczna (backward elmnaton), oraz metoda krokowa (stepwse). W selekcj postepujacej zaczynamy od jednej zmennej wyjasnajacej dodajemy zmenne do modelu, które na danym etape selekcj maksymalzuja R 2. Proces selekcj zatrzymuje se gdy poprawa w R 2 ne osaga ustalonego mnmum. Elmnacja wsteczna jest podobna z tym, ze proces selekcj rozpoczyna se od pelnego modelu, zawerajacego wszystke zmenne wyjasnajace, dana zmenna jest elmnowana z modelu jezel jej brak ne prowadz do ustalonego spadku w R 2. Metoda postepujaca wsteczna charakteryzuja se tym, ze dana zmenna wyjasnajaca ne moze znalezc se w modelu wecej nz raz.

13 12 Metoda krokowa jest kombnacja metody postepujacej wstecznej. W metodze krokowej dana zmenna wyjasnajaca moze opuscc lub wejsc do modelu wele razy. Metody automatycznej selekcj modelu sa unwersalne krytykowane (np. Draper Smth, 1981; Wesberg, 1985; Wetherll n., 1986) ponewaz ostateczny podzbór zmennych wyjasnajacych jest zalezny od zastosowanej metody selekcj, zwykle ne jest optymalny an z teoretycznego an ze statystycznego punktu wdzena. To jest, metody automatycznej selekcj, z defncj, ne bora pod uwage czynnków teoretycznych, an ne musza dac maksymalnego R 2 dla wynkajacego podzboru zmennych wyjasnajacych o danej welkosc. Ponadto, metody automatycznej selekcj w znaczny sposób przecenaja stotnosc otrzymanych wynków ponewaz testowany model jest dostosowywany do losowych charakterystyk analzowanego zboru danych (Wesberg, 1985). W konsekwencj, metody automatycznej selekcj modelu pownny byc stosowane z rozwaga oraz w swetle ogranczen tych technk. Ostatna stratega korekty wysokej wspóllnowosc to zastosowane estymatora ne spelnajacego warunków BLUE. Tak estymator daje obcazone szacunk parametrów modelu regresj, ale z relatywne zredukowanym bledam standardowym w porównanu z metoda OLS (Hoerl Kennard, 1970a, 1970b; Marquardt Snee, 1975). Najszerzej stosowanym obcazonym estymatorem jest regresja krawedzowa (rdge regresson). Regresja krawedzowa jest modyfkacja metody najmnejszych kwadratów, w której mala wartosc stala c = 0, nazywana obcazajaca konstanta, jest dodana do warancj zmennych wyjasnajacych. Gdy c = 0 estymator krawedzowy jest estymatorem OLS. Obcazene szacowanych wspólczynnków regresj wzrasta wraz z c, a warancja parametrów maleje. Zawsze stneje jakas wartosc c, dla której estymator krawedzowy daje mnejsze bledy standardowe nz estymator OLS. Jednak, trudnosc w zastosowanu regresj

14 13 krawedzowej polega na tym, ze optymalna wartosc dla c ne jest znana jest nna dla kazdej aplkacj modelu regresj (Neter, Kutner, Nachtshem Wasserman, 1996). Regresja krawedzowa jest mozlwa w wekszosc popularnych paketów statystycznych (np. SAS SPSS). Draper Smth (1981), Wesberg (1985) oraz Fox (1991) sugeruja szczególna rozwaga w stosowanu tej metody estymacj. Wesberg (1985) podkresla, ze w sytuacj problemu wspóllnowosc regresja krawedzowa moze dac nam relatywne duza redukcje bledów standardowych, jednak wartosc tej redukcj ne jest jasna. Jezel szacowane β j ne sa blsko zera to korzysc wyplywajace z zastosowana metody krawedzowej sa neznaczne. Jezel szacowane β j sa blsko zera to metoda OLS daje nam malo precyzyjne (posadajace duze bledy standardowe), ale neobcazone (prawdlowe) szacunk parametrów. Z drugej strony, metoda krawedzowa daje nam bardzej precyzyjne, ale obcazone szacunk parametrów modelu. Powracajac do naszego przykladu, w szacowanym modelu regresj ET na DT, DPM LD, jedyne wspólczynnk regresj dla DT jest statystyczne stotny, t(21) = 2.37, p <.001, podczas gdy wspólczynnk dla DPM, t(21) = -0.61, p >.5, oraz LD, t(21) = -0.52, p >.5, ne osagnely statystycznej stotnosc. Zauwazmy jednak, ze zmenne DPM LD posadaja relatywne wysoke wskaznk zaleznosc lnowej, VIFDPM = 25. VIFLD = 25., spowodowanej wysoka korelacja (r =.91) pomedzy tym zmennym. Wysoka korelacja pomedzy DPM LD jest zrozumala gdyz badane pary malzenske sa we wczesnych latach (1.5 do 11 lat) malzenstwa, które sa typowym okresem powekszana rodzny. Dlatego najprostsza metoda obnzena tej korelacj bylo by przebadane dodatkowych par w póznejszych latach pozyca malzenskego. Ponewaz rozszerzene zakresu zaobserwowanych wartosc zmennej DPM ne jest

15 14 mozlwe, problem wysokej wspóllnowosc pomedzy DPM LD mus byc rozwazany poprzez wyelmnowane jednej z tych dwóch zmennych wyjasnajacych. Idealne taka decyzja pownna byc podyktowana czynnkam teoretycznym. W naszym wypadku, pozostawmy w modelu zmenna DPM. Szacunk parametrów regresj dla tak zredukowanego modelu sa pokazane ponzej: RZ = DT 357. DPM ( ) ( ) ( ) Elmnacja zmennej LD skuteczne rozwazala problemu wspóllnowosc (VIF DPM = 1.02), spowodowala tylko neznaczna degradacje efektywnosc (R 2 = 0.34) zredukowanego modelu regresj. Ponadto, zauwazmy, ze zmenna DPM jest statystyczne stotna (t = -2.67, p <.05) w zredukowanym modelu, podczas gdy byla ona nestotna w pelnym modelu regresj. NIETYPOWE I WPLYWOWE OBSERWACJE W analze regresj netypowe obserwacje (outlers) posadaja netypowe wartosc zmennej Y dla ch wartosc zmennych X j, w konsekwencj, posadaja duze wartosc pozostalosc e. Netypowe obserwacje to takze obserwacje z relatywne nskm pozostaloscam regresj, lecz z netypowym wartoscam jednej lub wecej zmennych wyjasnajacych. Netypowe obserwacje sa problematyczne dla metody najmnejszych kwadratów ponewaz moga w znaczny sposób wplywac na wynk (szacunk parametrów) analzy regresj. Take netypowe obserwacje nazywamy wplywowym. W regresj prostej, obserwacja posadajaca netypowa wartosc Y dla danej wartosc X posada wysoka odmennosc (dscrepancy). Natomast obserwacja posadajaca typowa wartosc Y (male e ) netypowa wartosc X posada wysoka dzwgne (leverage). Czesto odmenne obserwacje maja duze wartosc pozostalosc

16 15 regresj e, ale ne zawsze. Obserwacja posadajaca wysoka dzwgne moze mec mala wartosc e, ponewaz przycaga lne (plaszczyzne w regresj welokrotnej) regresj Ŷ blsko Y. W konsekwencj, wplyw danej obserwacj na wspólczynnk regresj jest wyrazany jako funkcja odmennosc dzwgn tej obserwacj (Fox, 1991): Wplyw Obserwacj = Dzwgna Odmennosc. Dagnostyka wplywu obserwacj na wynk analzy regresj sprowadza se do analzy odmennosc dzwgn tych obserwacj, lub bezposrednej oceny wplywu obserwacj na wspólczynnk testowanego modelu regresj. Najczescej stosowana mara dzwgn danej obserwacj jest tak zwana wartosc h (hat-value) tej obserwacj. W regresj prostej, wartosc h merzy dystans danej obserwacj od srednej wartosc zmennej X: h 2 ( X X) ( ) 1 = + n X X 2. W regresj welokrotnej, h merzy dystans od punktu srednch (centrod) wszystkch zmennych wyjasnajacych borac pod uwage strukture korelacyjna tych zmennych. Wartosc h meszcza se w przedzale 1 n h 1, a ch suma jest równa lczbe zmennych wyjasnajacych, h = p. Nektóre systemy statystyczne (np. SPSS) podaja odleglosc Mahalanobsa (Mahalanobs dstance), m, jako alternatywna mare dzwgn obserwacj. Odleglosc Mahalanobsa jest otrzymana poprzez opuszczene elementu 1/n pomnozene pozostalosc przez (n 1) w równanu dla h : 1 m = h n n ( 1) Belsley n. (1980) deklaruja obserwacje jako punkty wysokej dzwgn (hghleverage ponts), których wartosc h przekraczaja dwe sredne wartosc, to jest h > 2 pn. Gdy zmenne wyjasnajace posadaja rozklad welozmennowy normalny.

17 16 (multvarate normal), ta wartosc krytyczna dla h pozwala na zdentyfkowane 5% najbardzej ekstremalnych obserwacj. Mara odmennosc obserwacj w modelu regresj jest t-standaryzowana pozostalosc regresj (studentzed resdual) (Belsley n., 1980) t = MSE e ( ) 1 h, gdze e h sa wartoscam z modelu regresj szacowanego dla wszystkch n obserwacj. Natomast blad standardowy regresj MSE( ) jest otrzymany poprzez dopasowane modelu regresj do (n - 1) obserwacj elmnujac obserwacje. Tak wystandaryzowane pozostalosc regresj maja rozklad t(n - p 2), okolo 5% obserwacj bedze se znajdowalo poza zakresem t 2. W konsekwencj, Fox (1991) sugeruje traktowane wartosc t przekraczajace ± 2 jako wskazujace na obserwacje zaslugujace na nasza uwage. W lteraturze statystycznej, t- standaryzowane pozostalosc regresj sa takze nazywane deleton resduals (Atknson, 1985), oraz externally Studentzed resduals (Cook Wesberg, 1982). Najbardzej bezposredna mara wplywu obserwacj na szacunk wspólczynnków regresj b j jest otrzymana z testowana danego modelu regresj dwukrotne. Raz w pelnym komplece n obserwacj oraz powtórne w n 1 obserwacjach, gdy obserwacja jest wyelmnowana ze zboru danych. Belsley n. (1980) defnuja taka róznce dla danego wspólczynnka regresj j jako DFBETA j = b j b j, dla kazdego = 1,..., n, ( ) gdze b j(-) jest szacunkem parametru β j gdy obserwacja jest wyelmnowana ze zboru danych. Aby ulatwc nterpretacje, Belsley n. (1980) takze proponuja wystandaryzowana wersje jako

18 17 DFBETAS j DFBETAj =. MSE b (-) j Walor wyrazana wplywu danej obserwacj w jednostkach bledu standardowego regresj pozwala na okreslene (w przyblzenu) statystycznej stotnosc tego wplywu. W konsekwencj Fox (1991) sugeruje stosowane wartosc DFBETAS j > 2 jako wskazujace na stotny wplyw danej obserwacj w malych srednej welkosc próbach badawczych. Dla duzych prób, Belsley n. (1980) proponuja stosowane wartosc krytycznej skorygowanej o welkosc próby jako DFBETASj > 2 n. Ponewaz dla danej obserwacj mamy p + 1 wplywów (p wspólczynnków plus stala regresj) tej obserwacj na szacunk parametrów modelu potrzebujemy metody na okreslene ogólnego wplywu danej obserwacj na szacowany model regresj. Dwe najczescej stosowane mary ogólnego wplywu obserwacj na szacowany model regresj to odleglosc Cooka (Cook s dstance) oraz DFFIT. Obe mary wyrazaja wplyw obserwacj jako loczyn dzwgn odmennosc tej obserwacj. Cook (1977) zaproponowal mare odleglosc D obserwacj jako e 2 D = MSE p h h ( + 1) ( 1 ) gdze perwszy element jest mara odmennosc a drug jest mara dzwgn danej obserwacj. Belsley n. (1980) zaproponowal konceptualne dentyczny ndeks ogólnego wplywu danej obserwacj jako 2, DFFIT oraz jego wersje wystandaryzowana jako h = e 1 h, DFFITS = t h. 1 h

19 18 Fox (1991) zauwaza, ze z wyjatkem pewnych rzadkch konfguracj danych D ( p ) +. Dla DFFITS, Chatterjee Had (1988), Belsley n. (1980) 2 DFFITS 1 oraz Fox (1991) rekomenduja stosowane wartosc krytycznej skorygowanej o welkosc próby jako DFFITS 2 ( 1) ( 1) krytycznej dla odleglosc Cooka jako D 4 ( n p 1) > p+ n p, oraz odpowednej wartosc >. Wplyw danej obserwacj na wynk analzy regresj moze byc takze wyrazony poprzez wplyw tej obserwacj na bledy standardowe szacowanych wspólczynnków regresj. Ponewaz przedzaly ufnosc szacowanych wspólczynnków regresj sa bezposredno proporcjonalne do bledów standardowych tych wspólczynnków, Belsley n. (1980) zaproponowal mare wplywu obserwacj na wspólny obszar ufnosc wspólczynnków szacowanego modelu regresj jako kwadrat stosunku przedzalów ufnosc dla pelnego (n) zredukowanego (n - 1) zboru danych COVRATIO 1 1 = 2 p+ 1 n p 2 + t n p 1 ( 1 h ). Wartosc COVRATIO < 1 wskazuja na obserwacje, których elmnacja zmnejszy bledy standardowe szacowanych wspólczynnków regresj, natomast wartosc COVRATIO > 1 wskazuja na obserwacje, których elmnacja zwekszy bledy standardowe szacowanych wspólczynnków regresj (Belsley n., 1980). Belsley n. (1980) oraz Fox (1991) sugeruja stosowane wartosc krytycznych skorygowanych na welkosc próby jako COVRATIO 1 3( 1) > p+ n. Do tej pory rozwazalsmy jedyne wplyw pojedynczych obserwacj. W sytuacjach gdy mamy do czynena z grupam obserwacj wywerajacym kolektywny wplyw na szacunk parametrów modelu regresj nezastapone sa metody grafczne, a wsród nch wykres nazywany partal-regresson leverage plot (Belsley n., 1980)

20 19 lub added-varable plot (Cook Wesberg, 1982) lub, po prostu, partal-regresson plot (Fox, 1991). Proponuje tlumaczene nomenklatury Foxa (1991) jako wykres regresj czastkowej. Wykres regresj czastkowej jest konstruowany w nastepujacy sposób. Zdefnujmy ( 1) y jako pozostalosc z regresj zmennej Y na wszystke zmenne wyjasnajace z wyjatkem X 1, X j?1. To jest pozostalosc z dopasowana modelu ( 1) ( 1) ( 1) ( 1) Y = b + b X + + b X + y p p Podobne, ( 1) x sa pozostaloscam z regresj zmennej X 1 na pozostale X j?1 : ( 1) ( 1) ( 1) ( 1) X b b X b X x. * * * 1 = p p + Wykreslajac wartosc ( 1) y ( 1) x pozwala na egzamnowane dzwgn wplywu kazdej obserwacj na b 1. Podobne wykresy moga byc skonstruowane dla pozostalych wspólczynnków regresj. Fox (1991) oraz Cook Wesberg (1994) demonstruja zastosowane wykresów regresj czastkowej w dagnostyce wplywu grup obserwacj. Cook Wesberg (1989) oraz McCulloch (1993) rozwjaja koncept tych wykresów do grafk dynamcznej w wecej nz dwóch wymarach. Wszystke dyskutowane statystyk wplywu obserwacj sa dostepne we wspólczesnych paketach statystycznych ogólnego zastosowana (np. SAS, SPSS). Jednak szczególne wyrózna se system SAS (SAS Insttute, 1999b), który pozwala egzamnowane wplywu dzwgn obserwacj na dynamcznych wykresach 3- wymarowych. Dagnostyka wplywu obserwacj dla zredukowanego modelu regresj ET na DT DPM ukazuje cztery pary malzenske posadajace przynajmnej jedna statystyke wplywu przekraczajaca swoja wartosc krytyczna. Para malzenska numer 19 posada DFFITS 19 = -3.2 COVARTIO 19 = 4.0. Natomast, para malzenska 18 posada

21 20 DFFITS 18 = 1.5, a pary malzenske posadaja odpowedno COVRATIO 15 = 0.6 COVRATIO 23 = 1.5. Dla naszych danych, zgodne z zalecenam Belsley n. (1980) oraz Fox (1991), wartosc krytyczna dla statystyk wplywu na parametry modelu regresj jest DFFITS = 0.74, a wartosc krytyczna dla statystyk wplywu na warancje szacowanych parametrów modelu jest COVRATIO = 1.36 dla zaobserwowanych wartosc COVRATIO > 1, oraz COVRATIO = 0.64 dla COVRATIO < 1. Wplyw kazdej obserwacj na wspólczynnk regresj jest takze pokazany na wykresach regresj czastkowych zaprezentowanych w Rycne 1. W Rycne 1 wczesnej zdentyfkowane wplywowe obserwacje (para 15, 18, 19, 23) sa oznaczone numerem obserwacj. Wykres regresj czastkowej dla DT (Rycna 1a) potwerdza znaczny wplyw obserwacj 19, która powoduje zanzene czastkowego efektu DT na ET. Jak mozemy dalej zauwazyc z Rycny 1a, wylaczene obserwacj 19 z dalszych analz spowoduje znaczne zmnejszene odmennosc obserwacj 15, 18, 23, w konsekwencj znaczne zmnejszene wplywu tych obserwacj na czastkowy efekt zmennej DT na ET tutaj Rycna Wykres regresj czastkowej dla DPM (Rycna 1b) pokazuje relatywne duzy wplyw obserwacj 18 na czastkowy efekt DPM na ET. Jak mozemy dalej zauwazyc z Rycny 1b, para 15 posada relatywne duza odmennosc oraz relatywne mala dzwgne,, w konsekwencj, newelk wplyw na czastkowy efekt zmennej DPM na ET. Pozostale obserwacje (19 23) wczesnej zdentyfkowane jako potencjalne wplywowe ne wydaja se znaczaco odbegac od glównej tendencj zawartej w danych.

22 21 Powtórne sprawdzene danych w Tabel 1 wskazuje na blad wprowadzana danych dla pary 19. Zgodne z naszym danym para 19 byla w 82 tygodnu terap rodznnej (DT 19 = 82), podczas gdy dopuszczalna dlugosc terap, w naszym badanu, wynosla 40 tygodn. W konsekwencj dane pary 19 beda wykluczone z dalszych analz. Ponadto z dalszych analz zostana wykluczone dane pary 18 z powodu duzego wplywu tej obserwacj na czastkowy wspólczynnk regresj zmennej DPM. Ponowny test modelu regresj ET na DT DPM w zredukowanym (n = 23) zborze danych dal nastepujace równane regresj: ET = DT 459. DPM ( ) ( ) ( ) Zgodne z sugestam wykresów regresj czastkowych wykluczene obserwacj z analzowanego zboru danych wynklo w znaczne wyzszych wspólczynnkach regresj dla obu zmennych wyjasnajacych nz te otrzymane w pelnym (n = 25) zborze danych. Zwrócmy takze uwage na znaczny wzrost mocy wyjasnajacej (R 2 = 0.51) testowanego modelu po wykluczenu par Decyzja odnosne wykluczena netypowych obserwacj zawsze nese ze soba element nepewnosc. Chocaz problematyczne dane pownny byc wykluczone, ne pownnsmy elmnowac takch obserwacj bez namyslu rozwag. Fox (1991) podkresla, ze jest krytyczne abysmy zawsze rozwazyl powód, dla którego nektóre obserwacje sa netypowe. Netypowe obserwacje moga motywowac modyfkacje testowanego modelu poprzez dodane zmennej wyjasnajacej. Pownnsmy jednak unkac sytuacj, w których mala proporcja danych determnuje forme naszego modelu regresj. Jezel jednak decydujemy se na elmnacje netypowych obserwacj to cazy na nas obowazek odnotowana tego faktu w raporce badawczym.

23 22 NORMALNOSC ROZKLADU POZOSTALOSCI REGRESJI Metoda OLS jest relatywne odporna na brak spelnena zalozena normalnosc rozkladu pozostalosc regresj. Jednak w przypadku malych prób lub znacznego pogwalcena tego zalozena brak normalnosc rozkladu pozostalosc moze zagrazac trafnosc wynków analzy regresj. Normalnosc rozkladu pozostalosc jest typowo egzamnowana za pomoca metod grafcznych. Metody grafczne pozwalaja nam ne tylko na okreslena stopna pogwalcena tego zalozena, ale takze na okreslene formy rozkladu pozostalosc. Takm narzedzem jest wykres normalnych centyl (normal quantle-quantle plot) lub w skróce wykres normalnych Q-Q, w którym empryczne centyle (quantles) t-standaryzowanych pozostalosc regresj sa wykreslone na os rzednych a teoretyczne centyle z, z rozkladu Z N( 0,1), sa wykreslone na os odcetych. Jezel nasze t pochodza z rozkladu normalnego to, w grancach bledu próby, uszeregowane rosnaco t = z, wykres tych wartosc jest lnowy. Konstrukcja nterpretacja wykresów Q-Q jest opsana w szczególach w Chambers, Cleveland, Klener Tukey (1983) oraz Fox (1990). Wykresy normalnych Q-Q sa dostepne w standardowych paketach statystycznych (np. SAS, SPSS). Wykres normalnych Q-Q dla zredukowanego (n = 23) zboru danych jest pokazany w Rycne 2. Dagonalna lna referencyjna na wykrese odnos se do dealne normalnego rozkladu pozostalosc regresj. Jak mozemy zauwazyc z Rycny 2, poza neznaczna sklonnosca rozkladu pozostalosc do skosnosc do lewej strony, wzorzec wykresu pozostalosc wskazuje na rozklad ne odbegajacy w znaczny sposób od rozkladu normalnego tutaj Rycna Analza stopna spelnena zalozena normalnosc rozkladu pozostalosc jest w welu aspektach trudnejsza od analzy nnych zalozen modelu regresj. Jezel próba

24 23 badawcza jest relatywne mala ocena normalnosc rozkladu jest relatywne trudna. Ponadto, brak spelnena nnych zalozen modelu regresj zwykle wplywa na rozklad pozostalosc. Na przyklad, pozostalosc moga ne posadac normalnego rozkladu ponewaz newlascwa funkcjonalna forma modelu jest testowana, lub ponewaz rozklad pozostalosc ne posada stalej warancj. Z tego powodu, zwykle dobra stratega jest egzamnowane stopna spelnena pozostalych zalozen modelu regresj przed sprawdzenem normalnosc rozkladu pozostalosc. Efektywnym sposobem korekty braku normalnosc pozostalosc jest transformacja zmennej Y, z zastosowanem prostej transformacj z rodzny transformacj drabny poteg (ladder of powers) Tukeya (1977). Taka transformacja polega na wyrazenu zmennej Y jako Y p = Y. Typowo p = -2, -1, -1/2, 1/2, 2, lub 3. Zauwazmy, ze p = 1 oznacza brak transformacj. Transformacja dla p = 0 byla by bezuzyteczna gdyz 0 Y = 1. Z tego powodu transformacja dla p = 0 oznacza transformacje logarytmczna Y = logy. Transformacje w góre (p > 1) drabny poteg koryguja pozytywna skosnosc rozkladu pozostalosc, transformacje w dól (p < 1) drabny poteg koryguja negatywna skosnosc rozkladu. STALOSC WARIANCJI POZOSTALOSCI REGRESJI Brak stalosc rozproszena pozostalosc regresj w calym zakrese wartosc zmennych wyjasnajacych jest nazywana heteroscedastycznosca (heteroscedastcty). Jezel zalozene homogencznosc rozproszena pozostalosc jest spelnone to mówmy, ze dane sa homoscedastyczne (homoscedastc). Heteroscedastycznosc ne powoduje obcazena szacunków parametrów regresj, ale wplywa ujemne na szacunk bledu standardowego regresj. W konsekwencj, heteroscedastycznosc

25 24 zagraza wnoskowanu statystycznemu odnosne szacowanych wspólczynnków regresj oraz ujemne obcaza szacunk R 2 (Carroll Ruppert, 1988). Heteroscedastycznosc moze byc zdagnozowana za pomoca wykresu rozproszena pozostalosc regresj e wartosc przewdywanych Ŷ. W przypadku regresj prostej, wykres pozostalosc wartosc przewdywanych moze byc zastapony wykresem e wartoscam zmennej wyjasnajacej X, ponewaz Ŷ jest lnowa funkcja X. Wykres pozostalosc regresj wartosc przewdywanych dla naszego modelu regresj ET na DT DPM testowanego w zredukowanym (n = 23) zborze danych jest pokazany w Rycne 3. Wzorzec rozproszena pozostalosc regresj w Rycne 3 ne ukazuje zadnej systematycznosc odpowada warunkow spelnena zalozena homoscedastycznosc tutaj Rycna Gdy zalozene homoscedastycznosc ne jest spelnone, wykres e X (lub e Ŷ ) pokazuje regularny wzorzec rozproszena pozostalosc. Dwe take sytuacje sa przedstawone w Rycne 4. Jak mozemy zauwazyc w Rycne 4a, pozostalosc regresj systematyczne rosna wraz z wartoscam zmennej wyjasnajacej. Tak wzorzec heteroscedastycznosc jest czesto obserwowany w danych rozwojowych, gdy zmenna wyjasnana jest cecha podlegajac procesow rozwoju a zmenna wyjasnajaca jest wek, ponewaz rosnace zrózncowane nterndywdualne jest naturalnym zjawskem rozwojowym. Inny wzorzec heteroscedastycznosc jest przedstawony w Rycne 4b. W tym przypadku, warancja pozostalosc regresj jest najmnejsza dla srednch wartosc zmennej wyjasnajacej, rosne w raz z rosnacym malejacym wartoscam zmennej wyjasnajacej tutaj Rycna

26 25 Gdy wzorzec heteroscedastycznosc ne jest zbyt zlozony to mozemy p zastosowac transformacje z rodzny drabny poteg ( Y Y ) = jako metode korekty tego problemu. Na przyklad, w sytuacj przedstawonej w Rycne 4a pownnsmy zastosowac transformacje z p < 1. Natomast gdyby warancja pozostalosc systematyczne malala wraz z wartoscam Ŷ to pownnsmy zastosowac transformacje z p > 1. Typowo najbardzej skuteczna transformacje doberamy metoda prób bledów. Ponewaz transformacja zmennej Y moze zmenc funkcjonalna forme regresj Y na X j pownnsmy zawsze sprawdzc czy lnowa forma zwazku jest dalej odpowedna po dokonanu transformacj zmennej Y. Gdy lnowy zwazek pomedzy Y X j jest odpowedn, ale warancje pozostalosc regresj ne sa stale, alternatywa do transformacj Y jest zastosowane estymatora wazonych najmnejszych kwadratów (weghted least squares, WLS). Estymator WLS rózn se od estymatora OLS tym, ze pozostalosc regresj e sa wazone waga w = 1 σ równa odwrotnosc warancj pozostalosc regresj obserwacj 2, w wyrazenu dla sumy kwadratu pozostalosc, RSS = we 2 w (Carroll Ruppert, 1988). Estymator WLS wymaga wedzy o warancj posadamy. W takch przypadkach warancje stosowane szacunków dla 2 σ, której zwykle ne 2 σ musza byc oszacowane. Jednak w w znacznym stopnu komplkuje nferencje statystyczna w regresj. Na przyklad welkosc wspólczynnka welokrotnej determnacj R 2 pownna byc nterpretowana z ostroznosca ponewaz ne posada ona jasnej nterpretacj dla estymatora WLS (Neter n., 1996). Regresja z zastosowanem estymatora WLS jest mozlwa za pomoca standardowych paketów statystycznych (np. SAS, SPSS).

27 26 NIELINIOWOSC Nespelnene zalozena lnowosc funkcjonalnej formy modelu mplkuje, ze testowany model regresj ne wyjasna, w sposób zadawalajacy, systematycznego zwazku pomedzy Y dana zmenna X j. Na przyklad, relacja pomedzy Y jedna (lub wecej) zmenna X j moze byc nelnowa, lub dwe zmenne wyjasnajace mo ga ne mec efektu addytywnego ponewaz pozostaja w nterakcj w ch efekce na Y. W takch przypadkach zalozene, ze E ( ε ) = 0 w calym zakrese wartosc zmennych X j ne bedze spelnone. W regresj prostej wykres rozproszena wartosc e X jest nezmerne uzyteczny w zobrazowanu natury zwazku pomedzy tym zmennym. Jednak, w regresj welokrotnej podobne wykresy dla e kazdej zmennej X j sa neadekwatne ponewaz, w tym wypadku, jestesmy zanteresowan w czastkowej relacj pomedzy Y kazda zmenna X j, kontrolujac pozostale zmenne X k j. W Rycne 5 przedstawamy typowy wzorzec rozproszena pozostalosc regresj gdy lnowa relacja Ŷ = b0 + bx 1 jest neadekwatna do wyjasnena kwadratowego zwazku pomedzy Y X. Jak mozemy zauwazyc w Rycne 5, zalozene E ( ε ) = 0 jest w oczywsty sposób pogwalcone gdyz sredna wartosc pozostalosc jest e < 0 dla nsk wysokch wartosc X, natomast e > 0 dla srednch wartosc zmennej X tutaj Rycna Aby w peln zdagnozowac odstepstwa od lnowosc zwazku Y na X j musmy skupc nasza uwage na szczególnych wzorcach warunkowego rozkladu pozostalosc regresj rozkladze danej zmennej wyjasnajacej. W regresj welokrotnej, taka dagnoze umozlwaja wykresy nazywane partal-resdual plots (Larsen McCleary,

28 ; Atknson, 1985), lub alternatywne nazywane component-plus-resdual plot (Wood, 1973; Cook Wesberg, 1994) aby podkreslc to, ze warunkowy rozklad pozostalosc regresj sklada se z komponentu lnowego modelu danej zmennej wyjasnajacej pozostalosc regresj. Proponuje stosowane tlumaczena nomenklatury zaproponowanej przez Larsena McClearygo (1972) jako wykres pozostalosc czastkowej. W wykrese pozostalosc czastkowych ( j ) e wartosc danej zmennej wyjasnajacej X j, pozostalosc czastkowe dla zmennej X j sa zdefnowane jako ( j) e = e + bx, j j gdze perwszy komponent e jest pozostalosca z pelnego modelu regresj, a b j X j jest lnowym komponentem czastkowego zwazku pomedzy Y dana zmenna X j. W przecwenstwe do prostego wykresu e X j, wykres pozostalosc czastkowej sa efektywne w dagnostyce nelnowosc ponewaz pokazuja czy dany zwazek czescowy Y na X j jest monotonczny (jedyne rosnacy lub malejacy) czy nemonotonczny (np. malejacy a nastepne rosnacy). Nelnowy zwazek monotonczny moze byc skorygowany za pomoca prostej transformacj danej zmennej wyjasnajacej X = X, natomast nelnowy zwazek nemonotonczny ne j p j moze byc skorygowany za pomoca prostej transformacj z rodzny transformacj poteg (Fox, 1991). Wykresy pozostalosc czastkowej sa dostepne w pakece SAS, ale ne sa obecne zamplementowane w pakece SPSS. Wykresy pozostalosc czastkowej dla regresj ET na DT DPM testowanej w zredukowanym (n = 23) zborze par malzenskch sa przedstawone w Rycne 6. Rycna 6a przedstawa czescowy efekt dlugosc terap na efektywnosc terap, natomast Rycna 6b przedstawa czescowy efekt dlugosc pozyca malzenskego na efektywnosc terap. Jak mozemy zauwazyc w Rycne 6, oba wykresy pokazuja, ze

29 28 lnowa funkcja dla regresj czastkowych ET na DT oraz ET na DPM jest adekwatna do opsana relacj pomedzy tym zmennym tutaj Rycna BLAD POMIAROWY W Y I X Klasyczny model regresj zaklada, ze zmenna Y X j sa pozbawone bledu pomarowego (Draper Smth, 1981; Wesberg, 1985; Fuller, 1987; Neter n., 1996; Hausman, 2001). Chocaz blad pomarowy jest powszechny, obecnosc bledu pomarowego jest czesto nedocenanym aspektem komplkujacym wnoskowane w analze regresj (Fuller, 1991). Problem bledu pomarowego najlepej zademonstrowac na przykladze regresj prostej. Zalózmy, ze pragnemy oszacowac zwazek pomedzy czasem spedzonym na nauce jezyka angelskego kompetencja jezykowa uczna. Zdefnujmy X jako prawdzwa wartosc spedzonego czasu, a * X jako wartosc podana przez uczna. Podobne zdefnujmy Y jako prawdzwy pozom kompetencj uczna, a * Y jako zaobserwowany pozom kompetencj uczna. W konsekwencj mozemy zdefnowac blad pomarowy w Y X jako ζ δ = Y Y * = X X * Model regresj, który pragnemy testowac posada standardowa forme Y = β + β X + ε. 0 1 Jednak, my jedyne mozemy zaobserwowac model regresj jest: Y * X ( X ) ( X ) ζ = β + β δ + ε * * 0 1 Y = β + β δ + ε + ζ * * 0 1 * Y, w konsekwencj testowany ( ) = β + β X + ε + ζ βδ * 0 1 1

30 29 Powyzsze równane moze wygladac na typowy model regresj ze zmenna wyjasnajaca * X elementem bledu 1 ε + ζ βδ, ale nm ne jest. Zmenna nezalezna jest zmenna losowa skorelowana z elementem bledu ε + ζ βδ 1. W konsekwencj, standardowe zalozena klasycznego modelu regresj ne moga byc zastosowane (Wesberg, 1985; Bollen, 1989; Fuller, 1991; Neter n., 1996). Tak dlugo jak blad pomarowy w Y jest losowy, ne skorelowany neobcazony, blad pomarowy w Y jest absorbowany w pozostalosc regresj ε. Element bledu w modelu regresj, ε, odzwercedla kompozyt duzej lczby czynnków, które ne sa brane pod uwage w testowanym modelu. Teraz jednym z tych czynnków jest blad pomaru ζ. Ponewaz blad pomarowy w zmennej zaleznej jedyne wplywa na welkosc pozostalosc modelu regresj ε + ζ, jedyna praktyczna konsekwencje bledu pomarowego w Y to zanzone szacunk R 2 oraz zawyzone szacunk bledów standardowych parametrów modelu (Neter n., 1996; Hausman, 2001). Nestety, konsekwencje obecnosc bledu pomarowego w zmennej wyjasnajacej X sa bardzej znaczace dla trafnosc szacowanego modelu regresj. W tym wypadku, pozostalosc regresj ε βδ 1 sa skorelowane ze zmenna wyjasnajaca * X. W regresj prostej obecnosc bledu pomarowego w zmennej wyjasnajacej powoduje nedoszacowane wspólczynnka regresj β 1. To jest estymator b 1 jest negatywne obcazony odwrotne proporcjonalne do pozomu rzetelnosc pomaru ( ) XX ρ zmennej wyjasnajacej: b 1 = ρ XX β 1 (Bollen, 1989; Wetherll n., 1986; Fuller, 1991; Hausman, 2001). W przypadku regresj welokrotnej ocena wplywu bledu pomarowego w X j na szacunk parametrów modelu regresj b j jest zdecydowane bardzej skomplkowana. Efekt bledu pomarowego zalezy od pozomu

31 30 rzetelnosc pomaru zmennych wyjasnajacych oraz od wzajemnych relacj pomedzy tym zmennym. W regresj welokrotnej, blad pomarowy w X j moze zanzyc, zawyzyc lub pozostawc be zmany szacunk wspólczynnków regresj. Ponadto, szacunk wspólczynnków dla zmennych wolnych od bledu pomarowego sa takze obcazone, ponewaz blad pomarowy w jednej zmennej wyjasnajacej jest propagowany w calym modelu regresj (Lord, 1960). Blad pomarowy w zmennych wyjasnajacych ne mus byc zawsze destruktywny dla analzy regresj. Berkson (1950) opsal bardzo wazny przypadek zastosowana regresj w predykcj. Jezel zmenne przewdujace sa merzone z bledem teraz w przyszlosc, to pozadany model regresj jest dla zmennych merzonych z bledem, * X. W tym wypadku, prawdzwe wartosc tych zmennych, X, nas ne nteresuja ponewaz w przyszlosc bedzemy jedyne znal * X a ne X. Dlatego, blad pomarowy moze ne byc stotny dla problemów, w których szacowany zwazek bazuje na zaobserwowanych wartoscach, a ne na neobserwowalnych prawdzwych wartoscach zmennych wyjasnajacych. Jednak w sytuacjach gdy pragnemy oszacowac sle /lub forme zwazku pomedzy Y X j, na przyklad w weryfkacj lub konstrukcj teor psychologcznych, obecnosc bledu pomarowego znaczne komplkuje sytuacje regresj. W tradycj ekonometrycznej, typowym podejscem do problemu bledu pomarowego w X jest zastosowane tak zwanej regresj ze zmennym nstrumentalnym (nstrumental varables) (Fuller 1987, 1991; Angrst Krueger, 2001; Hausman, 2001). Take ujece modelu regresj wymaga pomaru zmennej Z, która pozostaje w relacj z prawdzwym wynkam X, cov( Z, X) 0, ne jest skorelowana an z bledem pomarowym δ, cov( Z, δ ) = 0, an z pozostalosca regresj ε, ( ) cov Z, ε = 0 (Hausman, 2001). Zmenna Z jest nazywana nstrumentem, ponewaz jest uzyta

32 31 jedyne nstrumentalne, jako srodek do poznana prawdzwej (neobcazonej bledem pomarowym) relacj medzy X Y. W modelu regresj ze zmenna nstrumentalna najperw szacujemy wartosc przewdywane ˆX z regresj X na Z, a nastepne szacujemy nteresujace nas parametry modelu ( β 0 β 1 ) z regresj Y na ˆX. Tak dwuetapowy estymator jest nazywany dwustopnowa metoda najmnejszych kwadratów (two-stage least squares) (James Sngh, 1978). W welu przypadkach zastosowane zmennych nstrumentalnych moze byc pomocne w korekce konsekwencj obecnosc bledu pomarowego w X. Jednak w przypadkach tak zwanych slabych nstrumentów gdy relacja pomedzy X Z jest slaba oraz/lub gdy blad pomarowy w X jest znaczacy regresja ze zmennym nstrumentalnym moze dac znaczne obcazone szacunk parametrów modelu regresj (Hausman, 2001). Analza regresj ze zmennym nstrumentalnym jest mozlwa za pomoca SAS SPSS. Fuller (1975; 1987; 1991) zaprezentowal alternatywna stratege przezwycezena problemu bledu pomarowego w X oparta na powtórnym pomarze tej zmennej. Zastosowane metody test-retest pozwala na jednoczesne oszacowane warancj bledu pomarowego w X, var( δ ), uzyce tej nformacj w szacowanu parametrów modelu regresj. Szacowane parametrów odbywa se za pomoca specjalstycznego estymatora dla tak zwanych zlozonych prób badawczych ( complex sample desgns ), zamplementowanego w pakece EV CARP (Schnell, Park Fuller, 1988). Podejsce zaprezentowane przez Fullera (1975; 1987; 1991) posada jednak powazne ogranczena praktyczne wynkajace z zastosowanej metody szacowana var( δ ). Metoda test-retest wymaga kosztownego powtórnego testowana przynajmnej czesc respondentów oraz okreslena optymalnego nterwalu dzelacego obe chwle pomaru. Jezel ten nterwal jest zbyt krótk to pomary moga ne byc

33 32 nezalezne, a szacowany pozom rzetelnosc bedze pozytywne obcazony (Fuller, 1991). Przy zbyt dlugm nterwale dzelacym chwle pomaru szacowany pozom rzetelnosc moze byc obcazony negatywne z powodu naturalnych nesystematycznych zman, którym ulega dana zmenna wyjasnajaca (Crocker Algna, 1986). Obecne najszerzej stosowana stratega przezwycezana konsekwencj bledu pomarowego jest przeksztalcene problemu regresj w ogólny model równan strukturalnych SEM. SEM jest modelem statystycznym ntegrujacym model bledu pomarowego (konfrmacyjna analze czynnkowa) z modelem strukturalnym (analza scezkowa) (Bollen, 1989). W podejscu SEM zakladamy, ze zmenna wyjasnana η oraz zmenne wyjasnajace ξ j sa jedyne obserwowalne poprzez wskaznk tych zmennych y x. Czesc pomarowa modelu SEM zawera równana dla zmennych obserwowalnych: y=??+? y x=??+d x gdze macerze? y? x zaweraja ladunk czynnkowe, a? d sa wektoram bledu pomarowego. W czesc strukturalnej, wspólczynnk regresj ( γ j ) reprezentuja efekty latentnych zmennych wyjasnajacych na latentna zmenna wyjasnana: η = γξ + γξ + + γξ + ε p p Szacowane parametrów zawartych w czesc pomarowej oraz strukturalnej modelu SEM odbywa se jednoczesne za pomoca estymatora najwekszej warygodnosc (maxmum lkelhood). Jezel zalozena modelu sa spelnone to otrzymujemy szacunk wspólczynnków modelu regresj η na ξ j neobcazone obecnosca bledu pomarowego w zmennych obserwowalnych y x (Bollen, 1989). Podejsce SEM

34 33 wymaga, jednak, ze nasz plan badawczy przewduje pomar dla przynajmnej dwóch wskaznków (ndcators) kazdej zmennej latentnej zawartej w testowanym modelu regresj. Zastosowane podejsca SEM jest mozlwe za pomoca paketu SAS, lub jednego z welu dostepnych specjalstycznych paketów SEM, z których najszerzej znanym jest LISREL 8 (Jöreskog, Sörbom, 1993). W welu emprycznych aplkacjach modelu regresj rzetelnosc zmennych zawartych w testowanym modelu sa znane z wlasnych badan psychometrycznych lub z lteratury tematu. Fuller Hdroglou (1978) oraz Fuller (1987) demonstruja dwuetapowa metode uzyca zewnetrznej nformacj o pozome rzetelnosc zmennych (Y /lub X j ) w szacowanu parametrów modelu regresj. W perwszym etape zaobserwowana macerzy kowarancj jest skorygowana o znany pozom rzetelnosc zmennych zawartych w testowanym modelu. W drugm etape, tak skorygowana macerz kowarancj jest uzyta do szacowana parametrów modelu regresj. Maras Wecker (1998) demonstruja zastosowane metody Fullera Hdrogloua (1978) w szacowanu efektu olowu na loraz ntelgencj za pomoca standardowego paketu statystycznego. Bollen (1989) demonstruje zastosowane metody Fullera Hdrogloua (1978) w konteksce ogólnego modelu SEM. W podejscu SEM metoda Fullera Hdrogloua (1978) polega na zrównanu danej zmennej obserwowalnej ze swoja zmenna latentna, X j = ξ j, poprzez ogranczene ladunku czynnkowego tej zmennej do jednosc, λ = 1. Ponewaz proporcja warancj w X j spowodowana bledem pomaru X j jest równa ( 1 ρ j j) X X mozemy dalej ogranczyc warancje bledu pomarowego w testowanym modelu SEM tak aby odzwercedlc znany pozom rzetelnosc w X j : var ( δ j) ( ρx X ) var( X j) =. 1 j j