Wykłady Jacka Osiewalskiego. z Ekonometrii. CZĘŚĆ PIERWSZA: Modele Regresji. zebrane ku pouczeniu i przestrodze

Transkrypt

1 Wykłady Jacka Osewalskego z Ekonometr zebrane ku pouczenu przestrodze UWAGA!! (lstopad 003) to jest wersja neautoryzowana, spsana przeze mne dawno temu od tego czasu ne przejrzana; ma status wersj roboczej, może zawerać błędy neścsłośc zawnone wyłączne przez przepsującego. Wykłady były przepsywane ( neco komentowane) w ułomny sposób taką wersję udostępnam na zasadze tak jak jest na własną odpowedzalność czytającego. Notatk obejmują klka wykładów z semestru zmowego w neco nnym zakrese programowym nż w beżącym roku - Błażej Mazur CZĘŚĆ PIERWSZA: Modele Regresj Wersja robocza 0 XI 00

2 Sps treśc:. Wprowadzene 3. Klasyczny Model Regresj Lnowej (KMRL) 3.. Założena Klasycznego Modelu Regresj Lnowej 5.. Twerdzene Gaussa Markowa o estymatorze MNK 9... Dowód Twerdzena Gaussa Markowa 0..3 Twerdzene o warancj resztowej w KMRL 3.3 Klasyczny Model Normalnej Regresj Lnowej (KMNRL) 5.3. Założena Klasycznego Modelu Normalnej Regresj Lnowej 6.3. Własnośc estymatora MNK w KMNRL Estymacja przedzałowa testowane hpotez Wnoskowane o pojedynczym parametrze regresj Przedzały ufnośc dla pojedynczego parametru regresj Testowane hpotez o pojedynczym parametrze regresj.3.3. Łączne testowane lnowych równoścowych restrykcj na parametry regresj Estymator MNK z narzuconym lnowym restrykcjam równoścowym 6.4 Model Normalnej Regresj Nelnowej (MNRN) 7.4. Założena Modelu Normalnej Regresj Nelnowej 7.4. Model Normalnej Regresj Nelnowej: Estymator Nelnowej MNK Geneza własnośc Realzacja: Algorytm Gaussa-Newtona Wnoskowane statystyczne w MNRN 34.5 Regresja z losowym zmennym objaśnającym Zmenne objaśnające losowe nezależne od składnków losowych Przykład: model Zellner Kmenta Drčze Model Regresj Lnowej z Losowym Zmennym Objaśnającym Własnośc estymatora MNK Zmenne objaśnające losowe zależne tylko od uprzednch składnków losowych Przykład: proces AR(m) dla zmennej objaśnanej z nezależnym składnkem losowym Własnośc estymatora MNK Zmenne objaśnające losowe zależne od beżących składnków losowych Własnośc estymatora MNK Przykład: Model autoregresyjny z zależnym składnkam losowym Przykład: Modele welorównanowe o równanach łączne współzależnych 40

3 3 UWAGA!! (lstopad 003) to jest wersja neautoryzowana, spsana przeze mne dawno temu od tego czasu ne przejrzana; ma status wersj roboczej, może zawerać błędy neścsłośc zawnone wyłączne przez przepsującego. Wykłady były przepsywane ( neco komentowane) w ułomny sposób taką wersję udostępnam na zasadze tak jak jest na własną odpowedzalność czytającego. Notatk obejmują klka wykładów z semestru zmowego w neco nnym zakrese programowym nż w beżącym roku - Błażej Mazur. Wprowadzene Tu następują wstępne uprzejmośc, próba zarysowana przedmotu, odpowedz na pytane, co to jest ekonometra, jak sę ma do nnych eko, statystyk matematycznej td. dt Co to jest teora ekonometr? Modele statystyczne + metody wnoskowana Co to jest model ekonometryczny: Model statystyczny: (ntucja a ne formalny ops) {Kedy Profesor mów o ntucjach to ne znaczy, że to jest neważne, tylko że zrobone tak jak trzeba, czyl opsem formalnym, byłoby za trudne. Ops formalny to trudne narzędze, ale ekonomczne w użycu nezastąpone BM}a węc: Model statystyczny: Układ założeń stochastycznych (probablstycznych) opsujący hpotetyczny mechanzm generowana obserwacj (powstawana danych gospodarczych) Na etape modelowana obserwacje mogą być rozumane jako potencjalne możlwe obserwacje (ujęce e ante, bez znajomośc konkretnych lczb reprezentujących zjawska gospodarcze), modeluje sę je za pomocą zmennych losowych. Wychodząc od modelu ekonomcznego uzupełna sę go o założena stochastyczne.. Klasyczny Model Regresj Lnowej (KMRL) Jest to model przenesony z dośwadczalnctwa przyrodnczego, warunkowo tylko adekwatny w badanach ekonomcznych. Jest to model jednorównanowy, układ wyjaśnający powstawane obserwacj na jednej zmennej endogencznej; y t to obserwacja o numerze t na wyróżnonej zmennej endogencznej y zwanej w kontekśce regresj zmenną objaśnaną. y t ( t,,...,t ) Zakłada sę, że model wyjaśna powstawane T obserwacj o numerach od do T. Obserwacje te ustawone są w wektor kolumnowy: wektor obserwacj na zmennej objaśnającej grek y. {Tu spróbuję trzymać sę następującej konwencj: macerze wektory będą oznaczane wytłuszczenem (bold), wektory oznaczam małym lteram, (przyjmuję, że wektory są zawsze wektoram kolumnowym), macerze welkm lteram, nazwy zmennej ne wytłuszczam; zmenne losowe ne będą w zapse odróżnane od ch realzacj! BM}

4 4 y y y... y T Kolejne y t to ne lczby z rocznków czy ksęgowośc czy skądkolwek. Na tym etape trzeba o nch myśleć zupełne naczej. To są możlwe obserwacje (ujęce e ante). Tworzony jest schemat, który mów jak rzeczywste obserwacje mogłyby sę pojawć (patrz model wyżej) obserwacja jest tu zmenną losową: reprezentuje to, co mogłoby sę wydarzyć, a ne to, co zarejestrowano. Zarejestrowane lczby to realzacje zmennej losowej, a na etape modelowana możlwa realzacja zjawska emprycznego, czyl wektor y to wektor losowy, który będze dalej opsywany. Zmenne zewnętrzne (w kontekśce regresj objaśnające <eplanatory varables> będą zwykle doberane w oparcu o modele ekonomczne. Zakłada sę, że aby opsać powstawane y trzeba wystarczy wyróżnć k ( ka małe ) odrębnych zmennych objaśnających. Każdej obserwacj na zmennej objaśnanej y odpowada po jednej wartośc każdej z k zmennych objaśnających ; (,...k). Macerz X (macerz zmennych objaśnających, macerz regresorów, macerz planu eksperymentu <desgn matr>) tworzona jest w ten sposób, że kolejne kolumny odpowadają różnym zmennym objaśnającym a w ramach kolumny (w kolejnych werszach) występują wartośc danej zmennej objaśnającej. X k)... T... T k k... Tk T obserwacj na zmennej objaśnanej tworzy wektor y, a w macerzy X jest po T wartośc wszystkch k zmennych objaśnających, każdej zmennej odpowada jedna kolumna macerzy X, a kolejnym jej wartoścom (odpowadającym kolejnym obserwacjom na y) posuwane sę do kolejnego wersza. Przy małych ksach perwsza lczba to numer obserwacj a druga to numer zmennej. Dobrze jest sę oswoć z tym zapsem, opłaca sę wedzeć bez wahana co jest Te duże a co ka małe. Przy każdej macerzy warto odruchowo pomyśleć o wymarze, co w werszach, co w kolumnach co to jest element a j. Czy można powedzeć, że macerz X grupuje obserwacje na zmennych objaśnających? Tu są zastrzeżena. Bo trzeba by powedzeć, że są to obserwacje bez błędów gdyby założyć, że są to realne obserwacje, obarczone np. błędem pomaru, trzeba byłoby założyć ch losowość będze to przedmotem jednego z kolejnych podrozdzałów. Na tym etape bezpecznej jest nazywać macerz X macerzą wartośc zmennych objaśnających, a ne obserwacj. Ponadto praktyczne zawsze (ale nekoneczne na kolokwum to dopsek AD 003 kedy przepsywacz nnejszego ze sprawdzanego kolokwam stał sę sprawdzającym kolokwa) w dalszej faze, post-modelowej (czyl na ćwczenach;-)) w macerzy X perwsza kolumna będze zawerać same jedynk, co odpowada uwzględnenu wyrazu wolnego.

5 5.. Założena Klasycznego Modelu Regresj Lnowej y X β + ε ( T k) (k X jest znaną macerzą nelosową 3 rz(x) k 4 E( ε ) 0 5 V(ε) σ I T σ >0 To jest zaps formalny założeń. A co one po kole znaczą jak sę je czyta? y X β + ε ( T ( T k ) ( k ( T Wektor β (beta) to wektor kolumnowy grupujący neznane stałe lczbowe. Stałe te wyznaczają lnowy wpływ zmennych objaśnających na zmenne objaśnane. Tych stałych jest k, tyle, le zmennych objaśnających. Wektor β ma postać: β (k β β... β k {przy tym czasem zdarza sę β 0, ale z formalnego punktu wdzena jest to β, td... chodz o to, że współczynnków beta jest k ka małe } Wektor losowy ε (epslon) to wektor składnków losowych poszczególnych obserwacj: ε ε ε... ε T Jak wdać całkem podobne do wektora beta, ale epslonów jest Te duże; ponadto wektor β jest neznanym wektorem nelosowym, natomast ε jest wektorem losowym - welowymarową zmenną losową. Jako taka ma bardzej złożone charakterystyk od jednowymarowej zmennej losowej. Welowymarowa zmenna losowa może (ale ne mus) meć wektor wartośc oczekwanych macerz kowarancj, powyżej zakłada sę (4,5 ) że ε je ma, że jest zmenną losową mającą momenty perwszego drugego rzędu.

6 6 Poneważ wektor losowy y tworzy sę jako suma welkośc nelosowej Xβ wektora losowego ε, jego charakterystyk stochastyczne będą odpowedną transformacją charakterystyk ε. Zakłada sę tu, że możlwa do zaobserwowana wartość y tworzy sę jako suma tzw. składowej determnstycznej składowej losowej. Część determnstyczna to Xβ. To jest macerzowy zaps jednej strony układu T równań lnowych. Każde równane odpowada obserwacj o nnym numerze zawera te same parametry (β) odpowedne (o numerze t) wartośc wszystkch zmennych objaśnających. Czyl np. druga możlwa obserwacja na y składa sę ze składnka determnstycznego który powstaje tak: β razy plus β razy plus... plus β k razy k (konec składnka determnstycznego) plus składowa stochastyczna czyl ε konec. Składowa determnstyczna obserwacj numer j powstaje zawsze tak: j-ty wersz macerzy X razy wektor β. Potem następna obserwacja: kolejny (j+ wersz macerzy X razy ten sam wektor β. Parametry beta odzwercedlają za lnowy wpływ zmennych objaśnających na zmenną objaśnaną. Zależność lnowa ze stałym parametram jest prostą konstrukcją o ogranczonych możlwoścach, jednak na jej baze konstruować można bardzej wyrafnowane modele. Ostateczne: y t β * t + β * t... + β k* tk + ε t {teraz wyjątkowo napsałem * razy, ale potem już ne, bo jak mawał prof. Andrzej Malawsk:... ne pszemy, ale pamętajmy, że ta kropka, której tu ne ma, to zupełne nna kropka nż ta, której tam ne pszemy...) BM} Wektor ε to wektor składnków losowych (poszczególnych obserwacj) reprezentujących łączny wpływ wszystkch czynnków drugorzędnych, przypadkowych, ne uwzględnonych wśród zmennych objaśnających. Dodane do składowej determnstycznej wektora zakłóceń losowych ε ma modelować fakt, że zarejestrowane obserwacje mogą różnć sę co do wartośc od welkośc wynkających z teoretycznej konstrukcj modelu ekonomcznego. Wektor ε grupuje składnk losowe które są z defncj neobserwowalne, postulujemy ch stnene, by wyjaśnć wszelke rozbeżnośc mędzy teoretycznym wartoścam zmennej objaśnanej a wartoścam zaobserwowanym. W teor jeśl wemy le jest stotnych zmennych objaśnających (k) jeśl wemy, jaka jest postać zależnośc (lnowa), czyl jeśl jest prawdzwe, to epslon obejmuje tylko czynnk przypadkowe, drugorzędne, zakłócające. W praktyce jednak trzeba lczyć sę z tym, że składnk losowy obejmuje też konsekwencje następujących błędów:. błędu specyfkacj (pomnęce stotnej zmennej, włączene nestotnej td.). błędu aproksymacj (jeśl postać zależnośc jest nna czyl np. stotne nelnowa, ne jest dobrze przyblżana postacą lnową). W praktyce lczymy sę z tym, że ne jest dealne spełnone (ale możemy zakładać, że dobrze dobralśmy zmenne objaśnające że prawdzwa postać zależnośc jest dobrze przyblżana przez zależność lnową...). Dokładnej własnośc ε zostaną opsane w punktach 4-5. X jest znaną macerzą nelosową Założene druge jest przejęte z dośwadczalnctwa przyrodnczego. To odpowada sytuacj gdy eksperymentator zadaje pewne wartośc na wejścu obserwuje nne wartośc na wyjścu czyl kontroluje przebeg eksperymentu. Welkośc wejścowe są zadane, nelosowe. W zagadnenach ekonomcznych założene o prowadzenu kontrolowanego eksperymentu jest co najmnej dyskusyjne można je czyl też założene - przyjmować wyłączne jako przyblżene. 3 rz(x) k

7 7 Zakładamy, że rząd macerzy X jest równy k. Jest to założene o charakterze techncznym {będzemy macerz X X odwracać welokrotne, a (X X) - stneje gdy rz(x) k BM} oznaczające, że kolumny macerzy X są lnowo nezależne. To odzwercedla ntucję o nedublowanu nformacj do modelu wprowadza sę lnowych kombnacj uwzględnonych już zmennych (ale nelnowe można np. w translogarytmcznej funkcj produkcj). To ustala też mnmalną lczbę obserwacj: z 3 wynka, że T k (z defncj rzędu macerzy). Kolejne założena (4 5 ) dotyczą wektora epslon: 4 E( ε ) 0 Czytamy: wartość oczekwana wektora losowego ε jest wektorem zerowym. Zaps 0 oznacza wektor kolumnę o wymarach T na zawerający wyłączne zera. Wartość oczekwana wektora losowego ε to wektor zawerający odpowedno wartośc oczekwane składnków losowych poszczególnych obserwacj: E ( ε ) 0 E ( ε ) 0 df. 4. E ( ε ).. 0 (T ) ( T ).. E ( ε T ) 0 {to, co jest nad znakem równośc czytamy na mocy będze nadużywane na następnym wykładze; df (czasem trzy pozome kresk albo :) oznacza na mocy defncj czyl jest zdefnowany jako a czwórka na mocy założena numer 4 - to tak dla jasnośc... BM} Założene to oznacza, że łączny wpływ czynnków drugorzędnych, przypadkowych ne może meć tendencj, składnka systematycznego. Oczekujemy, że średno rzecz borąc, łączny wpływ tych czynnków będze odchylał wartość y t to w górę, to w dół, że wartość oczekwana tych odchyleń pownna być zerowa. 5 V(ε) σ I T σ >0 Założene 5 mów o postac macerzy warancj-kowarancj wektora losowego ε. Macerz warancj kowarancj zwana dalej macerzą kowarancj to macerz zawerająca podstawowe charakterystyk rozproszena welowymarowej zmennej losowej. Jednowymarowa zmenna losowa zwykle może być charakteryzowana marą położena (wartość oczekwana) rozproszena (warancja bądź odchylene standardowe). [ Zwykle, gdyż welkośc te mogą ne stneć w wypadku nektórych zmennych losowych. Tu założena 4 5 mówą, że ε charakteryzuje sę rozkładem posadającym momenty perwszego drugego rzędu]. Wektor losowy ε jest welowymarową zmenną losową charakteryzowaną marą położena omówoną w poprzednm punkce wartoścą oczekwaną będącą wektorem oraz marą rozproszena macerzą kowarancj, która określa warancję poszczególnych składowych wektora losowego zależnośc pomędzy nm odpowedne kowarancje. Poneważ warancję możemy uważać za kowarancję pomędzy zmenną a ną samą, macerz w której zebrane są wszystke kowarancje charakteryzujące wektor losowy ε nazywamy macerzą kowarancj oznaczamy jako V(ε); macerz kowarancj mus być dodatno określona (węc symetryczna, skoro symetryczna to kwadratowa oczywśce); σ (sgma kwadrat) to skalar, neznany wększy od zera parametr struktury stochastycznej. Kwadrat jest tu tylko dlatego, że sama sgma to tradycyjne neznane odchylene standardowe czyl perwastek z warancj. I T to macerz jednostkowa stopna T, czyl

8 8 macerz kwadratowa, mająca jedynk na przekątnej głównej zera poza ną, jest to element neutralny w mnożenu macerzy. Co oznacza zaps: V(ε) σ I T? Macerz opsana tym wzorem ma na przekątnej σ zera wszędze ndzej. V (ε) T) df ;,7.4;.4; %.4; ;,7.4; % ;,7 % 5 Założene pąte można przeczytać następująco: macerz kowarancj ε jest znana z dokładnoścą do czynnka skalującego, czyl do neznanego skalara przez który ją mnożymy. Taka postać założena o macerzy kowarancj składnka losowego jeszcze sę pojaw. Określamy tu strukturę macerzy kowarancj wektora losowego ε (epslon). Określamy ją bardzo restrykcyjne: kowarancje ( korelacje) mędzy składnkam losowym różnych obserwacj są znane wynoszą 0, warancje składnków losowych poszczególnych obserwacj są neznane, jednakowe wynoszą σ. Założene o stałośc warancj ε to założene homoskedastycznośc (w przecweństwe do heteroskedastycznośc, która ma mejsce, gdy uchylmy homoskedastyczność). Oznacza ono, że czynnk przypadkowe, drugorzędne powodują podobne odchylene (co do welkośc) dla każdej obserwacj. Założene o zerowych kowarancjach mędzy składnkam różnych obserwacj to założene braku autokorelacj: składnk losowe różnych obserwacj są neskorelowane. Współczynnk korelacj lnowej pomędzy składnkam losowym różnych obserwacj wyraża sę następująco: /.4;98 ;,7 ;,7 9 8, dla t s Współczynnk r określa kerunek słę przyblżonej zależnośc lnowej pomędzy zmennym tu jego wartość oznacza: ne ma przyblżonej zależnośc lnowej pomędzy składnkam losowym poszczególnych obserwacj. Gdyby to założene uzupełnć o założene o normalnym rozkładze ε, byłoby to równoznaczne z nezależnoścą stochastyczną składnków losowych poszczególnych obserwacj. (nezależność jest równoznaczna z zerową korelacją w rozkładze normalnym, w KMRL normalnośc ε ne zakładamy, jednak zerowe korelacje sugerują ntucje begnące w podobnym kerunku) Nezależność stochastyczna jest formalnym ujęcem przekonana o nezależnośc w sense potocznym: każda kolejna obserwacja jest nezależna od przeszłośc. Tu zakładamy neskorelowane co może równeż odzwercedlać potoczne pojęce nezależnośc. Zauważmy, że założene to ( nezależność zakłóceń losowych poszczególnych obserwacj) może łatwo ne być spełnone nawet w warunkach eksperymentu kontrolowanego, a co dopero w ekonom. Jest to bardzo mocne założene, tak jak pozostałe mplkacje punktu 5 może podlegać weryfkacj może zostać uchylone. *** Ponadto można zauważyć, że KMRL ne ma struktury obserwacj tzn. można by przemeszać kolejność obserwacj (poprzestawać wersze macerzy X tak samo wersze wektora y) nc by sę ne zmenło. Czyl kedy wprowadzamy do modelu szereg czasowy, to stosując KMRL tracmy całą strukturę czasową, skazujemy sę na utratę częśc nformacj, bo szereg czasowy jest z natury sztywno uporządkowany a używamy go w modelu gdze porządek obserwacj ne ma znaczena można go co najwyżej wprowadzć sztuczne (zmenna czasowa).

9 9 Model KMRL jest mmo swych mocnych, nerealstycznych założeń modelem bardzo ważnym. Jego modyfkacje polegające na uchylenu czy uogólnanu założeń prowadzły do bardzej złożonych bardzej realstycznych model. (aby je zrozumeć, dobrze jest wyjść od KMRL) Omówony układ założeń prowadz do postawena pytana o β (wektor neznanych parametrów regresj). Jest on naturalnym przedmotem zanteresowana, jego elementy określają welkość kerunek wpływu (lnowego, ale zakładamy, że tylko on zachodz poza tym są tylko czynnk przypadkowe drugorzędne ) zmennych objaśnanych na zmenną objaśnającą; wpływ ten chcemy oszacować, w zwązku z tym koneczne jest wnoskowane o wektorze neznanych stałych parametrów β. Zagadnenem jest węc estymacja (szacowane) wektora współczynnków regresj β. Podstawowe twerdzene w tym zakrese to twerdzene Gaussa Markowa o estymatorze MNK βˆ :.. Twerdzene Gaussa Markowa o estymatorze MNK Twerdzene Gaussa Markowa o estymatorze MNK (metody najmnejszych kwadratów) : W KMRL (czyl przy prawdzwośc założeń - 5 ) : Najlepszym estymatorem wektora współczynnków regresj β w klase estymatorów lnowych neobcążonych jest estymator MNK dany następującym wzorem: [wersja Profesora: dany prostym wzorem macerzowym:] βˆ ( X'X) X'y Macerz kowarancj estymatora MNK dana jest wzorem: V( βˆ) σ ( X' X ) { oznacza transpozycję macerzy} Dowód tego twerdzena podany będze ponżej poprzedzony zostane komentarzem odnoszącym sę do jego treśc szeregem kroków przygotowawczych. W tytule w treśc twerdzena GM występuje pojęce estymatora. Co to jest estymator? Estymator defnujemy następująco: jest to dowolna merzalna funkcja wektora obserwacj której wartośc służą jako oceny neznanej wartośc parametru: ~ β f(y) Funkcja f mus być funkcją merzalną (to jest określone formalne, ale trudne {podobno za trudne}) odwzorowującą przestrzeń T-wymarową (lczba obserwacj) w k-wymarową (lczba neznanych stałych - wartośc parametrów) Ustalmy następujące oznaczena: β ~ to estymator w ogóle (jak powyżej) lub estymator członek klasy o której akurat mowa; βˆ to zawsze tylko estymator MNK dany wzorem jak w twerdzenu GM; z kole β samo to neznany parametr który podlega szacowanu, przy czym β, β ~ βˆ to wszystko wektory (kolumnowe). Twerdzene GM mów, że estymator MNK βˆ jest najlepszy wśród estymatorów lnowych neobcążonych. Co oznaczają te określena?

10 0 Estymator lnowy to estymator który jest lnową funkcją obserwacj, w zapse macerzowym: f( y) G y + d (k (T (k (k T) gdze G d to znane macerze (?) Estymator neobcążony to tak, którego wartość oczekwana jest równa wartośc neznanego parametru: E( β ~ ) E[f( y)] β W ujęcu preeksperymentalnym, y to wektor możlwych obserwacj, na tym pozome jest to wektor losowy : wektor możlwych wynków badana (patrz powyżej). Wobec tego β ~ (oraz βˆ ) jako funkcja wektora losowego jest równeż wektorem losowym, co oznacza, że możemy opsywać β ~ jako welowymarową zmenną losową. Możemy węc badać charakterystyk probablstyczne estymatora β ~, w tym jego wartość oczekwaną. Używane do szacowana parametru β estymatora którego wartość oczekwana jest różna od β wydaje sę ntucyjne problematyczne, co prowadz do badana neobcążonośc. Problem efektywnośc estymatora ntucyjne odpowada zagadnenu: jak daleko przecętne jest β ~ od β?. (czyl nasz estymator od prawdzwej neznanej wartośc, czyl badamy np. czy przecętne borąc nasz estymator dobrze <trafa> Przykład: mamy dwa estymatory przeprowadzamy dwa dośwadczena: Perwszy estymator dał w dośwadczenu wartość: 0,9; w dośwadczenu wartość:, Drug estymator dał w dośwadczenu wartość: 0,5; w dośwadczenu wartość:,5 Oba mają tę samą wartość oczekwaną (są neobcążone czyl patrz defncja). Wolmy perwszy, bo ma mnejsze rozproszene stosując go zyskujemy lepsze (dokładnejsze) oszacowane neznanego parametru. Estymator najlepszy w danej klase to estymator efektywny, czyl o najmnejszym rozproszenu (co zostane dokładne zdefnowane ponżej).... Dowód Twerdzena Gaussa Markowa Chcemy doweść twerdzena GM tj. pokazać, że w klase estymatorów lnowych neobcążonych najlepszy (efektywny) jest estymator MNK βˆ. Sam dowód ne jest trudny, tylko dużo jest kroków przygotowawczych: Musmy skonstruować klasę, czyl znaleźć ogólną postać estymatora lnowego neobcążonego. Musmy doweść, że βˆ jest lnowy neobcążony czyl że należy w ogóle do klasy w której ma być najlepszy. Potem zapszemy estymator βˆ jako członka tej klasy wykorzystamy dobrze dobrany zaps do wykazana, że jest on najlepszy. Zaps klasy estymatorów: Β ~ - rozważana klasa estymatorów parametru wektorowegoβ ; β ~ B ~ to element tej klasy. Zaps efektywnośc w klase: Defncja: βˆ najlepszy w klase Β ~ wtedy tylko wtedy, gdy: ~ β ~ Β A V( ~ β) V(ˆ β) jest macerzą określoną neujemne

11 Macerz A to różnca pomędzy macerzam kowarancj odpowedno β ~ (każdego estymatora rozważanej klasy, w wypadku twerdzena GM klasy estymatorów lnowych neobcążonych) a βˆ (estymatora-kandydata do najlepszośc, w naszym wypadku estymatora MNK) Co to jest macerz określona neujemne? Jeśl macerz A jest symetryczna (węc kwadratowa; dla takch macerzy defnuje sę określoność) stopna k, to: A jest określona neujemne z' Az 0 k z R \{ 0} W szczególnośc neujemne określona macerz A ma wszystke przekątnowe elementy wększe lub równe zero. Na przekątnej macerzy kowarancj są warancje, czyl defncja efektywnośc mów że: ~ var ( β ) var (βˆ ) dla,...,k (β oznacza -ty element wektora β) Oznacza to, że estymator jest najlepszy w danej klase jeśl po odjęcu jego warancj od warancj każdego nnego członka klasy zostaje zero lub węcej. Dla najlepszego estymatora βˆ warancja każdego elementu wektora ( var ( β ˆ ) ) jest mnejsza (lub równa) od odpowednch warancj wszystkch nnych estymatorów danej klasy ( var ( β ~ ) ). Istnene najlepszego estymatora jest netrywalne w szerokch klasach może go ne być wcale. Przystąpmy do realzacj następującego planu: dowedzemy lnowośc neobcążonośc βˆ, a następne pokażemy, że βˆ jest najlepszy w klase Β ~ estymatorów lnowych neobcążonych, czyl będzemy musel doweść, że macerz będąca różncą macerzy kowarancj β ~ βˆ jest neujemne określona, wszystko to przy prawdzwośc założeń KMRL ( 5 ): y X β + ε ( T k) (k X jest znaną macerzą nelosową 3 rz(x) k 4 E( ε ) 0 5 V(ε) σ I T σ >0 Chcemy doweść że: βˆ ( X'X) X' y jest efektywny w klase estymatorów lnowych neobcążonych, ma to wynkać z -5 W teze (czyl w powyższym wzorze) wykorzystano już założene 3, bo ono gwarantuje że (X X) - stneje można tak zapsać. (3 ) Przypomnjmy defncję estymatora lnowego: f( y) G y + d ; (k (k T) (k Możemy zapsać, że: βˆ (X'X) X'y Cy ;gdze :

12 C (k T) (X'X) X' (korzystamy z założena, że X jest znaną macerzą nelosową)( ) Macerz C spełna warunk macerzy G, a za wektor d przyjmujemy wektor zerowy, wobec czego βˆ spełna warunk estymatora lnowego. Zajmjmy sę neobcążonoścą: chcemy doweść że MNK βˆ to wartość neznanego parametru wektorowegoβ. E( βˆ ) E( Cy ) C* E( y ) C* E( Xβ+ ε ) C[E( Xβ) + E( ε )] C * E( Xβ) E( βˆ ) β czyl że wartość oczekwana estymatora 4 CXβ I k β β Kolejne przejśca mają następujące uzasadnene: Perwsza równość jest z defncj z zapsu βˆ Cy. Druga równość to wycągnęce stałej przed wartość oczekwaną :( ) X jest znany węc C ( k T) (X'X) X' jest stałą można ją wyprowadzć przed operator wartośc oczekwanej. Trzeca równość jest z założena - podstawamy za y. Czwarta równość wynka z tego, że wartość oczekwana sumy to suma wartośc oczekwanych. (suma mus być skończona, ale tu jest) Pąta równość to z 4 E(ε)0. Szósta bo wartość oczekwana stałej to stała, X jest znany, a β neznany, ale też stały. Sódma równość wynka z tego, że CX I tożsamoścowo (X X) - (X,X) to macerz razy swoja odwrotność, macerz jednostkowa to element neutralny w mnożenu macerzy; CBDO. Uwaga: dowód neobcążonośc βˆ ne wykorzystuje założena 5, estymator MNK jest neobcążony nezależne od postac macerzy kowarancj składnków losowych. Przystąpmy do wyprowadzena zapsu klasy estymatorów lnowych neobcążonych: Element tej klasy to β ~ Gy + d, ale chcemy to zapsać jako βˆ plus pewna poprawka. Berzemy macerz F taką, że F G C Czyl G F + C β ~ Gy + d (F + C)y + d βˆ + Fy + d czyl zapsalśmy estymator lnowy jako βˆ + Fy + d. Teraz szukamy warunków na F d żeby był on neobcążony: E( β ~ ) E( βˆ) + E( Fy ) + E( d ) β + E( Fy) + E( d) β + F * E( y) + d β + FE( Xβ + ε) + d β + FXβ + d F d są stałe, skorzystano z dowodu neobcążonośc βˆ w drugm kroku, reszta wnoskowana jak w poprzedno. Wnosek: Żeby β ~ był neobcążony FXβ + d mus być równe 0 (wymagamy, bye( β ~ ) β ), by β ~ był neobcążony nezależne od konkretnej wartośc X, trzeba by FX 0 d 0 Wobec tego klasę estymatorów lnowych neobcążonych zapszemy: ~ ~ ~ Β β : β βˆ + Fy FX 0 ( k k )

13 3 Żeby doweść neobcążonośc potrzebujemy macerzy V (β ~ ). Ogólne macerz kowarancj wektorowej zmennej losowej to wartość oczekwana loczynu wektora kolumny odchyleń (wartość zmennej mnus jej wartość oczekwana) przez sebe po transpozycj: V ( β ~ ) E[( β ~ - E( β ~ ))( β ~ - E( β ~ ))'] czyl po podstawenu E( β ~ ) β z defncj neobcążonośc β ~ βˆ + Fy z konstrukcj klasy: V ( β ~ ) E[( βˆ + Fy - β)( βˆ + Fy - β)'] a wektor tworzący tą macerz to: βˆ + Fy - β Cy + Fy - β C(Xβ + ε) + F(Xβ + ε) - β CXβ + Cε + FXβ + Fε β (C + F)ε (bo CXI z czego już korzystalśmy, a FX0 z konstrukcj klasy) zapszmy: V( β ~ ) E[(( C + F) ε)(( C + F) ε)'] E[( C + F) εε '( C + F)'] ( C + F) E( εε ')( C + F)' ( C + F) V( ε )( C' + F') ( C + F)(σ I T )( C' + F') σ ( C + F)( C' + F' ) σ ( C' C + CF' + FC' + FF') Tu drug krok wynka z własnośc transpozycj loczynu macerzy (AB) B A, następne wycąga sę stałe poza wartość oczekwaną a E(εε ') to jest defncja V (ε ) ( bo V(ε)E[(ε-E(ε))(ε-E(ε)) ] a E(ε)0 na mocy 4 ), która na mocy założena 5 ma postać V(ε) σ I T. Wartośc poszczególnych składnków sumy w ostatnm nawase to: CC (X X) - X X(X X) - (X X) - {z własnośc transpozycj loczynu poneważ macerz symetryczna jest równa swej transpozycj} CF (X X) - X F (X X) - (FX) (X X) - *00 (j.w. z własnośc klasy: FX0) FC (CF ) 0 Ostateczne: ~ - V( β) σ ( X'X) + σ FF' Po podstawenu macerz Aσ FF,czyl jest neujemne określona na mocy konstrukcj. Dla β ~ βˆ macerz F jest macerzą zawerającą wyłączne zera (patrz konstrukcja macerzy F). ( na wykładze 00/00 czyl obecnym była podobno nna końcówka dowodu, co warto by uzupełnć.) Z powyższego wzoru wdać, że macerz kowarancj dowolnego estymatora lnowego neobcążonego to macerz kowarancj βˆ plus pewna macerz mająca elementy wększe lub równe zeru na przekątnych, czyl żaden estymator lnowy neobcążony ne może meć mnejszej warancj od βˆ czyl QED...3 Twerdzene o warancj resztowej w KMRL W KMRL z T>k (Tk odrzucamy) neobcążonym estymatorem parametru σ jest tzw. warancja resztowa dana wzorem:

14 4 s ( y Xβˆ )'( y Xβˆ ), E(s ) σ T k Estymatorem (neobcążonym) macerzy kowarancj estymatora MNK V(βˆ ) jest: - ( Vˆ (βˆ) ) V(βˆ) σ (X' X) - Vˆ (βˆ) s (X'X), E {tu drobna uwaga: rozróżnajmy dokładne V z daszkem od V bez daszka, jeśl ktoś dokładne we, to nech opuśc, ale jak ktoś ne we, to nech przeczyta, bo naczej dalej będze mał mętlk że szkoda gadać. Otóż estymator MNK βˆ traktujemy tu jako wektor losowy zgodne z uzasadnenem danym wyżej, wobec czego ma on macerz kowarancj V (βˆ ). To jest jego charakterystyka, która stneje którą chcemy szacować. Dana jest (k k) wzorem jak w twerdzenu GM ne znamy jej, bo ne znamy σ, kedy jednak za σ podstawmy oszacowane s, według powyższego twerdzena, dostanemy ( estymator/oszacowane V (βˆ ) (k k) ) czyl ( (βˆ ) (k Vˆk) ); to ostatne V to estymator macerzy kowarancj (lub jego realzacja, czyl oszacowane tej macerzy) a to poprzedne V to macerz kowarancj estymatora MNKβˆ. Przy czym oczywśce jest to zupełne co nnego nż V (ε ). } T) Daszków cąg dalszy: ŷ εˆ ( T Xβˆ y ŷ to wektor wartośc teoretycznych zmennej y przewdywanych przez oszacowany model; to wektor reszt MNK. Jeśl podstawmy dwa poprzedne wzory do wzoru na warancję resztową otrzymamy: s T k εˆ 'εˆ T εˆ t t T k a to jest warancja próbkowa reszt MNK. Wzór oblczenowy na s jest natomast następujący: s ( y' y y'xβˆ ) T k

15 5 Przy zastosowanu zbyt poważnych zaokrągleń można otrzymać tu wartość ujemną, co jest oczywstym komunkatem błędu..3 Klasyczny Model Normalnej Regresj Lnowej (KMNRL) Model KMNRL to modyfkacja KMRL: przyjmujemy dodatkowe założene dotyczące wektora ε neobserwowalnych składnków losowych. Przejśce z KMRL do KMNRL to wzmocnene założeń. A przy okazj: co to są mocne a co to słabe założena? I czy to dobrze, że założene jest mocne/słabe? Otóż mocne założene to take które nakłada dodatkowe wymagana, warunk (mówąc potoczne) na modelowany obekt. Dzęk nałożenu dodatkowych warunków, czyl wzmocnenu założeń uzyskujemy też wzmocnene tezy możemy doweść węcej. Czyl mocne założena są lepsze bo w mocnym układze założeń możemy węcej zdzałać (mając do dyspozycj mocnejszą tezę). Ale stosując model przyjmujemy jego założena bez możlwośc sprawdzena (w ramach tego modelu). Zakładamy, że nasz badany obekt posada wymenone właścwośc. Tutaj założena mocne są restrykcyjne, bo przeceż dużo wymagają, a założena słabe są mało wymagające, ogólne. Z przyjęca założeń pownnśmy sę wytłumaczyć, założena słabe łatwej przyjąć bo newele wymagają, założena mocne są kontrowersyjne. Czyl założena słabe są lepsze, bo są bardzej ogólne. Mamy tu przypadek trade off : musmy przyjąć założena na tyle mocne, by dało sę coś osągnąć, na tyle słabe, by dało sę rozsądne przypuszczać (lub formalne testować w szerszym modelu), że rzeczywśce obejmują badany obekt. Będzemy sę węc zajmować wektorem ε neobserwowalnych składnków losowych : reprezentującym łączny wpływ wszystkch czynnków drugorzędnych, przypadkowych, ne uwzględnonych..., czyl ε t, składnk losowy obserwacj o numerze t jest skończoną sumą m ndywdualnych zakłóceń losowych: ε t a t + a t + a t a tm Jeśl założymy, że poszczególne losowe zakłócena a tj mają dentyczne nezależne rozkłady o zerowej wartośc oczekwanej warancj σ a, co zapsujemy: a tj ~ D(0, σ a) to na podstawe CTG (Centranych Twerdzeń Grancznych) możemy doweść, że ch suma w przyblżenu ma rozkład normalny o zerowej wartośc oczekwanej warancj równej mσ a: ε t m a tj ~ N ( 0, m σ a j ) czyl mamy podstawy przyjąć, że wektor ε ma welowymarowy rozkład normalny. Tylda ~ oznacza: ma rozkład, tylda z kropką: w przyblżenu ma rozkład, D to dentcally ndependently dstrbuted czyl mają dentyczne nezależne rozkłady ; N(, ) czytamy: mają (dentyczne) nezależne rozkłady normalne o wartośc oczekwanej warancj podane w nawase, czyl mamy pełną charakterystykę normalnej zmennej losowej, bo znamy wartośc oczekwane (perwsze w nawase), warancje (druge w nawase) dla rozkładu normalnego kowarancje (zerowe, bo ndependently nezależne). σ a ma subskrypt a żeby sę ne mylło z warancją ε równą σ, a warancja ε w powyższym wzorze równa jest mσ a, bo zmenne są nezależne ne ma co odejmować (gdyby były zależne to odejmuje sę odpowedne loczyny kowarancj, które tu sę zerują).}

16 6 Pokazalśmy powyżej, że z rozumena ε jako sumy ndywdualnych zakłóceń losowych, przy przyjęcu jednakowego (neznanego) rozkładu, jednakowej warancj zerowej wartośc oczekwanej składnków tej sumy czyl owych ndywdualnych zakłóceń wynka, że ε ma w przyblżenu rozkład normalny. Wobec tego obok założeń - 5 przyjmemy dodatkowe założene 6 mówące, że ε ma welowymarowy rozkład normalny. Uzyskamy w ten sposób model KMNRL, o czym dalej. Trochę komentarza do założena 6 jego uzasadnena.. Przedstawone uzasadnene w postac mplkacj mogłoby być rozszerzone. Intucyjne mówąc są waranty CTG wsperające tezę o normalnośc powyższej sumy także w przypadku gdy jej składnk ne są nezależne mają różną warancję. Nasze ndywdualne zakłócena mogą węc być zależne, mogą też meć różną warancję (byle żadna z cząstkowych warancj ne domnowała nad warancją sumy), nawet wtedy wsperać założene o welowymarowym rozkładze normalnym dla ε. To argumenty mogące skłanać do przyjęca założena 6.. Zauważmy jednak, że w podanym uzasadnenu występuje ne rzucające sę w oczy założene, że rozkłady owych ndywdualnych zakłóceń mają warancję wartość oczekwaną. Co z tego wynka? Otóż są rozkłady które ne mają tych momentów (wartość oczekwana warancja to momenty). Ulubonym kontrprzykładem Profesora jest rozkład Cauchy ego. (zmenna mająca rozkład t-studenta o stopnu swobody ma rozkład Cauchy ego, w rozkładze t-studenta o n stopnach swobody stneją momenty rzędu nższego nż n. ). Jak technczne wygląda nemane momentów? Tak moment to odpowedna całka, która może ne stneć, jeśl rozkład ma tzw. grube ogony, czyl wolno maleje do zera w +-. Grube ogony (heavy tals) to cecha rozkładu mówąca o prawdopodobeństwe wystąpena realzacj daleko odbegającej od tendencj centralnej. Czyl jeśl obserwacje netypowe zdarzają sę często, to przypuszczamy, że rozkład charakteryzujący losowe zakłócena ma grube ogony jak np. rozkład Cauchy ego, czyl ne spełna naszych założeń, ne ma podstaw aby przyjąć, że suma takch zakłóceń mała rozkład normalny. Rozkład Cauchy ego jest α-stablny, czyl suma zmennych o tym rozkładze jest równeż zmenną Cauchy ego, a ne normalną. W takch okolcznoścach założene 6 okazuje sę założenem zbyt mocnym, ne dającym sę utrzymać, musmy je odrzucć w zwązku z tym tracmy wszelke korzyśc wynkające z jego przyjęca (korzyśc zostaną opsane ponżej). Jest to przypadek np. danych fnansowych wysokej częstotlwośc, gdze obserwacje netypowe są typowe, ne są spełnone założena CTG wobec czego stosowane technk KMNRL ne ma uzasadnena musmy odwołać sę do sposobów wnoskowana zakładających możlwość występowana zakłóceń gruboogonastych. Po tym przydługm neco wstępe przejdźmy wreszce do modelu KMNRL..3. Założena Klasycznego Modelu Normalnej Regresj Lnowej y X β + ε k) (T (T (k X jest znaną macerzą nelosową 3 rz(x) k 4 E( ε ) 0 5 V(ε) σ I T σ >0 6 ε ma T-wymarowy rozkład normalny założena 4-6 zgodne z podaną wcześnej neco rozszerzoną notacją możemy zapsać następująco:

17 7 ε~ N T (0, σ I) co czytamy: epslon ma T-wymarowy łączny rozkład normalny o wartośc oczekwanej będącej wektorem zerowym macerzy kowarancj danej wzorem σ I. W stosunku do poprzedno wprowadzonego zapsu to jest uogólnene na przypadek welowymarowy, czyl w nawase podajemy wektor wartośc oczekwanych (oznaczany µ) macerz kowarancj, najczęścej oznaczaną jako Σ. Ogólne: z ~ ( µ, Σ) N T A co oznacza: ma łączny welowymarowy rozkład normalny? {dygresja: w ekonometr ne ma słów newnnych. Najczęścej jest tak, że każde słowo na swom mejscu coś znaczy, zastąpene go podobnym lub pomnęce odwraca cały sens. Powoduje to przykre nespodzank na egzamne przy punktowanu nterpretacj. Jeśl coś jest jakoś napsane, to znaczy, że ma być dokładne tak, warto sę zastanowć dlaczego. Albo, że Profesor sę pomylł {tu jeszcze ja sę mogę pomylć BM}, ale to ne zmena reguły, bo Profesor zdecydowaną wększość czasu mów do rzeczy tylko czasem sę myl.} {dygresja. Pytane co oznacza? czytaj zazwyczaj: Jak jest zdefnowany? } Defncja: Welowymarowa zmenna losowa z (będąca wektorem losowym) ma T-wymarowy rozkład normalny wtedy tylko wtedy, gdy wszystke nezerowe kombnacje lnowe jej elementów mają jednowymarowy rozkład normalny. z c ( T ma welowymarowy rozkład normalny R T \{0} c'z T t c t z t ma -wymarowy rozkład normalny. W szczególnośc z tej defncj wynka, że wszystke składowe mają rozkład normalny, jednak ne odwrotne, tzn. z normalnośc wszystkch składowych ne wynka welowymarowa normalność. Funkcja gęstośc prawdopodobeństwa (p.d.f. : probablty densty functon ne mylć z *.pdf) T- wymarowego neosoblwego rozkładu normalnego z parametram µ, Σ: p(z;µ, Σ) f T N (z µ,σ) ( π) ( T / ) (/09Σ ) -/ 05[-/(z - µ)'σ - (z - µ)] gdze (bezpośredna nterpretacja probablstyczna): V( z ) Σ E( z) µ µ, Σ to odpowedno wektorowa wartość oczekwana T) macerz kowarancj (symetryczna dodatno określona, dająca sę odwracać, dzelć, perwastkować na przekątnej)

18 8 Co oznacza rozkład neosoblwy? (ogranczamy sę do rozkładów mających momenty -go rzędu). Rozkład normalny osoblwy ma osoblwą macerz Σ, czyl ne da sę zapsać powyższej funkcj gęstośc, bo ne da sę odwrócć macerzy Σ. W rozkładze neosoblwym da sę odwrócć tą macerz, czyl można zapsać funkcję gęstośc {trywalzując, jak mawa Profesor}. W rozkładze neosoblwym każda badana zmenna wnos swostą zmenność do układu, w rozkładze osoblwym pewne zmenne są funkcyjne zależne od nnych, ne wnoszą zmennośc. Z rozkładam osoblwym mamy do czynena przy modelowanu właśne zwązków funkcyjnych mędzy zmennym tworzącym wektor. {Wzór w powyższej ramce (funkcja gęstośc welowymarowego rozkładu normalnego) jest jednym z najważnejszych wzorów tego kursu, trzeba go znać na pamęć bez cena błędu. Co oznacza zaps p(z ; µ, Σ)...? a konkretne co w tym nawase rob średnk? Ogólne w nawase są argumenty, ale po średnku są parametry które chcemy traktować jako ustalone (wektor wartośc oczekwanej macerz kowarancj) a przed średnkem jest wektor wartośc zmennej losowej z, który jest podstawowym argumentem funkcj gęstośc. Zapsujemy w ten sposób, bo nteresuje nas wartość funkcj p dla dowolnego wektora z przy ustalonych wartoścach µ, Σ, co jeszcze bardzej wdać w zapse z f, tam ponowa kreska oznacza: warunkowo względem ustalonej wartośc tego, co po kresce. Przy tym zapse jest też ewdentne, że nteresuje nas welowymarowa zmenna losowa z dowolną (nekoneczne dagonalną) macerzą kowarancj, czyl mamy wektor zmennych które mogą być zależne. Gdyby macerz kowarancj była dagonalna to melbyśmy loczyn T jednowymarowych funkcj gęstośc, a gdyby jeszcze wszystke jej przekątnowe elementy były równe np. σ, to byłaby T-ta potęga jednowymarowej funkcj. Poneważ na statystyce matematycznej był chyba tylko przypadek jednowymarowy a tu jest cały wzór macerzowy to warto do nego podstawć różne (np. powyższe) postace macerzy Σ spróbować dojść do odpowednej modyfkacj przypadku jednowymarowego. } Teraz wreszce te obecane a welke korzyśc przyjęca 6-go założena. Są one dwojakego rodzaju: estymator MNK nabera dodatkowych (w porównanu z KMRL) własnośc teoretycznych, oraz dostępne sę stają dodatkowe możlwośc wnoskowana statystycznego: estymacja przedzałowa testowane hpotez..3. Własnośc estymatora MNK w KMNRL W KMNRL (przy założenach -6 ) estymator MNK βˆ jest najlepszy w klase wszystkch estymatorów neobcążonych. Przy czym jest to teoretyczna własność stosowanej procedury (estymatora MNK) która ne ma zazwyczaj zbyt welkego wpływu na nasz sposób postępowana. {Małoby ono być może technczne znaczene, gdybyśmy mel na wdoku jakś nny estymator.} Kosztem jest tu przyjęce mocnego założena o normalnośc ε, a rezultat powyższy jest warunkowany prawdzwoścą tego założena. Z praktycznego punktu wdzena dużo ważnejsza jest kolejna własność: W KMNRL zachodzą twerdzena o rozkładach zwązanych z normalnym, które pozwalają nam na budowane przedzałów ufnośc testowane hpotez o współczynnkach regresj, czyl mamy do dyspozycj nowe możlwośc wnoskowana statystycznego.

19 9.3.3 Estymacja przedzałowa testowane hpotez.3.3. Wnoskowane o pojedynczym parametrze regresj. Wnosk z twerdzeń o rozkładach zwązanych z normalnym: εˆ'εˆ ( y - Xβˆ )'( y - Xβˆ ) (T k) * s a) (T k) σ σ σ ~ χ βˆ - β b) ( ) ˆ ~ St T k D(β ) ( oczywśce χ oznacza rozkład ch-kwadrat a St rozkład t-studenta, w nawasach stopne swobody) W powyższych punktach mamy podane rozkłady zmennych losowych tzw. statystyk (statstc ne mylć ze statstcs która jest nauką) które są znanym funkcjam z jednym neznanym parametrem. Możemy je tak przekształcć, żeby móc testować hpotezy budować przedzały ufnośc dotyczące owego neznanego parametru. {jak na statystyce matematycznej}. Korzystając ze statystyk a) moglbyśmy budować przedzały ufnośc testować hpotezy dotyczące neznanego parametru struktury stochastycznej σ. Moglbyśmy, ale ne będzemy (chyba, że Profesor zmenł zdane). Wykorzystamy jednak statystykę daną w punkce b). W tym celu przyjrzyjmy sę jej blżej. W lcznku jest βˆ - β, czyl prawdzwy błąd estymacj (różnca mędzy oszacowanem MNK a prawdzwą neznaną wartoścą parametru). W manownku jest D( β ˆ ), czyl błąd średn szacunku MNK, to jest ocena błędu estymacj (czyl tego, co w lcznku, a czego oczywśce ne znamy). A skąd wząć błąd średn szacunku? Z oszacowanej macerzy kowarancj estymatora MNK. Perwastk kwadratowe elementów przekątnowych tej macerzy to błędy średne szacunku odpowednch parametrów - - Pamętamy: V ( βˆ ) σ ( X' X) natomast Vˆ ( βˆ ) s ( X' X) ;,7 ˆ ˆ.4; ˆ ˆ ˆ.4; ˆ df.4; ˆ ˆ ˆ ;,7 ˆ ˆ Vˆ ( βˆ ) T).4; ˆ ˆ ˆ ;,7 ˆ ˆ następne D( βˆ ) ;, ˆ7(βˆ ). Błąd średn szacunku -tego parametru regresj D( β ˆ ) mów nam, o le średno mylmy sę zastępując neznaną wartość parametru jego oszacowanem MNK Przedzały ufnośc dla pojedynczego parametru regresj Przedzały ufnośc są narzędzam wnoskowana statystycznego, estymacja przedzałowa daje bogatszą nformację dotyczącą szacowanego parametru nż estymacja punktowa. Szczególną wagę mają tu jednak zagadnena zwązane z prawdłową nterpretacją. Rozumene ch jest warunkem odnesena korzyśc z dodatkowych możlwośc wnoskowana właścwych KMNRL.

20 0 W wypadku przedzału ufnośc zasadnczą wagę ma rozróżnene pomędzy zmenną losową a jej pojedynczą realzacją. Wymenone powyżej założena statystyka przedstawona w punkce b) pozwalają na wyprowadzene własnośc teoretycznych przedzału ufnośc rozumanego jako przedzał losowy (czyl przedzał o końcach losowych). Jednak w badanach czy w zadanu będzemy mel do czynena z pojedynczą realzacją przedzału losowego to ona podlegać będze nterpretacj. O rozróżnenu przedzału ufnośc od realzacj przedzału ufnośc należy bezwzględne pamętać.. Przedzał ufnośc jest najkrótszym przedzałem o końcach losowych który z określonym prawdopodobeństwem zawera neznaną wartość parametru. Prawdopodobeństwo to określamy z góry nazywamy pozomem ufnośc. Pozom ufnośc oznacza sę ( - α), czyl 95%-wemu przedzałow ufnośc odpowada α 5% 0,05. Przedzał ufnośc jest przedzałem o końcach losowych dlatego, że końce przedzału są znanym funkcjam wektora losowego obserwacj y, a wektor obserwacj y jest zdefnowany jako wektor losowy (patrz początek). Przedzał ufnośc jest skonstruowany tak, żeby był najkrótszym (o tym dalej) przedzałem zawerającym neznaną wartość parametru z określonym prawdopodobeństwem. Oznacza to (na podstawe częstoścowej nterpretacj prawdopodobeństwa na grunce której sę znajdujemy), że gdybyśmy obserwowal realzacje wektora y odpowedno wele razy odpowedno wele razy wylczal realzacje przedzału ufnośc, to przecętne w ( - α)*00 na 00 przypadków nasza realzacja przedzału ufnośc zawerałaby neznany parametr. Na grunce ekonom mamy jednak do czynena z danym hstorycznym: pojedynczą realzacją danych. Na tej podstawe oblczamy:. pojedynczą realzację przedzału ufnośc. Pojedyncza realzacja przedzału ufnośc to przedzał którego końce są znanym lczbam, są znanym funkcjam realzacj wektora obserwacj, czyl ustalonych lczb. Ten przedzał (już ne o końcach losowych ) albo zawera neznaną wartość szacowanego parametru, albo ne. Na grunce nterpretacj częstoścowej jest błędem stwerdzene, że przedzał o końcach np. (-, zawera neznany parametr z prawdopodobeństwem 95%. Prawdopodobeństwo odnos sę do przedzału ufnośc, jego realzacja (a przedzał (-, to może być tylko realzacja) neznany parametr zawera albo ne! Prawdłowa nterpretacja wygląda następująco: przedzał o końcach (-, jest realzacją 95% przedzału ufnośc dla parametru β. Można też powedzeć, że przedzał (-, zawera neznaną wartość parametru z ufnoścą 95%, poneważ ne popadamy tu w kolzję z nterpretacją prawdopodobeństwa, które jest ścśle zdefnowane. (Powyżej zastępowały wynk rzeczywstych oblczeń.) Przystąpmy teraz do przedstawena sposobu konstruowana przedzału ufnośc dla pojedynczego parametru regresj. Konstrukcję przedzału ufnośc można przedstawć w 3 etapach:. Ustalamy pozom ufnośc, czyl ustalamy wartość parametru α (α (0,, w praktyce α blska 0).. Znajdujemy wartość t α taką, że: { k) > t } α P St(T α (rozkład t-studenta jest rozkładem symetrycznym co pozwala na proste skonstruowane przedzału ufnośc, który jest jednocześne najkrótszy, wartość t α znajdujemy w tablcach lub w odpowednm programe komputerowym) 3. Używamy twerdzena o rozkładach zwązanych z normalnym, wykorzystujemy punkt b). βˆ - β P D(βˆ ) P t α βˆ - β β - βˆ > t α α P t α α P D(βˆ ) D(βˆ ) β β - ˆ t α α P β α D(βˆ ) t α { ˆ t D(βˆ ) β βˆ + t D(βˆ )} α α α

21 przy powyższych przekształcenach wykorzystujemy fakt, ż D( β ˆ ) jest wększy od zera (jest zdefnowany jako perwastek kwadratowy, elementy przekątnowe macerzy dodatno określonej, a macerz kowarancj jest dodatno określona, są wększe od zera. Czasem jednak oszacowane macerzy kowarancj może ne spełnać tego warunku, wtedy jest problem, bo ne da sę polczyć błędów średnch szacunku.) Zauważmy, że ostatn człon mów nam, że neznana wartość parametru β jest wększa od βˆ t αd(β ˆ ) mnejsza od βˆ + t αd(β ˆ ) z prawdopodobeństwem równym ( - α), co tworzy przedzał ufnośc. Przypomnamy, że zarówno βˆ jak D( β ˆ ) są funkcjam wektora losowego y, a węc zmennym losowym. Ostateczne: przedzał o końcach losowych dany wzorem: ( βˆ t D(βˆ ), βˆ + t D(βˆ )) α α jest najkrótszym przedzałem który z prawdopodobeństwem ( - α) pokrywa neznaną wartość parametru β Testowane hpotez o pojedynczym parametrze regresj Weryfkacja hpotez o pojedynczym parametrze regresj jest jednym z podstawowych narzędz wnoskowana statystycznego, ze względu na prostotę jest rutynowo stosowana np. występuje automatyczne w paketach analzy statystycznej (w neco zmenonej postac jako tzw. p-value). Jednak prawdłowa nterpretacja wynków testowana ne jest trywalna należy ją przeprowadzać zgodne z wymogam teor. Testowane hpotez statystycznych jest narzędzem mającym pomóc w podejmowanu decyzj, jednak ne oznacza to, że wynk testu statystycznego zawsze wskazuje konkretną decyzję. Podstawowym układem w jakm przeprowadza sę testowane jest układ pary hpotez: hpotezy zerowej H 0 hpotezy alternatywnej H, przy założonym z góry pozome stotnośc α. Hpotezy mogą być proste tj. określające lczbową wartość parametru, lub złożone tj. określające zbór wartośc parametru. Ogólne prostą hpotezę zerową możlwe hpotezy alternatywne można zapsać: H 0 : β β * Wobec: H : β β * albo H : β < β * albo H : β > β * Gdze β * oznacza konkretną, testowaną wartość parametru. Pozom stotnośc α mus być przez badacza przyjęty z góry oznacza welkość prawdopodobeństwa popełnena błędu I-go rodzaju tj. odrzucena hpotezy prawdzwej (tu: przyjęca H w sytuacj prawdzwośc H 0 ) Pozom ten podlega bezpośrednej kontrol badacza. Hpoteza zerowa jest hpotezą podlegającą testowanu, w raze odrzucena hpotezy zerowej przyjmujemy odpowedno dobraną hpotezę alternatywną. Typowy wynk testowana hpotez ma postać: na pozome stotnośc α... ne ma podstaw do odrzucena hpotezy zerowej H 0 mówącej, że... lub: na pozome stotnośc α... odrzucamy hpotezę zerową mówącą (...) wobec czego przyjmujemy hpotezę alternatywną H, mówącą, że (...). Oczywśce wynk testowana zależy od przyjętego pozomu stotnośc, jest warunkowy względem nego. Wybór pozomu stotnośc należy do badacza. Należy tu zaznaczyć rzecz zasadnczą: wynk testowana mówący, że ne ma podstaw do odrzucena hpotezy zerowej ne oznacza, że pownnśmy tę hpotezę zaakceptować. Mów tylko tyle: ne potrafmy jej odrzucć. Zlustrujmy to przykładem: zwykle nteresuje nas szczególne stotność parametrów regresj, co odpowada pytanu: czy można przyjąć, że dany parametr ma wartość 0? (w powyższym zapse odpowada to β * 0). W kontekśce regresj zerowa wartość parametru oznacza, że odpowadająca mu zmenna objaśnająca ne ma żadnego lnowego wpływu na zmenną objaśnaną, czyl pownna być usunęta z modelu. Problem decyzyjny jest następujący: czy usunąć -tą zmenną reestymować model, czy pozostawć ją w modelu. W tej sytuacj

22 przeprowadzamy testowane w następującym układze hpotez: H 0 : β 0 ; H : β 0 na pozome stotnośc wynoszącym np. α 0,05. Przypuśćmy, że wynk testu mów: na pozome stotnośc α 0,05 odrzucamy hpotezę H 0 : β 0 wobec czego przyjmujemy hpotezę alternatywną: H : β 0. Oznacza to, że na przyjętym pozome stotnośc parametr β jest statystyczne stotny, czyl ne pownnśmy usuwać odpowadającej mu zmennej z modelu. Możemy (jeśl przyjęlśmy wynk testu jako kryterum) podjąć decyzję: -ta zmenna objaśnająca pozostaje w modelu. Jednak jeśl napotkamy wynk testu mówący: ne ma podstaw do odrzucena hpotezy H 0 : β 0, decyzja jest trudnejsza. Może to bowem odzwercedlać sytuację kedy ne będzemy w stane odrzucć podobnej hpotezy dla dużego zakresu wartośc różnych od zera. Np. kolejny test może dać wynk: na zadanym pozome stotnośc ne ma podstaw do odrzucena H 0 : β 0. W tym wypadku test ne daje nam odpowedz, co oznacza że musmy kerować sę nnym kryterum. Jest to sytuacja powszechne spotykana, badacz mus w nej podjąć decyzję według nnego kryterum, bowem wnosek: ne ma podstaw do odrzucena hpotezy H 0 : β 0 węc przyjmujemy β 0 usuwamy zmenną ne jest logczną mplkacją samego rezultatu testu, lecz wynkem subektywnych kryterów preferencj badacza, pownen jako tak być rozumany. W szczególnośc nny badacz na podstawe dentycznego wynku testu może podjąć decyzję: pozostawam -tą zmenną w modelu. Wynk takego testu zależy oczywśce od przyjętego pozomu stotnośc. W paketach statystycznych automatyczne przeprowadzane jest testowane stotnośc poszczególnych parametrów regresj. Jego wynk jest jednak podany w postac tzw. p-value, to jest najnższego pozomu stotnośc dla którego można odrzucć hpotezę H 0 : β 0. Wartość p-value wynosząca 0,00 oznacza, że przyjmując że wartość parametru jest różna od zera (czyl przyjmując statystyczną stotność parametru) pomylmy sę (czyl prawdzwa wartość parametru wynese 0) raz na 000 (nterpretacja jest w cudzysłowe, poneważ jest to problem analogczny do nterpretacj konkretnych realzacj przedzałów ufnośc, czyl nterpretacj częstoścowej pojedynczej realzacj; można by powedzeć, że gdybyśmy obserwowal bardzo wele realzacj danych przeprowadzal test, to pomyllbyśmy sę przecętne raz na 000). Oczywśce znajomość p-value pozwala nam wyznaczyć wynk testów dla wszystkch nnych pozomów stotnośc. Dla p-value wynoszącego 0,00 jesteśmy wstane odrzucć H 0 : β 0 na pozome stotnośc α 0,05 ( wszystkch wększych od 0,00 natomast ne ma podstaw do odrzucena H 0 : β 0 na pozome stotnośc α 0,0005 ( wszystkch mnejszych od 0,00. Rozumejąc p-value jako prawdopodobeństwo uzyskana danej oceny parametru w sytuacj, gdy jego prawdzwa wartość wynos 0, nske wartośc śwadczą o statystycznej stotnośc parametru. Należy tu zaznaczyć jeszcze jedną stotną kwestę. Wyżej opsana procedura odnos sę do pojedynczego testu stotnośc pojedynczego współczynnka regresj. Ne można analogczne nterpretować wynków ser takch testów przeprowadzonych na kolejnych współczynnkach. W szczególnośc oznacza to, że oddzelne testowana statystyczna stotność wszystkch pojedynczych parametrów regresj na pozome stotnośc α ne mplkuje łącznej stotnośc tych współczynnków na pozome α. Wnoskowane o węcej nż jednym parametrze regresj będze omówone ponżej. Tu zaznaczamy że należy wyraźne rozróżnć rezultat pojedynczego testu od rezultatu sekwencj testów, w tym ostatnm przypadku stosować należy odpowedne odmenne procedury. Testowane hpotez przeprowadzamy w oparcu o statystyk testowe. Zwązk testowana hpotez budowy przedzałów ufnośc wynkają ze stosowana tych samych statystyk są następujące: jeśl ( - α)*00 procentowy przedzał ufnośc zawera wartość β *, to ne jesteśmy w stane na pozome stotnośc α odrzucć hpotezy zerowej: H 0 : β β *. Możemy jednak odrzucć tę hpotezę na tym samym pozome stotnośc jeśl przyjmemy wartość β * spoza odpowednego przedzału ufnośc. Wdać stąd, że jeśl przedzał stotnośc obejmuje 0, ne jesteśmy w stane odrzucć hpotezy o statystycznej nestotnośc parametru. Ne jest to równoznaczne z przyjęcem wartośc β 0. Konstrukcja testu statystycznego.