Zajęcia 17 Uogólniony Model (Normalnej) Regresji Liniowej - UM(N)RL

Transkrypt

1 Zajęcia 7 Uogólniony Model (Normalnej) Regresji Liniowej - UM(N)RL W niniejszych zajęciach rozpatrujemy zagadnienie uchylenia 5 założenia KMRL: w KMRL mieliśmy V(ε) = σ I, w UMRL przyjmujemy: V(ε) = σ (pozostałe założenia bez zmian!!) streszczenie odcinka: (wracamy do modeli jednorównaniowych, ale komplikujemy strukturę stochastyczną) ) 5 zał. KMRL definiuje pewne przyjazne własności składników losowych. W praktyce spodziewamy się jednak, że składniki losowe mogą mieć pewne kłopotliwe własności, co sprawia, że musimy uchylić założenie V(ε) = σ I ) po uchyleniu 5 założenia KMRL estymator MNK będzie miał inne własności niż w KMRL (gorsze): straci efektywność, poza tym standardowe procedury wnioskowania KMRL/KMNRL tracą zastosowanie (wzory mają inną postać) 3) będziemy szukać więc innego estymatora o lepszych własnościach (efektywnego) oraz sposobu na prowadzenie wnioskowania (wyliczanie błędów średnich szacunku, testowanie hipotez) a) przyjmując pewne nierealistyczne założenie znajdziemy taki efektywny i pozwalający na wnioskowanie estymator Uogólnionej MNK (UMNK) b) potem postaramy się uchylić nierealistyczne założenie: otrzymamy w ten sposób nowy estymator (Estymowanej UMNK: EUMNK), będziemy chcieli żeby zachował on dobre własności estymatora UMNK (efektywność): to się uda asymptotycznie (dla ) i przy pewnych dodatkowych założeniach [będziemy więc mieli trzy różne estymatory: MNK, UMNK, EUMNK każdy o innych własnościach] 4) aby wykorzystać w praktyce estymator EUMNK, musimy określić, jakiego rodzaju kłopot mamy ze składnikami losowymi. Do estymatora EUMNK wstawiamy wtedy odpowiednie funkcje. Ponadto będziemy potrzebować testu, pozwalającego stwierdzić, czy rzeczywiście taki akurat problem ma miejsce w konkretnym zastosowaniu. (w tych zajęciach mamy sporo wzorów które się minimalnie różnią, proszę uważać na notację!!). Rozszerzenie założeń KMRL: dlaczego chcemy uchylić 5 założenie? W Klasycznym Modelu Regresji Liniowej przyjmuje się (5 ), że macierz kowariancji wektora składników losowych ε ma postać: V(ε) = σ I. o implikuje dwie własności składników losowych: a) składniki losowe różnych obserwacji są nieskorelowane [cov(ε t, ε s ) = dla t s] to brak autokorelacji składników losowych. W takim przypadku V(ε) jest macierzą diagonalną ma zera poza przekątną. b) wariancja składnika losowego jest taka sama dla każdej obserwacji [var(ε t )= σ (t =,,...,)] ta własność to homoskedastyczność składników losowych.

2 W praktyce często możemy się spodziewać, że założenia te mogą nie być spełnione. W szczególności: a) w przypadku danych w postaci szeregów czasowych spodziewamy się wystąpienia autokorelacji składników losowych przypuszczamy, że wystąpienie bardzo silnego zaburzenia (jak klęska żywiołowa, wojna etc.) czyli wylosowanie bardzo dużego ε t będzie oddziaływać również na następne ( sąsiednie ) obserwacje czyli, że może występować skorelowanie składników losowych różnych obserwacji. Wtedy cov(ε t, ε s ) dla t s i V(ε) NIE jest diagonalna. b) w przypadku danych przekrojowych tj. obserwacji pochodzących z różnych obiektów z tego samego okresu może wystąpić heteroskedastyczność wariancja składnika losowego może nie być taka sama w całej próbie: var(ε t )= σ t (t =,,...,) [tutaj przy σ mamy indeks t, którego wcześniej nie było!]. Jeżeli obserwujemy produkcję w grupie hut obejmujących zarówno niewielkie zakłady jak i olbrzymy, możemy oczekiwać, że wariancja losowych zakłóceń w grupie zakładów dużych będzie większa niż w grupie zakładów małych (jeśli składnik losowy jest addytywny) c) w danych panelowych (z różnych obiektów w różnych okresach czasu) spodziewamy się zarówno autokorelacji jak i heteroskedastyczności skł. losowych. Jak widać, struktura macierzy kowariancji składników losowych typu V(ε)=σ I może okazać się zbyt mocna. Rozważa się w związku z tym jej uogólnienie. W tym celu rozpatrujemy model, w którym V(ε) = σ, gdzie jest pewną macierzą kwadratową, symetryczną i dodatnio określoną (czyli też nieosobliwą). może nie być macierzą diagonalną (dopuszczona jest autokorelacja skł. losowych) i może nie mieć stałych wartości na głównej przekątnej (dopuszczona jest heteroskedastyczność skł. losowych). Zauważmy, że skalar σ jest tu parametrem skali (skaluje wariancje i kowariancje elementów ε), natomiast macierz wyznacza strukturę V(ε) korelacje między różnymi składnikami losowymi ε zależą wyłącznie od elementów (σ z wariancji i kowariancji się uprości). Założenie V(ε) = σ zamiast V(ε) = σ I odpowiada przejściu od KMRL do UMRL czyli Uogólnionego Modelu Regresji Liniowej Ponieważ rozważamy macierze kowariancji, to warto przypomnieć, że ogólnie dla wektora losowego y: V(y)=E{[y-E(y)][y-E(y)] }; jeżeli rozpatrujemy macierz kowariancji wektora składników losowych (którego wartość oczekiwana jest wektorem zerowym i wypada ze wzoru), to V(ε) = E(εε ) zakładamy tu, że wszystkie wektory są kolumnowe. Postać macierzy określa ważne własności składników losowych opisuje ważny aspekt struktury stochastycznej modelu.. Jakie są konsekwencje założeń UM(N)RL dla estymatora MNK i stosowanych w KM(N)RL procedur wnioskowania?

3 W KMRL obowiązuje tw. Gaussa i Markowa o estymatorze MNK jest on liniowy, nieobciążony i efektywny w klasie liniowych oraz nieobciążonych. Ponieważ w UMRL uchylamy 5 założenie, twierdzenie nie zachodzi. Pamiętamy jednak, że dowód NIEOBCIĄŻONOŚCI wymaga tylko założeń -4, które mają w UMRL tę samą postać. Dowód EFEKYWNOŚCI w klasie... (czyli najmniejszej wariancji spośród estymatorów danej klasy) wymaga wszystkich 5 założeń. W UMRL estymator MNK traci efektywność, pozostaje liniowy i nieobciążony. Wobec tego możemy go stosować dla uzyskania ocen punktowych parametrów, choć co prawda wolelibyśmy mieć estymator efektywny. Niestety sytuacja jest gorsza, kiedy chcemy sobie policzyć coś więcej niż tylko oceny punktowe. Pamiętamy, że błędy średnie szacunku wyliczamy jako pierwiastki kwadratowe z elementów przekątniowych oszacowanej macierzy kowariancji estymatora MNK: w KMRL: wykorzystujemy nieobciążony estymator macierzy kowariancji estymatora MNK: dany wzorem V ( ) β = s ( X ' X ). Przypomnijmy, że dla uzyskania tego wzoru łączymy dwa fakty: ) na mocy twierdzenia Gaussa i Markowa macierz kowariancji estymatora MNK ma postać: ( ) V β = σ ( X ' X ) ) na mocy twierdzenia o wariancji resztowej, nieobciążonym estymatorem σ jest s. niestety, kiedy uchylimy 5 założenie KMRL ani ) ani ) nie zachodzą: w UMRL: - V β σ X ' X (macierz kowariancji estymatora MNK ma inną postać) ( ) ( ) - ( ) E s σ (wariancja resztowa nie jest nieobciążonym estymatorem σ ) widzimy więc, że co prawda mamy pod ręką nieobciążony estymator nieznanych parametrów strukturalnych, ale niestety nie możemy (stosując standardowe wzory z KMRL) policzyć nawet błędów średnich szacunku (nie mówiąc już o testowaniu, przy założeniu normalności składników losowych). W związku z tym szukamy: -efektywnego (i nieobciążonego) estymatora β. -estymatora macierzy kowariancji tego estymatora (lub estymatora MNK) pozwalającego wyliczyć błędy średnie szacunku oraz prowadzić testy. 3. Jak znaleźć w UMRL efektywny estymator β i estymator jego macierzy kowariancji? Aby znaleźć w UMRL efektywny estymator, a także znaleźć i oszacować jego macierz kowariancji, analizę rozbija się na dwa etapy:. Zakładamy, że macierz jest znana, i przy tym założeniu wyprowadzamy estymator i badamy jego własności. akiego estymatora nie da się praktycznie zastosować (bo praktyce jest nieznana), ale da się elegancko wyprowadzić jego własności.. Rozważamy sposób szacowania oraz zastanawiamy się, do jakiego stopnia estymator zbudowany analogicznie jak w punkcie, tylko z oszacowaną macierzą utrzyma własności.

4 Będziemy więc mieli dwa nowe estymatory: : ze znaną (to konstrukcja czysto teoretyczna, ale naprowadzająca nas na rozwiązanie problemu), : z szacowaną (ten estymator można stosować, jednak wymaga to dodatkowo podania estymatora ) 3. A. Analiza przy znanej macierzy Aby wyprowadzić postać szukanego estymatora w UMRL, rozpatrzymy pewne przekształcenie modelu UMRL w taki sposób, że spełnione będą założenia KMRL, natomiast nieznane parametry będą te same. W przekształconym modelu zachodzi twierdzenie Gaussa i Markowa, więc zapisujemy tam estymator MNK nieznanych parametrów. Potem uwzględniamy wykorzystane przekształcenie zmiennych w drugą stronę otrzymujemy estymator nieznanych parametrów w wyjściowym modelu (UMRL), mający ponadto własności MNK w KMRL: najlepszy wśród liniowych i nieobciążonych. ak samo możemy znaleźć w przekształconym modelu postać macierzy kowariancji uzyskanego estymatora, i jej estymator, co po wykorzystaniu przekształcenia z powrotem pozwoli na prowadzenie wnioskowania jak w KMRL/KMNRL. Dokładniej: ) znaną, symetryczną i dodatnio określoną macierz można zawsze przedstawić jako: - = P P, gdzie P jest znana i nieosobliwa. ) w miejsce modelu (a) y = Xβ+ε, rozpatrujemy model: (b) Py = PXβ+Pε W modelu (b): Co prawda przekształcono zmienne objaśniające (PX zamiast X), objaśniane (Py zamiast y) i składniki losowe (Pε zamiast ε), ale wektor nieznanych parametrów β jest EN SAM co w modelu wyjściowym więc uzyskany w (b) estymator będzie estymatorem nieznanych parametrów (a). W (b) spełnione są założenia KM(N)RL, bo: składnik losowy w modelu (b) to Pε, jego macierz kowariancji to E[Pε(Pε) ] = E[Pεε P ] = PE[εε ]P, a ponieważ E[εε ] =σ, to PE[εε ]P = σ PP = σ PP I= σ PP (PP - ) =σ P - P - = σ I (spełnione zał. 5) jeżeli ε ma rozkład normalny, to także Pε (jako liniowa nieosobliwa transformacja) ma rozkład normalny (zał. 6 jeśli jest) do ε nic nie dodajemy, więc jego wartość oczekiwana to E[Pε] = P E[ε] = P * = (spełnione zał. 4) macierz P jest nieosobliwa, więc PX ma pełen rząd kolumnowy (spełnione zał. 3) macierz P jest znana, bo jest znana, więc PX jest nielosowa. (spełnione zał. ) Py = PXβ+Pε (spełnione zał. ) Zapisując estymator MNK w modelu (b) uzyskujemy:

5 β = [(PX) PX] - (PX) Py = (X P PX) - X P Py = (X - X) - X - y. jest to estymator Uogólnionej MNK (UMNK) lub Aitkena czyli GLS (od ang. Generalized Least Squares) uwaga notacyjna: to estymator wektora β przy znanej macierzy - w β nad nie ma daszka. Przez analogię do KMRL możemy wyprowadzić postać jego macierzy kowariancji: V( β ) = σ (X P PX) - = σ (X - X) - Własności UMNK β : ponieważ w (b) spełnione są założenia KMRL i zachodzi twierdzenie Gaussa i Markowa; więc: W UMRL estymator UMNK (tj. przy znanej macierzy ) dany wzorem ' ' β = ( X X ) X y o macierzy kowariancji: ( ) ( ' V β ) = σ X X jest najlepszy w klasie estymatorów liniowych i nieobciążonych. (to tzw. twierdzenie Aitkena, które jest wnioskiem z tw. Gaussa i Markowa) Udało się nam więc uzyskać efektywny estymator β. Aby wyliczyć coś więcej niż tylko oceny parametrów, musimy mieć estymator macierzy kowariancji β. Potrzebujemy więc estymatora σ. W modelu (b), jeśli dodatkowo założymy > k, zachodzą założenia twierdzenia o wariancji resztowej. W KMRL suma kwadratów reszt MNK ma postać: (y - X β ) (y - X β ). W UMRL jej odpowiednikiem jest: (Py-PX β ) (Py-PX β ) = [P(y-X β )] P(y-X β ) = (y-x β ) P P(y-X β ) = (y-x β ) - (y-x β ) Zauważmy, że jest to uogólniona suma kwadratów reszt, tj. jakby ważona macierzą - w zwykłej MNK ta macierz ważąca jest implicite równa macierzy jednostkowej. Odpowiednikiem sumy kwadratów odchyleń S(β) rozważanej w KMRL jest tutaj: ( ) ( ) ' S β = y X β ( y X β ) i to właśnie taką uogólnioną sumę kwadratów odchyleń minimalizuje estymator UMNK. W UMRL nieobciążonym estymatorem σ jest uogólniona wariancja resztowa wykorzystująca uogólnioną sumę kwadratów reszt opisaną powyżej: s = ( ' y Xβ ) ( y X β ), [ ] E s = σ k (to wniosek z twierdzenia o wariancji resztowej). Wobec tego: Nieobciążonym estymatorem macierzy kowariancji estymatora UMNK jest: ( ) ( ' V β ) = s X X (przy znanej macierzy ) β w UMRL estymator V ( β ) jest nieobciążony, bo mamy nieobciążony estymator jedynego nieznanego elementu V ( β ) czyli σ, więc: [ ( ' ' ' E V β )] = E [ s ( X X ) ] = E [ s ]( X X ) = σ ( X X ) V ( β ) =

6 Do szczęścia brakuje nam jeszcze postaci macierzy kowariancji estymatora zwykłej MNK β w UMRL (jak pamiętamy z punktu powyżej, znany z KMRL wzór V β = σ X ' X jest nieprawdziwy w UMRL). Aby ją otrzymać policzmy: ( ) ( ) V( β )=E{[ β -E( β )][ β - E( β )] }=E[( β - β)( β - β) ]= (w ostatniej równości wykorzystujemy nieobciążoność β także w UMRL) = E{[(X X) - X y-β][(x X) - X y-β] }= E{[(X X) - X (Xβ+ε)-β][(X X) - X (Xβ+ε)-β] } = = E{[β+(X X) - X ε)-β][(β+ (X X) - X ε - β] } = E{[(X X) - X ε][ε X(X X) - ]} = (X X) - X E(εε )X(X X) - = =σ (X X) - X X(X X) - Estymator tej macierzy budujemy analogicznie jak V ( ) nieobciążoności. Ostatecznie: β, tak samo dowodzimy jego β ma V β = σ X X X X X X, ' ' ' V β = s X X X X X X ) (przy znanej macierzy ) ' ' W UMRL macierz kowariancji estymatora zwykłej MNK = ( X X ) X y postać: ( ) ( ' ) ' ( ' ) a jej nieobciążonym estymatorem jest ( ) ( ) ( Zauważmy, że ponieważ KMRL jest szczególnym przypadkiem UMRL, w którym: = I, wszystkie dane wyżej wzory zwijają się do znanej z KMRL postaci po podstawieniu = I. Pozwala to choć w przybliżeniu sprawdzić czy dobrze się je pamięta. Podsumowując: Przy znanej macierzy mamy do dyspozycji estymatory: β - zwykłej MNK (ang. OLS) liniowy i nieobciążony β - Uogólnionej MNK (ang. GLS) najlepszy w klasie liniowych i nieobciążonych Proszę zauważyć, iż w obydwu przypadkach mamy do czynienia z małopróbkowymi własnościami estymatorów nie musimy odwoływać się do żadnych asymptotycznych przybliżeń. W UMRL przy znanej macierzy estymator UMNK β jest jednoznacznie preferowany w stosunku do estymatora zwykłej MNK β - ponieważ ten pierwszy ma mniejszą wariancję. Niestety w praktyce nie znamy postaci. Mamy więc do czynienia z problemem: 3. B. Analiza przy nieznanej macierzy - własności ogólne W praktyce niestety macierz nie jest znana jej znajomość to bardzo silne założenie odpowiada znajomości wszystkich korelacji oraz ilorazów wariancji dla wszystkich elementów wektora składników losowych ε. rudno założyć, że je znamy. Co w takim razie zrobić? Narzuca się prosta odpowiedź: szacować macierz i jej ocenę wstawić do wzorów danych powyżej. Pojawiają się w związku z tym dwa dalsze pytania: - jak oszacować?

7 - czy nowy estymator, uzyskany z UMNK poprzez zastąpienie jej oszacowaniem, zachowa pożądane własności estymatora UMNK (zwłaszcza efektywność)? Można zauważyć, że w pełni swobodne szacowanie może być dość trudne - ma ona wymiar na i zawiera (na mocy symetrii) ( -)/ + nieznanych parametrów czyli o ( -)/ więcej niż mamy obserwacji. W związku z tym szacowanie macierzy musi wykorzystywać jakąś dodatkową zadaną a priori informację. Zagadnienie szacowania macierzy można przedstawić następująco: jeśli nie można szacować wszystkich nieznanych elementów, bo w ogólnym przypadku zawiera ona za dużo swobodnych parametrów, załóżmy pewną strukturę, będącej funkcją względnie niewielu nieznanych parametrów (najlepiej aby ich liczba była niezależna od liczby obserwacji), które potem oszacujemy i te oszacowania wykorzystamy. Potrzebujemy więc: a) jako znanej funkcji macierzowej wektora parametrów czyli = () b) estymatora wektora parametrów (czyli ). Mając te dwa elementy możemy uzyskać ocenę macierzy jako: ( ) = Wstawiając ocenę do wzoru na estymator UMNK uzyskamy nowy estymator, UMNK z szacowaną macierzą, zwany FGLS lub EGLS (od feasible GLS wykonalny UMNK lub estimable GLS EGLS) a po polsku EUMNK: estymowana UMNK. Zapiszemy EUMNK jako: ' ( X ' X ) X y ' β = lub β = X ( ) X ' [ ] X ( )y Nasuwa się teraz pytanie: jakie są własności estymatora EUMNK czy zostanie zachowana własność efektywności UMNK? β, a zwłaszcza, W UMRL: Estymator EUMNK jest nieobciążony (ale przy pewnych specjalnych warunkach danych niżej dla zainteresowanych) Estymator EUMNK nie jest już estymatorem liniowym (np. dlatego, że sensowny jest funkcją y, więc y wchodzi też poprzez. Przy pewnych założeniach (dosyć skomplikowanych do wyłożenia) można pokazać, że β EUMNK ma pożądane własności asymptotyczne (czyli dla ) w szczególności: - jest zgodny - jest asymptotycznie bardziej efektywny od estymatora zwykłej MNK (można to też ująć w ten sposób, że asymptotycznie EUMNK ma własności UMNK) ( )

8 Warunki które zapewniają zachowanie tych własności można przedstawić (nie w pełni dokładnie) następująco: I. () jest dobrze dobrana odwzorowuje prawdziwą strukturę, II. jest zgodnym estymatorem, Warunek wystarczający nieobciążoności estymatora EUMNK: (dla ciekawych) jeżeli składniki losowe mają rozkład symetryczny wokół zera, oraz ( ε ) = ( ε ) - czyli estymator jest parzystą funkcją wektora reszt (i przy dodatkowym założeniu, że wartość oczekiwana istnieje), to estymator EUMNK jest nieobciążony. Interesujące jest, że zgodność wystarczy do asymptotycznej efektywności EUMNK (nie jest potrzebna asymptotyczna efektywność ) [oczywiście to nieformalny zarys, ścisłe potraktowanie sprawy można znaleźć w odpowiednich podręcznikach]. Zauważmy, że EUMNK jest procedurą estymacji dwustopniowej: w pierwszym kroku szacujemy macierz (wykorzystując zwykle do tego oceny zwykłej MNK parametrów), w drugim kroku wyliczamy dopiero oceny parametrów EUMNK. Przy podanych wyżej warunkach, rozkład asymptotyczny estymatora EUMNK jest taki jak rozkład estymatora UMNK. W szczególności: W UMRL i przy pewnych warunkach dodatkowych (jak te podane wyżej): Asymptotyczna macierz kowariancji estymatora EUMNK ma postać: V as ( ) ( ' β ) = σ X X a jej zgodnym estymatorem jest: V as gdzie: s ( ) ( ) ' β = s X X k ' ( y X β ) ( y Xβ ) = Zauważmy, iż rozpatrujemy tu asymptotyczną macierz kowariancji (bo EUMNK w przeciwieństwie do UMNK i MNK nie jest liniową funkcją y). Ponadto i tak podany estymator tej macierzy ma wyłącznie własności asymptotyczne (jest tylko zgodny). Ze V β możemy więc wyliczyć jedynie przybliżone błędy średnie szacunku wzoru as ( ) parametrów. Przy nieznanej i szacowanej macierzy porównanie pomiędzy estymatorem zwykłej MNK a estymatorem EUMNK nie jest takie oczywiste. Odwołujemy się do własności asymptotycznych; własności EUMNK w małej próbie nie są w ogólnym przypadku znane (mamy co prawda warunek wystarczający nieobciążoności, ale interesuje nas w szczególności efektywność oraz ocena macierzy kowariancji estymatora). Przypomnijmy, że podstawową przewagą UMNK nad MNK w UMRL jest efektywność UMNK. W przypadku EUMNK mamy dwa dodatkowe źródła zakłóceń : β

9 estymator może w małej próbie źle trafić jego realizacja jest odległa od prawdziwego przez co wnosi nieprawdziwą informację i pogarsza własności ocen zamiast je polepszać. Prawdziwa struktura () jest inna niż przyjęta przez nas czyli występuje błąd specyfikacji. rudno jest poznać prawdziwą strukturę macierzy kowariancji składników losowych możemy mieć pewne przekonania co do niektórych jej własności (np. możemy czasem rozsądnie oczekiwać autokorelacji), ale tu konieczne jest podanie dokładnej struktury () (dokładnej postaci autokorelacji) łatwo więc o błąd. Podsumowując powyższe heurystyczne i nieścisłe rozumowanie, w małej próbie i przy szacowanej macierzy (czyli w praktyce) zakłócenia wnoszone do EUMNK mogą zniwelować korzyści i przewaga EUMNK nad MNK nie jest tak jednoznaczna i jasna w pewnych szczególnych przypadkach mimo tego, że dopuszczamy I, zwykła MNK może być przynajmniej tak dobra jak EUMNK. W UMRL możemy w związku z tym chcieć wyliczyć ocenę macierzy kowariancji zwykłej MNK: W UMRL i przy pewnych warunkach dodatkowych (jak te podane wyżej): zgodnym estymatorem macierzy kowariancji estymatora zwykłej MNK jest: ' ' ' ( ) = s ( X X ) X X ( X X ) V β UWAGI DODAKOWE: A. wnioskowanie statystyczne w UMNRL Jeżeli spełnione jest założenie 6 o normalności składników losowych (jak w KMNRL), to estymator EUMNK ma asymptotyczny rozkład normalny i możemy procedury wnioskowania analogiczne jak w KMNRL stosować w przybliżeniu (sytuacja jest podobna jak w przypadku regresji z losowymi zmiennymi V β objaśniającymi przypadek lub w MNRN). Oczywiście wykorzystujemy as ( ) oraz β wszędzie tam, gdzie w KMNRL używaliśmy odpowiednio V ( β ) oraz β. W związku z tym przy wyliczaniu np. błędu średniego szacunku dla liniowej ' kombinacji parametrów: zamiast s c' ( X X ) c powinniśmy użyć: ' ( X X ) c s c'. B. Losowe zmienne objaśniające Jeżeli nie jest spełnione założenie, to sprawy mogą się skomplikować. Macierz X losowa ale niezależna stochastycznie od wszystkich epsilonów powoduje analogiczną zmianę własności jak w przypadku regresji z losowymi zmiennymi objaśniającymi przypadek A, co praktycznie nie ma dla nas większego znaczenia (tzn. wzmiankowane wyżej procedury wnioskowania statystycznego w UMNRL zachowują swoje asymptotyczne własności) Jednak prawdziwe kłopoty zaczynają się, gdy mamy do czynienia z opóźnieniami zmiennej objaśnianej y po prawej stronie równania regresji. Jeśli jednocześnie wystąpi autokorelacja składników losowych (macierz [a tym samym V(ε)] nie będzie diagonalna), będziemy mieć do czynienia z regresją z losowymi zmiennymi objaśniającymi przypadek C (przypadkiem analogicznym do procesu

10 autoregresyjnego z zależnymi składnikami losowymi por. wykład). Wtedy estymator zwykłej MNK jest NIEZGODNY, natomiast estymator EUMNK byłby zgodny. Musimy oczywiście odpowiednio dopasować procedurę uzyskiwania zgodnej oceny procedury opisane poniżej (w szczególności test Durbina i Watsona) nie mogą być stosowane bo nie są spełnione ich założenia. W takim przypadku sprawa się więc istotnie komplikuje. Zainteresowanych odsyłam do literatury (np. Greene a). Pewien sposób postępowania w takim przypadku będzie być może wspomniany przy okazji Metody Największej Wiarygodności patrz późniejsze zajęcia. 4. Analiza przy szacowanej macierzy - przypadki szczególne Zastosowanie EUMNK wymaga zadania struktury macierzy czyli funkcji () oraz znalezienia zgodnego estymatora. Na samym początku odwołaliśmy się do dwóch cech odpowiadających spodziewanym w pewnych przypadkach własnościom składników losowych: heteroskedastyczności i autokorelacji. Uzasadniona wydaje się więc następująca strategia postępowania:. Rozważenie, które z tych zjawisk (i w jakiej formie) może wystąpić w naszym konkretnym badaniu. Zastosowanie testu pozwalającego na formalne zbadanie występowania tej własności 3. Jeśli test ją odrzuci (nie przyjmie), to możemy zastosować zwykłą MNK i na tym poprzestać (jeśli estymator MNK jest zgodny w pewnych szczególnych przypadkach może nie być) 4. Jeśli test nie odrzuci (lub przyjmie) występowanie rozważanej własności, to A) staramy się zbudować taką strukturę () która ją odzwierciedla B) szukamy zgodnego estymatora C) jeśli mamy A i B, stosujemy EUMNK (FGLS) Oczywiście możemy w punkcie C zastosować zwykłą MNK zgodnie z dyskusją powyżej sugerującą, że w przypadku szacowania przewaga EUMNK nad MNK nie jest oczywista i bezwzględna. Jednakże, gdy bardzo odbiega od macierzy jednostkowej i jesteśmy przekonani, że dobrze modelujemy strukturę macierzy kowariancji ε, zysk na stosowaniu EUMNK może być znaczny. Dlatego dla decyzji czy stosować EUMNK czy MNK istotny może być wynik testu. Silne odrzucenie = I przemawia za stosowaniem EUMNK. Chcemy szacować macierz kowariancji składników losowych (z dokładnością do skalara σ ) i testować jej własności czyli wnioskować o ε, które są nieobserwowalne. Naturalne wydaje się wykorzystanie w tym celu reszt zwykłej MNK czyli ε. Często zarówno test jak i estymator wykorzystują właśnie reszty zwykłej MNK. UWAGA! en sposób postępowania można stosować tylko wtedy, gdy estymator MNK jest zgodny. Kiedy na przykład może nie być zgodny? (przy spełnionych założeniach UMRL nam to nie grozi, więc mówimy tu o wyjściu poza opisany tu schemat) Gdy występuje autokorelacja ORAZ w regresji objaśniające (po prawej stronie) są opóźnione wartości y (jak w regresji z losowymi zmiennymi

11 objaśniającymi przypadek z przykładem procesów autoregresyjnych) w takim przypadku opisana procedura musi być zmodyfikowana. Poniżej przedstawimy typowe elementy zarysowanego schematu w prostym przypadku autokorelacji składników losowych. Przypadek heteroskedastyczności oraz występowania zarówno autokorelacji jak i heteroskedastyczności nie będą tak szczegółowo rozważane. Zainteresowanych testowaniem tych własności i estymacją przy ich występowaniu mogę odesłać do literatury. EUMNK w przypadku autokorelacji składników losowych typu AR() W praktyce autokorelacja skł. losowych dotyczy przede wszystkim szeregów czasowych. Rozważa się także autokorelację przestrzenną, ale jest ona bardziej skomplikowana. Dla szeregów czasowych najprostszym schematem autokorelacji skł. losowych jest przyjęcie następujących założeń: MODEL: y t = x t β+ε t ε t = ε t- + ξ t ; - < < ξ t ~iin(, σ ξ) (czyli proces autoregresyjny rzędu [Ar()] dla składników losowych mają one zerową wartość oczekiwaną więc proces AR() jest bez wyrazu wolnego; normalność nie jest potrzebna od razu tylko później.) w takim modelu: SRUKURA () odpowiadająca AR() dla składników losowych ε: ( ) ( ) = 3 3 ( ) ( ) = σ ξ przejmuje rolę σ w zał. 5. UMRL. Podajmy tu analityczną postać zarówno dla () jak i - () w praktyce częściej wykorzystywana jest - (), ma ona też więcej elementów zerowych. ES Durbina i Watsona

12 Przyjmujemy założenia opisane powyżej jako MODEL. Na podstawie reszt zwykłej MNK z regresji y t = x t β+ε t (która MUSI zawierać wyraz wolny tj. kolumnę jedynek w X) wyliczamy statystykę testową: d t t= = ( ε ε ) t= ε t t i rozważamy następujący układ hipotez: H : brak autokorelacji dodatniej składników losowych typu AR() ( = ) H : występuje dodatnia autokorelacja składników losowych typu AR() ( < < ) Statystyka d przyjmuje wartości od do 4. Przyjmujemy = - d/ [tak można otrzymać zgodny estymator ]; wobec tego łatwo skojarzyć wartości z odpowiadającymi im wartościami d i interpretacją wyniku testu: d bliskie ( bliskie ) świadczy za autokorelacją dodatnią d równe ( bliskie ) świadczy o braku autokorelacji (KMNRL) d bliskie 4 ( bliskie -) świadczy za autokorelacją ujemną Rozkład statystyki d testu Durbina i Watsona jest niestandardowy i co gorsze zależy od konkretnej postaci X. Można na szczęście podać przedział, w którym znajduje się wartość krytyczna niezależnie od tego, jaki jest X. Wiemy więc, że prawdziwa wartość krytyczna jest gdzieś pomiędzy wartościami D U i D L, które stablicowano na podstawie symulacji. Por. np. wartości D U i D L są tu podane w osobnych tablicach jako upper bound i lower bound, przy czym n to nasze (liczba obserwacji), zaś w kolumnach mamy liczbę zmiennych w X (wliczając w to wyraz wolny, przez co podane wartości zaczynają się od trywialny model z samym wyrazem wolnym nie jest rozważany). Ponieważ d bliskie zeru świadczy przeciwko H, to: d (, D L ) => odrzucamy H o braku autokorelacji dodatniej d (D L, D U ) => test jest niekonkluzywny d > D U => nie ma podstaw do odrzucenia H Jeżeli nie odrzucimy H (braku autokorelacji dodatniej) i tylko wtedy, przechodzimy do kolejnego etapu testu. Wyliczamy mianowicie statystykę d = 4 d i testujemy występowanie ujemnej autokorelacji składników losowych. Robimy to tak samo jak powyżej, zamieniając jedynie słowo dodatnia na ujemna i przyrównując d do tych samych wartości krytycznych co poprzednio. Mamy odpowiednio: H : brak autokorelacji ujemnej składników losowych typu AR() ( = ) H : występuje ujemna autokorelacja składników losowych typu AR() ( - < < ) Kiedy dwa razy nie odrzucimy braku autokorelacji: przeciwko alternatywom zarówno dodatniej, jak i ujemnej, możemy roboczo przyjąć, że autokorelacja nie występuje, tj. zakładamy, iż założenia KMNRL nie są istotnie odrzucane przez dane. W takim przypadku posługujemy się estymatorem zwykłej MNK oraz standardowymi, znanymi z KMNRL technikami wnioskowania statystycznego.

13 Kiedy odrzucamy hipotezę o braku autokorelacji na rzecz autokorelacji dodatniej albo ujemnej czyli przyjmujemy występowanie autokorelacji powinniśmy stosować estymator EUMNK zamiast MNK, oraz w szczególności stosować właściwe dla EUMNK procedury wnioskowania statystycznego. Kiedy test jest niekonkluzywny roboczo możemy przyjąć, że argumenty na rzecz MNK i EUMNK się równoważą i możemy stosować dowolną z tych metod. W takim przypadku zwykle skłaniać się będziemy do stosowania zwykłej MNK ze względu na jej prostotę. Uwaga! statystyka d jest wykorzystywana szeroko jako nieformalny ale bardzo praktyczny test specyfikacji modelu. Nawet w przypadku opóźnień zm. objaśnianej po prawej stronie równania regresji można monitorować wartość statystyki d (oczywiście wtedy zwykłe tablice nie mają zastosowania). Jednak jeśli wartości statystyki d odbiegają istotnie od (ile to jest istotnie to oceniamy sobie na wyczucie niestety) to wyniki większości innych testów (zwłaszcza standardowych testów t-studenta) musimy traktować ze znaczną rezerwą. ZGODNA ESYMACJA : A) Wykorzystując statystykę d: = - d/ (nigdy nie używamy tu d, tylko d) B) Można też zrobić regresję reszt MNK na ich opóźnieniach zgodnie z równaniem ε t = ε t- + ξ t wstawiając reszty MNK z estymacji oryginalnego równania w miejsce ε t i szacować stosując jeszcze raz zwykłą MNK. Wszystko jedno który ZGODNY estymator wybierzemy, bo dla zachowania własności EUMNK potrzebujemy tylko zgodności estymatora. Pod tym względem opisane wyżej propozycje się nie różnią. Widzimy więc, że w istocie EUMNK definiuje całą rodzinę estymatorów o identycznych własnościach asymptotycznych, lecz przynoszących inne wyniki numeryczne w praktyce (w małej próbie). EUMNK w przypadku heteroskedastyczności składników losowych Dla rozważania prostego przypadku heteroskedastyczności zakładamy, że próbę można podzielić na dwie grupy w pierwszej grupie obejmującej obserwacji wariancja składników losowych jest stała i wynosi σ, w drugiej grupie (liczącej obserwacji) wynosi ona σ. Jest to bardzo prosty wzorzec hateroskedastyczności (w praktyce można rozważać jego komplikacje). Odpowiada on następującej strukturze V(ε):

14 V σ σ σ / σ ( ε ) = = σ = σ σ σ σ σ / σ utaj () to ostatnia macierz przed ostatnim znakiem równości (oczywiście na przekątnej elementów σ jest i zakładamy, że obserwacje z pierwszej grupy stanowią początkowy blok (o wierszach) w wektorze y i macierzy X). Przy założeniach UMNRL, możemy wyprowadzić test pozwalający nam porównać wariancję ε w obydwu grupach obserwacji. Ponieważ w ramach każdej podgrupy wariancja skł. losowych jest stała, szacujemy zwykłą MNK obydwie podgrupy obserwacji OSOBNO (tj. dwa razy stosujemy zwykłą MNK, raz dla obserwacji i następnie dla obserwacji) uzyskując oceny parametrów oraz s i s. Chcemy testować, czy wariancje składników losowych się istotnie różnią od siebie, czyli czy iloraz σ /σ jest istotnie różny od. Ponieważ będziemy stosować test jednostronny, musimy zdecydować, która z wariancji powinna być większa. Oznaczmy ją σ W pozostała to σ M (czyli za M i W podstawiamy lub w zależności od tego, w której grupie występuje większa wariancja składników losowych) Stawiamy hipotezy: H : σ W = σ M σ W/σ M = (brak heteroskedastyczności) H : σ W > σ M σ W/σ M > (występuje heteroskedastyczność, wariancja składników losowych w grupie W jest większa) Przy prawdziwości H, statystyka F emp = s W/s M ma rozkład F( W - k, M - k). Jeżeli uzyskamy realizację F emp > F kryt na ustalonym poziomie istotności to oznacza, iż założenia KMNRL są istotnie niespełnione. Powinniśmy więc stosować estymator EUMNK. Jeśli nie ma podstaw do odrzucenia H oraz F emp jest większe od, to roboczo możemy przyjąć założenia KMNRL i stosować zwykłą MNK i techniki wnioskowania z KMNRL. Jeśli F emp jest mniejsze od, to może oznaczać iż źle oceniliśmy w której grupie wariancja składników losowych jest większa. Zamieniamy wtedy miejscami grupy i stosujemy powyższą procedurę powtórnie. Jeśli w którymś z przypadków odrzucimy hipotezę zerową (tj. stwierdzimy istotne niespełnienie założeń KMNRL) to dla wyliczenia EUMNK stosujemy wzór:

15 ( ) = = s / s s / s σ /σ pełni tu rolę parametru, zaś s /s jest zgodnym estymatorem. Problemem w zastosowaniu tej metody jest konieczność arbitralnego podziału obserwacji na dwie grupy rozważając różne podziały uzyskamy różne wyniki; zakładamy też, że w ramach podgrupy wariancja składników losowych jest stała. W praktyce warto mieć jakąś merytoryczną (ekonomiczną) przesłankę dla zaproponowania konkretnego podziału próby na grupy o różnej wariancji składników losowych. Powyższe szczególne przypadki postaci macierzy i związane z nimi testy oraz estymatory to tylko pewne proste przykłady mające zilustrować problem. W praktyce rozważa się bardziej złożone modele dla składników losowych i bardziej zaawansowane metody szacowania macierzy. Ćwiczenie Excelowe czyli zadanie domowe Na danych maddala.xls proszę oszacować funkcję Cobba i Douglasa (statyczną lub zdynamizowaną) zwykłą MNK. Następnie proszę rozważając osobno dwa przypadki, tj. autokorelację AR() oraz heteroskedastyczność składników losowych:. przeprowadzić test Durbina i Watsona / test na stałość wariancji skł. losowych (na użytek HEEROSKEDASYCZNOŚCI przyjmując jedną grupę obserwacji do 946 włącznie, drugą od 947) i w każdym przypadku:. oszacować zgodnym estymatorem 3. wyliczyć oceny EUMNK(FGLS) parametrów czyli β 4. pokazać Solverem, że to oceny EUMNK minimalizują uogólnioną sumę kwadratów reszt (jako punkty startowe można przyjąć zmyślone liczby lub oceny zwykłej MNK) 5. wyliczyć Vas ( β ) oraz ( ) V β i porównać błędy średnie β oraz β czyli EUMNK i MNK 6. porównać oceny macierzy kowariancji i błędy średnie szacunku zw. MNK β w UMRL i w KMRL (czyli prawdziwe i fałszywe błędy średnie zwykłej MNK przy założeniu prawdziwości UMRL) 7. Porównać charakterystyki ekonomiczne (elastyczności, RS i ich błędy śr. szacunku) w KMNRL i w UMNRL dla funkcji Cobba i Douglasa. 8. Potem proszę to samo zrobić z f. translog i porównać, jak uwzględnienie autokorelacji/heteroskedastyczności wpływa na wyniki estymacji przedziałowej RS i elastyczności. 9. Wyniki przedstawić w zgrabnych tabelkach lub na wykresach analogicznie do zajęć.

16 Pytanie do ćwiczenia: jak różnice w modelowaniu struktury stochastycznej (między KMNRL a UMNRL w wersjach z autokorelacją i heteroskedastycznością składników losowych) wpływają na wnioskowanie o charakterystykach ekonomicznych funkcji produkcji? UWAGA! Robiąc to można (radzę!!!!) wykorzystać dodatek MARIX oraz funkcje dla i - dla autokorelacji składników losowych opisane w dodatkach do excela link ze strony zajęć. Są tam także funkcje i - dla heteroskedastyczności, tylko proszę uważać na składnię dobrze podać pierwszy argument!! Wyniki dla sprawdzenia: Autokorelacja AR () składników losowych: Dla statycznej funkcji Cobba i Douglasa β D as ( β ) β D( β ) umrl D( β ) kmrl β β β (zakładając =.57465; (ze statystyki d); jak ktoś wziął inną ocenę [tj. z opisywanej powyżej procedury z regresją reszt MNK] to mogą być inne nieco wyniki) Zauważmy, iż fałszywe w UM(N)RL błędy średnie MNK (ostatnia kolumna) są dość istotnie niedoszacowane (zaniżone) w porównaniu z błędami policzonymi prawidłowo (przedostatnia kolumna). Stosując techniki wnioskowania jak z KMNRL uzyskalibyśmy efekt fałszywej precyzji wnioskowania o parametrach. Ponadto przybliżone błędy średnie EUMNK są mniejsze, niż prawidłowo w UM(N)RL wyliczone błędy śr. szacunku zwykłej MNK (przedostatnia kolumna) Dla zdynamizowanej funkcji Cobba i Douglasa: β D as ( β ) β D( β ) w umrl D( β ) w kmrl τ β β β (zakładając = ) Heteroskedastyczność: Dla statycznej funkcji Cobba i Douglasa: β D as ( β ) β D( β ) umrl D( β ) kmrl β β β (podział na podpróby: do 946 i od 947, s /s = ) Dla zdynamizowanej funkcji Cobba i Douglasa:

17 β D as ( β ) β D( β ) umrl D( β ) kmrl τ β β β (podział na podgrupy (heteroskedastyczność): do 946 i od 947, s /s = ) W zadaniu wyżej prosiłem Państwa o zbadanie kwestii: jak uwzględnienie możliwej autokorelacji AR() lub heteroskedastyczności składników losowych wpływa na wnioskowanie statystyczne o charakterystykach produkcji w naszym przykładzie. Innymi słowy zastanawiamy się, na ile przejście z KMNRL do różnych wariantów szczególnych postaci w UMNRL wpływa na nasze konkluzje ekonomiczne (w porównaniu z wynikami w zajęciach ) w przypadku FUNKCJI RANSLOGARYMICZNEJ. Rozważmy oceny punktowe współczynnika efektu skali: Widzimy, że na ocenę punktową największy wpływ ma mimo wszystko dynamizacja funkcji produkcji (uwzględnienie dynamizacji powoduje obniżenie oceny efektu skali ten efekt już dyskutowaliśmy). Ponadto uwzględnienie autokorelacji AR() ma podobny (lecz słabszy) efekt. rudno wskazać jakiś regularny skutek uwzględnienia heteroskedastyczności. Dygresja: jeszcze a propos: czemu wprowadzenie dynamizacji obniża ocenę ef. skali? (i tak bardzo wysoką) można to bardzo trywializując wytłumaczyć następująco: w danych obserwujemy wyraźny (z czasem) wzrost PKB. Równocześnie

18 obserwujemy wzrost wielkości obydwu nakładów. Jeśli w modelu jedyną możliwą przyczyną wzrostu PKB jest wzrost nakładów (model statyczny) to cały ten silny empiryczny fenomen musi być objaśniony przez działanie korzyści skali. Jeśli dopuścimy inne przyczyny wzrostu PKB (jak postęp techniczny model zdynamizowany), wtedy część wzrostu zostanie objaśniona przez postęp i nie będzie musiała być objaśniana przez wsp. efektu skali. Mamy tu sytuację kiedy jeden ewidentnie obserwowany fenomen może być objaśniany przez dwa konkurencyjne mechanizmy. Wtedy spodziewamy się też silnego skorelowania odpowiednich ocen parametrów (wsp. efektu skali oraz wsp. postępu t-o) rozpatrywanie i analiza wyników dla każdego mechanizmu osobno wypacza wyniki (bo zaniedbujemy ową silną korelację). Idealnie należałoby prowadzić wnioskowanie łączne o obydwu interesujących nas mechanizmach (troszkę na ten temat jest w zaj. 6 jako bonus). Koniec dygresji. Pamiętajmy jednak, że szczególnie istotne jest opisanie niepewności obciążającej wnioskowanie statystyczne. Porównajmy więc wykresy z naniesionymi krańcami przedziałów ufności (pamiętając, że ich łączne rozpatrywanie jest wyłącznie nieformalne, przybliżone). Dla czytelności wprowadźmy tylko heteroskedastyczność i tylko dla f. statycznej: jeśli ktoś nie oślepł od szoku kolorystycznego to może zobaczyć, iż uwzględnienie heteroskedastyczności składników losowych bardzo istotnie wpływa na opis niepewności kształtowania się współczynnika efektu skali w drugiej (powojennej) części próby. Można to wytłumaczyć następująco: w KMNRL ocena parametru σ jest zdominowana przez znaczne szoki pochodzące z pierwszej części próby (wielki

19 kryzys oraz jego skutki, wojna światowa). Wariancja składników losowych (ale też estymatora MNK parametrów) dla drugiej części próby jest przez to znacznie przeszacowana. Witać to na wykresie w drugiej części próby błąd estymacji wsp. efektu skali jest istotnie większy niż w części pierwszej, na co trudno znaleźć intuicyjne wytłumaczenie. Uwzględnienie heteroskedastyczności pozwala skorygować ten efekt precyzja wnioskowania o efekcie skali jest w całym okresie próby podobnego rzędu i dziwny efekt zwiększającego się błędu estymacji znika. Oczywiście można się zastanawiać, czy problem nie leży w zmianach (np. załamaniu strukturalnym) technologii tu zakładamy, że technologia w całym okresie próby jest taka sama (nieznacznie to uchylamy wprowadzając dynamizację). o założenie jest dość nierealistyczne i karkołomne, ale nie będziemy pracować nad jego uchyleniem. Zainteresowani mogą sobie poszukać w literaturze pod structural change lub structural breaks. Możemy się zastanowić, czy uwzględnienie autokorelacji składników losowych przynosi podobny efekt? widzimy, że nie wnioskowanie o efekcie skali jest mało wrażliwe na uwzględnienie autokorelacji AR() składników losowych (widzimy tylko b. nieznaczne, lecz systematyczne obniżenie oceny punktowej). Pamiętajmy, że uwzględniając autokorelację naszą metodą nie uwzględniamy heteroskedastyczności (da się uwzględnić obydwa te efekty łącznie ale to wykracza poza zakres naszego kursu).