(estymator asymptotycznej macierzy kowariancji estymatora nieliniowej MNK w MNRN)

Transkrypt

1 W ypowym zadanu z regresj nelnowej mamy nasępujące eapy: Esymacja (uzyskane ocen punkowych paramerów), w ym: 1. Dobór punków sarowych.. Kolejne eracje algorymu Gaussa Newona. 3. Zakończene algorymu Gaussa Newona (kryerum zarzymana) Nasępne: 5. wylczene błędów średnch szacunku 6. prowadzene esów sonośc 7. prowadzene esymacj przedzałowej Wykorzysujemy wzory: 1 V ( ) ( as = s A )' A( ) (esymaor asympoycznej macerzy kowarancj esymaora nelnowej MNK w MNRN) ' s 1 = y g y g T k (warancja reszowa) ' ' ( j ) ( j 1) ( j 1) ( j 1) ( j 1) z = A A A y g (poprawka w j-ym kroku algorymu Gaussa Newona) Przede wszyskm pownnśmy przeanalzować równane obserwacj zdenyfkować paramery, zmenne (objaśnające objaśnaną) oraz składnk losowe. BARDZO WAŻNE jes sprowadzene równana do posac zgodnej z perwszym założenem Modelu Normalnej Regresj Nelnowej. Dopero gdy równane jes w akej posac, że wysępuje am składnk losowy (mamy +ε a ne np. e ε ) możemy prawdłowo zdenyfkować y oraz g (). Zaczynamy od wyznaczena punków sarowych. Są o przyblżone oceny paramerów srukuralnych modelu ake warośc, kóre będą możlwe blske osaecznych ocen (kórych oczywśce ne znamy). Im punky sarowe będą blższe ocen, ym szybcej (w mnejszej lczbe eracj) pownnśmy uzyskać wynk ale o ylko przyblżona prawdłowość. Punky sarowe wyznaczamy dowolnym meodam kóre można uznać za sensowne. Dla uzyskana punków sarowych zwykle pomjamy w równanu wysępowane składnka losowego. Punky sarowe możemy oznaczyć ak jak paramery, ylko z górnym ndeksem, np.: δ, 1. Meody wyznaczana punków sarowych: 1. Meoda k-punków: podsawamy sobe do równana obserwacj z DANYCH konkrene warośc zmennych (objaśnających objaśnanej). Składnk losowy pomjamy. Podsawamy do ylu równań, le jes paramerów (o znaczy k razy do równana obserwacj wsawamy warośc odpowadające różnym k obserwacjom). Uzyskujemy układ k równań z k newadomym (newadomym są paramery) próbujemy go rozwązać. Rozwązana używamy jako punków sarowych. Oczywśce jeśl weźmemy różne podzbory obserwacj o orzymamy różne wynk czasem można węc pechowo rafć.

2 . Meoda przyblżonej lnearyzacj: pomjamy składnk losowe próbujemy ak przekszałcć równane obserwacj, żeby uzyskać posać lnową względem paramerów (lub względem ch wzajemne jednoznacznych funkcj np. jeśl uzyskamy posać lnową względem 1/ 1 o eż jes OK., bo jak uda nam sę oszacować 1/ 1 o poem weźmemy sobe odwroność z oszacowanego parameru). Do ak zmodyfkowanego równana sosujemy MNK (ak, jakby był am jeszcze składnk losowy +ε ) Ta meoda może być neco bardzej pracochłonna, ale berze pod uwagę nformację ze wszyskch obserwacj może dzęk emu dać lepsze punky sarowe. Algorym Gaussa Newona: Sosujemy go o wyznaczana ocen nelnowej MNK w MNRN. Esymaor MNK jes zdefnowany jako argumen mnmalzujący sumę kwadraów resz. Mnmum sumy kwadraów resz w prakyce szukamy meodam numerycznym. Algorym Gaussa Newona ma charaker eracyjny: każdy kolejny krok zaczynamy od rezulaów kroku poprzednego (dla kroku perwszego od punków sarowych), musmy eż algorym zakończyć przyjąć jakeś kryerum zarzymana. W każdym kroku wylczamy wekor poprawek. Oceny z kroku perwszego o punky sarowe plus perwsza poprawka. Oceny z kroku drugego o oceny z kroku perwszego plus wylczona w kroku drugm poprawka d. Do wylczana poprawk każdorazowo używamy ocen z osano wykonanego kroku. Schemayczne: : punky sarowe, z () poprawka w -ym kroku. krok 1: = + z, przy czym dla wylczena z używamy. krok : () = + z (), przy czym dla wylczena z () używamy. krok 3: (3) = () + z (3), przy czym dla wylczena z (3) używamy (). Spodzewamy sę, że algorym w pewnym momence osągne zbeżność, j, oceny w kolejnych krokach prakyczne przesaną sę zmenać (j. poprawk będę prakyczne równe 0). Musmy pamęać, że poprawk muszą być prakyczne równe zeru dla WSZYSTKICH paramerów. Pyane ylko, co o znaczy prakyczne równe zeru o zależy przeceż od rzędu welkośc parameru (dla oceny parameru rzędu seek zmana o 0,001 może być nesona, dla oceny parameru wynoszącej 0,01 jes dość sona). Dlaego rozważamy zw. względną poprawkę dla - ego parameru w j-ym kroku algorymu: ( j) ( j) ( j) λ =. Jako kryerum zarzymana algorymu możemy przyjąć sprawdzene, czy względne poprawk dla WSZYSTKICH paramerów są mnejsze nż np. 0,001 (u zakładamy jakąś arbralną, blską zeru warość. Kedy używamy kompuera a progowa warość może być blższa zeru, na sprawdzane o może być np. 0,01 dla zaoszczędzena czasu). Jeśl wszyske względne poprawk (równoważne najwększa z nch) są mnejsze od założonej warośc grancznej, algorym zarzymujemy. W momence zarzymana algorymu warośc z osanego kroku uznajemy za osaeczne oceny paramerów uzyskane nelnową MNK. Przykładowo w 11 kroku:

3 (11) (10) (10 ) < 0,0001 dla = 0,1, = (11) Od zarzymana algorymu zapomnamy o ocenach w kolejnych krokach (j) rozważamy ylko. Poneważ w dalszym cągu (np do wylczena V ( ) as ) porzebujemy równeż A ( ), o w zadanach dla zaoszczędzena czasu możemy ak naprawdę wykorzysać warość z poprzednego kroku (mamy ją już wylczoną przy lczenu poprawk w osanm kroku). Węc (konynuując przykład): (11) (10) (11) (10 ) o A( ) = A( ) A( ) węc w oblczenach możemy psać (10 ) A przyjmować wszędze am warośc A( ), ne (11) rzeba dodakowo wylczać A( ). Wnoskowane, esymacja przedzałowa. W MNRN esymację przedzałową esy sonośc możemy prowadzć dokładne ak samo jak w KMNRL z ą różncą, że zamas V ( ) wykorzysujemy V ( ) as, czyl: zamas oceny macerzy kowarancj esymaora MNK (uzyskanej w KMNRL z wykorzysanem esymaora neobcążonego) mamy ocenę asympoycznej macerzy kowarancj esymaora nelnowej MNK (uzyskaną w MNRN z wykorzysanem esymaora ylko zgodnego). Wobec ego wszelke esy oraz przedzały ufnośc nerpreujemy w MNRN jako ylko przyblżone (poneważ znamy ylko asympoyczne własnośc używanych esymaorów) [asympoyczne zn. wykazane przy założenu, że lczba obserwacj dąży do neskończonośc, co w prakyce ngdy ne ma mejsca]. Perwask z przekąnowych elemenów V ( ) as o będą przyblżone błędy średne szacunku, zaś w konkluzj esu pszemy np.:...na pozome sonośc około 0,05..., a w nerpreacj przedzału ufnośc...pokrywającego neznaną warość parameru δ z prawdopodobeńswem około 0,95, bo dysponujemy ylko przyblżonym obszarem kryycznym oraz przyblżonym przedzałem ufnośc. Warośc kryyczne możemy brać bądź o z rozkładu -Sudena (nerpreując o jako poprawkę na małą próbę) bądź ze sandaryzowanego rozkładu normalnego. Kedy T-k jes duże (klkadzesą, klkase) o ak warośc kryyczne z obu ych rozkładów są prakyczne denyczne. Wedy należy po prosu pamęać warośc kryyczne ze sandaryzowanego rozkładu normalnego (dla prawdopodobeńswa 0,05: 1,96-dwusronna jednosronna). Kedy T-k jes małe (mnejsze nż ok. 30), rozbeżnośc mędzy ym rozkładam mogą być dość znaczne. Ale nawe wedy każdy wybór da sę obronć ylko po prosu mogą wychodzć różne wynk. Przypomnam, że warość kryyczną z rozkładu normalnego sandaryzowanego oznaczamy przez u α. Podobne, mogą sę Pańswo spokać w ksążkach z wersjam wzoru na esymaor warancj składnka losowego (u nas s ), gdze w manownku będze T zamas T-k. Teorę ak mamy ylko dla T dążącego do neskończonośc - a wedy o wszysko jedno. Dla małego T a eora ak jes bardzo przyblżona, węc ne dosarcza nam ona zdecydowanego rozsrzygnęca na rzecz kórejś wersj. Możemy węc wszysko robć dokładne ak samo jak w KMNRL (pamęając

4 ylko o dodanu w przyblżenu lub około w nerpreacjach odpowednej zmane oznaczeń V. (np. zamas V mamy as WAŻNE: Kolejność kolumn w ( ) A. W kolejnych kolumnach (.) A mamy pochodne cząskowe funkcj g() względem paramerów (elemenów ). Ne ma jakejś jedynej poprawnej kolejnośc. Jednak ma ona sone konsekwencje dla wszyskch wzorów, gdze mamy A ().. Jeśl np. pochodna po pewnym paramerze φ będze w drugej kolumne A (.), o wedy poprawka dla φ będze na drugm mejscu w wekorze poprawek, zaś błąd średn szacunku dla ego parameru o V. Możemy węc przyjąć perwasek z elemenu w drugm rzędze w drugej kolumne () dowolną kolejność kolumn w A., jednak należy sę jej rzymać ne pomylć, bo naczej np. będzemy dodawać poprawkę do nnego parameru algorym ngdy sę ne zbegne, lub źle weźmemy błąd średn szacunku. Przykład: 1. Dany jes model: w α + g = + ε γ + g ; as ε ~ N (0, σ ) h y Proszę: A. podać wsępne oceny paramerów mogących służyć jako punky sarowe. oszacować paramery modelu przy pomocy nelnowej MNK (przyjmując jako kryerum zarzymana względną poprawkę mnejszą nż 0.01) B. wylczyć podać przyblżone błędy średne szacunku paramerów C. zbudować znerpreować 90% przedzał ufnośc dla parameru α D. zbadać, czy paramery α oraz γ mają warośc sone różne od sebe. UWAGA. W oblczenach ponżej zasosowano zaokrąglene do 3 mejsc po przecnku. Jednakże np. zaokrąglany jes wynk odwracana macerzy, naomas samo odwracane jes z pełną dokładnoścą. A) Wyznaczamy punky sarowe: α + h w = (pomjamy składnk losowy) γ + h ( γ ) w + h = α + h wh h = α γ w (zmenne ew. znane sałe bez paramerów przenosmy na lewą sronę) do wyznaczena przyblżonych ocen paramerów wykorzysujemy u esymaor MNK ak, jak gdyby równane mało posać: wh h = α γw + ξ przy czym odpowednk y oraz x w KMRL o:

5 y * = [w h - h ] x * = [1 -w ] punky sarowe możemy u orzymać jako: ( X ' X ) X ' y = γ mamy: X =, y =, = γ Alernaywne, możemy rozważyć układ równań orzymany przez podsawene warośc y oraz h z danych odpowadających np. perwszej osanej obserwacj: α + 7 = γ + 7 α = 0 γ po rozwązanu ego układu orzymujemy: α = γ =.5 (moglbyśmy oczywśce podsawć warośc z nnych obserwacj) Tuaj przedsawono różne meody doboru punków sarowych w zadanu oczywśce wysarczy, że wykorzysają Pańswo jedną meodę Wyjścowe równane spełna założena MNRN (mamy +ε ), α + g w = + ε γ + g y g wdać ż: y = w, g Wobec ego: g 1 = α γ + h α + h =, γ + h zaem: 1 α + h A = γ + h + gdze przez = γ. g α + h = γ + ( γ h ) ( γ h ) A rozumemy ypowy, -y wersz A.

6 .04 Przyjmjmy jako punky sarowe = γ -.17 Algorym Gaussa Newona: KROK 1: Dla wylczena poprawk w perwszym kroku wykorzysujemy wzór: ' ' z = A A A y g A =, y =, g =, y g = A' A = , A' A = , A'( y g) =, z = 0.008, osaeczne: = z = + = + = γ γ sprawdzamy welkość względnych poprawek: ( j) ( j) ( j) λ = ; λ / = = / wdzmy, że choć względna poprawka dla parameru γ spełna kryerum zarzymana algorymu, o względna poprawka dla α jes zby duża: > 0.01 => konynuujemy algorym: (być może na wykładze naczej oznaczal Pańswo poprawkę w -ym kroku oraz poprawkę względną w raze wąplwośc oznaczena z wykładu zawsze są prawdłowe) KROK : ' ' () z = A A A y g A = g , = = , y g

7 A' A = , A' A = , () A'( y g) =, z = , osaeczne: () () () = z () = + = + = γ γ sprawdzamy welkość względnych poprawek: λ / = = / poneważ: < 0.01 (najwększa poprawka względna spełna kryerum zarzymana) kończymy algorym: () = ; = γ B) Dla wylczena s możemy użyć resz uzyskanych w osanej eracj [przyjmujemy, ż y g y g ], wobec ego ( ) ( ) s 1 1 = y g ' y g = = T k 6 A A, węc oszacowana asympoyczna macerz podobne przyjmujemy, ż kowarancj esymaora nelnowej MNK o: V ( ) ' ( as s A A ) = = = (u berzemy neco wększą dokładność, żeby unknąć zer na przekąnej) Przyblżone błędy średne szacunku paramerów o odpowedno perwask z elemenów na A. przekąnej as D ( α ) ( γ ) D = = 0.0 V, o kolejnośc decyduje kolejność kolumn w C) Esymacja przedzałowa α: możemy wykorzysać warośc kryyczne z rozkładu -Sudena, j. 0.1;4 =.13 α D α, α + D α ( 0.1;4 0.1;4 ) przyblżony przedzał ufnośc: Przedzał (1.695,.053) o jedna z realzacj najkrószego przedzału losowego pokrywającego warość parameru α z prawdopodobeńswem wynoszącym około 0.9 D) H 0 : α = γ H 1 : α γ równoważne: H 0 : α - γ = 0 H 1 : α - γ 0 podsawamy:

8 ψ = α - γ = c c = [1-1] osaeczne: H 0 : ψ = 0 H 1 : ψ 0 saysyka esowa ma posać: * ψ ψ ψ = D( ψ ) ψ = c' = = D( ψ ) = c' V ( ) c = = as bo: [ 1 1] = * ψ = 0 wobec ego uzyskana w próbe realzacja saysyk esowej o: ψ = przy prawdzwośc H 0 saysyka ma w MNRN asympoyczny rozkład N(0,1) jednak w małej próbe możemy użyć równe dobrze warośc kryycznych z rozkładu Sudena o (T - k) sopnach swobody czyl warośc kryycznej 0.05;4 =.78 (rakujemy o jako pewną ad hoc poprawkę na fak, ż w prakyce T jes skończone ( uaj dość małe). Wemy jednak, że o ylko przyblżone rozumowane). pozom sonośc: 0.05 przyblżony obszar kryyczny: ( -,- 0.05;4 ) ( 0.05;4, + ), j. cr = ( -,-.78) (.78, + ) ψ cr => odrzucamy H 0 Na pozome sonośc około 0.05 odrzucamy hpoezę zerową głoszącą ż paramery α γ mają denyczne warośc. (ewenualne: na pozome sonośc około 0.05 paramery α γ są od sebe sone różne)