Ekonoeryczne odele nieliniowe Wykład 4 NMNK, MNW, eody radienowe
Lieraura W. Greene Econoeric Analysis, rozdz. 7. sr. -4 J. Hailon 994 ie Series Analysis, sr. 33 5 Chun-Min Kuan 7 Inroducion o Econoeric heory, Insiue o Econoics, Acadeia Sinica, rozdział 8 do znalezienia w inernecie
3 Nieliniowa eoda najniejszych kwadraów Model reresji nieliniowej l ziennych, k paraerów: Przykład : Przykład : e y y z z y
Inerpreacje ekonoiczne Wpływ krańcowej ziany na y nie zawsze równy warości paraeru i 4
5 Esyaor NMNK Esyaor inializuje suę kwadraów resz: Warunek pierwszeo rzędu: dzie: y Q,...,,..., k Q y k...,...,
Założenia NMNK. Warunkowa średnia dla y wynosi: E y, a różniczkowalna. Idenyikowalność paraerów: nie isnieje akie, że 3. Składnik losowy: 4. i i i i i i E E i i cons E, dla i j i j i i i j 6
Założenia NMNK i 5.. i. oen i z próby dążą do sałych z populacji, a i ściśle ezoeniczny wobec i 6. Isnieje dobrze zdeiniowany rozkład prawdopodobieńswa dla, ~ uncorrela ed idenicall y i disribued, i 7
Założenia NMNK Jeśli ożna policzyć. pochodne wzlęde paraerów dla danych obserwacji i y i acierz Q jes dodanio określona, o iniu unkcji suy kwadraów resz ożna znaleźć. Możliwe wiele iniów lokalnych ej unkcji paraery niekoniecznie jednoznacznie idenyikowalne por. założenie 8
Założenia NMNK Powyższe założenie analoiczne do założenia nr w MNK por. wykład : Q y [ ][ ]' ponieważ dla odelu linioweo: Q X' X rz X' X k 9
Własności esyaorów NMNK Zodność Asypoyczna noralność D D N D e
Własności esyaorów NMNK Esyaor wariancji odporny na heeroskedasyczność: ożliwe eż esyaory ypu Neweya-Wesa es Walda analoiczny jak dla MNK: ~ ' D W a ' r Rb R R r Rb V D V 4
Analoia do quasi- MNW Esyaor. kowariancji dla MNW: dzie: D OP D H H H E D L H D y L, ln OP h h H,,, ln y h
Aloryy dla NMNK i MNW Grid search dobre wyniki, dy poszukiwana warość jedneo paraeru przydana jako część innych eod 3
Aloryy dla NMNK i MNW Meoda seepes ascen albo seepes descen najszybszeo wzrosu spadku warości sarowe wekora paraerów θ: θ usalay dłuość kroku przy szukaniu opiu unkcji: ' k szukay aksiu przy warunkach: a L p. w. ' k 4
5 Aloryy dla NMNK i MNW Lanrane an a posać: Przyrównujey pochodną po wekorze paraerów do zera: Niech θ oznacza radien loaryu unkcji wiaryodności po paraerach, o wedy: ' k L J L
Aloryy dla NMNK i MNW k s Jeżeli, o, czyli: Kolejne kroki: s s oże być wybrane przy poocy eody rid search", ak by aksyalizować warość Lθ 6
Aloryy dla NMNK i MNW Można wyprowadzić dłuość kroku i wzór na ieracje przyjie posać: H Probley: wiele aksiów lokalnych wypróbuj wiele warości sarowych jeśli hessian H nie jes dodanio określoną acierzą o alory oże wskazywać przybliżenia w zły kierunku 7
Aloryy dla NMNK i MNW Meoda Newona-Raphsona Szybsza zwykle niż eoda najszybszeo spadku jeśli spełnione są warunki: isnieją druie pochodne unkcji Lθ, unkcja Lθ jes wypukła, zn. Hθ jes acierzą dodanio określoną na całej przesrzeni paraerów H L ' 8
9 Aloryy dla NMNK i MNW przybliżenie loaryu unkcji wiaryodności przy poocy szereu aylora: przyrównujey pochodną po wekorze paraerów do zera: wyprowadzenie aloryu: częso sosuje się kroki o różnej dłuości: ' ' H L L H H H H H s
Aloryy dla NMNK i MNW Meoda Gaussa-Newona ylko dla NMNK y dzie oznacza radien unkcji po paraerach o przybliżenie acierzy H jes dodanio określone. Można zasosować MNK do wyznaczenia kroku!
Aloryy dla NMNK i MNW Koreky na dodanią określoność acierzy H H H ci c używana w aloryie Marquard-Levenber c> H H C eoda quasi-newona H I
Aloryy dla NMNK i MNW Davidon-Flecher-Powell uławienie - nie rzeba liczyć hessianu w każdy kroku jeo warość jes jedynie przybliżana A s A A A A A A I k,
Aloryy dla NMNK i MNW Zakończenie aloryu c c L L c lub po przekroczeniu pewnej liczby kroków 3
Syulowane wyżarzanie -siulaed annealin Wycięe z: Goe, Ferrier, Roers 994 4
Syulowane wyżarzanie 5
Syulowane wyżarzanie 3 Kryeriu wyboru noweo punku: 6
Alory Neldera-Meada Wycięe z wikipedii jes eż polska wersja językowa - inializacja: 7
Alory Neldera-Meada 8
Alory Neldera-Meada 3 Sandardowe warości paraerów: 9