Ekonomerycne modele nieliniowe Wykład 7 Modele łagodnego prejścia, sieci neuronowe w ekonomerii
Lieraura Timo Teräsvira, Specificaion, Esimaion, and Evaluaion of Smooh Transiion Auoregressive Models, Journal of he American Saisical Associaion, Vol. 89, No. 45 Mar., 994, pp. 08-8 Dick van Dijk, Timo Teräsvira and Philip Hans Franses, Smooh ransiion auoregressive models - A survey of recen developmens, Economeric Reviews, 00, vol., issue, pp. -47.
Lieraura Marcelo C. Medeiros & Timo Terasvira, 00, Saisical mehods for modelling neural neworks, Teos para discussão 445, Deparmen of Economics PUC-Rio Brail. Timo Teräsvira, Dick van Dijk, Marcelo C. Medeiros, Linear models, smooh ransiion auoregressions, and neural neworks for forecasing macroeconomic ime series: A re-eaminaion, Inernaional Journal of Forecasing, Volume, Issue 4, 005, pp. 755-774. 3
Lieraura Książka: P.H. Frances, D. van Dijk, Non-linear ime series models in empirical finance, Cambridge Universiy Press, Cambridge, UK. 4
5 Prejście modelu progowego Model dwoma reżimami inacej apisany k k k k I I y ε γ γ α α α > =......,, 0,, 0 k k k k k I y ε γ α α α α α α > = ]... [...,, 0 0,, 0 I y ε > γ = α α
6 Model STR Smooh Transiion Auo-Regression.0,.. ~ σ ε d i i c G y ε γ φ φ φ =, ; c G c G y ε γ φ γ φ =, ; ], ; [
Funkcja prejścia G funkcja logisycna G ; γ, c { } γ = ep[ ck ] gdy gdy γ = 0 γ, o model liniowy, o model progowy 7
Funkcja prejścia G funkcja eksponencjalna G ; γ, c = ep γ c gdy gdy γ = 0 γ, o model liniowy, o model liniowy 8
Funkcja prejścia,0 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0, 0, 0,0 f.logisycna f.eksponencjalna f. progowa - -0,8-0,6-0,4-0, 0 0, 0,4 0,6 0,8 γ = 5 c = 0 9
Esymacja Teräsvira 994 condiional leas squares : y = ε g α, F F = { y, y,..., y} E ε F = 0 var ε F = σ Q T T α = [ y g α, = F ] 0
Esymacja Esymaor godny i asympoycnie normalny Problemy echnicne meody gradienowej: γ ESTR: silnie skorelowane paramerami φ be sałej. sandardyuj wykładnik w G pre podielenie go pre wariancję y. usal sarową warość, np. γ γ 3. jeśli algorym gradienowy nie biega, o grid search - γ
Esymacja Esymaor godny i asympoycnie normalny Problemy echnicne meody gradienowej: γ γ,c LSTR: do osacowania i gdy, o model TR duży błąd osacowania. Skaluj paramery sarowe mniejs i więks c [??], podiel wykładnik w G pre odchylenie sand. y. Jeśli algorym gradienowy nie biega, o grid search - c γ γ
Esymacja Możliwa esymacja MNK pod warunkiem, że nane γ, c 3
Specyfikacja wybór modelu liniowego np. ARp esowanie liniowości modelu preciw STR dla różnych miennych prejścia ransiion variables wybór opymalnej miennej prejścia wybór międy LSTR i ESTR 4
Tesowanie modelu STR Hipoey H H 0 : φ = φ : φ φ γ,c Problem paramerami nieidenyfikowalnymi pry H0 niesandardowe rokłady saysyk esowych Hipoey H H 0 : γ = 0 : γ 0 c, φ φ Problem paramerami nieidenyfikowalnymi pry H0 niesandardowe rokłady saysyk esowych, 5
Tesowanie modelu STR Luukkonen, Saikkonen, Teräsvira 988: Rowinięcie modelu STR w sereg Taylora wokół γ = 0 Zasosowanie esu LM 6
Tesowanie LSTR Sereg Taylora. rędu: y = φ φ φ G ; γ, c ε y = 0 e e = ε φ φ R ; γ, c Pry H0 e = ε R ; γ, c 0 dlaego es LM = 7
Tesowanie LSTR c.d. Tesowanie φ = γ = 0 równoważne H H 0 : = 0 : 0 φ Sandardowy es LM scegóły później Naywany uaj: LM-ype es = i, Problem: kiedy, reba usunąć esowego modelu regresji współliniowość es nie nadaje się do esowania mian sałej,0 8
9 Tesowanie LSTR c.d. Rowiąanie: sereg Taylora 3. rędu be lub uproscona wersja: Tes LM e y = 3 3 0 3 3,0,0,0,, e y = 3 3 0 0 : 3 0 = = = H
0 Tesowanie ESTR Rowinięcie ESTR w sereg Taylora. rędu: lub uwględniając punky pregięcia w ESTR rowinięcie. rędu: e y = 0, ; c R e γ φ φ ε = e y = 4 4 3 3 0
Tesowanie ESTR c.d. Tes ypu LM H = 0 = 0 : = 3 4 =
Oblicanie saysyk LM Osacuj model pry ałożeniu H0 y T = eˆ ˆ0 RSS = eˆ 0 = Osacuj esową regresję: y, Saysyka: RSS LM = = lub w małych próbach: = T ~ e T RSS RSS RSS 0 ~ 0 χ l. dodakowych RSS0 RSS l. dodakowych paramerow LM F = ~ RSS T l. wsyskich paramerow paramerow F
Auokorelacja składnika losowego Niech F ; θ = φ [ G ; γ, c] φ G ; γ, c Osacuj model STR i oblic resy Oblic F ; ˆ θ = F ; ˆ θ gdie Osacuj model liniowy i oblic R-kwadra: Roserenie esu Godfreya 979: H0: brak auokorelacji θ ˆ F ; θ ˆ ε ˆ, ε ε ˆ, LM εˆ θ = [ φ φ γ c],..., ˆ ε = TR q a ~ χ q 3
Tes poosałej nieliniowości Model roserony: H0: lub Zamień G na rowinięcie w sereg Taylora 3. rędu: Po preksałceniu, H0: 4
Tes poosałej nieliniowości Niech F ; θ = φ [ G ; γ, c] φ G ; γ, c Osacuj model STR i oblic resy Oblic gdie Osacuj model liniowy i oblic R-kwadra: Saysyka LM F ; ˆ θ = F ; ˆ θ ˆ ε F ; ˆ, θ LM = TR χ θ, εˆ θ = [ φ φ γ c], 3 ~ l. dodakowych paramerow 5
Wybór funkcji prejścia Sekwencja esów saysyki LM: H 0 : 3 = 0 H 0 : = 0 3 = 0 H 03 : = 0 = 0, 3 = 0 Reguła decyyjna: Jeśli empirycny poiom isoności p-value najmniejsy dla H0, o wybier model ESTR Jeśli empirycny poiom isoności najmniejsy dla H0 lub H03, o wybier model LSTR 6
Sieci neuronowe Źródło: hp://kik.pc.ces.pl/nn/arch.php?ar=3 7
Sieci neuronowe Model jedną warswą ukryą Funkcja logisycna F lub inna sigmoidalna ε ~ n. i. d.0, σ 8
Sieci neuronowe Dokładne dopasowanie modelu do danych możliwe dowolnie dokładne prybliżenie funkcji ciągłej nie proces generujący dane, ale model prybliżający prawdiwy proces Prognoowanie Ekonomicna inerpreacja ależności? Nie. 9
Idenyfikowalność paramerów 3 problemy idenyfikowalnością h! permuacji neuronów funkcji prejścia ma aką samą warość funkcji wiarygodności dodakowo: duża licba funkcji prejścia Rowiąanie: resrykcje: K lub λ K ~ ω > 0, i =, h h λ h i K, odpowiednia specyfikacja modelu 30
Budowa modelu Wybór miennych Wybór licby funkcji prejścia wymaga esymacji modelu 3
Budowa modelu Wybór miennych prybliżenie sieci neuronowej pre wielomian k-ego rędu sacowanie modeli i opymaliacja kryerium informacyjnego: AIC, SBIC 3
Esymacja modelu Meoda Najwięksej Wiarygodności równoważna: Nieliniowa MNK Prydana reparameryacja 33
Esymacja modelu Wekor paramerów Sandaryowanie miennych wejściowych: Var= Możliwość koncenracji funkcji wiarygodności n. sacowanie paramerów w grupach 34
Esymacja c.d. Pryjmij a nane: Zbuduj macier Z dla regresji: 35
Esymacja c.d. Sacuj paramery MNK: Paramery sacuj minimaliując sumę kwadraów res algorymy opymaliacji: BFGS, Levenberg- Marquard 36
Wybór licby funkcji prejścia Meoda od małego do dużego dodawanie neuronów hidden unis Tesowanie cy h neuron będny 37
Tesowanie funkcji prejścia Rowinięcie modelu w sereg Taylora 3. rędu: Osacuj model h neuronami i oblic resy εˆ Wynac wekor score Jeśli εˆ i ĥ nie są orogonalne, o osacuj regresję ych miennych i wynac resy ~ ε 38
Tesowanie c.d. Oblic Osacuj regresję ~ ε na ĥ i v Oblic resy ora 39
Tesowanie c.d. Saysyka: m sopniami swobody W małych próbach: ma w prybliżeniu rokład Fm,T-n-m 40
Ewaluacja modelu Tesy aukorelacji, niesabilności paramerów Analia progno 4