Ekonometryczne modele nieliniowe. Wykład 7 Modele łagodnego przejścia, sieci neuronowe w ekonometrii

Transkrypt

1 Ekonomerycne modele nieliniowe Wykład 7 Modele łagodnego prejścia, sieci neuronowe w ekonomerii

2 Lieraura Timo Teräsvira, Specificaion, Esimaion, and Evaluaion of Smooh Transiion Auoregressive Models, Journal of he American Saisical Associaion, Vol. 89, No. 45 Mar., 994, pp Dick van Dijk, Timo Teräsvira and Philip Hans Franses, Smooh ransiion auoregressive models - A survey of recen developmens, Economeric Reviews, 00, vol., issue, pp. -47.

3 Lieraura Marcelo C. Medeiros & Timo Terasvira, 00, Saisical mehods for modelling neural neworks, Teos para discussão 445, Deparmen of Economics PUC-Rio Brail. Timo Teräsvira, Dick van Dijk, Marcelo C. Medeiros, Linear models, smooh ransiion auoregressions, and neural neworks for forecasing macroeconomic ime series: A re-eaminaion, Inernaional Journal of Forecasing, Volume, Issue 4, 005, pp

4 Lieraura Książka: P.H. Frances, D. van Dijk, Non-linear ime series models in empirical finance, Cambridge Universiy Press, Cambridge, UK. 4

5 5 Prejście modelu progowego Model dwoma reżimami inacej apisany k k k k I I y ε γ γ α α α > =......,, 0,, 0 k k k k k I y ε γ α α α α α α > = ]... [...,, 0 0,, 0 I y ε > γ = α α

6 6 Model STR Smooh Transiion Auo-Regression.0,.. ~ σ ε d i i c G y ε γ φ φ φ =, ; c G c G y ε γ φ γ φ =, ; ], ; [

7 Funkcja prejścia G funkcja logisycna G ; γ, c { } γ = ep[ ck ] gdy gdy γ = 0 γ, o model liniowy, o model progowy 7

8 Funkcja prejścia G funkcja eksponencjalna G ; γ, c = ep γ c gdy gdy γ = 0 γ, o model liniowy, o model liniowy 8

9 Funkcja prejścia,0 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0, 0, 0,0 f.logisycna f.eksponencjalna f. progowa - -0,8-0,6-0,4-0, 0 0, 0,4 0,6 0,8 γ = 5 c = 0 9

10 Esymacja Teräsvira 994 condiional leas squares : y = ε g α, F F = { y, y,..., y} E ε F = 0 var ε F = σ Q T T α = [ y g α, = F ] 0

11 Esymacja Esymaor godny i asympoycnie normalny Problemy echnicne meody gradienowej: γ ESTR: silnie skorelowane paramerami φ be sałej. sandardyuj wykładnik w G pre podielenie go pre wariancję y. usal sarową warość, np. γ γ 3. jeśli algorym gradienowy nie biega, o grid search - γ

12 Esymacja Esymaor godny i asympoycnie normalny Problemy echnicne meody gradienowej: γ γ,c LSTR: do osacowania i gdy, o model TR duży błąd osacowania. Skaluj paramery sarowe mniejs i więks c [??], podiel wykładnik w G pre odchylenie sand. y. Jeśli algorym gradienowy nie biega, o grid search - c γ γ

13 Esymacja Możliwa esymacja MNK pod warunkiem, że nane γ, c 3

14 Specyfikacja wybór modelu liniowego np. ARp esowanie liniowości modelu preciw STR dla różnych miennych prejścia ransiion variables wybór opymalnej miennej prejścia wybór międy LSTR i ESTR 4

15 Tesowanie modelu STR Hipoey H H 0 : φ = φ : φ φ γ,c Problem paramerami nieidenyfikowalnymi pry H0 niesandardowe rokłady saysyk esowych Hipoey H H 0 : γ = 0 : γ 0 c, φ φ Problem paramerami nieidenyfikowalnymi pry H0 niesandardowe rokłady saysyk esowych, 5

16 Tesowanie modelu STR Luukkonen, Saikkonen, Teräsvira 988: Rowinięcie modelu STR w sereg Taylora wokół γ = 0 Zasosowanie esu LM 6

17 Tesowanie LSTR Sereg Taylora. rędu: y = φ φ φ G ; γ, c ε y = 0 e e = ε φ φ R ; γ, c Pry H0 e = ε R ; γ, c 0 dlaego es LM = 7

18 Tesowanie LSTR c.d. Tesowanie φ = γ = 0 równoważne H H 0 : = 0 : 0 φ Sandardowy es LM scegóły później Naywany uaj: LM-ype es = i, Problem: kiedy, reba usunąć esowego modelu regresji współliniowość es nie nadaje się do esowania mian sałej,0 8

19 9 Tesowanie LSTR c.d. Rowiąanie: sereg Taylora 3. rędu be lub uproscona wersja: Tes LM e y = ,0,0,0,, e y = : 3 0 = = = H

20 0 Tesowanie ESTR Rowinięcie ESTR w sereg Taylora. rędu: lub uwględniając punky pregięcia w ESTR rowinięcie. rędu: e y = 0, ; c R e γ φ φ ε = e y =

21 Tesowanie ESTR c.d. Tes ypu LM H = 0 = 0 : = 3 4 =

22 Oblicanie saysyk LM Osacuj model pry ałożeniu H0 y T = eˆ ˆ0 RSS = eˆ 0 = Osacuj esową regresję: y, Saysyka: RSS LM = = lub w małych próbach: = T ~ e T RSS RSS RSS 0 ~ 0 χ l. dodakowych RSS0 RSS l. dodakowych paramerow LM F = ~ RSS T l. wsyskich paramerow paramerow F

23 Auokorelacja składnika losowego Niech F ; θ = φ [ G ; γ, c] φ G ; γ, c Osacuj model STR i oblic resy Oblic F ; ˆ θ = F ; ˆ θ gdie Osacuj model liniowy i oblic R-kwadra: Roserenie esu Godfreya 979: H0: brak auokorelacji θ ˆ F ; θ ˆ ε ˆ, ε ε ˆ, LM εˆ θ = [ φ φ γ c],..., ˆ ε = TR q a ~ χ q 3

24 Tes poosałej nieliniowości Model roserony: H0: lub Zamień G na rowinięcie w sereg Taylora 3. rędu: Po preksałceniu, H0: 4

25 Tes poosałej nieliniowości Niech F ; θ = φ [ G ; γ, c] φ G ; γ, c Osacuj model STR i oblic resy Oblic gdie Osacuj model liniowy i oblic R-kwadra: Saysyka LM F ; ˆ θ = F ; ˆ θ ˆ ε F ; ˆ, θ LM = TR χ θ, εˆ θ = [ φ φ γ c], 3 ~ l. dodakowych paramerow 5

26 Wybór funkcji prejścia Sekwencja esów saysyki LM: H 0 : 3 = 0 H 0 : = 0 3 = 0 H 03 : = 0 = 0, 3 = 0 Reguła decyyjna: Jeśli empirycny poiom isoności p-value najmniejsy dla H0, o wybier model ESTR Jeśli empirycny poiom isoności najmniejsy dla H0 lub H03, o wybier model LSTR 6

27 Sieci neuronowe Źródło: hp://kik.pc.ces.pl/nn/arch.php?ar=3 7

28 Sieci neuronowe Model jedną warswą ukryą Funkcja logisycna F lub inna sigmoidalna ε ~ n. i. d.0, σ 8

29 Sieci neuronowe Dokładne dopasowanie modelu do danych możliwe dowolnie dokładne prybliżenie funkcji ciągłej nie proces generujący dane, ale model prybliżający prawdiwy proces Prognoowanie Ekonomicna inerpreacja ależności? Nie. 9

30 Idenyfikowalność paramerów 3 problemy idenyfikowalnością h! permuacji neuronów funkcji prejścia ma aką samą warość funkcji wiarygodności dodakowo: duża licba funkcji prejścia Rowiąanie: resrykcje: K lub λ K ~ ω > 0, i =, h h λ h i K, odpowiednia specyfikacja modelu 30

31 Budowa modelu Wybór miennych Wybór licby funkcji prejścia wymaga esymacji modelu 3

32 Budowa modelu Wybór miennych prybliżenie sieci neuronowej pre wielomian k-ego rędu sacowanie modeli i opymaliacja kryerium informacyjnego: AIC, SBIC 3

33 Esymacja modelu Meoda Najwięksej Wiarygodności równoważna: Nieliniowa MNK Prydana reparameryacja 33

34 Esymacja modelu Wekor paramerów Sandaryowanie miennych wejściowych: Var= Możliwość koncenracji funkcji wiarygodności n. sacowanie paramerów w grupach 34

35 Esymacja c.d. Pryjmij a nane: Zbuduj macier Z dla regresji: 35

36 Esymacja c.d. Sacuj paramery MNK: Paramery sacuj minimaliując sumę kwadraów res algorymy opymaliacji: BFGS, Levenberg- Marquard 36

37 Wybór licby funkcji prejścia Meoda od małego do dużego dodawanie neuronów hidden unis Tesowanie cy h neuron będny 37

38 Tesowanie funkcji prejścia Rowinięcie modelu w sereg Taylora 3. rędu: Osacuj model h neuronami i oblic resy εˆ Wynac wekor score Jeśli εˆ i ĥ nie są orogonalne, o osacuj regresję ych miennych i wynac resy ~ ε 38

39 Tesowanie c.d. Oblic Osacuj regresję ~ ε na ĥ i v Oblic resy ora 39

40 Tesowanie c.d. Saysyka: m sopniami swobody W małych próbach: ma w prybliżeniu rokład Fm,T-n-m 40

41 Ewaluacja modelu Tesy aukorelacji, niesabilności paramerów Analia progno 4