KRYTERIA WYBORU ARCHITEKTURY SIECI NEURONOWYCH - FINANSOWE CZY BŁ DU PROGNOZY

Transkrypt

1 KRYTERIA WYBORU ARCHITEKTURY SIECI NEURONOWYCH - FINANSOWE CZY BŁDU PROGNOZY HENRYK MARJAK Zachodnopomorsk Unwersytet Technologczny w Szczecne Streszczene Klasyczne podejce do zastosowana sec neuronowych w prognozowanu fnansowych szeregów czasowych to trenowane model sec, a do uzyskana oczekwanej mary błdu predykcj. W pracy porównano mary błdów predykcj oraz odpowadajce m krytera fnansowe. Za pomoc wybranych metod analzy statystycznej okrelono relacj oraz jej sł pomdzy kryteram wyboru, a wynkem fnansowym. Oblczena przeprowadzono dla ndeksu WIG. Słowa kluczowe: sec neuronowe, predykcja, krytera wyboru 1. Wprowadzene Sec neuronowe s strukturam utworzonym z elementów mtujcym nektóre cechy rzeczywstych neuronów. Sec neuronowe stosuje s do rozwzywana praktycznych problemów, mdzy nnym korzysta s z nch w prognozowanu bankructw, analze wnosków o wydane kart kredytowych, prognozowanu zachowana rynku akcj, selekcj akcj, przewdywanu kursów walutowych, wycene neruchomoc, wycene opcj, analze rynków kaptałowych [1]. Zwzk zasady, pojawajce s pomdzy neuronam w sec neuronowej, dobrze sprawdzaj s w przestrzenach welowymarowych. Proces uczena polega na welokrotnym przedstawanu wzorców danych uczcych. Lczba cykl uczena zalena jest od postpu uczena. Uczene przerywane jest, gdy warto błdu osgne załoon warto lub gdy dalszy trenng ne powoduje zmnejszana s mary mnmalzowanego błdu. Wkszo systemów prognozujcych fnansowe szereg czasowe, w oparcu o sec neuronowe, jako kryterum optymalzacyjne stosuje błd kwadratowy (squared error). Jednake celem welu tych zastosowa jest w wkszym stopnu, podjce odpowednch decyzj fnansowych, n mnmalzacja błdu prognozy. Rozwaana dotyczce wyboru optymalnego portfela akcj przeprowadzone były przez Bengo []. Celem pracy jest okrelene metody wyboru optymalnej struktury sec neuronowej zastosowanej do podejmowana decyzj fnansowych na podstawe szeregów czasowych. Cel ten zrealzowany zostane przez okrelene relacj pomdzy badanym maram błdu lub czynnkem fnansowym, a wynkem fnansowym. Zbadane zostane, które z wybranych kryterów oceny sec neuronowej umolwa osgnce najlepszego wynku fnansowego. Wszystke oblczena, przeprowadzono po procese optymalzacj sec neuronowych.

2 18 Krytera wyboru archtektury sec neuronowych - fnansowe czy błdu prognozy. Materał metody Materał empryczny stanowły dane, obejmujce okres kwece 4 - kwece 8, podzelone na trzy kategore [3, 4]: 1. Warto ndeksu WIG kursy zamknca (t=-1..-3).. Kurs walut okrelane przez NBP dolar amerykask, euro, jen. 3. Wybrane ndeksy gełdowe DJIA, S&P5, DAX, NIKKEI, FTSE. Dane podzelono na zbór uczcy testowy, nastpn faz stanowły badana na zborach waldacyjnych, które ne brały udzału w ocene jakoc sec neuronowej. Zbór uczcy wykorzystano do optymalzacj wag połcze mdzyneuronowych, na podstawe zboru testowego dokonano weryfkacj wyboru struktur o najlepszych walorach prognostycznych. Wartoc za ten okres wykorzystane zostały w celu wyłonena najlepej generalzujcych archtektur. Nastpne prace prowadzono na danych waldacyjnych. Zbór danych podzelono na 8 czc. Kad z tych czc ponowne podzelono na zbory uczcy testujcy (8% dane uczce, % dane testujce). Dane skalowano w wartoc z zakresu od,1 do,9. Wzór normalzacj dla zakresu [a,b] okrelony jest nastpujco [3]: ( p mn) ( b a) pˆ = + a max mn gdze: pˆ - warto w -tym okrese po znormalzowanu, p - neznormalzowana warto w okrese -tym, max, mn - wartoc maksymalna mnmalna w normalzowanym zakrese danych, a, b zakres normalzacj. Ocen jakoc sec oraz jakoc prognoz, uzyskwanych za pomoc tych sec, przeprowadzono z wykorzystanem nastpujcych kryterów oceny predykcj [5, 6]: 1. Kwadrat wskanków korelacyjnych Pearsona, RSQ n 1 = = = 1 n 1. Kryterum predykcyjne Anemya, PC = 3. Uogólnony sprawdzan krzyowy, σ ) t ) n + p 1 n p n 1 = = 1 n 1 σ ) t )

3 POLSKIE STOWARZYSZENIE ZARZDZANIA WIEDZ Sera: Studa Materały, nr, 9 19 n GCV = n 1 = 4. Kryterum nformacyjne Akake a σ ) ( n p) Gdze: t wartoc rzeczywste, AIC = n ln n 1 = σ ) n + p σ wartoc otrzymane, t redna wartoc rzeczywstych, p - lczba wag, n lczba próbek. Mar oceny jakoc sec neuronowej w podejmowanu decyzj fnansowych, była suma zysk/strata wszystkch transakcj dla danego zboru danych (Fn_tr, Fn_tst). Sygnał zawarca transakcj generowany był na podstawe oceny róncy mdzy wartoc otwarca ndeksu WIG w danym dnu, a prognozowan wartoc zamknca tego ndeksu. Sygnał kupna generowany był kedy rónca ta była wksza od wartoc grancznej (α). Sygnał sprzeday generowany był kedy rónca była mnejsza n warto granczna ze znakem ujemnym (-α). Jel rónca mdzy wartoc otwarca ndeksu w danym dnu, a prognozowan wartoc zamknca zawarta była pomdzy -α, a α, generowany był sygnał neutralny. W przeprowadzonych oblczenach α przejto na pozome 1 punktów. W celu zmnejszena strat w przypadku błdnych sygnałów, transakcje były zamykane w przypadku, gdy strata była wksza od przyjtej wartoc stop loss równej 1 punktów [, 7]. W optymalzacj sec neuronowej zastosowano algorytm propagacj wstecznej błdu, z jedn warstw ukryt z neuronam od 3 do 13, w warstwe tej funkcje aktywacj to: funkcja logstyczna albo funkcja tanh. Warstwa wejcowa składała s z 11 wzłów, a wyjcowa to jeden neuron, z lnow funkcj aktywacj. W perwszym etape, dla zborów uczcych, oblczono za pomoc sec neuronowych prognozy okrelono podane krytera oceny prognoz (SSE, RSQ, PC, GCV, AIC, Fn_tr ) dla tych sec oraz sum zysk/strata uzyskan na podstawe prognoz uzyskanych ze zborów testujcych (Fn_tst). Ponewa, zgodne z defncjam tylko mary: SSE, RSQ Fn_tr, s nezalene od lczby optymalzowanych elementów, dlatego w drugm etape porównano krytera oceny sec dla grup podzelonych według złoonoc sec: dla sec do 7 wag oraz sec powyej 7 optymalzowanych wag. 3. Wynk empryczne W perwszym etape najwksz sum zysk/strata (Fn_tst = 153,3) uzyskano dla modelu, dla którego krytera oceny przedstawały s nastpujco: SSE= ,66; RSQ=,98945; PC=,98736; GCV=1654,89; AIC=961,14; Fn_tr=3146,75. W przypadku prawe wszystkch

4 11 Krytera wyboru archtektury sec neuronowych - fnansowe czy błdu prognozy kryterów (SSE, RSQ, PC, GCV AIC) wartoc te były gorsze od wartoc rednch medan, GCV AIC, co ne wskazywało na dobre własnoc prognostyczne modelu, jedyne warto kryterum fnansowego Fn_tr znajdowało s znaczco powyej rednej (porównaj Tabela 1). Tabela 1. Wybrane statystyk opsowe Statystyk opsowe N wanych redna Medana Mnmum Maksmum Odch.std Zmenna SSE 14 7,9 4888, 46455, , ,8 RSQ 14,993884,99466,981516,998695,3843 PC 14,9948,989987,977859,99718,51 GCV ,5 1315,5 83,54 334,1 571,8 AIC ,1 638, 189,9 398,7 31, Fn_tr 14 1,3 6,8-18, ,3 885,9 Fn_tst 14 73,7 39,7-965,6 153,3 41,7 Najlepsz ocen RSQ=,99869 uzyskał model, dla którego uzyskano zysk dla zboru testowego Fn_tst= - 965,6 jest to warto mnmalna Fn_tst, równe nne parametry z wyjtkem Fn_tr wskazywały na to, e jest to dobry model: SSE= 7645,183; PC=,9973; GCV=474,64; AIC=381,58; Fn_tr=419,15. Dla najlepszej wartoc parametru PC=,99718, uzyskano sum zysk/strata równ Fn_tst=339,5, co jest wartoc znaczne powyej rednej. Pozostałe mary, z wyjtkem Fn_tr=34,97, równe wskazywały na dobr jako modelu: przyjmujc wartoc dla RSQ blsk maksymalnej (RSQ=,99859); GCV blsk mnmalnej (GCV=4,59), a AIC wyrane ponej rednej (AIC=36,18). Najlepsze, mnmalne wartoc GCV=83,543 AIC=189,916 wskazywały na model, na podstawe którego wynk fnansowy ne był korzystny Fn_tst=-11,188, co jest wartoc mnejsz od rednej. Pozostałe wartoc RSQ=,99841 PC=,99666 były blske wartocom maksymalnym, natomast kryterum fnansowe Fn_tr=1,4 wskazywało na słab jako modelu. Najlepszy model na który wskazywałoby kryterum fnansowe (Fn_tr=4371,3) uzyskał dla danych testowych Fn_tst=4,46 czyl powyej rednej, ale wszystke pozostałe krytera ne wyrónały tego modelu (SSE=631965,337, RSQ=,98397, PC=,9853, GCV=8,36, AIC=838,8). Czy mona zatem odpowedze na pytane który lub które z badanych model naley okrel jako optymalny lub włacwy dla dalszych analz? Jednoznacznej odpowedz na to pytane ne daje równe analza korelacj (Tabela ). Tabela. Współczynnk korelacj badanych kryterów wzgldem Fn_tst Oznaczone wsp. korelacj s stotne z p<,5 SSE RSQ PC GCV AIC Fn_tr Fn_tst,4 -,4 -,44,46,41,7 Wszystke krytera błdu prognozy pokazuj podobny co do sły zwzek korelacyjny od,41 (AIC) do,46 (GCV). Wsp. korelacj dla kryterum fnansowego (,7) prezentuje najnsz warto bezwzgldn, ale jak pamtamy wybór modelu w oparcu o Fn_tr dało Fn_tst powyej rednej.

5 POLSKIE STOWARZYSZENIE ZARZDZANIA WIEDZ Sera: Studa Materały, nr, Kolejn prób odnalezena kryterum bd kryterów wyboru efektywnych sec bdze analza regresyjna. Ponewa analza korelacyjna ne dała adnej wskazówk, która z badanych wartoc mogłaby jednoznaczne by kryterum wyboru, dlatego do znalezena odpowedz zastosowano regresj welorak krokow zstpujc, gdze w kadym kroku elmnowana była zmenna o najwkszej wartoc p, a do osgnca zmennych stotnych. Ze wzgldu na due wartoc współczynnków korelacj pomdzy zmennym opsujcym, zastosowano ne metod najmnejszych kwadratów, tylko regresj grzbetow. Wynk przedstawono w Tabel 3. Tabela 3. Regresja weloraka dla badanych kryterów Podsumowane regresj grzbetowej dla zmn. zal.: Fn_tst (wynk transp bez z3.sta) l=,1 R=, R=, Skoryg. R^=,18557 F(1,138)=3,557 p BETA Bł. std. - BETA B Bł. std. - B t(138) pozom p W. wolny -85,14 7,716-4,577,8 GCV,41657,738,99,544 5,7586, W kolejnych krokach wyelmnowane zostały wszystke zmenne nezalene (nestotne statystyczne) z wyjtkem uogólnonego sprawdzanu krzyowego (GCV). Nepokojca pozostaje równe newelka zdolno wyjanajca ok. 19%. Badane sec neuronowe to sec gdze optymalzowane s od 36 (11-3-1) do 156 ( ) wag. Z jednej strony, zgodne z defncjam dla czc badanych kryterów złoono (ze wzgldu na lczb wag) badanej struktury ma wpływ na oblczan warto błdu, moe te pojaw s problem ze spełnenem warunku, e lczba próbek pownna by duo wksza od lczby optymalzowanych wag (n>>p). Z drugej strony oczekwa mona lepszych włacwoc dopasowana, a tym samym lepszych kryterów oceny badanych bardzej złoonych model, przy czym naley pamta o ryzyku nadmernego dopasowana, dla wektorów uczcych, a tym samym gorszych własnoc do generalzacj w trakce testowana. Badane sec podzelone zostały na dwe grupy według kryterum złoonoc jedna grupa to sec o maksymalne 7 wagach (co odpowada 6 neuronom w warstwe ukrytej), druga grupa to sec bardzej złoone o wcej n 7 optymalzowanych wagach. Wstpna analza (Ryc. 1) wykazuje rónce badanych parametrów w zalenoc od złoonoc, jednake ostatn parametr czyl Fn_tst pokazuje wartoc podobne nezalene od złoonoc model. Badane normalnoc rozkładów (test Shapro-Wlka) w grupach pozwala na odrzucene hpotezy o normalnoc rozkładu badanych zmennych. W zwzku z tym do zbadana stotnoc rónc w badanych grupach zastosowano test U Manna-Whtneya, który pozwolł udowodn, e rónce w grupach s stotne (z p<,5). Podobne jak w przypadku poprzednm, oblczone zostan wsp.korelacj w grupach (Tab. 4). Tabela 4. Współczynnk korelacj badanych kryterów wzgldem Fn_tst dla grup Oznaczone wsp. korelacj s stotne z p <,5 Fn_tst grupa N SSE RSQ PC GCV AIC Fn_tr p<=7 48,5 -,46 -,44,49,4,9 p>7 9,4 -,43 -,44,43,4,5 Analza korelacyjna w grupach wskazuje, na slnejsze zwzk korelacyjne w grupe o mnej-

6 11 Krytera wyboru archtektury sec neuronowych - fnansowe czy błdu prognozy szej złoonoc. Szczególne wda to dla błdu SSE, dla którego w grupe p<=7 wsp.korelacj SSE wzgldem Fn_tst osgnł warto,5 (przy,4 dla wszystkch model dla grupy p>7). Dla prawe wszystkch, oprócz PC, wsp. korelacj osgnły wksze wartoc w grupe o mnejszej złoonoc. Mona zakłada, ze zwzane to było po perwsze z lepszym włacwocam generalzujcym badanych sec, a w mnejszej czc z wpływem lczby optymalzowanych wag w oblczenach nektórych błdów (np. dla PC ne zmenł s wsp. korelacj w kadej z grup). 9E5 8E5 7E5 6E5 5E5 4E5 3E5 E5 1E5 SSE p<=7 p>7 p grupujce GCV p<=7 p>7 p grupujce Fn_tr p<=7 p>7 p grupujce Fn_tst p<=7 p>7 p grupujce Medana 5%-75% Mn-Maks Rys. 1. Wybrane skategoryzowane wykresy ramka wsy z podzałem na grupy Mona zatem sprawdz, za pomoc analzy regresj, czy równe w grupach powtórzy s sytuacja, kedy regresja weloraka zredukowana zostane do modelu regresyjnego jednej zmennej, a zarazem, czy kryterum najbardzej skorelowane w grupach, bdze równe najlepej opsywało Fn_tst oraz czy bdze tym samym kryterum (dla p<=7 SSE, dla p>7 PC). Podobne jak w poprzednm przypadku zastosowano regresj welorak krokow zstpujc, gdze w kadym kroku elmnowana była zmenna o najwkszej wartoc p, a do osgnca zmennych stotnych. Due wartoc współczynnków korelacj pomdzy zmennym opsujcym, spowodowały, e zastosowano regresj grzbetow, a ne metod najmnejszych kwadratów. Wynk analzy przedstawono w Tabel 5.

7 POLSKIE STOWARZYSZENIE ZARZDZANIA WIEDZ Sera: Studa Materały, nr, Tabela 5. Regresja weloraka dla badanych kryterów w grupach Podsumowane regresj grzbetowej dla zmn. zal.: Fn_tst p grupujce<=7 l=,1 R=, R=, Skoryg. R^=, F(1,46)=13,734 p BETA Bł. std. - BETA B Bł. std. - B t(46) pozom p W. wolny - 1,516 -, ,99,3811 SSE,45718,13365,1,3 3,7591,564 Podsumowane regresj grzbetowej dla zmn. zal.: Fn_tst p grupujce>7 l=,1 R=,4133 R=, Skoryg. R^=, F(1,9)=18,4 p BETA Bł. std. - BETA B Bł. std. - B t(9) pozom p W. wolny - 88,3558 -,165 85,63 3,4451 GCV,393,91568,35,794 4,911,45 Wynk regresj zstpujcej welorakej ponowne dały równane regresj jednej zmennej, przy czym w przypadku model prostych (p<=7) zmenn opsujc jest SSE czyl błd do którego wszystke sec były optymalzowane, natomast grupa model złoonych ponowne wskazany został uogólnony sprawdzan krzyowy (GCV) jako element, z pomoc którego mona włacwe wybra model sec neuronowej do dalszych bada. Tym co w tej sytuacj najbardzej nepoko to nadal nske własnoc wyjanajce. W grupe model prostszych model pozwala wyjan ok. % zmennoc (wcej n dla wszystkch model), w grupe dla p>7 włacwoc wyjanajce dla oblczonego modelu zmnejszyły s do ok. 16%. 4. Wnosk Współczynnk determnacj regresj welorakej zmennej Fn_tst przez prezentowane krytera wyboru modelu wskazuje na małe zdolnoc wyjanajce (19-%) tych funkcj. Włacwoc wyjanajce zwkszyły s w grupe model o mnejszej lczbe optymalzowanych wag. Choca wstpna analza badanych model pod wzgldem fnansowym wskazywała, e wybór na podstawe kryterum fnansowego (Fn_tr) daje model o dobrych włacwocach, to analza korelacyjna tak dla całego zboru jak w grupach, wskazywała Fn_tr jako najgorszy sposób wyboru modelu do dalszych prac. Podobne, analza regresj w adnym przypadku ne wskazała na kryterum fnansowe jako kryterum odnajdujce najlepsze modele. Krytera predykcyjne wskazywały na modele z klkunastoma neuronam ukrytym (11-13). W przypadku kryterum decyzj fnansowych dla badanych zborów lo neuronów ukrytych ne układała s w zdecydowan tendencj.

8 114 Krytera wyboru archtektury sec neuronowych - fnansowe czy błdu prognozy Bblografa: 1. Deboeck G. J. (ed): Tradng on the edge: neural, genetc, and fuzzy systems for chaotc and fnancal markets, John Wley&Sons, Bengo Y.: Tranng a neural network wth a fnancal crteron rather than a predcton crteron, n Proc. Fourth Int. Conf. Neural Networks Captal Markets, A. S. Wegend, Y. Abu-Mostafa, and A.-P. N. Refenes, Eds., 1997, pp Azoff E. M.: Neural network tme seres forecastng of fnancal markets, John Wsley&Sons, Kmoto, T., Asakawa, K., Yoda,. M. and Takeoka, M.: Stock market predcton system wth modular neural networks. In Proceedngs of the Internatonal Jont Conference on Neural Networks. San Dego, 199, pp. I Judge G. G., Grffths W. E., Hll R. C., and Lee T.: The theory and practce of econometrcs. John Wley & sons, Rumelhart D. E., McClelland J. L., 1986, Parallel Dstrbuted Processng, volume 1, MIT Press, Cambrdge. 7. Toulson, D. L. and Toulson, S. P. Use of Neural Network Ensembles for Portfolo Selecton and Rsk Management. NeuroCOLT Techncal Report Seres, NC-TR-96-46, SELECTION CRITERIA OF ARCHITECTURE FOR NEURAL NETWORKS FINANCIAL OR PREDICTION ERROR CRITERION Summary The tradtonal approach to the mplementaton of neural networks n forecastng fnancal tme seres conssts n the tranng of networks models untl the expected measure of the predcton error s acheved. In the present study the measures of predcton errors and ther correspondng fnancal crtera were compared. By means of regresson analyss the power of relaton between the crtera of selecton and the fnancal result was determned. The calculatons were made for the WIG ndex. Keywords: neural networks, predcton, selecton crtera Zakład Analzy Systemowej Zachodnopomorsk Unwersytet Technologczny 71-7 Szczecn, ul. Janckego 31 e-mal: henryk.marjak@zut.edu.pl.