AUTOMATYKA 2005 Tom 9 Zeszyt 3 Pawe³ Skrzyñski * Predykcja stóp procentowych na pieniê nym rynku miêdzybankowym oraz rynku kredytowym z wykorzystaniem sieci neuronowych 1. Opis problemu W oparciu o dane dotycz¹ce wielkoœci stóp WIBOR (Warsaw Interbank Offered Rate) oraz kredytowej (œrednia stopa kredytowa dwudziestu najwiêkszych banków komercyjnych w Polsce) oraz innych wielkoœci ekonomicznych, które nazwano zmiennymi wspomagaj¹cymi, w kolejnych miesi¹cach od stycznia 1995 do grudnia 2004 utworzono perceptron wielowarstwowy mog¹cy prognozowaæ wartoœæ tych stóp w nastêpnych okresach. Celem badañ by³o znalezienie takiej sieci, która zadowalaj¹co bêdzie pozwala³a na predykcjê wartoœci stóp procentowych, przy jej mo liwie najmniejszej architekturze. Przeprowadzono szereg eksperymentów porównuj¹cych ró ne algorytmy uczenia: algorytm wstecznej propagacji b³êdów wraz z metod¹ gradientów sprzê onych, strategiê ewolucyjn¹. 2. Metodologia Analizowane dane podzielono na dwie serie: 1) dane ucz¹ce, wartoœci od stycznia 1995 do grudnia 2002 roku, 2), wartoœci od stycznia 2003 do marca 2004 roku. Pierwsze eksperymenty polega³y na uczeniu za pomoc¹ samych wartoœci przesz³ych. Przyjêto, e perceptron mia³ cztery wejœcia, na które podawano wartoœci stóp procentowych w punktach czasowych: t 6, t 3, t 1, oraz t. W kolejnych doœwiadczeniach uczenie by³o wspomagane dodatkowymi wskaÿnikami ekonomicznymi wykazuj¹cymi dobr¹ korelacjê ze stopami WIBOR oraz kredytow¹. Zatem na kolejne trzy wejœcia podawano wartoœci wybranych wskaÿników w chwili t. Za ka dym razem predykcja by³a przeprowadzana dla punktu t+1. * Katedra Automatyki, Akademia Górniczo-Hutnicza, Kraków 765
766 Pawe³ Skrzyñski Rys. 1. Architektura wykorzystywanej sieci neuronowej oraz wartoœci podawane na wejœcie Sieæ (rys. 1) by³a uczona za pomoc¹ danych ucz¹cych. Po nauce perceptron by³ egzaminowany za pomoc¹ danych testowych i wyznaczany by³ b³¹d œredniokwadratowy RMS. Wielkoœci, którymi wspomagane by³o uczenie, to: cel inflacyjny, stopa lombardowa. Wspó³czynniki korelacji pomiêdzy zmiennymi ekonomicznymi zebrane zosta³y w tabeli 1. Do badañ wykorzystano sieæ trójwarstwow¹ z 16 neuronami o charakterystyce funkcji logistycznej w warstwie ukrytej. Tabela 1 Wspó³czynniki korelacji pomiêdzy wskaÿnikami ekonomicznymi wykorzystywanymi w eksperymentach WIBOR Stopa kredytowa Cel inflacyjny Stopa lombardowa WIBOR 1 0,972 0,892 0,985 Stopa kredytowa 0,972 1 0,918 0,979 2.1. Metody uczenia W badaniach d³ugoœæ ci¹gu ucz¹cego wynosi³a 77 punktów. W uczeniu za pomoc¹ strategii ewolucyjnej przyjêto liczebnoœæ populacji 18 osobników oraz nastêpuj¹cy sposób kodowania sieci neuronowej do chromosomu (kodowanie za pomoc¹ liczb rzeczywistych): do chromosomu po kolei wchodz¹ kolejne wagi neuronów z ka dej warstwy. W modelu strategii ewolucyjnej jaki zastosowano osobniki z puli potomnej (jej liczebnoœæ oznaczono przez μ) rywalizowa³y z osobnikami z puli rodzicielskiej (jej liczebnoœæ oznaczono przez λ, gdzie μ = 7*λ) do nastêpnej generacji wchodzi³o λ najlepszych osobników. Dodatkowo dla ka dego osobnika konieczne by³o pamiêtanie zwi¹zanych ze strategi¹ (odpowiadaj¹cych odchyleniom standardowym potrzebnym przy realizacji mutacji).
Predykcja stóp procentowych na pieniê nym rynku miêdzybankowym... 767 Poni szy pseudokod przedstawia szkielet algorytmu, którym siê pos³ugiwano: t := 0; initialize P(0) := {a 1 (0), a 2 (0),..., a μ (0)} where a k (j) = (x i, sig i ); evaluate P(0); while t < max_iteration do begin recombine a k (t) := r(p(t)) k {1,..., λ}; mutate a k (t) := m(a k (t)); evaluate P (t) := {a 1 (t),..., a λ (t)}; ({f(x 1 (t)),..., f(x λ (t))}); select P(t+1) from P(t) P (t); t := t+1; U ywany operator rekombinacji jest krzy owaniem arytmetycznym: z dwóch rodziców tworzony jest tylko jeden potomek (zmienne zwi¹zane ze strategi¹ s¹ równie krzy owane w klasyczny jednopunktowy sposób). Szerszego opisu wymaga operator mutacji, który jest realizowany nastêpuj¹co przy czym: m(a k ) = a k = (x, σ ) σ i = σ i *exp(τ 0 *Δσ 0 )*exp(τ*δσ i ) x i = x i + σ i i aktualna iteracja Sta³e ustalone s¹ nastêpuj¹co: τ 0 =1/sqrt(2*sqrt(n)), τ=1/sqrt(2n) (gdzie n jest d³ugoœci¹ chromosomu). Parametr Δσ 0 jest taki sam dla wszystkich i oraz jest losowany z rozk³adem normalnym z odchyleniem standardowym równym jeden, natomiast parametr Δσ i równie jest losowany z rozk³adem normalnym z odchyleniem standardowym równym jeden dla ka dego i indywidualnie. Drug¹ wykorzystywan¹ metod¹ by³o po³¹czenie metod wstecznej propagacji b³êdów oraz metody gradientów sprzê onych. Metoda wstecznej propagacji b³êdów w pierwszym rzêdzie na podstawie sygna³ów wyjœciowych i wzorcowych oblicza b³êdy w warstwie wyjœciowej, nastêpnie w warstwie poprzedzaj¹cej i dalej a do warstwy wejœciowej. Podczas procesu uczenia sieci neuronowej zastosowano sta³e wspó³czynniki uczenia (0,1) i bezw³adnoœci (0,3). Metoda gradientów sprzê onych polega na modyfikacji wag jednorazowo w trakcie realizacji jednej epoki. W trakcie stosowania tego algorytmu na powierzchni b³êdu wyznaczana jest w ka dej epoce œrednia wartoœæ gradientu, bêd¹ca podstaw¹ modyfikacji wag przeprowadzanej w koñcowej fazie ka dej epoki. W trakcie swojego dzia³ania algorytm ten przeprowadza poszukiwania liniowe minimalnego b³êdu wzd³u wybranych kierunków na powierzchni b³êdu. Po wyszukaniu minimalnego b³êdu, realizowane s¹ nastêpne poszukiwania (jedno w jednej epoce) przeprowadzane wzd³u prostych, które sprzê one s¹ z wczeœniej wybranym kierunkiem. Metody te s¹ dostêpne w pakiecie Statistica w dodatku Sieci Neuronowe.
768 Pawe³ Skrzyñski 3. Wyniki W tabelach 2 oraz 3 zebrano wyniki dla strategii ewolucyjnej, natomiast w tabelach 4 i 5 dla po³¹czonych metod wstecznej propagacji b³êdów Zole metod¹ gradientów sprzê onych. Dodatkowe wejœcie Brak dodatkowych Tabela 2 Predykcja WIBOR wyniki, strategia ewolucyjna testowe ucz¹ce dane ucz¹ce 1,382 0,761 0,784 0,990 Stopa kredytowa 0,642 0,712 0,878 0,991 Stopa lombardowa 0,466 0,770 0,855 0,990 Cel inflacyjny 0,373 0,741 0,934 0,990 Wszystkie 0,840 0,798 0,931 0,989 Dodatkowe wejœcie Brak dodatkowych Tabela 3 Predykcja stopy kredytowej wyniki, strategia ewolucyjna testowe ucz¹ce dane ucz¹ce 2,985 0,574 0,660 0,990 WIBOR 0,622 0,454 0,805 0,996 Stopa lombardowa 1,365 0,528 0,391 0,994 Cel inflacyjny 0,714 0,575 0,850 0,992 Wszystkie 1,037 0,483 0,737 0,995 Tabela 4 Predykcja stopy WIBOR wyniki, wsteczna propagacja b³êdów z gradientami sprzê onymi Dodatkowe wejœcie Brak dodatkowych testowe ucz¹ce dane ucz¹ce 0,389 0,833 0,945 0,988 Stopa kredytowa 0,390 0,823 0,889 0,988 Stopa lombardowa 0,351 0,833 0,939 0,988 Cel inflacyjny 0,772 0,765 0,903 0,990 Wszystkie 1,400 0,725 0,809 0,991
Predykcja stóp procentowych na pieniê nym rynku miêdzybankowym... 769 Tabela 5 Predykcja stopy kredytowej wyniki, wsteczna propagacja b³êdów z gradientami sprzê onymi Dodatkowe wejœcie Brak dodatkowych testowe ucz¹ce dane ucz¹ce 0,706 0,652 0,852 0,990 WIBOR 0,996 0,5 0,853 0,994 Stopa lombardowa 0,689 0,536 0,838 0,993 Cel inflacyjny 0,964 0,596 0,839 0,991 Wszystkie 0,904 0,489 0,833 0,994 Jak widaæ na rysunkach 2 oraz 3, u ycie do predykcji dodatkowych ekonomicznych pozwoli³o na znaczn¹ poprawê rezultatów. We wszystkich doœwiadczeniach wartoœæ wspó³czynnika korelacji jest wiêksza od 0,8 model mo na zatem uznaæ za dobry. Najlepszy rezultat w predykcji WIGOR zosta³ uzyskany przy wspomaganiu uczenia wartoœci¹ wskaÿnika cel inflacyjny RMS jest bardzo niski, natomiast wspó³czynnik korelacji wiêkszy od 0,9 dla predykcji WIGOR. Dla predykcji stopy kredytowej wspó³czynnik ten jest wiêkszy od 0,85 (jest to drugi co do jakoœci rezultat). Najlepszy wynik dla predykcji stopy kredytowej zosta³ uzyskany przy wspomaganiu uczenia stop¹ WIBOR. WIGOR w przypadku danych ucz¹cych odwzorowanie sygna³u przez sieæ jest bardzo dobre niski RMS oraz wspó³czynnik korelacji wiêkszy od 0,98 w ka dym przypadku. 9 Predykcja stopy WIBOR, strategia ewolucyjna, porównanie wyników 8,5 8 7,5 7 6,5 6 5,5 5 4,5 credit rate no additional vars lombard inflation target lombard, credit rate, inflation target 4 2002-2002- 2002-2003- 2003-2003- 2003-2003- 2003-2004- 2004-2004- 2004-2004- 07-09- 11- - 03-05- 07-09- 11- - 03-05- 07-09- Rys. 2. Predykcja stopy WIBOR, porównanie rezultatów dla strategii ewolucyjnej,
770 Pawe³ Skrzyñski 12 Predykcja stopy kredytowej, strategia ewolucyjna, porównanie wyników 11 % 10 9 8 7 credit rate no additional vars lombard inflation target lombard,, infl. target 6 5 4 2002-2002- 2002-2003- 2003-2003- 2003-2003- 2003-2004- 2004-2004- 2004-2004- 07-09- 11- - 03-05- 07-09- 11- - 03-05- 07-09- Rys. 3. Predykcja stopy kredytowej, porównanie rezultatów dla strategii ewolucyjnej, Jak widaæ na rysunkach 4 i 5, równie w przypadku klasycznych metod nauczania sieci przynios³o poprawê rezultatów. Podobnie jak dla strategii ewolucyjnej wspó³czynnik korelacji dla danych testowych w ka dym przypadku jest wiêkszy od 0,8, co oznacza dobre dopasowanie modelu. Zarówno dla predykcji stopy WIBOR, jak i stopy kredytowej najlepszy rezultat zosta³ osi¹gniêty, gdy nauczanie by³o wspomagane wartoœciami stopy lombardowej w odpowiednich okresach. RMS jest niski, a wspó³czynnik korelacji wiêkszy od 0,85 dla stopy kredytowej oraz 0,9 dla stopy WIBOR. Predykcja stopy WIBOR, uczenie metodami klasycznymi, porównanie wyników 10 brak dodatkowych 9 stopa kredytowa 8 stopa lombardowa 7 cel inflacyjny 6 cel inflacyjny, st. lombardowa, st. kredytowa 5 2002-12- 2003-02- 2003-04- 2003-06- 2003-08- 2003-10- 2003-12- 2004-02- 2004-04- 2004-06- 2004-08- 2004-10- 2004-12- Rys. 4. Predykcja stopy WIBOR, porównanie rezultatów dla metody wstecznej propagacji b³êdów z gradientami sprzê onymi,
Predykcja stóp procentowych na pieniê nym rynku miêdzybankowym... 771 Predykcja stopy kredytowej, klasyczne metody uczenia, porównanie rezultatów 13 12,5 12 stopa kredytowa % 11,5 11 10,5 10 9,5 9 8,5 8 2003-- 2003-02- Rys. 5. Predykcja stopy kredytowej, porównanie rezultatów dla metody wstecznej propagacji b³êdów z gradientami sprzê onymi, 4. Podsumowanie i wnioski Przeprowadzone eksperymenty dowodz¹, i z powodzeniem mo na stosowaæ sieci neuronowe jako narzêdzie do predykcji wskaÿników ekonomicznych. Dla ka dego eksperymentu uzyskany RMS dla danych testowych by³ satysfakcjonuj¹co niski przy wspó³czynniku korelacji wynosz¹cym przynajmniej 0,8. Minimalnie lepsze rezultaty uzyskano dla predykcji stopy WIBOR RMS poni ej 0,4 i wspó³czynnik korelacji ponad 0,9. Zastosowane algorytmy uczenia: klasyczny oparty o wsteczn¹ propagacjê b³êdów razem z metod¹ gradientów sprzê onych oraz nowe podejœcie oparte o strategiê ewolucyjn¹ da³y porównywalne rezultaty. Klasyczne metody okaza³y siê minimalnie lepsze dla predykcji stopy WI- BOR, natomiast w przypadku stopy kredytowej strategia ewolucyjna da³a lepsze rezultaty. Zastosowanie metod bazuj¹cych na sztucznej inteligencji mo e zatem stanowiæ dobre uzupe³nienie dla dotychczasowych metod predykcji wartoœci wskaÿników ekonomicznych. Literatura 2003-03- 2003-04- 2003-05- 2003-06- 2003-07- 2003-08- 2003-09- 2003-10- 2003-11- 2003-12- 2004-- 2004-02- 2004-03- 2004-04- 2004-05- 2004-06- 2004-07- 2004-08- 2004-09- 2004-10- 2004-11- 2004-12- Brak dodatkowych stopa lombardowa cel inflacyjny [1] Back T., Gunter R., Schwefel H.P.: Evolutionary Programming and Evolution Strategies: Simmilarities and Differences. 1992 [2] Back T.: Evolutionary Algorithms in Theory and Practice: Evolution Strategies, Evolutionary Programming, Genetic Algorithms. Oxford, Oxford University Press 1996 [3] Bednarczyk J.: Stopy procentowe a gospodarka. Eseje z teorii i polityki stóp pieniê nych. Radom, Wydawnictwo Politechniki Radomskiej 2004 [4] Szyd³o S.: Stopy Procentowe w gospodarce polskiej. Kraków, Oficyna Wydawnicza Test 2002 [5] Tadeusiewicz R.: Sieci neuronowe. Wyd. 2, Warszawa, Warszawska Oficyna Wydawnicza RM 1993 cel inflacyjbny, st. lombardowa,
772 Pawe³ Skrzyñski