Sieci neuronowe - dokumentacja projektu Predykcja finansowa, modelowanie wskaźnika kursu spółki KGHM. Piotr Jakubas Artur Kosztyła Marcin Krzych Kraków 2009
1. Sieci neuronowe - dokumentacja projektu... 1 1. Część teoretyczna... 3 1. Cel projektu... 3 2. Podobne projekty... 3 3. Dane wejściowe... 3 4. Prototypowanie... 3 5. Algorytm... 5 6. Wnioski... 6 2. Część praktyczna... 7 1. Wykorzystane narzędzia i biblioteki... 7
Część teoretyczna Cel projektu Celem projektu było stworzenie narzędzia do predykcji kursów akcji spółki KGHM notowanej na Giełdzie Papierów Wartościowych w Warszawie. Narzędzie z założenia miało być oparte na sztucznych sieciach neuronowych. Narzędzie nie ma przewidywać dokładnego kursu indeksu, lecz pomagać inwestorowi w zajęciu odpowiedniej pozycji (krótkiej, długiej, bez zmian) dla danej sesji giełdowej. Podobne projekty W trakcie analizy możliwości realizacji projektu natrafiliśmy na kilka ciekawych artykułów opisujących podobne problemy. Najciekawszym okazał się artykuł 1 doktoranta AGH, jednak był ukierunkowany na nieco inny cel. Dane wejściowe Do realizacji zadania przystąpiliśmy analizując dostępne w internecie dane. Staraliśmy się wyodrębnić te najbardziej znaczące i wpływające na kurs spółki czynniki (kursy surowców, kursy indeksów giełdowych z USA, Chin), a także te teoretycznie nie znaczące (parametry pogody). Do zebrania danych napisaliśmy skrypty w Bash'u i wykorzystaliśmy moduł Zend_Http frameworka Zend. Dane zebraliśmy z różnych źródeł internetowych, m.in. http://finance.yahoo.com http://gielda.gazeta.pl http://www.money.pl http://www.tutiempo.net/en/climate/ - pogoda http://www.kitco.com/ - srebro http://www.metalsmarket.net/daily.php - miedź Prototypowanie Przed przystąpieniem do budowy ostatecznej wersji sieci, stworzyliśmy wiele prototypów, które okazywały się bardziej lub mniej użyteczne. Budowa sieci neuronowej rozwiązującej podany problem jest zadaniem wysoce skomplikowanym. Wybranie najlepszych parametrów dla sieci jest zadaniem polioptymalizacyjnym. Dla przykładu: zmiana tylko jednego parametru (Delay) z wartości 5 na 4 skutkowała znaczącą poprawą i zmiejszeniem błędu podczas uczenia sieci (wykresy poniżej). 1. http://bossa.pl/analizy/techniczna/elementarz/sieci_neuronowe/
Poniżej znajduje się zestawienie wykresów z parametrem delay równym 4 i 3. Można zauważyć, że poprawa nauki nie jest już tak znacząca jak w przypadku powyżej.
Przykład powyżej pokazuje, że zadanie znalezienia odpowiedniej struktury sieci i wyodrębnienia odpowiednich danych wejściowych nie jest zadaniem trywialnym. Prototyp sieci opracowywano na różnych zbiorach danych. Obserwacja jaką uczyniono, jest taka, że przy analize całości danych (od 1997 roku) sieć uczy się lepiej i popełnia około 2 razy mniejszy błąd niż przy nauce na danych tylko z 2008 roku. Algorytm Do realizacji algorytmu predykcji wykorzystaliśmy narzędzie JOONE 2, dzięki kilku powodom: sieć mogła powstać w rozsądnie krótkim czasie, mogliśmy sprawdzić i przetestować wiele sieci i wybrać tą najbardziej odpowiednią, swoje wysiłki skupiliśmy maksymalnie na postawionym problemie, a nie technologii jego rozwiązania jest darmowe Do budowy odpowiedniej struktury sieci wykorzystywaliśmy dane z od 1997 roku (od początku historii notowań spółki KGHM). Sieć posiada: 13 neuronów wejściowych 2 warstwy ukryte 1 neuron wyjściowy Do warstwy wejściowej sieci, podajemy następujące dane dla danego dnia: n ostatnich kursów spółki KGHM kursy fixingowe miedzi z London Metal Exchange 2. http://www.jooneworld.com/
n ostatnich kursów otwarcia i zamknięcia indeksu WIG20 minimalne i maksymalne kursy indeksu WIG20 Nauczyciel dostaje również rzeczywiste kursy spółki KGHM, celem walidacji otrzymanych rezultatów. Liczbę n wyznaczyliśmy doświadczalnie, na podstawie obserwacji skuteczności uczenia się sieci. Sieć najlepiej uczy się dla n=4. Neurony wejściowe wymagają danych z przedziału [0,1] dlatego wymagana jest normalizacja danych wejściowych i ich denormalizacja przed wyświetleniem na wykresie czy wpisaniu do pliku. Bloki delay są odpowiedzialne za dostarczenie neuronom zbioru danych o mocy n. Dzięki temu neuron dostaje dane na przykład kursu spółki KGHM z n ostatnich dni. Sprawdziliśmy również dane: pogodowe (temperatura, ciśnienie, wilgotność) w Londynie i Minquin (Chiny) ilość newsów z nytimes.com kursy fixingowe srebra Powyższe dane nie poprawiały błędu uczenia się sieci neuronowej. Wpływały destrukcyjnie na wyniki. Najmniejszy błąd podczas nauki sieci wynosił 0.011. Niestety nawet tak niski błąd w trakcie nauki, powodował, że przy sprawdzaniu możliwości sieci, sieć ta nie dawała spodziewanych wyników. Wniosek: sieć nie została nauczona rozpoznawać trendy, mimo że błąd uczenia był mały. Wnioski Wybrane narzędzie JOONE pokazało nam, że ma duży potencjał, lecz wymaga jeszcze dużej ilości pracy, aby stało się narzędziem intuicyjnym, wygodnym i przyjaznym użytkownikowi. Z powodu samoistnych zmian parametrów niektórych bloków, proces tworzenia odpowiedniej struktury sieci zajął więcej czasu niż powienien. Osiągnięte wyniki nie są dla nas satysfakcjonujące. Stworzone przez nas sieci nie były w stanie poradzić sobie z dokładną predykcją kursów, prawdopodobnie z następujących powodów (jednego lub wielu): brak istotnej korelacji między wskaźnikami pogody, ilością newsów na nytimes.com czy kursem srebra, a kursem KGHMu zakłocał uczenie się sieci, wprowadzając zbędny zamęt, GPW jest małą giełdą, dodatkowo mało stabilną, silnie zależną od wyników najważniejszych giełd światowych, w 2008 roku dał się we znaki ogromny kryzys, który duże odzwierciedlenie miał m.in. w kursach indeksów giełdowych całego świata, nasza sieć nie miała dostępu do informacji na temat kryzysu poza informacjami opisanymi w sekcji "Dane wejściowe" predykcja kursów jest zadaniem skomplikowanym i wielu naukowców próbowało rozwiązać przedstawiony problem wybrana przez nas struktura sieci nie była odpowiednia dla tego zagadnienia i sieć niepoprawnie klasyfikowała podane jej dane KGHM jest spółką z udziałem kapitału Skarbu Państwa, powoduje to częściowe upolitycznienie firmy i wpływu na jej decyzje strategiczne i taktyczne, które
wpływają potem odpowienio na kurs akcji. Stworzona przez nas sieć nie zna realiów polskiej polityki, dlatego nie mogła uwzględniać zdarzeń politycznych. Mimo iż nie znaleźliśmy sposobu na dokładną predykcję kursu spółki KGHM, przetestowaliśmy wiele konfiguracji sieci i danych wejściowych, które nie dają pożądanych wyników, dzięki temu można wykluczyć je z dalszych badań naukowych. Część praktyczna Wykorzystane narzędzia i biblioteki W naszym projekcie wykorzystaliśmy poniższe narzędzia: Faza zbierania danych skrypty Bash'a do pobrania danych z finance.yahoo.com, gielda.gazeta.pl, itp Zend_Http do pobierania danych nt cen surowców, pogody itp skrypty PHP do parsowania i formatowania danych Faza badania narzędzi Statistica niestety nie udało nam się "dogadać" ze statisticą JOONE, http://www.jooneworld.com/ Faza prototypowania i tworzenia sieci neuronowej JOONE