TYPY SZTUCZNYCH SIECI NEURONOWYCH U YWANYCH JAKO NARZ DZIE PROGNOZY W PROCESACH ZARZ DZANIA

Transkrypt

1 TYPY SZTUCZNYCH SIECI NEURONOWYCH U YWANYCH JAKO NARZ DZIE PROGNOZY W PROCESACH ZARZ DZANIA MATEUSZ DUDZIC Uniwersytet Szczeci ski Streszczenie Celem tego artykułu jest przedstawienie architektur sztucznych sieci neuronowych wykorzystywanych do przewidywania i badania zjawisk ekonomicznych uporz dkowanych w czasie. Stanowi ono alternatyw lub rozszerzenie dla klasycznie rozumianej analizy szeregów czasowych i jest obecnie coraz cz ciej wykorzystywana w procesach predykcji m.in. w zarz dzaniu oraz na rynkach kapitałowych. Słowa kluczowe: sieci neuronowe, prognozowanie finansowe 1. Wst p Sztuczne sieci neuronowe s jednym z narz dzi zaliczanych do sztucznej inteligencji (inne narz dzia - to np. algorytmy genetyczne czy te strategie ewolucyjne). Poj cie sztucznych sieci neuronowych nie jest zagadnieniem nowym. Swój pocz tek miało ono ju w latach 40. ubiegłego stulecia, a dokładnie w 1943 roku, kiedy W S. McCulloch i W. Pitts ogłosili pierwszy, matematyczny model neuronu[1]. Je li znasz dobrze jakie zjawisko, to wiedz c, jaki jest jego stan w danej chwili, potrafisz mniej wi cej okre li, jak si b dzie zachowywa w najbli szej przyszło ci, nieprawda? Otó sztuczne sieci neuronowe mog słu y do tego samego. Stosuje si je głównie do opracowywania prognoz ruchów na giełdzie i do przewidywania pogody. Tak, nawet, zdawałoby si, tak przypadkowe zmiany, jak zmiany giełdowe, podlegaj jakim prawom. Do wiadczony gracz potrafi przewidzie, czy dana operacja zako czy si powodzeniem. Nazywamy to przeczuciem, szóstym zmysłem, lecz jest to jedynie pod wiadome korzystanie z wiedzy nabytej równie nie wiadomie przez lata obserwacji procesów giełdowych. A trzeba pami ta, e mózg człowieka, cho ogromny (w porównaniu z sztucznymi sieciami neuronowymi), zajmuje si przecie niezliczon ilo ci innych zada, jak cho by utrzymywanie ciała w równowadze, itd. itp. Sie natomiast jest przeznaczona wył cznie do jednego zadania i jemu po wi ca cały swój potencjał. Podobnie, jak dobry gracz, sie potrafi trafnie prognozowa ruchy giełdowe, cho nie wiemy dokładnie, w jaki sposób to robi (tak, jak nie wiemy, na czym polega intuicja gracza). Od czasu pierwszej prezentacji matematycznego modelu neuronu powstało wiele ró nych architektur sieci neuronowych. W pocz tkowym okresie starano si jak najwierniej odwzorowa sieci biologiczne, co w dłu szej perspektywie stało si w wielu przypadkach niekorzystne. Badania pokazały, e lepiej jest wprowadzi pewne, niekiedy daleko id ce modyfikacje, które mimo e nie s analogi do sieci biologicznych, to jednak wprowadzaj now jako. Przewidywanie szeregów czasowych - to obok zada zwi zanych z klasyfikacj jeden głównych obszarów zastosowa sieci neuronowych w ekonomii. Jako przykłady zastosowa sieci w problemach zwi zanych z predykcj zjawisk zachodz cych w czasie wymieni mo na[3]:

2 14 Typy sztucznych sieci neuronowych u ywanych jako narz dzie prognozy w procesach zarz dzania przewidywanie indeksów giełdowych oraz budowanie opartych na indeksach giełdowych systemów transakcyjnych, predykcj kursów walut oraz tworzenie systemów transakcyjnych w oparciu o kursy walut, przewidywanie przychodu firmy, przewidywanie przepływów pieni nych, przewidywanie wielko ci odszkodowa wypłacanych przez towarzystwa ubezpieczeniowe, przewidywanie zapotrzebowania na wynajem domów, przewidywanie wska nika inflacji, predykcj cen opcji, prognozowanie zapotrzebowania na pracowników, przewidywanie zmian zatrudnienia w skali kraju, wycen nieruchomo ci. 2.Budowa neuronu Modele sztucznych sieci neuronowych stanowi prób odwzorowania działania ludzkiego mózgu, dotyczy to oczywi cie jego podstawowych wła ciwo ci i metod przetwarzania informacji. Oczywi cie s one jedynie uproszczeniem modelu rzeczywistego, dlatego do poprawnego zdefiniowania modelu i jego budowy niezb dne s pewne zało enia dotycz ce funkcjonowania neuronu[2]: do neuronu dociera pewna ilo sygnałów wej ciowych, s to dane pierwotne wprowadzane do sieci z zewn trz, b d dane pochodz ce z innego neuronu. ka da warto wprowadzana jest do neuronu poprzez poł czenie o ustalonej sile (wadze), warto ci te odpowiadaj efektywno ci synapsy w neuronie biologicznym. ka dy neuron skojarzony jest z pojedyncz warto ci progow, która mówi jak silne musi by pobudzenie, by doszło do jego aktywacji. w neuronie obliczana jest wa ona suma wej (suma warto ci sygnałów wej ciowych, przemno ona przez odpowiednie współczynniki wagowe), a nast pnie odejmowana jest od niej warto progowa. Powstała w ten sposób warto okre la pobudzenie neuronu. sygnał reprezentuj cy ł czne pobudzenie neuronu przekształcany jest przez okre lon funkcj aktywacji neuronu, a warto obliczona w wyniku tego działania jest warto ci wyj ciow neuronu. Znaj c ju powy sze zało enia dotycz ce zasad budowy i funkcjonowania pojedynczego neuronu, nale y zastanowi si nad sposobem ł czenia tych komórek ze sob. Aby model budowanej sieci był u yteczny musi on posiada okre lon ilo wej (warto ci, które wprowadzane s do sieci neuronowej z zewn trz, na podstawie których prowadzone s dalsze obliczenia) oraz wyj (stanowi cych wynik prowadzonych przez sie neuronow oblicze, np. prognoza ceny akcji na rynku kapitałowym, ocena wiarygodno ci klienta]. Ogromne zainteresowanie sztucznymi sieciami neuronowymi jest powodem powstawania ogromnej liczby sieci, cz sto skrajnie ro nych pod wzgl dem struktury. Jedn z nielicznych wspólnych cech charakteryzuj cych wi kszo sieci jest definicja pojedynczego neuronu. Jego budowa pokazana została na rysunku 1 [6].

3 POLSKIE STOWARZYSZENIE ZARZ DZANIA WIEDZ Seria: Studia i Materiały, nr 21, Rysunek1. Schemat budowy neuronu [5] y - to sygnał wyj ciowy neuronu, f - to funkcja aktywacji neuronu, e - to tzw. całkowite pobudzenie neuronu zdefiniowane jako [8]: przy czym: wyraz wolny w jest elementem opcjonalnym, x - to sygnały wej ciowe (odpowiedniki sygnałów przesyłanych dendrytami w neuronie biologicznym), n to tzw. wagi neuronu (odpowiadaj efektywno ci synapsy w biologicznym neuronie). W sposób matematyczny neuron zdefiniowany jest w sposób nast puj cy[8]: Funkcja aktywacji neuronu mo e przybiera wiele ró nych postaci. Pod wzgl dem podobie stwa do modelu biologicznego najbardziej zbli one s funkcje: progowa (zwana tak e unipolarn ) i tzw. zmodyfikowana funkcja signum (nazywana cz sto funkcj bipolarn ). Funkcja unipolarna dla przyjmuje warto ci 0 lub 1, natomiast funkcja bipolarna - podobnie jak funkcja progowa - przyjmuje jedynie dwie warto ci, w tym przypadku zamiast warto ci 0 wyst puje -1. Stanowi to analogi do biologicznej komórki nerwowej. Je eli jako funkcj aktywacji u yje si przekształcenia to samo ciowego f(e)=e, wówczas tak zdefiniowany neuron nazywany jest neuronem liniowym. W przypadku u ycia innych funkcji aktywacji neuron nazywany jest nieliniowym. 3. Architektury sieci neuronowych Neurony mog by ł czone ze sob na wiele ro nych sposobów. W przewidywaniu szeregów czasowych wykorzystuje si nast puj ce rodzaje sztucznych sieci neuronowych[6]: sieci jednokierunkowe, sieci rekurencyjne, sieci o radialnych funkcjach bazowych (RBF), sieci realizuj ce regresj uogólnion (GRNN). W sieciach jednokierunkowych, jak sama nazwa wskazuje, dane przechodz przez sie tylko w jednym kierunku (nie. wyst puj jakiekolwiek poł czenia rekurencyjne, ani zmiany kierunku przechodzenia sygnałów). W obr bie sieci jednokierunkowych wyró nia si najcz ciej dwie podgrupy: sieci jednokierunkowe jednowarstwowe (rysunek 2) i sieci jednokierunkowe wielowarstwowe (1) (2)

4 16 Typy sztucznych sieci neuronowych u ywanych jako narz dzie prognozy w procesach zarz dzania (rysunek 3). Sieci jednowarstwowe, wbrew temu co sugeruje nazwa, zbudowane s nie z jednej, lecz z dwóch tzw. warstw neuronów (wej ciowej i wyj ciowej - rysunek 2). W przypadku sieci wielowarstwowej wyst puj co najmniej trzy warstwy. Pomi dzy warstw wej ciow a wyj ciow wyst puje minimum jedna warstwa ukryta (rysunek 3). W praktyce przy przewidywaniu szeregów czasowych wykorzystuje si najcz ciej sieci zbudowane z jednej lub dwóch warstw ukrytych (sieci dwuwarstwowe i trójwarstwowe). Sieci zbudowane z wi kszej ilo ci warstw okazuj si mniej u yteczne. Zbyt rozbudowana struktura powoduje problemy w procesie uczenia, co i kolei skutkuje zwi kszeniem bł du w wynikach generowanych przez sie [9]. Rysunek 2. Sie jednokierunkowa jednowarstwowa [1] Rysunek3. Sie jednokierunkowa wielowarstwowa [1]

5 POLSKIE STOWARZYSZENIE ZARZ DZANIA WIEDZ Seria: Studia i Materiały, nr 21, Kolejnym etapem przy budowie sieci jest dobór liczby neuronów w poszczególnych warstwach. Liczba neuronów w warstwie wyj ciowej jest równa ilo ci zmiennych, które chce si prognozowa. W praktyce uwa a si, e maksymalna liczba zmiennych, jaka mo na przewidywa, wynosi dwa. Zaleca si jednak ograniczenie si do zaledwie jednej zmiennej wyj ciowej. Podobnie bezproblemowy jest dobór ilo ci neuronów w warstwie wej ciowej. W tym przypadku musi ona odpowiada ilo ci zmiennych wej ciowych. Problem sprowadza si do wyboru odpowiednich danych wej ciowych, zwi zanych z prognozowan zmienn. Nie ma obecnie reguł pozwalaj cych jednoznacznie stwierdzi, jakie dane wej ciowe oraz jaka liczba zmiennych jest wielko ci optymaln. W przypadku przewidywania zjawisk rozło onych w czasie spotyka si zarówno sieci zbudowane z kilku, jak i z kilkuset zmiennych wej ciowych. Nast pnym problemem jest dobór ilo ci neuronów w warstwach ukrytych. Najcz ciej sugeruje si, aby neurony w kolejnych warstwach ukrytych oraz w warstwie wyj ciowej tworzyły (wizualnie) trójk t (w ka dej kolejnej warstwie ukrytej liczba neuronów jest mniejsza). Zaleca si budowanie sieci z niezbyt wielu neuronów w warstwach ukrytych, gdy oprócz spowolnienia procesu uczenia, powoduje to zmniejszenie zdolno ci sieci do uogólniania, a w konsekwencji zwi kszenie bł du na wyj ciu sieci [4]. Doboru parametrów sieci jednokierunkowych (tj. wspomnianych danych wej ciowych, struktury sieci, funkcji aktywacji itp.) zazwyczaj dokonuje si w oparciu o badania empiryczne. W wi kszo ci przypadków nie istniej adne gotowe recepty na szybkie zbudowanie optymalnej sieci. Sieci rekurencyjne stanowi kolejn bardzo ciekaw i cz sto wykorzystywan grup sieci. Jak nazwa wskazuje, posiadaj one sprz enia zwrotne, czyli poł czenia zawracaj ce sygnały z dalszych neuronów sieci do neuronów warstw. W przypadku modeli słu cych do predykcji, zazwyczaj wykorzystuje si tzw. sieci cz ciowo rekurencyjne, w których w przeciwie stwie do sieci rekurencyjnych (np. sie Hopfielda) nie wszystkie neurony wchodz ce w skład sieci posiadaj sprz enia zwrotne. Jednymi z szerzej stosowanych architektur s sieci Elmana oraz sieci Jordana (przykładow struktur sieci Elmana przedstawia rysunek 4). Rysunek 4. Architektura sieci Elmana [5] Jedn z cech charakterystycznych sieci rekurencyjnych s dwa mo liwe sposoby ich zachowania sie: stabilny i niestabilny. W przypadku stabilno ci sieci sygnały w niej wyst puj ce przyjmuj ograniczone warto ci i po kilku krokach zaczynaj zbiega sie" do pewnego ustalonego poziomu [7]. Problem stanowi natomiast zachowania niestabilne, gdy kolejne warto ci bezwzgl dne sygnałów w sieci s coraz wi ksze, co doprowadza do przekroczenia zało onych warto ci dopusz-

6 18 Typy sztucznych sieci neuronowych u ywanych jako narz dzie prognozy w procesach zarz dzania czalnych. Dlatego te niekiedy warto pewne parametry budowanej sieci neuronowej, tj. np. rodzaj danych wej ciowych, dobra przy wykorzystaniu np. sieci jednokierunkowych, a dopiero w kolejnym etapie bada stosowa sieci rekurencyjne. Sie o radialnych funkcjach bazowych, w skrócie RBP (ang. radial base function) jest sieci o trzech warstwach. Zbudowana jest z warstwy wej ciowej, ukrytej i wyj ciowej. Zadaniem neuronów warstwy ukrytej jest dokonanie agregacji danych wyj ciowych poprzez obliczenie odległo ci mi dzy wektorem wej ciowym, a wektorem wag. Wyznaczona t drog wielko zostaje u yta jako parametr symetrycznej wzgl dem osi OY funkcji aktywacji [9]. Zalet sieci o radialnych funkcjach bazowych jest krótki, w porównaniu do sieci jednokierunkowych wielowarstwowych, czas uczenia sieci oraz czas potrzebny do wyboru optymalnej struktury sieci. Sieci radialne znajduj zastosowanie głównie w zadaniach klasyfikacji, ale sprawdzaj si równie w przewidywania skomplikowanych, ekonomicznych szeregów czasowych, takich jak np. przewidywanie trendów ekonomicznych[5]. Sieci realizuj ce regresj uogólnion, zwane w skrócie GRNN (ang. General Regression Neural Network) stanowi alternatyw dla uczonych metod wstecznej propagacji bł dów sieci jednokierunkowych wielowarstwowych. Ich budowa jest wynikiem próby uogólnienia sieci o radialnych funkcjach bazowych (RBF; oraz sieci probabilistycznych zwanych w skrócie PNN).[1] Sie GRNN zbudowana jest z czterech warstw (rysunek 5): wej ciowej, dwóch ukrytych oraz wyj ciowej. Pierwsza z warstw ukrytych, tzw. warstwa wzorców ma budow zbli on de warstwy ukrytej wyst puj cej w sieciach o radialnych funkcjach bazowych. Jej zadaniem jest obliczenie odległo ci" mi dzy wektorami wej ciowymi, a wektorami reprezentowanymi przez wagi. Druga z warstw ukrytych, tzw. warstwa podsumowuj ca, zbudowana jest z dwóch typów neuronów. H- podsumowuj cych i D-podsumowuj cych. Neuronów typu H mo e by wiele, natomiast zawsze jest tylko jeden neuron typu D. Zadaniem neuronów podsumowuj cych typu 8 jest wyznaczenie wa onej sumy warto ci wyj wchodz cych w skład zbioru ucz cego. Neuron typu D odpowiedzialny jest za wyznaczenie sumy wag. W warstwie wyj ciowej neurony obliczaj iloraz pomi dzy wspomnianymi powy ej wielko ciami. Wad sieci GRNN jest konieczno przetworzenia wszystkich danych ze zbioru ucz cego, by mo liwe było wyznaczenie warto ci wyj ciowej sieci oraz konieczno ponownego uczenia sieci po dokonaniu zmian w zbiorze ucz cym. Zalet jest natomiast krótki czas uczenia oraz brak problemów z doborem optymalnej struktury.

7 POLSKIE STOWARZYSZENIE ZARZ DZANIA WIEDZ Seria: Studia i Materiały, nr 21, Podsumowanie Rysunek 5. Struktura sieci typu GRNN [6] Modele sieci neuronowych, ze wzgl du na mo liwo modelowania zjawisk o charakterze nieliniowym, umo liwiaj rozwi zywanie zło onych i niejednoznacznych zada z zakresu predykcji czy tez klasyfikacji. Takie rozwi zanie jest np. alternatyw dla kadry zarz dzaj cej, która dodatkowo eliminuje ryzyko, poniewa modele sieci opieraj si na wła ciwo ciach i relacjach mi dzy danymi, a nie na subiektywnych hipotezach decydenta. Problem ten i jego praktyczne rozwi zanie, a tak e inne zastosowania sieci neuronowych w szeroko rozumianej ekonomii przedstawia w swojej pracy E. Gatley [2], gdzie omawiane jest wykorzystanie sieci m.in. w prognozowaniu bankructw, klasyfikacji obligacji ze wzgl du na stopie atrakcyjno ci, analizie wniosków o kredyt. Przedstawione w artykule architektury nie stanowi całego zbioru sieci neuronowych wykorzystywanych do prognozy zjawisk zachodz cych w czasie, s jednymi z najcz ciej wykorzystywanych do rozwi zywania wspomnianych problemów. Dobór typu sieci - cho z reguły nie jest spraw tak kluczow jak wybór rodzaju danych wej ciowych - stanowi jednak niezwykle wa ny etap tworzenia inteligentnego systemu predykcji. Poniewa na obecnym etapie rozwoju tej dziedziny wiedzy brak jest jednoznacznych reguł, którymi mo na si kierowa przy wyborze architektury, w wi kszo ci przypadków zachodzi konieczno do wiadczalnego doboru typu i struktury sztucznej sieci neuronowej. Wiele symulatorów sieci neuronowych posiada wbudowane narz dzia wspomagaj ce, b d te całkowicie automatycznie wybieraj ce optymalny rodzaj sieci (w przewa- aj cej liczbie przypadków wykorzystuje si do tego algorytmy genetyczne)[7].

8 20 Typy sztucznych sieci neuronowych u ywanych jako narz dzie prognozy w procesach zarz dzania Bibliografia 1. Azoff E.M. [1994], Neural Networks. Time series forecasting of Financial Markets, Jon Wiley & Sons, Chichester. 2. Gatley E. [1999], Sieci neuronowe. Prognozowanie finansowe i projektowanie systemów transakcyjnych, WIG-Press, Warszawa. 3. Grabowski M. [1998], Sieci Neuronowe w analizie danych społeczno-ekonomicznych, praca doktorska, AE w Krakowie, Kraków. 4. Hassoun M.H. [1995], Fundamentals of Artificial Neural Networks, The MIT Press, Cambridge 5. Jasi ski T. [2003], Przegl d architektur sztucznych sieci neuronowych wykorzystywanych w ekonomii do przewidywania szeregów czasowych, Zeszyt Naukowy SGH w Warszawie (nr 35), Warszawa. 6. Kiełtyka L., J drzejczak W. [2004], Budowa gospodarczych prognoz jako ciowych przy u yciu sieci neuronowych, Prace Naukowe Akademii Ekonomicznej we Wrocławiu (nr 1044), Wrocław. 7. Lula P. [2000], Probabilistyczne sieci neuronowe i mo liwo ci ich zastosowa, Zeszyty Naukowe Akademii Ekonomicznej w Krakowie (nr 551), Kraków. 8. Tadeusiewicz R. [1993], Sieci neuronowe, Akademicka Oficyna Wydawnicza RM, Warszawa. 9. Tadeusiewicz R., Lula P. [2001], Wprowadzenie do sieci neuronowych, Statsoft Polska, Warszawa. TYPES OF ARTIFICIAL NEURON NETWORKS USED AS AN INSTRUMENT OF PREDICTION IN MANAGEMENT PROCESS Summary The main purpose of this article is presentation of architectures of artificial neuron networks. The networks are developed to predict and research economic phenomena, organized in time. Therefore, it presents alternative or expansion for classically implied analysis of temporal series and for example in management and capital market. Keywords: neural networks, financial forecasting Wydział Nauk Ekonomicznych i Zarz dzania Uniwersytet Szczeci ski