Andrzej Burda Budowa optymalnego modelu prognostycznego z wykorzystanem preprocessngu w sztucznych secach neuronowych 1 Streszczene Od początku lat 60-tych obserwujemy ntensyfkacje badań zarówno teoretycznych jak emprycznych nad rynkam kaptałowym jako układam złożonym. W pracy tej przedstawono jedną z metod modelowana tych układów- sztuczne sec neuronowe. Wykazano wpływ mnmalzacj przestrzen danych wejścowych na jakość predykcj sec oraz małą, w stosunku do klasycznych model ekonometrycznych, ch wrażlwość na korelacje wzajemne zmennych objaśnających. Przeanalzowano dzewęć sposobów preprocessngu danych. Przedstawono ch zasadę, możlwośc ogranczena. Zaproponowano hybrydową metodę wstępnego przygotowana danych, której skuteczność potwerdzły statystyczne opracowane wynk eksperymentu prowadzonego na zborze ok. 3600 sec. Wprowadzene Sgnum tempors epok lberalzmu ekonomcznego jest bardzo ostra konkurencja podmotów dzałających w obszarze wolnego rynku. Zjawsko to wdoczne jest zarówno w odnesenu do małych frm jak do nstytucj takch jak une gospodarcze welu państw. Bardzo stotnym warunkem rozwoju stała sę umejętność przewdywana ne tylko kerunków, ale loścowych zman na samym rynku, jak w jego otoczenu. Potrzeby te powodują, że tradycyjne formy prognozowana, oparte główne na dośwadczenu ekspertów w danej dzedzne, muszą być wspomagane. Szczególne duże nadzeje od lat wzbudzają prognozy oparte o metodologe zaczerpnęte z nauk matematyczno-przyrodnczych, które pozytywne zostały zweryfkowane w nnych dzedznach. Do nch należy zalczyć w perwszej kolejnośc modele, oparte o hpotezę rynku efektywnego. Koncepcja ta, oparta o paradygmat lnowy 2, została wstępne sformułowana w 1960 roku [1]. Korzen jej można sę jednak doszukać w ponerskej pracy Bachalera 3 [2], który już na przełome XIX XX weku zaproponował, aby ceny akcj na rynku paperów wartoścowych opsywać za pomocą procesu stochastycznego. Przyjęto węc powszechne zasadę, że zmany cen są zdarzenam nezależnym mają naturę błądzena przypadkowego. Założene to mplkuje tezę, że rozkład prawdopodobeństwa stóp zwrotu jest w przyblżenu rozkładem normalnym, a węc ma co najmnej skończoną średną warancję. Poważne odstępstwa od tych założeń znane były już od początku lat 60-tych. W 1964 roku B. Mandelbrot zasugerował, że stopy zwrotu mogą należeć do rodzny stablnych rozkładów paretowskch, charakteryzujących sę neskończoną warancją [3]. Prace tego autora zaowocowały pojawenem sę paradygmatu o nelnowym charakterze rynku. Zapoczątkowało to fazę wykorzystana metod rozwnętych w ramach mechank statystycznej. Próby opsu rynku w oparcu o teorę chaosu, zasady termodynamk, czy badane analog pomędzy zmanam stóp zwrotu zachowanem sę cząsteczek medum przy przepływe turbulentnym to najczęścej podejmowane krok, aby oderwać sę od ogranczającego założena lnowośc. Ostatno na znaczenu zyskały tzw. metody sztucznej ntelgencj oblczenowej. Zalczyć do nch należy sztuczne sec neuronowe (SSN) algorytmy genetyczne (AG). Lczne badana prowadzone nad sztucznym secam neuronowym zaowocowały weloma sukcesam praktycznym. W zastosowanach gospodarczych znane jest ch wykorzystane do prognozy ekonomcznej rozwoju przedsęborstw ch kondycj fnansowej. Bardzo często znajdują uznane bankowców do oceny potencjalnych klentów. Szeroko rozpowszechnone są równeż jako narzędze prognozowana dynamk ndeksów gełdowych, a w tym aspekce obecujące wydają sę być próby wykorzystana ch do selekcj paperów wartoścowych w portfelu nwestycyjnym [4]. Sztuczne sec neuronowe algorytmy genetyczne szerzej zostały opsane w dalszej częśc tego 1 Artykuł opublkowany: Andrzej Burda, Budowa optymalnego modelu prognostycznego prognostycznego wykorzystanem preprocessngu w sztucznych secach neuronowych, Zamojske Studa Materały, z.2, Zamość 2002. 2 W odnesenu do rynków kaptałowych zakłada sę m. n.: rzetelną wycenę aktywów, natychmastową proporcjonalną reakcję wszystkch nwestorów na czynnk zewnętrzny, powodujący zaburzene systemu. Przesądza sę tym samym o braku długotrwałej pamęc w systeme. Otwarce stawa sę tezę, że zarówno dane fundamentalne jak sama hstora cen, są już zdyskontowane w cenach obecnych. 3 Promotorem wspomnanej rozprawy doktorskej był wybtny matematyk francusk Henr Poncaré.
opracowana. W tym mejscu należy jednak zaznaczyć, że ch główną zaletą jest fakt, że ne przesądzają one z góry, jak charakter mają zmany na rynku. Pewną ch wadą jest to, że modele tworzone przy ch pomocy bardzo trudno jest opsać w sposób matematyczny. 4 Idąca w ślad za rozwojem podstaw teoretycznych emprycznych prognozowana, coraz wększa skuteczność wymenonych metod ne jest jedynym czynnkem zachęcającym do ch stosowana. Ne mnej stotne są take ch cechy jak: możlwośc oceny błędu prognozy ex ante, krótk czas sporządzena prognozy (dzęk zastosowanu narzędz nformatycznych, czas główne jest spożytkowany na zberane przetworzene danych wejścowych do analzy, a wykorzystane nternetu w tym zakrese dokonało rewolucyjnego przełomu). W zwązku z tym pojawają sę znaczne wększe możlwośc konstruowana prognoz alternatywnych. Wszystko to powoduje, że prognozowane zjawsk ekonomcznych stało sę narzędzem docenanym często wykorzystywanym zarówno przy podejmowanu decyzj w skal mkro jak makrogospodark. Kwestą otwartą pozostaje jednak cągle poprawa ch jakośc. Może ona nastąpć na drodze rozwoju podstaw naukowych tych metod, ale także na doskonalenu sposobów ch stosowana, co można uczynć ntensyfkując badana w tym zakrese. W tym właśne kontekśce artykuł ten podejmuje próbę przedstawena budowy optymalnego modelu prognostycznego przy użycu programu Statstca Neural Networks 4.0 (SNN), wykorzystującego jedną z metod sztucznej ntelgencj oblczenowej- sztuczne sec neuronowe. Narzędze to daje duże możlwośc dokonana analzy wpływu przygotowana danych wejścowych na jakość przygotowywanej prognozy co jest głównym celem tego opracowana. Jego ścsła ntegracja z paketem Statstca 5.5 znaczne ułatwa przyspesza wszelke analzy statystyczne. Zakres eksperymentu Przykładem dobrze obrazującym wyżej zarysowany problem jest prognoza cen akcj na gełdze paperów wartoścowych. Ne ulega wątplwośc, że stneje wele czynnków kształtujących cenę waloru, zarówno z grupy tzw. wskaźnków techncznych (wartośc otrzymane w wynku analzy zmennośc kursów, wolumenów obrotów), wskaźnków makroekonomcznych (kursy walut, stopa nflacj, wskaźnk wzrostu gospodarczego, wysokość stóp procentowych, tp.) jak fundamentalnych (np. zysk lub jego prognozy, welkość sprzedaży, nne wskaźnk fnansowe spółk). Wybór jednych, a odrzucene nnych jest nezwykle trudne, aczkolwek krytera są dość oczywste. Wyberamy te z nch, które są slne skorelowane ze zmenną prognozowaną, ale jednocześne możlwe słabo skorelowane pomędzy sobą. Ten ostatn warunek jest szczególne stotny przy budowe model ekonometrycznych 5, znaczne mnejszy negatywny wpływ ma w modelach neuronowych. Duża lczba zmennych objaśnających modelu mplkuje dużą lczbę obserwacj. O le w przypadku model ekonometrycznych można przyjąć, że stosunek lczby obserwacj do lczby zmennych objaśnających pownen wahać sę pomędzy 3 a 7 6, to w odnesenu do sec neuronowych będze to lczba znaczne wększa. Przystępując do budowy prognoz z wykorzystanem sztucznych sec neuronowych zbór obserwacj należy podzelć na trzy częśc. Perwszy z nch wykorzystuje sę do uczena sec zależnośc pomędzy zmennym wejścowym a jedną lub welu zmennym wyjścowym (tzw. zbór uczący). Zbór waldacyjny posłuży do zatrzymana procesu uczena w momence, gdy seć trac zdolnośc do generalzacj, czyl pogarszają sę jej zdolnośc predykcj dla obserwacj spoza zboru uczącego. Trzec, nezależny od procesu uczena zbór, nazywamy testowym. To on będze 4 Brak równana opsującego model szczególne opory budz wśród zwolennków model ekonometrycznych, którzy przywązują duże znaczene do nterpretacj postac matematycznej modelu na zasadze: jak zmen sę zmenna objaśnana, jeżel dokonamy jednostkowej zmany wybranej zmennej objaśnającej? Dzeje sę to przy założenu, że pozostałe zmenne modelu pozostaną bez zman. 5 W przypadku model ekonometrycznych, estymowanych za pomocą klasycznej metody najmnejszych kwadratów, otrzymuje sę bardzo duże warancje estymatorów parametrów, co znaczne pogarsza jakość oszacowanych model [5]. 6 Lczba ta wynka z dośwadczeń autora przy budowe model ekonometrycznych. Welu badaczy zaleca, aby wynosła nawet 20 [6].
decydował o ocene jakośc sec. W praktyce przyjmuje sę, że lczebność zboru uczącego pownna być klka razy wększa nż lczba wag w sec. Modele budowane w oparcu o SSN są stosunkowo odporne na wzajemną korelację zmennych wejścowych, dzęk ch naturalnej możlwośc osłabana wpływów nektórych wejść, poprzez mnmalzację ch współczynnków wagowych. Ne mnej jednak usunęce ze zboru danych zbędnych zmennych daje nną nezmerne ważną korzyść, a manowce mnmalzację wymaru przestrzen wejść. Szczególne, gdy uwzględnmy fakt, że budując modele prognostyczne, zwłaszcza w zastosowanach ekonomcznych, zawsze mamy kłopoty z lczebnoścą zboru obserwacj służących do estymacj parametrów modelu. W przypadku notowań gełdowych zwększane ch lczby może powodować, że część z nch, tych odległych w czase, uległa dezaktualzacj. Jeżel przyjmemy, że przestrzeń wejść jest przestrzeną dyskretną składającą sę z m wymarów n punktów w każdym jej wymarze, a dysponujemy n elementowym zborem uczącym, to stopeń pokryca s obserwacjam w tej przestrzen opsany jest wzorem: s n m = 1 /1/ Jeśl przyjmemy założene, że model rynku paperów wartoścowych jest nelnowy, to mnmalzując wymar tej przestrzen możemy spodzewać sę mnmalzacj błędu predykcj. Metody efektywnego wyboru jednych zmennych, a odrzucana nnych tak, aby uzyskać optymalne wskaźnk jakoścowe modelu są głównym celem prowadzonego eksperymentu. Analzę prowadzono na przykładze prognozy cen akcj spółk Mostostal Export S.A. w oparcu o 250 notowań gełdowych z okresu od 2000-04-03 do 2001-03-30. Kerując sę ntucją pewnym dośwadczenam z wcześnej budowanym modelam ekonometrycznym [7], przyjęto ogólną zależność funkcyjną modelu zgodne z formułą: Y _ MSX t = f ( SKYn,, VOL, WIG ), /2/ gdze: t = 1705, 1958,..., 1953 numer notowana, = (5, 6,..., 12) ndeks opóźnena (horyzont czasowy prognozy 5 dn), n = (2, 3, 4, 5) okres użytych średnch kroczących, Y_MSX t prognozowana wartość ceny paketu 100 akcj spółk Mostostal Export S.A., SKY n, średna krocząca cen paketu 100 akcj spółk Mostostal Export S.A., VOL wolumen obrotów akcjam spółk Mostostal Export S.A. w 1000 szt., WIG wartość ndeksu GPW w Warszawe, f() jest neznaną na tym etape funkcją opsującą zależność mędzy zmennym nezależnym a zmenną prognozowaną. Użyce w zborze zmennych objaśnających cen akcj, które w przecweństwe do stóp zwrotu, wykazują cechę autokorelacj, ma na celu wykazane odpornośc SSN na to zjawsko. Ops modelu Aby umożlwć analzę porównawczą model ogranczono sę do jednego ch typu: dwuwarstwowego perceptronu (MLP) 7. Podstawowym elementem tego układu jest neuron (rys.1.). W jego wnętrzu dokonuje sę oblczane sumy ważonej sygnałów podawanych na jego wejśce skorygowanej o stałą welkość progową b zgodne z formułą: net = w x b /3/ Na wyjścu neuronu pojawa sę sygnał o wartośc: 7 Multlayer Perceptron
y = f(net), /4/, gdze f(net) jest funkcją aktywacj neuronu [8]. -b x 1 x 2 net f(net) y x n Przy wyborze tej funkcj należy kerować sę rolą jaką pełn neuron w sec. Najczęścej, równeż ze względu na jej łatwą różnczkowalność, wykorzystywana jest tzw. funkcja logstyczna postac: 1 f l ( net) /5/ βnet 1+ exp Rys.1. Model neuronu Przyjmuje ona wartośc z przedzału (0,1), a jej przebeg przy różnych wartoścach parametru β obrazuje wykres na rys.2. 1,1 0,9 0,7 y=f(net) 0,5 0,3 0,1-0,1-4 -3-2 -1 0 1 2 3 4 net β = 0,5 β = 3 β = 7 Rys.2. Wykres funkcj logstycznej Budowę przykładowej sec dwuwarstwowej przedstawa rys.3. (neuronów wejścowych najczęścej ne lczy sę jako warstwy sec). Należy zwrócć uwagę, że w secach warstwowych,
jednokerunkowych ne ma połączeń do warstwy poprzedzającej, an mędzy jednostkam tej samej warstwy. Legenda: ξ- neurony warstwy wejścowej, V neurony warstwy ukrytej, O neurony warstwy wyjścowej; w jk, W j wag połączeń. Rys.3. Seć jednokerunkowa, dwuwarstwowa Jeżel dla uproszczena, sygnały progowe potraktujemy jako dodatkową wagę ze stałym wejścem jednostkowym, a na wejśce sec podamy wzorzec: _ = { ξ k, k = 1,2,..., n}, ξ /6/ to aktywację -tego neuronu warstwy wyjścowej sec, takej jaka przedstawona jest na rys.3., można opsać wyrażenem: O net ) = f = f f = f WjV j Wj j j k w jkξ k ( /7/ Uczene tego typu sec polega na zmane wartośc wag połączeń (w jk, W j ) pomędzy neuronam. Do tego celu najczęścej wykorzystuje sę algorytm ze wsteczną propagacją błędu w różnych jego odmanach 8. Procedura ta wykorzystuje regułę spadku gradentu [9]. Podczas prezentowana sec kolejnych wzorców, prowadz ona stopnowo do mnmalzacj tzw. funkcj energetycznej /8/, która jest marą błędu generowanego na wyjścu sec. 1 µ µ 2 E = [ ζ O ] /8/ 2, µ W tym mejscu należy zaznaczyć, że program SNN umożlwa wybór postac funkcj /8/ spośród czterech nnych. Wartość funkcj energetycznej jest podstawą do określena nowych wag. Dla połączeń mędzy warstwą wyjścową a ukrytą, zmana wartośc wag będze wynosła: W j E = η W j = η δ µ V µ j, /9/ gdze: µ ' µ µ δ = f ( net )[ ζ O µ ], /10/ zaś η jest stałą uczena. Analogczne dla wag pomędzy warstwą ukrytą a wejścową zmana wynese: 8 Algorytm ten, zamplemetowany w pakece SNN, posłużył do uczena sec w trakce prowadzonego eksperymentu.
µ E E V j µ µ w = η = η = η δ ξ, /11/ jk µ j k w V w µ ' µ gdze δ = f ( net ) j jk j µ j jk µ W j δ µ Ze względu na stnejące nebezpeczeństwo utknęca sec w lokalnym mnmum funkcj energetycznej /8/, stosuje sę szereg dzałań takch, które zmnejszają to ryzyko. Do podstawowych sposobów należy zalczyć: dodane do formuły zmany wag członu momentu zgodne ze wzorem /12/ oraz zmnejszane wartośc współczynnka η w trakce procesu uczena. W welu przypadkach skutecznym może okazać sę równeż dodane szumu do sygnału wyjścowego oraz losowe meszane kolejnośc elementów zboru uczącego. W ostatecznośc, przy nezadowalających wynkach, proces uczena należy zacząć od początku. Wag połączeń doberamy losowo. Zakres ch wartośc mus być jednak tak określony, aby dla wartośc podawanych na wejśca neuronów zbyt duże wag ne spowodowały nasycena funkcj aktywacj, co unemożlw poprawne dzałane algorytmu uczena. Należy w tym mejscu zaznaczyć, że można to też osągnąć poprzez zmnejszene parametru β w wyrażenu funkcj aktywacj /5/ 9. W ( k) = η E( k) + α W ( k 1), /12/ /12/ gdze argumenty k k-1 oznaczają aktualny poprzedn krok uczena. Program eksperymentu Zbór obserwacj podzelono wg schematu 150-50-50 na podzbory: uczący, waldacyjny testowy. Badana realzowano zgodne z wcześnej przedstawonym założenam w następujących krokach: 1. Wyznaczene zboru optymalnych sec dla 42 zmennych wejścowych. 2. Wyznaczene zboru optymalnych sec dla zmnmalzowanego zboru zmennych nezależnych otrzymanego z wykorzystanem metod:! analzy głównych składowych (PCA) 10 ;! analzy wrażlwośc (AW);! algorytmu genetycznego (AG);! selekcj krokowej postępującej (PSP);! selekcj krokowej wstecznej (WST);! automatycznego projektanta (AuPr),! nelnowej kompresj danych (AA) 11. 3. Wyznaczene wskaźnków jakoścowych dla każdej z metod 12. 4. Ustalene optymalnej metody preprocessngu danych. 9 Jak wdać na wykrese z rys.2., wzrastająca wartość parametru β powoduje, że charakterystyka staje sę bardzej stroma. Już przy β=7 newelke odchylena wartośc net od pozomu zerowego powodują, że funkcja f(net) znajduje sę w stane nasycena. Neuron staje sę mało wrażlwy na zmany sygnałów wejścowych. Temu nekorzystnemu zjawsku zapobec możemy na dwa sposoby. Perwszy z nch to przyjęce mnejszych wartośc β. Lczyć sę tu należy jednak z konsekwencją, że charakterystyka staje sę coraz bardzej zblżona do lnowej (β=0,5). Drug to losowane bardzo małych wag początkowych. Powoduje to automatyczne ogranczene aktywacj neuronu net pozostawane w wąskm przedzale, gdze funkcja ne jest nasycona. 10 Prncpal Components Analyss 11 Kompresja z wykorzystanem sec autoasocjacyjnych, opsanych w dalszej częśc tego opracowana. 12 Dla każdej metody przetestowano po 300 sec. Do opracowana statystycznego zachowano parametry 40-stu najlepszych.
Do analzy porównawczej wybrano wskaźnk jakoścowe, w lteraturze przedmotu często określane manem regresyjnych. Wszystke wyznaczano nezależne dla trzech podzborów obserwacj: uczącego, waldacyjnego testowego. Dla każdej metody wyznaczono: Średn błąd 13 Odchylene błędu 14 oraz Średn błąd bezwzględny 15 Błąd prognozy 16. Za najważnejsze, dla oceny jakośc modelu, uznano: Średn błąd prognozy 17, Iloraz odchyleń 18 oraz Korelację 19 Wynk eksperymentu 1. Brak preprocessngu danych wejścowych Najlepszą secą okazał sę model MLP 42:2:1 20. Wskaźnk regresyjne dla tej sec przedstawone są w Tablcy 1. Statystyk regresyjne Ucz. Y_MSX Wal. Y_MSX Tst. Y_MSX Średn błąd prognozy 5,79% 3,09% 9,85% Iloraz odchyleń 0,7123 0,5520 1,2519 Korelacja 0,7677 0,8341 0,5647 Tablca 1. Statystyk regresyjne sec MLP (42:2:1) Bardzo mała lczba neuronów w warstwe ukrytej może wskazywać na to, że przy tak slne zaszumonym sygnale wyjścowym, był to jedyny sposób, aby seć ne utracła zdolnośc do generalzacj. Odbyło sę to jednak zbyt dużym kosztem, gdyż jak wdać w tablcy, bardzo mała wartość średnego błędu prognozy dla zboru waldacyjnego (3,09%), ne potwerdzła sę na zborze testowym (9,85%). Równe nekorzystne prezentuje sę loraz odchyleń. Jego wartość, znaczne przekraczająca 1, dyskwalfkuje seć całkowce. Wyjątkowo nsk jest współczynnk korelacj (0,5647). O tym, że ne jest to zjawsko przypadkowe, śwadczyć mogą wartośc średnch statystyk regresyjnych wyznaczonych dla dzesęco- czterdzestoelementowych zborów sec (tablca 17.). Wyraźne wdoczna jest duża rozbeżność co do lczby neuronów ukrytych, od 1 do 52, bardzo duża wartość wskaźnka jakośc na zborze testowym (0,87) oraz znaczna różnca tego wskaźnka pomędzy zboram testowym waldacyjnym. O tym, że seć zachowała jednak zdolnośc do generalzacj, śwadczyć może wykres na rys.4. Obrazuje on rzeczywste ceny akcj spółk Mostostal Export S.A. w zestawenu z prognozowanym, wyznaczonym na zborze testowym. Wdać na nm, że mmo bardzo dużych błędów, seć zareagowała poprawne nawet na zmanę trendu w szeregu czasowym. 13 Wartość średna różncy pomędzy wartoścą zadaną wartoścą uzyskaną na wyjścu sec. 14 Odchylene standardowe błędu dla zmennej wyjścowej. 15 Średn błąd rozumany jako moduł różncy pomędzy wartoścą zadaną wartoścą uzyskaną na wyjścu. 16 Rozumany jako loraz wartośc Średnego błędu bezwzględnego wyjścowej wartośc rzeczywstej. 17 Wartość średna Średnego błędu prognozy, wyrażona w procentach. 18 Iloraz odchyleń standardowych dla błędów dla danych. Jeśl przyjme on wartość wększą lub równą 1, to oznacza, że model realzowany przez seć ne daje lepszych rezultatów nż model prezentujący na wyjścu zawsze ten sam sygnał prognozowany, będący wartoścą średną obserwowanych wartośc wyjścowych. Im mnejsza jego wartość, tym lepsze zdolnośc predykcj modelu. Jeśl seć ne będze popełnać żadnych błędów, osągne on hpotetyczną wartość 0 [10]. 19 Standardowy współczynnk korelacj r Pearsona dla wartośc zadanej wartośc uzyskanej na wyjścu. 20 MLP 42:2:1- symbolka ta służy do określena sec z 42 neuronam wejścowym, 2 neuronam warstwy ukrytej 1 neuronem wyjścowym.
620 580 Cena paketu 100 akcj w zł 540 500 460 420 380 1905 1910 1915 1920 1925 1930 1935 1940 1945 1950 prognoza rzeczywste Nr notowana Rys.4. Ceny akcj spółk Mostostal Export S.A. w okrese do 01-01-29 do 01-04-05 2. Wykorzystane preprocessngu danych wejścowych 2.1. Wyznaczene optymalnego wektora wejścowego przy pomocy PCA Analza głównych składowych jest lnową technką służącą do redukcj wymaru wektora danych. W teor sygnałów jest ona znana jako transformata Karhunena-Loève a. Jest też bardzo blska metodze najmnejszych kwadratów, analze czynnkowej, metodze rozkładu macerzy wg wartośc szczególnych fltracj dopasowanej. Celem jej jest znalezene M ortogonalnych wektorów w przestrzen danych, których wpływ jest najwększy na warancję danych. Rzut danych, z przestrzen N - wymarowej na M wymarową podprzestrzeń rozpętą przez te wektory, umożlwa redukcję wymarowośc, przy zachowanu wększośc stotnych nformacj zawartych w zborze danych. Na ogół M << N. Ścślej mówąc przyjmuje sę, że perwsza główna składowa leży wzdłuż kerunku maksymalnej warancj. Druga główna składowa ma kerunek maksymalnej warancj w podprzestrzen prostopadłej do perwszej składowej. Trzeca główna składowa ma kerunek maksymalnej warancj w podprzestrzen prostopadłej do dwóch perwszych, td. Ilustrację grafczną metody przedstawa rys.5. Składowa I Składowa II Rys.5. Ilustracja grafczna PCA Ogólne można wykazać, że kerunek k tej głównej składowej pokrywa sę z kerunkem wektora własnego, odpowadającego k tej co do welkośc wartośc własnej, pełnej macerzy kowarancj [10]. Dla danych o zerowej średnej wszystko sprowadza sę do odpowednch wektorów własnych macerzy autokorelacj A:
T A = ( x x) ( x x), /13/ p p p gdze x p jest p-tym elementem zboru uczącego Paket SNN umożlwa ocenę stopna zachowana nformacj w dowolne ogranczonej podprzestrzen poprzez skumulowany współczynnk nformatywnośc, który pokazuje stopeń zachowana perwotnej warancj zboru M wymarowego przez podzbór N wymarowy. Aby zachować 99% (przyjęte arbtralne) nformacj zawartych w 42 wymarowej przestrzen wejścowej przyjętego przez nas modelu, należy ogranczyć przestrzeń wejść do jedenastu wymarów (tablca 2.). Z danych zawartych w tej tablcy wynka ponadto zdecydowana domnacja perwszych dwóch głównych składowych. Na pozostałych dzewęć przypada zaledwe 4% zmennośc, a 31 odrzuconych głównych składowych to mnej nż 1%. Składowe SG.1 SG.2 SG.3... SG.10 SG.11 Informatywność 0,9264804 0,9535292 0,9621108... 0,9888393 0,9910004 Tablca 2. Stopeń zachowana perwotnej warancj przestrzen wejść Najlepszą secą do realzacj preprocessngu metodą analzy głównych składowych, okazał sę model MLP 11:8:1. Wskaźnk regresyjne dla tej sec przedstawone są w tablcy 3. Statystyk regresyjne Ucz. Y_MSX Wal. Y_MSX Tst. Y_MSX Średn błąd prognozy 5,00% 2,62% 5,58% Iloraz odchyleń 0,6597 0,5640 0,7163 Korelacja 0,7514 0,8265 0,7100 Tablca 3. Statystyk regresyjne sec PCA1 MLP (11:8:1) 620 580 Cena paketu 100 akcj w zł 540 500 460 420 380 1905 1910 1915 1920 1925 1930 1935 1940 1945 1950 prognoza rzeczywste Nr notowana Rys.6. Ceny akcj spółk Mostostal Export S.A. w okrese od 01-01-29 do 01-04-05 Wstępne przetworzene danych dało znaczną poprawę rezultatów w postac obnżena średnego błędu prognozy na zborze testowym. Dla najlepszej sec (porównane z tablcą 1.) zmnejszył sę on z 9,85% do 5,58%. Nastąpła też poprawa wskaźnka jakośc dla obu podzborów sec o ponad 0,15 (por. z tablcą 17.). Osem neuronów w warstwe ukrytej znaczne wększa stablność tej
warstwy dla zboru 40-stu sec (wahana od 1 do 20 neuronów) śwadczą o wyraźnym, pozytywnym wpływe transformacj zboru wejścowego na jakość prognozy realzowanej przez ten model. Interesujące zmany w porównanu z wykresem z rys.4. można dostrzec na rys.6., obrazującym rzeczywste ceny akcj spółk Mostostal Export S.A. w zestawenu z prognozowanym. Krzywa prognozy znaczne mnej odbega od rzeczywstej. Najważnejszą jednak, zauważalną dopero na wykrese, zmaną jakoścową jest znaczna poprawa czułość modelu z rys.6. na wszelke zmany rzeczywstych cen na rynku trafne próby dopasowana sę do lokalnych wahań. Pewnym mankamentem tego modelu jest fakt nemożlwośc bezpośrednego oszacowana wpływu poszczególnych zmennych objaśnających na zmenną objaśnaną. 2.2. Wyznaczene optymalnego wektora wejścowego przy pomocy analzy wrażlwośc Analza wrażlwośc daje wgląd w użyteczność poszczególnych zmennych wejścowych. Wskazuje zmenne, które mogą być pomnęte bez straty jakośc sec zmenne kluczowe, których ne wolno ngdy pomjać. Podstawowym wskaźnkem jest Błąd. Określa on jak wele seć trac na jakośc bez tej zmennej. Dla stotnych zmennych przyjmuje on dużą wartość. Iloraz to wynk podzelena Błędu przez błąd otrzymany przy użycu wszystkch zmennych. Jeżel Iloraz jest mnejszy od jednego, to usunęce zmennej poprawa jakość sec. Ranga porządkuje zmenne wg malejącego Błędu [10]. W tablcy 4. podana jest wrażlwość sec na utratę ośmu najstotnejszych (wg rang) zmennych. Wrażlwość podawana jest osobno dla podzboru uczącego waldacyjnego. Zgodność wskazań dla obu podzborów jest cennym wskaźnkem poprawnośc oceny wrażlwośc. SKY_2_7 SKY _2_8 SKY _3_9 SKY _3_8 SKY _4_8 SKY _4_9 SKY _5_8 SKY _5_9 Ranga 2 6 1 5 4 8 3 7 Błąd 28,66105 27,71615 28,78955 27,72614 27,91549 27,57278 27,95323 27,57681 Iloraz 1,039361 1,005095 1,04402 1,005457 1,012324 0,9998955 1,013692 1,000042 Ranga 2 6 1 5 4 7 3 8 Błąd 17,85605 16,79989 18,00567 16,80771 17,09683 16,57506 17,13226 16,56638 Iloraz 1,09983 1,034777 1,109046 1,035259 1,053067 1,020929 1,05525 1,020394 Tablca 4. Rang wejść wg analzy wrażlwośc gdze SKY_3_6 to średna krocząca 3-dnowa, opóźnona o 6 dn, tp. Przestrzeń wejść ogranczono do podprzestrzen 8-wymarowej, gdyż wartośc Ilorazu dla pozostałych zmennych objaśnających były mnejsze od 1. Najlepszą secą uczoną tak przetworzonym sygnałem wejścowym okazał sę model MLP 8:13:1. Wskaźnk regresyjne tej sec zawera tablca 5., a wykres obrazujący rzeczywste ceny paketu akcj spółk Mostostal Export S.A. w zestawenu z prognozowanym zameszczony jest na rys.7. Średn błąd prognozy najlepszej sec na zborze testowym (6,11%) jest neznaczne wększy od uzyskanego na zborze uczącym (4,54%). Jest też porównywalny z błędem oblczonym na zborze testowym dla metody PCA1 (5,58%). Na uwagę zasługuje wysok współczynnk korelacj (0,75). Wskazywałoby to na dobrą jakość modelu. Jednakże głębsza analza wskaźnków regresyjnych wykresu, nakazują ostrożność przy formułowanu takch sądów. Średne oceny jakośc dla podzborów 10-cu 40-stu najlepszych sec (0,804 0,747 w tablcy 17.) są zbyt duże wykazują spore zróżncowane. Występują też bardzo duże wahana lczby neuronów w warstwe ukrytej- od 1 do 71. Krzywa prognozy na wykrese utracła zdolnośc reagowana na lokalne wahana cen akcj. Najważnejszą przyczyną powstana tych nekorzystnych zjawsk jest selektywna ocena zmennych prowadzona tą metodą. W 42-elementowym zborze przyjętych do analzy zmennych objaśnających daje sę wyróżnć trzy odrębne, wzajemne skorelowane grupy: SKY, WIG VOL. Analza wrażlwośc wykazała bardzo dużą rangę tej perwszej spowodowała odrzucene zmennych z pozostałych grup. Brak nformacj o wartośc ndeksu gełdowego pozbawło model,
jak wdać cennej nformacj, co do zachowana sę rynku jako całośc. Utrata zmennych z grupy VOL spowodowała zank wedzy na temat popytu na akcje spółk. Nasuwa sę wnosek, że stosowane tej metody należy poprzedzć dokładną analzą wzajemnej korelacj zmennych w zborze wejścowym arbtralne korygować wskazana tej metody. Statystyk regresyjne Ucz. Y_MSX Wal. Y_MSX Tst. Y_MSX Średn błąd prognozy 4,54% 2,71% 6,11% Iloraz odchyleń 0,5653 0,5272 0,7320 Korelacja 0,8310 0,8506 0,7465 Tablca 5. Statystyk regresyjne sec AW MLP (8:13:1) 620 580 Cena paketu 100 akcj w zł 540 500 460 420 380 1905 1910 1915 1920 1925 1930 1935 1940 1945 1950 prognoza rzeczywste Nr notowana Rys.7. Ceny akcj spółk Mostostal Export S.A. w okrese od 01-01-29 do 01-04-05 2.3. Wyznaczene optymalnego wektora wejścowego przy pomocy algorytmu genetycznego Idea algorytmu genetycznego wywodz sę z nauk przyrodnczych. Ops zjawsk zwązanych z doborem naturalnym dzedzczenem cech okazał sę bardzo nsprujący przydatny do optymalzacj welu różnorodnych układów złożonych. Unwersalność tej metody wynka z przyjętego założena, że ne operują one na rzeczywstych danych, a tylko na odpowedno zakodowanych ch reprezentacjach. Sposób kodowana może w stotny sposób wpłynąć na skuteczność tej metody. W odnesenu do realzowanego przypadku, będze ono polegało na tym, że zbór danych wejścowych zakodowany zostane jako cąg bnarny 42-elementowy. Wystąpene jedynk na danej pozycj oznaczać będze, że odpowedna dla nej zmenna objaśnająca, pownna być reprezentowana w podzborze uczącym. Obecność zera, elmnuje ją ze zboru. Powstaje węc struktura w postac łańcucha cech, czyl występuje analoga do chromosomu zawartych w nm genów. Aby w pełn przeanalzować problem, należałoby sprawdzć jakość uczena sec przy wszystkch możlwych permutacjach tego łańcucha. To z oczywstych względów ne jest możlwe. Poszukwane najlepszych rozwązań w sposób losowy jest dobrym pomysłem, ale dopero wtedy, gdy postaramy sę chocaż trochę dopomóc ślepemu losow. Na tym właśne opera sę dea algorytmu genetycznego. Tworzy on w sposób losowy populację takch łańcuchów, a następne realzuje proces analogczny do naturalnej selekcj, zachodzącej w przyrodze podczas ewolucj. Celem tego procesu, modelowanego w komputerze, jest wybór lepszych łańcuchów (masek selekcjonujących dane wejścowe), odpowadających
najlepszym secom. Te właśne łańcuchy są punktem wyjśca do utworzena nowej populacj osobnków potomnych. Osobnkem potomnym w algorytme genetycznym jest łańcuch bnarny wytworzony na podstawe jednego ( rozmnażane bezpłcowe ) lub dwóch ( rozmnażane płcowe ) bnarnych łańcuchów rodzcelskch. Przy tworzenu potomka" łańcuchy rodzcelske podlegają pewnym losowym zmanom (mutacje, krzyżowane). To one powodują, że osobnk potomne dzedzczą wprawdze zasadncze cechy swoch rodzców, ale mają także właścwośc neco zmodyfkowane. Już po klku pokolenach obserwujemy na ogół, że wytwarzane są kolejno łańcuchy, które ze względu na tzw. funkcję celu wykazują sę najlepszym przystosowanem. Funkcja celu, w naszym przypadku, to loraz odchyleń, oblczany dla zboru waldacyjnego. Pewna losowość tej metody 21 powoduje, że musmy lczyć sę z okresowym pogarszanem sę wynków. Na ogół, przy trafne dobranych parametrach, metoda ta daje jednak dobre rezultaty. Algorytm genetyczny szczególne skuteczne znajduje podzbory zmennych wzajemne uzależnonych (wymagających wspólnej obecnośc) [11]. Ze względu na specyfkę operacj krzyżowana, przed uruchomenem algorytmu, zamenono kolejność danych wejścowych tak, aby te o dużej korelacj ze zmenną wejścową znajdowały sę w bezpośrednm sąsedztwe. Dobór cech realzowano na populacj 100 elementowej przez 100 pokoleń. Wartość współczynnka mutacj ustalono na 0,01, współczynnka krzyżowana na 0,9, a kary jednostkowej, która faworyzuje mnejsze sec, przyjęto 0. Algorytm genetyczny ogranczył przestrzeń wejść do podzboru 35-wymarowego. Pozostawł w zborze wszystke zmenne z grup: SKY WIG, co po raz kolejny utwerdza nas w przekonanu, że wnoszą one najwęcej nformacj do modelu. Pozostawene wśród zmennych z grupy VOL tylko wolumenu obrotów opóźnonego o 6 dn, nasuwa przypuszczene, że modele otrzymane tą metodą pownny być neco lepej dopasowane od otrzymanych przy pomocy analzy wrażlwośc. Ne potwerdzają tego co prawda statystyk regresyjne najlepszej sec (MLP 35:5:1), zebrane w tablcy 6. (neco wyższy średn błąd prognozy), jak wartośc średne lorazu odchyleń z tablcy 17. dla zborów sec. Wartośc tam przedstawone są na zblżonych pozomach. Najbardzej prawdopodobną przyczyną osągnęca słabszych wynków za pomocą tej metody, stało sę zbyt małe ogranczene wymaru przestrzen wejścowej przyjęce w zwązku z tym dużej lczby wzajemne skorelowanych zmennych objaśnających. Teoretyczne, panaceum na te problemy, pownno być przyjęce różnego od zera współczynnka kary jednostkowej. Wele prób prowadzonych przy różnych jego wartoścach, z zakresu 0,001 do 0,01, ne doprowadzło jednak do pomyślnych rezultatów, gdyż w zborze wejścowym pozostawały tylko zmenne SKY. Statystyk regresyjne Ucz. Y_MSX Wal. Y_MSX Tst. Y_MSX Średn błąd prognozy 4,79% 3,08% 6,47% Iloraz odchyleń 0,6147 0,5258 0,8155 Korelacja 0,8156 0,8667 0,6586 Tablca 6. Statystyk regresyjne sec AG MLP (35:5:1) Wykres obrazujący rzeczywste ceny paketu akcj spółk Mostostal Export S.A. w zestawenu z prognozowanym zameszczony na rys.8. wykazuje duże podobeństwo do poprzednego. Dodatkowo ukazuje najmnejszą wrażlwość tego modelu na lokalne zmany cen, spośród wszystkch budowanych na potrzeby tego eksperymentu. 21 O welkośc wpływu czynnka losowego decydujemy m.n. poprzez dobór welkośc współczynnków: mutacj krzyżowana.
620 580 Cena paketu 100 akcj w zł 540 500 460 420 380 1905 1910 1915 1920 1925 1930 1935 1940 1945 1950 prognoza rzeczywste Nr notowana Rys.8. Ceny akcj spółk Mostostal Export S.A. w okrese od 01-01-29 do 01-04-05 2.4. Wyznaczene optymalnego wektora wejścowego przy pomocy selekcj postępującej krokowej Algorytmy krokowe, wstecznej postępującej selekcj cech, dodają lub usuwają po jednej zmennej w każdym kroku. Algorytm postępujący znajduje na początku taką zmenną, która samodzelne najlepej przewduje wartość wyjścową. W drugm kroku dodaje taką zmenną, która ma najkorzystnejszy wpływ na poprawę jakośc modelu. Proces jest kontynuowany aż do osągnęca braku poprawy jakośc modelu, przy dołączanu kolejnych zmennych. Algorytm wstecznej selekcj pracuje w przecwnym kerunku. Proces rozpoczyna sę z uwzględnenem wszystkch zmennych. W kolejnych krokach usuwa sę po jednej zmennej, zaczynając od tej spośród nch, której brak najmnej psuje jakość predykcj [10]. Przy zastosowanu algorytmu PSP przestrzeń wejść ogranczono do podprzestrzen 34- wymarowej. Nastąpło odrzucene wszystkch zmennych z grupy VOL. Przy pomocy tej metody osągnęto węc bardzo podobne rezultaty jak z wykorzystanem algorytmu genetycznego. Potwerdzają to równeż statystyk regresyjne najlepszej sec MLP 34:10:1, przedstawone w tablcy 7. jak te zawarte w tablcy 17. Statystyk regresyjne Ucz. Y_MSX Wal. Y_MSX Tst. Y_MSX Średn błąd prognozy 4,82% 2,58% 6,98% Iloraz odchyleń 0,5864 0,5090 0,8439 Korelacja 0,8127 0,8608 0,7049 Tablca 7. Statystyk regresyjne sec PSP MLP (34:10:1) Jednak wykres obrazujący rzeczywste ceny paketu akcj spółk Mostostal Export S.A. w zestawenu z prognozowanym, zameszczony na rys.9. bardzej przypomna ten otrzymany przy pomocy modelu AW MLP (8:13:1). Wyraźne wdać na nm próby dopasowana sę do lokalnych zman cen.
620 580 Cena paketu 100 akcj w zł 540 500 460 420 380 1905 1910 1915 1920 1925 1930 1935 1940 1945 1950 prognoza rzeczywste Nr notowana Rys.9. Ceny akcj spółk Mostostal Export S.A. w okrese od 01-01-29 do 01-04-05 2.5. Wyznaczene optymalnego wektora wejścowego przy pomocy selekcj krokowej wstecznej Zastosowane tej metody (WST), blżej opsanej w punkce poprzednm, doprowadzło do uzyskana bardzo podobnych rezultatów jak przy PSP. Na uwagę zasługuje jedyne fakt, że oprócz wszystkch zmennych z grupy SKY WIG włączone do modelu zostały równeż dwe zmenne z grupy VOL: VOL7 VOL10. Razem do modelu wprowadzono 36 zmennych wejścowych. Zaowocowało to poprawenem wskaźnków jakoścowych dla zboru 10-cu 40-stu najlepszych sec. Najlepsza seć, MLP 36:29:1, której wskaźnk regresyjne przedstawone są w tablcy 8. ma wyjątkowo słabe zdolnośc generalzacj. Wysok średn błąd prognozy (7,01%) bardzo duży loraz odchyleń (0,92) na zborze testowym, wykluczają skuteczne wykorzystane tego modelu w praktyce. Na wykrese z rys.10. zauważyć można nteresujące zachowane sę tej sec w zakrese perwszych 20-stu notowań. Ne wdać prawe żadnej reakcj na zmany zachodzące na wejścu. Przy takm zestawe zmennych wejścowych, zmany te ulegają wzajemnej kompensacj. Statystyk regresyjne Ucz. Y_MSX Wal. Y_MSX Tst. Y_MSX Średn błąd prognozy 4,27% 2,83% 7,01% Iloraz odchyleń 0,5542 0,5423 0,9200 Korelacja 0,8381 0,8549 0,6194 Tablca 8. Statystyk regresyjne sec WST MLP (36:29:1)
620 580 Cena paketu 100 akcj w zł 540 500 460 420 380 1905 1910 1915 1920 1935 1940 1945 1950 prognoza rzeczywste 1925 1930 Nr notowana Rys.10. Ceny akcj spółk Mostostal Export S.A. w okrese od 01-01-29 do 01-04-05 2.6. Wyznaczene optymalnego wektora wejścowego z wykorzystanem automatycznego projektanta Najwygodnejszym sposobem redukcj danych wejścowych przy wykorzystanu paketu SNN jest skorzystane z automatycznego projektanta sec. Wyręcza on użytkownka zarówno w procese budowy modelu jak też w odnesenu do optymalzacj podzboru wejścowego. Frma StatSoft ne prezentuje szczegółów jego dzałana. Można jednak przypuszczać, że jest to metoda hybrydowa, wykorzystująca take technk jak: algorytmy genetyczne, analzę wrażlwośc selekcje krokową. Wykorzystując to narzędze, zbór danych wejścowych został ogranczony do 27 elementów. Tablca 9. pokazuje, które ze zmennych weszły w skład optymalnego zboru, a które zostały odrzucone. W porównanu z poprzedno stosowanym metodam: AG, AW, PSP WST wdać bardzo wyraźną różncę. Automatyczny projektant odkrył, że zmenne wejścowe w całym zborze podzelone są na trzy grupy: SKY, WIG VOL, które wewnątrz grup są wzajemne bardzo mocno skorelowane. Z grupy SKY wybrał 17 spośród 26 zmennych. WIG VOL reprezentuje po 5 spośród 8 zmennych. Wszystko wskazuje na to, że ne jest to przypadek, ale metoda ta wykorzystuje równeż analzę korelacj. W tym przypadku równeż potwerdzło sę, że domnujące znaczene mają zmenne z grupy SKY. Śwadczyć o tym może fakt, że automatyczny projektant sec zwększył udzał tych zmennych w optymalnym podzborze danych wejścowych. VOL5 VOL6 VOL7 VOL8 VOL9 VOL10 VOL11 Tak Ne Ne Tak Ne Tak Tak VOL12 WIG5 WIG6 WIG7 WIG8 WIG9 WIG10 Tak Tak Tak Ne Tak Tak Ne WIG11 WIG12 SKY _2_7 SKY _3_7 SKY _2_8 SKY _3_8 SKY _4_8 Tak Ne Tak Tak Tak Tak Tak SKY _5_8 SKY _2_9 SKY _3_9 SKY _4_9 SKY 5_9 SKY _2_10 SKY _3_10 Ne Tak Tak Ne Tak Tak Tak SKY _4_10 SKY _5_10 SKY _2_11 SKY _3_11 SKY _4_11 SKY _5_11 SKY _2_12 Ne Ne Tak Tak Ne Tak Ne SKY _3_12 SKY _4_12 SKY _5_12 SKY _2_13 SKY _3_13 SKY _4_13 SKY _5_13 Ne Ne Tak Ne Tak Tak Tak Tablca 9. Wybór cech wejścowych dokonany przy wykorzystanu automatycznego projektanta sec AuPr Najlepszą secą uczoną na takm podzborze danych, okazał sę model MLP 27:14:1. Analza wskaźnków regresyjnych dla tej sec, przedstawonych w tablcy 10., ne potwerdza jednak
bardzo dużych oczekwań względem tej metody. Bardzo wysok loraz odchyleń (0,91) dla zboru testowego (gorsze wynk zostały uzyskane tylko bez preprocessngu danych dla wstecznej selekcj krokowej) przy bardzo dobrych wskaźnkach dla podzborów: uczącego waldacyjnego. Dane z tablcy 17. dla 10-co 40-sto elementowego zboru sec plasują tę metodę w bardzo blskej odległośc takch metod jak: AG, PSP WST, a znaczne nżej od PCA1. Ne dzw w zwązku z tym bardzo wysok średn błąd prognozy dla najlepszej sec (7,29%). Wykres obrazujący rzeczywste ceny paketu akcj spółk Mostostal Export S.A. w zestawenu z prognozowanym zameszczony na rys.11. wykazuje bardzo duże podobeństwo do wykresu wykonanego dla metody WST, czyl brak reakcj na zmany wejść w zakrese notowań od 1905 do 1924. Sugerowałoby to, że metoda ta mogła być wodącą, przy automatycznym wyborze optymalnego podzboru danych wejścowych. Statystyk regresyjne Ucz. Y_MSX Wal. Y_MSX Tst. Y_MSX Średn błąd prognozy 4,57% 2,74% 7,29% Iloraz odchyleń 0,6221 0,4891 0,9111 Korelacja 0,8026 0,8722 0,6283 Tablca 10. Statystyk regresyjne sec AuPr MLP (27:14:1) 620 580 Cena paketu 100 akcj w zł 540 500 460 420 380 1905 1910 1915 1920 1935 1940 1945 1950 prognoza rzeczywste 1925 1930 Nr notowana Rys.11. Ceny akcj spółk Mostostal Export S.A. w okrese od 01-01-29 do 01-04-05 2.7. Wyznaczene optymalnego wektora wejścowego przy pomocy sec autoasocjacyjnej Procedura wykorzystuje seć autoasocjacyjną do nelnowej kompresj danych wejścowych. Seć taka ma za zadane zapamętać prezentowany jej na wejścu wzorzec odtworzyć go na swom wyjścu. Informacja przechowywana jest w sposób rozproszony w postac odpowednch wartośc wag sec. Stąd nazwa sec, której dzałane przypomna ludzką pamęć skojarzenową. Pojemność sec ograncza lczba neuronów w warstwe ukrytej [9]. W przypadku prezentowana wzorców rzeczywstych, zmnejszane lczby tych neuronów, skutkować będze wzrostem błędu na wyjścu sec. Z kole, seć o mnejszej lczbe neuronów w warstwe ukrytej, pownna meć wększą zdolność do elmnacj szumów zawartych w sygnale wejścowym jednocześne pownna charakteryzować sę wększą zdolnoścą do generalzacj. Jeśl wyobrazmy sobe seć MLP 9:3:9, to odtworzene przyblżonych danych wejścowych na wyjścu sec (z akceptowalnym błędem tego przekształcena) powoduje, że seć mus dokonać kompresj sygnału 9-wymarowego do 3- wymarowego, a następne realzuje dekompresję do sygnału 9-wymarowego. Wystarczy teraz, po nauczenu sec takego przekształcena, odrzucć ostatną warstwę, a warstwa do tej pory ukryta, stane sę wyjścową wygeneruje sygnał 3-krotne skompresowany.
Do wyuczena sec autoasocjacyjnych, wykorzystywanych do nelnowej kompresj danych wejścowych przyjęto, zmenający sę w trakce uczena, współczynnk uczena η (ze wzoru 12.) w zakrese wartośc 0,9 do 0,1. Współczynnk bezwładnośc α (w tym samym wzorze) zmenał sę od 0,3 do 0,1. Seć uczono przez 5000 epok. Po każdym tysącu epok dokonywano zapsu najlepszej sec, wprowadzano losowe zaburzene wag kontynuowano uczene. Wykonano 10 ncjalzacj uczena (dla każdego stopna kompresj) przy losowym doborze wag początkowych. Przy wyborze najlepszych sec kerowano sę najmnejszą wartoścą funkcj energetycznej E ze wzoru 8. Arbtralne wybrano trzy stopne kompresj: 42 20 (2,1), 42 15 (2,8) 42 10 (4,2), przy wykorzystanu sec autoasocjacyjnych MLP w postac: 42-35-20-35-42, 42-32-15-32-42 42-30-10-30-42 22. Najlepszym secam dla realzacj preprocessngu z wykorzystanem autoasocjatorów okazały sę kolejno modele MLP: 20:1:1, 15:2:1 10:31:1. Wskaźnk regresyjne dla tych sec przedstawone są w tablcach 11., 12. 13., a wykresy obrazujące rzeczywste ceny paketu akcj spółk Mostostal Export S.A. w zestawenu z prognozowanym zameszczone są na rys.12.,13. 14. Statystyk regresyjne Ucz. Y_MSX Wal. Y_MSX Tst. Y_MSX Średn błąd prognozy 4,20% 2,66% 6,04% Iloraz odchyleń 0,5395 0,4863 0,7871 Korelacja 0,8419 0,8773 0,6843 Tablca 11. Statystyk regresyjne sec AA20 MLP (20:1:1) Statystyk regresyjne Ucz. Y_MSX Wal. Y_MSX Tst. Y_MSX Średn błąd prognozy 4,07% 2,76% 6,65% Iloraz odchyleń 0,5306 0,5285 0,8560 Korelacja 0,8477 0,8518 0,5380 Tablca 12. Statystyk regresyjne sec AA15 MLP (15:2:1) Statystyk regresyjne Ucz. Y_MSX Wal. Y_MSX Tst. Y_MSX Średn błąd prognozy 5,04% 2,76% 5,61% Iloraz odchyleń 0,6395 0,5058 0,7201 Korelacja 0,7981 0,8665 0,7458 Tablca 13. Statystyk regresyjne sec AA10 MLP (10:31:1) Zgodne z oczekwanam najlepsze wynk prognoz uzyskała seć uczona na danych o najwększym stopnu kompresj, a co za tym dze o najmnejszym wymarze przestrzen wejścowej. Średn błąd prognozy (5,61%) jest nemal dentyczny jak w przypadku najlepszej dotąd sec, otrzymanej przy metodze PCA1 (5,58%). Borąc pod uwagę, że obe przestrzene wejść mają zblżony, bardzo mały wymar (10 11), potwerdza to tezę postawoną na początku tego opracowana, że welkość ta stanow bardzo stotny czynnk determnujący jakość sec. Spostrzeżene to ne znajduje jednak pełnego potwerdzena w welkośc średnego lorazu odchyleń dla zborów: 10-cu 40-stu najlepszych sec dla modelu AA10. Welkośc tego wskaźnka wynoszą tylko 0,775 oraz 0,783 znaczne odbegają od modelu PCA1. Analza wykresów z rys.12., 13. 14. prowadz do wnosku, że charakter przebegu krzywych prognozy dla model AA20 AA10 jest bardzo zblżony, natomast dla modelu AA15 daje zaobserwować sę nekorzystne zjawsko. Dla 20-stu początkowych notowań ne obserwuje sę reakcj na zmany welkośc rzeczywstej. Zjawsko to wystąpło już przy metodze WST AuPr. 22 Wprowadzene ukrytych warstw pośrednch, drugej czwartej, o takej samej lczbe neuronów, z reguły poprawa jakość kompresj.
620 580 Cena paketu 100 akcj w zł 540 500 460 420 380 1905 1910 1915 1920 1925 1930 1935 1940 1945 1950 prognoza rzeczywste Nr notowana Rys.12. Ceny akcj spółk Mostostal Export S.A. w okrese od 01-01-29 do 01-04-05 AA20 620 580 Cena paketu 100 akcj w zł 540 500 460 420 380 1905 1910 1915 1920 1925 1930 1935 1940 1945 1950 prognoza rzeczywste Nr notowana Rys.13. Ceny akcj spółk Mostostal Export S.A. w okrese od 01-01-29 do 01-04-05 AA15 620 580 Cena paketu 100 akcj w zł 540 500 460 420 380 1905 1915 1925 1935 1945 prognoza 1910 1920 1930 1940 1950 rzeczywste Nr notowana Rys.14. Ceny akcj spółk Mostostal Export S.A. w okrese od 01-01-29 do 01-04-05 AA10
3. Ustalene optymalnej metody preprocessngu danych wejścowych Analza różnych metod preprocessngu prowadz do jednego, kluczowego wnosku. Część z tych metod bardzo dobrze określa herarchę poszczególnych składowych wektora wejścowego. Do nch zalczyć należy: algorytmy genetyczne, analzę wrażlwośc selekcję krokową. Dwe pozostałe, wykazują podobeństwo polegające na tym, że mnmalzując wektor wejścowy starają sę jednocześne zachować jego początkową warancję. PCA czyn to w oparcu o zasadę transformacj lnowej. Autoasocjatory z kole, dokonują nelnowej kompresj danych. Jednakże warancja oparta o zbór 42- elementowy obarczona jest szumem stnejącym w zborze danych. Analza wskaźnków regresyjnych z tablcy 17. prowadz do wnosku, że bardzej odporną metodą na to nekorzystne zjawsko jest PCA. Przekonuje o tym mnejsza rozbeżność lorazu odchyleń lczonego dla zborów: uczącego, waldacyjnego testowego oraz mnejszy rozrzut lczby neuronów w warstwach ukrytych w zborze najlepszych sec. Nasuwa to przypuszczene, że dalsza poprawa modelu może być osągnęta poprzez połączene obu tych równe pozytywnych, co nezależnych cech. Dlatego proponuje sę dwuczęścowy preprocessng danych. Korzystając z faktu, że perwsza grupa metod, w trakce prowadzonej analzy, wykazała stosunkowo małą wrażlwość na ubytek sedmu 23, spośród czterdzestu dwóch danych wejścowych, w końcowej częśc eksperymentu przyjęto 35-wymarowy wektor wejść zmnmalzowano go przy pomocy autoasocjatora MLP 35-25-10-25-35 oraz z wykorzystanem analzy PCA. 3.1. Wyznaczene optymalnego wektora wejścowego przy pomocy sec autoasocjacyjnej Najlepsze wynk osągnęła seć MLP 10:20:1. Jej wskaźnk regresyjne przedstawone w tablcy 14., pokazują co prawda wyraźne pogorszene średnego błędu prognozy (z 5,61% do 6,87%), ale ze względu na bardzo mały błąd na zborze waldacyjnym, bardzo duża różncę pomędzy błędem na zborze waldacyjnym uczącym ne wydaje sę, aby seć ta była reprezentatywna do wycągnęca generalnych wnosków. Bardzej rzetelną oceną jest w takm przypadku średn loraz odchyleń dla zboru 10-cu 40-stu najlepszych sec. Jego wartość wyraźne spadła bardzo zblżyła sę do wartośc osąganych przy modelu PCA1. Statystyk regresyjne Ucz. Y_MSX Wal. Y_MSX Tst. Y_MSX Średn błąd prognozy 5,02% 2,38% 6,87% Iloraz odchyleń 0,6222 0,4831 0,7975 Korelacja 0,7913 0,8795 0,7481 Tablca 14. Statystyk regresyjne sec A10 MLP (10:20:1) Wykres obrazujący rzeczywste ceny paketu akcj spółk Mostostal Export S.A., w zestawenu z prognozowanym, dla modelu A10 ne wykazuje zauważalnych różnc w stosunku do modelu AA10 prezentowanego na rys.14. 3.2. Wyznaczene optymalnego wektora wejścowego przy pomocy PCA Aby zachować 99% nformacj zawartych w 35 wymarowej obecne przestrzen wejścowej, należy ogranczyć ponowne przestrzeń wejść do jedenastu wymarów (tablca 15.). Składowe SG.1 SG.2 SG.3... SG.10 SG.11 Informatywność 0,927056 0,954104 0,962682... 0,989366 0,991485 Tablca 15. Stopeń zachowana nformacj przestrzen wejść wg PCA2 23 VOL5, VOL7, VOL8, VOL9, VOL10, VOL11 VOL12
Wskaźnk regresyjne dla najlepszej sec (MLP 11:20:1) zawarte w tablcy 16. oraz dla zborów sec znajdujące sę w tablcy 17., potwerdzają przypuszczene, że analza głównych składowych wykazuje dużą odporność na występowane różnorakch szumów w danych wejścowych. Nastąpł tylko neznaczny spadek średnego błędu prognozy (z 5,58% do 5,43%). Co prawda loraz odchyleń dla najlepszej sec wzrósł o 0,05, ale ne potwerdza sę to dla zborów sec, gdze ten sam wskaźnk spadł o 0,04. Statystyk regresyjne Ucz. Y_MSX Wal. Y_MSX Tst. Y_MSX Średn błąd prognozy 4,39% 2,84% 5,43% Iloraz odchyleń 0,5631 0,4794 0,7196 Korelacja 0,8285 0,9041 0,7393 Tablca 16. Statystyk regresyjne sec PCA2 MLP (11:20:1) Wykres obrazujący rzeczywste ceny akcj spółk Mostostal Export S.A. w zestawenu z prognozowanym, ne wykazuje wyraźnych różnc w stosunku do wykresy na rys.6. Wnosk z eksperymentu Najważnejszym wskaźnkem do oceny przydatnośc sec do prognozy cen paketu akcj spółk Mostostal Export S.A. jest, wyrażony w %, średn błąd prognozy na zborze testowym. W trakce prowadzonego eksperymentu potwerdzło sę przekonane, że generowany przez paket SNN loraz odchyleń daje bardzo podobne oceny model. W zwązku z powyższym, do analz opartych o średne wynk dla podzborów sec, wykorzystano ten ostatn. Zestawene średnch wartośc lorazu odchyleń, dla podzborów: 10-cu 40-stu najlepszych sec, zawera tablca 17. Daje ona warygodnejszą ocenę wpływu poszczególnych metod na jakość modelu prognostycznego. Dzeje sę tak z tej przyczyny, że uśrednone wartośc na lcznym zborze, pomnejszają znaczene przypadkowego, lepszego dopasowana sę pojedynczej sec do prezentowanych wzorców. Analza danych zawartych w tablcy przedstawonych na wykrese z rys.15., jednoznaczne potwerdzają potrzebę dokonywana preprocessngu. Różnce pomędzy odmennym metodam jego prowadzena ne są tak welke, jak występująca różnca w przypadku jego zanechana. Dalsza analza prowadz do wnosku, że wszystke metody, które bardzej od nnych zredukowały przestrzeń wejścową, dały najmnejszy wskaźnk błędu. Jedyne w przypadku analzy wrażlwośc, zauważyć można nską stablność ocen: mały średn błąd prognozy najlepszej sec (6,11%), wysok współczynnk korelacj (0,75), nsk średn loraz odchyleń w podzborze 40- stu najlepszych sec (0,747), a jednocześne wyraźne mnejszy ten ostatn wskaźnk w podzborze 10-cu najlepszych sec (0,804) najwększe zróżncowane archtektury w podzborach sec, spośród wszystkch analzowanych model (od 1 aż do 71 neuronów w warstwe ukrytej). Nezwykle cenną cechą każdego modelu, w tym neuronowego, są jego zdolnośc generalzacyjne, czyl jakość dzałana na nowych, nedostępnych w procese uczena danych. Często bywa tak, że bardzo dobre wskaźnk jakoścowe na zborze uczącym waldacyjnym wyraźne odbegają od oblczonych na zborze testowym. Oznacza to, że seć neuronowa zanadto dopasowała sę do danych uczących, a gorzej uchwycła rzeczywstą zależność pomędzy zmenną opsywaną a zmennym objaśnającym. Jedną z możlwych przyczyn wystąpena takego zjawska może być zbyt mała, w stosunku do lczby neuronów w sec, lczba obserwacj w zborze uczącym. Wykres z rys.16. wyraźne pokazuje, że redukcja wymaru przestrzen wejść mnmalzuje zróżncowane jakośc oblczonej dla uczena, waldacj testowana. Można węc stwerdzć, że sec PCA1, PCA2, A10 AA10 uzyskały najwększe zdolnośc generalzacyjne. Szczególne zaskakujące są wynk metody opartej o analzę głównych składowych realzowaną na całym zborze wejścowym (PCA1). O le w przypadku metody autoasocjacyjnej, wstępne odrzucene najmnej stotnych zmennych wejścowych, dało wdoczną poprawę jakośc sec (m.n. rys.17., tablca 17.), to wynk model PCA1 PCA2 są bardzo do sebe zblżone.