Dokument techniczny Duże ilości danych i inteligentne dokonywanie transakcji Stephen F. Elston Melinda J. Wilson www.sybase.com.pl
SPIS TREŚCI 3 Duże ilości danych 3 Duże ilości danych, ale czy informacji? 3 Od transakcji z wysoką częstotliwością do transakcji inteligentnych 4 Duże ilości danych: jak wydobyć dużą ilość informacji? 5 Dane wzbogacone: bogate możliwości transakcyjne 5 Integracja linii montażowej transakcji inteligentnych 6 Przetwarzanie dużych ilości danych w czasie rzeczywistym 7 Zarządzanie dużymi ilościami danych historycznych 7 Łączenie elementów w całość 2
Równoczesne występowanie dużych ilości danych i transakcji inteligentnych prowadzi do gwałtownego rozwijania nowych, zyskownych, a często również fascynujących strategii transakcyjnych. Strategie te wydobywają i ujarzmiają informacje z tysięcy mniej i bardziej konwencjonalnych źródeł danych, często na olbrzymią skalę. Biura maklerskie wykorzystujące nowe strategie transakcyjne oparte na dużych ilościach danych poszukują trwałych zysków w dłuższych horyzontach czasowych. DUŻE ILOŚCI DANYCH Od kilku lat duże ilości danych to gorący temat, który przyciąga znaczną uwagę i zainteresowanie. Trafnym przykładem takiego zainteresowania jest zamieszczony w numerze The Economist z 25 lutego 2012 r. artykuł Data, data everywhere (Gdzie sięgnąć okiem, tam dane), przedstawiający interesujący przegląd firm z różnych branż, które eksploatują duże ilości danych. Oprócz tego McKinsey Global Institute opublikował w maju 2011 r. raport zatytułowany Big Data: The next frontier in innovation, competition and productivity (Duże ilości danych: kolejna granica w innowacji, konkurencji i produktywności), w którym przedstawiono kompleksową analizę skutków ekonomicznych i potencjału wzrostowego dużych ilości danych oraz wyłuszczono drogę, jaką duże ilości danych przebyły od świeżo opracowanej do weryfikowalnie zasadnej koncepcji technologicznej. A gdy w 2010 r. duże ilości danych doczekały się swojego artykułu w Wikipedii, jasnym stało się, że koncepcja ta wyszła z opłotków i przebiła się do powszechnej świadomości językowej, czego dowodem jest szereg zaciętych dyskusji panelowych na tegorocznej konferencji SXSW. Łączna obecność tematu w mediach pozwala domniemywać, że ujarzmianie i wykorzystywanie dużych ilości danych stało się elementem wpływającym na konkurencję, co ma pewne dość unikatowe następstwa. Dla osób pracujących na rynkach kapitałowych styczność z dużymi danymi nie jest żadną nowością. Osoby te codziennie mierzą się z ostateczną rzeczywistością, w której występują duże ilości danych, to jest z rynkiem. Według firmy Hanweck Associates w 2011 r. zgromadzono 15 terabajtów danych Systemu Podawania Cen Opcji (OPRA) i 2,5 terabajtów danych rynkowych produktów kapitałowych poziomu 1. OPRA prognozuje, że tylko w 2012 r. wolumeny danych dotyczących notowanych opcji ulegną prawie podwojeniu. Są to już naprawdę duże ilości danych. DUŻE ILOŚCI DANYCH, ALE CZY INFORMACJI? Dane rynkowe to z definicji duże ilości danych. Niemniej jednak duże ilości danych nie zawsze oznaczają duże ilości informacji, gdyż jej gęstość może być raczej niewielka. Dowodem na niewielką gęstość informacji jest stosunek notowań do transakcji w danych OPRA, który w lutym 2012 r. wynosił według spółki Exegy, Inc. około 4000 do 1. Ponadto w danych produktów kapitałowych poziomu 1 mniej niż 15% notowań spowodowało ustanowienie nowej ceny w połowie widełek. Sytuację pogarszają dane produktów kapitałowych poziomu 2, w których gęstość informacji jest jeszcze mniejsza. Aby wykazać przydatność i posłużyć do podejmowania działań, nieprzetworzone dane rynkowe muszą zostać wzbogacone i uszlachetnione w systematycznym procesie. OD TRANSAKCJI Z WYSOKĄ CZĘSTOTLIWOŚCIĄ DO TRANSAKCJI INTELIGENTNYCH Nadejście technologii i technik wykorzystujących duże ilości danych zbiegło się w czasie ze zmianami w elektronicznym prowadzeniu transakcji, to jest nastaniem ery transakcji z wysoką częstotliwością (HFT). Według niedawnego artykułu w Financial Times (lipiec 2011 r.), zyskowność HFT osiągnęła szczytową wartość w 2009 r. i od tamtej pory spadała. Raport IBSIWorld z lutego 2012 r. zatytułowany Growth in High Frequency Trading Slowing Down (Wzrost w segmencie transakcji z wysoką częstotliwością spowalnia) wskazuje, że w roku 2012 przyrost HFT wyniesie około 50% wielkości z pięciu poprzednich lat. 3
60% 50% 40% Nie tak szybko? Transakcje z wysoką częstotliwością (udział w rynku akcji) US* Europa** Zyskowność transakcji z dużą częstotliwością Przychody uzyskane przez firmy amerykańskie $7.2B $5.7B $4.8B 30% 20% 10% 0 2006 2007 2008 2009 2010 2011 2009 2010 2011 Źródło: TABB Group * Na podstawie wolumenu akcji ** Na podstawie bazowej wartości akcji Rys. 1. Według TABB Group zyskowność HFT maleje. Nie ulega wątpliwości, że HFT wywarło wyraźne i nieodwracalne piętno na elektronicznych rynkach papierów wartościowych i powiązanej z nimi technologii. Również z historycznego punktu widzenia bardziej udane strategie transakcji rutynowo polegały na dostępie do rynku z niskim opóźnieniem. Niemniej jednak transakcje z niewielkim opóźnieniem kierują się w stronę giełd towarowych, dlatego też używanie niewielkich opóźnień jako jedynego wyróżniającego czynnika strategicznego przynosi malejące zwroty. Niewątpliwie niektórzy maklerzy stosujący tę technikę będą doskonalili swoje systemy i dalej osiągali zyski, zakładając, że negatywna reakcja społeczeństwa i rysujące się na horyzoncie przepisy prawa nie wymuszą na nich zamknięcia biur. Jednakże większość biur maklerskich będzie musiała w celu utrzymania zyskowności rozbudować podejście oparte na niewielkich opóźnieniach. Trend ten udokumentowany został w raporcie Tabb Group Quantitative Research: Life After High Speed Saturation (Badania ilościowe: Życie po nasyceniu dużą szybkością) z czerwca 2011 r. i raporcie A-Team Data Management For New Trading Opportunities (Zarządzanie danymi a nowe możliwości transakcyjne) z września 2010 r. W trakcie poszukiwań nowych zyskownych strategii transakcyjnych organizacje ewoluują w kierunku transakcji inteligentnych. Transakcje inteligentne polegają na wydobywaniu informacji z szeregu dużych i złożonych źródeł i typów danych oraz ich analizowaniu w celu stworzenia całościowego widoku stanu rynku. Celem transakcji inteligentnych jest wydobycie i wykorzystanie unikatowych sygnałów transakcyjnych, zwłaszcza tych trwałych w czasie. Chociaż transakcje inteligentne również wykorzystują dostęp do rynku z niewielkim opóźnieniem, trwałość sygnałów jest kluczową cechą odróżniającą je od HFT. DUŻE ILOŚCI DANYCH: JAK WYDOBYĆ DUŻĄ ILOŚĆ INFORMACJI? Efektywne wydobywanie informacji z dużych ilości danych i jej integrowanie z innymi źródłami leży u sedna transakcji inteligentnych. W konsekwencji wolumen i tempo komunikatów dużych ilości danych posiadających strukturę i nieposiadających struktury sprawiają, że konieczne jest zastosowanie dobrze zdefiniowanego procesu wzbogacania danych. Proces ten jest kluczem do sukcesu. Wzbogacanie danych to zasadniczo działania polegające na zarządzaniu danymi i ich organizacji. Należy przy tym odpowiedzieć sobie na następujące pytania: jaki rodzaj strategii chce się zbudować, jakich sygnałów się oczekuje, jakie dane są potrzebne, jakich źródeł danych można użyć, jak zorganizować, zintegrować i zagregować te dane, jakie narzędzia analityczne są dostępne? Na szczęście proces wzbogacania danych wesprzeć można łatwo dostępną technologią bogatej platformy. Procesy wzbogacania danych obejmują normalizację, oczyszczanie, podsumowanie i agregację zbiorów danych posiadających strukturę i nieposiadających struktury. Oprócz danych rynkowych, dane, które zwykle posiadają strukturę, to między innymi dane referencyjne, dane podstawowe i informacje ekonometryczne. Niekonwencjonalne i często nieposiadające struktury typy danych to wiadomości elektroniczne, nastroje, informacje o pogodzie i wzory ruchu. W procesie wzbogacania następuje przetworzenie danych nieposiadających struktury z treści o dużym tempie komunikatów, dużym wolumenie i małej gęstości informacji na treść o małym tempie komunikatów, małym wolumenie i dużej gęstości informacji. Wzbogacanie dokonywane jest zwykle zarówno na danych czasu 4
rzeczywistego, jak i historycznych. Dane wzbogacone są następnie używane w podstawowej działalności przedsiębiorstwa, gdzie rodzi się strategia w badaniach, testowaniu na danych historycznych, walidacji i wreszcie transakcjach w czasie rzeczywistym. DANE WZBOGACONE: BOGATE MOŻLIWOŚCI TRANSAKCYJNE Złożony proces wzbogacania obejmuje oczyszczanie, normalizację, integrację i agregację danych rynkowych z wielu rynków i obszarów geograficznych, a także rozmaitych klas aktywów. Dane te integrowane są z innymi źródłami posiadającymi i nieposiadającymi struktury w celu stworzenia strumieni wzbogaconych. Strumienie z kolei zapewniają kompleksowy i zintegrowany widok stanu rynku i mogą posłużyć do szeregu działań, takich jak generacja sygnałów, wykonywanie transakcji, raportowanie zysków i strat w czasie rzeczywistym oraz pomiary ryzyka w czasie rzeczywistym. Jako przykład rozważmy sposób zbierania danych wzbogaconych na potrzeby strategii arbitrażu globalnego indeksu akcji. Wzbogacić i przekazać do procesu generującego sygnał należy zarówno dane posiadające strukturę, jak i nieposiadające struktury. Dane rynkowe akcji składających się na indeks, a także fundusze ETF, transakcje futures i opcje śledzące indeks i składniki indeksu zintegrowane są z innymi danymi posiadającymi strukturę, takimi jak dane makroekonomiczne, dane podstawowe i ceny rynkowe towarów. Dane referencyjne utrzymują zależności pomiędzy podobnymi i podrzędnymi papierami wartościowymi. Wykorzystując notowania walut w czasie rzeczywistym, można przeliczyć ceny na walutę podstawową. Do wydobycia stosownej informacji dotyczącej nastrojów konsumentów oraz zlokalizowania i przeanalizowania istotnych wiadomości i nastrojów potrzebne są zwykle duże wolumeny danych posiadających strukturę, a także olbrzymie zbiory danych nieposiadających struktury. Proces wzbogacania znacząco zmniejsza wolumen danych, przekształcając nieprzetworzone dane posiadające strukturę i nieposiadające struktury na kompaktową postać nadającą się do wydobywania sygnałów. Olbrzymie wolumeny danych nieposiadających struktury redukowane są do niewielkiej liczby ocen istotności. Wzbogacone dane rynkowe obejmują bogaty zbiór statystyk podsumowujących, aktualizowanych w czasie rzeczywistym. Dane te mogą obejmować informacje o trendach cen, różnicach kursowych, wolumenach transakcji, zmienności i płynności. INTEGRACJA LINII MONTAŻOWEJ TRANSAKCJI INTELIGENTNYCH Cykl transakcji inteligentnych rozpoczyna się od badań nad opracowaniem metod i algorytmów analizy. Potem następują rygorystyczne testy na danych historycznych, okres symulowanych transakcji lub walidacji w czasie rzeczywistym, a następnie okres produkcyjny z użyciem nowych procesów. Ten sam cykl ma zastosowanie do większości procesów inteligentnych transakcji, w tym metod generowania sygnałów, algorytmów transakcji i modeli ryzyka rynkowego. Powyższy typowy schemat roboczy powtarza się ciągle, często w cyklach nakładających się w czasie. Transakcje w czasie rzeczywistym Bogate źródła danych czasu rzeczywistego Walidacja Badania i opracowywanie algorytmów Testowanie na danych historycznych Archiwum danych historycznych Rys.2. Zintegrowany cykl transakcji inteligentnych. 5
Platforma zintegrowana dokonuje zarządzania i analizy w stosunku do dużej ilości danych posiadających strukturę i nieposiadających struktury, czasu rzeczywistego i historycznych, szybko i wydajnie wykorzystując najlepsze okazje transakcyjne dzięki zastosowaniu zunifikowanego całościowego widoku stanu rynku. Na środowisko to składają się technologia przetwarzania złożonych zdarzeń (CEP), dostosowana do przetwarzania w czasie rzeczywistym, zintegrowana z bazą danych zorientowaną na kolumnach do przechowywania danych historycznych, ich odtwarzania i zarządzania nimi. Takie pojedyncze środowisko ułatwia szybkie tworzenie, testowanie i wdrażanie procesów transakcji inteligentnych do produkcji. Dane rynkowe o dużym wolumenie Event Stream Processor Silnik przetwarzania złożonych zdarzeń Filtrowanie, agregowanie Procesy transakcyjne w czasie rzeczywistym SAP Sybase Replication Server Informacje o pozycjach i transakcjach Dane referencyjne Dane indeksów Elektroniczne strumienie wiadomości Dane podstawowe Dane ekonomiczne Serwer publikujący SAP SYBASE RAP Baza danych w pamięci Repozytorium historyczne Maklerzy Badacze Zarządzający ryzykiem Rys.3. Zintegrowane środowisko inteligentnych transakcji. Integracja z narzędziami badawczymi, takimi jak wszechstronny język R rozpowszechniany jako otwarte oprogramowanie, znacznie rozszerza możliwości analityczne bazy danych zorientowanej na kolumny i platformy CEP. Do wykonywania złożonych badań można zaprzęgnąć setki pakietów analitycznych dostępnych dla języka R. Pakiety te oferują m.in. złożoną analizę serii czasowych, analizę tekstową, modelowanie ryzyka i poszukiwanie przyczyn uzyskanych wyników. Oprócz języka R badacze korzystają zwykle z oprogramowania Matlab i podobnych narzędzi. Rozmiary zbiorów danych w języku R i podobnych narzędziach ograniczone są rozmiarami pamięci. Wykorzystanie radykalnie zmniejszonych wolumenów wysoce wzbogaconych danych rynkowych daje badaczom do ręki kompleksową informację o stanie rynku, jednocześnie nie obciążając nadmiernie możliwości powyższych powszechnie używanych narzędzi. PRZETWARZANIE DUŻYCH ILOŚCI DANYCH W CZASIE RZECZYWISTYM Duże ilości danych to siła napędowa transakcji inteligentnych, a technologia CEP idealnie nadaje się do wzbogacania danych w czasie rzeczywistym. Platforma CEP zapewnia środowisko szybkiego pisania, testowania i, co najważniejsze, wykonywania procesów wzbogacania. Dzięki technologii CEP można wzbogacać i integrować duże wolumeny danych wielu rodzajów i z różnych źródeł, a następnie wydobywać z nich informację. Wzbogacone strumienie informacji są z kolei przekazywane do działających na tej samej platformie procesów transakcji inteligentnych czasu rzeczywistego. Platforma CEP służy do wzbogacania nie tylko danych rynkowych czasu rzeczywistego, lecz również integrowania innych danych posiadających strukturę i nieposiadających struktury. Dane te mogą być różnych rodzajów, od względnie statystycznych, takich jak dane podstawowe i makroekonomiczne, do informacji prawie czasu rzeczywistego, takich jak oceny nastrojów. 6
W przypadku danych rynkowych o zmianach kursów w czasie rzeczywistym platforma CEP wykonuje istotne zadania wzbogacania i integracji w ciągu kilku milisekund lub krótszym. Przykładowo możliwe jest korygowanie cen z użyciem najnowszych danych walut dla celów globalnych transakcji i podsumowań ksiąg zleceń, jak również obliczanie poziomów indeksów w czasie rzeczywistym w połączeniu ze stosowaniem licznych analiz w czasie rzeczywistym i środków zapobiegania ryzyku. Filtrowanie, integracja i agregacja w czasie rzeczywistym dostępna na platformie CEP zapewnia procesom transakcyjnym na dalszych etapach strumienie wysoce wzbogaconych danych. ZARZĄDZANIE DUŻYMI ILOŚCIAMI DANYCH HISTORYCZNYCH Zarządzanie dużymi ilościami danych dla celów transakcyjnych wiąże się z ich przechowywaniem, wydobywaniem i odtwarzaniem. Wzbogacanie danych zintegrowane jest z procesem odtwarzania. Odpytywane i odtwarzane w kolejności chronologicznej są dane posiadające strukturę i nieposiadające struktury. Wzbogacanie danych zmniejsza wolumen przetwarzany przy każdym zapytaniu. Bazy danych zorientowane kolumnowo oferują wszechstronną platformę zarządzania dużymi ilościami danych. Większość dużych ilości danych posiadających strukturę, w tym dane rynkowe, są ze swej natury pogrupowane w serie czasowe, w związku z czym architektura zorientowana kolumnowo jest dla nich naturalna i wysoce wydajna. Zorientowana kolumnowo architektura przetwarzania równoległego na dużą skalę (MPP) typu share-everything umożliwia równoczesne wykonywanie wielu zapytań na dużych archiwach danych, zarówno posiadających strukturę, jak i nieposiadających struktury. Dodatkowo dzięki umieszczeniu procesów wzbogacania blisko archiwum zapytania zwracają mniejsze wolumeny danych wzbogaconych zamiast dużych wolumenów danych nieprzetworzonych. Efektywna baza danych zarządzająca dużą ilością rynkowych danych o zmianach kursów musi dysponować elastycznością i narzędziami pozwalającymi przechowywać i integrować wiele typów danych. Za pomocą narzędzi OLAP można integrować i wzbogacać różne typy danych o różnych częstotliwościach. Zapytania wykonywane na historycznych danych rynkowych dla celów testowania muszą zwracać serie czasowe z wartościami ciągłymi, skorygowanymi o działania firmy. Wraz z upływem czasu należy stosować mapowanie symboli i rolowanie. Wreszcie wymagane są filtry kalendarza finansowego w celu normalizacji znaczników czasu i filtrowania serii danych pod kątem godzin pracy giełd, świąt, połówek dni i wstrzymanych obrotów. ŁĄCZENIE ELEMENTÓW W CAŁOŚĆ Skrzyżowanie technologii dużych ilości danych i procesów transakcji inteligentnych wytycza ekscytujące nowe kierunki zyskownych transakcji. W transakcjach inteligentnych bogate zbiory danych generują trwałe w czasie, zyskowne sygnały transakcyjne. Zintegrowane środowisko technologii CEP i bazy danych zorientowanej kolumnowo zapewnia idealną platformę do efektywnego tworzenia i wdrażania nowych procesów transakcji inteligentnych. Wykorzystanie tych wszechstronnych platform przeciwstawić można tworzeniu i utrzymywaniu platformy transakcyjnej stworzonej dla jednego celu. Platforma taka budowana jest zwykle w ramach szeregu jednorazowych i doraźnych projektów. Korzystanie ze zintegrowanej technologii platformy umożliwia pracownikom biur maklerskich koncentrowanie się na bardziej inteligentnych transakcjach zamiast na budowie i konserwacji infrastruktury. Środowisko zintegrowane zwiększa możliwości dokonywania transakcji w sposób inteligentniejszy i bardziej zyskowny, a jednocześnie zmniejsza koszty związane z cyklem życia. 7
Sybase, Inc. Worldwide Headquarters One Sybase Drive Dublin, CA 94568-7902 U.S.A. 1-800-8-SYBASE www.sybase.com 8 Sybase Products Poland Sp. z o.o. Ul. Wołoska 5 budynek Taurus 02-675 Warszawa +48 22 212 5428 www.sybase.com.pl Copyright 2012 Sybase, an SAP Company. Wszelkie prawa zastrzeżone. Nieujawnione prawa zastrzeżone na podstawie amerykańskich przepisów o prawach autorskich. Sybase i logo Sybase są znakami towarowymi Sybase, Inc. lub jego spółek zależnych. wskazuje na rejestrację w Stanach Zjednoczonych Ameryki. SAP i logo SAP są znakami towarowymi lub zarejestrowanymi znakami towarowymi SAP AG w Niemczech oraz w kilku innych krajach. Wszystkie inne znaki towarowe są własnością ich właściwych właścicieli. 04/12