Streszczenie HURTOWNIA DANYCH ISTOTNYM ELEMENTEM ZAAWANSOWANYCH SYSTEMÓW INFORMACYJNO-ANALITYCZNYCH Helena Dudycz Akademia Ekonomiczna we Wrocławiu Instytut Informatyki Ekonomicznej helena.dudycz@ae.wroc.pl Wiele przedsiębiorstw boryka się z trudnościami szybkiej analizy heterogenicznych danych, znajdujących się w wielu rozproszonych bazach transakcyjnych, w celu pozyskania potrzebnej informacji do podejmowania trafnych decyzji. Jednym z rozwiązań, pozwalającym pokonać te trudności, są zaawansowane systemy informacyjno-analityczne (ZSIA) tworzone według koncepcji Business Intelligence, których istotnym elementem jest hurtownia danych. Celem niniejszego artykułu jest wskazanie znaczenia hurtowni danych w architekturze ZSIA. Słowa kluczowe: hurtownia danych, zaawansowane systemy informacyjnoanalityczne, Business Intelligence. 1. Wprowadzenie Jedną z przyczyn inwestowania przedsiębiorstwa w technologię informatyczną jest potrzeba dysponowania w miarę moŝliwości pełnym zasobem informacji, zarówno o własnej organizacji, jak i o ogólnych warunkach środowiska zewnętrznego. Brak jej we właściwym momencie nie pozwala na wnikliwą i rzeczową ocenę danego zjawiska, a w konsekwencji na dobre przygotowanie procesu decyzyjnego i tym samym, na podjęcie optymalnej decyzji. Konieczność pozyskiwania przetworzonych, wyselekcjonowanych i zagregowanych informacji o bieŝącym stanie przedsiębiorstwa, których podstawę stanowią dane z systemów transakcyjnych, rozproszonych w całym obiekcie gospodarczym, wymaga stosowania systemów informacyjno-decyzyjnych 1 (zob. [Dudy02, s. 148]). 1 PoniewaŜ pomiędzy procesami informacyjnymi a procesem podejmowania decyzji istnieje ścisły związek, dlatego coraz częściej nie mówi się o dwóch odrębnych procesach i systemach tj. informacyjnym i decyzyjnym, lecz o procesie i systemie informacyjno-decyzyjnym, którego podstawowym zadaniem jest dostarczanie potrzebnych in-
316 Technologia przetwarzania wiedzy w SWO Jednym z rozwiązań, bazującym na nowoczesnych technologiach informatycznych, wychodzącym naprzeciw wyzwaniu dostarczania juŝ nie tylko informacji, ale informacji odpowiednio przetworzonej i poddanej w jak najbardziej obrazowej formie, opierając się na koncepcji Business Intelligence 2 (BI) są zaawansowane systemy informacyjno-analityczne (ZSIA). Celem niniejszego artykułu jest wskazanie znaczenia hurtowni danych w architekturze ZSIA. Zanim to nastąpi, dla czytelności rozwaŝań w pierwszej kolejności zaprezentowano ogólną charakterystykę ZSIA oraz hurtowni danych. 2. Zaawansowane systemy informacyjno-analityczne Zaawansowane systemy informacyjno-analityczne stanowią szerokie połączenie aplikacji i technologii umoŝliwiających zbieranie, łączenie, gromadzenie, selekcję, analizę i czytelną prezentację, pochodzącej z róŝnych źródeł informacji (wiedzy) biznesowej na potrzeby konkretnych dziedzin działalności gospodarczej przedsiębiorstwa według koncepcji BI (por. [DuSi03, s.90]). Są to rozwiązania kompleksowe realizujące proces przetwarzania danych w wiedzę biznesową. Zadaniem ich jest zarówno analiza wcześniej zaistniałych faktów gospodarczych, jak i przewidywanie (prognozowanie) przyszłych zdarzeń przy zaistnieniu określonych warunków w przyszłości. A zatem istotną funkcją ZSIA jest równieŝ wspieranie planowania oraz opracowywania strategii przedsiębiorstwa. Architektura ZSIA składa się z czterech warstw funkcjonalnych (rys. 1), gdzie kaŝda z nich zawiera określone narzędzia czy teŝ technologie, których obecność warunkuje ostateczną ich funkcjonalność. Są to (por. [DuSi03, s. 91-93]): 1. Warstwa I: integracji i składowania - stanowi trzon całościowego rozwiązania, zapewniając przede wszystkim szybki dostęp do spójnych, zintegrowanych danych na poziomie całego przedsiębiorstwa; wyróŝniono w niej następujące elementy: hurtownię danych, narzędzia ETL (Extraction, Transformacji do podejmowania decyzji we właściwym czasie. W takim teŝ kontekście to pojęcie jest uŝywane w niniejszym artykule. 2 Business Intelligence jest interpretowany - przez autorkę - jako zbiór metod i procesów mających na celu ulepszanie decyzji biznesowych, wykorzystując dane zawarte we wszystkich zasobach przedsiębiorstwa oraz doświadczenie i wiedzę uczestników biznesu w celu dokładnego zrozumienia jego strategii oraz celów, gdzie dostarczone rozwiązania informatyczne pozwalają zarówno na zbieranie, przetwarzanie i zarządzanie danymi, jak i analizowanie oraz dystrybuowanie informacji (zob. równieŝ [BuIn01, s. 3]). BI jest rozwiązaniem systemowym wynikającym ze ścisłej współpracy informatyki z biznesem, gdzie BI to nie tylko narzędzia do analizy danych, ale równieŝ przygotowanie i poprowadzenie tej analizy (zob. [BuIn03, s. 9]).
Hurtownia danych istotnym elementem zaawansowanych systemów... 317 formation and Loading) 3 oraz agregacje OLAP (On-Line Analytical Processing) 4. 2. Warstwa II: przetwarzanie analityczne, w ramach której wydzielono trzy kategorie narzędzi: podstawowe narzędzia analityczne 5, zaawansowane narzędzia analityczne 6 oraz aplikacje analityczne stanowiące dedykowane rozwiązania 7. 3. Warstwa III: udostępnianie wyników, w ramach której moŝna mówić o dwóch podstawowych kategoriach rozwiązań: portalach informacyjnych (rozpatrywanych w kontekście intranetu i extranetu jako m.in. udostępniania wyników analiz w technologii WWW) oraz automatycznej dystrybucji (dotyczy to m.in. harmonogramowania wysyłki wyników zapytań, raportów w formie np.: e-mail, sms, fax). 4. Warstwa IV: administracja - przenikająca przez wszystkie trzy poprzednie warstwy, w ramach której moŝna wyodrębnić następujące przykładowe zagadnienia: zarządzanie dostępem (zarówno do danych zawartych w warstwie integracji i składowania, jak i do określonych funkcji narzędzi analitycznych oraz wygenerowanych wyników), analiza i optymalizacja zarówno wydajności poszczególnych komponentów ZSIA, jak i korzystania z aplikacji przez uŝytkowników oraz personalizacja. Wiele opcji zawartych w rozwiązaniu klasy ZSIA nie jest nowych. Ewoluowały one stopniowo w miarę postępu technologii (w tym równieŝ rozwoju baz 3 Narzędzia ETL są nierozerwalnym elementem hurtowni danych, słuŝące do ekstrakcji, transformacji i ładowania do niej danych źródłowych. 4 Są to mechanizmy (funkcjonujące zazwyczaj jako element serwerowy) słuŝące do tworzenia agregacji danych, które pełnią funkcję efektywnego źródła danych (szybki dostęp do danych zagregowanych) dla narzędzi warstwy przetwarzania analitycznego. 5 Podstawowe narzędzia analityczne stanowią najpowszechniej stosowaną formę przetwarzania analitycznego, w ramach którego moŝna wyróŝnić: narzędzia generowania zapytań i raportowania (Query&Report Q&R), eksplorację OLAP (pakiety front-end do dynamicznej analizy danych zawartych w agregacjach OLAP), arkusze kalkulacyjne oraz narzędzia wizualizacji danych. 6 Są to następujące rozwiązania: statystyczne (obejmujące metody statystyczne, optymalizacyjne czy teŝ ekonometryczne), Data Mining (drąŝenie danych - oparte na zaawansowanych algorytmach statystycznych i sztucznej inteligencji) oraz Text Mining (operujące na danych nieustrukturalizowanych w postaci tekstowej). 7 W ramach dedykowanych aplikacji analitycznych moŝna wyróŝnić następujące rozwiązania: dziedzinowe (koncentrujące się na rozwiązywaniu problemów w ramach określonych obszarów działalności przedsiębiorstwa np. logistyka magazynowa), problemowe (wąsko ukierunkowane na jedną lub kilka szczegółowych metod np. analiza płynności finansowej), branŝowe (wyspecjalizowane we wspomaganiu zagadnień, które mają miejsce w określonych branŝach, np. bankowość), jako nadbudowa systemów ERP (stanowiące bardziej zaawansowane rozwinięcie analitycznej funkcjonalności tych systemów) oraz kompleksowe (oparte na określonych koncepcjach zarządzania przedsiębiorstwem np. Balanced Scorecard).
318 Technologia przetwarzania wiedzy w SWO danych). KaŜda z wydzielonych grup narzędzi/technologii wchodzących w skład poszczególnych warstw, w zaleŝności od zastosowanego oprogramowania pochodzącego od określonych dostawców czy teŝ zakresu implementacji, moŝe róŝnić się szczegółami, decydującymi o racjonalności zastosowań takiej architektury do wspomagania określonych problemów decyzyjnych 8. Źródła danych Warstwa I: integracja i składowanie W arstwa II: przetwarzanie analityczne W arstwa III: udostępnianie wyników W ew nętrzne źródła danych Warstwa IV: administracja ET L Hurtow nia danych Podstaw owe narzędzia analityczne Zaawansow ane narzędzia analityczne P ortale i nformacyjne Zew nętrzne źródła danych Agregacje O LAP Aplikacje analityczne Automatyc zna dystrybucja Zaawansow any System Informacyjno-Analityczny Rys. 1. Architektura ZSIA Źródło: [DuSi03, s. 92]. 3. Hurtownia danych Hurtownia danych jest to tematycznie zorientowany, spójny, uporządkowany w czasie i niezmienny zbiór danych utworzony na bazie istniejących w danym obiekcie gospodarczym heterogenicznych baz danych oraz danych pozyskanych z zewnątrz, dając przekrojowy obraz działalności przedsiębiorstwa w celu lepszego wykorzystania informacji do wspomagania procesów decyzyjnych (zob. m.in. [InIS01]). Zastosowanie hurtowni moŝna podsumować za pomocą jednego zdania: dostarczanie odpowiednich danych umoŝliwiających uzyskanie z nich w odpowiednim czasie i przez określonych odbiorców potrzebnej informacji 8 Przegląd przykładowych rozwiązań ZSIA moŝna znaleźć w pracy [DuSi03].
Hurtownia danych istotnym elementem zaawansowanych systemów... 319 w celu podjęcia maksymalnie korzystnej dla przedsiębiorstwa decyzji (zob. [Dudy03b, s. 219]). A zatem hurtownia danych jest wydzieloną w przedsiębiorstwie specjalistyczną bazą danych do celów analitycznych, integrującą dane pochodzące ze źródłowych baz danych. Dane przechowywane w hurtowni nie są jednak ich prostą kopią. Ze względu na inny cel i zastosowanie struktura hurtowni danych jest projektowana niezaleŝnie od struktury źródłowych baz danych, a same dane są przetwarzane przez aplikacje analityczne wspomagające procesy podejmowania decyzji [Pala02]. Hurtownia danych, jak Ŝaden inny produkt - to system dopasowany do konkretnych oczekiwań klienta. Właściwie zaprojektowana i zbudowana zapewnia zdaniem autorki następujące korzyści9: zabezpieczenie jednego źródła spójnych i zintegrowanych informacji o całym przedsiębiorstwie, dostarczanie danych analitycznych opisujących historię działania przedsiębiorstwa, umoŝliwienie pełnego wykorzystania danych, oddzielenie danych analitycznych od operacyjnych, czyli warstwy decyzyjnej od wykonawczej, weryfikacja danych występujących w systemach transakcyjnych przedsiębiorstwa, stworzenie podstawy dla systemów informacyjno oraz pozyskiwania wiedzy, usprawnienie wdraŝania kompleksowych rozwiązań biznesowych, optymalizacja dostępu do baz transakcyjnych, oszczędność zasobów informatycznych. Hurtownia danych udostępnia wszystkie dane przedsiębiorstwa niezbędne w procesach podejmowania decyzji w formie, która zapewnia stosowanie narzędzi analitycznych. 4. Znaczenie hurtowni danych w zaawansowanych systemach informacyjno-analitycznych Pojęcie hurtowni danych jest nieodłącznie związane z systemami informacyjno-decyzyjnymi. Nie moŝe być traktowana jako coś oddzielnego, osobnego. Jak trafnie zauwaŝono: sama hurtownia słuŝąca do posiadania danych nikomu oraz do niczego nie jest potrzebna i jako inwestycja bez koncepcji jej wykorzystania odniesie poraŝkę [WiCz02]. Jest ona potrzebna tylko i wyłącznie jako element całościowego systemu, gdzie miarą sukcesu wdroŝenia hurtowni danych 9 Korzyści wynikające z wdroŝenia hurtowni danych szerzej omówiono w [Dudy03a].
320 Technologia przetwarzania wiedzy w SWO jest fakt wykorzystywania jej przez uŝytkowników do realizacji ich zadań biznesowych. To nie konkretna technika sprawia, Ŝe hurtownia danych jest udana, ale zrozumienie zadań biznesowych i potrzeb uŝytkownika końcowego oraz wspólna praca w celu znalezienia właściwego rozwiązania [PoKB02, s. 16]. Stąd umieszczenie w architekturze ZSIA hurtowni danych niesie zdaniem autorki następujące podstawowe korzyści dla kadry kierowniczej: 1. Hurtownia gromadzi dane automatycznie, a zatem jej infrastruktura zapewnia dostępność niezbędnych danych. Stwarza to moŝliwość spełnienia wymagań uŝytkowników na zaawansowane funkcjonalnie, specyficzne aplikacje do wspomagania zarządzania (zob. [Klon03, s. 520]). 2. Kadra zarządzająca moŝe podejmować trafniejsze decyzje o strategicznym znaczeniu dla rozwoju danego przedsiębiorstwa, dzięki szybkiej analizie bazującej na pełnej i aktualnej informacji o stanie firmy pochodzącej z hurtowni danych. 3. Zastosowanie zaawansowanych aplikacji analitycznych wymaga integracji i agregacji danych pochodzących z róŝnych źródeł wewnętrznych i zewnętrznych, gdzie w tym drugim przypadku mamy do czynienia z róŝnorodnymi źródłami, strukturami (czy wręcz brakiem struktur) oraz bliŝej nieokreśloną rzetelnością dostępnej informacji, którą trzeba uporządkować i usystematyzować. Aby temu sprostać, w architekturze ZSIA powinna wystąpić dobrze zaprojektowania hurtowni danych, poprzedzona predefiniowaniem potrzeb informacyjnych zarządzania i raportów zawierających poŝądane zestawy informacji decyzyjnej (zob. [KuKo02, s. 82]). 4. Jednym z zadań ZSIA jest wspieranie pozyskiwania wiedzy z posiadanych danych, która zostanie wykorzystana w procesie biznesowym. Wymaga to zamiany danych w uŝyteczne informacje połączone z informacjami pochodzącymi z nieustrukturalizowanych źródeł jak Internet, poczta elektroniczna, dokumenty itp. Realizację tego zadania efektywnie wspiera hurtownia danych. 5. Hurtownia danych umoŝliwia i ułatwia zastosowanie następujących technologii i technik pozyskiwania informacji oraz wiedzy z posiadanych przez przedsiębiorstwo danych: OLAP dane zgromadzone w hurtowni danych są zoptymalizowane pod katem ich wyszukiwania przez analityków wykorzystujących przetwarzanie analityczne na bieŝąco, przeszukiwania w głąb (ang. Dril Down) wielowymiarowa struktura hurtowni danych umoŝliwia zagłębianie się w szczegóły dotyczące faktów poprzez przechodzenie na coraz niŝsze poziomy agregacji,
Hurtownia danych istotnym elementem zaawansowanych systemów... 321 eksploracji danych 10 (ang. Data Mining) przechowywanie danych historycznych w hurtowni danych umoŝliwia m.in. jest przewidywanie wartości (np. wielkości sprzedaŝy) z oceną prawdopodobieństwa, klasyfikacji z wyodrębnienie wspólnych cech obiektów (np. w ramach takich grup jak: produkty czy klienci), segmentacji z wydzieleniem z danych istotnych informacji biznesowych. Na zakończenie trzeba zaznaczyć, Ŝe hurtownia danych zapewnia przede wszystkim szybki dostęp do spójnej, zintegrowanej informacji na poziomie całego przedsiębiorstwa dla rozwiązań klasy BI (por. m.in. [BuIn03], [Klon03, s. 521], [Olsz02, s. 70]). 5. Podsumowanie Wszystko wskazuje na to, iŝ w najbliŝszych latach nastąpi wzrost inwestycji dostawców systemów bazodanowych w część ich działalności związaną z hurtowniami danych oraz z coraz bardziej złoŝonymi zaawansowanymi systemami informacyjno-analitycznymi. Jest to spowodowane znacznym wzrostem ilości przechowywanych w wielu przedsiębiorstwach danych (nawet do setek terabajtów), wymagających skutecznej analizy. Literatura [BuIn03] [BuIn01] [Dudy03a] [Dudy03b] [Dudy02] Business Intelligence system, technologia czy kultura. ComputerWorld Custom Publishing, Raport Specjalny: Strategie, 2003, luty. Business Intelligence jak zamienić dane w uŝyteczną wiedzę. ComputerWorld Custom Publishing, Raport Specjalny: Strategie, 2001, listopad. Dudycz H.: Korzyści wynikające z wdroŝenia hurtowni danych w przedsiębiorstwie. [w:] Nowoczesne zarządzanie przedsiębiorstwem. Pod red. Janiny Stankiewicz. Uniwersytet Zielonogórski Zielona Góra 2003 (w druku). Dudycz H.: Przyczyny nieudanych wdroŝeń hurtowni danych w przedsiębiorstwie. [w:] Komputerowo zintegrowane zarządzanie. Pod red. R. Knosali. Wydawnictwa Naukowo- Techniczne Warszawa 2003, t. I, s. 218-225. Dudycz H.: Zagadnienia wyboru rozwiązania klasy Business Intelligence. [w:] Efektywność zastosowań systemów informa- 10 Zdaniem Z. Klonowskiego: hurtownia danych stanowi bazę dla szybkiej eksploracji danych oraz jest niezbędną i integralną częścią rozwiązań klasy BI [Klon03, s. 520].
322 Technologia przetwarzania wiedzy w SWO [DuSi03] [InIS01] [Klon03] [KuKo02] [Olsz02] [Pala02] [PoKB02] [WiCz02] tycznych. Pod red. J. Grabary i J. Nowaka. Wydawnictwa Naukowo-Techniczne Warszawa-Szczyrk 2002, t. II, s. 147-164. Dudycz H., Sierocki R.: Przegląd funkcjonalności zaawansowanych systemów informacyjno-analitycznych. [w:] Pozyskiwanie wiedzy i zarządzanie wiedzą. Pod red. M. Nycz i M. Owoca. Prace Naukowe Akademii Ekonomicznej Wrocław, 2003, nr 975, s. 89-99. Inmon W. H., Imhoff C., Sousa R.: Corporate Information Factory, Wiley Computer Publishing 2001. Klonowski Z.: Znaczenie i rozwój funkcji analizy danych w systemach informatycznych zarządzania. [w:] Komputerowo zintegrowane zarządzanie. Pod red. R. Knosali. Wydawnictwa Naukowo-Techniczne Warszawa 2003, t. I, s. 516-522. Kubiak B., Korowicki A.: Systemy Business Intelligence narzędziem przystosowywania informacji dla potrzeb decyzyjnych organizacji. [w:] Komputerowe wspomaganie zarządzania i procesów decyzyjnych w gospodarce. Pod red. J. Studzińskiego, L. Drelichowskiego i O. Hryniewicza. PAN Instytut Badań Systemowych Warszawa 2002, Seria: Badania Systemowe, tom 31, s. 75-94. Olszak C.: Cele i załoŝenia systemów inteligencji biznesowej. [w:] Systemy wspomagania organizacji SWO 2002. Pod red. T. Porębskiej-Miąc i H. Sroki. Akademia Ekonomiczna Katowice, 2002, s. 67-74. Palasz P.: Hurtownie danych. 2002. (wersja internetowa: http://republika.pl/ppalasz/warehouse/hurtownie.html). Poe V., Klauer P., Brobst St.: Tworzenie hurtowni danych. Wydawnictwo Naukowo Techniczne Warszawa 2000. Wiecka A., Czarnota J.: Hurtownie danych w Polsce - jakie problemy rozwiązują i komu słuŝą? 2002 (wersja internetowa: http://www.software.com.pl/pisma/software/artykuly/software2 000/Sf1_2000/hurtownie_danych.html) DATA WAREHOUSE IS VERITABLE COMPONENT OF BUSINESS INTELLIGENCE
Hurtownia danych istotnym elementem zaawansowanych systemów... 323 The article presents Data Warehouse (DW) as veritable component of the conception Business Intelligence (BI) for support business management. At the beginning the author describes information systems based on idea of BI. Then are presented the conception DW. The last part of the article contains the briefly characterizes meaning of DW for information systems. Key words: Data Warehouse, Business Intelligence.