Planowanie hurtowni danych z wykorzystaniem oprogramowania do zarządzania projektami

Transkrypt

1 ŚWIERZOWICZ Janusz 1 TERESZKIEWICZ Krzysztof 2 Planowanie hurtowni danych z wykorzystaniem oprogramowania do zarządzania projektami WSTĘP Zjawiska i fakty otaczającej nas rzeczywistości opisywane są za pomocą danych. Dane mogą przyjmować różnorodną formę zapisu np. liczb, liter, znaków, zdjęć, obrazów stałych i ruchomych, dźwięków itp. W wyniku procesu przetwarzania danych powstaje informacja, która powinna być użyteczna dla odbiorcy. Informacja przydatna dla użytkownika powinna posiadać szereg cech takich jak relewantność, kompletność, poprawność, szybkość dostarczenia, wiarygodność, czytelność, dostępność, bezpieczeństwo, ekonomiczność itp. [4]. Gromadzenie danych w zdefiniowanych strukturach baz danych umożliwia uzyskanie informacji o wyżej wymienionych cechach. Nadrzędnym celem analizy, projektowania i implementacji bazy danych jest utworzenie elektronicznego repozytorium, które wiernie reprezentuje pojęciowy i logiczny model różnorodnych aspektów informacyjnej dziedziny użytkownika. Podczas tworzenia aplikacji bazodanowej, należy uwzględnić wiele czynników wewnętrznych i zewnętrznych takich jak historyczne i przyszłe wymagania informacyjne użytkowników, zróżnicowane kategorie organizacyjne i zróżnicowane umiejętności informatyczne użytkowników, wymagania integralności organizacyjnej, zapewnienia odpowiedniego poziomu bezpieczeństwa, poziomu kosztów, wydajności oraz odpowiedniej postaci interfejsu użytkownika. Czynniki te wpływają na sukces aplikacji bazodanowej wyrażonej ilościowo i jakościowo oraz określają jej rzeczywistą lub postrzeganą jakość. Informacja powinna być rozpatrywana w kontekście działania, jakie na jej podstawie będzie podjęte. Aby to działanie było właściwe, użytkownik informacji powinien ją właściwie zinterpretować. Czynnikami ilościowymi systemu bazy danych są oprócz jakości procesu tworzenia aplikacji bazodanowej i jakości danych również jakość modeli bazy i jakość jej zachowania. Aplikację bazodanową można uważać za spełniającą wymagania jakości, jeżeli spełnia wymagania określone w specyfikacji oraz gdy specyfikacja prawidłowo odzwierciedla wymagania użytkownika. Satysfakcja użytkownika nie może być odpowiednim kryterium dla oceny jakości aplikacji, ponieważ istnieje w niej wiele funkcji przezroczystych dla użytkownika. Faza definicji wymagań w cyklu życia aplikacji bazodanowej jest konieczna dla jej powodzenia, jednak nie jest wystarczająca dla jej implementacji. Aplikacja musi być także oceniana pod względem adekwatności reprezentacji świata odbiorcy informacji za pomocą modelu i jego zdolności odpowiedzi zarówno na rutynowe jak i na nieprzewidziane zgłoszenia w ramach dziedziny zarządzania. W procesie tworzenia aplikacji bazodanowej można połączyć ze sobą dziedziny modelowania, wdrożenia i wydajności. Projektanci usiłują odzwierciedlić dziedzinę problemu w postaci odpowiedniego modelu fizycznego. Model ten podlega wielu ograniczeniom począwszy od fizycznej reprezentacji, konfiguracji systemu, topologii sieci, a skończywszy na implementacji i administrowaniu systemem. W artykule opisano zagadnienia związane z operacyjnymi bazami i hurtowniami danych. Dokonano podziału ról w zespole tworzącym i obsługującym hurtownię danych, przedstawiono fazy metodyki tworzenia hurtowni danych. Operacyjna baza danych posłuży w kolejnych krokach do budowy hurtowni danych w oparciu o modele (np. model faktowo-wymiarowy [2, 9], CWM [1] ) zastosowane dla analizy wielowymiarowej. 1 Politechnika Rzeszowska, Wydział Zarządzania, Zakład Informatyki w Zarządzaniu, Rzeszów, al. Powstańców Warszawy 12, Tel , jswierz@prz.edu.pl 2 Politechnika Rzeszowska, Wydział Zarządzania, Zakład Informatyki w Zarządzaniu, Rzeszów, al. Powstańców Warszawy 12, Tel , adres kteresz@prz.edu.pl 6153

2 1. OPERACYJNE BAZY DANYCH I HURTOWNIE DANYCH Dane reprezentujące różne zjawiska oraz fakty Bazy umożliwiające gromadzenie różnorodnej formy danych pozyskiwanych i przesyłanych z różnych źródeł. Można podzielić na bazy operacyjne oraz na bazy analityczne. Struktury baz zawierających dane o bieżącej działalności organizacji najczęściej ograniczają się do rejestrowania faktów związanych z obsługą transakcji. Bazy te zawierające dane operacyjne, są nazywane bazami operacyjnymi lub bazami transakcyjnymi OLTP (ang. On - Line Transaction Processing). Bazy transakcyjne, wykorzystując najczęściej znormalizowany model relacyjny, umożliwiają użytkownikowi ewidencjonowanie bieżących danych oraz wykonywanie na tych danych prostych, rutynowych operacji takich: jak wykonywanie niezbędnych przeliczeń oraz operacji agregujących zbiór danych np. operację zliczenia elementów zbioru, sumowania, określania wartości minimalnej i maksymalnej, uśredniania wartości w zbiorze, podzielenia zbioru na grupy itp. Aplikacje obsługujące transakcyjne bazy danych można potraktować jako statyczne programy, automatyzujące wykonywanie rutynowych czynności np. generowanie w określonym terminie raportu opisującego aktualny stan bazy. Raporty wykorzystują najczęściej funkcje agregujące dane do prezentacji danych. Operacyjne bazy danych działają na danych w krótkim horyzoncie czasowym. Dane w bazach operacyjnych są na bieżąco uaktualniane a klucz identyfikujący dany rekord może, ale nie musi zawierać znacznika czasu. Dane zgromadzone w bazach transakcyjnych nie powinny być wprost stosowane w systemie wspomagania decyzji. Dla tych celów niezbędna jest baza, w której dane będą zorientowane tematycznie pod kątem analizy. Dzięki elastycznemu i interakcyjnemu dostępowi do nich użytkownicy różnych kategorii będą mogli korzystać z systemu wspomagania decyzji. Baza taka jest używane do bieżącej analizy danych OLAP (ang. On-Line Analitical Processing). OLAP używa wielowymiarowego obrazu danych zagregowanych, aby zapewnić użytkownikowi szybki dostęp do strategicznych informacji w celu dalszej analizy. OLAP i hurtownie danych są komplementarne. Hurtownia danych przechowuje dane i zarządza danymi natomiast OLAP przetwarza te dane do informacji strategicznych. W bazach analitycznych dane reprezentują aktualny, przeszły i prognozowany stan organizacji w oparciu o model wielowymiarowy. W bazach analitycznych prostsze jest prezentowanie danych i nawigowanie wg modelu wielowymiarowego, ponieważ oczekiwana przez użytkowników prezentacja danych w postaci tabel lub wykresów jest bardziej naturalna i nie wymaga formułowania przez użytkownika złożonych zapytań SQL. W systemie wspomagania decyzji prostsze jest zarządzanie bazą wielowymiarową, ponieważ dane są przechowywane w postaci zbliżonej do formy przyszłej prezentacji, dzięki czemu uzyskuje się znacznie lepszą wydajność - zwykle o rząd wyższą niż w bazach OLTP. W przeciwieństwie do baz OLTP, bazy OLAP nie są znormalizowane, redundancja danych jest wygodna z punku widzenia systemów wspomagania decyzji. 2. CHARAKTERYSTYKA HURTOWNI DANYCH Centralnym elementem infrastruktury systemów wspomagania decyzji jest hurtownia danych. Hurtownia danych to baza danych oddzielona od systemów baz operacyjnych, zorientowana tematycznie, zintegrowana zgodnie z modelem korporacyjnym, uporządkowana czasowo, nieulotna, zawierające dane zagregowane wspomagająca użytkowników w podejmowaniu decyzji [3]. Orientacja tematyczna w hurtowni danych oznacza, że dane są zorganizowane w taki sposób w jaki użytkownik się do nich odwołuje w związku z obsługą najważniejszych obiektów firmy np. klient, dostawca, produkt, czynność. Integralność oznacza, że system dba o spójność i zgodność danych z przyjętymi standardami. Napływające dane w razie potrzeby są poddawane konwersji, rozkodowywaniu, ujednolicaniu formatów, jednostek miar, określonej konwencji nazw tak, że dane przechowywane w hurtowni są gotowe do analizy. Wszystkie dane w hurtowni, dokładne w pewnej chwili czasu, są gromadzone w długim jego okresie np. kilku lat. Dane raz poprawnie zarejestrowane, przeznaczone są tylko do odczytu 6154

3 i pozostają niezmienione przez cały okres funkcjonowania systemu. Klucz danych zawiera zawsze element czasu. Mówimy zatem, że w hurtowni dane są uporządkowane czasowo i trwałe. W hurtowni danych występują dane o różnorodnym znaczeniu. Są to: bieżące dane szczegółowe, historyczne dane szczegółowe, dane lekko zagregowane, dane silnie zagregowane, metadane. Bieżące dane szczegółowe, o najniższym poziomie granulacji, odzwierciedlają stan systemu i otoczenia zebrany podczas procesu ostatniego ładowania danych do hurtowni. Proces ładowania danych do hurtowni jest zawsze opóźniony w stosunku do środowiska operacyjnego np. o 24 godziny. Szczegółowe wyniki są poddawane wstępnej agregacji danych. Dane lekko zagregowane to np. zsumowane tygodniowo wyniki wg podtypu w latach Przechowywanie operacyjnych danych w tej postaci jest użyteczne dla procesu podejmowania decyzji. Dane silnie zagregowane będą dotyczyły np. podsumowania danych obrotów miesięcznych wg produktu i kraju w latach Metadane to dane o danych tzn. o ich strukturze, o algorytmach agregacji, o mapowaniu danych operacyjnych do hurtowni. W zależności od objętości danych, częstości dostępu, kosztu mediów i typu dostępu do danych szczegółowe dane historyczne mogą być przechowywane w różnych mediach np. pamięci dyskowej, dyskach optycznych, macierzach dyskowych itp. Na rysunku 1. przedstawiono schemat architektury hurtowni danych. Po lewej stronie przedstawiono przykłady źródeł danych transakcyjnych dostarczanych z baz relacyjnych, arkuszy kalkulacyjnych oraz zintegrowanych systemów transakcyjnych klasy ERP (ang. Enterprise Resource Planning). Dane transakcyjne podlegają procesowi ETL (ekstrakcji, transformacji i ładowaniu do hurtowni). Rys. 1. Architektura systemu informatycznego przedsiębiorstwa z hurtownią danych. Źródło: opracowanie własne z wykorzystaniem [11] Za pośrednictwem serwera analitycznego i mechanizmów BI (Business Intelligence użytkownik może przeprowadzić analizę danych wielowymiarowych określając jej zakres, wykonując operację rozwijania, zwijania, selekcji i obracania. Monitorowane wskaźniki efektywności procesów biznesowych mogą być prezentowane na kokpitach menedżerskich, w formie raportów oraz zrównoważonych kart wyników [9,11]. Wykorzystując narzędzia zaawansowanej analityki 6155

4 biznesowej (metody eksploracji danych), użytkownik może uzyskać dostęp do wcześniej nieznanej użytecznej wiedzy. Metody i technologie budowy hurtowni danych przedstawiono również w pracach [5,6,7]. 3. PODZIAŁ RÓL W ZESPOLE TWORZĄCYM I OBSŁUGUJĄCYM HURTOWNIĘ DANYCH Hurtownia danych nie jest produktem gotowym, który można kupić z półki. Budowa hurtowni danych wymaga powołania zespołu tworzącego hurtownię oraz jej eksploatację. Osoby zaangażowane w proces tworzenia i eksploatacji hurtowni danych to między innymi [12]: administrator hurtowni danych, kierownik zespołu tworzącego hurtownię danych, analityk biznesowy, architekt systemowy, specjalista ETL, projektant interfejsu użytkownika, specjalista OLAP, projektant modelu danych, trener użytkowników końcowych. Administrator HD jest odpowiedzialny za integrację i koordynację metadanych i danych z różnych źródeł danych oraz za zarządzanie źródłami danych, fizyczny projekt BD, tworzenie kopii zapasowych i odzyskiwania bazy po awarii, bezpieczeństwa, wydajności i strojenia. Kierownik zespołu projektowego jest odpowiedzialny za zarządzanie zespołem, za przestrzeganie wymagań biznesowych i koordynację planów strategicznych, za rozwój projektu hurtowni danych, oraz za wybór członków zespołu projektującego HD o określonych kompetencjach i umiejętnościach do wykonywania zadań Analityk biznesowy jest odpowiedzialny za określenie jakie informacje z hurtowni danych są potrzebne dla celów zarządzania. Architekt systemowy jest odpowiedzialny za rozwój i wdrażanie infrastruktury technicznej HD, od konfiguracji sprzętowej i programowej serwera bazy danych po stanowisko użytkownika końcowego. Specjalista ETL jest odpowiedzialny za pobieranie danych ze źródeł (ekstrakcję danych), dokonywaniem przekształceń, unifikacji i czyszczenia danych (transformację danych) i umieszczenia danych w strukturach hurtowni (ładowanie danych). Projektant interfejsu użytkownika jest odpowiedzialny za interfejs użytkownika końcowego na komputerach stacjonarnych w modelu klient-serwer, witryny internetowej i projektowania interfejsu na urządzenia mobilne. Specjalista OLAP jest odpowiedzialny za tworzenie wielowymiarowych kostek i widoków danych, umożliwiający przeprowadzenie bieżącej analizy, Projektant modelu danych jest odpowiedzialny za opracowanie modelu istniejących danych w organizacji oraz za tworzenie schematu odpowiedniego do analizy OLAP. Trener użytkownika końcowego jest odpowiedzialny za przeprowadzenie szkoleń dla końcowych użytkowników, aby mogli w efektywny sposób przeprowadzić analizę OLAP. Metodyka tworzenia hurtowni danych określona jest wg następujących faz przedstawionych w tabeli 1. Tab. 1. Metodyka tworzenia hurtowni danych [5] Faza Wejście Wyjście Wykonawca Analiza systemu Schemat operacyjnej bazy informacyjnego Istniejąca dokumentacja danych informacyjnego Specyfikacja wymagań Schemat operacyjnej bazy danych Tabela faktów Projektowanie koncepcyjne Walidacja schematu wymiarowego Projekt logiczny HD Projektant modelu bazy danych, menedżer systemu Projektant modelu bazy danych, użytkownicy końcowi Tabela faktów Schemat wymiarów Projektant HD Schemat wymiarowy Model logiczny Specjalista ETL, Użytkownik końcowy Schemat wymiarowy, model logiczny Logiczny schemat HD Projektant HD 6156

5 4. GŁÓWNE ZADANIA ZWIĄZANE Z PLANOWANIEM, PROJEKTOWANIEM I WDRAŻANIEM HURTOWNI DANYCH W PRZEDSIĘBIORSTWIE Projektowanie i wdrażanie systemu hurtowni danych, poprzedzone zatwierdzeniem scenariusza wdrożenia przez kierownictwo, zostało podzielone na zadania. Zadania są ułożone hierarchicznie. Poniżej przedstawiono przykładowe główne zadania zbiorcze. Są to:. analiza aspektów prawnych i ocena wymagań technicznych HD, wielokryterialna ocena rozwiązań systemów informatycznych HD, projekt rozwiązania HD, integracja z istniejącymi rozwiązaniami, testowanie HD. wdrożenie HD. W dalszej części artykułu rozwinięto zadania szczegółowe pokazując konkretne przykłady ich realizacji. Do opracowania projektu i wdrożenia HD wykorzystano programy: do zarządzania projektami Microsoft Office Project, do tworzenia wektorowej grafiki biznesowej, menedżerskiej i inżynierskiej Microsoft Office Visio. Programy te poszerzają możliwości systemów informatycznych należących do kategorii automatyzacji prac biurowych i są dobrze zintegrowane z pozostałymi narzędziami informatycznymi. Rysunek 2. pokazuje diagram Gantta z fragmentu projektu projektowania wdrażania HD. Na rysunku 2. widać odpowiednio: unikalny identyfikator zadania, kolumnę wskaźników zawierającą komentarze do realizowanych zadań i zasobów, nazwę zadania, czas realizacji zadania w dniach, datę rozpoczęcia i zakończenia zadania. Pytajniki przy czasie realizacji zadania oznaczają przyjętą wartość domyślną każdego elementarnego zadania. Ponadto system przechowuje informacje o zasobach pracy przydzielonych do realizacji zadania (pracownicy, sprzęt, oprogramowanie). Prawa część okna pokazuje kalendarz i projekt w formie diagramu Gantta. Na diagramie widać symbole: zadań, podsumowania zadań, punkty kontrolne, linie pokazujące kolejność ich wykonywania oraz zasoby przydzielone do realizacji każdego z zadań. System do zarządzania projektami pozwala nie tylko zaplanować harmonogram realizacji wdrożenia, ale również dokonać szacunkowej oceny kosztów przedsięwzięcia i bieżącego sprawdzania jego realizacji w formie graficznej. Informacje z realizacji projektu można eksportować do programu Visio i do arkusza kalkulacyjnego oraz drukować w formie raportów szczegółowych i podsumowujących. Rys. 2. Wykaz zadań i diagram Gantta pokazujący fragment scenariusza realizacji projektu i wdrażania HD źródło: opracowanie własne z wykorzystaniem [5] i programu zarządzania projektami Microsoft Project 6157

6 WNIOSKI Do podejmowania prawidłowych decyzji niezbędne jest uzyskiwanie przez użytkowników informacji we właściwym czasie, formie i miejscu. Informacje te można uzyskać przetwarzając dane zgromadzone w bazach danych. Celem analizy, projektowania i implementacji baz danych jest utworzenie elektronicznego repozytorium, które wiernie reprezentuje pojęciowy i logiczny model różnorodnych aspektów informacyjnej dziedziny użytkownika. Tworząc system informatyczny z bazą należy uwzględnić zarówno bieżące wymagania informacyjne użytkowników, możliwości analiz historycznych i prognoz, zróżnicowane umiejętności informatyczne użytkowników, wymagania integralności organizacyjnej, zapewnienia odpowiedniego poziomu bezpieczeństwa, poziomu kosztów, wydajności oraz odpowiedniej postaci interfejsu użytkownika. Dla efektywnego dostarczania informacji użytkownikom wspomagający proces podejmowania decyzji na wyższych stanowiskach organizacyjnych przydatne są hurtownie danych zasilane z baz operacyjnych i innych źródeł. Budowa hurtowni danych i jej wdrożenie do eksploatacji wymaga, oprócz środków sprzętowych i programowych, powołania zespołu o zróżnicowanych kompetencjach. Proces planowanie zadań, projektowanie i przekazania tego rozwiązania informatycznego do eksploatacji można znacznie przyspieszyć i łatwiej realizować wykorzystując narzędzia informatyczne do zarządzania projektami oraz narzędzia grafiki inżynierskiej i menedżerskiej. Streszczenie W artykule opisano zagadnienia związane z operacyjnymi bazami i hurtowniami danych. Dokonano podziału ról w zespole tworzącym i obsługującym hurtownię danych, przedstawiono fazy metodyki tworzenia hurtowni danych, Transakcyjna baza danych posłuży w kolejnych krokach do budowy hurtowni danych w oparciu o modele hurtowni danych zastosowane dla analizy wielowymiarowej. Przedstawiono główne zadania związane z planowaniem, projektowaniem i wdrażaniem hurtowni danych w przedsiębiorstwie. Do opracowania projektu i wdrożenia HD wykorzystano narzędzia informatyczne do zarządzania projektami oraz narzędzia grafiki menedżerskiej i inżynierskiej. Słowa kluczowe: OLTP, OLAP, hurtownie danych, diagram Gantta Planning of Data Warehouse with Project Management Software Abstract The paper deals with operational databases and data warehouses issues. Participant roles of team creating and supporting data warehouse development and management are described. Phases and tasks of creating a data warehouse are presented. Transactional database will be used in subsequent steps to build a data warehouse based on data warehouse models. These models are used for multivariate analysis. Main tasks of planning, design and implementation of an enterprise data warehouse are presented. Project management and engineering graphics software tools are used for data warehouse planning, design and implementation. Keywords: OLTP, OLAP, data warehouse, Gantt diagram BIBLIOGRAFIA 1. Common Warehouse Metamodel (CWM) Specification, (dostęp: ) 2. Golfarelli M., Rizzi S., Designing the Data Warehouse: Key Steps and Crucial Issues, Journal of Computer Science and Information Management, Vol.2, N.3., Inmon W., H., Building the Data Warehouse, John Willey & Sons, Januszewski A. Funkcjonalność informatycznych systemów zarządzania. PWN, Warszawa Kimble R., The Data Warehouse Lifecycle Toolkit, 3rd Edition, John Willey & Sons, King M.A. A Realistic Data Warehouse Project: An Integration of Microsoft Access and Microsoft Excel Advanced Features and Skills, Journal of Information Technology Education Innovations in Practice, Volume 8, 2009, str

7 7. M. Pajer Metody i technologie budowy hurtowni danych ze szczególnym uwzględnieniem zapewnienia długookresowej jakości produktu Praca nr , Instytut Łączności, Warszawa 2007, 8. Surma J., Business Intelligence, Systemy wspomagania decyzji biznesowych, PWN, Warszawa, Świerzowicz J.: Ocena jakości modeli baz danych, Współczesne problemy sieci komputerowych, Nowe Technologie, Praca zbiorowa pod red. S. Węgrzyna, B. Pochopienia, T. Czachórskiego, Rozdział XXXIX, WNT, Warszawa, 2004, str Świerzowicz J.: Wielowymiarowa analiza aplikacji bazodanowych, Wysokowydajne Sieci Komputerowe, Zastosowania i bezpieczeństwo, Praca zbiorowa pod red. A.Kwietnia i A. Grzywaka, Rozdział 21, WKiŁ, Warszawa, 2005, str Świerzowicz J: Raport z prac nad hurtownią danych w ZETO Rzeszów, Rzeszów, Yao J.E., Liu C., Q., Chen, J. Lu. Administering and Managing a Data Warehouse, w pracy zbiorowej pod red. J. Wang, Data Warehousing and Mining: Concepts, Metodologies, Tools, and Applications, Information Science Reference, Hershey, New York, 2008, str