KONCEPCJE ZASTOSOWAŃ METADANYCH W SYSTEMACH INFORMATYCZNYCH

Transkrypt

1 KONCEPCJE ZASTOSOWAŃ METADANYCH W SYSTEMACH INFORMATYCZNYCH Streszczenie Mariusz śytniewski Akademia Ekonomiczna im. Karola Adamieckiego w Katowicach zyto@sulu.ae.katowice.pl RóŜne koncepcje zastosowań metadanych opisujących strukturę systemu, jego poszczególne elementy, jak i procesy zachodzące w jego wnętrzu, są coraz częściej wykorzystywane juŝ nie tylko w systemach transakcyjnych, hurtowniach danych, ale takŝe w systemach analitycznych. W niniejszym referacie przedstawione zostały moŝliwości zastosowania metadanych w tychŝe systemach oraz korzyści z ich implementacji. W końcowej części przedstawiony został przykład zastosowania metadanych w systemach analitycznych. Słowa kluczowe: metadane, metamodele, systemy analityczne, hurtownie danych Wstęp Zastosowanie metadanych z punktu widzenia organizacji rozpatrzyć moŝna na trzech płaszczyznach: całej organizacji, systemu informatycznego, jak i procesów, jakie mogą w nim przebiegać. W przypadku organizacji ich zadaniem jest w głównej mierze wspomaganie zarządzania informacją i wiedzą. W przypadku systemu informatycznego wspomagają one komunikację międzysystemową oraz zarządzanie i dystrybucje dokumentów. JeŜeli przyjrzymy się metadanym z punktu widzenia wspomagania działań związanych z pracą uŝytkownika, to ich głównym zadaniem jest ułatwianie dostępu do danych [WSHL01]. Zastosowanie metadanych odnaleźć moŝna oprócz poruszonego wspomagania pracy uŝytkownika poprzez definicje dokumentów [MaNa01], takŝe w medycynie [ZhWa00] lub w rozwaŝaniach dotyczących procesów decyzyjnych [HaSi01]. Świadczy to o duŝych korzyściach, jakie niesie ze sobą ich zastosowanie. W referacie tym przedstawione zostaną koncepcje zastosowania metadanych w systemach informatycznych zarządzania, a więc związane z drugim z wcześniej wymienionych poziomów. Pierwsza część niniejszego referatu przedstawia wykorzystanie metadanych w procesie zarządzania systemami. W drugiej części przedstawione zostały kon-

2 388 Zarządzanie wiedzą i rozwiązania Business Intelligence cepcje moŝliwych zastosowań metadanych w systemach analitycznych związane z ich integracją oraz przykładowe standardy zapisu metadanych. Problematyka zastosowania metadanych w organizacji NajwaŜniejszym zadaniem metadanych jest umoŝliwienie przenoszenia informacji o danych miedzy systemami. Widoczne jest to chociaŝby w procesie eksportu definicji tabel. JednakŜe ich wykorzystanie jest bardziej złoŝone. Z jednej strony pozwalają one na definiowanie znaczenia danych przechowywanych w organizacji, a z drugiej pozwalają na przechowywanie logiki zaleŝności miedzy systemami informatycznymi. Przykładowy model hurtowni danych z zastosowaniem metadanych przedstawia rysunek 1. Źródła danych Procesy ekstrakcji, transformacji i ładowania danych ODS hurtownia danych Składnica danych Repozytorium metadanych Systemy analityczne Rysunek 1 Zastosowanie repozytoriów metadanych w organizacji Opracowane na podstawie [LKK01] Wyszczególnione tutaj repozytorium metadanych w swoim pierwotnym załoŝeniu miało za zadanie przechowywać metadane dotyczące samej hurtowni, a więc informacje o danych w niej zawartych, takie jak miejsce ich przechowywania, data aktualizacji, jak i definicje połączeń z systemami transakcyjnymi. Jednak aktualnie repozytoria te coraz częściej zaczynają przechowywać oprócz takich informacji, takŝe metadane pochodzące z innych systemów.

3 Koncepcje zastosowań metadanych w systemach informatycznych 389 Przykładem rozwiązania, który integruje w sobie wszystkie trzy przedstawione wcześniej zastosowania metadanych jest oprogramowanie firmy SAS i jej rozwiązanie Inteligence Value Chain [SAS2004]. W systemie tym zastosowano koncepcje repozytorium metadanych wspomagającego centralne zarządzanie poszczególnymi modułami systemu. Dzięki takiemu podejściu uŝytkownik definiujący procesy ETL dotyczące hurtowni danych nie definiuje je tylko dla komputera faktycznie obsługującego hurtownie. Informacje o takim procesie zapisywane są w metadanych i dostępne mogą być dla kaŝdego członka organizacji posiadającego odpowiednie uprawnienia. Podobnie jest z raportami i analizami. Informacje o wynikach analiz zbierane są przez repozytorium metadanych, a następnie udostępniają je odpowiednim pracownikom. Taka sytuacja moŝliwa stała się dzięki zastosowaniu odpowiednich standardów zapisu metadanych oraz modelom wielowarstwowym. Wykorzystanie metadanych nie jest jedynie zabiegiem marketingowym. Ich zastosowaniowe wiąŝe się z poprawą wielu cech systemu, które omówione zostaną na przykładzie poruszanego juŝ oprogramowania firmy SAS: Zarządzanie systemem zastosowanie repozytorium metadanych spowodowało umoŝliwienie zarządzania wewnętrznymi kontami uŝytkowników, grupami kont oraz odseparowaniem tych działań od logiki zabezpieczeń systemu operacyjnego. Dodatkowo moŝliwe stało się określenie serwerów logicznych i oddzielenie uŝytkowników od zarządzania fizycznym procesem przetwarzania. Prawidłowe zdefiniowanie serwera metadanych pozwala na pełne zintegrowanie wszystkich elementów systemu w jednym miejscu zaczynając od definicji połączeń ze źródłami danych, poprzez diagramy procesów transformacji, czyszczenia i ładowania danych do hurtowni po definicje tworzonych kostek OLAP i generowanych raportów. Skalowalność i wydajność systemu W przypadku systemu SAS wprowadzenie nowych mechanizmów w postaci load balancing lub wielowątkowości spowodowały przyspieszenie procesu przetwarzania danych. Nie było by to jednak moŝliwe bez zdefiniowanie logicznych grup serwerów, na których wykonywane jest przetwarzanie, a których definicje znajdują się w repozytorium metadanych. Otwartość systemu zdefiniowanie metadanych w powszechnie stosowanych standardach jak np. Common Warehouse Metamodel (CWM) pozwala na łatwiejszą wymianę metadanych między systemami. Ułatwia takŝe budowanie własnych modułów sterujących działaniem systemu.

4 390 Zarządzanie wiedzą i rozwiązania Business Intelligence UŜyteczność Zastosowanie metadanych oraz nowa koncepcja systemu SAS spowodowała podział poszczególnych jego elementów na mniejsze, bardziej wyspecjalizowane części. Przykładem tego jest chociaŝby Warehouse Administrator, który w wersji poprzedniej pozwalał na zarządzanie hurtownią, procesem ETL oraz budowanie kostek OLAP. W wersji aktualnej został on podzielony na trzy osobne moduły. Rysunek 3 przedstawia przykład konsoli zarządzania odpowiedzialnej za proces zarządzania repozytoriami metadanych, zdefiniowanymi serwerami, połączeniami z innymi systemami itp. Rysunek 3 Reprezentacja graficzna metadanych Jak widać na przedstawionym przykładzie, prawidłowe zastosowanie metadanych pozwala na łatwiejsze definiowanie zaleŝności między elementami systemu informatycznego, poprawiając z jednej strony łatwość jego zarządzania, a z drugiej usprawniając dostęp do jego zasobów. Zastosowanie matadanych w procesach analitycznych Zastosowanie metadanych rozpatrzyć moŝemy takŝe w kontekście systemów analitycznych. Prawidłowy proces odkrywania wiedzy składa się z trzech podstawowych etapów: przygotowania danych, odkrywania zaleŝności, analizy wyników. Są to podstawowe czynności wykonywane podczas analiz. Oprócz nich istnieje szereg działań pośrednich[mazy03].

5 Koncepcje zastosowań metadanych w systemach informatycznych 391 Zastosowanie odpowiedniego oprogramowania do kaŝdego z tych etapów staje się coraz trudniejszym zadaniem wynikającym z tego, iŝ systemy te róŝnią się poziomem funkcjonalności. Zdefiniowanie odpowiednich mechanizmów pozwalających na łączenie systemów wewnątrz procesu odkrywania wiedzy w duŝym stopniu związany jest z koncepcją metadanych. KaŜde oprogramowanie dostępne na rynku dotyczące odkrywania wiedzy pozwala na przeprowadzenie operacji analitycznych oddając do dyspozycji analityka szereg rozwiązań dla kaŝdego z przedstawionych wcześniej etapów. Problemy pojawiają się jednak, kiedy oprogramowanie, którego uŝywamy nie posiada wystarczającej funkcjonalności związanej z przeprowadzanymi analizami. Wtedy jedynym wyjściem jest posłuŝenie się oprogramowaniem innego dostawcy w trakcie poszczególnych etapów procesu analitycznego. Jednak taka praktyka powodować moŝe trudności wynikające między innymi z [WoKi2002]: Niedostatecznego współdziałania miedzy systemami, dzięki nie zdefiniowaniu standardów komunikacji między nimi. NiemoŜliwość zastępowania jednego narzędzia drugim w poszczególnych fazach procesu odkrywania wiedzy. W przypadku przedstawionych tutaj problemów pojawia się bariera związana z autonomicznością tychŝe systemów. KaŜdy z nich pozwala na definiowanie diagramów zaczynając od definicji źródła danych, poprzez odpowiednie transformacje danych do analizy, po procesy analityczne i kończąc na prezentacji wyników. JednakŜe nie kaŝdy system jest na tyle kompleksowy, aby definiować w sobie wszystkie metody analiz w postaci odpowiednich modułów. Oczywiście moŝna przenosić częściowe wyniki miedzy róŝnymi systemami i w ten sposób prowadzić analizy jednakŝe nie jest to efektywne rozwiązanie. Najlepszym wyjściem byłoby zdefiniowanie warstwy pośredniej znajdującej się nad poszczególnymi systemami analitycznymi, posiadającej własny interfejs i logiki dostępu do obiektów analitycznych. Przykładem projektu takiego systemu jest projekt Chamios [WoKi 2002], [WoKi 2002b]. Jego głównym celem jest stworzenie systemu integrującego moŝliwości róŝnych systemów analitycznych i nie tylko, dzięki czemu moŝliwe jest zastosowanie róŝnych ich rozwiązań w obrębie jednego systemu. Zastosowanie standardu CWM w definiowaniu modeli analitycznych Integracja róŝnych systemów w obrębie jednego procesu, jakim moŝe być eksploracja danych w połączeniu z róŝnymi systemami biorącymi udział w procesie wymaga odpowiedniego zdefiniowania standardów metadanych przechowujących definicje obiektów.

6 392 Zarządzanie wiedzą i rozwiązania Business Intelligence Przykładem takiego standardu jest poruszany wcześniej CWM (ang. Common Warehouse Metamodel) pozwalający między innymi tworzyć definicje modeli analitycznych, których przykłady przedstawia rysunek 4 i 5. Rysunek 4 Elementy definicji metamodelu według standardu CWM. Źródło: Common Warehouse Metamodel (CWM) Specification Rysunek 5 Fragment definicji modelu analitycznego Jednak zastosowanie tego standardu jest bardziej złoŝone niŝ tylko definiowanie standardów opisu modeli analitycznych. Jego podstawowym zadaniem jest umoŝliwienie wymiany metadanych między hurtowniami danych lub systemami Business Inteligence [CWM03]. Podsumowanie Przedstawione w niniejszym referacie koncepcje zastosowania metadnaych związane z hurtowniami danych, jak i systemami analitycznymi nie przedstawiają w całości problematyki zastosowania metadanych. Podsumowując przedstawione tutaj ich wykorzystanie, wyróŝnić moŝemy następujące elementy, które mogą one opisywać [JLVV03]:

7 Koncepcje zastosowań metadanych w systemach informatycznych 393 Lokalizacje danych Definicje danych związane z obsługiwanymi bazami danych i relacje. Przepływy danych i związane z nimi procesy ETL Numery wersji metadanych oraz informacje o modyfikacjach Statystyki uŝycia danych Uprawnienia dostępu do danych W przypadku systemów analitycznych wspomagają one dodatkowo, jak to pokazano na przykładzie projektu Chamois, budowę warstwy pośredniej integrującą róŝne systemy analityczne, a takŝe zapewniają moŝliwość przenoszenia modeli analitycznych miedzy systemami. Głównym celem zastosowania metadanych jest poprawienie komunikacji miedzy systemami informatycznymi, jednak w tym celu niezbędne jest zdefiniowanie standardów metadanych. KaŜda firma wykorzystująca metadane moŝe zdefiniować swój standard ich zapisu, co wiązało będzie się z problemami ich wymiany z innymi systemami. W ostatnim czasie coraz częściej jednak twórcy oprogramowania integrują się w ramach jednego projektu związanego z unifikowaniem standardu definiowania metadanych, czego przykładem jest przedstawiony standard CWM oraz OIM [JLVV03]. Oprócz przedstawionych tutaj standardów na rynku znaleźć moŝna wiele innych standardów definiowania danych, niekoniecznie związanych z systemami informatycznymi. MoŜemy do nich zaliczyć: ACORD (ubezpieczenia), FinXML (rynki kapitałowe), DDL (rynki finansowe), RETML (nieruchomości) [JoSt03]. Literatura: [SAS2004] SAS Intelligence Architecture: Planning and Administration Guide SAS 2004 [JoSt03] Joan Starr Metadata use in the commercial banking industry. Bulletin of the American Society for Information Science and Technology [JLVV03] Hurtowni danych podstawy organizacji i funkcjonowania M.Jarke, M.Lenzerini, Y.Vassiliou, P.Vassiliadis WSiP 2003 [DuRO03] Robert B. Dunaway Visual Studio.NET Mikom 2003 [CWM03] Common Warehouse Metamodel (CWM) Specification Object Management Group 2003 [MaZy03] Mariusz śytniewski Budowa modeli dla potrzeb analitycznych systemów CRM SWO [WoKi2002a] Won Kim*, Ki-Joon Chae, Dong-Sub Cho, Byoungju Choi, Anmo Jeong, Myung Kim, KiHo Lee, Meejeong Lee, Minsoo Lee, Sang-Ho Lee, Seung-Soo Park, Hwan-Seung Yong, Ho- Sook Kim, Jung-Won Lee, Wol-Young Lee: The Chamois Re-

8 394 Zarządzanie wiedzą i rozwiązania Business Intelligence configurable Data-Mining Architecture Journal of Object Technology, vol. 1, no. 2, July-August 2002, pp [WoKi 2002b] W. Kim, et al.: The Chamois Component-Based Knowledge Engineering Framework IEEE Computer, May 2002, pages 44-52, IEEE CS Press [WSHL01] Woojong Suh, Heeseok Lee Hypermedia document management: A metadata and meta-information system Journal of Database Management 2001 [MaNa01] Marek Nahotko Metadane dla czasopism elektronicznych EBIB 2001 [HaSi01] Hank Simon XML: Data about data ACS Publications 2001 [LKK01] Heeseok Lee; Taehun Kim; Jongho Kim A metadata oriented architecture for building datawarehouse Journal of Database Management 2001 [ZhWa00] Zhongtuo Wang Meta-Decision Making: Concepts and Paradigm Systemic Practice and Action Research 2000 THE CONCEPTS OF USING METADATA IN INFORMATICS SYSTEMS The metadata concepts which describes system structure, its individual elements and processes are often using not only in transactional systems and data warehouses, but also in analytical systems. This paper presents potential use of metadata in this systems and advantages of its implementation. Finally, the paper describes a sample use of metadata in analytical systems.