STUDIA INFORMATICA ZAAWANSOWANE HURTOWNIE DANYCH. Marcin GORAWSKI. Quarterly. Volume 30, Number 3B (86) Silesian University of Technology Press

Transkrypt

1 STUDIA INFORMATICA Formerly: Zeszyty Naukowe Politechniki Śląskiej, seria INFORMATYKA Quarterly Volume 30, Number 3B (86) Marcin GORAWSKI ZAAWANSOWANE HURTOWNIE DANYCH Silesian University of Technology Press Gliwice 2009

2 STUDIA INFORMATICA Volume 30, Number 3B (86) Formerly: Zeszyty Naukowe Politechniki Śląskiej, seria INFORMATYKA Nr kol Editor in Chief Dr. Marcin SKOWRONEK Silesian University of Technology Gliwice, Poland Editorial Board Dr. Mauro CISLAGHI Project Automation Monza, Italy Prof. Bernard COURTOIS Lab. TIMA Grenoble, France Prof. Tadeusz CZACHÓRSKI Silesian University of Technology Gliwice, Poland Prof. Jean-Michel FOURNEAU Université de Versailles - St. Quentin Versailles, France Prof. Jurij KOROSTIL IPME NAN Ukraina Kiev, Ukraine Dr. George P. KOWALCZYK Networks Integrators Associates, President Parkland, USA Prof. Peter NEUMANN Otto-von-Guericke Universität Barleben, Germany Prof. Olgierd A. PALUSINSKI University of Arizona Tucson, USA Prof. Svetlana V. PROKOPCHINA Scientific Research Institute BITIS Sankt-Petersburg, Russia Prof. Karl REISS Universität Karlsruhe Karlsruhe, Germany Prof. Jean-Marc TOULOTTE Université des Sciences et Technologies de Lille Villeneuve d'ascq, France Prof. Sarma B. K. VRUDHULA University of Arizona Tucson, USA Prof. Hamid VAKILZADIAN University of Nebraska-Lincoln Lincoln, USA Prof. Adam WOLISZ Technical University of Berlin Berlin, Germany Dr. Lech ZNAMIROWSKI Silesian University of Technology Gliwice, Poland STUDIA INFORMATICA is indexed in INSPEC/IEE (London, United Kingdom) Copyright by Silesian University of Technology Press, Gliwice 2009 PL ISSN , QUARTERLY Printed in Poland ZESZYTY NAUKOWE POLITECHNIKI ŚLĄSKIEJ OPINIODAWCY Dr hab. Zygmunt MAZUR, prof. Pol. Wrocławskiej Dr hab. inż. Robert WREMBEL KOLEGIUM REDAKCYJNE REDAKTOR NACZELNY Prof. dr hab. inż. Andrzej Buchacz REDAKTOR DZIAŁU Dr inż. Marcin Skowronek SEKRETARZ REDAKCJI Mgr Elżbieta Leśko

3 ALEKSANDRZE, ANI i MICHAŁOWI

4

5 SPIS TREŚCI 1. Wprowadzenie Systemy analityczne a klasyczne hurtownie danych Ewolucja technologiczna systemów analitycznych Stan badań naukowych w dziedzinie hurtowni danych Cel i plan rozprawy Motywujące podstawy badań Wysoce Hierachiczny System Agregacji i E-Receptorów(2HAa*) Decyzyjny System Monitorowania i Dystrybucji Mediów (2MDSS) Modelowanie 2HAa* Zaawansowane hurtownie danych Model koncepcyjny Spichlerza Agregatów Klasy zaawansowanych hurtowni danych Modele OLAP i ich ocena Interoperacyjny silnik ROLAP Model SOLAP Wielowymiarowe modele danych przestrzennych i operatory SOLAP Nowy model gwiazdy kaskadowej Operatory kaskadowe ECOLAP w przetwarzaniu SOLAP Podsumowanie Indeksy przestrzenne i ocena ich efektywności Indeksy przestrzenne ogólnego przeznaczenia Nowe odmiany R-drzew Dynamiczne XBR-drzewo Eksperymentalna ocena efektywności indeksów przestrzennych Model kosztowy R-drzew dla zapytań zakresowych Model kosztowy R-drzew dla zapytań o k najbliższych sąsiadów Weryfikacja eksperymentalna modeli kosztowych R-drzew Model kosztowy XBR-drzewa Rodzina agregacyjnych drzew przestrzennych Analiza wyników eksperymentów Model kosztowy ar-drzewa Sklastrowane hybrydowe ar-drzewo (CHR-drzewo) CBA-drzewa indeksujące przestrzenne obiekty rozmiarowe Przetwarzanie grupowe zapytań przestrzennych Podsumowanie Przestrzenno-czasowe struktury agregatów...96

6 6 M. Gorawski 4.1. Podstawowe przestrzenno-czasowe drzewa agregatów arb-drzewo Indeks szkicu bazujący na arb-drzewie ap-drzewo MVB (p,a)-drzewo MDBIndex Dynamiczny wielowymiarowy indeks kubełkowy Nowe przestrzenno-czasowe struktury indeksujące BVMA-drzewo Hybrydowe drzewo agregacji przestrzenno-czasowej (STAH-drzewo) Przestrzenno-czasowe kubełkowe drzewo agregacyjne (STCA-drzewo) Wielowymiarowa struktura paczek agregacyjnych (MDPAS) RBTA-drzewo jako indeks pomiarowy Podsumowanie Rodzina materializowanej listy agregatów Architektura Materializowanej Listy Agregatów (MAL) Algorytmy MAL i ich złożoność czasowa Koszty materializacji MAL/TRIGG Struktury indeksujące zintegrowane z MAL Indeks axbr-drzewo zintegrowany z MAL Zintegrowana struktura indeksująca CAM2S (CHR-drzewo/AEC/MAL) Architektura MAL rozbudowana o bufory LRU Podsumowanie Ekstrakcja danych (ETL) i jej odtwarzanie Modelowanie procesu ekstrakcji danych (ETL) Przyrostowa ekstrakcja danych pierwotnych Modele odtwarzania ETL Algorytm jednoinsertorowego odtwarzania Design-Resume (DR(1)) Ocena algorytmu DR(1)/JB) i jego odmian Nowe modele odtwarzania procesu ETL rodzina algorytmów DR Algorytm wieloinsertorowgo odtwarzania DR(m) Odtwarzanie hybrydowe SDR(m) Odtwarzanie ETL z punktami kontrolnymi Podsumowanie Przestrzenno-temporalne hurtownie danych Architektura przestrzenno-temporalnej hurtowni danych (STDW) Wielowersyjna STDW studium przypadku Modelowanie STDW dla 2MDSS Trajektoryjne hurtownie danych (TrDW )...219

7 Spis treści Architektura rozproszonej przestrzenno-temporalnej hurtowni danych Równoległe przetwarzanie procesu ETL Balansowanie obciążeń w B-DSDW DSTDW w środowisku agentów programowych (DSDWSA) System agentów programowych SAS Model realizacji agregacyjnych zapytań SQL w DSDWSA DSTDW w środowisku agentów mobilnych (DSTDWMA) Podsumowanie Chronione hurtownie danych (ProDW) Ochrona danych w hurtowniach danych Kontrola dostępu do danych Ochrona prywatności danych bazująca na fragmentacji w DSDW Dekompozycja relacji i kodowanie atrybutów Model DSDW objęty ochroną prywatności danych (ProDW) Silnie chronione hurtownie danych (SProDW) Algorytmy odkrywania reguł asocjacji a prywatność danych Prywatność danych w rozproszonej klasteryzacji metodą k-średnich Bezpieczna klasteryzacja rozproszona bazująca na gęstości Model SProDW Podsumowanie Gridowe hurtownie danych (GDWSA) System agentowo-gridowy GAS2 platformą dla GDWSA(t) Gridowa hurtownia danych o architekturze agentowej (GDWSA) Fragmentacja pozioma GDWSA (t) wg metody DWS Fragmentacja pozioma GDWSA (t) przez partycjonowanie wartościujące Fragmentacja GDWSA (t) przez rozproszenie drzew agregatów Rozproszenie STCA-drzewa armvb(p,a)-drzewo w GDWSA (t) Wielordzeniowe rozproszenie R2BTAT-drzewa w GDWSA Podsumowanie Strumieniowe hurtownie danych (StrDW) Architektura strumieniowej hurtowni danych (StrDW) Model przetwarzania strumieniowego (StrSOLAP) Model fizyczny repozytorium strumieni danych (StrDW[MAL]) Modelowanie silnika ekstrakcji strumieni danych (StrETL) Metoda odtwarzania strumieni danych (StrRecETL) Model fizyczny rozproszonej StrDW w systemie agentowym (DStrDWSA) Metoda obsługi zdalnych procesów ETL (ETLPRS) Model zarządcy dystrybucją strumieni danych...315

8 8 M. Gorawski Język zapytań strumieniowych StreamAPAS dla StrDW Kompilacja zapytania strumieniowego Analizy wydajnościowe silników StrDW Podsumowanie Konkluzje Kontrybucja Przyszłe badania Bibliografia Streszczenie Abstract Skorowidz ważniejszych oznaczeń i symboli...382

9 CONTENTS 1. Introduction Analytical and classical data warehouse systems Technological evolution of analytical systems Condition of a data warehouses researches Dissertation goal and outline Motivating basic researches Highly Hierarchical Aggregation and E-receptors systems (2HAa*) Media Monitoring and Distribution Support System (2MDSS) HAa* modeling Advanced data warehouses Conceptional model of the Aggregates Granary Classes of advanced data warehouses OLAP models and their evaluation Interoperational ROLAP engine SOLAP model Multidimensional spatial data models and SOLAP operators A new model of cascaded star Cascade ECOLAP operators in SOLAP processing Summary Spatial indexes and evaluation of their effectiveness General purpose spatial indexes New R-trees types Dynamic XBR-tree Experimental evaluation of spatial indexes effectiveness R-trees cost model for range queries R-trees cost model for k nearest neighbours queries Experimental verification a R-trees cost models XBR-tree cost model The family of aggregation spatial trees Experiments results analysis The ar-tree cost models The clustered hybrid ar-tree (CHR-tree) CBA-trees indexing spatial size objects Group processing of spatial queries Summary Spatio-temporal aggregates structures Basic spatio-temporal aggregation trees 97

10 10 M. Gorawski The arb-tree The sketch index basing on arb-tree The ap-tree The MVB (p,a)-tree The MDBIndex Dynamic multidimensional bucket index The new spatio-temporal indexing structures The BVMA-tree Hybrid spatio-temporal aggregation tree (STAH-tree) Spatio-temporal cup aggregate tree (STCA-tree) Multidimensional package aggregation structure (MDPAS) The RBTA-tree as measuring index Summary The family of Materialized Aggregates List Architecture of the Materialized Aggreagtes List (MAL) MAL algorithms and thier time complexity MAL/TRIGG materialization cost Indexing structures integrated with MAL The MAL integrated axbr-tree The MAL integrated CAM2S indexing structures (CHR-tree/AEC/MAL) Architecture MAL extended with LRU buffers Summary Data extraction (ETL) and its resumption Modeling of the data extraction process (ETL) Incremental extraction of initial data ETL resumption models Oneinserter resumption Design-Resume algorithm (DR(1)) The DR(1)/JB) algoritm evaluation New ETL resumption models DR algorithms family Multiinserter resumption algorithm DR(m) Hybrid resumption SDR(m) ETL resumption using checkpoint Summary Spatio-temporal Data Warehouses Architecture of a spatio-temporal data warehouse (STDW) Multiversion STDW case study The STDW modeling for the 2MDSS Trajectory data warehouses (TrDW) Architecture of a distributed spatio-temporal data warehouse.225

11 Contents Parallel processing of the ETL Load balancing in B-DSDW DSTDW in software agents environment (DSDW SA ) Software agents system SAS Model of a aggregational SQL queries realization in DSDW SA DSTDW in mobile agents environment (DSTDW MA ) Summary Protected Data Warehouses (ProDW) Preserving data in data warehouses Data access control Data privacy preserving basing on fragmentation DSDW Relations decomposition and attribute coding DSDW model with data privacy protection (ProDW) Strongly Protected Data Warehouses (SProDW) Association rules mining agorithms and data privacy Data privacy in k-means distributed clustering Privacy preserving density-based distributed clustering SProDW model Summary Grid Data Warehouses (GDW SA ) Grid-agent system GAS2 as platform for GDW SA (t) Grid data warehouse with agent architecture (GDW SA ) The GDWSA (t) horizontal fragmentation DWS+ method The GDWSA (t) horizontal fragmentation value partitioning GDW SA (t) horizontal fragmentation aggregate tree distribution Distributed STCA-tree The armvb(p,a)-tree in GDW SA (t) Multicore distribution of the R2BTAT-tree in GDW SA Summary Stream Data Warehouses (StrDW) The Stream architecture in a data warehouse (StrDW) The stream processing model (StrSOLAP) The physical model of data streams repository (StrDW[MAL]) The streams data extraction engine modeling (StrETL) Data streams resumption (StrRecETL) The model of distributed StrDW in agent system (DStrDWSA) Remote ETL processes managing (ETLPRS) The data streams manager model Stream queries language (StreamAPAS) for StrDW...315

12 12 M. Gorawski The stream query compilation StrDW engines efficiency analysis Summary Conclusion Contribution Future works..339 Bibliography Abstracts.378 Index of most frequently used symbols and abbreviations 382

13

14 ZAAWANSOWANE HURTOWNIE DANYCH STRESZCZENIE Niniejsza monografia jest poświęcona nowej wizji ewolucji hurtowni danych (DW), której wyrazem jest nowa generacja modeli DW, o nazwie Zaawansowane Hurtownie Danych (AdvDW). Zdolność formułowania nowych modeli klasycznych DW dla nowych wyzwań globalnych, przy szybkim postępie ICT, jest znacznie ograniczona, natomiast stan badań nad przestrzenno-temporalnymi hurtowniami danych (STDW) jest dalece niewystarczający. Prognozuje się, że w kolejnej dekadzie 2010 nowym celem ICT będą: Analityczne systemy zaawansowanych hurtowni danych, zorientowane na rozlegle przetwarzanie (rozproszone, równoległe, gridowe, agentowe) w sieciach (szkieletowych, bezprzewodowych, przemysłowych), ukierunkowane na zaawansowaną analizę ogromnych (petabajtowych) wolumenów (repozytoriów) danych strumieniowych. Zatem model wizji ewolucji DW ma na celu podniesienie poziomu badań o stopień wyżej, przez promowanie modeli AdvDW, jako samodzielnego podejścia, a nie tylko cechy wynikającej z bardziej uogólnionych własności klasycznych DW. Pomocna w modelowaniu wizji ewolucji DW jest Lista 15 kluczowych wyzwań badawczych w dziedzinie DW. Jako całościowe rozwiązanie ramowe problematyki badawczej, objętej tą listą, opracowano koncepcje ramowe, modele, metody, prototypy, charakterystyki efektywnościowe i ich analizy w zakresie zagadnień badawczych: 1. Wysoce Hierachiczne Systemy Agregacji i E-Receptorów 2HAa*, w tym Decyzyjny System Monitorowania i Dystrybucji Mediów (2MDSS). 2. Spichlerz Agregatów, w tym Wielopierścieniowa Hurtowni Danych (MultiRingDW) o schemacie rozszerzonej gwiazdy kaskadowej. 3. Indeksy przestrzenne ogólnego przeznaczenia i rodzina agregacyjnych drzew przestrzennych o wysokiej efektywności. 4. Przestrzenno-czasowe struktury agregatów, jako wielopoziomowe hybrydowe agregacyjne drzewa indeksów przestrzennych i czasowych oraz specjalne struktury wspomagające agregację danych przestrzenno-czasowych. 5. Materializowana Lista Agregatów (MAL) i zintegrowane z nią indeksy. 6. Ekstrakcja danych i jej odtwarzanie. 7. Przestrzenno-temporalne hurtownie danych (D)STDW, jako I klasa AdvDW.

15 Streszczenie Silnie chronione hurtownie danych SPrevDW, jako II klasa AdvDW. 9. Gridowe hurtownie danych GDW SA, jako III klasa AdvDW. 10. Strumieniowe hurtownie danych StrDW A, jako IV klasa AdvDW. Realizowalność opracowanych koncepcji, w ramach ww. grup problemowych, została zweryfikowana za pomocą prototypowego oprogramowania, ze szczególnym uwzględnieniem środowisk rozwojowych bazujących na językach, tj.: Java i C++ oraz platformach, tj.: Windows, Solaris i bazach danych, tj.: Oracle 9i/10(11)g, MSSQL, IBM DB2. Przedstawiono wiele charakterystyk efektywnościowych komponentów AdvDW i ich ocenę. Nakreślono ramowo przyszłe badania stanowiące kontynuację wypracowanego podejścia do modelu wizji ewolucji DW w postaci 7-Fazowej Strategii Ewolucji DW (7FSEDW), a mianowicie: Faza I: Klasyczne hurtownie danych. Faza II: Zaawansowane hurtownie danych AdvDW. Faza III: Dziedzinowe systemy 2HAa, bazujące na AdvDW. Faza IV: Wielopierścieniowe hurtownie danych (MultiRingDW). Faza V: Wielodziedziniowe systemy 2HAa, bazujące na MultiRingDW. Faza VI: Spichlerze agregatów A4G. Faza VII: Wielodziedziniowe systemy 2HAa bazujące na A4G. Obecnie trwają intensywne prace w obrębie Fazy II oraz Fazy III, z naciskiem na prototypowanie zaawansowanych systemów analitycznych. Wyznacznikami postępu w realizacji 7FSEDW są prace długoletnie oraz roczne. Przedstawiono w rozprawie wybrane tematy takich prac.

16 ADVANCED DATA WAREHOUSES ABSTRACT The following dissertation presents a new vision of Data Warehouses (DW) evolution a new generation of DW models called Advanced Data Warehouses (AdvDW). The ability to formulate new models of classical data warehouse for new global challenges is strongly limited. Moreover, the research on spatio-temporal data warehouses (STDW) is rather insufficient. Forecasts are that in the next decade the new goal of ITC will be Analytical advanced data warehouse systems oriented on massive processing (distributed, parallel, grid, agent) in networks (framework, wireless, industrial) directed to advanced analysis of huge (petabyte) volumes (repositories) of a stream data. The vision of DW evolution presented in the following work creates a next level of research promoting AdvDW models as a self-reliant approach being much more than only features derived from generalized nature of classical DWs. To specify the model of DW evolution vision a list of 15 key challenges in DWs was created. As an all-out solutions for problems from the list, framework concepts, models, methods, prototypes, effective characteristics and their analyses were defined: 1. Highly Hierarchical Aggregation and E-Receptors Systems (2HAa*), including Monitoring and Media Distribution Support System (2MDSS). 2. Aggregates Granary including MultiRing Data Warehouse (MultiRingDW) with expanded cascaded star schema. 3. General purpose spatial indices and a family of highly efficient aggregation trees. 4. Spatio-temporal aggregates structures as multilevel hybrid aggregate tree of the spatial and temporal indexes and special structures supporting the spatio-temporal data aggregation. 5. Materialized Aggregates List (MAL) with integrated indexes. 6. Data extraction and its resumption. 7. Spatio - temporal data warehouses (D)STDW as the class I of AdvDW. 8. Strongly preserved data warehouses (SPrevDW) as the class II of AdvDW. 9. Grid data warehouses (GDW SA ) as the class III of AdvDW. 10. Stream data warehouses StrDW) as the class IV of AdvDW.

17 Abstract 381 The realization of above-mentioned problem groups was verified with prototype software basing on Java and C++ environments running on Windows and Solaris platforms and databases Oracle 9i/10(11)g, MSSQL, IBM DB2. A number of effectiveness characteristics of AdvDW was presented along with their evaluation. The framework of future research is a continuation of the presented approach: Phase I: Classic data warehouses. Phase II: Advanced data warehouses AdvDW. Phase III: Branch systems 2HAa basing on AdvDW. Phase IV: MultiRing Data Warehouse. Phase V: Multibranch 2HAa systems basing on MultiRingDW. Phase VI: Aggregates granary (A4G). Phase VII: MultiBranch 2HAa systems basing on A4G. Current works include Phase II and Phase III with special focus on prototypes of advanced analytical systems. The progress marks in realization of the 7FSEDW will be yearly and long term works. In the dissertation a choice of such subjects is presented.