Hurtownie Danych. Dariusz Dymek

Transkrypt

1 Dariusz Dymek

2 Definicja Hurtownia danych to tematyczna baza danych, która trwale przechowuje zintegrowane dane opisane wymiarem czasu [Inmon96] Hurtownie danych są ukierunkowane na realizację celów strategiczno-analitycznych, w przeciwieństwie do transakcyjnych baz danych, które realizują cele operacyjne 2

3 Tematyczna Zakres danych, ich model oraz struktura ich przechowywania w HD wynika z potrzeb związanych z zadanym tematem (np. klientami), łącząc w sobie wszystkie informacje pochodzące z różnych systemów (np. zamówienia, sprzedaż, płatności, etc.) 3

4 Trwale Dane w HD nie podlegają modyfikacji ani archiwizacji. Mają one charakter przyrostowy, a zakres operacji na danych sprowadza się tylko do zapisu i odczytu. Trwałość danych stanowi duże wyzwanie dla procesów ich pozyskiwania (ETL), gdyż po wczytaniu danych nie można dokonywać żadnych poprawek. 4

5 Zintegrowane Dane w HD pochodzą z różnych systemów, w których mogą być przechowywane w różnych modelach i strukturach. Integracja w HD polega na narzuceniu danym jednolitego modelu i struktury, niezależnie od źródła pochodzenia danych oraz na zapewnieniu ich merytorycznej poprawności 5

6 Opisane wymiarem czasu Dla wszystkich danych w HD wymiar czasu jest jedną z podstawowych form porządkowania. Wszystkie dane są opisane w terminach czasowych, co w połączeniu z trwałością oznacza, że analizy za dany okres czasu, bez względu na czas ich wykonania muszą być identyczne (w zakresie danych) t 5 t 4 t 3 t 2 t 1 6

7 Zakres stosowania Złożone raporty Analizy statystyczne Prognozy i trendy Zależności między danymi (data mining) Planowanie i kontrola 7

8 Dlaczego nie OLTP? OLPT (On Line Transaction Processing) to klasa systemów ukierunkowanych na transakcyjne przetwarzanie danych (przykładem może być większość systemów informatycznych dla biznesu). OLTP jest ukierunkowane na: Operacje - szybkie przetwarzanie pojedynczych i stosunkowo małych ilości danych (np. pojedyncza sprzedaż) Odzwierciedlanie stanu aktualnego, co oznacza ciągłą zmianę stanu Wydajność w przetwarzaniu pojedynczych danych z istotnym warunkiem czasu odpowiedzi 8

9 OLTP vs HD Właściwość OLTP HD Czasowy zakres danych 3-12 miesięcy Co najmniej kilka lat Organizacja danych wg aplikacji wg tematu (dziedziny) Typowy rozmiar danych Liczony w MB lub GB Liczony w GB lub TB Aktualność danych Bieżąca Historyczna Zakres operacji na danych Określony przez DML Selekcja* Zasilanie danymi Ciągłe, dane pojedyncze Periodyczne, dane w pakietach zbiorczych Obciążenie dysku Małe-średnie Duże Czas odpowiedzi do sekundy nawet kilka godzin *) Brak możliwości zmieniania danych wynika z faktu, że dane pochodzą z innych systemów, więc ich modyfikacja powinna być traktowana jako falsyfikacja danych (lub taka możliwość), ogranicza to w praktyce możliwości operowania na danych jedynie do ich wybierania 9

10 Architektura Hurtowni Danych Schemat ogólny 10

11 Usytuowanie Hurtowni Danych 11

12 Struktura Hurtowni Danych 12

13 Warianty Struktury Architektura Hurtowni Danych 13

14 Hurtownia scentralizowana Dane są kopiowane z systemów źródłowych do czasowego obszaru składowania (Temporary Storage Area) Dane po transformacji, oczyszczeniu i przetworzeniu są zapisywane w Centralnym Repozytorium Danych (Central Data Repository, Data Vault) Aplikacje analityczne korzystają z danych z CRD Możliwe wyodrębnienie baz tematycznych jako baz wirtualnych (virtual view) Inne nazwy: Korporacyjna Hurtownia Danych (Enterprise Data Warehouse) 14

15 Hurtownia scentralizowana z zależnymi hurtowniami tematycznymi Dane są kopiowane z systemów źródłowych do czasowego obszaru składowania (Temporary Storage Area) Dane po transformacji, oczyszczeniu i przetworzeniu są zapisywane w Centralnym Repozytorium Danych (Central Data Repository, Data Vault) Hurtownie tematyczne (Data Marts - DM) są zasilane z CRD i mają charakter zmaterializowany Aplikacje analityczne mogą korzystać z danych z DM lub z CRD (rzadziej) Inne nazwy: Depended Data Marts 15

16 Niezależne hurtownie tematyczne Dane są kopiowane z systemów źródłowych do czasowego obszaru składowania (Temporary Storage Area) Dane po transformacji, oczyszczeniu i przetworzeniu są zapisywane w hurtowniach tematycznych (DM) Procesy zasilania poszczególnych DM mogą być realizowane niezależnie Aplikacje analityczne mogą korzystać z danych z DM Inne nazwy: Independed Data Marts 16

17 Unia hurtowni tematycznych Dane są kopiowane z systemów źródłowych do czasowego obszaru składowania (Temporary Storage Area) Dane po transformacji, oczyszczeniu i przetworzeniu są zapisywane w hurtowniach tematycznych (DM) Proces zasilania jest wspólny dla wszystkich DM Aplikacje analityczne mogą korzystać z danych z DM Inne nazwy: Data Mart Bus 17

18 Schemat Hurtowni Danych uwarunkowania wyboru Architektury oparte o CRD wymagają planowania i projektowania z wyprzedzeniem, wymagają dużych nakładów na początku, ale dają obraz całościowy i większe możliwości rozbudowy hurtowni z zachowaniem spójności danych i dzięki centralizacji są łatwiejsze w administrowaniu i utrzymaniu (lepsza kontrola nad dostępem do danych, jedna platforma, itd.) Architektury oparte o DM (bez CRD) mogą być realizowane bezpośrednio w odpowiedzi na potrzeby użytkowników ( biznesu ), ale niezależność procesów zasilania może prowadzić do utraty spójności danych między poszczególnymi DM. Całość jest trudniejsza w administrowaniu i utrzymaniu (wielu właścicieli danych, możliwe różne procedury dostępu czy narzędzia implementacyjne, itd.) 18

19 Architektura Hurtowni Danych Model warstwowy 19

20 Model Konceptualny Warstwa pojęciowa-funkcjonalna (HD-WPF) operuje na poziomie informacji, definiuje funkcje (biznesowe) HD, posługuje się językiem pojęć biznesowych Warstwa logiczna (HD-WL) operuje na poziomie informacji i danych, mapuje pojęcia biznesowe (informację) na język danych Warstwa fizyczna (HD-WF) operuje na poziomie danych, stanowi implementację warstwy logicznej 20

21 Model konceptualny 21

22 Model konceptualny WARSTWA POJĘCIOWO - FUNKCJONALNA Dariusz Dymek

23 Warstwa pojęciowo-funkcjonalna (WPF) Schemat funkcjonalny Opisuje funkcjonalność HD na poziomie biznesowym, wskazując jakie funkcje biznesowe będą realizowane i wspierane oraz w jaki sposób, lokuje HD w systemie informacyjnych organizacji Schemat informacyjny HD Opisuje zakres informacji przechowywanych i udostępnianych przez DH posługując się językiem pojęć biznesowych Schematy informacyjne źródeł danych Wskazuje na źródła informacji (danych) dla HD, opisuje jakie informacje będą pochodzić z jakich źródeł, opisuje źródła w języku użytkowników HD (np. system FK, baza klientów, etc.), definiuje relacje między pojedynczymi źródłami informacji oraz specyfikuje wymagania jakościowe 23

24 WPF schemat funkcjonalny Docelowo HD staje się jednym z elementów systemu informacyjnego organizacji, dlatego należy ustalić jego rolę w tym systemie Definiujemy jakie funkcje udostępnia HD (np. raporty typu X dla działu Y) i w jakim trybie (np. na żądanie), identyfikując równocześnie użytkowników HD i ich role (np. właściciel tematu) Schemat funkcjonalny jest opisywany na poziomie pojęć i procesów biznesowych, Odpowiada Specyfikacji Wymagań Biznesowych w Inżynierii Oprogramowania (Inżynierii Wymagań) 24

25 WPF schemat informacyjny Wskazanie obiektów (w sensie biznesowym np. klient, dostawca, produkt, usługa, etc. w nomenklaturze HD: fakty) jakie mają być opisywane w Hurtowni Danych oraz sposób ich opisu (atrybuty, zakres informacji opisujących fakty, np. data, miejsce, etc. w nomenklaturze HD: wymiary) i miar atrybutów Mapowanie pomiędzy zawartością HD (fakty i wymiary) a elementami schematu funkcyjnego (np. raporty) 25

26 WPF- schemat informacyjny źródeł danych opis źródeł danych na poziomie informacji zdefiniowanie relacji pomiędzy obiektami (faktami i wymiarami) Hurtowni Danych a obiektami opisywanymi przez źródła danych 26

27 Warstwa pojęciowo-funkcjonalna (WPF) Opis warstwy pojęciowo-funkcjonalnej tworzy Model Pojęciowo-Funkcjonalny (MPF) MPF jest podstawą do wszelkich prac analitycznych i implementacyjnych przy budowie Hurtowni Danych Podejście do realizacji MPF: LAV : Local-As-View opis danych źródłowych i hurtowni danych jest realizowany w jednym wspólnym modelu pojęciowym (! trzeba go stworzyć) GAV : Global-As-View dane źródłowe są opisywane we własnych modelach pojęciowych i mapowane na model pojęciowy hurtowni danych (! trzeba mapować) 27

28 Model Pojęciowo-Funkcjonalny (MPF) Do formalnego opisu MPF można wykorzystać np. diagramy ERD lub inne narzędzia pozwalające na opisanie relacji pomiędzy różnymi obiektami i atrybutami je charakteryzującymi W trakcie eksploatacji, Hurtownia Danych ulega ciągłym modyfikacjom na skutek: Dodawania nowych źródeł danych Dodawania nowej (lub modyfikacji istniejącej) funkcjonalności Każda zmiana znajduje swoje odbicie w MPF. 28

29 MPF dodanie nowego źródła danych Opisanie nowego źródła w istniejącym modelu pojęciowym (z ewentualnym rozszerzeniem tego modelu o nowe pojęcia) Umiejscowienie nowego (lokalnego) modelu pojęciowego nowego źródła w modelu pojęciowym hurtowni Zdefiniowanie relacji pomiędzy nowym źródeł a hurtownią (na poziomie informacji) Sprawdzanie zgodności nowego źródła z już istniejącymi Stworzenia nowej wersji MPF 29

30 MPF dodanie nowej funkcjonalności Opisanie nowej funkcjonalności (analizy, raportu) w istniejącym modelu pojęciowym (z ewentualnym rozszerzeniem tego modelu o nowe pojęcia wynikające z tej funkcjonalności) Sprawdzenie zgodności nowej funkcjonalności z istniejącym opisem źródeł zasilania (w przypadku konieczności zmian w źródłach zasilania: patrz MPF dodanie nowych źródeł zasilania) Sprawdzenie zgodności pojęciowej nowej funkcjonalności z już istniejącą Stworzenia nowej wersji MPF 30

31 Model konceptualny WARSTWA LOGICZNA Dariusz Dymek

32 Warstwa logiczna (WL) Specyfikacja aplikacji użytkownika Specyfikacja struktur HD Specyfikacja struktur ETL Specyfikacja logiki ekstrakcji danych Specyfikacja logiki transformacji danych Specyfikacja logiki ładowania danych Specyfikacja struktur źródeł danych Warstwa logiczna stanowi odpowiednik analizy i szczegółowego projektu Hurtowni Danych punktem wyjścia jest MPF 32

33 WL Specyfikacja aplikacji użytkownika Stanowi odpowiednik Specyfikacji Wymagań Użytkowników w Inżynierii Oprogramowania (Inżynierii Wymagań) Aplikacje grupują funkcjonalność wg potrzeb użytkowników Specyfikacja aplikacji użytkownika jest tworzona w oparciu o MFP oraz o Specyfikację struktur danych DH (na poziomie logicznym model danych HD z wyróżnieniem struktur danych) 33

34 WL Specyfikacja struktur HD Wychodząc od MPF definiujemy logiczną strukturę danych dla Hurtowni Danych Specyfikacja struktur HD powinna być zrobiona w narzędziach niezależnych od narzędzi implementacyjnych Specyfikacja struktur HD jest mapowana na funkcjonalność poszczególnych aplikacji (a do niej są mapowane specyfikacje struktur źródeł danych) 34

35 WL- Model struktury danych Fakty (zdarzenia) Opisuje fakty (np. sprzedaż) przeważnie w ujęciu ilościowym (np. ilość, wartość, cena) (miary) Główna tabela (tabele) Hurtowni Danych połączona z tabelami wymiarów Wymiary Nadają znaczenie faktom (np. kto, co, komu i kiedy sprzedał) Przechowywane w odrębnych tabelach Mogą mieć strukturę hierarchiczną (wielopoziomową) Określenie faktów i wymiarów je opisujących (wraz z zakresem wartości) jest elementem projektu logicznego hurtowni 35

36 WL - Model struktury danych - Gwiazda Najprostszy model wykorzystywany w HD Tabela faktów jest w trzeciej postaci normalnej Dla każdego z wymiarów występuje tylko jedna zdenormalizowana tabela Klucz główny tabeli faktów jest zwykle złożony z wszystkich kolumn z wyjątkiem miar 36

37 WL - Model struktury danych Płatek śniegu Jest bardziej złożoną wersją schematu gwiazdy Główną różnicą jest normalizacja tabel wymiarów Używana głównie gdy tabele wymiarów osiągają duże rozmiary 37

38 WL- Model struktury danych Konstelacja Może być wykorzystany zarówno w schemacie gwiazdy jak i płatka śniegu Zakłada istnienie więcej niż jednej tabeli faktów Tabele faktów mogą współdzielić wymiary, ale mogą też posiadać odrębne wymiary 38

39 WL Specyfikacja struktur ETL (WL-ETL) ETL: pozyskanie, transformacja i ładowanie danych (do Hurtowni Danych) Ogół działań mających na celu pozyskanie danych ze źródeł danych, ich przekształcenie do postaci wymaganej przez model HD, sprawdzenie ich poprawności (formalnej i merytorycznej), wykonanie niezbędnych przetwarzań (np. agregacji) oraz załadowanie ich do struktur HD 39

40 WL-ETL Specyfikacja logiczna ekstrakcji danych Opis procesu pozyskania danych z każdego źródła z uwzględnieniem: Zakresu pozyskiwanych danych Postaci poszczególnych elementów danych Sposobu ich pozyskania (np. ekstrakcja do plików tekstowych, odczyt z baz operacyjnych lub archiwalnych, itp.) Uwarunkowań procesu pozyskania, w tym: Możliwości techniczno-czasowe dostępności danych Formy transmisji danych Mechanizmy kontroli poprawności ekstraktów na etapie ich przygotowania i na etapie transmisji (np. kody parzystości do identyfikowania kompletności plików tekstowych) 40

41 WL-ETL Specyfikacja logiczna transformacji danych Dla każdego ze źródeł danych specyfikujemy procesy przetwarzania danych do postaci wymaganej przez model HD Specyfikacja obejmuje: Przekształcenia typów i wartości Przekształcenie do wymaganej struktury Zasady sprawdzenia poprawności pojedynczych ekstraktów jak i spójności danych zawartych w różnych ekstraktach Kolejność i warianty wykonywanych przetwarzań (z uwzględnieniem wydajności) na tym etapie jako źródło danych rozumiemy ekstrakty ze wcześniej wyspecyfikowanych źródeł danych może być ich więcej niż systemów źródłowych, gdyż pojedynczy system może dostarczać więcej niż jeden ekstrakt, dodatkowo liczba tych ekstraktów nie musi być stała w czasie np. dzienne, tygodniowe, itd. 41

42 WL-ETL Specyfikacja logiczna ładowania danych Specyfikacja ładowania danych czyli zasilenia struktur hurtowni danych obejmuje: Specyfikację procesu wczytania poprawnych danych (kolejność ładowania danych) Specyfikację mapowania poszczególnych elementów danych do struktur hurtowni danych Specyfikację procesów przetwarzania danych realizowanych na poziomie Hurtowni Danych, w tym m.in.: Procesy zasilające Tematyczne (Data Mart y) Procesy wyliczające predefiniowane raporty i analizy (w oparciu o ustaloną listę) Specyfikacja musi uwzględniać kwestie wydajnościowe oraz warianty ładowania i przetwarzania danych 42

43 WL Specyfikacja struktur źródeł danych Opis struktury logicznej wszystkich źródeł danych Struktury danych, relacje między danymi, wartości i formaty danych Określenie sposobu pozyskania danych dla każdego ze źródeł: Sposób dostępu do danych (np. funkcje systemu źródłowego, bezpośredni dostęp do bazy danych i wykorzystanie zapytań SQL, itd.) Uwarunkowania dostępu do danych (np. czasowe, wydajnościowe, itd.) 43

44 Warstwa logiczna (WL) Warstwa logiczna modelu koncepcyjnego odpowiada projektowi technicznemu (w inżynierii oprogramowania), co oznacza w szczególności że specyfikacja warstwy logicznej musi zawierać opis wszystkich algorytmów Warstwa logiczna stanowi punkt wyjścia do prac implementacyjnych (i decyzji projektowych) Znaczenie WL (!) 44

45 Model konceptualny WARSTWA FIZYCZNA Dariusz Dymek

46 Warstwa fizyczna (WF) Warstwa prezentacji - aplikacje użytkownika Warstwa przechowania danych - (Centralne) Repozytorium Danych Warstwa filtracyjna Moduły transformacji danych Moduły ładowania danych Źródła danych Moduły ekstrakcji danych Warstwa fizyczna to działająca Hurtownia Danych 46

47 Warstwa fizyczna 47

48 Źródła danych i ich ekstrakcja Proces pozyskania danych (skrypty SQL, aplikacje zewnętrzne, funkcje wbudowane, itd.) dla każdego ze zdefiniowanych źródeł danych musi być zintegrowany w normalny proces jego obsługi Musi uwzględniać kwestie czasowe (dane muszą być dostępne w określonym momencie aby można je było wczytać w zakładanym terminie) oraz wydajnościowe (proces pozyskania danych nie może zakłócać funkcjonowania systemów źródłowych w istotny sposób) Proces ten musi mieć wbudowane mechanizmy weryfikacji poprawności, zanim dane zostaną przesłane do hurtowni Przesłanie danych do warstwy filtracyjnej powinien być w maksymalnym stopniu zautomatyzowany przesłanie danych kończy proces ich pozyskania 48

49 Warstwa filtracyjna odczyt danych Odczyt danych dostarczonych ze źródeł danych scheduling czasowo-zdarzeniowy Automatyczna identyfikacja nadejścia danych Weryfikacja źródła danych Weryfikacja kompletności danych na poziomie technicznym (kompletność plików, brak uszkodzeń w plikach, nadejście wszystkich plików przewidzianych w planie) Wczytanie danych do struktur pomocniczych (TSA) Czasowe przechowywanie danych źródłowych do zakończenia procesu ładowania oraz ich archiwizacja Wszystkie działania związane z wczytaniem danych musi przebiegać w oparciu o zdefiniowane procedury oraz być dokumentowana (log operacji, listy kontrolne, itd.) 49

50 Warstwa filtracyjna - transformacja Realizowana na danych wczytanych do struktur tymczasowych (TSA Temporary Storage Area) Obejmuje konwersję danych do modelu hurtowni: Konwersja typów Konwersja wartości z kontrolą ich wartości (reguły, listy, itd.) Kategoryzacja wartości (wg. wartości zdefiniowanych dla wymiarów ) Sprawdzenie poprawności danych po konwersji Polega najczęściej na przepisaniu danych z formatów transportowych do struktur zgodnych z modelem hurtowni (rezultaty są dalej składowane w TSA) 50

51 Warstwa filtracyjna - Integracja Wczytane i poddane transformacji dane zgromadzone w TSA muszą być poddane dalszemu przetwarzaniu, celem ich połączenia w jednolity zbiór danych zgodnych z modelem hurtowni Integracja obejmuje m.in.: Ustanowienie relacji pomiędzy danymi z różnych źródeł Przetwarzanie danych w oparciu o dane z więcej niż jednego źródła (przykład: terminy rzeczywiste) Agregację danych do poziomu wymaganego przez model hurtowni W wyniku integracji wolumen danych może ulec istotnym zmianom 51

52 Warstwa filtracyjna Czyszczenie Proces realizowany w TSA, obejmujący sprawdzenie poprawności merytorycznej danych pochodzących z różnych(!) źródeł Czyszczenie danych jest realizowane w oparciu o reguły kontrolne opisujące wymagane właściwości danych, np.: Sumy krzyżowe w rozbiciach wg. różnych parametrów Zgodności sum wartości analitycznych z wartościami syntetycznymi Kompletność relacji między danymi z różnych źródeł (np. każda umowa musi być przypisana do klienta) Dla wykrytych niezgodności mogą być zdefiniowane automatyczne procedury naprawcze, ale może też być wymagana ingerencja użytkownika. W skrajnych przypadkach, może być zatrzymany proces zasilenia hurtowni. 52

53 Warstwa filtracyjna Ładowanie danych Proces polegający na przepisaniu danych ze struktur tymczasowych (TSA) do stałych struktur hurtowni danych (CRD Central Repository of Data) Wszystkie działania podejmowane w warstwie filtracyjnej powinny być sterowane danymi* opisującymi ten proces a przebieg i rezultaty tych działań muszą być odnotowane w strukturach hurtowni danych (w najprostszym przypadku w formie logów również składowanych w hurtowni*) *) dane o procesach ETL, ich przebiegu i rezultacie są elementem Metadanych HD omawianych w dalszej części wykładu 53

54 Warstwa filtracyjna Implementacja procesów Procesy warstwy filtracyjnej składają się z podprocesów (zadań) obsługujących dane cząstkowe. Wyniki działania jednych zadań są danymi wejściowymi kolejnych zadań. W efekcie zadania tworzą strukturę grafową. 54

55 Warstwa filtracyjna Implementacja procesów Uruchomienie zadania jest warunkowane spełnieniem niezbędnych kryteriów: dostępność danych właściwe zakończenie zadań poprzedzających Przebieg zadania powinien być monitorowany (log) Zadanie zwraca informacje o statusie zakończenia pomyślne wystąpiły błędy Uruchomienie zadań następujących jest warunkowane sposobem zakończenia bieżącego zadania w grafie procesów mogą występować ścieżki warunkowe 55

56 Warstwa filtracyjna Implementacja procesów Procesy (zadania) warstwy filtracyjnej (ETL) są wykonywane pod kontrolą modułu sterującego (będącego częścią HD i kontrolującego przebieg wszystkich przetwarzań w HD w tym w warstwie filtracyjnej), który odpowiada za: Harmonogramowanie zadań (pod-)moduł harmonogramujący Uruchomienie zadań (pod-)moduł uruchomieniowy Monitorowanie wykonania zadań (pod-)moduł monitorowania Należy pamiętać, że ekstrakcja danych jest często realizowana na poziomie systemów źródłowych, nad którymi moduł sterujący (a więc i szeroko rozumiana HD) nie ma kontroli 56

57 Warstwa filtracyjna harmonogramowanie procesów Zaplanowanie właściwej kolejności zadań z uwzględnieniem: Scenariusza zasilania na dany dzień Następstwa zadań Dostępnych zasobów Zapotrzebowania poszczególnych zadań na zasoby (moc obliczeniowa, pamięć, dyski, itd.) Harmonogramowanie procesów musi mieć charakter dynamiczny. Niewłaściwe zakończenie jednego z zadań musi prowadzić do zmiany harmonogramu. 57

58 Warstwa filtracyjna uruchamianie procesów Realizacja harmonogramu procesów: Sprawdzenie spełnienia warunków uruchomienia procesu zakończenie poprzedzających procesów z właściwym statusem Sprawdzenie dostępności potrzebnych danych Sprawdzenie dostępności wystarczającej ilości wymaganych zasobów Uruchamianie procesów jest sterowane harmonogramem, ale nie jest to po prostu automatyczne uruchamianie programów, lecz jest to proces aktywnej analizy stanu procesów i środowiska przetwarzania, tak aby zapewnić możliwość poprawnego wykonania każdego z uruchamianych procesów 58

59 Warstwa filtracyjna monitorowanie procesów Monitorowanie procesów odpowiada za nadzór nad przebiegiem poszczególnych procesów, a w szczególności: śledzi parametry pracy procesów (obciążenie procesora, zajęte miejsce na dysku, wykorzystywana pamięć operacyjna) monitoruje operacje we/wy procesów (dostęp do plików, baz danych, uruchamianie podprocesów, komunikacja z innymi procesami, itd.) kończenie procesów uznanych za niepoprawne ( zawieszenie ) śledzenie informacji o trybie (wyniku) zakończenia procesów Moduł monitorowania przekazuje informacje do modułu harmonogramowania, który na tej podstawie może modyfikować harmonogram procesów 59

60 Moduł Sterujący HD Moduł sterujący odpowiada za nie tylko za procesy warstwy filtracyjnej, ale obsługuje wszystkie procesy HD Moduł sterujący nie obsługuje części procesów pozyskania danych oraz procesów lokalnych aplikacji korzystających z danych zgromadzonych w HD Dariusz Dymek

61 Warstwa przechowania CENTRALNE REPOZYTORIUM DANYCH Dariusz Dymek

62 Centralne Repozytorium Danych (CRD) Implementacja relacyjna: Opiera się na wykorzystaniu koncepcji relacyjnych baz danych do fizycznej implementacji struktur modelu danych. Modele gwiazdy, płatka śniegu czy konstelacji, dają się łatwo implementować w postaci relacyjnej bazy danych. Fakty i wymiary są implementowane w postaci tabel połączonych relacjami. Dla agregatów wykorzystywane są materializowane perspektywy (materialized view) Na poziomie technicznymi wykorzystywane są powszechnie dostępne RDBMS lub ich wersje dostosowane do potrzeb HD (duża wielkość danych, ograniczony zakres zmian w danych i transakcyjność) 62

63 CRD Implementacja relacyjna Partycjonowanie danych*: Partycjonowane tabele i indeksy umożliwiają fizyczny podział danych na niewielkie, łatwe w zarządzaniu podzbiory, nazywane partycjami Każda partycja stanowi odrębny segment w bazie danych Partycje mogą być opcjonalnie dzielone na subpartycje Partycjonowanie umożliwia równoległą realizację poleceń DML *) na podstawie: Hurtownie danych na podstawie referatów IV Szkoły PLOUG 63

64 CRD Implementacja relacyjna Metody partycjonowania: Partycjonowanie zakresowe - rozdział rekordów pomiędzy partycje odbywa się według przynależności wartości kolumny-klucza do predefiniowanych przedziałów Partycjonowanie haszowe - rozdział rekordów odbywa się według wartości funkcji haszowej (modulo) wyliczanej dla kolumny-klucza Partycjonowanie wg listy - rozdział rekordów odbywa się według przynależności wartości kolumny-klucza do predefiniowanych list wartości Partycjonowanie dwupoziomowe zakresowo-haszowe - rozdział rekordów na partycje wg zakresów, a następnie na subpartycje wg wartości funkcji haszowej Partycjonowanie dwupoziomowe zakresowo-listowe - rozdział rekordów na partycje wg zakresów, a następnie na subpartycje wg przynależności do list wartości 64

65 Centralne Repozytorium Danych (CRD) Implementacja wielowymiarowa: Opiera się na wykorzystaniu koncepcji wielowymiarowych kostek danych (ang. cube or multidimensional array storage) Źródło: 65

66 CRD Implementacja wielowymiarowa Wymaga wykorzystania specjalnych narzędzi dla baz wielowymiarowych MDBMS (Multidimensional Data Base Management System) Ze względu na liczbę obliczeń przy tworzeniu kostek nie najlepiej nadaje się do dużych zbiorów danych częściej jest wykorzystywane w Data Martach i aplikacjach użytkowników(patrz: MOLAP poniżej) Zapewnia szybki dostęp do (predefiniowanych) agregatów danych, ale w złożonych zapytaniach może być mniej wydajne niż implementacja relacyjna 66

67 CRD Implementacja wielowymiarowa Operacje na kostkach*: Selekcja i wycinanie (ang. slice & dice) wybieranie fragmentu danych poprzez określenie warunków na wartościach wymiarów oraz ograniczenia listy wymiarów (zmniejszenie wymiaru kostki wynikowej) *) na podstawie: 67

68 CRD Implementacja wielowymiarowa Operacje na kostkach: Zwijanie (ang. roll-up, drill-up) zmniejszenie szczegółowości poprzez przejście na wyższy poziom hierarchii wymiaru (np. z dni na miesiące) 68

69 CRD Implementacja wielowymiarowa Operacje na kostkach: Drążenie (ang. drill-down, drill-through) zwiększenie szczegółowości poprzez przejście na niższy poziom hierarchii wymiaru (lub do danych źródłowych) 69

70 CRD Implementacja wielowymiarowa Operacje na kostkach: Obracanie (ang.pivoting) zmiana kolejności (położenia) wymiarów (np. przy przeglądaniu) 70

71 Warstwa przechowania DATA MARTS Dariusz Dymek

72 DATA MART Hurtownia tematyczna W architekturze zcentralizowanej stanowi kopię wyselekcjonowanych danych z CRD, stanowi rozwiązanie problemu wydajności przetwarzania danych poprzez ich rozproszenie W architekturach opartych na hurtowniach tematycznych (Niezależne hurtownie tematyczne, Unia hurtowni tematycznych) jest głównym miejscem składowania danych W zakresie sposobów implementacji wykorzystuje analogiczne modele jak CRD, mniejsza ilość danych pozwala częściej wykorzystywać model wielowymiarowy 72

73 DATA MART Kryterium wyodrębniania DM-ów opiera się na zakresie wykorzystania konkretnych danych i funkcjonalności aplikacji użytkowników Przykłady DM: Sprawozdawcze Raportowe Monitorowanie wykonania planów (finansowych, sprzedaży, itd.) Analityczne (np. do analiz statystycznych lub data miningu) Relacje z klientami (CRM) 73

74 Warstwa prezentacji: APLIKACJE UŻYTKOWNIKÓW Dariusz Dymek

75 Warstwa prezentacji Na warstwę prezentacji składają się mechanizmy dostępu do danych zgromadzonych w HD Bezpośredni i swobodny dostęp do danych (np. zapytania ad-hoc) podlega ścisłym restrykcjom ze względów wydajnościowych i jest dostępny tylko wąskiej grupie użytkowników (power-user) Pozostali użytkownicy mają jedynie dostęp do aplikacji o określonej funkcjonalności, które bezpośrednio (w przypadku korzystania z CRD) lub pośrednio (w przypadku korzystania z DM) korzystają z danych zawartych w HD 75

76 Aplikacje użytkownika - OLAP Rodzaje OLAP (On-line Analytical Processing): ROLAP Relational Online Analytical Processing Wykorzystuje implementację relacyjną w procesach analizy danych MOLAP Multidimensional Online Analytical Processing Wykorzystuje implementację wielowymiarową w procesach analizy danych HOLAP Hybrid Online Analytical Processing Wariant hybrydowy najczęściej wykorzystywane wymiary (i ich kombinacje są agregowane i przechowywane w postaci kostki wielowymiarowej, a pozostałe dane pozostają w formie relacyjnej i są dostępne lub agregowane na żądanie Rodzaj OLAP w ogólnym przypadku nie determinuje obszaru zastosowań wybór zależy od wielu czynników takich jak: wielkość danych, stopień agregacji, powtarzalność operacji, itd. 76

77 ROLAP Zalety: Może obsługiwać bardzo duże ilości danych. Limit danych w ROLAP jest limitem danych w relacyjnej bazie danych na której jest oparty. Posiada funkcjonalność relacyjnej bazy danych. Wady: Słaba wydajność. ROLAP opiera się na zapytaniach SQL, co w przypadku dużej ilości danych, może oznaczać długi czas wykonania. Ograniczona funkcjonalność. Możliwości ROLAP opierają się na możliwościach języka SQL, co powoduje problemy np. przy złożonych obliczenia. 77

78 MOLAP Zalety: Duża wydajność. Kostki wielowymiarowe zawierają już przetworzone dane, zoptymalizowane do szybkiego dostępu do danych. Możliwość skomplikowanych obliczeń. Obliczenia są wykonywane podczas tworzenia kostki, co umożliwia wykorzystanie zewnętrznych narzędzi. Wady: Ograniczona ilość danych. Wszystkie obliczenia są wykonywane przy tworzeniu kostki, więc nie jest możliwe wrzucanie olbrzymich ilości danych w kostkę. Problemy przy złożonych zapytaniach, wykraczających poza zakres uwzględniony przy definiowaniu kostek Wymaga dodatkowych inwestycji w technologię wielowymiarową. 78

79 HOLAP Będąc hybrydą rozwiązań relacyjnych i wielowymiarowych, w zakresie funkcjonalnym jest próbą połączenia zalet obu tych rozwiązań: wielkość danych duża wydajność Jednocześnie z technicznego punktu widzenia częściowo łączy wady obu rozwiązań: konieczność inwestowania w nową technologię złożone środowisko przetwarzania Potencjalnie najlepsze rozwiązania, ale wymaga dużej staranności przy planowaniu i w trakcie eksloatacji 79

80 Aplikacje użytkownika - interfejs Raporty i zestawienia statyczne: Ekranowe Wydruki Export w formatach stałych (np. pdf) i edytowalnych (np. xls) Raporty i zestawienia dynamiczne: Koncepcja kokpitu managera: 80

81 METADANE Dariusz Dymek

82 Metadane Hurtowni Danych Metadane = dane o danych Stanowią ustrukturalizowany opis wszystkich aspektów Hurtowni Danych na każdym z poziomów (pojęciowym, logicznym i fizycznym) Metadane są podstawą działania Hurtowni Danych, umożliwiając: Automatyzację działania Hurtowni Danych Metadane techniczne Wspólne rozumienie danych Metadane biznesowe 82

83 Metadane biznesowe Przechowują definicje pojęć biznesowych w języku modelu i struktur danych zarówno dla systemów źródłowych jak i repozytorium danych Opisują relacje pomiędzy danymi źródłowymi i danymi w Hurtowni Danych w zakresie transformacji modeli i danych Zawierają opis reguł biznesowych wykorzystywanych przy transformacji danych i weryfikacji ich biznesowej poprawności Opisują wszystkie struktury hurtowni danych, w tym: typy i wielkość pól, opis wszystkich dopuszczalnych wartości (w sensie merytorycznym) 83

84 Metadane techniczne Obejmują informację m.in. o: Źródłach danych, ich strukturze i trybie dostępu Schematach odczytu danych źródłowych (weryfikacja poprawności, kolejność wczytywania, scenariusze procesu wczytywania danych) Szczegółowych algorytmach mapowania i transformacji danych źródłowych do hurtowni danych Mapowaniu i transformacji danych źródłowych (scenariusze procesu transformacji, kontroli poprawności danych i ładowania danych, scenariusze predefiniowane procesy przetwarzania danych) Przechowują informacje o użytkownikach (role) 84

85 Metadane techniczne Gromadzą dane o bieżącej aktywności HD: Informacje o terminach uzyskania dostępu do danych Przebieg procesów ETL dla poszczególnych dat zasilania, m.in. w zakresie: wielkości danych, czasu przetwarzania, rezultatu przetwarzania, wykorzystywanych scenariuszy, itd. Logi szczegółowe wszystkich procesów zasilania, przetwarzania i wykorzystania Hurtowni Danych Logi aktywności użytkowników m.in. w zakresie czasu dostępu, zakresu danych, uruchamianych procesów, itd. Definiują i przechowują dane o działaniach związanych z administracją hurtowni danych (back-up, przeglądy, itd.) Przechowują informację o wszystkich zmianach w funkcjonowaniu hurtowni danych (źródła, modele, procesy, itd.) 85

86 EKSPLOATACJA Dariusz Dymek

87 Zasilanie (aktualizacja) HD Zdarzeniowa (detekcja zmian) Okresowa (dzienna, miesięczna, inna) Propagacja aktualizacja czyli aktualizacja THD (Data Martów): Natychmiastowa (po aktualizacji CRD) Odroczona Eksploatacja Hurtowni Danych przy pierwszym odwołaniu w kolejnym planowanym terminie w trybie nocnym na żądanie Wypracowania strategii aktualizacji ma często charakter heurystyczny (strojenie hurtowni danych) i może ona ulegać zmianie wraz z rozwojem HD 87

88 Eksploatacja Hurtowni Danych Automatyzacja procesów ETL: Sterowanie czasem i zdarzeniami (scheduling czasowo-zdarzeniowy) Wymuszanie działań Wykonywanie zapytań Zapytanie standardowe (preprocesing) Strategie kolejkowania (priorytety) Zapytania ad-hoc Działania zasobochłonne o dużym stopniu złożoności, np. eksploracja (drążenie) danych (data mining) czy generacja złożonych raortów, są najczęściej wykonywane na przygotowanych osobno danych (data mart) z wykorzystaniem zewnętrznych narzędzi 88

89 Eksploatacja Hurtowni Danych Eksploatacja Hurtowni Danych jest procesem podlegającym ciągłym zmianom, wynikającym z: Zmian w systemach zasilających Zmian wymagań użytkowników (nowe zapytania, raporty, analizy) Zmian w samej hurtowni danych (nowe aplikacje użytkowników, nowe tematy, itd.) W praktyce proces budowy Hurtowni Danych ma charakter ciągły, gdyż współcześnie potrzeby użytkowników rosną szybciej niż możliwości ich zaspokajania 89

90 Dziękuję za uwagę Dariusz Dymek

91 Literatura Ch. Todman, Projektowanie hurtowni danych WNT - Warszawa 2003 M. Jarke, M. Lenzerini, Y. Vassiliou, P. Vassiliadis, Hurtownie danych. Podstawa organizacji i funkcjonowania WSiP - Warszawa 2003 V. Poe, P. Klauer, S. Brobst, Tworzenie hurtowni danych WNT - Warszawa 2000 W.H.Inmon: Building the Data Warehouse, (4th Edition), Wiley, 2005 Internet 91