Hurtownie danych i narzędzia ETL. Bazy danych 279

Transkrypt

1 Hurtownie danych i narzędzia ETL Bazy danych 279

2 280 Bazy danych Przegląd zagadnień Tworzenie hurtowni danych Aktualizacja danych ETL w relacyjnych bazach danych ETL a hurtownie danych Podsumowanie Laboratorium Hurtownie danych to specjalne bazy danych, które świetnie nadają się jako źródło raportów i analiz. W dzisiejszych czasach firmy operują na ogromnych ilościach danych. Samo przechowywanie danych nie jest juŝ celem. Równie waŝną funkcją magazynów danych i systemów stało się wyciąganie wniosków i ukrytych informacji z danych produkcyjnych. W tym module dowiesz się, jak planuje się strukturę hurtowni danych i jak wygląda proces aktualizacji danych w stworzonej hurtowni.

3 Bazy danych 281 Tworzenie hurtowni danych Wymagania analityczne Zródla danych Projektowanie hurtowni danych Struktury tabel wymiarów Import danych Proces tworzenia hurtowni przebiega w kilku etapach: zdefiniowanie wymagań analitycznych, wybór źródeł danych do analizy, projektowanie struktury hurtowni, implementacja projektu, import danych.

4 282 Bazy danych Wymagania analityczne Aby zbudować hurtownię danych, naleŝy najpierw określić cele biznesowe. Musisz wiedzieć, jaki jest powód, dla którego projektujesz i implementujesz nowy system. Struktura hurtowni jest ściśle związana z celami analizy. KaŜda analiza przeprowadzana jest przy uŝyciu odpowiedniego zestawu odpowiednio zorganizowanych tabel. Taki zestaw tabel w zachodniej literaturze nosi nazwę data mart i w wolnym tłumaczeniu na język polski moŝe oznaczać zestaw danych do analizy. A zatem hurtownia jest bazą danych składającą się z tabel zorganizowanych w zestawy do analizy. Źródła danych PoniewaŜ analiza dotyczy często danych, które są pierwotnie rozproszone, źródłami danych dla hurtowni są na ogół róŝne systemy i pliki. RóŜnorodność ta dotyczy nie tylko platform lub typów magazynów (bazy danych, pliki tesktowe, arkusze kalkulacyjne), ale przede wszystkim róŝnorodności formatów i szczegółowości danych. Ten ostatni aspekt jest głównym czynnikiem określającym tzw. ziarnistość danych w hurtowni. Ziarnistość to najniŝszy poziom szczegółowości, jaki istnieje w danych. Dzięki ziarnistości projektant jest w stanie określić, z jaką dokładnością będzie moŝna analizować dane (np. analiza sprzedaŝy względem czasu z dokładnością do tygodnia). Projektowanie hurtowni danych Projektowanie hurtowni danych polega na zaplanowaniu struktury specyficznej bazy danych. Struktura ta obejmuje: tabele faktów, które przechowują dane liczbowe, których analiza jest celem biznesowym, tabele wymiarów, które przechowują dane określające kryteria analizy, tabele pomocnicze, które są wykorzystywane w fazie importu danych do tabel wymiarów i faktów. Data mart, czyli układ tabel słuŝący do analizy jednego wybranego celu biznesowego (np. sprzedaŝy), ma praktycznie zawsze strukturę budowaną wokół jednej tabeli faktów. Tabele wymiarów są powiązane z tabelą faktów związkami (takimi samymi, jak w transakcyjnych relacyjnych bazach danych). Dzięki temu jeden fakt jest określany przez dokładnie jeden rekord z kaŝdej tabeli wymiarów i jeden rekord z tabeli faktów. Kolumny w tabelach wymiarów określają tzw. ziarnistość danych, czyli maksymalny poziom szczegółowości, na jakim moŝna prowadzić analizę. Struktury tabel wymiarów Pojedynczy wymiar w hurtowni jest zawsze zbudowany według jednego z określonych szablonów. W związku z tym mamy wymiary:

5 Bazy danych 283 strukturze gwiazdy (ang. star), strukturze płatka śniegu (ang. snowflake), z hierarchią rodzic-dziecko (ang. parent-child). Mówimy, Ŝe wymiar ma strukturę gwiazdy, jeŝeli jego dane są przechowywane w jednej tabeli. Nazwa gwiazda bierze się z graficznej ilustracji pojemnika data mart, którego wszystkie wymiary mają strukturę gwiazdy - układ tabel na diagramie przypomina gwiazdę. Przykładem typowego wymiaru o strukturze gwiazdy jest zapisany w jednej tabeli wymiar Czas, który jest jednym z najczęściej spotykanych wymiarów. Rys Struktura gwiazdy Zwróć uwagę, Ŝe w kaŝdej tabeli wymiarów na powyŝszym diagramie (tabele z sufiksem _dim) pojawiają się dwa klucze: klucz główny sztuczny (kolumny z sufiksem _dim_key) i klucz pochodzący z bazy źródłowej (np. kolumny z sufiksem _app). Jest to powodowane tym, Ŝe hurtownia danych musi najczęściej przechowywać takŝe historię zmian wymiarów. Przykładowo: dziś klient jest kawalerem, za rok będzie Ŝonaty - w analizie jego aktualne zakupy muszą być uwzględnione jako zakupy dokonane przez kawalera, a zakupy wykonane w przyszłym roku muszą być rozpatrywane jako zakupy dokonane przez męŝczyznę Ŝonatego. Czyli w hurtowni muszą znaleźć się dwie wersje rekordu dotyczącego tego klienta. Z kolei strukturę płatka śniegu posiada wymiar, którego hierarchia jest stworzona z kilku tabel. Podobnie, jak w przypadku gwiazdy, nazwa bierze się od układu tabel na diagramie pojemnika data mart, którego wymiary mają strukturę płatka śniegu. Przykład: jeśli wymiar Produkt jest zbudowany przy uŝyciu dwóch tabel - Kategoria i Produkt - które są ze sobą powiązane związkiem, mówimy, Ŝe wymiar ma strukturę płatka śniegu.

6 284 Bazy danych Hierarchia rodzic-dziecko jest wykorzystana do stworzenia wymiarów, które mają za zadanie obrazowanie zaleŝności hierarchiczne między członkami wymiaru (rekordami w tabeli wymiaru). Przykładem moŝe być wymiar Pracownik, którego struktura oparta jest o hierarchię firmy (kaŝdy pracownik moŝe mieć szefa i podwładnych). Implementacją takiego wymiaru jest pojedyncza tabela i związek unarny (związek, w którym uczestniczą dwie kolumny jednej tabeli). Import danych Po stworzeniu struktury hurtowni pozostaje zasilić hurtownię danymi. Do importu danych wykorzystywane narzędzia ETL opisane w dalszej części modułu. Import danych najczęściej wykonywany jest w kilku krokach powtarzanych dla kaŝdego fragmentu hurtowni (dla kaŝdej struktury data mart): Import danych do tabel wymiarów. Import danych do tabeli przejściowej, która następnie posłuŝy do wypełnienia tabeli faktów. Import danych do tabeli faktów na podstawie danych z tabeli przejściowej i danych z tabel wymiarów.

7 Bazy danych 285 Aktualizacja danych Istota aktualizacji danych Przechowywanie danych historycznych Implementacja aktualizacji danych PoniewaŜ hurtownia danych nie jest zazwyczaj bazą jednokrotnego uŝytku, istotną kwestią staje się problem aktualizacji danych.

8 286 Bazy danych Istota aktualizacji danych Aktualizacja danych polega w większości przypadków na dodaniu rekordów w tabelach wymiarów. Nowe rekordy mogą pochodzić od nowych danych w źródłowej bazie danych lub nowej wersji istniejącego juŝ w hurtowni rekordu. To, jak często będzie dokonywana aktualizacja zaleŝy najczęściej od potrzeb analizy oraz od częstotliwości raportowania z hurtowni danych. Właściwie moŝna ze względu na przebieg procesu aktualizacji podzielić hurtownie na dwie kategorie: hurtownie aktualizowane cyklicznie z ustalonym interwałem oraz hurtownie czasu rzeczywistego, czyli takie w których dane źródłowe pojawiają się z minimalnym opóźnieniem w hurtowni danych. Przechowywanie historycznych danych Hurtownie na ogół muszą umoŝliwiać analizę zarówno danych bieŝących, jak i historycznych. O ile przechowywanie danych aktualnych nie stanowi problemu, o tyle dane historyczne mają wpływ na strukturę tabel w hurtowni danych. Aby zapobiec nadpisywaniu przez nowsze wersje rekordów starszych wersji projektanci hurtowni umieszczają w tabelach wymiarów klucze sztuczne (tzw. surrogate key) - kolumny, które na ogół są typu liczby całkowitej z włączoną autonumeracją i pełnią rolę kluczy głównych w tabelach wymiarów. Implementacja aktualizacji danych Do aktualizacji hurtowni danych wykorzystywane są narzędzia ETL. Właściwie kaŝde narzędzie ETL posiada mechanizmy dedykowane pod aktualizacje danych w hurtowni. Mechanizmy te pozwalają między innymi wyizolować te wiersze w tabelach wymiarów, które zmieniły się od ostatniej aktualizacji danych.

9 Bazy danych 287 ETL w relacyjnych bazach danych Zastosowania narzedzi ETL Wymagania stawiane narzedziom ETL ETL to skrót od słów Extract Transform Load - w tłumaczeniu na język polski - Wypakuj Przekształć Załaduj. Pod tym skrótem kryje się klasa narzędzi do transferu danych. Narzędzia te znajdują szereg zastosowań w pracy z bazach danych - od prostego transferu danych między bazami do zaawansowanych operacji pozwalających na wypełnienie hurtowni danych. W codziennej pracy z danymi narzędzia ETL mogą wypełniać wiele rozmaitych zadań. Wszystko zaleŝy od moŝliwości i wydajności oferowanej przez narzędzie.

10 288 Bazy danych Zastosowania narzędzi ETL Standardowe zastosowania ETL w pracy z relacyjnymi bazami danych to: proste kopiowanie danych między tabelami, bazami danych, serwerami, transfer danych między heterogenicznymi (róŝnymi) źródłami danych, np. między róŝnymi SZBD, transfer obiektów między bazami danych (np. transfer procedur składowanych), transfer obiektów między serwerami (np. transfer loginów), scalanie rozproszonych danych, zasilanie hurtowni danych. Wymagania stawiane narzędziom ETL Dobre narzędzie ETL spełnia pewne wymagania, jakie stawia się dziś narzędziom tej klasy. Oto niektóre z tych wymagań: wydajność - często okno czasowe, które jest dostępne do wykonywania transferu danych jest coraz mniejsze, łatwość obsługi - narzędzie powinno oferować graficzny interfejs uŝytkownika i umoŝliwiać szybkie budowanie rozwiązań, bogactwo funkcji - im więcej moŝna w prosty sposób osiągnąć przy pomocy narzędzia, tym lepiej, niska cena - niektórzy producenci dołączają do SZBD bezpłatne narzędzia ETL, moŝliwości utrwalenia i cyklicznego powtarzania procesu transferu danych, moŝliwości wykorzystania narzędzia do wykonywania rutynowych czynności administracyjnych. Rys Integration Services - narzędzie ETL w systemie Microsoft SQL Server 2005

11 Bazy danych 289 ETL a hurtownie danych Scalanie danych Oczyszczanie danych Odswiezanie danych Jednym z podstawowych zastosowań narzędzi ETL jest zasilanie danymi hurtowni danych. Proces tworzenia hurtowni danych, w którym wykorzystywane są narzędzia ETL przedstawiony jest na poniŝszym rysunku. Rys Proces tworzenia hurtowni danych

12 290 Bazy danych PowyŜszy proces przebiega w kilku fazach: pobranie danych z wielu źródeł, "oczyszczanie" danych, ustalenie jednej struktury danych, zapisanie danych we wspólnym magazynie, budowa struktur Data Mining, raportowanie i udostępnianie danych. Scalanie danych Jednym z pierwszych etapów tworzenia hurtowni danych jest scalanie danych. Hurtownia danych często słuŝy do zgromadzenia danych pochodzących z róŝnych źródeł - baz danych, plików binarnych i tekstowych, plików XML, arkuszy kalkulacyjnych. Narzędzia ETL umoŝliwiają transformacje danych, to znaczy pomagają w takim transferze danych, dzięki któremu dane mające pierwotnie róŝną strukturę są umieszczane w jednej bazie danych. Oczyszczanie danych Dane, które mają być wstawione do hurtowni danych, bardzo często wymagają wstępnego przygotowania, tak zwanego "oczyszczenia". Operacja ta polega na przefiltrowaniu danych i odrzuceniu niepoprawnych zapisów (chodzi między innymi o przypadkowe zapisy danych, powtarzające się rekordy itd.). Problem "brudnych danych" dotyczy zarówno plików tekstowych (głównie ich, poniewaŝ często mają nieustandaryzowaną strukturę), jak i baz danych. OdświeŜanie danych Co pewien czas kaŝda hurtownia przyjmuje nowe porcje danych (niektóre hurtownie funkcjonują niemal w czasie rzeczywistym, to znaczy, Ŝe zmiany są transferowane z baz relacyjnych zaraz po ich wstawieniu). Większość narzędzi ETL posiada specjalne mechanizmy, które obsługują ten proces poprzez umoŝliwienie rozpoznawania istniejących w hurtowni danych i importowanie tylko zmian lub nowych rekordów ze źródłowych magazynów danych.

13 Bazy danych 291 Podsumowanie Tworzenie hurtowni danych Aktualizacja danych ETL w relacyjnych bazach danych ETL a hurtownie danych Relacyjne bazy danych, na skutek rozproszenia danych między duŝą ilość tabel, nie są wydajnym źródłem dla raportów. O wiele lepiej w systemach raportowych sprawdzają się hurtownie danych. Hurtownie są takŝe znakomitym źródłem danych dla wielowymiarowych baz analitycznych OLAP. Metodologia projektowania hurtowni jest zatem waŝną umiejętnością dla osób pracujących z systemami bazodanowymi. Narzędzia ETL pełnią waŝną funkcję w procesie budowy i obsługi hurtowni danych. Są takŝe elementem SZBD pomocnym administratorom przy ich codziennej pracy z bazami danych. Dzięki swoim moŝliwościom znajdują coraz więcej zastosowań. Z pewnością będą one cały czas rozwijane i integrowane z SZBD, poniewaŝ posiadanie takiego narzędzia moŝe być powaŝnym atutem kaŝdego systemu.

14 292 Bazy danych Laboratorium W tym ćwiczeniu zapoznasz się ze strukturą hurtowni danych AdventureWorksDW, w szczególności z podzestawem tabel do analizy sprzedaŝy.

15 Bazy danych 293 Tworzenie hurtowni danych Krok 1 - Tworzenie diagramu dla problemu biznesowego Zaloguj się do maszyny wirtualnej ZBD jako uŝytkownik Administrator z hasłem P@ssw0rd. Kliknij Start. Z grupy programów Microsoft SQL Server 2005 uruchom SQL Server Management Studio. W oknie logowania kliknij Connect. W oknie Object Explorer po lewej stronie ekranu rozwiń folder Databases. Rozwiń folder bazy AdventureWorksDW. Kliknij prawym przyciskiem myszy na folderze Database Diagrams. Na ewentualne pytanie programu o tworzenie niezbędnych obiektów odpowiedz Yes. Z menu kontekstowego wybierz New Database Diagram. W oknie Add Table trzymając wciśnięty klawisz Control kliknij na tabelach: DimCustomer, DimProduct, DimProductCategory, ProductDimSubcategory, DimTime i FactInternetSales. Kliknij Add. Rys Dodawanie tabel do diagramu bazy danych Kliknij Close.

16 294 Bazy danych Rys Diagram data mart Zapisz diagram jako InternetSalesDiagram. Przyjrzyj się utworzonemu diagramowi pojemnika data mart (zajrzyj do wykładów, jeśli obce jest Ci to pojęcie). PowyŜszy rysunek przedstawia uproszczony diagram. Odpowiedz na poniŝsze pytania. Krok 2 - Analiza struktury data Mart Pytanie: Ile tabel faktów zawiera data mart, którego diagram stworzyłeś? Odpowiedź: jedną - FactInternetSales. Pytanie: Ile tabel wymiarów zawiera data mart, którego diagram stworzyłeś i ile wymiarów te tabele implementują? Odpowiedź: data mart zawiera 5 tabel wymiarów; tabele te implementują 3 wymiary. Pytanie: Czy w data mart istnieje wymiar o strukturze płatka śniegu? Odpowiedź: tak, taką strukturę ma wymiar zbudowany z tabel DimProduct, DimProductCategory, ProductDimSubcategory. Pytanie: Czy czas w tabeli DimTime jest zorganizowany w jedną hierarchię? Odpowiedź: nie, w tabeli tej znajdują się takŝe kolumny, które tworzą inne hierarchie czasu niŝ rok kalendarzowy.

17 Bazy danych 295 Krok 3 - Projektowanie zasilania hurtowni danymi Problem: Zastanów się, w jaki sposób wypełniłbyś danymi wspomniany data mart? Odpowiedź: Na początek naleŝałoby zaimportować dane do tabel wymiarów. Na ogół wystarcza do tego najprostsze zadanie transformacji. Do wygenerowania niektórych kolumn w tabeli DimTime najlepiej uŝyć procedury składowanej korzystającej z funkcji daty i czasu. Dane, które posłuŝą do zamapowania tabeli faktów do tabel wymiarów naleŝy najpierw zaimportować do tabeli pomocniczej o strukturze podobnej do struktury tabeli FactInternetSales, ale z kluczami obcymi podmienionymi na klucze aplikacji. Finalnym krokiem byłoby dokonanie złączenia tabeli pośredniej i tabel faktów w celu wstawienia do tabeli faktów odpowiednich kluczy i wartości miar. Jeśli czas Ci pozwoli, przyjrzyj się bazie danych AdventureWorks i postaraj się wykonać hurtownię danych z jednym pojemnikiem data mart (powiedzmy analiza sprzedaŝy), do której moŝnaby zaimportować dane z tej bazy.

18 296 Bazy danych Proste transfery danych przy uŝyciu ETL W tym ćwiczeniu dokonasz prostego tranferu danych przy uŝyciu narzędzia Import/Export Wizard. Transfer będzie polegał na skopiowaniu struktury i zawartości tabeli Production.Product do nowej tabeli Production.ProductCopy. Krok 1 - Realizacja transferu danych Zaloguj się do maszyny wirtualnej ZBD jako uŝytkownik Administrator z hasłem P@ssw0rd. Kliknij Start. Z grupy programów Microsoft SQL Server 2005 uruchom SQL Server Management Studio. W oknie logowania kliknij Connect. W oknie Object Explorer (po lewej stronie ekranu) rozwiń listę baz danych i kliknij prawym przyciskiem na bazie AdventureWorks. Z menu kontekstowego wybierz Tasks - Export Data... W oknie SQL Server Export and Import Wizard kliknij Next. W oknie SQL Server Export and Import Wizard - Choose a Data Source kliknij Next. Rys Import/Export Wizard - wybór źródła danych W oknie SQL Server Export and Import Wizard - Choose a Data Destination z listy rozwijanej Database wybierz bazę AdventureWorks kliknij Next.

19 Bazy danych 297 Rys. 5.7 Import/Export Wizard - wybór magazynu docelowego dla transferu W oknie SQL Server Export and Import Wizard - Specify Table Copy or Query kliknij Next. Rys Import/Export Wizard - wybór rodzaju transferu W oknie SQL Server Export and Import Wizard - Select Source Tables and Views zaznacz w kolumnie Source tabelę [AdventureWorks].[Production].[Product], W kolumnie Destination wpisz [AdventureWorks].[Production].[ProductCopy] (patrz rysunek poniŝej) i kliknij Next.

20 298 Bazy danych Rys Import/Export Wizard - opcje wykonania i zapisu pakietu Import/Export Wizard pozwala na zapisanie pakietu Integration Services. Dzięki temu moŝna klikając w szybki sposób stworzyć prosty szablon pakietu. W oknie SQL Server Export and Import Wizard - Save and Execute Package kliknij Next. Rys Import/Export Wizard - wybór źródła danych

21 Bazy danych 299 W oknie SQL Server Export and Import Wizard - Select Source Tables and Views kliknij Finish. 12. Po zakończeniu transferu danych kliknij Close. Rys Import/Export Wizard - potwierdzenie wykonania transferu Krok 2 - Weryfikacja operacji OdświeŜ w programie SQL Server Management Studio listę tabel w bazie danych AdventureWorks (zaznacz folder Tables w tej bazie danych i wciśnij F5) i sprawdź, czy istnieje tabela Production.ProductCopy (klikając na tej tabeli prawym przyciskiem i wybierając Open Table moŝesz takŝe obejrzeć zawartość tabeli).