Technologie Zasilania i Odświeżania Hurtowni Danych na przykładzie Pentaho DI część 6

Transkrypt

1 Technologie Zasilania i Odświeżania Hurtowni Danych na przykładzie Pentaho DI część 6 I. Data Marts. W wielu przypadkach centralna hurtownia danych tworzona na potrzeby całego przedsiębiorstwa staje się źródłem danych dla tzw. data martów hurtowni tworzonych na potrzeby określonych grup użytkowników. W naszej mini rzeczywistości również będziemy wykorzystywali takie lokalne hurtownie danych. Będą one wykorzystywane przez poszczególne sklepy do analizy ich funkcjonowania obejmującej analizę pracy poszczególnych pracowników, analizę popularności poszczególnych filmów, a także do obliczania podstawowych statystyk finansowych. Do tej pory oprogramowanie ETL wykorzystaliśmy do ładowania danych do hurtowni danych, a także do czyszczenia zawartości źródeł. Na tym oczywiście możliwości oprogramowania ETL się nie kończą. Tym razem wykorzystamy je do zasilania naszych data martów na podstawie zawartości hurtowni danych. 1. W związku z tym, że nasze data marty zostały już stworzone przeanalizujemy ich budowę. a. W tym celu zalogujmy się jako użytkownik dm1 z hasłem dm1 do bazy danych MySQL i zobaczmy listę tabel występującą w schemacie (bazie danych) dm1. b. Pierwsze trzy tabele(filmy, miesiace, pracownicy) pełnią rolę wymiarów

2 c. Czwarta tabela statystyki, pełni rolę tabeli faktów. Technologie Zasilania i Odświeżania Hurtowni Danych d. Jak łatwo można zauważyć, dane w naszym data marcie nie będą tak szczegółowe jak w hurtowni danych. Będzie to wymagało w naszych transformacjach odpowiedniego grupowania oraz wykorzystania funkcji grupujących. 2. W ramach pierwszego zadania, bazując na zdobytym doświadczeniu napiszemy dwie transformacje, które dokonają przepisania danych pochodzących z wymiarów filmy oraz pracownicy do ich odpowiedników w docelowym data marcie. a. Pierwsza transformacja będzie dotyczyła pracowników. Każdorazowo przed załadowaniem pracowników dokonaj operacji truncate na docelowej tabeli jest to możliwe ze względu na brak rzeczywistych ograniczeń integralnościowych na tabeli faktów. Ostateczny wygląd tej transformacji powinien być następujący b. Zapisz transformację w katalogu /wypozyczalnie/dwh->dm jako ZaladujPracownikowDoDM i uruchom ją celem przetestowania. c. Rozpocznij tworzenie nowej transformacji dla wymiaru filmy. Budowa tej transformacji będzie analogiczna jak poprzedniej. d. Zapisz transformację w katalogu /wypozyczalnie/dwh->dm jako ZaladujFilmyDoDM i uruchom ją celem przetestowania.

3 3. Kolejne dwie transformacje będą dotyczyły dat oraz faktów. Obie będą wymagały grupowania. a. Zaczniemy od transformacji dotyczącej dat. Utwórz nową transformację a następnie dodaj do niej źródło naszych danych oparte na następującym zapytaniu SQL. SELECT DA_ROK, DA_NUMER_MIESIACA FROM DATY ORDER BY DA_ROK, DA_NUMER_MIESIACA b. Drugim z kroków będzie w przypadku tej transformacji komponent Unique rows z katalogu Transform. Za jego pomocą utworzymy strumień unikalnych par zawierających rok i numer miesiąca. c. Trzecim krokiem będzie komponent User Defined Java Expression z katalogu Scripting, który będzie odpowiedzialny za wyliczenie identyfikatora miesiąca. Formuła wyliczająca identyfikator MIESIAC_ID powinna być następująca:(da_rok * 100) + DA_NUMER_MIESIACA. Przed zakończeniem edycji tego komponentu zmieńmy jego nazwę na Oblicz id miesiaca. d. Tak przygotowany strumień, możemy wprowadzić do docelowej tabeli, pamiętając o jej wcześniejszym przygotowaniu za pomocą operacji truncate. Poprawmy nazwy kroków transformacji, a samą transformację zapiszmy w katalogu /wypozyczalnie/dwh->dm jako ZaladujMiesiaceDoDM. e. Na zakończenie ją uruchommy aby sprawdzić poprawność jej implementacji. Zapiszmy wydajność wstawiania stosunkowo małych krotek do bazy danych.

4 f. Czas na ostatnią transformację. Zakładamy, że będzie ona obejmowała największy wolumen danych, dlatego nie będziemy ładowali krotek za pomocą ścieżki konwencjonalnej, a wykorzystamy ładowanie masowe. Na początku jednak utwórzmy nową transformację. g. Źródłem danych dla tej transformacji będzie poniższe zapytanie. Wykorzystaliśmy połączenie, a nie lookup, ze względów wydajnościowych choć oczywiście nie było takiej konieczności. W rzeczywistości moglibyśmy od razu na poziomie zapytania wykonać stosowne grupowania i wyliczenia funkcji grupujących te jednak spróbujemy wykonać za pomocą komponentów transformacji. SELECT WY_SKLEP_ID, WY_FILM_ID, WY_PRACOWNIK_ID, WY_OKRES_WYPOZYCZENIA, WY_OPLATA, (DA_ROK * 100) + DA_NUMER_MIESIACA AS MIESIAC_ID FROM WYPOZYCZENIA JOIN DATY ON (WY_DATA_WYPOZYCZENIA_ID = DA_DATA_ID) ORDER BY WY_SKLEP_ID, MIESIAC_ID, WY_FILM_ID, WY_PRACOWNIK_ID h. Do grupowania i wyliczenia przydatnych agregatów użyjemy komponentu Memory Group by z katalogu Statistics. Poziom grupowania ustawimy analogiczny do wcześniej wykonanego sortowania z dokładnością do kolejności poszczególnych atrybutów. i. W tym samym komponencie zdefiniujemy trzy potrzebne nam agregaty: CZAS_WYPOZYCZEN, SUMA_OPLAT oraz LICZBA_WYPOZYCZEN. Sposób ich wyznaczenia przedstawia poniższy rysunek

5 j. Tak jak wspomnieliśmy wcześniej, ładowanie tabeli faktów może obejmować dużą ilość danych. Dlatego trzecim i ostatnim z komponentów tej transformacji będzie MySQL Bulk Loader z katalogu Bulk loading. k. Zdefiniujmy połączenie i tabelę będącą odbiorcą tej operacji l. Zdefiniujmy także to które pola ze strumienia mają tworzyć które kolumny (jeśli wykonując to zadanie komponent sprawia problemy wykorzystaj przycisk Get fields, a następnie ręczne wprowadź stosowne zmiany). Zaznaczmy także pole wyboru Use replace clause? aby spowodować, że dostarczana zawartość będzie wymieniała istniejące wcześniej dane. m. Poprawmy nazwy poszczególnych kroków, a następnie zapiszmy transformację w katalogu /wypozyczalnie/dwh->dm jako ZaladujStatystykiDoDM. n. Uruchom tak utworzoną transformację. Ponownie sprawdźmy wydajność ładowania wstawianych krotek.

6 o. Dla ciekawości możemy zapisać te samą transformację jako ZaladujStatystykiDoDM_konwencjonalnie, a następnie wymienić ostatni komponent na tradycyjny Table output. Uruchommy tak stworzoną transformację i ponownie popatrzmy na wydajność przetwarzania krotek. Czy widać różnicę? p. Na zakończenie utwórzmy zadanie, który połączy wszystkie stworzone przez nas transformacje przepisujące dane z hurtowni danych do data martu. q. Zapiszmy nasze zadanie w katalogu /wypozyczalnie/dwh->dm jako PrzepiszDWHdoDM oraz uruchom je.

7 4. W chwili obecnej nasza transformacja przepisuje dane z hurtowni do jednego z data martów o nazwie dm1. Analogiczny data mart znajduje się przy drugim źródle danych bazie PostgreSQL, schemat dm2. Korzystając ze zdobytych umiejętności poprawmy transformacje tak, aby zasilały oba data marty. Kilka uwag: a. Dla ułatwienia kompletnymi danymi dotyczącymi wymiarów możemy zasilać oba miejsca docelowe. b. W przypadku faktów (statystyk) dokonajmy ich podziału. Wykonajmy transformacje tak, aby dane pochodzące ze sklepu o identyfikatorze 1 trafiały do dm1, a dane dotyczące sklepu o identyfikatorze 2 trafiały do dm2. c. Definiując połączenie dla źródła dm2, podając nazwę hosta należy użyć adresu , a nie localhost. d. Jeśli zdefiniowane połączenie dm2 nie jest dostępne podczas modyfikacji kolejnych transformacji, wówczas przejdź na zakładkę View, a następnie wyczyść bufor związany z bazą danych. Jeśli to nie pomoże, być może konieczne będzie uruchomienie ponowne Pentaho DI. e. Podczas definiowania komponentu PostgreSQL Bulk Loader konieczne będzie podanie ścieżki do programu psql, w naszym środowisku ma ona postać: /usr/bin/psql. Zwróć uwagę także na własność Load action chcemy usuwać zawartość tabeli przed załadowaniem (Truncate). Poniżej przedstawiono wygląd gotowych transformacji.

8 II. Finał. 1. Na zakończenie prac spróbujemy wykorzystać przygotowaną wcześniej aplikację (prawie) analityczną do analizy danych w utworzonej przez nas i zasilanej za pomocą naszych transformacji hurtowni danych. Na naszej maszynie nie posiadamy zainstalowanego złożonego oprogramowania do przeprowadzania analiz danych, ale posiadamy oprogramowanie APEX, a w nim zainstalowaną prostą aplikację. a. Otwórz za pomocą przeglądarki stronę aplikacji Dla uproszczenia ćwiczenia nie wymaga ona uwierzytelniania. b. Zobacz, które filmy znalazły się wśród dziesięciu najbardziej popularnych filmów wszechczasów c. Zobacz jak wyglądały przychody z opłat za wypożyczenia filmów w rozbicie na poszczególne miesiące.

9 d. Sprawdź czy któryś z gatunków filmowych jest znacznie bardziej popularny od innych e. Na zakończenie zobacz ile razy wypożyczono film z aktorem BALE HARRISON w miesiącu Czas na ostateczną weryfikację wykonanych przez nas ćwiczeń. Uruchomimy kolejną symulację upływu czasu. Następnie uruchomimy odświeżenie naszej hurtowni danych tym razem zrobimy to z linii poleceń jest to bardzo przydatne, gdyż wykorzystywanie do tego celu każdorazowo interfejsu Pentaho DI nie byłoby wygodne. Na zakończenie, korzystając z aplikacji analitycznej, zobaczymy także czy dane w naszej hurtowni rzeczywiście zostały uległy zmianie. a. Zacznijmy od uruchomienia upływu czasu. Za pomocą menu Programy uruchommy Terminal. b. Za pomocą polecenia cd labs przejdźmy do katalogu labs.

10 c. Uruchommy symulację upływu czasu za pomocą polecenia./zasilanie4.sh d. Odczekajmy, aż symulacja dobiegnie końca i nasze źródłowe systemy otrzymają kolejną partię danych. Następnie przejdźmy do katalogu domowego Pentaho DI wykonując polecenie cd../data-integration/ e. Wykorzystamy teraz program kitchen przeznaczony do uruchamiania zadań. A zatem korzystając z poniższego polecenia uruchommy odświeżanie naszej hurtowni danych../kitchen.sh -rep:1 -dir:"/wypozyczalnie/shop->dwh" -user:"admin" - pass:"admin" -job=odswiezdwh W powyższym poleceniu program kitchen został wywołany z następującymi parametrami: -rep identyfikator repozytorium, z którego zasobów chcemy skorzystać -dir katalog, w którym znajduje się wywoływane zadanie -user nazwa użytkownika repozytorium -pass hasło umożliwiające zalogowanie się do repozytorium -job nazwa uruchamianego zadania... f. W wyniku wykonania naszego zadania zawartość hurtowni danych powinna ulec zmianie. Sprawdźmy ponownie jak wyglądała popularność naszego ulubionego aktora, łączącego szlachetność Batmana z dowcipem Indiany Jones a. Jak widać pojawiły się nowe informacje dotyczące kolejnego miesiąca z roku 2006.