Pentaho DI część 1. Paweł Boiński Politechnika Poznańska, Instytut Informatyki

Transkrypt

1 Pentaho DI część 1 Paweł Boiński Politechnika Poznańska, Instytut Informatyki

2 Literatura Pentaho Kettle Solutions: Building Open Source ETL Solutions with Pentaho Data Integration Matt Casters, Roland Bouman, Jos van Dongen 2010, ISBN-10: Pentaho Data Integration 4 Cookbook Pulvirenti Adrián Sergio, Roldán María Carina 2011, ISBN-10:

3 Studium przypadku Rozwijająca się sieć wypożyczalni filmów Dwa sklepy Wdrożony system informatyczny Dwie bazy danych (różne systemy zarządzania bazami danych) Cel: przeprowadzenie analizy danych o wypożyczeniach w celu opracowania nowej strategii marketingowej Źródło danych: Sakila DB

4 Źródła danych (1) Sklep nr 1 SZBD MySQL, sklep nr 2 SZBD PostgreSQL

5 Źródła danych (2) Plik CSV - dane adresowe i geograficzne z serwisu geonames.org Plik XML - dane na temat filmów Usługa sieciowa - dane na temat aktorów występujących we filmach

6 Założenia Dane pracowników i klientów są replikowane Dane pracowników są uaktualniane tylko w sklepie, w którym jest zatrudniona dana osoba Dane klientów mogą być uaktualniane w dowolnym sklepie Filmy identyfikowane są przez nazwę i rok wydania (produkcji) Plik CSV MySQL Usługa sieciowa PostgreSQL Hurtownia danych Plik XML

7 ETL/ELT ETL (Extract, Transform, Load) Ogólna definicja: proces lub zbiór procesów zasilania hurtowni danych danymi ze źródeł Ekstrakcja przyłączenie się i pobranie danych ze źródeł, w taki sposób, że możliwe jest ich dalsze przetwarzanie Transformacja Zbiór operacji wykonywanych na pobranych ze źródeł danych np. sprawdzanie poprawności, konwersja, obliczanie agregatów Ładowanie Wstawianie danych do hurtowni danych. Obejmuje takie elementy jak zarządzanie kluczami, utrzymywanie historii dla wymiarów etc. Inne podejście: ELT

8 Agile Business Intelligence Rozwijanie i utrzymywanie procesów ETL można porównać do rozwijania i utrzymywania oprogramowania Zyskują na popularności tzw. zwinne metodyki Przykładem jest metodyka Agile BI, której celem jest szybka adaptacja organizacji do zmieniających się warunków biznesowych Wybrane cechy Agile BI: Realizacja przyrostowa Szybkie tworzenie podstawowych elementów oprogramowania (procesów ETL) Możliwość łatwego i szybkiego wprowadzania zmian Środowisko do budowy procesów ETL powinno wspierać metodykę Agile BI

9 Hurtownia danych ogólny schemat Klienci Czas Sklepy Aktorzy Fakty - wypożyczenia Pracownicy Aktorzy w filmach Filmy Realizacja w pierwszej wersji Częściowa realizacja w pierwszej wersji Realizacja w kolejnych wersjach

10 Hurtownia danych pierwsza wersja

11 Modelowanie danych Power Architect Profilowanie danych

12 Pentaho DI część 2 Podstawowe pojęcia Prosta transformacja Transformacja podrzędna Paweł Boiński Politechnika Poznańska, Instytut Informatyki

13 Pentaho Data Integration Kettle wersja community edition K E (Extraction) T (Transformation) T (Transportation) L (Loading) E Implementacja w języku Java Windows, Unix/Linux Podstawowe składniki Kettle: Spoon graficzny interfejs użytkownika Puk puk. - Kto tam? (mijają 3s) - Java. Puk puk. - Kto tam? - C++. Puk puk. - Assembler. Kitchen program odpowiedzialny za wykonywanie zaprojektowanych procesów ETL (zadań) Pan program odpowiedzialny za wykonywanie zaprojektowanych transformacji

14 Pojęcia podstawowe Transformacja (transformation) Szeroko rozumiane wykonywanie działań na wierszach danych Może składać się z wielu kroków (steps) np. odczyt, filtrowanie Kroki transformacji są wykonywane równolegle* Zadanie(job) Składa się z wielu transformacji oraz innych elementów Wykonanie sekwencyjne* Połączenie (hop) Reprezentuje skierowany przepływ danych pomiędzy krokami transformacji lub elementami zadania Ma ograniczony rozmiar bufora dla danych (FIFO) * w większości przypadków

15 Pojęcia podstawowe Krok (step) Nazwany, elementarny składnik transformacji Może być połączony z innymi krokami poprzez przepływy wchodzące i wychodzące Nie ma kroku początkowego, wszystkie kroki wykonywane są równolegle Krotki ze wszystkich przepływów wchodzących muszą mieć taką samą strukturę Przykład zadania Przykład transformacji

16 Repozytorium Zawiera wszystkie elementy związane z procesem transformacji: zadania, transformacje, połączenia etc. Rodzaje repozytorium W bazie danych łatwe współdzielenie, bezpieczeństwo zapewniane przez SZBD Plikowe wykorzystuje Virtual File System - repozytorium można umieścić zarówno w katalogu jak i w pliku zip czy też na zdalnym serwerze (np. FTP). Zadania i transformacje można również zapisać poza repozytorium w postaci plików XML (*.kjb dla zadań i *.ktr dla transformacji)

17 Agile BI w Pentaho DI Narzędzie Pentaho DI wspomaga metodykę Agile BI: Łatwość instalacji Minimalna liczba wymaganych parametrów dla definiowanych zadań (np. dla połączeń nie trzeba specyfikować nazwy klasy sterownika JDBC) Predefiniowane najpopularniejsze, parametryzowane kroki transformacji Prawie cała funkcjonalność dostępna z poziomu interfejsu graficznego Minimalizacja liczby wyświetlanych informacji (np. brak mapowań dla każdego pola) Całkowicie dowolne nazewnictwo dla komponentów wykorzystywanych w transformacjach (poprawia czytelność) Możliwość podglądu przetwarzanych danych

18 Transformacja pracowników z jednego źródła danych Odczytuje tylko dane, które uległy zmianie od ostatniego uruchomienia Odczytuje dane tylko z jednego sklepu Dla każdego pracownika określa adres jego zamieszkania wykorzystując transformację podrzędną Wprowadza zmiany w wymiarze PRACOWNICY w hurtowni danych

19 Transformacja podrzędna Wywoływana z innej transformacji Może pobierać wartości parametrów (identyfikatory pracowników) Może zwracać wynik w postaci strumienia krotek (dane adresowe pracowników) Odczytuje dane adresowe z bazy danych Zamienia dwukolumnowe adresy na jeden atrybut

20 Pentaho DI część 3 Dodanie drugiego źródła danych Transformacja klientów Paweł Boiński Politechnika Poznańska, Instytut Informatyki

21 Drugie źródło danych Pierwsza wersja transformacji pracowników zakłada odczyt tylko z jednego źródła danych Odczyt drugiego źródła (sklepu nr 2) wygląda analogicznie, konieczne jest jednak zduplikowanie znacznika czasowego wskazującego, którzy pracownicy mają być transformowani

22 Modyfikacja transformacji podrzędnej Pierwotnie wyszukiwany adres tylko ze sklepu nr 1 Dodanie parametru numeru sklepu do transformacji podrzędnej Na podstawie wartości tego parametru decyzja, z którego sklepu odczytać dane adresowe Krotki z dwóch źródeł są łączone w jeden strumień a następnie przetwarzane w taki sam sposób jak poprzednio

23 Transformacja klientów - założenia Klienci są replikowani pomiędzy bazami danych Ten sam klient może mieć różne dane w różnych sklepach ale ma zawsze ten sam identyfikator Podczas modyfikacji/wstawiania klientów uaktualniany/wstawiany jest znacznik czasowy Jeżeli dane klienta są tylko w jednym źródle (replikacja odbywa się w określonych odstępach czasu) to są one wstawiane do hurtowni danych Jeżeli dane klienta są w dwóch źródłach danych to wybierane są te dane klienta, które oznaczone są późniejszym znacznikiem czasowym

24 Łączenie klientów Komponent Merge Join działa jak operacja sort merge w bazie danych Dane wejściowe muszą być posortowane (w źródle lub poza nim) zgodnie z warunkiem połączeniowym Ponieważ nie wszystkie dane klientów muszą być zreplikowane konieczne jest wykorzystanie połączenia zewnętrznego (FULL JOIN) aby zachować krotki z obu źródeł W krotkach, dla których zabrakło połączenia parametry z drugiego źródła pozostają puste

25 Wybór źródła danych Określenie, w którym źródle dane są bardziej aktualne na podstawie znaczników czasowych Dla danych z połączenia zewnętrznego trzeba zamienić puste daty na daty, które muszą być starsze niż te w aktualnym źródle. Wynik porównania znaczników czasowych wyznacza ścieżkę, w której nastąpi wybór danych z właściwego źródła

26 Pełna transformacja klientów Ostatnim elementem jest pobranie adresu klienta (transformacja podrzędna) i aktualizacja danych klienta w hurtowni danych

27 Pentaho DI część 4 Generowanie danych Zasilanie relacji faktów Paweł Boiński Politechnika Poznańska, Instytut Informatyki

28 Transformacja filmów Dane o filmach mogą być zduplikowane Komponent Unique rows eliminuje duplikaty ale wymaga posortowanego zbioru krotek Nowe filmy (lub zmiany) są zapisywane w wymiarze FILMY.

29 Generowanie danych Wymiar przechowujący informacje o datach może być wstępnie wypełniony danymi Komponent Generate rows generuje określoną liczbę wierszy natomiast komponent Add sequence może zostać wykorzystany do ich ponumerowania Na podstawie numeru wiersza, komponenty Calculate i Modified Java Script Value wyznaczają konkretne dane (datę, nazwę dnia, miesiąca etc.) dla przetwarzanej krotki

30 Zasilanie relacji faktów Przed zapisaniem nowej krotki w relacji faktów konieczne jest wyznaczenie identyfikatora filmu wyliczenie czasu wypożyczenia dla oddanych filmów wyznaczenie identyfikatorów dat (wypożyczenia i opcjonalnie zwrotu)