Wprowadzenie do Hurtowni Danych. Mariusz Rafało

Wielkość: px

Rozpocząć pokaz od strony:

Download "Wprowadzenie do Hurtowni Danych. Mariusz Rafało"

Henryka Ciesielska
5 lat temu
Przeglądów:

1 Wprowadzenie do Hurtowni Danych Mariusz Rafało

2 WARSTWA PREZENTACJI HURTOWNI DANYCH

3 Wykorzystanie hurtowni danych - aspekty Analityczne zbiory danych (ADS) Zbiór danych tematycznych (Data Marts) Zbiór danych detalicznych (DETAIL) ODS Metadane Użytkownicy hurtowni danych Narzędzia dostępu Wykorzystanie danych Zbiór danych tymczasowych (STAGE) Hurtownia danych System 1 System 2 System n Systemy źródłowe

4 UŻYTKOWNICY HURTOWNI DANYCH

5 Użytkownicy hurtowni danych Analityk Analizy trendów, prawidłowości biznesowych, sprawozdawczość, itp. Użytkownik biznesowy Różne profile i typy wykonywanych analiz Data scientist Analizy statystyczne Administrator Analiza logów, monitorowanie jakości danych, monitorowanie ETL, itp. Projektant Rozwój hurtowni danych: nowe źródła danych, poprawa jakości danych, itp. Specjalizowane systemy informatyczne

6 Użytkownicy hurtowni danych analityk data scientist biznes Systemy specjalizowane administrator Analityczne zbiory danych (ADS) Zbiór danych tematycznych (Data Marts) Zbiór danych detalicznych (DETAIL) ODS Metadane projektant Zbiór danych tymczasowych (STAGE) Hurtownia danych

7 NARZĘDZIA DOSTĘPU DO HURTOWNI DANYCH

Dostęp do hurtowni danych SQL System data mining Analizy wizualne Raporty predefiniowane Kostki OLAP Specjalizowany interfejs Narzędzia Business Intelligence Narzędzia deweloperskie

8 Dostęp do hurtowni danych SQL System data mining Analizy wizualne Raporty predefiniowane Kostki OLAP Specjalizowany interfejs Narzędzia Business Intelligence Narzędzia deweloperskie Analityczne zbiory danych (ADS) Zbiór danych tematycznych (Data Marts) Zbiór danych detalicznych (DETAIL) ODS Metadane Konsola metadanych Zbiór danych tymczasowych (STAGE) Hurtownia danych

9 BI Platforms Gartner

10 Platformy BI- przegląd Microsoft Tableau Qlik SAP Lumira BO IBM Cognos Watson Nastawienie na samodzielną pracę z danymi Prostota i ergonomia pracy Dominują lekkie narzędzia (PowerBI, SAP Lumira, Qlikview, Tableau) Enterprise reporting platforms ustępują miejsca bardziej elastycznym rozwiązaniom Silna reprezentacja platform BI w chmurze 10

11 Raporty statyczne (predefiniowane) Zbudowane przez projektanta w oparciu o przyjęte założenia (wymagania) Zestawienia tabelaryczne Czyli proste wybranie danych z jednej lub więcej tabel Zestawienia w formie tabel przestawnych Czyli funkcjonalność analogiczna do MS Excel Umieszczenie wymiarów w osi X i Y, miar na przecięciu Wykresy 2D, 3D, kołowe, słupkowe, liniowe, powierzchniowe, mapy, itp. Warstwa biznesowa (świat obiektów)

12 Raporty: SAP Business Objects Komercyjna platforma raportowa Kokpity, raporty predefiniowane, analizy on-line, harmonogramowanie, alarmy Dostęp poprzez przeglądarkę internetową

13 Raporty: Pentaho Profesjonalna platforma raportowa open-source Pełna funkcjonalność kokpitów, raportów i analiz wielowymiarowych

14 Analizy wielowymiarowe (OLAP) Kostki wielowymiarowe zbudowane przez projektanta, w oparciu o określone wymagania: Miary Wymiary Hierarchie Dostępność miar w wymiarach Zasady agregowania danych Dostęp za pomocą przeglądarki WWW i/lub arkuszy MS Excel Możliwa prezentacja danych (faktów) w różnych ujęciach (wymiarach)

15 Analizy wizualne Umożliwiają połączenie ze źródłem danych Baza danych Kostki OLAP Świat obiektów Pozwalają na wizualną pracę z danymi w środowisku graficznym Budowa kilku raportów na jednym ekranie (dashboard) Łączenie ze sobą wykresów Parametryzacja Służą identyfikacji nieoczywistych zależności w danych

16 Raportowanie i wizualizacja (XIXw)

17 Raportowanie i wizualizacja (XXIw)

18 Analizy wizualne: Tableau

19 Analizy statystyczne Specjalizowane narzędzia statystyczne, języki programowania oraz zintegrowane platformy data mining Pozwalają na pracę z danymi: Eksploracja danych Analiza danych za pomocą algorytmów statystycznych Projektowanie procesu przetwarzania danych Budowa modeli ekonometrycznych Operacjonalizacja modeli Zintegrowane z narzędziami BI i ETL

20 Metadane Zarządzanie procesami przetwarzania Zarządzanie jakością danych Monitorowanie czasu dostarczania danych Zarządzanie dostępem użytkowników po poszczególnych obszarów hurtowni danych

21 Aplikacje specjalistyczne Hurtownia może być źródłem danych dla innych systemów Może udostępniać dane w różnych trybach Dane on-line (np. z ODS) Dane zagregowane Dane detaliczne Interfejs wymiany danych może pracować w trybie push lub pull

22 Rozwój hurtowni danych Wykorzystanie specjalizowanych narzędzi deweloperskich Budowa/modyfikacja struktury bazy danych Rozbudowa/modyfikacja procesów ETL Projektowanie i zmiany w raportach predefiniowanych, kostkach Zarządzanie warstwą biznesową (światem obiektów)

23 Dostęp bezpośredni SQL/MDX Dostęp dla zaawansowanych analityków Elastyczny dostęp do wszystkich obiektów hurtowni danych Wymaga znajomości modelu danych Wymaga znajomości SQL/MDX Wymaga znajomości zagadnień wydajności zapytań SQL

24 JĘZYK MDX

25 Geneza języka MDX MDX (ang. Multidimensional Expressions) jest językiem pozwalającym na komunikowanie się z wielowymiarowymi strukturami danych Jest on językiem analogicznym do SQL, nie operuje jednak na strukturach relacyjnych a na kostkach OLAP (strukturach wielowymiarowych) Natywny MDX pozwala na dostęp do dowolnej kostki wielowymiarowej, niezależnie od dostawcy bazy danych (np. Oracle, Microsoft, Pentaho, Essbase) Poszczególni dostawcy platform wielowymiarowych rozbudowują język MDX o dodatkowe możliwości

26 Budowa zapytania (WITH SELECT FROM WHERE ) Zapytanie MDX składa się z następujących elementów: WITH określa kalkulacje(klauzula nieobowiązkowa) SELECT pobranie wskazanych elementów FROM określenie źródła danych (kostka lub perspektywa) WHERE zawężenie prezentowanych wyników Zapytanie to odpowiada analogicznemu zapytaniu w języku SQL Wynikiem zapytania MDX jest pewien zawężony zakres kostki (subcube) Tabela przestawna (pivot table) pozwala w graficzny sposób prezentować zapytanie MDX

Zapytania: klauzula WITH Nie jest to obowiązkowy składnik zapytania Pozwala na zdefiniowanie wyliczanych wartości jeszcze przed wykonaniem zapytania Np.

27 Zapytania: klauzula WITH Nie jest to obowiązkowy składnik zapytania Pozwala na zdefiniowanie wyliczanych wartości jeszcze przed wykonaniem zapytania Np. zapytanie: Pozwala na zdefiniowanie miary Średnia wartość, wraz ze sposobem jej wyliczania oraz formatem prezentacji Zapytanie zwraca następujący wynik:

28 Zapytania: klauzula SELECT Wynik zwracany jest dla n-osi: dla dwóch wymiarów są to wiersze i kolumny: W klauzuli SELECT deklaruje się przecięcia wymiarów (funkcja CROSSJOIN): Domyślnie zwracane są WSZYSTKIE przecięcia. Aby ograniczyć zbiór do niepustych przecięć należy skorzystać ze składni SELECT NON EMPTY Wynik bez SELECT NON EMPTY Wynik z wykorzystaniem SELECT NON EMPTY

29 Zapytania: klauzula WHERE Klauzula służy do zawężania wyników zapytania, Zmniejszenie zakresu pobieranych danych wpływa na wydajność zapytania, Zawężenie dotyczyć może: Wskazanego elementu wymiaru: Wskazanego zakresu danych:

30 Dziękuję za uwagę

Podobne dokumenty

Część I Istota analizy biznesowej a Analysis Services

Spis treści Część I Istota analizy biznesowej a Analysis Services 1 Analiza biznesowa: podstawy analizy danych... 3 Wprowadzenie do analizy biznesowej... 3 Wielowymiarowa analiza danych... 5 Atrybuty w