Systemy OLAP I. Krzysztof Dembczyński. Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska

Transkrypt

1 Systemy OLAP I Krzysztof Dembczyński Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Technologie Wytwarzania Oprogramowania Semestr zimowy 2008/09 Studia uzupełniajace magisterskie

2 Systemy baz i hurtowni danych wprowadzenie do wykładu Modele danych i ewolucja systemów baz danych Projektowanie hurtowni danych i modelowanie wielowymiarowe Proces ekstrakcji, transformacji i ładowania danych (Proces ETL) Systemy OLAP I Systemy OLAP II Systemy OLAP III

3 1 Systemy OLAP 2 Systemy ROLAP 3 Systemy MOLAP 4 Systemy HOLAP 5 Podsumowanie

4 1 Systemy OLAP 2 Systemy ROLAP 3 Systemy MOLAP 4 Systemy HOLAP 5 Podsumowanie

5 Serwery OLAP s a narzędziem do efektywnego wielowymiarowego przetwarzanie ogromnych wolumenów danych.

6 Raporty przestawne Systemy OLAP dostarczaj a narzędzi do tworzenia raportów wielowymiarowych.

7 Możliwe agregacje w modelu wielowymiarowym przedstawiane sa często jako krata kuboidów (ang. Cuboid). Przykład dla czterech wymiarów: czas, produkt, lokalizacja, dostawca. Łatwo pokazać operację Roll up i Drill down.

8 Liczba kuboidów: l = i=1,...,n (L i + 1), gdzie n to liczba wymiarów, a L i jest liczba poziomów hierarchii dla i-tego wymiaru, Przykładowo dla 10 wymiarów i 4 poziomów dla każdego wymiaru: l = 5 10 = 9,

9 Serwery OLAP: ROLAP (Relacyjne), MOLAP (Wielowymiarowe), HOLAP (Hybrydowe).

10 1 Systemy OLAP 2 Systemy ROLAP 3 Systemy MOLAP 4 Systemy HOLAP 5 Podsumowanie

11 Serwery ROLAP bazuja na relacyjnym modelu danych. Techniki optymalizacji: denormalizacji relacji, zmaterializowane perspektywy, partycjonowanie, operacje złaczenia, indeksy, przetwarzanie zapytań.

12 Zalety serwerów ROLAP: Skalowalność ze względu na liczbę wymiarów, Skalowalność ze względu na rozmiar danych, Rzadkość danych nie stanowi problemu, Dobrze rozpoznana i dojrzała technologia. Wady: Gorsza wydajność w porównaniu z systemami MOLAP, Potrzeba tworzenia indeksów oraz wykorzystania innych technik optymalizacji.

13 SQL3 Rozszerzenia języka SQL GROUP BY ROLLUP, GROUP BY CUBE.

14 GROUP BY CUBE SELECT Czas, Produkt, Lokalizacja, Dostawca, SUM(Zysk) FROM Sprzedaż GROUP BY CUBE (Czas, Produkt, Lokalizacja, Dostawca);

15 GROUP BY CUBE SELECT Czas, Produkt, Lokalizacja, Dostawca, SUM(Zysk) FROM Sprzedaż GROUP BY Czas, Produkt, Lokalizacja, Dostawca UNION ALL SELECT Czas, Produkt, Lokalizacja, *, SUM(Zysk) FROM Sprzedaż GROUP BY Czas, Produkt, Lokalizacja UNION ALL SELECT Czas, Produkt, *, Dostawca, SUM(Zysk) FROM Sprzedaż GROUP BY Czas, Produkt, Dostawca UNION ALL... UNION ALL SELECT *, *, *, *, SUM(Zysk) FROM Sprzedaż;

16 GROUP BY CUBE SELECT Academic_year, Name, AVG(Grade) FROM Students_grades GROUP BY CUBE(Academic_year, Name); Academic_year Name AVG(Grade) 2001/2 Stefanowski /2 Słowiński /3 Stefanowski /3 Słowiński /4 Stefanowski /4 Słowiński /4 Dembczyński /2 NULL /3 NULL /4 NULL 3.8 NULL Stefanowski 3.9 NULL Słowiński 3.6 NULL Dembczyński 4.8 NULL NULL 3.95

17 GROUP BY ROLLUP SELECT Czas, Produkt, Lokalizacja, Dostawca, SUM(Zysk) FROM Sprzedaż GROUP BY ROLLUP (Czas, Produkt, Lokalizacja, Dostawca);

18 GROUP BY CUBE SELECT Czas, Produkt, Lokalizacja, Dostawca, SUM(Zysk) FROM Sprzedaż GROUP BY Czas, Produkt, Lokalizacja, Dostawca UNION ALL SELECT Czas, Produkt, Lokalizacja, *, SUM(Zysk) FROM Sprzedaż GROUP BY Czas, Produkt, Lokalizacja UNION ALL SELECT Czas, Produkt, *, *, SUM(Zysk) FROM Sprzedaż GROUP BY Czas, Produkt UNION ALL SELECT Czas, *, *, *, SUM(Zysk) FROM Sprzedaż GROUP BY Czas UNION ALL SELECT *, *, *, *, SUM(Zysk) FROM Sprzedaż;

19 GROUP BY ROLLUP SELECT Academic_year, Name, AVG(Grade) FROM Students_grades G GROUP BY ROLLUP(Academic_year, Name); Academic_year Name AVG(Grade) 2001/2 Stefanowski /2 Słowiński /3 Stefanowski /3 Słowiński /4 Stefanowski /4 Słowiński /4 Dembczyński /2 NULL /3 NULL /4 NULL 3.8 NULL NULL 3.95

20 1 Systemy OLAP 2 Systemy ROLAP 3 Systemy MOLAP 4 Systemy HOLAP 5 Podsumowanie

21 Serwery MOLAP bazuja na wielowymiarowym modelu danych. Techniki optymalizacji: dwupoziomowy sposób zapisu: zapamiętywanie macierzy gęstych wprost, macierzy rzadkie sa kompresowane, materializacja podkostek.

22 Zalety serwerów MOLAP: Bardzo wydajny dostęp do danych poprzez bezpośrednie adresowanie, Szybkie odpowiedzi na zapytania, Bardzo często zawieraja obliczone agregaty pośrednie. Wady: Problemy ze skalowalnościa przy dużej liczbie wymiarów, Wymagaja specyficznego systemu zapisu (młoda technologia), Nie sa wydajne w przechowywaniu rzadkich danych.

23 Przykład Model składa się z wymiarów: klient, produkt, sklep oraz dzień; w przypadku klientów, produktów, sklepów oraz dni kostka danych zawiera komórek! Wiele komórek jest pustych: nie istnieja wszystkie kombinacje klientów, produktów, sklepów oraz dnia.

24 Język MDX (Multidimensional Expressions): Podstawowe terminy: Wymiar, Hierarchia, Poziom, Członek, Miara, Krotka, Zbiór, Oś.

25 Multidimensional Expressions (MDX): MDX SELECT {[CARS].[All CARS].[Chevy], [CARS].[All CARS].[Ford]} ON ROWS, {[DATE].[All DATE].[March], [DATE].[All DATE].[April]} ON COLUMNS FROM MDDBCARS;

26 Multidimensional Expressions (MDX): MDX SELECT {[CARS].[All CARS].[Chevy], [CARS].[All CARS].[Ford]} ON ROWS, {[DATE].[All DATE].[March], [DATE].[All DATE].[April]} ON COLUMNS FROM MDDBCARS; March April Chevy $ $ Ford $ $

27 Multidimensional Expressions (MDX): MDX SELECT {[CARS].[ALL CARS].[CHEVY], [CARS].[ALL CARS].[FORD]} ON ROWS, {[DATE].[ALL DATE].[MARCH], [DATE].[ALL DATE].[APRIL]} ON COLUMNS FROM MDDBCARS WHERE ([MEASURES].[SALES_N])

28 Multidimensional Expressions (MDX): MDX SELECT {[CARS].[ALL CARS].[CHEVY], [CARS].[ALL CARS].[FORD]} ON ROWS, {[DATE].[ALL DATE].[MARCH], [DATE].[ALL DATE].[APRIL]} ON COLUMNS FROM MDDBCARS WHERE ([MEASURES].[SALES_N]) Sales_N March April Chevy Ford

29 Multidimensional Expressions (MDX): MDX SELECT {[CARS].[ALL CARS].[CHEVY], [CARS].[ALL CARS].[FORD]} ON COLUMNS, {[DATE].[ALL DATE].[JANUARY]:[DATE].[ALL DATE].[APRIL]} ON ROWS FROM MDDBCARS

30 Multidimensional Expressions (MDX): MDX SELECT {[CARS].[ALL CARS].[CHEVY], [CARS].[ALL CARS].[FORD]} ON COLUMNS, {[DATE].[ALL DATE].[JANUARY]:[DATE].[ALL DATE].[APRIL]} ON ROWS FROM MDDBCARS Chevy Ford January $ $ February $ $ March $ $ April $ $

31 Multidimensional Expressions (MDX): MDX SELECT {[CARS].[ALL CARS].[CHEVY], [CARS].[ALL CARS].[FORD]} ON COLUMNS, {[DATE].MEMBERS} ON ROWS FROM MDDBCARS

32 Multidimensional Expressions (MDX): MDX SELECT {[CARS].[ALL CARS].[CHEVY], [CARS].[ALL CARS].[FORD]} ON COLUMNS, {[DATE].MEMBERS} ON ROWS FROM MDDBCARS Chevy Ford 1998 $ $ $ $ $ $ $ $

33 Multidimensional Expressions (MDX): MDX SELECT {[CARS].[ALL CARS].[FORD].CHILDREN} ON COLUMNS, {[DATE].MEMBERS} ON ROWS FROM MDDBCARS

34 Multidimensional Expressions (MDX): MDX SELECT {[CARS].[ALL CARS].[FORD].CHILDREN} ON COLUMNS, {[DATE].MEMBERS} ON ROWS FROM MDDBCARS Ford Mustang Ford Taurus $ $ $ $ $ $ $ $

35 Multidimensional Expressions (MDX): MDX SELECT {([CARS].[ALL CARS].[CHEVY], [MEASURES].[SALES_SUM]), ([CARS].[ALL CARS].[CHEVY], [MEASURES].[SALES_N]), ([CARS].[ALL CARS].[FORD], [MEASURES].[SALES_SUM]), ([CARS].[ALL CARS].[FORD], [MEASURES].[SALES_N]) } ON COLUMNS, {[DATE].MEMBERS} ON ROWS FROM MDDBCARS

36 Multidimensional Expressions (MDX): MDX SELECT {([CARS].[ALL CARS].[CHEVY], [MEASURES].[SALES_SUM]), ([CARS].[ALL CARS].[CHEVY], [MEASURES].[SALES_N]), ([CARS].[ALL CARS].[FORD], [MEASURES].[SALES_SUM]), ([CARS].[ALL CARS].[FORD], [MEASURES].[SALES_N]) } ON COLUMNS, {[DATE].MEMBERS} ON ROWS FROM MDDBCARS Chevy Ford Sales_Sum Sales_N Sales_Sum Sales_N 1998 $ $ $ $ $ $ $ $

37 Multidimensional Expressions (MDX): MDX SELECT {CROSSJOIN({[CARS].[ALL CARS].[CHEVY], [CARS].[ALL CARS].[FORD]}, {[MEASURES].[SALES_SUM], [MEASURES].[SALES_N]}) } ON COLUMNS, {[DATE].MEMBERS} ON ROWS FROM MDDBCARS Chevy Ford Sales_Sum Sales_N Sales_Sum Sales_N 1998 $ $ $ $ $ $ $ $

38 Multidimensional Expressions (MDX): MDX SELECT NON EMPTY [Store Type].[Store Type].MEMBERS ON COLUMNS, FILTER([Store].[Store City].MEMBERS, (Measures.[Profit], [Time].[1997]) > ) ON ROWS FROM [Sales] WHERE (Measures.[Profit], [Time].[Year].[1997])

39 Multidimensional Expressions (MDX): MDX SELECT NON EMPTY [Store Type].[Store Type].MEMBERS ON COLUMNS, FILTER([Store].[Store City].MEMBERS, (Measures.[Profit], [Time].[1997]) > ) ON ROWS FROM [Sales] WHERE (Measures.[Profit], [Time].[Year].[1997]) Profit Normal 24 Hours Toronto $ $ Vancouver $ $ New York $ $ Chicago $ $

40 Multidimensional Expressions (MDX): MDX SELECT Measures.MEMBERS ON COLUMNS, ORDER({[Store].[Store City].MEMBERS}, Measures.[Sales Count], DESC) ON ROWS FROM [Sales]

41 Multidimensional Expressions (MDX): MDX SELECT Measures.MEMBERS ON COLUMNS, ORDER({[Store].[Store City].MEMBERS}, Measures.[Sales Count], DESC) ON ROWS FROM [Sales] Profit Sales Count... New York $ Chicago $ Toronto $ Vancouver $

42 Multidimensional Expressions (MDX): MDX WITH MEMBER [Time].[Year Difference] AS [Time].[2nd half] - [Time].[1st half] SELECT { [Account].[Income], [Account].[Expenses] } ON COLUMNS, { [Time].[1st half], [Time].[2nd half], [Time].[Year Difference] } ON ROWS FROM [Financials]

43 Multidimensional Expressions (MDX): MDX WITH MEMBER [Time].[Year Difference] AS [Time].[2nd half] - [Time].[1st half] SELECT { [Account].[Income], [Account].[Expenses] } ON COLUMNS, { [Time].[1st half], [Time].[2nd half], [Time].[Year Difference] } ON ROWS FROM [Financials] Income Expenses 1st Half st Half Year Difference

44 Multidimensional Expressions (MDX): MDX WITH MEMBER [Account].[Net Income] AS ([Account].[Income], [Account].[Expenses]) / [Account].[Income] SELECT { [Account].[Income], [Account].[Expenses], [Account].[Net Income] } ON COLUMNS, { [Time].[1st half], [Time].[2nd half] } ON ROWS FROM [Financials]

45 Multidimensional Expressions (MDX): MDX WITH MEMBER [Account].[Net Income] AS ([Account].[Income], [Account].[Expenses]) / [Account].[Income] SELECT { [Account].[Income], [Account].[Expenses], [Account].[Net Income] } ON COLUMNS, { [Time].[1st half], [Time].[2nd half] } ON ROWS FROM [Financials] Income Expenses Net Income 1st Half st Half

46 Multidimensional Expressions (MDX): MDX WITH MEMBER [Time].[Year Difference] AS [Time].[2nd half] - [Time].[1st half], SOLVE_ORDER = 1 MEMBER [Account].[Net Income] AS ([Account].[Income] - [Account].[Expenses]) / [Account].[Income], SOLVE_ORDER = 2 SELECT { [Account].[Income], [Account].[Expenses], [Account].[Net Income] } ON COLUMNS, { [Time].[1st half], [Time].[2nd half], [Time].[Year Difference] } ON ROWS FROM [Financials]

47 Multidimensional Expressions (MDX): Income Expenses Net Income 1st Half st Half Year Difference

48 Multidimensional Expressions (MDX): MDX WITH MEMBER [Time].[Year Difference] AS [Time].[2nd half] - [Time].[1st half], SOLVE_ORDER = 2 MEMBER [Account].[Net Income] AS ([Account].[Income] - [Account].[Expenses]) / [Account].[Income], SOLVE_ORDER = 1 SELECT { [Account].[Income], [Account].[Expenses], [Account].[Net Income] } ON COLUMNS, { [Time].[1st half], [Time].[2nd half], [Time].[Year Difference] } ON ROWS FROM [Financials]

49 Multidimensional Expressions (MDX): Income Expenses Net Income 1st Half st Half Year Difference

50 Multidimensional Expressions (MDX): MDX WITH SET [Quarter1] AS GENERATE([Time].[Year].MEMBERS, {[Time].CURRENTMEMBER.FIRSTCHILD}) SELECT [Quarter1] ON COLUMNS, [Store].[Store Name].MEMBERS ON ROWS FROM [Sales] WHERE (Measures.[Profit])

51 Multidimensional Expressions (MDX): MDX WITH SET [Quarter1] AS GENERATE([Time].[Year].MEMBERS, {[Time].CURRENTMEMBER.FIRSTCHILD}) SELECT [Quarter1] ON COLUMNS, [Store].[Store Name].MEMBERS ON ROWS FROM [Sales] WHERE (Measures.[Profit]) 1998Q1 1999Q1... Saturn $ $ Media Markt $ $ Avans $ $

52 1 Systemy OLAP 2 Systemy ROLAP 3 Systemy MOLAP 4 Systemy HOLAP 5 Podsumowanie

53 Serwery HOLAP Systemy hybrydowe wspierajace dwa modele danych. Serwer parametryzowany przez użytkownika/administratora systemu. Najczęstsze rozwiazanie.

54 1 Systemy OLAP 2 Systemy ROLAP 3 Systemy MOLAP 4 Systemy HOLAP 5 Podsumowanie

55 Podsumowanie Systemy OLAP służa do efektywnego wielowymiarowego przetwarzania ogromnym wolumenów danych, Podstawowe modele to ROLAP, MOLAP i HOLAP, Z podejściem ROLAP zwiazany jest język SQL3; z podejściem wielowymiarowym język MDX, ROLAP, MOLAP, czy HOLAP?

56 Systemy baz i hurtowni danych wprowadzenie do wykładu Modele danych i ewolucja systemów baz danych Projektowanie hurtowni danych i modelowanie wielowymiarowe Proces ekstrakcji, transformacji i ładowania danych (Proces ETL) Systemy OLAP I Systemy OLAP II Systemy OLAP III