Krzysztof Dembczyński. Inteligentne Systemy Wspomagania Decyzji Studia magisterskie, semestr I Semestr letni 2007/08

Transkrypt

1 Krzysztof Dembczyński Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Inteligentne Systemy Wspomagania Decyzji Studia magisterskie, semestr I Semestr letni 2007/08

2 Plan wykładu Systemy baz i hurtowni danych wprowadzenie do wykładu Modele danych i ewolucja systemów baz danych Projektowanie hurtowni danych i modelowanie wielowymiarowe Systemy OLAP Proces ekstrakcji, transformacji i ładowania danych (Proces ETL) Analiza i eksploracja danych

3 Plan wykładu 1 Języki zapytań do hurtowni danych 2 SQL3 3 MDX 4 Podsumowanie

4 Plan wykładu 1 Języki zapytań do hurtowni danych 2 SQL3 3 MDX 4 Podsumowanie

5 Hurtownie danych wymagaja specyficznego podejścia do zadawania zapytań. SQL3 (ROLAP) MDX (MOLAP)

6 Plan wykładu 1 Języki zapytań do hurtowni danych 2 SQL3 3 MDX 4 Podsumowanie

7 SQL3 Rozszerzenia języka SQL GROUP BY ROLLUP, GROUP BY CUBE.

8 GROUP BY CUBE SELECT Czas, Produkt, Lokalizacja, Dostawca, SUM(Zysk) FROM Sprzedaż GROUP BY CUBE (Czas, Produkt, Lokalizacja, Dostawca);

9 GROUP BY CUBE SELECT Czas, Produkt, Lokalizacja, Dostawca, SUM(Zysk) FROM Sprzedaż GROUP BY Czas, Produkt, Lokalizacja, Dostawca UNION ALL SELECT Czas, Produkt, Lokalizacja, *, SUM(Zysk) FROM Sprzedaż GROUP BY Czas, Produkt, Lokalizacja UNION ALL SELECT Czas, Produkt, *, Dostawca, SUM(Zysk) FROM Sprzedaż GROUP BY Czas, Produkt, Dostawca UNION ALL... UNION ALL SELECT *, *, *, *, SUM(Zysk) FROM Sprzedaż;

10 GROUP BY CUBE SELECT Academic_year, Name, AVG(Grade) FROM Students_grades GROUP BY CUBE(Academic_year, Name); Academic_year Name AVG(Grade) 2001/2 Stefanowski /2 Słowiński /3 Stefanowski /3 Słowiński /4 Stefanowski /4 Słowiński /4 Dembczyński /2 NULL /3 NULL /4 NULL 3.8 NULL Stefanowski 3.9 NULL Słowiński 3.6 NULL Dembczyński 4.8 NULL NULL 3.95

11 GROUP BY ROLLUP SELECT Czas, Produkt, Lokalizacja, Dostawca, SUM(Zysk) FROM Sprzedaż GROUP BY ROLLUP (Czas, Produkt, Lokalizacja, Dostawca);

12 GROUP BY CUBE SELECT Czas, Produkt, Lokalizacja, Dostawca, SUM(Zysk) FROM Sprzedaż GROUP BY Czas, Produkt, Lokalizacja, Dostawca UNION ALL SELECT Czas, Produkt, Lokalizacja, *, SUM(Zysk) FROM Sprzedaż GROUP BY Czas, Produkt, Lokalizacja UNION ALL SELECT Czas, Produkt, *, *, SUM(Zysk) FROM Sprzedaż GROUP BY Czas, Produkt UNION ALL SELECT Czas, *, *, *, SUM(Zysk) FROM Sprzedaż GROUP BY Czas UNION ALL SELECT *, *, *, *, SUM(Zysk) FROM Sprzedaż;

13 GROUP BY ROLLUP SELECT Academic_year, Name, AVG(Grade) FROM Students_grades G GROUP BY ROLLUP(Academic_year, Name); Academic_year Name AVG(Grade) 2001/2 Stefanowski /2 Słowiński /3 Stefanowski /3 Słowiński /4 Stefanowski /4 Słowiński /4 Dembczyński /2 NULL /3 NULL /4 NULL 3.8 NULL NULL 3.95

14 Plan wykładu 1 Języki zapytań do hurtowni danych 2 SQL3 3 MDX 4 Podsumowanie

15 (Multidimensional Expressions): Podstawowe terminy: Wymiar (Dimension), Hierarchia (Hierarchy), Poziom (Level), Członek (Member), Miara (Measure), Krotka (Tuple), Zbiór (Set). MDX SELECT {[CARS].[All CARS].[Chevy], [CARS].[All CARS].[Ford]} ON ROWS, {[DATE].[All DATE].[March], [DATE].[All DATE].[April]} ON COLUMNS FROM MDDBCARS;

16 (Multidimensional Expressions): MDX SELECT {[CARS].[ALL CARS].[CHEVY], [CARS].[ALL CARS].[FORD]} ON COLUMNS, {[DATE].[ALL DATE].[MARCH], [DATE].[ALL DATE].[APRIL]} ON ROWS FROM MDDBCARS WHERE ([MEASURES].[SALES_N])

17 (Multidimensional Expressions): MDX SELECT {[CARS].[ALL CARS].[CHEVY], [CARS].[ALL CARS].[FORD]} ON COLUMNS, {[DATE].[ALL DATE].[JANUARY]:[DATE].[ALL DATE].[APRIL]} ON ROWS FROM MDDBCARS

18 (Multidimensional Expressions): MDX SELECT {[CARS].[ALL CARS].[CHEVY], [CARS].[ALL CARS].[FORD]} ON COLUMNS, {[DATE].MEMBERS} ON ROWS FROM MDDBCARS

19 (Multidimensional Expressions): MDX SELECT {[CARS].[ALL CARS].[FORD].CHILDREN} ON COLUMNS, {[DATE].MEMBERS} ON ROWS FROM MDDBCARS

20 (Multidimensional Expressions): MDX SELECT {([CARS].[ALL CARS].[CHEVY], [MEASURES].[SALES_SUM]), ([CARS].[ALL CARS].[CHEVY], [MEASURES].[SALES_N]), ([CARS].[ALL CARS].[FORD], [MEASURES].[SALES_SUM]), ([CARS].[ALL CARS].[FORD], [MEASURES].[SALES_N]) } ON COLUMNS, {[DATE].MEMBERS} ON ROWS FROM MDDBCARS

21 (Multidimensional Expressions): MDX SELECT {CROSSJOIN({[CARS].[ALL CARS].[CHEVY], [CARS].[ALL CARS].[FORD]}, {[MEASURES].[SALES_SUM], [MEASURES].[SALES_N]}) } ON COLUMNS, {[DATE].MEMBERS} ON ROWS FROM MDDBCARS

22 (Multidimensional Expressions): MDX SELECT {CROSSJOIN ({[CARS].[ALL CARS].[CHEVY], [CARS].[ALL CARS].[FORD]}, {[MEASURES].[SALES_SUM], [MEASURES].[SALES_N]}) } ON COLUMNS, NON EMPTY {[DATE].MEMBERS} ON ROWS FROM MDDBCARS

23 (Multidimensional Expressions): MDX SELECT NON EMPTY [Store Type].[Store Type].MEMBERS ON COLUMNS, FILTER([Store].[Store City].MEMBERS, (Measures.[Unit Sales], [Time].[1997]) > 25000) ON ROWS FROM [Sales] WHERE (Measures.[Profit], [Time].[Year].[1997])

24 (Multidimensional Expressions): MDX SELECT Measures.MEMBERS ON COLUMNS, ORDER({[Store].[Store City].MEMBERS}, Measures.[Sales Count], BDESC) ON ROWS FROM [Sales]

25 (Multidimensional Expressions): MDX WITH MEMBER Measures.ProfitPercent AS (Measures.[Store Sales] - Measures.[Store Cost]) / (Measures.[Store Cost]), FORMAT_STRING = #.00%, SOLVE_ORDER = 1 WITH MEMBER [Time].[First Half 97] AS [Time].[1997].[Q1] + [Time].[1997].[Q2] MEMBER [Time].[Second Half 97] AS [Time].[1997].[Q3] + [Time].[1997].[Q4]

26 (Multidimensional Expressions): MDX WITH MEMBER Measures.ProfitPercent AS (Measures.[Store Sales] - Measures.[Store Cost]) / (Measures.[Store Cost]), FORMAT_STRING = #.00%, SOLVE_ORDER = 1 MEMBER [Time].[First Half 97] AS [Time].[1997].[Q1] + [Time].[1997].[Q2] MEMBER [Time].[Second Half 97] AS [Time].[1997].[Q3] + [Time].[1997].[Q4] SELECT {[Time].[First Half 97], [Time].[Second Half 97], [Time].[1997].CHILDREN} ON COLUMNS, {[Store].[Store Name].MEMBERS} ON ROWS FROM [Sales]

27 (Multidimensional Expressions): MDX WITH SET [Quarter1] AS GENERATE([Time].[Year].MEMBERS, {[Time].CURRENTMEMBER.FIRSTCHILD}) SELECT [Quarter1] ON COLUMNS, [Store].[Store Name].MEMBERS ON ROWS FROM [Sales] WHERE (Measures.[Profit])

28 Plan wykładu 1 Języki zapytań do hurtowni danych 2 SQL3 3 MDX 4 Podsumowanie

29 Podsumowanie SQL3 język dla systemów ROLAP, MDX język dla systemów MOLAP.

30 Plan wykładu Systemy baz i hurtowni danych wprowadzenie do wykładu Modele danych i ewolucja systemów baz danych Projektowanie hurtowni danych i modelowanie wielowymiarowe Systemy OLAP Proces ekstrakcji, transformacji i ładowania danych (Proces ETL) Analiza i eksploracja danych