Politechnika Łódzka, ul. Żeromskiego 116, Łódź, tel. (042) Projekt współfinansowany przez Unię Europejską

Transkrypt

1 Oracle i DB2 zadanie współfinansowane przez Unię Europejską w ramach Europejskiego Funduszu Społecznego w projekcie pt. Innowacyjna dydaktyka bez ograniczeń - zintegrowany rozwój Politechniki Łódzkiej - zarządzanie Uczelnią, nowoczesna oferta edukacyjna i wzmacniania zdolności do zatrudniania osób niepełnosprawnych Politechnika Łódzka, ul. Żeromskiego 116, Łódź, tel. (042) w ramach Europejskiego Funduszu Społecznego Wstęp 2 -Dlaczego Chaos zawsze wygrywa z Porządkiem? - Ponieważ jest lepiej zorganizowany. Terry Pratchett Nagromadzenie danych to nie jest jeszcze nauka Galileusz 1

2 Schemat bazy danych 3 Dlaczego? 4 Człowiek, który potrafi czytać ale nie ma książek, nie ma przewagi nad tymi, którzy w ogóle nie umieją czytać Mark Twain Człowiek który posiada dane ale nie potrafi ich zobaczyć, nie ma przewagi nad tymi, którzy w ogóle nie mają danych Bob Lokken (CEO Knosys Inc.)

3 Dlaczego? 5 Szybsze podejmowanie lepszych decyzji Zwiększenie przewagi konkurencyjnej Usprawnienie procesów biznesowych Poprawa obsługi klientów Rozwiązania e-business Wnioski z danych 6 Celem działania nie jest raport lecz decyzja, a złe decyzje są kosztowne. Dane nie są informacją! Aby dostrzec znaczenie danych, należy najpierw zobaczyć te dane. Jeden obraz z właściwą informacją jest więcej wart niż dowolna ilość wierszy i kolumn danych. 3

4 Terminologia 7 ETL (extraction, transformation, loading) Ekstrakcja danych Transformacja danych Ładowanie danych Hurtownia danych Wydzielona baza danych Zawiera dane historyczne i bieżące Data Mart - Składnica danych Ściśle związana z mniejszą grupą użytkowników Tematycznie dostosowana, zoptymalizowana dla ich potrzeb OLAP (On-Line Analytical Processing) Przetwarzanie danych wielowymiarowych Krótki czas odpowiedzi na dowolne zapytanie Waga podejmowanych decyzji 8 Zarząd Koszt podjęcia złej decyzji Zysk z podjęcia dobrej dezyzji Kierownicy Pracownicy operacyjni Ilość podejmowanych decyzji 4

5 9 Wprowadzenie Modelem przetwarzania nazywamy sposób w jaki użytkownik korzysta z bazy danych. Modele przetwarzania: - przetwarzanie operacyjne (transakcyjne) - przetwarzanie analityczne Przetwarzanie operacyjne 10 OLTP - OnLine Transaction Processing - przetwarzanie transakcji w trybie on-line Celem jest wspomaganie bieżącej obsługi działalności danej firmy, dla dobrze zdefiniowanych procesów (np.: obsługa sprzedaży) Oparty na transakcjach, które operują na niewielkiej części danych przechowywanych w bazie danych 5

6 Przetwarzanie operacyjne 11 Dostarcza rozwiązań dla problemów: efektywnego i bezpiecznego przechowywania danych, optymalizacji dostępu do danych, dostępności danych, zarządzania współbieżnością Podstawowym kryterium oceny efektywności działania systemu OLTP jest liczba transakcji na sekundę Przetwarzanie analityczne 12 OLAP - OnLine Analytical Processing - przetwarzanie analityczne w trybie on-line Celem jest przeprowadzanie analizy danych i wspomaganie decyzji. Posiadanie danych opisujących działanie przedsiębiorstwa w dłuższym przedziale czasu pozwala na analizę trendów, anomalii, poszukiwanie wzorców zachowań klientów, itp. 6

7 Zalety przeprowadzania analizy danych 13 Zrozumienie zachowania się klientów i zapotrzebowania na produkt, pozwala efektywnie kierować kampaniami reklamowymi Zarządzanie zapasami umożliwia producentom posiadanie właściwych produktów we właściwym miejscu i czasie Analiza rentowności pokazuje firmom, którzy klienci są dochodowi, a którzy nie Przetwarzanie operacyjne a analityczne 14 Dlaczego potrzebnych informacji nie da się uzyskiwać bezpośrednio z transakcyjnych systemów przetwarzania danych? Dane w aplikacjach operacyjnych są: - ukierunkowane na aplikacje operacyjne, a nie analityczne - rozproszone po wielu aplikacjach operacyjnych - przechowywane w mało czytelnej postaci 7

8 15 Definicja hurtowni danych są bardzo dużymi bazami danych, w których gromadzi się dane pochodzące z wielu heterogenicznych źródeł: scentralizowanych lub rozproszonych baz relacyjnych, relacyjno-obiektowych, obiektowych oraz ze źródeł innych niż bazy danych (np.: pliki tekstowe). Jest to zbiór technologii, których celem jest wspieranie menadżerów i umożliwienie podejmowania im szybszych i lepszych decyzji. Cechy hurtowni danych Hurtownia danych powinna być: - zorientowana tematycznie - nieulotna (trwała) - wielowersyjna czasowo - zintegrowana 16 8

9 Zapytania wybierające Grupowanie SELECT IdOsoby, SUM(Brutto) AS Razem FROM Zarobki GROUP BY IdOsoby; SELECT SUM(Brutto) AS Razem FROM Zarobki; 17 Wyznaczenie funkcji agregującej dla grupy (dla każdej osoby) Wyznaczenie funkcji agregującej dla całej tabeli (wszystkie osoby) Zapytania wybierające Funkcje agregujące AVG SUM MAX MIN wartość średnia suma maksimum minimum STDDEV odchylenie standardowe VARIANCE wariacja COUNT zlicz 18 n n ( x) 2 x n( n 1) ( x) 2 x n( n 1) 2 2 9

10 Grupowanie i numerowanie rekordów w grupie 19 SELECT DECODE(ROWNUM-min_sno,0,a.iddzialu,NULL) iddzialu, DECODE(ROWNUM-min_sno,0,1,rownum+1-min_sno) sno, a.idosoby, nazwisko FROM (SELECT * FROM osoby ORDER BY iddzialu, idosoby ) a, ( SELECT iddzialu, MIN(ROWNUM) min_sno FROM ( SELECT * FROM osoby ORDER BY iddzialu, idosoby ) GROUP BY iddzialu ) b WHERE a.iddzialu = b.iddzialu; IDDZIALU SNO IDOSOBY NAZWISKO KOWALSKI 2 2 NOWAK 3 10 NOWIK NOWACKI 2 6 KOW 3 7 JAKOW KOWALIK 2 8 ADAMIAK 3 9 KOWALSKI 4 11 XXX WILK 2 12 YY GROUP BY ROLLUP/CUBE 20 Dodatkowe podsumowania dla działów SELECT IdDzialu, Osoby.IdOsoby, SUM(Brutto) AS Razem FROM Osoby JOIN Zarobki ON Osoby.IdOsoby=Zarobki.IdOsoby GROUP BY ROLLUP (IdDzialu, Osoby.IdOsoby); Dodatkowe podsumowania dla działów po sumach pracowników SELECT IdDzialu, Osoby.IdOsoby, SUM(Brutto) AS Razem FROM Osoby JOIN Zarobki ON Osoby.IdOsoby=Zarobki.IdOsoby GROUP BY CUBE (IdDzialu, Osoby.IdOsoby); 10

11 SUM(BRUTTO)... GROUP BY ROLLUP 21 NAZWA Dyrekcja Dyrekcja Handlowy Handlowy Techniczny Techniczny Techniczny Administracja Administracja Administracja NAZWISKO Kowalski Nowicki Kow Kowalczyk Janik Nowak RAZEM NAZWA Dyrekcja Dyrekcja Handlowy Handlowy Techniczny Techniczny Techniczny Administracja Administracja Administracja NAZWISKO RAZEM Janik Kow 222 Janik 555 Nowak Nowicki SUM(BRUTTO)... GROUP BY CUBE Kowalski 2109 Kowalczyk Kowalski Nowicki Kow 222 Kowalczyk Nowak

12 23 GROUP BY GROUPING SETS Dodatkowe podsumowania dla działów po sumach pracowników (nie są powtarzane podsumowania dla wewnętrznej grupy) SELECT IdDzialu, Osoby.IdOsoby, SUM(Brutto) AS Razem FROM Osoby JOIN Zarobki ON Osoby.IdOsoby=Zarobki.IdOsoby GROUP BY GROUPING SETS (IdDzialu, Osoby.IdOsoby); SUM(BRUTTO)... GROUP BY GROUPING SETS 24 NAZWA Administracja Dyrekcja Handlowy Techniczny NAZWISKO Janik Kow Kowalczyk Kowalski Nowak Nowicki RAZEM

13 25 GROUP BY GROUPING SETS Dodatkowe podsumowania dla działów po sumach pracowników (nie są powtarzane podsumowania dla wewnętrznej grupy) SELECT Nazwa, Nazwisko, SUM(Brutto) FROM Dzialy JOIN Osoby USING(IdDzialu) JOIN Zarobki USING(IdOsoby) GROUP BY GROUPING SETS (Nazwa, Nazwisko, IdOsoby); RANK () 26 oblicza ranking każdego wiersza zwracanego przez zapytanie zgodnie z klauzulą ORDER BY(jeśli dwie pozycje mają taką samą wartość następny rank jest o zwiększany o liczbę powtórzeń pozycje równe traktowane są tak samo) SELECT IdDzialu, Nazwisko, Brutto, RANK() OVER (PARTITION BY IdDzialu ORDER BY Brutto DESC ) "Rank" FROM Osoby JOIN Zarobki ON Osoby.IdOsoby=Zarobki.IdOsoby; SELECT RANK(250) WITHIN GROUP (ORDER BY Brutto DESC) "Powyżej 250" FROM Zarobki; NULLS LAST NULLS FIRST Sposób umieszczenia wartości NULL na liście SELECT RANK(250) WITHIN GROUP (ORDER BY Brutto ASC) "Poniżej 250" FROM Zarobki; Liczba wypłat powyżej/poniżej progu 13

14 DENSE_RANK () 27 oblicza ranking każdego wiersza zwracanego przez zapytanie zgodnie z klauzulą ORDER BY (jeśli dwie pozycje mają taką samą wartość następny rank jest o 1 większy pozycje równe traktowane są tak samo) SELECT IdDzialu, Nazwisko, Brutto, DENSE_RANK() OVER (PARTITION BY IdDzialu ORDER BY Brutto DESC ) "Rank" FROM Osoby JOIN Zarobki ON Osoby.IdOsoby=Zarobki.IdOsoby; SELECT DENSE_RANK(250) WITHIN GROUP (ORDER BY Brutto DESC) "Powyżej 250" FROM Zarobki; NULLS LAST NULLS FIRST Sposób umieszczenia wartości NULL na liście Okienkowanie funkcji agregujących SELECT IdOsoby, Brutto FROM Zarobki ORDER BY IdOsoby; IDOSOBY AGREGATE IDOSOBY BRUTTO SELECT IdOsoby, SUM(Brutto) OVER (ORDER BY IdOsoby ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) Agregate FROM Zarobki; 14

15 Okienkowanie funkcji agregujących 29 SELECT IdOsoby, Brutto FROM Zarobki ORDER BY IdOsoby; IDOSOBY AGREGATE IDOSOBY BRUTTO SELECT IdOsoby, SUM(Brutto) OVER (PARTITION BY IdOsoby ORDER BY IdOsoby ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) Agregate FROM Zarobki; Okienkowanie funkcji agregujących 30 SELECT IdDzialu, Nazwisko, SUM(Brutto), AVG(SUM(Brutto)) OVER () "Srednia wszystkich", AVG(SUM(Brutto)) OVER (PARTITION BY IdDzialu) "Srednia sumy dla Dzialu", RATIO_TO_REPORT(SUM(Brutto)) OVER () "Procent z całosci", RATIO_TO_REPORT(SUM(Brutto)) OVER (PARTITION BY IdDzialu) "Procent w Dziale" FROM Osoby JOIN Zarobki USING (IdOsoby) GROUP BY iddzialu, Nazwisko, IdOsoby; IdDzialu Nazwisko SUM (Brutto) Srednia wszystkich Srednia sumy dla Dzialu Procent z całosci Procent w dziale 1 Kowalski , , Janik , ,123 0,372 2 Nowak , ,138 0,418 2 Zieliński , ,069 0,209 3 Kow , ,1 0,382 3 Kowalczyk , ,153 0,588 3 Pawlak , ,007 0,029 4 Nowicki , , Kowal , ,

16 ROW_NUMBER(), NTILE() 31 SELECT IdDzialu, Nazwisko, Brutto, ROW_NUMBER() OVER (PARTITION BY IdDzialu ORDER BY Brutto DESC) "NUMER", NTILE(4) OVER (PARTITION BY IdDzialu ORDER BY Brutto DESC) "Zakresowy rozkład " FROM Osoby JOIN Zarobki ON Osoby.IdOsoby=Zarobki.IdOsoby; IDDZIALU NAZWISKO BRUTTO NUMER Zakresowy rozkład 1 Kowalski Kowalski Kowalski Kowalski Kowalski Zieliński Janik Nowak Nowak Janik Nowak Janik Kow w ramach Europejskiego 3 Funduszu Społecznego Kowalczyk Kowalczyk Raportowanie 32 SET PAGES 33 TTITLE 'Tytuł Druga Linia' BTITLE 'STOPKA DRUGA LINIA' BREAK ON Osoba SKIP 1 ON REPORT PAGE COMPUTE SUM AVG OF Brutto ON Osoba COMPUTE SUM OF Brutto ON REPORT COLUMN Osoba format A25 heading 'Nazwisko Imię' justify left COLUMN Wzrost format heading 'Wysokość' justify right COLUMN BRUTTO format heading 'Zarobki' justify center SELECT Nazwisko ' ' Imie AS Osoba, Wzrost, Brutto FROM Osoby JOIN Zarobki ON Osoby.Idosoby=Zarobki.IdOsoby; CLEAR BREAKS CLEAR COMPUTES CLEAR COLUMNS 16

17 Hierarchia (nie obsługuje grafów cyklicznych) 33 BREAK ON LEVEL SKIP 1 SELECT LEVEL, Idosoby, Stanowisko, IdSzefa FROM Osoby CONNECT BY PRIOR IdOsoby=IdSzefa START WITH IdSzefa IS NULL ORDER BY LEVEL; Przy odwrotnym połączeniu zwrócony zostanie tylko jeden rekord IdSzefa= PRIOR IdOsoby SELECT LEVEL, Idosoby, Stanowisko, IdSzefa FROM Osoby CONNECT BY PRIOR IdSzefa=IdOsoby START WITH IdSzefa IS NULL ORDER BY LEVEL; równoważne!! Hierarchia z formatowaniem 34 SELECT LEVEL, ' ' SUBSTR(' ',1,2* LEVEL) Nazwisko AS Kto FROM Osoby START WITH IdSzefa IS NULL CONNECT BY PRIOR IdOsoby = IdSzefa; 17

18 Hierarchia z formatowaniem 35 Uzupełnij do długości znakami SELECT LEVEL, RPAD(' ', 2*LEVEL, '-') Nazwisko AS Kto,IdSzefa FROM Osoby START WITH IdSzefa IS NULL CONNECT BY PRIOR IdOsoby = IdSzefa; Hierarchia z sumowaniem 36 SELECT LEVEL, SUM (Brutto) FROM Osoby JOIN Zarobki ON Zarobki.IdOsoby=Osoby.IdOsoby START WITH IdSzefa IS NULL CONNECT BY PRIOR Osoby.IdOsoby = IdSzefa GROUP BY LEVEL; LEVEL SUM(BRUTTO)

19 Hierarchia z poziomem wyższym 37 SELECT LEVEL, Nazwisko, IdSzefa, PRIOR Nazwisko AS Szef FROM Osoby START WITH IdSzefa IS NULL CONNECT BY PRIOR IdOsoby = IdSzefa; LEVEL NAZWISKO IDSZEFA SZEF 1 Kowalski 2 Nowak 1 Kowalski 3 Janik 2 Nowak 4 Kowalski 4 Janik 4 Kowal 4 Janik 4 Jasiński 4 Janik 4 Bury 4 Janik 4 Wilk 4 Janik 4 Raczyński 4 Janik 4 Lew 4 Janik 3 Pawlak 2 Nowak 3 Gawlik 2 Nowak 2 Kow 1 Kowalski Hierarchia z poziomem wyższym 38 SELECT Poziom, Prac, Osoby.IdSzefa, Osoby.Nazwisko AS Szef FROM Osoby RIGHT JOIN (SELECT LEVEL AS Poziom, Nazwisko AS Prac, IdSzefa FROM Osoby START WITH IdSzefa IS NULL CONNECT BY PRIOR IdOsoby = IdSzefa) xxx ON Osoby.IdOsoby=xxx.IdSzefa; LEVEL NAZWISKO IDSZEFA SZEF 1 Kowalski 2 Nowak 1 Kowalski 3 Janik 2 Nowak 4 Kowalski 4 Janik 4 Kowal 4 Janik 4 Jasiński 4 Janik 4 Bury 4 Janik 4 Wilk 4 Janik 4 Raczyński 4 Janik 4 Lew 4 Janik 19

20 Hierarchia liczba podwładnych 39 SELECT RPAD(' ',2*LEVEL,'*') Nazwisko ' ' Imie as Szef, ( SELECT COUNT(o2.idosoby) FROM Osoby o2 START WITH o2.idszefa = o1.idosoby CONNECT BY PRIOR o2.idosoby = o2.idszefa ) ilu Szef FROM Osoby o1 START WITH o1.idszefa IS NULL CONNECT BY PRIOR o1.idosoby = o1.idszefa; To musi być zapytanie jednowierszowe ILU *Kowalski Jan 35 ***Nowak Karol 19 *****Janik Paweł 13 *******Kowalski Piotr *****Gawlik Paweł 0 ***Kow Piotr 12 *****Kowalczyk Jarosław 4 *******Adamczyk Konrad Hierarchia liczba podwładnych razem z szefem 40 SELECT RPAD(' ',2*LEVEL,'*') Nazwisko ' ' Imie as Szef, ( SELECT COUNT(o2.idosoby) FROM Osoby o2 START WITH o2. IdOsoby = o1.idosoby CONNECT BY PRIOR o2.idosoby = o2.idszefa SZEF ) ilu FROM Osoby o1 START WITH o1.idszefa IS NULL CONNECT BY PRIOR o1.idosoby = o1.idszefa; ILU *Kowalski Jan 36 ***Nowak Karol 20 *****Janik Paweł 14 *******Kowalski Piotr *****Gawlik Paweł 1 ***Kow Piotr 13 *****Kowalczyk Jarosław 5 *******Adamczyk Konrad

21 41 Hierarchia suma zarobków podwładnych razem z szefem SELECT RPAD(' ',2*LEVEL,'*') Nazwisko ' ' Imie as Szef, ( SELECT SUM(Brutto) FROM Osoby o2 JOIN Zarobki ON o2.idosoby = zarobki.idosoby START WITH o2.idszefa = o1.idosoby CONNECT BY PRIOR o2.idosoby = o2.idszefa ) Razem SZEF FROM Osoby o1 START WITH o1.idszefa IS NULL CONNECT BY PRIOR o1.idosoby = o1.idszefa; ILU *Kowalski Jan ***Nowak Karol *****Janik Paweł *******Kowalski Piotr *****Gawlik Paweł (null) ***Kow Piotr *****Kowalczyk Jarosław 3108 *******Adamczyk Konrad Dlaczego? 42 Człowiek, który potrafi czytać ale nie ma książek, nie ma przewagi nad tymi, którzy w ogóle nie umieją czytać Mark Twain Człowiek który posiada dane ale nie potrafi ich zobaczyć, nie ma przewagi nad tymi, którzy w ogóle nie mają danych Bob Lokken (CEO Knosys Inc.)

22 43 Dlaczego? Szybsze podejmowanie lepszych decyzji Zwiększenie przewagi konkurencyjnej Usprawnienie procesów biznesowych Poprawa obsługi klientów Rozwiązania e-business Wnioski z danych 44 Celem działania nie jest raport lecz decyzja, a złe decyzje są kosztowne. Dane nie są informacją! Aby dostrzec znaczenie danych, należy najpierw zobaczyć te dane. Jeden obraz z właściwą informacją jest więcej wart niż dowolna ilość wierszy i kolumn danych. 22

23 45 Business Intelligence (BI) BI klucz do uwolnienia wiedzy h Dostęp i Łatwy dostęp do różnych źródeł danych h Analiza i Narzędzia do eksploracji danych h Dystrybucja i Aktywny i bierny dostęp do informacji h W ramach organizacji i poza nią i Pracownicy, dostawcy, klienci, partnerzy,... Terminologia 46 ETL (extraction, transformation, loading) Ekstrakcja danych Transformacja danych Ładowanie danych Hurtownia danych Wydzielona baza danych Zawiera dane historyczne i bieżące Data Mart - Składnica danych Ściśle związana z mniejszą grupą użytkowników Tematycznie dostosowana, zoptymalizowana dla ich potrzeb OLAP (On-Line Analytical Processing) Przetwarzanie danych wielowymiarowych Krótki czas odpowiedzi na dowolne zapytanie 23

24 47 Czym jest Business Intelligence? Narzędzia i techniki wspomagające proces podejmowania decyzji Business Intelligence pozwala zrozumieć dane Co się wydarzyło? Co się aktualnie dzieje? Dlaczego? Co się stanie? Co chciałbym, aby się stało? ERP CRM SCM TPP inne 48 Potencjał BI Zarząd Poziom strategiczny Kierownicy Pracownicy operacyjni Ilość podejmowanych decyzji 24

25 49 Wprowadzenie Modelem przetwarzania nazywamy sposób w jaki użytkownik korzysta z bazy danych. Modele przetwarzania: - przetwarzanie operacyjne - przetwarzanie analityczne 50 Przetwarzanie operacyjne (1) OLTP - OnLine Transaction Processing - przetwarzanie transakcji w trybie on-line Celem jest wspomaganie bieżącej obsługi działalności danej firmy, dla dobrze zdefiniowanych procesów (np.: obsługa sprzedaży) Oparty na transakcjach, które operują na niewielkiej części danych przechowywanych w bazie danych 25

26 51 Przetwarzanie operacyjne (2) Dostarcza rozwiązań dla problemów: efektywnego i bezpiecznego przechowywania danych, optymalizacji dostępu do danych, dostępności danych, zarządzania współbieżnością Podstawowym kryterium oceny efektywności działania systemu OLTP jest liczba transakcji na sekundę 52 Przetwarzanie analityczne OLAP - OnLine Analytical Processing - przetwarzanie analityczne w trybie on-line Celem jest przeprowadzanie analizy danych i wspomaganie decyzji. Posiadanie danych opisujących działanie przedsiębiorstwa w dłuższym przedziale czasu pozwala na analizę trendów, anomalii, poszukiwanie wzorców zachowań klientów, itp. 26

27 53 Zalety przeprowadzania analizy danych Zrozumienie zachowania się klientów i zapotrzebowania na produkt, pozwala efektywnie kierować kampaniami reklamowymi Zarządzanie zapasami umożliwia producentom posiadanie właściwych produktów we właściwym miejscu i czasie Analiza rentowności pokazuje firmom, którzy klienci są dochodowi, a którzy nie 54 Przetwarzanie operacyjne a analityczne Dlaczego potrzebnych informacji nie da się uzyskiwać bezpośrednio z operacyjnych systemów przetwarzania danych? Dane w aplikacjach operacyjnych są: - ukierunkowane na aplikacje operacyjne a nie analityczne - rozproszone po wielu aplikacjach operacyjnych - przechowywane w mało czytelnej postaci 27

28 55 Definicja hurtowni danych są bardzo dużymi bazami danych, w których gromadzi się dane pochodzące z wielu heterogenicznych źródeł: scentralizowanych lub rozproszonych baz relacyjnych, relacyjno-obiektowych, obiektowych oraz ze źródeł innych niż bazy danych (np.: pliki tekstowe). Jest to zbiór technologii, których celem jest wspieranie menadżerów i umożliwienie podejmowania im szybszych i lepszych decyzji. 56 Cechy hurtowni danych Hurtownia danych powinna być: - zorientowana tematycznie - nieulotna (trwała) - wielowersyjna czasowo - zintegrowana 28

29 57 Architektura logiczna hurtowni danych 58 Konwerter Zadaniem konwertera jest transformowanie danych z formatu wykorzystywanego w źródle, do formatu wykorzystywanego w hurtowni danych. Etapy konwersji danych: - ekstrakcja danych - czyszczenie danych - ładowanie danych -odświeżanie danych 29

30 59 Etapy konwersji danych (1) Ekstrakcja danych odbywa się przez bramki (gateways) lub standardowe interfejsy (ODBC, JDBC, Oracle Open Connect, Informix Enterprise Gateway, itd.) Czyszczenie danych ma na celu zapewnienie jakości i poprawności danych. Metody czyszczenia: konwersja i normalizacja, czyszczenie specjalne, czyszczenie oparte na regułach. 60 Etapy konwersji danych (2) Ładowanie danych tym procesem zarządza moduł integratora. Najczęściej odbywa się to w trybie wsadowym. Dodatkowe przetwarzanie, np.: sortowanie danych, budowanie indeksów Odświeżanie danych proces propagowania zmian zachodzących w źródłach danych do hurtowni. 30

31 61 Repozytorium metadanych Jest to składnik hurtowni danych, w którym przechowywane są informacje wspomagające zarządzanie hurtownią. (Przykład narzędzia do zarządzania metadanymi: IBM DataGuide) Zawiera ono zazwyczaj metadane: fizyczne; logiczne; operacyjne; historyczne; administracyjne; personalizacyjne 62 Wielowymiarowy model danych Podstawowym modelem logicznym dla OLAP jest wielowymiarowy model danych (MDD model - multidimensional data model). Dane są postrzegane przez użytkowników w postaci wielowymiarowej perspektywy. Obiektem analizy w modelu MDD jest zbiór miar numerycznych (faktów). Wartość każdej miary zależy od zbioru wymiarów. 31

32 63 Schemat przetwarzania w technologii OLAP (ONLINE ANALYTICAL PROCESSING) Oczyszczanie Synchronizacja Baza A Ekstrakcja Przesyłanie Baza B Integracja Hurtownia Danych Baza X 64 OLAP Analizy wspierające proces podejmowania decyzji biznesowych Oddział Poznań Kraków Gdańsk ROR Kredyt Produkt 69,059,440 PLN 8,755 szt. 7,888 PLN Depozyt Rach. Inwest. Inne Q1 Q2 Q3 Czas Q4 32

33 Analiza przekrojów 65 Analiza przekrojów 66 33

34 67 Analysis Services - Wymiary Wspólne/prywatne Regularne/nieregularne Hierarchia drzewiasta (relacja rodzic potomek) Dane w węzłach O dużej liczbie elementów (grupowanie) Wymiary o liczbie potomków większej niż 64k Atrybuty Wiele hierarchii Własne formuły podsumowujące Struktura hurtowni danych Problem wielowymiarowości Dwie podstawowe struktury 68 Model gwiazdy Model płatka śniegu - tablica faktów - hierarchia wymiaru 34

35 69 Schemat pojęciowy hurtowni - schemat gwiazdy 70 Schemat pojęciowy hurtowni - schemat płatka śniegu 35

36 71 Modele przechowywania dla hurtowni danych ROLAP - Relational OLAP - hurtownie wykorzystujące model relacyjny MOLAP - Multidimensional OLAP - hurtownie wykorzystujące wielowymiarowy model danych HOLAP - Hybrid OLAP - hurtownie łączące w sobie cechy MOLAP i ROLAP 72 Efektywność hurtowni danych W celu poprawy efektywności działania hurtowni danych stosuje się wiele technik: - materializowanie agregatów - przetwarzanie równoległe - partycjonowanie danych - indeksowanie danych 36

37 Oracle i DB2 zadanie współfinansowane przez Unię Europejską w ramach Europejskiego Funduszu Społecznego w projekcie pt. Innowacyjna dydaktyka bez ograniczeń - zintegrowany rozwój Politechniki Łódzkiej - zarządzanie Uczelnią, nowoczesna oferta edukacyjna i wzmacniania zdolności do zatrudniania osób niepełnosprawnych Politechnika Łódzka, ul. Żeromskiego 116, Łódź, tel. (042) w ramach Europejskiego Funduszu Społecznego 37