Systemy OLAP. Krzysztof Dembczyński. Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska

Wielkość: px
Rozpocząć pokaz od strony:

Download "Systemy OLAP. Krzysztof Dembczyński. Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska"

Transkrypt

1 Krzysztof Dembczyński Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Technologie Wytwarzania Oprogramowania Semestr zimowy 2005/06

2 Plan wykładu Ewolucja systemów baz danych Relacyjne systemy baz danych i język SQL Projektowanie baz danych i ochrona danych Optymalizacja i struktury danych I II Modelowanie wielowymiarowe Proces ekstrakcji, transformacji i ładowania danych (Proces ETL)

3 Plan wykładu 1 Schematy logiczne hurtowni danych 2 3 Optymalizacja w systemach OLAP

4 Plan wykładu 1 Schematy logiczne hurtowni danych 2 3 Optymalizacja w systemach OLAP

5 Schematy logiczne hurtowni danych Trzy podstawowe schematy logiczne hurtowni danych: schemat gwieździsty, schemat płatka śniegu, schemat wielokrotnych tabel faktów.

6 Schematy gwiazdy Schemat gwiazdy: pojedyncza tablica w centrum połaczona z wieloma tablicami wymiarów.

7 Schemat gwiazdy Podstawowe terminy: Miary, na przykład stopnie, cena, ilość, Miary musza być agregowane, Miary zależa od zbioru wymiarów, np. ocena studenta zależy od studenta, przedmiotu, prowadzacego, wydziału, roku akademickiego itp., Relacja, która odwołuje wymiary do miar nazywana jest relacja faktów (np. Students grades), Informacje na temat wymiarów znajduja się w zbiorze relacji wymiarów (student, rok akademicki, itd.), Każdy wymiar posiada wiele opisujacych atrybutów.

8 Schemat gwiazdy

9 Hierarchie wymiarów Dla każdego wymiaru można określić hierarchię atrybutów.

10 Schemat płatka śniegu Schemat płatka śniegu: rozwinięcie schematu gwiazdy poprzez normalizację relacji wymiarów.

11 Denormalizacja Denormalizacja Jest to proces odwrotny do normalizacji. Polega na tworzeniu danych nadmiarowych przechowywanych w relacjach, co pozwala podczas wykonywania zapytań zmniejszyć liczbę kosztowych czasowo operacji złaczenia.

12 Schemat wielokrotnych tablic faktów Schemat wielokrotnych tablic faktów: wiele tablic faktów dzieli relacje wymiarów. Takie schematy pojawiaja się przy projektowaniu hurtowni danych dla dużych i złożonych problemów. Z punktu widzenia sukcesu projektu, dobrze jest zaczać od prostego modelu logicznego hurtowni danych.

13 Modelowanie koncepcyjne hurtowni danych Cztery kroki modelowania koncepcyjnego hurtowni danych: Wybór procesu biznesowego do zamodelowania, Zdefiniowanie ziarna (rozdzielczości) procesu biznesowego, Wybór wymiarów znajdujacych się w każdej krotce tablicy faktów, Identyfikacja miar, które wypełnia każda krotkę tablicy faktów.

14 Zadanie Zadanie Dla sieci sklepów zaprojektuj hurtownię danych zorientowana na analizę sprzedaży. Zaproponuj relację faktów i wymiarów, Zaproponuj schemat gwieździsty, Zaproponuj hierarchie wymiarów.

15 Zadanie

16 Zadanie

17 Schemat gwieździsty

18 Hierarchie wymiarów

19 Zapytania do hurtowni danych Można wykorzystać standardowy SQL. Group by SELECT Surname, AVG(Grade) FROM Students_grades G, Student S WHERE G.Student = S.ID GROUP BY Name; Odpowiedź Surname AVG(Grade) Inmon 4.8 Kimball 4.7 Gates 4.0 Todman 4.5

20 Zapytanie do hurtowni danych Group by SELECT Academic_year, Name, AVG(Grade) FROM Students_grades G, Academic_year A, Professor P WHERE G.Professor = P.ID and G.Academic_year = A.ID GROUP BY Academic_year, Name; Odpowiedź Academic_year Surname AVG(Grade) 2001/2 Stefanowski /3 Stefanowski /4 Stefanowski /2 Słowiński /3 Słowiński /4 Słowiński /4 Dembczyński 4.8

21 Zapytania do hurtowni danych Alternatywa dla zapytań relacyjnych sa zapytania wielowymiarowe.

22

23 Wielowymiarowy model danych: Sprzedaż produktów RTV/AGD (Sales):

24 Takie same tabele dla Chicago, Nowego Jorku i Toronto:

25 Kostka wielowymiarowa: Możliwa jest większa liczba wymiarów.

26 Różne poziomy agregacji: Sales(time, product, *) Sales(time, *, *); Sales(*, *, *)

27 Zapytania do hurtowni danych Roll up sumowanie danych wzdłuż hierarchii wymiaru (sprzedaż dla miast sprzedaż dla województw) Drill down w druga stronę Slice and dice selekcja i projekcja wymiarów Pivot zmiana wyświetlanych wymiarów Inne np. tworzenie rankingów

28 Plan wykładu 1 Schematy logiczne hurtowni danych 2 3 Optymalizacja w systemach OLAP

29 Serwery OLAP Serwey OLAP dostarczaja efektywne wielowymiarowe przetwarzanie ogromnych wolumenów danych.

30 W systemach OLAP razem z danymi wielowymiarowymi oprócz wartości miary składowane sa również agregaty.

31 Rodzaje operatorów agregacji Rodzaje operatorów agregacji: rozproszone: count(), sum(), max(), min() algebraiczne: ave(), std_dev() holistyczne: median(), mode(), rank() Można też obliczać: liczba brakujacych wartości, liczba niebrakujacych wartości, itp. Agregacja może przebiegać z wykorzystaniem hierarchi. Agregacje warunkowe.

32 Serwery OLAP: ROLAP (Relacyjne), MOLAP (Wielowymiarowe), HOLAP (Hybrydowe).

33 Serwery ROLAP Serwery ROLAP bazuja na relacyjnym modelu danych. Powinny zapewniać optymalizację: denormalizacji relacji (denormalization), tworzenia podsumowań (summarization), tworzenie podziału (partitioning). Rozszerzenia języka SQL: SQL3 [...] GROUP BY ROLLUP (time, region, dept) [...] [...] GROUP BY CUBE (time, region, dept) [...]

34 Serwery ROLAP Zalety serwerów ROLAP: Wady: Skalowalność ze względu na liczbę wymiarów, Skalowalność ze względu na rozmiar danych, Rzadkość danych nie stanowi problemu, Dobrze rozpoznana i dojrzała technologia. Gorsza wydajność w porównaniu z systemami MOLAP, Potrzeba tworzenia indeksów oraz wykorzystania innych technik optymalizacji.

35 Serwery MOLAP Bazuja na wielowymiarowym modelu danych. Technologia macierzy rzadkich: wyszukiwanie i usuwanie pustych komórek tabeli, oraz kompresja pozostałej informacji. Zapamiętywanie zagregowanych podkostek. Brak standardów modelu wielowymiarowego. Język MDX (Multidimensional Expressions): MDX SELECT [Time].[1997],[Time].[1998] ON COLUMNS, [Measures].[Sales],[Measures].[Cost] ON ROWS FROM Warehouse WHERE ([Store].[All Stores].[USA])

36 Serwery Molap Zalety serwerów OLAP: Wady: Bardzo wydajny dostęp do danych poprzez bezpośrednie adresowanie, Szybkie odpowiedzi na zapytania, Bardzo często zawieraja obliczone agregaty pośrednie. Problemy ze skalowalnościa przy dużej liczbie wymiarów, Wymagaja specyficznego systemu zapisu (młoda technologia), Nie sa wydajne w przechowywaniu rzadkich danych.

37 Serwery Molap Przykład Model składa się z wymiarów: klient, produkt, sklep oraz dzień; w przypadku klientów, produktów, sklepów oraz dni kostka danych zawiera komórek! Wiele komórek jest pustych: nie istnieja wszystkie kombinacje klientów, produktów, sklepów oraz dnia.

38 Serwery HOLAP Systemy hybrydowe wspierajace dwa modele danych. Serwer parametryzowany przez użytkownika/administratora systemu.

39 OLAP w Excelu Excel wspiera zewnętrzne serwery OLAP. Wtyczki do Excela dostraczane przez IBM a, Oracle i SAS. Dobrze znany interfejs tabel przestawnych w Excelu:

40 OLAP w Excelu

41 Plan wykładu 1 Schematy logiczne hurtowni danych 2 3 Optymalizacja w systemach OLAP

42 Optymalizacja w systemach OLAP Operacje złaczenia, Indeksy, Dane zagregowane, Wykorzystanie danych zagregowanych, Przetwarzanie zapytań.

43 Operacje złaczenia Zapytania do systemów ROLAP wymagaja operacji złaczenia: Tabela faktów łaczona jest z tabelami wymiarów, Wybór algorytmu złaczenia ma bardzo duży wpływ na koszt wykonania zapytania. Algorytmy operacji złaczania: Nested Loop Join, Merge join, Hash Join. Dwa źródła złożoności: operacje I/O oraz operacje obliczeniowe (procesora).

44 Indeksy Struktura indeksów Zasada indeksów: mapowanie wartości atrybutu(ów) rekordów w celu szybkiego dostępu asocjacyjnego. Indeksy w hurtowniach danych, m.in.: Odwrócona lista, Indeks bitmapowy, Indeks segmentowe, Indeks projekcji, Indeks połaczeniowy.

45 Odwrócona lista

46 Przykład zapytania Wybierz osoby w wieku 20 lat i o imieniu Fred: Lista osób - wiek = 20: R4, R18, R34, R35 Lista osób - imię = Fred: R18, R52 Wynik: przecięcie powyższych list, czyli R18. Dodatkowe aspekty standardowych indeksów w hurtowniach danych: Wykonywanie zapytań na samych indeksach - bez dostępu do danych w relacji, Indeksy na atrybutach złożonych.

47 Indeks bitmapowy Przykładowa relacja Klient Miasto Samochód C1 Detroit Ford C2 Chicago Honda C3 Detroit Honda C4 Poznań Ford C5 Paris BMW C6 Paris Nissan

48 Indeks bitmapowy na atrybucie miasto Przykładowa relacja Klient Chicago Detroit Paris Poznań C C C C C C

49 Indeks bitmapowy na atrybucie samochód Przykładowa relacja Klient BMW Ford Honda Nissan C C C C C C

50 Indeks bitmapowy Pozwala na efektywne operacja bitowe, Można skompresować mapy bitowe (potrzeba dekompresji), Czasami jego działanie jest wspomagane sprzętowo, Jest bardzo wydajny dla pewnego rodzaju zapytań: selekcja na dwóch atrybutach, Słabo się sprawdza przy dużych dziedzinach wartości atrybutów, Trudny do utrzymywania potrzeba reorganizacji gdy zmienia się wielkość relacji. Ilu klientów z Detroit posiada Forda? Ilu klientów posiada Hondę?

51 Indeks segmentowy Indeksy segmentowe sa zazwyczaj wykorzystywane dla miar lub atrybutów zawierajacych wartości liczbowe, najlepiej całkowite: Podejście to pozwala na efektywne agregacje oraz efektywne przetwarzanie warunków przedziałowych. Definition Załóżmy, że wartościami atrybutu a sa liczby całkowite opisane n + 1 cyframi binarnymi. W takim wypadku atrybut a może być przedstawiony jako atrybuty binarne a 0,..., a n, takie że, a = a 0 + 2a n a n. Każdy atrybut a i może być reprezentowany jako indeks bitmapowy. Zbiór indeksów bitmapowych nałóżonych na a i, i = 0,..., n, tworzy indeks segmentowy.

52 Indeks segmentowy Ilość Bitmapa Indeks segmentowy: B4: B3: B2: B1: 11001

53 Indeks segmentowy Pytanie Jak efektywnie obliczyć liczbę jedynek w indeksie bitmapowych? Obliczanie sumy: Ilość 5 Indeks segmentowy: 13 B4: B3: B2: B1: Suma: 33 Zliczenie jedynek: B4: 1 B3: 4 B2: 3 B1: 3 Zliczenie sumy: = = 33.

54 Indeks projekcji Dane moga być zorientowane horyzontalnie (poziomo) lub wertykalnie (pionowo). Zazwyczaj Relacyjne SZBD przechowuja dane w orientacji horyzontalnej. Indeks projekcji pozwala na dostęp w sposób pionowy.

55 Indeks połaczeniowy Przechowuje informacje na temat połaczeń z inna relacja

56 Indeks połaczeniowy Przechowuje informacje na temat połaczeń z inna relacja

57 Dane zagregowane Możliwe agregacje przedstawiane sa często jako krata kuboidów (ang. Cuboid) dodany wymiar dostawca.

58 Dane zagregowane Przechowywanie w hurtowni danych wyników użytecznych dla wielu zapytań.

59 Dane zagregowane Operacje na kostce: SELECT Data, Produkt, Klient, SUM(ilosc) FROM Transakcje GROUP BY CUBE(date, produkt, klient); Dla powyższego zapytanie należy zrealizować następujace grupowanie: (data, produkt, klient), (data, produkt), (data, klient), (produkt,klient), (data), (produkt), (klient) (*)

60 Dane zagregowane Trzy strategie: wszystko, nic, część. Materializowanie hierarchii wymiarów. Problem polega na wybraniu odpowiednich elementów i ich liczby do zmaterializowania. Duża liczba duże rozmiary hurtowni danych. Mała liczba wolne działanie hurtowni danych.

61 Materializacja kuboidów Materializacja wszystkich kuboidów: Kuboidy moga być przechowywane w pamięci stałej, Podczas obliczania należy wziać pod uwagę pojemność pamięci operacyjnej oraz czas obliczeń, Liczba kuboidów: l = i=1,...,n (L i + 1), gdzie n to liczba wymiarów, a L i jest liczba poziomów hierarchii dla i-tego wymiaru, Przykładowo: 10 wymiarów, 4 poziomy każdy: l = 5 10 = 9,

62 Optymalizacja w systemach OLAP Materializacja wszystkich kuboidów dla ROLAP: Sortowanie, haszowanie i grupowanie jest stosowane na atrybutach wymiarów w celu uporzadkowania i grupowania odpowiednich krotek, Grupowanie jest przeprowadzone na podagregatach jako krok częściowego grupowania, Agregaty sa obliczane z podagregatów.

63 Optymalizacja w systemach OLAP Materializacja wszystkich kuboidów dla MOLAP Array Based Algorithm Najbardziej szczegółowy Cuboid (np. data, produkt, klient) jest zapamiętany w postaci wielowymiarowej kostki, Kostka dzielona jest na równej wielkości podkostki o rozmiarach pozwalajacych na umieszczenie w pamięci operacyjnej, Podkostki sa zapamiętywane osobno oraz poddawane kompresji, Agregaty obliczane sa poprzez odwiedzanie każdej podkostki w porzadku, który zapewnia najmniejsza liczbę rewizyt.

64 Array Based Algorithm Trzy wymiary A, B, C, Podkostka 1 = a 0 b 0 c 0, Podkostka 2 = a 1 b 0 c 0, Podkostka 64 = a 3 b 3 c 3, Rozmiar kostki w każdym wymiarze A, B, C jest odpowiednio 40, 400, 4000, Rozmiar podkostki to 10, 100, 1000, odpowiednio, Pełna materializacja składa się z kuboidów: ABC (istnieje), AB, AC, BC, A, B, C, (*).

65 Array Based Algorithm Rożne sposoby numerowania Obliczenie podkostki b 0 c 0 przejście od 1 do 4, Obliczenie podkostki b 1 c 0 przejście od 5 do 8, W ten sposób można obliczyć cały BC tylko jedna podkostka BC jest w pamięci podczas obliczania BC, Obliczajac BC musimy odwiedzić wszystkie (64) podkostki, Obliczenie wszystkich podagregatów: przy obliczaniu b 0 c 0 możemy obliczyć b 0 c 0, a 0 c 0, a 0 b 0.

66 Algorytm: Array Based Algorithm (przykład) Rożne sposoby numerowania, Potrzebna pamięc: BC = = 1, 6mln AC = = AB = = Najmniejsza podkostka obliczana jest najdłużej a 0 b 0 jest obliczona po odwiedzeniu 1, 17, 33 i 49, Największa podkostka obliczana jest najkrócej b 0 c 0 jest obliczona po odwiedzeniu 1, 2, 3 i 4.

67 Algorytm: Array Based Algorithm (przykład) Minimalna potrzebna pamięć do obliczenia agregatów: (AB) (wiersz AC) (podkostka BC) = 16, , , 000 = 156, 000

68 Algorytm: Array Based Algorithm (przykład) Inny sposób numerowania Minimalna potrzebna pamięć do obliczenia agregatów: (BC) (wiersz AC) (podkostka AB) = , , 000 = 1, 641, 000

69 Algorytm: Array Based Algorithm (przykład II) Pamięć:

70 Algorytm: Array Based Algorithm (przykład II) Pamięć:

71 Algorytm: Array Based Algorithm (przykład II) Pamięć:

72 Algorytm: Array Based Algorithm (przykład II) Pamięć:

73 Perspektywy i zmaterializowane perspektywy Perspektywa to relacja wywiedziona z podstawowych relacji zapisanych w bazie danych. Zmaterializowane perspektywa to perspektywa zapisana w bazie danych, na która można również nałożyć struktury indeksowe. Perspektywa może zawierać podagregaty.

74 Wykorzystanie danych zagregowanych Wykorzystanie perspektyw i zapamiętanych odpowiedzi na poprzednie zapytania do obliczenia odpowiedzi na nowe, oraz określenie, które odpowiedzi warto zachować, sa tematami prac badawczych. Systemy komercyjne wykorzystuja mechanizm przepisywania zapytań (query re-write): zapytanie odwołujace się do tabel bazowych jest przepisywane do zapytania, które wykorzystuje zmaterializowane perspektywy lub zapamiętane odpowiedzi na poprzednie zapytania. Dopasowanie dokładne i niedokładne. Nie dla wszystkich klas zapytań istnieja metody dopasowywania.

75 Wykorzystanie danych zagregowanych Przykładowa perspektywa V SELECT p.nazwa_marki, p.marka_wprowadzona, sum(s.cena) FROM Sprzedaz s, Produkt p WHERE S.produkt = p.klucz AND p.marka_wprowadzona > 1990 GROUP BY p.nazwa_marki, p.marka_wprowadzona; Perspektywa składa się z: złaczenia tablicy faktów z tablicami wymiarów, grupowania według atrybutów wymiaru, agregacji miar liczbowych w tablicy faktów.

76 Wykorzystanie danych zagregowanych Przykładowe zapytanie SELECT p.nazwa_marki, p.marka_wprowadzona, sum(s.cena) FROM Sprzedaz s, Produkt p WHERE S.produkt = p.klucz AND p.marka_wprowadzona > 1991 GROUP BY p.nazwa_marki, p.marka_wprowadzona; Odpowiedź na zapytanie jest otrzymywana poprzez wybór krotek perspektywy V, dla których p.marka_wprowadzona > 1991.

77 Wykorzystanie danych zagregowanych Przepisane zapytanie SELECT nazwa_marki, marka_wprowadzona, cena FROM V WHERE marka_wprowadzona > 1991;

78 Wykorzystanie danych zagregowanych Pomiędzy powyższym zapytaniem a perspektywa zachodzi dokładne dopasowanie: każda kolumna projekcji z zapytania jest również obecna w perspektywie, zgadzaja się ze soba funkcje agregacji na każdej mierze, każdy warunek filtrowania w zapytaniu implikuje odpowiedni warunek w perspektywie, atrybuty obecne w tych warunkach zapytania, które sa ściśle mocniejsze niż warunki w perspektywie sa również obecne w perspektywie, a więc moga być użyte do wzmocnienia tych warunków.

79 Wykorzystanie danych zagregowanych Przykładowe zapytanie SELECT p.nazwa_marki, sum(s.cena) FROM Sprzedaz s, Produkt p WHERE S.produkt = p.klucz AND p.marka_wprowadzona > 1995 GROUP BY p.nazwa_marki; Nie występuje tutaj dokładne dopasowanie, jednak zapytanie może być obliczone na podstawie perspektywy V poprzez dodatkowe agregacje, ponieważ grupowanie w zapytaniu jest ogólniejsze, a warunek mocniejszy.

80 Wykorzystanie danych zagregowanych Przykład przepisania zapytania SELECT nazwa_marki,sum(cena) FROM V WHERE marka_wprowadzona > 1995 GROUP BY nazwa_marki;

81 Wykorzystanie danych zagregowanych Przykładowa perspektywa P SELECT p.nazwa_marki, sum(s.cena) FROM Sprzedaz s, Produkt p WHERE S.produkt = p.klucz GROUP BY p.nazwa_marki; Przykładowe zapytanie SELECT sum(s.cena) FROM Sprzedaz s, Produkt p WHERE S.produkt = p.klucz AND p.nazwa_marki = Produkt A ; Przepisane zapytanie SELECT cena FROM P WHERE nazwa_marki = Produkt A ;

82 Przetwarzanie zapytań Przekształcanie zapytań na formę równoważna, jednak mniej kosztowna obliczeniowo, a także planowanie obliczeń w sposób pozwalajacy na minimalizację kosztu obliczania odpowiedzi to jedne z klasycznych problemów zwiazanych z bazami danych.

83 Przetwarzanie zapytań Hurtownie danych wprowadzaja nowe dodatkowe aspekty zwiazane z przetwarzaniem wielkich zbiorów danych, ponieważ można wiele zyskać na zmiejszeniu ilości odczytywanych danych. Dodatkowych technik wymagaja zapytania grupujace i obliczanie agregacji. Schematy hurtowni danych sa proste (zwykle maja postać gwiazdy lub płatka śniegu), co pozwala na specializowane metody optymalizacji.

84 Przetwarzanie zapytań Dwie typowe techniki przetwarzania zapytań w hurtowniach danych: przeplatanie grupowania i złaczania, optymalizacja podzapytań zagnieżdżonych.

85 Przeplatanie grupowania i złaczania Typowe zapytanie do hurtowni danych: złaczenie tablicy faktów z wymiarami, warunki filtrowania na wymiarach, grupowania i agregacje. Typowe przetwarzanie zapytania: złaczenie, filtracja, grupowanie i agregacja.

86 Przeplatanie grupowania i złaczania Wcześniejsze grupowanie i agregacja może zmniejszyć wielkość wyników pośrednich. Przegladanie danych wykonywane podczas złaczenia może być wykorzystane przy grupowaniu.

87 Przeplatanie grupowania i złaczania Przykładowe zapytanie SELECT p.rok_wprowadzenia, sum(s.cena) FROM Sprzedaz s, Sklep sk, Produkt p WHERE s.produkt = p.klucz AND s.sklep = sk.klucz AND s.stan = Kalifornia AND s.rok = 1996 GROUP BY p.rok_wprowadzenia;

88 Przeplatanie grupowania i złaczania Tradycyjna strategia obliczania zapytania polega na: złaczenie tablicy faktów Sprzedaz z tablicami wymiarów Sklep i Produkt, przefiltrowanie rekordów sprzedaży za względu na stan Kalifornia i rok 1996, grupowanie wyników za pomoca wartości p.rok_wprowadzenia. Strategia ulepszona polega na: agregacja po atrybucie p.klucz podczas złaczania tablic Produkt i Sprzedaż, końcowa grupowanie po atrybucie p.rok_wprowadzenia może być przeprowadzone na mniejszej relacji pośredniej.

89 Optymalizacja zapytań zagnieżdżonych Zapytania do hurtowni danych moga zawierać porównania wykorzystujace agregacje. Zapytania takie moga zostać zrealizowane za pomoca zapytań zagnieżdżonych w SQL u. Najprostszy sposób optymalizacji polega na przekształceniu zapytań zagnieżdżonych na pojedyncze zapytania blokowe, które sa przetwarzane znacznie efektywniej. W przeciwnym przypadku możliwa jest optymalizacja polegajaca na przesuwaniu warunków i właściwym uporzadkowaniu podzapytań.

90 Optymalizacja zapytań zagnieżdżonych Przykładowe zapytanie Znajdź wszystkich pracowników w wieku poniżej 35 lat, zarabiajacych powyżej średniej zarobków w dziale, w którym pracuja.

91 Optymalizacja zapytań zagnieżdżonych Najprostszy sposób obliczenia: sprawdzenie, czy pracownik ma mniej niż 35 lat, znalezienie działu, w którym pracuje, obliczenie średniej płacy w tym dziale, sprawdzenie, czy zarobki pracownika sa wyższe niż średnia. Średnie zarobki w poszczególnych działach obliczane sa wielokrotnie!!!

92 Optymalizacja zapytań zagnieżdżonych Lepszy sposób: policz średnie zarobki dla każdego działu, sprawdź, czy pracownik ma mniej niż 35 lat, jeżeli tak, to sprawdź, czy jego zarobki sa większe od średniej. Moga istnieć działy zatrudniajace tylko starszych pracowników.

93 Optymalizacja zapytań zagnieżdżonych Możliwa poprawa: sprawdź, czy w dziale pracuja pracownicy w wieku poniżej 35 lat.

94 Optymalizacja w systemach OLAP Co wybrać ROLAP, MOLAP czy HOLAP?

95 Plan wykładu Ewolucja systemów baz danych Relacyjne systemy baz danych i język SQL Projektowanie baz danych i ochrona danych Optymalizacja i struktury danych I II Modelowanie wielowymiarowe Proces ekstrakcji, transformacji i ładowania danych (Proces ETL)

Systemy OLAP II. Krzysztof Dembczyński. Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska

Systemy OLAP II. Krzysztof Dembczyński. Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Krzysztof Dembczyński Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Technologie Wytwarzania Oprogramowania Semestr letni 2006/07 Plan wykładu Systemy baz

Bardziej szczegółowo

Systemy OLAP I. Krzysztof Dembczyński. Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska

Systemy OLAP I. Krzysztof Dembczyński. Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Krzysztof Dembczyński Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Technologie Wytwarzania Oprogramowania Semestr zimowy 2007/08 Studia uzupełniajace magisterskie

Bardziej szczegółowo

Systemy OLAP I. Krzysztof Dembczyński. Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska

Systemy OLAP I. Krzysztof Dembczyński. Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Systemy OLAP I Krzysztof Dembczyński Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Technologie Wytwarzania Oprogramowania Semestr zimowy 2008/09 Studia

Bardziej szczegółowo

Projektowanie hurtowni danych i modelowanie wielowymiarowe

Projektowanie hurtowni danych i modelowanie wielowymiarowe Projektowanie hurtowni danych i modelowanie wielowymiarowe Krzysztof Dembczyński Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Technologie Wytwarzania Oprogramowania

Bardziej szczegółowo

Modele danych - wykład V

Modele danych - wykład V Modele danych - wykład V Paweł Skrobanek, C-3 pok. 323 pawel.skrobanek@pwr.wroc.pl oprac. Wrocław 2006 Zagadnienia 1. Wprowadzenie 2. MOLAP modele danych 3. ROLAP modele danych 4. Podsumowanie 5. Zadanie

Bardziej szczegółowo

Projektowanie hurtowni danych i modelowanie wielowymiarowe

Projektowanie hurtowni danych i modelowanie wielowymiarowe Projektowanie hurtowni danych i modelowanie wielowymiarowe Krzysztof Dembczyński Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Technologie Wytwarzania Oprogramowania

Bardziej szczegółowo

Modele danych - wykład V. Zagadnienia. 1. Wprowadzenie 2. MOLAP modele danych 3. ROLAP modele danych 4. Podsumowanie 5. Zadanie fajne WPROWADZENIE

Modele danych - wykład V. Zagadnienia. 1. Wprowadzenie 2. MOLAP modele danych 3. ROLAP modele danych 4. Podsumowanie 5. Zadanie fajne WPROWADZENIE Modele danych - wykład V Paweł Skrobanek, C-3 pok. 321 pawel.skrobanek@pwr.wroc.pl oprac. Wrocław 2006 Zagadnienia 1. Wprowadzenie 2. MOLAP modele danych 3. modele danych 4. Podsumowanie 5. Zadanie fajne

Bardziej szczegółowo

Projektowanie hurtowni danych

Projektowanie hurtowni danych Krzysztof Dembczyński Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Technologie Wytwarzania Oprogramowania Semestr zimowy 2004/05 Plan wykładu Ewolucja

Bardziej szczegółowo

Hurtownie danych. Przetwarzanie zapytań. http://zajecia.jakubw.pl/hur ZAPYTANIA NA ZAPLECZU

Hurtownie danych. Przetwarzanie zapytań. http://zajecia.jakubw.pl/hur ZAPYTANIA NA ZAPLECZU Hurtownie danych Przetwarzanie zapytań. Jakub Wróblewski jakubw@pjwstk.edu.pl http://zajecia.jakubw.pl/hur ZAPYTANIA NA ZAPLECZU Magazyny danych operacyjnych, źródła Centralna hurtownia danych Hurtownie

Bardziej szczegółowo

Hurtownie danych. Projektowanie hurtowni: modele wielowymiarowe. Modelowanie punktowe. Operacje OLAP na kostkach. http://zajecia.jakubw.

Hurtownie danych. Projektowanie hurtowni: modele wielowymiarowe. Modelowanie punktowe. Operacje OLAP na kostkach. http://zajecia.jakubw. Hurtownie danych Projektowanie hurtowni: modele wielowymiarowe. Modelowanie punktowe. Operacje OLAP na kostkach. http://zajecia.jakubw.pl/hur UZASADNIENIE BIZNESOWE Po co nam hurtownia danych? Jakie mogą

Bardziej szczegółowo

Projektowanie hurtowni danych i modelowanie wielowymiarowe

Projektowanie hurtowni danych i modelowanie wielowymiarowe Projektowanie hurtowni danych i modelowanie wielowymiarowe Izabela Szczęch Krzysztof Dembczyński Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Technologie

Bardziej szczegółowo

Hurtownie danych. 31 stycznia 2017

Hurtownie danych. 31 stycznia 2017 31 stycznia 2017 Definicja hurtowni danych Hurtownia danych wg Williama Inmona zbiór danych wyróżniający się następującymi cechami uporządkowany tematycznie zintegrowany zawierający wymiar czasowy nieulotny

Bardziej szczegółowo

Krzysztof Dembczyński. Inteligentne Systemy Wspomagania Decyzji Studia magisterskie, semestr I Semestr letni 2007/08

Krzysztof Dembczyński. Inteligentne Systemy Wspomagania Decyzji Studia magisterskie, semestr I Semestr letni 2007/08 Krzysztof Dembczyński Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Inteligentne Systemy Wspomagania Decyzji Studia magisterskie, semestr I Semestr letni

Bardziej szczegółowo

Wielowymiarowy model danych

Wielowymiarowy model danych Plan wykładu Wielowymiarowy model danych 1. Model danych 2. Analiza wielowymiarowa 3. Model wielowymiarowy: koncepcja wymiarów i faktów 4. Operacje modelu wielowymiarowego 5. Implementacje modelu wielowymiarowego:

Bardziej szczegółowo

HURTOWNIE DANYCH Dzięki uprzejmości Dr. Jakuba Wróblewskiego

HURTOWNIE DANYCH Dzięki uprzejmości Dr. Jakuba Wróblewskiego HURTOWNIE DANYCH Dzięki uprzejmości Dr. Jakuba Wróblewskiego http://www.jakubw.pl/zajecia/hur/bi.pdf http://www.jakubw.pl/zajecia/hur/dw.pdf http://www.jakubw.pl/zajecia/hur/dm.pdf http://www.jakubw.pl/zajecia/hur/

Bardziej szczegółowo

Wykład XII. optymalizacja w relacyjnych bazach danych

Wykład XII. optymalizacja w relacyjnych bazach danych Optymalizacja wyznaczenie spośród dopuszczalnych rozwiązań danego problemu, rozwiązania najlepszego ze względu na przyjęte kryterium jakości ( np. koszt, zysk, niezawodność ) optymalizacja w relacyjnych

Bardziej szczegółowo

Hurtownie danych wykład 3

Hurtownie danych wykład 3 Hurtownie danych wykład 3 dr Sebastian Zając SGH Warszawa 7 lutego 2017 Architektura relacyjna i wielowymiarowa Ze względu na przechowywanie danych na serwerze możemy zdecydować się na relacyjną bazę danych

Bardziej szczegółowo

Hurtownie danych. Hurtownie danych. dr hab. Maciej Zakrzewicz Politechnika Poznańska Instytut Informatyki. Maciej Zakrzewicz (1)

Hurtownie danych. Hurtownie danych. dr hab. Maciej Zakrzewicz Politechnika Poznańska Instytut Informatyki. Maciej Zakrzewicz (1) Hurtownie danych dr hab. Maciej Zakrzewicz Politechnika Poznańska Instytut Informatyki Maciej Zakrzewicz (1) Plan wykładu Wprowadzenie do Business Intelligence (BI) Hurtownia danych Zasilanie hurtowni

Bardziej szczegółowo

OLAP i hurtownie danych c.d.

OLAP i hurtownie danych c.d. OLAP i hurtownie danych c.d. Przypomnienie OLAP -narzędzia analizy danych Hurtownie danych -duże bazy danych zorientowane tematycznie, nieulotne, zmienne w czasie, wspierjące procesy podejmowania decyzji

Bardziej szczegółowo

Hurtownie danych a transakcyjne bazy danych

Hurtownie danych a transakcyjne bazy danych Hurtownie danych a transakcyjne bazy danych Materiały źródłowe do wykładu: [1] Jerzy Surma, Business Intelligence. Systemy wspomagania decyzji, Wydawnictwo Naukowe PWN, Warszawa 2009 [2] Arkadiusz Januszewski,

Bardziej szczegółowo

Spis tre±ci. Przedmowa... Cz ± I

Spis tre±ci. Przedmowa... Cz ± I Przedmowa.................................................... i Cz ± I 1 Czym s hurtownie danych?............................... 3 1.1 Wst p.................................................. 3 1.2 Denicja

Bardziej szczegółowo

Wstęp do Business Intelligence

Wstęp do Business Intelligence Wstęp do Business Intelligence Co to jest Buisness Intelligence Business Intelligence (analityka biznesowa) - proces przekształcania danych w informacje, a informacji w wiedzę, która może być wykorzystana

Bardziej szczegółowo

Optymalizacja w relacyjnych bazach danych - wybór wydajnej strategii obliczania wyrażenia relacyjnego.

Optymalizacja w relacyjnych bazach danych - wybór wydajnej strategii obliczania wyrażenia relacyjnego. Plan wykładu Spis treści 1 Optymalizacja 1 1.1 Etapy optymalizacji............................... 3 1.2 Transformacja zapytania............................ 3 1.3 Przepisywanie zapytań.............................

Bardziej szczegółowo

BD2 BazyDanych2. dr inż. Tomasz Traczyk 14. Systemy przetwarzania analitycznego

BD2 BazyDanych2. dr inż. Tomasz Traczyk 14. Systemy przetwarzania analitycznego BD2 BazyDanych2 dr inż. Tomasz Traczyk 14. Systemy przetwarzania analitycznego ³ Copyright c Tomasz Traczyk Instytut Automatyki i Informatyki Stosowanej Politechniki Warszawskiej Materiały dydaktyczne

Bardziej szczegółowo

Informatyzacja przedsiębiorstw

Informatyzacja przedsiębiorstw Informatyzacja przedsiębiorstw Izabela Szczęch Politechnika Poznańska Plan wykładu Elementy Business Intelligence Model wielowymiarowy Modelowanie hurtowni danych podstawowe schematy logiczne Operacje

Bardziej szczegółowo

Teoretyczne podstawy informatyki

Teoretyczne podstawy informatyki Teoretyczne podstawy informatyki Wykład 8b: Algebra relacyjna http://hibiscus.if.uj.edu.pl/~erichter/dydaktyka2009/tpi-2009 Prof. dr hab. Elżbieta Richter-Wąs 1 Algebra relacyjna Algebra relacyjna (ang.

Bardziej szczegółowo

Plan wykładu. Hurtownie danych. Problematyka integracji danych. Cechy systemów informatycznych

Plan wykładu. Hurtownie danych. Problematyka integracji danych. Cechy systemów informatycznych 1 Plan wykładu 2 Hurtownie danych Integracja danych za pomocą hurtowni danych Przetwarzanie analityczne OLAP Model wielowymiarowy Implementacje modelu wielowymiarowego ROLAP MOLAP Odświeżanie hurtowni

Bardziej szczegółowo

Hurtownie danych. Rola hurtowni danych w systemach typu Business Intelligence

Hurtownie danych. Rola hurtowni danych w systemach typu Business Intelligence Hurtownie danych Rola hurtowni danych w systemach typu Business Intelligence Krzysztof Goczyła Teresa Zawadzka Katedra Inżynierii Oprogramowania Wydział Elektroniki, Telekomunikacji i Informatyki Politechnika

Bardziej szczegółowo

Hurtownie danych. Wprowadzenie do systemów typu Business Intelligence

Hurtownie danych. Wprowadzenie do systemów typu Business Intelligence Hurtownie danych Wprowadzenie do systemów typu Business Intelligence Krzysztof Goczyła Teresa Zawadzka Katedra Inżynierii Oprogramowania Wydział Elektroniki, Telekomunikacji i Informatyki Politechnika

Bardziej szczegółowo

Hurtownie danych. Wstęp. Architektura hurtowni danych. http://zajecia.jakubw.pl/hur CO TO JEST HURTOWNIA DANYCH

Hurtownie danych. Wstęp. Architektura hurtowni danych. http://zajecia.jakubw.pl/hur CO TO JEST HURTOWNIA DANYCH Wstęp. Architektura hurtowni. Jakub Wróblewski jakubw@pjwstk.edu.pl http://zajecia.jakubw.pl/hur CO TO JEST HURTOWNIA DANYCH B. Inmon, 1996: Hurtownia to zbiór zintegrowanych, nieulotnych, ukierunkowanych

Bardziej szczegółowo

SQL w 24 godziny / Ryan Stephens, Arie D. Jones, Ron Plew. Warszawa, cop Spis treści

SQL w 24 godziny / Ryan Stephens, Arie D. Jones, Ron Plew. Warszawa, cop Spis treści SQL w 24 godziny / Ryan Stephens, Arie D. Jones, Ron Plew. Warszawa, cop. 2016 Spis treści O autorach 11 Podziękowania 12 Część I Wprowadzenie do języka SQL 13 Godzina 1. Witamy w świecie języka SQL 15

Bardziej szczegółowo

Hurtownie danych - przegląd technologii

Hurtownie danych - przegląd technologii Hurtownie danych - przegląd technologii Politechnika Poznańska Instytut Informatyki Robert.Wrembel@cs.put.poznan.pl www.cs.put.poznan.pl/rwrembel Biznesowe słowniki pojęć biznesowych odwzorowania pojęć

Bardziej szczegółowo

Hurtownie danych - przegląd technologii Robert Wrembel Politechnika Poznańska Instytut Informatyki Robert.Wrembel@cs.put.poznan.pl

Hurtownie danych - przegląd technologii Robert Wrembel Politechnika Poznańska Instytut Informatyki Robert.Wrembel@cs.put.poznan.pl Hurtownie danych - przegląd technologii Robert Wrembel Politechnika Poznańska Instytut Informatyki Robert.Wrembel@cs.put.poznan.pl www.cs.put.poznan.pl/rwrembel Plan wykładów Wprowadzenie - integracja

Bardziej szczegółowo

Hurtownie danych - przegląd technologii

Hurtownie danych - przegląd technologii Hurtownie danych - przegląd technologii Robert Wrembel Politechnika Poznańska Instytut Informatyki Robert.Wrembel@cs.put.poznan.pl www.cs.put.poznan.pl/rwrembel Plan wykład adów Wprowadzenie - integracja

Bardziej szczegółowo

Bazy danych wykład dwunasty. dwunasty Wykonywanie i optymalizacja zapytań SQL 1 / 36

Bazy danych wykład dwunasty. dwunasty Wykonywanie i optymalizacja zapytań SQL 1 / 36 Bazy danych wykład dwunasty Wykonywanie i optymalizacja zapytań SQL Konrad Zdanowski Uniwersytet Kardynała Stefana Wyszyńskiego, Warszawa dwunasty Wykonywanie i optymalizacja zapytań SQL 1 / 36 Model kosztów

Bardziej szczegółowo

BAZY DANYCH algebra relacyjna. Opracował: dr inż. Piotr Suchomski

BAZY DANYCH algebra relacyjna. Opracował: dr inż. Piotr Suchomski BAZY DANYCH algebra relacyjna Opracował: dr inż. Piotr Suchomski Wprowadzenie Algebra relacyjna składa się z prostych, ale mocnych mechanizmów tworzenia nowych relacji na podstawie danych relacji. Hdy

Bardziej szczegółowo

Indeksy w bazach danych. Motywacje. Techniki indeksowania w eksploracji danych. Plan prezentacji. Dotychczasowe prace badawcze skupiały się na

Indeksy w bazach danych. Motywacje. Techniki indeksowania w eksploracji danych. Plan prezentacji. Dotychczasowe prace badawcze skupiały się na Techniki indeksowania w eksploracji danych Maciej Zakrzewicz Instytut Informatyki Politechnika Poznańska Plan prezentacji Zastosowania indeksów w systemach baz danych Wprowadzenie do metod eksploracji

Bardziej szczegółowo

Wprowadzenie do technologii Business Intelligence i hurtowni danych

Wprowadzenie do technologii Business Intelligence i hurtowni danych Wprowadzenie do technologii Business Intelligence i hurtowni danych 1 Plan rozdziału 2 Wprowadzenie do Business Intelligence Hurtownie danych Produkty Oracle dla Business Intelligence Business Intelligence

Bardziej szczegółowo

Wykład 7 Implementacja języka SQL w systemach baz danych Oracle sortowanie, funkcje agregujące i podzapytania.

Wykład 7 Implementacja języka SQL w systemach baz danych Oracle sortowanie, funkcje agregujące i podzapytania. Wykład 7 Implementacja języka SQL w systemach baz danych Oracle sortowanie, funkcje agregujące i podzapytania. Przykładowa RBD o schematach relacji (tzw. płaska postać RBD): N(PRACOWNICY) = {ID_P, IMIĘ,

Bardziej szczegółowo

Optymalizacja poleceń SQL Metody dostępu do danych

Optymalizacja poleceń SQL Metody dostępu do danych Optymalizacja poleceń SQL Metody dostępu do danych 1 Metody dostępu do danych Określają, w jaki sposób dane polecenia SQL są odczytywane z miejsca ich fizycznej lokalizacji. Dostęp do tabeli: pełne przeglądnięcie,

Bardziej szczegółowo

SAS OLAP Cube Studio Wprowadzenie

SAS OLAP Cube Studio Wprowadzenie SAS OLAP Cube Studio Wprowadzenie Izabela Szczęch i Krzysztof Dembczyński Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Technologie Wytwarzania Oprogramowania

Bardziej szczegółowo

Wprowadzenie do Hurtowni Danych. Mariusz Rafało

Wprowadzenie do Hurtowni Danych. Mariusz Rafało Wprowadzenie do Hurtowni Danych Mariusz Rafało mrafalo@sgh.waw.pl WARSTWA PREZENTACJI HURTOWNI DANYCH Wykorzystanie hurtowni danych - aspekty Analityczne zbiory danych (ADS) Zbiór danych tematycznych (Data

Bardziej szczegółowo

Hurtownie danych. Ładowanie, integracja i aktualizacja danych. http://zajecia.jakubw.pl/hur INTEGRACJA DANYCH ETL

Hurtownie danych. Ładowanie, integracja i aktualizacja danych. http://zajecia.jakubw.pl/hur INTEGRACJA DANYCH ETL Hurtownie danych Ładowanie, integracja i aktualizacja danych. Jakub Wróblewski jakubw@pjwstk.edu.pl http://zajecia.jakubw.pl/hur INTEGRACJA DANYCH Źródła danych ETL Centralna hurtownia danych Do hurtowni

Bardziej szczegółowo

Systemy baz danych i hurtowni danych

Systemy baz danych i hurtowni danych Krzysztof Dembczyński Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Technologie Wytwarzania Oprogramowania Semestr zimowy 2005/06 Celem wykładu jest przypomnienie

Bardziej szczegółowo

Cel przedmiotu. Wymagania wstępne w zakresie wiedzy, umiejętności i innych kompetencji 1 Język angielski 2 Inżynieria oprogramowania

Cel przedmiotu. Wymagania wstępne w zakresie wiedzy, umiejętności i innych kompetencji 1 Język angielski 2 Inżynieria oprogramowania Przedmiot: Bazy danych Rok: III Semestr: V Rodzaj zajęć i liczba godzin: Studia stacjonarne Studia niestacjonarne Wykład 30 21 Ćwiczenia Laboratorium 30 21 Projekt Liczba punktów ECTS: 4 C1 C2 C3 Cel przedmiotu

Bardziej szczegółowo

Bazy danych. Plan wykładu. Rodzaje baz. Rodzaje baz. Hurtownie danych. Cechy hurtowni danych. Wykład 14: Hurtownie danych

Bazy danych. Plan wykładu. Rodzaje baz. Rodzaje baz. Hurtownie danych. Cechy hurtowni danych. Wykład 14: Hurtownie danych Plan wykładu Bazy Wykład 14: Hurtownie Bazy operacyjne i analityczne Architektura hurtowni Projektowanie hurtowni Małgorzata Krętowska, Agnieszka Oniśko Wydział Informatyki PB Bazy (studia dzienne) 2 Rodzaje

Bardziej szczegółowo

Hurtownie danych i business intelligence - wykład II. Zagadnienia do omówienia. Miejsce i rola HD w firmie

Hurtownie danych i business intelligence - wykład II. Zagadnienia do omówienia. Miejsce i rola HD w firmie Hurtownie danych i business intelligence - wykład II Paweł Skrobanek, C-3 pok. 321 pawel.skrobanek@pwr.wroc.pl oprac. Wrocław 2005-2008 Zagadnienia do omówienia 1. 2. Przegląd architektury HD 3. Warsztaty

Bardziej szczegółowo

Ćwiczenia z Zaawansowanych Systemów Baz Danych

Ćwiczenia z Zaawansowanych Systemów Baz Danych Ćwiczenia z Zaawansowanych Systemów Baz Danych Hurtownie danych Zad 1. Projekt schematu hurtowni danych W źródłach danych dostępne są następujące informacje dotyczące operacji bankowych: Klienci banku

Bardziej szczegółowo

Schematy logiczne dla hurtowni danych

Schematy logiczne dla hurtowni danych Schematy logiczne dla hurtowni danych 26 Plan rozdziału 27 Model biznesowy, logiczny i fizyczny hurtowni danych Podstawowe pojęcia w modelu logicznym, logiczny model wielowymiarowy Implementacje ROLAP/MOLAP

Bardziej szczegółowo

4. Znaczenie czasu w modelowaniu i strukturalizacji danych

4. Znaczenie czasu w modelowaniu i strukturalizacji danych Temat1- Geneza 1. Ewolucja systemów opartych na bazach danych Początki to np. ręczne spisy danych na papirusie w Egipcie. Ręczne zapisywanie danych trwało aż do końca XIX wieku. W XIX wieku stworzone zostały

Bardziej szczegółowo

Spis treści. Część I Wprowadzenie do pakietu oprogramowania Analysis Services

Spis treści. Część I Wprowadzenie do pakietu oprogramowania Analysis Services Spis treści Wstęp... ix Odkąd najlepiej rozpocząć lekturę?... ix Informacja dotycząca towarzyszącej ksiąŝce płyty CD-ROM... xi Wymagania systemowe... xi Instalowanie i uŝywanie plików przykładowych...

Bardziej szczegółowo

Usługi analityczne budowa kostki analitycznej Część pierwsza.

Usługi analityczne budowa kostki analitycznej Część pierwsza. Usługi analityczne budowa kostki analitycznej Część pierwsza. Wprowadzenie W wielu dziedzinach działalności człowieka analiza zebranych danych jest jednym z najważniejszych mechanizmów podejmowania decyzji.

Bardziej szczegółowo

Optymalizacja poleceń SQL

Optymalizacja poleceń SQL Optymalizacja poleceń SQL Przetwarzanie polecenia SQL użytkownik polecenie PARSER słownik REGUŁOWY RBO plan zapytania RODZAJ OPTYMALIZATORA? GENERATOR KROTEK plan wykonania statystyki KOSZTOWY CBO plan

Bardziej szczegółowo

77. Modelowanie bazy danych rodzaje połączeń relacyjnych, pojęcie klucza obcego.

77. Modelowanie bazy danych rodzaje połączeń relacyjnych, pojęcie klucza obcego. 77. Modelowanie bazy danych rodzaje połączeń relacyjnych, pojęcie klucza obcego. Przy modelowaniu bazy danych możemy wyróżnić następujące typy połączeń relacyjnych: jeden do wielu, jeden do jednego, wiele

Bardziej szczegółowo

Przestrzenne bazy danych Podstawy języka SQL

Przestrzenne bazy danych Podstawy języka SQL Przestrzenne bazy danych Podstawy języka SQL Stanisława Porzycka-Strzelczyk porzycka@agh.edu.pl home.agh.edu.pl/~porzycka Konsultacje: wtorek godzina 16-17, p. 350 A (budynek A0) 1 SQL Język SQL (ang.structured

Bardziej szczegółowo

Część I Istota analizy biznesowej a Analysis Services

Część I Istota analizy biznesowej a Analysis Services Spis treści Część I Istota analizy biznesowej a Analysis Services 1 Analiza biznesowa: podstawy analizy danych... 3 Wprowadzenie do analizy biznesowej... 3 Wielowymiarowa analiza danych... 5 Atrybuty w

Bardziej szczegółowo

"Kilka słów" o strojeniu poleceń SQL w kontekście Hurtowni Danych wprowadzenie. Krzysztof Jankiewicz

Kilka słów o strojeniu poleceń SQL w kontekście Hurtowni Danych wprowadzenie. Krzysztof Jankiewicz "Kilka słów" o strojeniu poleceń SQL w kontekście Hurtowni Danych wprowadzenie Krzysztof Jankiewicz Plan Opis schematu dla "kilku słów" Postać polecenia SQL Sposoby dostępu do tabel Indeksy B*-drzewo Indeksy

Bardziej szczegółowo

Projektowanie baz danych

Projektowanie baz danych Krzysztof Dembczyński Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Technologie Wytwarzania Oprogramowania Semestr zimowy 2005/06 Plan wykładu Ewolucja

Bardziej szczegółowo

HURTOWNIE DANYCH I BUSINESS INTELLIGENCE

HURTOWNIE DANYCH I BUSINESS INTELLIGENCE BAZY DANYCH HURTOWNIE DANYCH I BUSINESS INTELLIGENCE Akademia Górniczo-Hutnicza w Krakowie Adrian Horzyk horzyk@agh.edu.pl Google: Horzyk HURTOWNIE DANYCH Hurtownia danych (Data Warehouse) to najczęściej

Bardziej szczegółowo

Bazy analityczne (hurtownie danych, bazy OLAP)

Bazy analityczne (hurtownie danych, bazy OLAP) Bazy analityczne (hurtownie danych, bazy OLAP) Materiały pomocnicze. Bazy produkcyjne (transakcyjne) i analityczne Większość systemów baz danych to systemy produkcyjne, inaczej nazywane transakcyjnymi,

Bardziej szczegółowo

Wprowadzenie do hurtowni danych

Wprowadzenie do hurtowni danych Wprowadzenie do hurtowni danych przygotował: Paweł Kasprowski Kostka Kostka (cube) to podstawowy element hurtowni Kostka jest wielowymiarowa (od 1 do N wymiarów) Kostka składa się z: faktów wektora wartości

Bardziej szczegółowo

Integracja i Eksploracja Danych

Integracja i Eksploracja Danych Integracja i Eksploracja Danych Laboratorium nr 4 Wprowadzenie do języka MDX. Zadania: 1) Analogicznie do przykładu zawartego na poprzednich zajęciach, korzystając z SQL Server Business Intelligence Development

Bardziej szczegółowo

przygotował: pawel@kasprowski.pl Podstawy języka MDX Tworzenie zbiorów

przygotował: pawel@kasprowski.pl Podstawy języka MDX Tworzenie zbiorów Podstawy języka MDX Tworzenie zbiorów Używanie zbiorów Zbiór to: wynik działania funkcji (np. funkcji members) lista elementów otoczona {...} {[Store Sales], [Unit Sales]} on columns, [Product].[Prod].[Category].members

Bardziej szczegółowo

Bazy danych. Zenon Gniazdowski WWSI, ITE Andrzej Ptasznik WWSI

Bazy danych. Zenon Gniazdowski WWSI, ITE Andrzej Ptasznik WWSI Bazy danych Zenon Gniazdowski WWSI, ITE Andrzej Ptasznik WWSI Wszechnica Poranna Trzy tematy: 1. Bazy danych - jak je ugryźć? 2. Język SQL podstawy zapytań. 3. Mechanizmy wewnętrzne baz danych czyli co

Bardziej szczegółowo

Microsoft Excel 2013: Budowanie modeli danych przy użyciu PowerPivot

Microsoft Excel 2013: Budowanie modeli danych przy użyciu PowerPivot Microsoft Excel 2013: Budowanie modeli danych przy użyciu PowerPivot Alberto Ferrari i Marco Russo Przekład: Marek Włodarz APN Promise Warszawa 2014 Spis treści Wprowadzenie............................................................

Bardziej szczegółowo

Bazy danych 8. Podzapytania i grupowanie. P. F. Góra

Bazy danych 8. Podzapytania i grupowanie. P. F. Góra Bazy danych 8. Podzapytania i grupowanie P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2009 Podzapytania Podzapytania pozwalaja na tworzenie strukturalnych podzapytań, co umożliwia izolowanie poszczególnych

Bardziej szczegółowo

Sylabus do programu kształcenia obowiązującego od roku akademickiego 2014/15

Sylabus do programu kształcenia obowiązującego od roku akademickiego 2014/15 Sylabus do programu kształcenia obowiązującego od roku akademickiego 204/5 Nazwa Bazy danych Nazwa jednostki prowadzącej przedmiot Wydział Matematyczno - Przyrodniczy Kod Studia Kierunek studiów Poziom

Bardziej szczegółowo

SQL Server i T-SQL w mgnieniu oka : opanuj język zapytań w 10 minut dziennie / Ben Forta. Gliwice, Spis treści

SQL Server i T-SQL w mgnieniu oka : opanuj język zapytań w 10 minut dziennie / Ben Forta. Gliwice, Spis treści SQL Server i T-SQL w mgnieniu oka : opanuj język zapytań w 10 minut dziennie / Ben Forta. Gliwice, 2017 Spis treści O autorze 9 Wprowadzenie 11 Lekcja 1. Zrozumieć SQL 15 Podstawy baz danych 15 Język SQL

Bardziej szczegółowo

Proces ETL. Katedra Inżynierii Oprogramowania Wydział Elektroniki, Telekomunikacji i Informatyki Politechnika Gdańska {kris,

Proces ETL. Katedra Inżynierii Oprogramowania Wydział Elektroniki, Telekomunikacji i Informatyki Politechnika Gdańska {kris, Proces ETL Krzysztof Goczyła Teresa Zawadzka Katedra Inżynierii Oprogramowania Wydział Elektroniki, Telekomunikacji i Informatyki Politechnika Gdańska {kris, tegra}@eti.pg.gda.pl - 1 - Proces ETL - 2 -

Bardziej szczegółowo

Systemy GIS Tworzenie zapytań w bazach danych

Systemy GIS Tworzenie zapytań w bazach danych Systemy GIS Tworzenie zapytań w bazach danych Wykład nr 6 Analizy danych w systemach GIS Jak pytać bazę danych, żeby otrzymać sensowną odpowiedź......czyli podstawy języka SQL INSERT, SELECT, DROP, UPDATE

Bardziej szczegółowo

SQL do zaawansowanych analiz danych część 1.

SQL do zaawansowanych analiz danych część 1. SQL do zaawansowanych analiz danych część 1. Mechanizmy języka SQL dla agregacji danych Rozszerzenia PIVOT i UNPIVOT Materiały wykładowe Bartosz Bębel Politechnika Poznańska, Instytut Informatyki Plan

Bardziej szczegółowo

PROJEKT WSPÓŁFINANSOWANY ZE ŚRODKÓW UNII EUROPEJSKIEJ W RAMACH EUROPEJSKIEGO FUNDUSZU SPOŁECZNEGO OPIS PRZEDMIOTU. Rozproszone Systemy Baz Danych

PROJEKT WSPÓŁFINANSOWANY ZE ŚRODKÓW UNII EUROPEJSKIEJ W RAMACH EUROPEJSKIEGO FUNDUSZU SPOŁECZNEGO OPIS PRZEDMIOTU. Rozproszone Systemy Baz Danych OPIS PRZEDMIOTU Nazwa przedmiotu Rozproszone Systemy Baz Danych Kod przedmiotu Wydział Instytut/Katedra Kierunek Specjalizacja/specjalność Wydział Matematyki, Fizyki i Techniki Instytut Mechaniki i Informatyki

Bardziej szczegółowo

Oracle11g: Wprowadzenie do SQL

Oracle11g: Wprowadzenie do SQL Oracle11g: Wprowadzenie do SQL OPIS: Kurs ten oferuje uczestnikom wprowadzenie do technologii bazy Oracle11g, koncepcji bazy relacyjnej i efektywnego języka programowania o nazwie SQL. Kurs dostarczy twórcom

Bardziej szczegółowo

ZMODYFIKOWANY Szczegółowy opis przedmiotu zamówienia

ZMODYFIKOWANY Szczegółowy opis przedmiotu zamówienia ZP/ITS/11/2012 Załącznik nr 1a do SIWZ ZMODYFIKOWANY Szczegółowy opis przedmiotu zamówienia Przedmiotem zamówienia jest: Przygotowanie zajęć dydaktycznych w postaci kursów e-learningowych przeznaczonych

Bardziej szczegółowo

XQTav - reprezentacja diagramów przepływu prac w formacie SCUFL przy pomocy XQuery

XQTav - reprezentacja diagramów przepływu prac w formacie SCUFL przy pomocy XQuery http://xqtav.sourceforge.net XQTav - reprezentacja diagramów przepływu prac w formacie SCUFL przy pomocy XQuery dr hab. Jerzy Tyszkiewicz dr Andrzej Kierzek mgr Jacek Sroka Grzegorz Kaczor praca mgr pod

Bardziej szczegółowo

Bazy danych Wykład zerowy. P. F. Góra

Bazy danych Wykład zerowy. P. F. Góra Bazy danych Wykład zerowy P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2012 Patron? Św. Izydor z Sewilli (VI wiek), biskup, patron Internetu (sic!), stworzył pierwszy katalog Copyright c 2011-12 P.

Bardziej szczegółowo

Hurtownie danych i business intelligence - wykład II. Zagadnienia do omówienia. Miejsce i rola HD w firmie

Hurtownie danych i business intelligence - wykład II. Zagadnienia do omówienia. Miejsce i rola HD w firmie Hurtownie danych i business intelligence - wykład II Paweł Skrobanek, C-3 pok. 321 pawel.skrobanek@pwr.wroc.pl oprac. Wrocław 2005-2012 Zagadnienia do omówienia 1. Miejsce i rola w firmie 2. Przegląd architektury

Bardziej szczegółowo

Indeksy w hurtowniach danych

Indeksy w hurtowniach danych Indeksy w hurtowniach danych Hurtownie danych 2011 Łukasz Idkowiak Tomasz Kamiński Bibliografia Zbyszko Królikowski, Hurtownie danych. Logiczne i fizyczne struktury danych, Wydawnictwo Politechniki Poznańskiej,

Bardziej szczegółowo

Przykłady najlepiej wykonywać od razu na bazie i eksperymentować z nimi.

Przykłady najlepiej wykonywać od razu na bazie i eksperymentować z nimi. Marek Robak Wprowadzenie do języka SQL na przykładzie baz SQLite Przykłady najlepiej wykonywać od razu na bazie i eksperymentować z nimi. Tworzenie tabeli Pierwsza tabela W relacyjnych bazach danych jedna

Bardziej szczegółowo

Zaawansowane systemy baz danych - ZSBD. Hurtownie danych 1. Problematyka hurtowni danych. Wykład przygotował: Robert Wrembel. ZSBD wykład 12 (1)

Zaawansowane systemy baz danych - ZSBD. Hurtownie danych 1. Problematyka hurtowni danych. Wykład przygotował: Robert Wrembel. ZSBD wykład 12 (1) Hurtownie danych 1 Problematyka hurtowni danych Wykład przygotował: Robert Wrembel ZSBD wykład 12 (1) 1 Plan wykładu Problematyka integracji danych Integracja danych za pomocą hurtowni danych Przetwarzanie

Bardziej szczegółowo

STROJENIE BAZ DANYCH: INDEKSY. Cezary Ołtuszyk coltuszyk.wordpress.com

STROJENIE BAZ DANYCH: INDEKSY. Cezary Ołtuszyk coltuszyk.wordpress.com STROJENIE BAZ DANYCH: INDEKSY Cezary Ołtuszyk coltuszyk.wordpress.com Plan spotkania I. Wprowadzenie do strojenia baz danych II. III. IV. Mierzenie wydajności Jak SQL Server przechowuje i czyta dane? Budowa

Bardziej szczegółowo

SQL (ang. Structured Query Language)

SQL (ang. Structured Query Language) SQL (ang. Structured Query Language) SELECT pobranie danych z bazy, INSERT umieszczenie danych w bazie, UPDATE zmiana danych, DELETE usunięcie danych z bazy. Rozkaz INSERT Rozkaz insert dodaje nowe wiersze

Bardziej szczegółowo

SZKOLENIE: Administrator baz danych. Cel szkolenia

SZKOLENIE: Administrator baz danych. Cel szkolenia SZKOLENIE: Administrator baz danych. Cel szkolenia Kurs Administrator baz danych skierowany jest przede wszystkim do osób zamierzających rozwijać umiejętności w zakresie administrowania bazami danych.

Bardziej szczegółowo

- język zapytań służący do zapisywania wyrażeń relacji, modyfikacji relacji, tworzenia relacji

- język zapytań służący do zapisywania wyrażeń relacji, modyfikacji relacji, tworzenia relacji 6. Język SQL Język SQL (Structured Query Language): - język zapytań służący do zapisywania wyrażeń relacji, modyfikacji relacji, tworzenia relacji - stworzony w IBM w latach 70-tych DML (Data Manipulation

Bardziej szczegółowo

K1A_W11, K1A_W18. Egzamin. wykonanie ćwiczenia lab., sprawdzian po zakończeniu ćwiczeń, egzamin, K1A_W11, K1A_W18 KARTA PRZEDMIOTU

K1A_W11, K1A_W18. Egzamin. wykonanie ćwiczenia lab., sprawdzian po zakończeniu ćwiczeń, egzamin, K1A_W11, K1A_W18 KARTA PRZEDMIOTU (pieczęć wydziału) KARTA PRZEDMIOTU 1. Nazwa przedmiotu: BAZY DANYCH 2. Kod przedmiotu: 3. Karta przedmiotu ważna od roku akademickiego: 2014/2015 4. Forma kształcenia: studia pierwszego stopnia 5. Forma

Bardziej szczegółowo

Opracowanie: Izabela Czepil i Andrzej Solski

Opracowanie: Izabela Czepil i Andrzej Solski Opracowanie: Izabela Czepil i Andrzej Solski Wykorzystanie serwisów do wykonywania operacji na serwerze Generowanie nowych struktur budżetowych na podstawie istniejących zbiorcze kopiowanie struktur Mechanizm

Bardziej szczegółowo

Hurtownie danych - przegląd technologii Robert Wrembel Politechnika Poznańska Instytut Informatyki

Hurtownie danych - przegląd technologii Robert Wrembel Politechnika Poznańska Instytut Informatyki Hurtownie danych - przegląd technologii Robert Wrembel Politechnika Poznańska Instytut Informatyki Robert.Wrembel@cs.put.poznan.pl www.cs.put.poznan.pl/rwrembel Efektywność przetwarzania OLAP 1. Indeksowanie

Bardziej szczegółowo

Rady i porady użytkowe

Rady i porady użytkowe Rady i porady użytkowe Dział Eksploatacji CONTROLLING SYSTEMS sp. z o.o. Rady i porady - źródło prezentacji: Najczęstsze problemy zgłaszane przez Klientów na etapie eksploatacji systemu Spostrzeżenia konsultantów

Bardziej szczegółowo

Modele danych i ewolucja systemów baz danych

Modele danych i ewolucja systemów baz danych Modele danych i ewolucja systemów baz danych Izabela Szczęch Krzysztof Dembczyński Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Technologie wytwarzania

Bardziej szczegółowo

Spis treści. Przedmowa

Spis treści. Przedmowa Spis treści Przedmowa V 1 SQL - podstawowe konstrukcje 1 Streszczenie 1 1.1 Bazy danych 1 1.2 Relacyjny model danych 2 1.3 Historia języka SQL 5 1.4 Definiowanie danych 7 1.5 Wprowadzanie zmian w tabelach

Bardziej szczegółowo

Hurtownie danych - przegląd technologii

Hurtownie danych - przegląd technologii Hurtownie danych - przegląd technologii Robert Wrembel Politechnika Poznańska Instytut Informatyki Robert.Wrembel@cs.put.poznan.pl www.cs.put.poznan.pl/rwrembel Efektywność przetwarzania OLAP 1. Indeksowanie

Bardziej szczegółowo

Technologie baz danych

Technologie baz danych Plan wykładu Technologie baz danych Wykład 6: Algebra relacji. SQL - cd Algebra relacji operacje teoriomnogościowe rzutowanie selekcja przemianowanie Małgorzata Krętowska Wydział Informatyki Politechnika

Bardziej szczegółowo

BUSINESS INTELLIGENCE DEVELOPMENT Tego Cię nauczymy:

BUSINESS INTELLIGENCE DEVELOPMENT Tego Cię nauczymy: BUSINESS INTELLIGENCE DEVELOPMENT Tego Cię nauczymy: Cały kurs został podzielony na moduły skupiające się na istotnych z punktu widzenia specjalisty Microsoft Business Intelligence zagadnieniach. Moduły

Bardziej szczegółowo

Indeksowanie w bazach danych

Indeksowanie w bazach danych w bazach Katedra Informatyki Stosowanej AGH 5grudnia2013 Outline 1 2 3 4 Czym jest indeks? Indeks to struktura, która ma przyspieszyć wyszukiwanie. Indeks definiowany jest dla atrybutów, które nazywamy

Bardziej szczegółowo

Wykład I. Wprowadzenie do baz danych

Wykład I. Wprowadzenie do baz danych Wykład I Wprowadzenie do baz danych Trochę historii Pierwsze znane użycie terminu baza danych miało miejsce w listopadzie w 1963 roku. W latach sześcdziesątych XX wieku został opracowany przez Charles

Bardziej szczegółowo

TOPWEB Microsoft Excel 2013 i PowerBI Przygotowanie danych, analiza i efektowna prezentacja wyników raportów

TOPWEB Microsoft Excel 2013 i PowerBI Przygotowanie danych, analiza i efektowna prezentacja wyników raportów TOPWEB Microsoft Excel 2013 i PowerBI Przygotowanie danych, analiza i efektowna prezentacja wyników raportów Przeznaczenie szkolenia Szkolenie dla osób chcących: Profesjonalnie przygotowywać dane do dalszej

Bardziej szczegółowo

SYLABUS DOTYCZY CYKLU KSZTAŁCENIA realizacja w roku akademickim 2016/17

SYLABUS DOTYCZY CYKLU KSZTAŁCENIA realizacja w roku akademickim 2016/17 Załącznik nr 4 do Uchwały Senatu nr 430/01/2015 SYLABUS DOTYCZY CYKLU KSZTAŁCENIA 2013-2017 realizacja w roku akademickim 2016/17 1.1. PODSTAWOWE INFORMACJE O PRZEDMIOCIE/MODULE Nazwa przedmiotu/ modułu

Bardziej szczegółowo

Krzysztof Kadowski. PL-E3579, PL-EA0312,

Krzysztof Kadowski. PL-E3579, PL-EA0312, Krzysztof Kadowski PL-E3579, PL-EA0312, kadowski@jkk.edu.pl Bazą danych nazywamy zbiór informacji w postaci tabel oraz narzędzi stosowanych do gromadzenia, przekształcania oraz wyszukiwania danych. Baza

Bardziej szczegółowo

PRZEWODNIK PO PRZEDMIOCIE

PRZEWODNIK PO PRZEDMIOCIE Nazwa przedmiotu: Bazy danych Database Kierunek: Rodzaj przedmiotu: obieralny Rodzaj zajęć: wykład, laboratorium Matematyka Poziom kwalifikacji: I stopnia Liczba godzin/tydzień: 2W, 2L Semestr: III Liczba

Bardziej szczegółowo

Modele danych i ich ewolucja

Modele danych i ich ewolucja Krzysztof Dembczyński Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Technologie Wytwarzania Oprogramowania Semestr letni 2004/05 Plan wykładu Ewolucja systemów

Bardziej szczegółowo