Indeksy w hurtowniach danych

Transkrypt

1 Indeksy w hurtowniach danych Hurtownie danych 2011 Łukasz Idkowiak Tomasz Kamiński

2 Bibliografia Zbyszko Królikowski, Hurtownie danych. Logiczne i fizyczne struktury danych, Wydawnictwo Politechniki Poznańskiej, 2007 Indeksy w hurtowniach danych 2

3 Plan prezentacji Przetwarzanie analityczne w hurtowniach danych Indeksy w postaci B-drzewa Indeksy bitmapowe Kompresja indeksu bitmapowego Indeksy połączeniowe Zaawansowane przetwarzanie analityczne w hurtowniach danych Indeksy sygnaturowe Indeksy w hurtowniach danych 3

4 Przetwarzanie analityczne w hurtowniach danych Złożoność zapytań analitycznych i olbrzymie rozmiary danych przez nie adresowanych sprawiają, że czas ich wykonania może sięgać dziesiątek minut, a nawet godzin Jak efektywnie wykonywać zapytania analityczne? Właściwe opracowanie projektu fizycznych struktur hurtowni danych, a w szczególności struktur dostępowych - indeksów Indeksy w hurtowniach danych 4

5 Ocena indeksu Zysk czasowy ze stosowania indeksu Rozmiar indeksu Łatwość utrzymania struktury indeksu Indeksy w hurtowniach danych 5

6 B-drzewa Indeksy w hurtowniach danych 6

7 Indeksy w postaci B-drzewa przykład Wysokość drzewa K Kraków Kraków K > Kraków Korzeń Gniezno Przemyśl Wierzchołki wewnętrzne Warszawa K Gniezno K > Gniezno K Przemyśl Przemyśl < K Warszawa K > Warszawa Buk Gniezno Kraków Olsztyn Przemyśl Radom Warszawa Zabrze Liście Fizyczny adres rekordu na dysku Adres wierzchołka Indeksy w hurtowniach danych 7

8 B-drzewo - budowa Bloki tworzą strukturę drzewiastą (3 warstwy: korzeń, wierzchołki wewnętrzne oraz liście). Drzewo zrównoważone (ang. balanced) długość dowolnej ścieżki od korzenia do dowolnego liścia jest zawsze taka sama. Każdy wierzchołek nadrzędny wskazuje na podrzędny. Indeksy w hurtowniach danych 8

9 Rząd drzewa p Maksymalna liczba wskazań do wierzch. podrzędnych z wierzch. nadrzędnych Każdy blok indeksu zawiera maksymalnie p-1 wartości klucza oraz p wskaźników na kolejne bloki lub adresy rekordów (właściwość wykorzystywana przy wyznaczaniu rzędu drzewa) Indeksy w hurtowniach danych 9

10 B-drzewa - charakterystyka Efektywne operacje wyszukiwania (dana wartość klucza lub zakres), wstawiania i usuwania rekordów. Efektywne dla relacji wymiarów (wysoka selektywność) Nie przydatne dla relacji faktów (duże rozmiary, wysokie koszty przechowywania i utrzymywania) Indeksy w hurtowniach danych 10

11 Indeks bitmapowy Indeksy w hurtowniach danych 11

12 Mapa i indeks bitmapowy Mapa bitowa dla wartości w atrybutu A relacji R jest tablicą, której każda komórka przechowuje pojedynczy bit. Każdy bit odpowiada jednej krotce relacji R liczba bitów mapy = liczba krotek relacji R Dla mapy A = w bit n przyjmuje wartość 1, jeżeli atrybut A krotki n przyjmuje wartość w liczba map atrybutu A = liczba różnych wartości atrybutu A krotność (cardinality) Mapę bitową określa się jako gęstą (dense), jeżeli stosunek liczby 1 do liczby 0 w mapie jest duży. W przeciwnym przypadku mapę określa się jako rzadką (sparse). Indeks bitmapowy to zbiór map bitowych dla każdej wartości danego atrybutu relacji Indeksy w hurtowniach danych 12

13 Indeks bitmapowy - przykład Indeksy w hurtowniach danych 13

14 Indeks bitmapowy w postaci B-drzewa Indeksy w hurtowniach danych 14

15 Indeks bitmapowy zysk czasowy SELECT COUNT(*) FROM Sprzedaż WHERE Marka IN ('Audi', 'Ford') AND Typ = 'sport' AND Płeć = K' Indeksy w hurtowniach danych 15

16 Indeks bitmapowy - rozmiar Zależny od krotności Przykład Liczba rekordów = Rozmiar indeksu B-drzewo 4MB Krotność = 4 Rozmiar indeksu: 4 x ( / 8) = 4 x 124 kb = 500kB Krotność = 64 Rozmiar indeksu: 64 x ( / 8) = 64 x 124 kb = 8MB Indeksy w hurtowniach danych 16

17 Kompresja indeksów bitmapowych Liczba 0 w mapach bitowych jest duża w porównaniu do liczby 1 Optymalizacja współczynnika kompresji oraz czasu dekompresji Przechowywanie 0 lub 1 i liczby jego kolejnych wystąpień Indeksy w hurtowniach danych 17

18 Kompresja indeksów bitmapowych Kodowanie run-length jednorodnego ciągu bitów o wartości w (0 lub 1) i długości m [w m] Przykład [07] [110] [03] Podział mapy bitowej na słowa o długości n bitów Specjalizowane metody BBC (Byte-aligned Bitmap Code) słowa 8 bitowe WAH (Word-Aligned Hybrid) słowa 31 bitowe Indeksy w hurtowniach danych 18

19 Kompresja BBC i WAH Wypełnienie słowo złożone z samych 0 lub 1, podlega kompresji Dopełnienie - słowo złożone z 0 i 1 nie podlega kompresji Format skompresowanego słowa bit pierwszy 1 wypełnienie 0 dopełnienie bit drugi wartość wypełnienia ( 0 lub 1 ) kolejne bity długość wypełnieni a (liczba jednorodnych 0 lub 1 ) Indeksy w hurtowniach danych 19

20 Indeks bitmapowy koszt utrzymania Wstawienie rekordu Zwiększenie długości mapy Opcjonalne zbudowanie nowej mapy Usuwanie rekordu Zmniejszenie długości mapy Opcjonalne usunięcie mapy Modyfikowanie rekordu Operacje na 2 mapach Kosztowne, ale akceptowalne w hurtowniach danych Indeksy w hurtowniach danych 20

21 Indeks bitmapowy mapa istniejących krotek SELECT COUNT(*) FROM Sprzedaż WHERE Marka!= 'Ford' Indeksy w hurtowniach danych 21

22 Odwzorowanie w adres fizyczny RID, ROWID (row identifier) numer strony na dysku pozycja na stronie - szczelina Indeksy w hurtowniach danych 22

23 Indeks bitmapowy podsumowanie Zapytania z dużą ilością predykatów warunkowych oraz zapytania z funkcją COUNT Wykonywanie operacji na indeksach a nie na samych krotkach Efektywne przetwarzanie map bitowych (AND, OR, NOT) - procesory 64-bitowe Składowanie w RAM Mała efektywność poszukiwania wartości z zadanego zakresu Indeksy w hurtowniach danych 23

24 Indeks połączeniowy Indeks połączeniowy (join index) łączy ze sobą krotki z różnych relacji mające tę samą wartość atrybutu połączeniowego Indeksy w hurtowniach danych 24

25 Bitmapowe indeksy połączeniowe Struktura B-drzewa z mapami bitowymi w liściach opisujące połączone rekordy Zbiór bitmap Indeksy w hurtowniach danych 25

26 Zaawansowane przetwarzanie analityczne w hurtowniach danych Problemy zaawansowanego przetwarzania analitycznego w hurtowniach danych Indeksy w hurtowniach danych 26

27 Problemy zaawansowanego przetwarzania analitycznego w hurtowniach danych W modelu OLAP to użytkownik steruje analizą danych Zbyt szczegółowy poziom abstrakcji do bardziej ogólnych zapytań! Niemożność automatyzacji procesu analizy Indeksy w hurtowniach danych 27

28 Problemy zaawansowanego przetwarzania analitycznego w hurtowniach danych Odpowiedzią jest technologia eksploracji danych (ang. data mining), czyli: Proces odkrywania wiedzy w postaci nowych, użytecznych, poprawnych i zrozumiałych wzorców w bardzo dużych wolumenach danych. Najczęściej wykorzystywany model wiedzy: reguły asocjacyjne mleko ^ płatki kakao Indeksy w hurtowniach danych 28

29 Eksploracja danych Liczba odkrytych wzorców może być bardzo duża najczęściej zapisywane są w osobnej relacji/bazie danych Wzorce te są szczegółowo analizowane przez użytkowników za pomocą zapytań operujących na zbiorach Zapytania te są słabo wspierane przez systemy zarządzania relacyjnymi bazami danych! Indeksy w hurtowniach danych 29

30 Zapytania operujące na zbiorach Dane są Baza D transakcji T q skończony zbiór elementów Definiujemy cztery typy zapytań operujących na zbiorach Zapytanie równościowe Zapytanie o nadzbiory Zapytanie o podzbiory Zapytanie przybliżone Zapytania uogólnione wykorzystują zdefiniowane w hurtowni danych hierarchie elementów Indeksy w hurtowniach danych 30

31 Zapytanie równościowe Zapytanie zwracające następujący zbiór identyfikatorów transakcji: znajduje wszystkie reguły, które zawierają podany zbiór elementów, np.: Wyświetl reguły, których ciało stanowią mleko i kefir Indeksy w hurtowniach danych 31

32 Zapytanie o nadzbiory Zapytanie zwracające następujący zbiór identyfikatorów transakcji: znajduje wszystkie reguły, których ciało zawiera się w zadanym zbiorze elementów, np.: Wyświetl klientów, którzy w ramach jednej transakcji kupili mleko, płatki i kawę Indeksy w hurtowniach danych 32

33 Zapytanie o podzbiory Zapytanie zwracające następujący zbiór identyfikatorów transakcji: znajduje wszystkie transakcje, które zawierają podany zbiór elementów, np.: Wyświetl wszystkie reguły, w których ciele znajdują się jedynie napoje Indeksy w hurtowniach danych 33

34 Zapytanie przybliżone Zapytanie zwracające następujący zbiór identyfikatorów transakcji: gdzie: ε - próg podobieństwa sim(t,q) wartość podobieństwa między zbiorami znajduje wszystkie transakcje, których podobieństwo do zbioru q przekracza próg ε, np.: Wyświetl klientów, którzy w ramach jednej transakcji zakupili koszyk towarów, jak chleb, mleko, miód lub podobny. Indeksy w hurtowniach danych 34

35 Brak wsparcia ze strony DBMS! Powyższe rodzaje zapytań nie są efektywnie wspierane przez istniejące systemy zarządzania bazami danych Przykład odczytanie z tabelki Zakupy(id_transakcji, produkt) identyfikatory transakcji, zawierających produkty mleko, kefir, jajka Zapytanie wykorzystujące wielokrotne połączenie zwrotne relacji: SELECT DISTINCT A.id_transakcji FROM Zakupy A, Zakupy B, Zakupy C WHERE A.id_transakcji = B.id_transakcji AND B.id_transakcji = C.id_transakcji AND A.produkt = mleko AND B.produkt = kefir AND C.produkt = jajka ; Zapytanie wykorzystujące grupowanie: SELECT id_transakcji FROM Zakupy WHERE produkt IN ( mleko, kefir, jajka ) GROUP BY id_transakcji HAVING COUNT(*) = 3; Indeksy w hurtowniach danych 35

36 Zaawansowane przetwarzanie analityczne w hurtowniach danych Struktury indeksowe wspierające zaawansowane przetwarzanie analityczne Indeksy w hurtowniach danych 36

37 Struktury indeksowe wspierające zaawansowane przetwarzanie analityczne Indeksy sygnaturowe Plik sygnaturowy S-drzewa Grupowy indeks bitmapowy Ograniczony indeks bitmapowy Haszowy grupowy indeks bitmapowy Indeksy w hurtowniach danych 37

38 Struktury indeksowe wspierające zaawansowane przetwarzanie analityczne, c.d. Wyszukiwanie i analiza danych wielowymiarowych Indeksy hierarchiczne K-d-drzewa Drzewa ćwiartek R-drzewa Pozostałe struktury indeksowe RD-drzewa Odwrócone RD-drzewa Pliki odwrócone Hierarchiczny indeks bitmapowy Indeksy w hurtowniach danych 38

39 Zaawansowane przetwarzanie analityczne w hurtowniach danych Indeksy sygnaturowe Indeksy w hurtowniach danych 39

40 Indeksy sygnaturowe Podstawowa cecha sygnaturowa reprezentacja zbiorów Sygnatura elementu Sygnatura zbioru A Waga sygnatury Przykład: Długość sygnatury: n = 4 Liczba ustawionych bitów 1 : k = 2 Indeksy w hurtowniach danych 40

41 Sygnatury - przykład Indeksy w hurtowniach danych 41

42 Sygnatury Transformacja zbioru elementów w sygnaturę nie jest wzajemnie jednoznaczna Fałszywe trafienia (ang. false drop) Zbyt mała liczba 1 mniejsza liczba odwzorowywanych elementów Zbyt duża wartość k klucze są w większości wypełnione jedynkami, przez co więcej kluczy wymaga weryfikacji Indeksy w hurtowniach danych 42

43 Plik sygnaturowy Plik sygnaturowy sekwencyjny plik rekordów postaci [sig(s), ref(s)] sig(s) sygnatura zbioru S ref(s) wskaźnik do zbioru S Wykorzystanie pliku sygnaturowego 1. utworzenie sygnatury zapytania 2. sekwencyjny odczyt pliku 3. sprawdzenie odpowiedniej relacji zawierania na poziomie sygnatur 4. odczyt z hurtowni lub bazy danych znalezionych zbiorów 5. weryfikacja fałszywych trafień Indeksy w hurtowniach danych 43

44 Plik sygnaturowy - przykład Indeksy w hurtowniach danych 44

45 Grupowy indeks bitmapowy Wariant pliku sygnaturowego Idea utworzenie binarnej reprezentacji indeksowanego zbioru i wykorzystaniu zbiorów spełniających podane kryteria Klucz indeksu, reprezentujący dany zbiór to wektor N bitów, gdzie N całkowita liczba różnych elementów k-ty bit jest ustawiony na 1, jeśli zbiór zawiera k-ty element Przykład na rysunku informacje o transakcjach i odpowiadający im indeks grupowy Indeksy w hurtowniach danych 45

46 Grupowy indeks bitmapowy przykład Indeksy w hurtowniach danych 46

47 Grupowy indeks bitmapowy cechy Podstawowa wada rozmiar klucza zależy od liczby różnych elementów Nie nadaje się do wspomagania wykonywania zapytań uogólnionych, operujących na wyższym poziomie generalizacji Czasem jednak stanowi najlepsze rozwiązanie dla aplikacji z niewielką i stałą liczbą różnych elementów Indeksy w hurtowniach danych 47

48 Ograniczony grupowy indeks bitmapowy Zmodyfikowana postać grupowego indeksu bitmapowego W trakcie przeszukiwania bierze się pod uwagę tylko aktualnie używany fragment indeksu W celu uniknięcia przetwarzania niepotrzebnych fragmentów indeksu ograniczamy go tylko do tych fragmentów, które są niepuste w kluczu wyszukiwania, tylko te fragmenty są ładowane do pamięci i przetwarzane Indeksy w hurtowniach danych 48

49 Ograniczony grupowy indeks bitmapowy - cechy Zaleta redukcja rozmiaru indeksu, dzięki czemu do pamięci można wczytać więcej kluczy indeksowych Wada indeks musi być rekonstruowany podczas każdego nowego zapytania Indeksy w hurtowniach danych 49

50 Haszowy grupowy indeks bitmapowy Cel: wyeliminowanie wad związanych ze zmienną długością klucza indeksowego w grupowym indeksie bitmapowym Klucz: stały rozmiar n bitów, wartość funkcji haszowej dla elementu x Indeksy w hurtowniach danych 50

51 Haszowy grupowy indeks bitmapowy Wyszukiwanie przebiega w dwóch krokach: Filtrowanie Weryfikacja Indeksy w hurtowniach danych 51

52 Haszowy grupowy indeks bitmapowy przykład hurtowni danych Indeksy w hurtowniach danych 52

53 Haszowy grupowy indeks bitmapowy przykład wyszukiwania Indeksy w hurtowniach danych 53

54 Dziękujemy!!! Indeksy w hurtowniach danych 54