Optymalizacja w relacyjnych bazach danych - wybór wydajnej strategii obliczania wyrażenia relacyjnego.

Transkrypt

1 Plan wykładu Spis treści 1 Optymalizacja Etapy optymalizacji Transformacja zapytania Przepisywanie zapytań Procedury niskiego poziomu Plany zapytań Podsumowanie 7 3 Źródła 8 1 Optymalizacja Wprowadzenie Optymalizacja wyznaczenie spośród dopuszczalnych rozwiązań danego problemu rozwiązania najlepszego ze względu na przyjęte kryterium (wskaźnik) jakości (np. koszt, zysk, niezawodność). Optymalizacja w relacyjnych bazach danych - wybór wydajnej strategii obliczania wyrażenia relacyjnego. W bazach relacyjnych - konieczna. W bazach relacyjnych - automatyczna optymalizacja jest możliwa. W systemie nierelacyjnym - optymalizacja ręczna. Optymalizacja w bazach danych to nie tylko optymalizacja zapytań. Zalety optymalizatora Zalety automatycznego optymalizatora (w stosunku do programisty): posiada więcej informacji o aktualnym stanie bazy danych, przeprowadza reoptymalizację, może rozważyć więcej strategii optymalizacyjnych w krótszym czasie, udostępnia w tani i wydajny sposób szeroki zestaw funkcjonalności. Przykład Podaj nazwy dostawców dostarczających część AZ234. Tabela dostawcy (100 wierszy): id dostawcy nazwa adres MaxBuild Konstytucji 8, Rzeszów CoRemex Zawiszy 10, Olesno

2 Tabela dostaw (10000 wierszy): nr dostawy id dostawcy id czesci HOM AZ SQL: SELECT nazwa FROM dostawy JOIN dostawcy USING (id_dostawcy) WHERE id_czesci LIKE AZ234 ; Wyrażenie algebry relacyjnej: π nazwa (σ id czesci=az234 (dostawy θ dostawcy)) warunek złączenia: θ = (dostawy.id dostawcy = dostawcy.id dostawcy) Bez optymalizacji: 1. złączenie tabel dostawy i dostawcy (odczyt dla każdej dostawy tabeli dostawcy) 2. restrykcja wyniku kroku pierwszego do wierszy z częścią AZ rzutowanie wyniku kroku 2 na atrybut nazwa Z optymalizacją: 1. restrykcja tabeli dostaw do wierszy z częścią AZ234 (wczytanie tabeli dostaw) 2. złączenie tabeli wynikowej z kroku pierwszego i tabeli dostawcy 3. rzutowanie wyniku kroku 2 na atrybut nazwa Formy optymalizacji statyczna dynamiczna pojedynczego zapytania zbioru zapytań Popularne metody optymalizacji Metody dotyczące fizycznej organizacji danych Metody oparte na przepisywaniu Metody wykorzystujące wyspecjalizowane algorytmy dla niektórych operatorów Metody wybierające najtańszy plan realizacji zapytania Zapamiętywanie wyników poprzednio wyliczonych zadań Równoległe wykonywanie zapytań 2

3 1.1 Etapy optymalizacji Etapy wykonania zapytania Optymalizacja zapytania (transformacja, uproszczenie i wybór optymalnego planu wykonania - z wykorzystaniem statystyk bazy danych) Generowanie kodu Wykonanie zapytania (poprzez silnik zapytań) Etapy optymalizacji Transformacja zapytania do postaci wewnętrznej - dekompozycja do postaci wyrażenia algebry relacyjnej Wybór kandydatów do procedur niskiego poziomu Tworzenie planów realizacji zapytania Wybór najtańszego rozwiązania 1.2 Transformacja zapytania Transformacja Składowe transformacji: analiza zapytania, normalizacja zapytania, analiza semantyczna zapytania, upraszczanie zapytania, restrukturyzacja zapytania. Analiza syntaktyczna Analiza poprawności syntaktycznej, weryfikacja poprawności atrybutów i relacji, budowa drzewa logicznego: 3

4 Normalizacja Normalizacja zapytania - przekształcenie do znormalizowanej postaci koniunkcyjnej lub dysjunkcyjnej. Postać koniunkcyjna: (id czesci = AZ234 id dostawcy = 2345) id czesci = AZ235 = Postać dysjunkcyjna: (id czesci = AZ234 id czesci = AZ235) (id dostawcy = 2345 id czesci = AZ235) (id czesci = AZ234 id czesci = AZ235) id dostawcy = 2345 = (id czesci = AZ234 id dostawcy = 2345) (id czesci = AZ235 id dostawcy = 2345) Analiza semantyczna odrzucenie niepoprawnych zdań - nie prowadzących do wygenerowania wyniku odrzucenie sprzecznych zdań - zawsze zwracających wartość FALSE: (id_dzialu=50 and id_dzialu=60) or placa>1500 jest równoważne: placa>1500 algorytmy oceny poprawności semantycznej istnieją jedynie dla zapytań nie zawierających dysjunkcji i negacji algorytmy te opierają działanie na grafie połączeń relacji i grafie połaczeń atrybutów Upraszczanie zapytania eliminacja wyrażeń nadmiarowych eliminacja wspólnych podwyrażeń zastosowanie reguł algebry relacyjnej p (p) = p p (false) = false p (true) = p p ( p) = false p (p q) = p p (p) = p p false = p p true = true p ( p) = true p (p q) = p 1.3 Przepisywanie zapytań Przepisywanie zapytań Przepisywanie zapytań - użycie transformacji algebraicznych w celu uzyskania tańszego planu wykonania. Przepisywanie zapytań realizuje się dla: podzapytań, agregacji, połączeń. 4

5 Przepisywanie zapytań - podzapytania SELECT id_czesci FROM dostawy WHERE id_dostawcy IN (SELECT id_dostawcy FROM dostawcy WHERE adres LIKE %KRAKOW% AND stan_mag - dostawy.sprzedano > 1000); SELECT id_czesci FROM dostawy JOIN dostawcy USING(id_dostawcy) WHERE adres LIKE %KRAKOW% AND stan_mag - sprzedano > 1000 ; Przepisywanie zapytań - agregacja SELECT rok, Count(*) FROM studenci GROUP BY rok, Extract(MONTH FROM data_urodzenia) HAVING Extract(MONTH FROM data_urodzenia) = 5; SELECT rok, Count(*) FROM studenci WHERE Extract(MONTH FROM data_urodzenia) = 5 GROUP BY rok; Przepisywanie zapytań - złączenie SELECT nazwisko,imiona FROM studenci JOIN wyniki_zaliczen ON (nr_albumu = nr_indeksu) WHERE rok=2 AND gr_dziekan=1 AND kolokwium1 > 4; 1.4 Procedury niskiego poziomu Realizacja złączeń Złączenia są jednym z istotnych czynników wpływających na wydajność w relacyjnych bazach danych. Nie zawsze przepisywanie złączeń przyniesie lepszy efekt. Dla złączeń stosuje się specjalne algorytmy, np.: nested-loop, sort-merge, hash-join. 5

6 Nested-loop Nested-loop - metoda polegająca na przejściu po kolei przez wszystkie wiersze pierwszej z łączonych tabel (tzw. tabeli zewnętrznej), dla każdego odczytanego wiersza następuje porównanie z wszystkimi wierszami drugiej tabeli (tabeli wewnętrznej). Wiersze spełniające warunek złączenia są konkatenowane i zwracane jako wynik. Zatem mamy do czynienia z dwoma zagnieżdżonymi pętlami (zewnętrzna dla tabeli zewnętrznej, wewnętrzna dla wewnętrznej). Algorytm jest korzystny dla małych tabel zewnętrznych i tabel wewnętrznych zaopatrzonych w indeks na kolumnie złączenia. Sort-merge Sort-merge metoda polegajaca na posortowaniu wszystkich wierszy obu łączonych tabel względem kolumny złączenia, a następnie równoległym przechodzeniu przez poszczególne wiersze i dopasowywaniu ich do siebie. Wiersze spełniające warunek złączenia są konkatenowane i zwracane jako wynik. Algorytm jest korzystny dla dużych zbiorów danych. Hash-join Hash-join - algorytm wykorzystuje funkcję haszującą, przechodzi przez wszystkie wiersze obu tabel. Pierwsze przejście buduje tablicę haszowania dla tabeli zewnętrznej na kolumnie złączenia (elementy tej tablicy zawierają wartości kolumny złączenia i wskaźnik do wiersza, w którym wartość się znajduje). Drugie przejście stosuje funkcję haszującą dla kolumny złączenia w tabeli wewnętrznej i sprawdza czy jej wartośc koliduje z już zapisanymi wartościami (czyli czy wartości się pokrywają). Wiersze spełniające warunek złączenia są konkatenowane i zwracane jako wynik. Algorytm nie wymaga sortowania, korzystny dla dużych zbiorów danych. 1.5 Plany zapytań Szacowanie kosztu Dla każdego planu zapytania szacowany jest: koszt wykonania każdego operatora w planie zapytania, rozmiar wyniku wykonania każdego operatora. Maksymalny rozmiar wyniku oblicza się poprzez przemnożenie liczebności relacji w klauzuli FROM, następnie wyliczany jest współczynnik selektywności wyliczający wpływ predykatów na ograniczenie rozmiaru wyniku. Statystyki Na etapie wyboru procedur niskiego poziomu i tworzenia planów realizacji zapytania wykorzystywane są statystyki prowadzone przez bazę danych: dla tabel (liczebność, liczba stron, itp.) dla kolumn (kardynalność atrybutu, stron dla każdego indeksu) 6

7 dla indeksów (wysokość, maksymalna i minimalna wartość klucza indeksu) Niektóre systemy przechowują histogramy wartości atrybutów. Histogramy Histogram przedstawia rozkład empiryczny wartości danego atrybutu. Wyróżniamy histogramy: equi-depth - dla każdego pojedynczego interwału histogramu występuje równa liczba wartości atrybutu, placa l. wierszy equi-width - wszystkie interwały posiadają równą szerokość. placa l. wierszy Optymalizator Kroki wykonywane przez optymalizator budowa planu dla każdego bloku select-projection-group-by wyniki poszczególnych bloków są łączone operatorami binarnymi, poszukiwanie najlepszego planu wykonania bloku (znalezienie najlepszych ścieżek dostępu do relacji wyspecyfikowanych w zapytaniu) zastosowanie modelu operatorowego - operacje leżące na pojedynczej ścieżce planu wykonania zapytania są wykonywane łącznie (przetwarzanie potokowe krotek) Rodzaje optymalizatorów Optymalizator regułowy - do generowania planu wykorzystuje zbiór reguł postępowania z określonymi wagami. Uporządkowany według wag zbiór reguł nosi nazwę rankingu operacji optymalizatora regułowego. Optymalizator kosztowy - wylicza koszt poszczególnych planów wykonania zapytania i wybiera ten najtańszy. W procesie liczenia wykorzystuje statystyki. 2 Podsumowanie Podsumowanie Optymalizacja to wyzwanie i szansa dla systemów relacyjnych. Optymalizacja obejmuje przekształcenie zapytania do postaci wyrażenia algebry relacyjnej, przekształcenie do postaci kanonicznej, 7

8 wybór procedur niskiego poziomu (wśród istniejących algorytmów dla poszczególnych operatorów), wyszukanie najtańszego planu wykonania (z wykorzytsaniem reguł, wyliczeniem kosztów i stosowaniem statystyk). Wartość NULL - inhibitor optymalizacji. 3 Źródła Źródła W wykładzie wykorzystano materiały: C. J. Date, Wprowadzenie do systemów baz danych, WNT - W-wa, (seria: Klasyka Informatyki), 2000 M. Lentner, Oracle 9i Kompletny podręcznik użytkownika, PJWSTK - W-wa,