Wpływ ustawień parametru wieloblokowego sekwencyjnego czytania danych na czas wykonywania zapytania SQL w bazie danych Oracle 11g

Transkrypt

1 Radosław Boroński Politechnika Koszalińska, Wydział Elektroniki i Informatyki radoslaw.boronski@tu.koszalin.pl Wpływ ustawień parametru wieloblokowego sekwencyjnego czytania danych na czas wykonywania zapytania SQL w bazie danych Oracle 11g Streszczenie: Przedmiotem badań jest wpływ wielkości parametru inicjującego odpowiedzialnego za maksymalną ilość bloków danych czytanych jednocześnie w pojedynczej operacji wieloblokowego czytania sekwencyjnego (db_file_multiblock_read_count) i statystyk systemowych oraz statystyk obiektowych na czas wykonania zapytania SQL do bazy danych Oracle 11g. Badaniu poddano również różnice wykonania zapytania pomiędzy domyślnym ustawieniem parametru db_file_multiblock_read_count a jego ręczną modyfikacją i pośredni wpływ statystyk. 1. Środowisko produkcyjne Stanowisko dla przeprowadzenia badań składało się z jednego serwera o konfiguracji: system operacyjny Red Hat Enterprise Linux Server release 5.5, z jądrem el5, pamięć operacyjna 48 GB, cztery 4-rdzeniowe procesory Intel(R) Xeon(R) CPU 2.40 GHz, jedna partycja dyskowa o pojemności 535 GB. Na serwerze zainstalowano produkcyjną bazę danych Oracle w wersji , instancję ASM z dostępem do łącznej pojemności dysków 5,6 TB (macierz RAID). 2. Wieloblokowe czytanie danych Parametr db_file_multiblock_read_count odpowiedzialny jest za ustawienie możliwej, największej liczby bloków czytanych w operacji I/O (czytanie z dysku) w pojedynczej operacji czytania sekwencyjnego. Parametr ten jest pomocny przy minimalizacji bądź maksymalizacji operacji czytania danych z tabeli przy pełnym przeszukiwaniu tabeli. Całkowita liczba operacji I/O potrzebna do pełnego czytania tabeli uzależniona jest od takich operacji jak całkowity rozmiar przetwarzanej tabeli, wielkości rozmiaru czytania wieloblokowego czy operacji równoległego czytania tabeli. Zaczynając od wersji bazy danych Oracle 10g, domyślne ustawienie parametru db_file_multiblock_read_count odpowiada największej ilości operacji I/O dozwolonych przez system operacyjny. Wy- 7

2 sokość jej jest uzależniona jest od platformy i w większości przypadków równa się 1 MB danych czytanych równocześnie. Parametr ten wyrażany jest w blokach danych a jego wartość równa się ilorazowi największej ilości operacji I/O dozwolonych przez system operacyjny i rozmiarowi bloku danych [1]. W przypadku nieznanej wartości x(i/o), silnik bazy danych Oracle ustala ten parametr wg reguły [2]: _ _ _ _ _ _, _ _ _ _ Wieloblokowe czytanie danych uzależnione jest również od ilości ekstentów w danym segmencie. W przypadku, gdy segment zbudowany jest z ekstentów zawierających mniejszą ilość bloków danych niż parametr db_file_multiblock_read_count, nastąpi czytanie bloków danych do maksymalnej wartości ilości bloków danych w danym ekstencie. Dodatkowo, nagłówek segmentu danych zawsze czytany jest pojedynczo, blok po bloku i nigdy nie bierze udziału w czytaniu wieloblokowym. Kolejnym wyjątkiem jest sytuacja w której iloraz całkowitej ilości bloków danych w ekstencie i wielkość parametru db_file_multiblock_read_count nie jest liczbą całkowitą. W takim przypadku następuje czytanie wszystkich pozostałych, nieprzeczytanych bloków danych z ekstentu, a kolejny do przeczytania ekstent jest traktowany jako osobny obiekt, czyli maksymalna ilość czytanych bloków danych nie może być rozdzielona na następujące po sobie ekstenty [3]. 3. Przedmiot badań Badanie zostało przeprowadzone na niepartycjonowanej tabeli o wielkości 9576 MB, zawierającej 102,5 miliona rekordów. Tabela przechowywana jest w przestrzeni tabel, w jednym pliku, zarządzanym przez system plików ASM (Automatic Storage Management), o łącznej pojemności dysków macierzy 5,6 TB i zastosowanej jednostce alokacji 1 MB (au_size). Oprócz tabeli testowej, w przestrzeni tabel znajdują się też inne tabele biorące udział w procesach prod produkcyjnych. Całkowite miejsce zajęte przez wszystkie obiekty w bazie danych wynosi 1,2 TB. Logiczna budowa tabeli testowej składa się z 332 ekstentów, zawierających bloków danych o wielkości bajtów. Pierwszy ekstent tabeli ma rozmiar 192 kb. Średnia ilość bloków w ekstencie wynosi 923. Rozkład ekstentów w testowanym segmencie zarządzany jest automatycznie (lokalnie) przez silnik bazy danych. Bloki występujące w pamięci podręcznej bufora danych bazy danych nie są brane pod uwagę jako kandydaci do czytania z ekstentu. W takim przypadku, następuje czytanie maksymalnej, dopuszczalnej ilości bloków danych do buforowanego bloku. 4. Badanie modelowe Badanie testowe polegało na 32-krotnym, pełnym (full table scan) czytaniu tabeli testowej z zastosowaniem różnych wartości parametru db_file_multiblock_read_count. Najmniejszą ustawioną wartością było 0 bloków (co wymusza zastosowanie wartości 8

3 domyślnej parametru), największą zaś 256 bloków przy jednorazowym czytaniu, co przy ustawionym rozmiarze bloku danych (32 kb) generowało operację odczytu o wielkości 8 MB. Krok zmiany parametru wynosił 8 w każdej operacji (0, 8, 16, 24, 32, 40,., 256). Parametr maksymalny został ustawiony na wartość 256 po to, aby nie przeciążyć systemu operacyjnego i procesów I/O potrzebnych do wykonania innych równoległych operacji w bazie danych. System operacyjny nie miał ustawionej dopuszczalnej wartości maksymalnej dla operacji I/O. Przed każdą operacją odczytu danych czyszczony był bufor pamięci podręcznej bazy danych. Zapytanie testowe do bazy danych zawierało nakaz wygenerowania ilości wszystkich wierszy zawartych w tabeli (SELECT count(*) FROM test). W zapytaniu, dodatkowo zastosowano serię wskazówek (hints). Pierwszą wskazówką (nocache) było wymuszenie pomijania odczytu danych z bufora danych. Miało to na celu upewnienie się, że wszystkie czytane przez bazę bloki danych są blokami pochodzącymi z dysku a nie bufora pamięci podręcznej. Kolejną wskazówką (full) zastosowaną w zapytaniu było wymuszenie pełnego czytania tabeli (blok po bloku). Ostatnią zaś wskazówką (noparallel) było wymuszenie niestosowania przetwarzania równoległego, które rozdzieliłoby operacje czytania bloków danych na procesy podrzędne. Operacja taka mogłaby zapobiec wykorzystania maksymalnej wartości parametru czytania wieloblokowego. Pełną iterację testową (32 kroki) podzielono na 2 nadrzędne serie różniące się sposobem rozproszonego ładowania czytanych bloków do buforu danych (db file scattered read) i z pominięciem takiego ładowania (direct path read). Celem takiego kroku było sprawdzenie czy przy sekwencyjnym czytaniu wieloblokowym, ładowanie danych do bufora danych ma wpływ na czas wykonania zapytania. Rozproszone ładowanie do bufora danych polega na sekwencyjnym czytaniu danych z dysku a następnie dyslokacyjnemu załadowaniu tych danych do bloków pamięci podręcznej bazy danych. Operacja taka ma na celu przechowywanie bloków danych w pamięci do ponownego użycia przez inne procesy w przyszłości, ze względu na szybszy dostęp do komórek pamięci niż do bloków dysku. Direct path read natomiast całkowicie pomija bufor danych i ładuje czytane bloki bezpośrednio do pamięci PGA (Program Global Area) części pamięci wydzielonej do obsługi sesji i przechowywania elementów potrzebnych do jej poprawnej obsługi [4]. Nadrzędne serie podzielono na serie podrzędne różniące się zastosowaniem aktualnych statystyk systemowych i obiektowych. Statystyki systemowe mogą mieć duże znaczenie przy opracowywaniu najlepszego planu wykonania zapytania przez optymalizator kosztowy. Zawierają one dane nt. szybkości procesorów, uśrednionych czasów potrzebnych wykonania pojedynczej operacji czytania jednego bloku lub operacji czytania wieloblokowego, lub uśrednioną ilość bloków czytanych w jednej operacji [5]. Statystyki systemowe nie są generowane automatycznie przy tworzeniu bazy danych. Należy je wygenerować ręcznie. Tabela 1 przedstawia parametry statystyk systemowych wygenerowane podczas jednego kroku wykonywania zapytania testowego. 9

4 Tab. 1. Wygenerowane parametry statystyk systemowych na środowisku testowym Parametr Wartość CPUSPEEDNW IOSEEKTIM IOTFRSPEED SREADTIM MREADTIM.578 CPUSPEED 2060 MBRC 4 MAXTHR SLAVETHR Statystyki obiektów są również niezbędne do oszacowania poprawnego planu wykonywania zapytania. Brane są pod uwagę ilość rekordów w tabelach, liczba użytych i pustych bloków, średnia zajętość bloków danych czy średnia długość rekordu [6]. Zastosowanie statystyk obiektowych i systemowych miało na celu sprawdzenia czy dla tej samej liczby bloków czytanych naraz (w danej iteracji), owe statystyki mają znaczący wpływ na czas wykonania zapytania. Czy poprzez zwiększoną ilość czytanych bloków i z jednocześnie lepszą wiedzą na temat testowanego obiektu, optymalizator kosztowy jest w stanie wygenerować lepszy plan wykonania zapytania [7]. 5. Przebieg badania Każdą serię testów powtórzono pięciokrotnie. Sprawdzony został czas systemowy przed wykonaniem każdej z iteracji, wykonano krok iteracji (przeczytano całą tabelę) z ustawionym w zależności od kroku parametrem db_file_multiblock_read_count, a następnie znowu sprawdzono czas systemowy. Różnica czasu systemowego jest wynikiem końcowym dla danego pomiaru. Wartości tego czasu z każdej iteracji zostały uśrednione. Badanie przeprowadzono najpierw na obiekcie z niedostępnymi statystykami systemowymi i obiektowymi, z zastosowaną metodą ładowania czytanych bloków do bufora danych (db file scattered read). Następnie wygenerowano statystyki systemowe i przeprowadzono kolejną serię testów. W kolejnej serii wygenerowano statystyki obiektowe dla tabeli testowej. Po każdej serii sprawdzono maksymalną ilości bloków czytanych w danej serii. Rysunek 1 przedstawia wyniki pomiaru ilości czytanych jednorazowo bloków dla serii bez statystyk systemowych i obiektowych. Rysunek 2 przedstawia uśrednione wartości pomiaru czasu wykonywania zapytania dla każdej z serii. 10

5 Ilość przeczytanych bloków SR 0 SR 256 SR 128 SR 64 Liczba operacji czytania bloków Rys. 1. Ilość jednorazowo czytanych bloków danych dla operacji czytania z ładowaniem do bufora danych czas [s] 31 30, , , , , , , , mbrc [blocks] scatter reads / no system stats / no object stats scatter reads / no system stats / object stats uśredniona wartość domyślna [0] scatter reads / system stats / no object stats scatter reads / system stats / object stats Rys. 2. Uśrednione wartości pomiaru czasu wykonywania zapytania dla różnych wartości parametru db_file_multiblock_read_count z ładowaniem do bufora danych Te same kroki powtórzono dla metody z pominięciem ładowania bloków do bufora danych (direct path read). Rysunek 3 przedstawia wyniki pomiaru ilości czytanych jednorazowo bloków dla serii bez statystyk systemowych i obiektowych dla tej metody. Rysunek 4 przedstawia uśrednione wartości pomiaru czasu wykonywania zapytania dla każdej z serii tej metody. 11

6 Ilość przeczytanych bloków Liczba operacji czytania bloków DR 0 DR 256 DR 128 DR 64 Rys. 3. Ilość jednorazowo czytanych bloków danych dla operacji czytania bez ładowania do bufora danych czas [s] mbrc [blocks] direct reads / no system stats / no object stats direct reads / system stats / no object stats direct reads / no system stats / object stats direct reads / system stats / object stats uśredniona w artość domyślna [0] Rys. 4. Uśrednione wartości pomiaru czasu wykonywania zapytania dla różnych wartości parametru db_file_multiblock_read_count bez ładowania do bufora danych 6. Wnioski Z przeprowadzonych badań i uzyskanych wyników wnioskuje się, że: domyślnie ustawienie parametru db_file_multiblock_read_count nie jest ustawieniem optymalnym dla najszybszego czytania całej tabeli, dla wieloblokowego czytania danych z dysku z ładowaniem do bufora danych, zawsze otrzymuje się lepszy wynik dla ustawienia parametru db_file_multiblock_read_count powyżej 32 bloków, dla wieloblokowego czytania danych z dysku z pominięciem ładowania danych do bufora danych, otrzymuje się lepszy wynik dla ustawienia parametru db_file_multiblock_read_count powyżej 140 bloków, z pominięciem serii be statystyk obiektowych i z zastosowaniem statystyk systemowych, dla której wartość jest bliska domyślnej wartości uśrednionej, 12

7 wartości 8 i 16 parametru db_file_multiblock_read_count nie są optymalne dla operacji czytania tabeli i uzyskany czas czytania jest zawsze gorszy od domyślnego ustawienia parametru przez system bazy danych, wieloblokowe czytanie serii danych metodą z pominięciem ładowania do buforu jest w każdym przypadku szybsze niż czytanie wieloblokowe danych z ładowaniem danych do bufora danych, statystyki systemowe i obiektowe nie mają większego wpływu na szybkość wykonania zapytania i czasy wykonywania są porównywalne (dla tej samej wartości parametru wieloblokowego czytania danych) z czasami wykonywania zapytania na obiekcie z aktualnymi statystykami, najlepszy czas wykonywania uzyskano dla parametru db_file_multiblock_read_count wielkości 256 z zastosowaniem metody czytania z pominięciem bufora danych i zastosowaniem obydwu rodzajów statystyk. Czad wykonania zapytania wyniósł 13 sekund, dla metody db file scattered read, pomimo ustawionego parametru db_file_multiblock_read_count na wielkości powyżej 128, nie udało się uzyskać jednoczesnego wieloblokowego czytania danych o ilości powyżej 128 bloków. Powodem może być blokada silnika bazy danych na jednoczesne czytanie ilości danych powyżej 4MB (128 bloków x bajtów/blok) [8], silnik bazy danych w każdym przypadku stara się czytać jednocześnie maksymalną dozwoloną ilość bloków i wielkości te odchylają się nieznacznie (rysunki 1 i 3). Literatura 1. Oracle Database Reference 11g Release 1 (11.1), Part Number B Antognini C., Troubleshooting Oracle Performance, Apress, Ibidem. 4. Oracle Database Performance Tuning Guide, 11g Release 1 (11.1), Part Number B Loney K., Oracle Database 11g. Kompendium Administratora, Helion, Warszawa, Freeman Rober G., OCP: Oracle Database 11g Administrator Certified Professional, Sybex, Oracle Database Performance Tuning Guide, op.cit. 8. Burleson D., Oracle Tuning: The Definitive Reference, Rampant Techpress,