Plan prezentacji. Monitorowanie bazy danych Migracja danych. Automatic Workload Repository (1/5)

Transkrypt

1 Plan prezentacji Monitorowanie bazy danych Migracja danych Monitorowanie bazy danych AWR ADDM Metryki Alerty Migracja danych Data pump Export/Import SQL*Loader Externaltables Transportable tablespaces SQL*Plus SQL Developer RMAN - Duplicate Automatic Workload Repository (1/5) 232 Automatic Workload Repository (2/5) 233 Baza danych generuje wiele różnego rodzaju statystyk wydajnościowych Statystyki wydajnościowe, to dane, opisujące np.: działanie systemu sesje użytkowników, zapytania serwisów AWR pozwala zautomatyzować proces zbierania tych dynamicznie zmieniających się statystyk (dla wersji wcześniejszych niż 10g patrz -> statpack) Domyślnie statystyki: zbierane są co godzinę przechowywane w bazie danych przez 8 dni (7 dni dla 10g) Statystyki systemowe mają charakter narastający zerowane w momencie startu instancji później ich wartości tylko przyrastają Źródłem statystyk są między innymi dynamiczne perspektywy Zebrane wyniki mogą być analizowane przez użytkowników albo przez narzędzia wspomagające proces administrowania bazy danych

2 234 Infrastruktura mechanizmów monitorowania i diagnostyki Automatic Workload Repository (3/5) 235 Działania proaktywne Podpowiadacze (advisor) Automatyczne działania AWR Alerty Wiedza na temat Automatyczne zbieranie historii bazy danych statystyk Działania reaktywne Błędy krytyczn e Automatic Diagnostic Repository Bezpośredni dostęp do pamięci instancji Poziom szczegółowości zbieranych statystyk reguluje parametr inicjalizacyjny: STATISTICS_LEVEL, który może przyjmować wartości: BASIC TYPICAL ALL Dodatkowo można skonfigurować parametr: CONTROL_MANAGEMENT_PACK_ACCESS, Może on przyjmować wartości: DIAGNOSTIC+TUNING (SQL Tuning Advisor, SQLAccess Advisor,...) DIAGNOSTIC (AWR, ADDM,...) NONE Automatic Workload Repository (4/5) 236 Automatic Workload Repository (5/5) 237 Statystyki zbierane przez AWR obejmują następujące aspekty pracy bazy danych: Time Model Statistics Wait Event Statistics Session and System Statistics Active Session History Statistics High-Load SQL Statistics Repozytorium AWR stanowi podstawę działania wszystkich mechanizmów automatycznego strojenia bazy danych (advisors) Konfiguracja: OEM -> Server -> AWR Raporty: OEM -> Server -> AWR -> Run AWR Report Zebranie statystyk ręcznie OEM -> Server -> AWR -> Snapshots

3 AWR lista zebranych migawek 238 AWR - raport 239 Ręczne zebranie migawki Raport na podstawie zawartości migawki należy wskazać migawkę początkową i końcową pomiędzy wskazanymi migawkami nie mogło wystąpić wyłączenie bazy danych AWR - raport 240 Automatic Database Diagnostic Monitor (1/3) Uruchamiany automatycznie po każdym zebraniu danych przez AWR Wykrywa i raportuje problemy z bazą danych Do swojego działania wykorzystuje repozytorium AWR Wynik działania jest prezentowany na stronie głównej konsoli OEM Przeglądanie wyników działania ADDM pozwala na szybkie zidentyfikowanie potencjalnego zagrożenia dla bazy danych Podpowiedzi zawierają informacje na temat kroków, jakie musi podjąć administrator bazy danych aby zminimalizować zagrożenie 241

4 242 Automatic Database Diagnostic Monitor (2/3) Typowe podpowiedzi dotyczą: modyfikacji sprzętu (pamięć, procesory, dyski,...) zmiany oprogramowania zarówno Oracle (strojenie) jak i zewnętrznego do bazy danych zmian w schemacie bazy danych zmiany logiki aplikacji (cache dla sekwencji, zmienne wiązania) uruchomienia innego advisora Automatic Database Diagnostic Monitor (3/3) Uruchamianie ADDM: OEM -> Performance -> Snapshots -> Run ADDM OEM -> Advisor Central-> ADDM Następnie określa się zakres dat (numery migawek mechanizmu AWR) których ma dotyczyć analiza Analiza uzyskanych wyników: na stronie głównej OEM, pozycja: ADDM Findings OEM -> Advisor Central -> historia uruchomień 243 ADDM informacje na stronie głównej EM 244 ADDM wyniki analizy 245

5 ADDM raport (fragment) 246 ADDM problemy i rekomendacje 247 Proponowane rozwiązania zawierają informacje o: problemie symptomach dodatkowe informacje o problemie Aplikowanie zaproponowanych zmian: OEM -> ADDM Findings ADDM problemy i rekomendacje 248 ADDM problemy i rekomendacje 249

6 250 ADDM historia znalezionego problemu Metryki (1/2) 251 Dynamiczne statystyki wydajnościowe informują o liczbie zdarzeń (odczyty/zapisy danych, dane wysłane/odebrane przez sieć, liczba zapytań użytkownika, ), które miały miejsce od uruchomienia instancji bazy danych Dynamiczne statystyki w żaden sposób nie informują jednak o tym, jak uzyskana wartość narastała w czasie (czy obecnie mamy tendencje wzrostową, czy też od dłuższego czasu dane zdarzenie w ogóle nie występowało) Metryki (2/2) 252 Metryki spis metryk 253 Metryki informują nas o tym, jak wartość danej statystyki zmieniała się w ostatniej jednostce czasu Metryki przeważnie reprezentują informacje o przyroście danej wartości w zdefiniowanej jednostce czasu (różnej dla różnych metryk) AWR przechowuje w swoim repozytorium wartości metryk OEM -> Related Links -> All Metrics

7 Metryki - przykłady 254 Alerty (1/2) 255 Baza danych Oracle (10g) została wyposażona w infrastrukturę pozwalającą na informowanie administratora o zbliżającym się niebezpieczeństwie Alert jest generowany, gdy wartość metryki przekroczy wartość skonfigurowanego progu Automatyczne alerty dotyczą błędów: zajętości przestrzeni tabel Snapshot Too Old mało miejsca w obszarze Recovery Area Alerty (2/2) 256 Alerty konfiguracja progów 257 Alerty mogą być zgłaszane na jednym z dwóch poziomów ważności: ostrzeżenie (warning) krytyczny (critical) Progi dla których generowane są alerty mogą być konfigurowane przez administratora OEM -> Related Links -> Metric and policy settings Z każdym alertem może być związane automatyczne działanie korekcyjne

8 258 Alerty automatyczne działania naprawcze Alerty powiadomienia Informacje o alertach: są wyświetlane na stronie głównej EM mogą być wysyłane do administratorów przy pomocy poczty elektronicznej mogą powodować uruchomienie procedury PL/SQL lub programu w systemie operacyjnym 259 Alerty strona główna EM 260 Alerty konfiguracja powiadomień 261

9 Alerty opis problemu 262 Historia alertów 263 OEM -> Alert History Alerty obsługa W zależności od typu alertu administrator powinien naprawić zgłoszony problem, a nastepnie: system automatycznie zauważy zmiany i wygasi alert administrator musi ręcznie wygasić alert (na stronie z opisem szczegółów alertu) Migracja danych

10 Migracja danych w EM 266 Ładowanie danych: ścieżka bezpośrednia a konwencjonalna 267 insert zapisy do pliku Tabela HWM Ścieżka konwencjonalna Polecenia COMMIT Dane redo zawsze generowane Sprawdzane wszystkie ograniczenia integralnościowe Powoduje uruchomienie odpowiednich wyzwalaczy Umożliwia ładowanie do tabel w klastrach Inni użytkownicy normalnie korzystają (modyfikują) tabelę Ścieżka bezpośrednia Bezpośredni (szybki) zapis do plików Dane redo mogą być generowane Sprawdzane tylko: PRIMARY KEY, UNIQUE, oraz NOT NULL Nie uruchamia wyzwalaczy Nie obsługuje tabel w klastrach Tabela zablokowana przed możliwością wprowadzania zmian przez użytkownikow Data Pump (1/3) Data Pump (2/3) Wbudowana w bazę danych (od wersji 10g) funkcjonalność odpowiadająca za przenoszenie danych pomiędzy bazami danych Oracle Pozwala na bezpośrednie lub pośrednie (za pomocą wynikowego pliku z danymi) przenoszenie danych bez względu na: wersję serwera bazy danych (wymagane 10g lub wyższe) system operacyjnym na którym działa ten serwer Wewnątrz bazy danych działanie tego mechanizmu kontroluje pakiet: DBMS_DATAPUMP Na zewnątrz interfejs do Data Pump zapewniają narzędzia: expdp/impdp dostępne z poziomu linii komend systemu operacyjnego, pracujące w trybie: interaktywnym parametry przekazane w linii polecenia parametry w pliku parametrów Strony EM OEM -> Data Movement-> Export to/import from Export files

11 Data Pump (3/3) 270 Data Pump - zalety 271 Wspiera działania wykonywane przy pomocy ścieżki bezpośredniej i konwencjonalnej Pozwala na zdefiniowanie zadania, a następnie na dowolne odłączanie i dołączanie się do bazy danych w celu sprawdzenia: postępu prac informacji o błędach wstrzymania/wznowienia wykonywania prac Możliwość określenia, która tabela oraz które dane przenosić (warunek lub losowa próbka danych) Jawna specyfikacja wersji docelowej bazy danych Równoległe wykonywanie operacji Szacowanie czasu wykonywania operacji Tryb sieciowy dla środowisk rozproszonych Możliwość wyspecyfikowania parametrów importu, różnych od parametrów eksportu (remapping) Próbkowanie danych Kompresja danych i metadanych Szyfrowanie danych Obsługa XMLowych typów danych Data Pump architektura 272 Data Pump 273 Źródło Baza danych Master table expdp Data Pump job Proces serwera Pliki wynikowe Tryb sieciowy Database link Pliki wynikowe Proces serwera Data Pump job impdp Cel Baza danych Master table Tryby pracy baza danych schemat tabela przestrzeń tabel metadane mechanizmu Transportable tablespace Przykładowe wywołanie (linia poleceń): expdp hr/hr FULL=y DUMPFILE=dp_dir1:full1%U.dmp, dp_dir2:full2%u.dmp FILESIZE=2G PARALLEL=3 LOGFILE=dp_dir1:expfull.log JOB_NAME=expfull

12 Data Pump eksport (1/3) 274 Data Pump eksport (2/3) 275 Data Pump eksport (3/3) 276 Data Pump import danych (1/3) 277

13 Data Pump import danych (2/3) 278 Data Pump import danych (3/3) 279 Data Pump import danych z innej baz danych 280 Export/Import (1/4) 281 Przed wersją Oracle 10g były to podstawowe narzędzia do przenoszenia danych pomiędzy bazami danych Oracle (niezależność od wersji i platformy) Obecnie zaleca się stosowanie Data Pump Uruchamiane z linii poleceń z poziomu serwera lub dowolnego klienta bazy danych Programy exp i imp

14 Export/Import (2/4) Export/Import (3/4) Plik danych binarny, ale zawiera dane w postaci odczytywalnej dla człowieka Plik danych na maszynie na której uruchomiono narzędzie Operacje wykonywane przy uruchomionej bazie danych Praca w trybie ścieżki konwencjonalnej i bezpośredniej Tryb uruchamiania: interaktywny parametry w linii poleceń parametry w pliku parametrów Tryby pracy: cała baza danych przestrzeń tabel schemat użytkownika tabela Export/Import (4/4) 284 SQL*Loader 285 Oprócz schematu i danych tabel narzędzia przenoszą pozostałe obiekty bazy danych: składowane procedury, funkcje, pakiety wyzwalacze perspektywy statystyki obiektów pgraniczenia integralnościowe indeksy Często wykorzystywane jako element logicznej kopii bezpieczeństwa bazy danych Ładuje dane z zewnętrznego pliku do bazy danych Wymaga przygotowania pliku opisującego format danych wejściowych i sposób ich ładowania do tabel w bazie danych Pracuje w trybie ścieżki bezpośredniej i konwencjonalnej Uruchamiany z poziomu linii poleceń sqlldr lub EM OEM -> Data Movement-> Load data from user files

15 SQL*Loader architektura 286 SQL*Loader (1/6) 287 Dane wejściowe Plik sterujący Odrzucone Odrzucone SQL*Loader Przygotowanie danych Poprawne Selekcja danych Wybrane Oracle server Wstawione Niepoprawne Niepoprawne Niepoprawne Log SQL*Loader (2/6) 288 SQL*Loader (3/6) 289

16 SQL*Loader (4/6) 290 SQL*Loader (5/6) 291 SQL*Loader (6/6) 292 SQL*Loader wygenerowany skrypt sterujący 293 LOAD DATA APPEND INTO TABLE hr.employees_loader FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ( EMPLOYEE_ID INTEGER EXTERNAL, FIRST_NAME CHAR, LAST_NAME CHAR, CHAR, PHONE_NUMBER CHAR, HIRE_DATE DATE, JOB_ID CHAR, SALARY INTEGER EXTERNAL, COMMISSION_PCT INTEGER EXTERNAL, MANAGER_ID INTEGER EXTERNAL, DEPARTMENT_ID INTEGER EXTERNAL )

17 SQL*Plus (1/2) 294 SQL*Plus (2/2) 295 Konfiguracja ustawień narzędzia SQL*Plus SQL> SET ECHO OFF SQL> SET NEWPAGE 0 SQL> SET SPACE 0 SQL> SET PAGESIZE 0 SQL> SET FEEDBACK OFF SQL> SET HEADING OFF Eksport do pliku z danymi rozdzielonymi znakami tabulacji SQL> SPOOL c:\emp.txt SQL> select from emp where... order by ; SQL> SPOOL OFF Export do formatu CSV SQL> SPOOL c:\emp.csv SQL> select col1, col2, col3 from emp; SQL> SPOOL OFF Eksport do postaci skryptu w języku SQL SQL> SPOOL c:\emp.sql SQL> select insert into nowe_emp (col1, col2, col2) values ( col1, col2, col3 ); from emp; SQL> SPOOL OFF Wsadowe uruchomienie skryptu C:\> sqlplus -S scott/tiger@ploug c:\emp.sql External tables (1/4) 296 External tables (2/4) 297 Pozwalają na reprezentowanie danych zapisanych w plikach zewnętrznych w stosunku do bazy danych w sposób udający relacyjna tabelę Do ładowania danych wykorzystuje SQL*Loader lub Data Pump Utworzone w ten sposób tabele zezwalają tylko na odczyt danych (SELECT) Każdorazowe zapytanie do tabeli zewnętrznej uruchamia narzędzie ładujące dane Dane te nie są w żaden sposób utrwalane w bazie danych Wszystkie zmiany w plikach źródłowych będą odzwierciedlane przez wyniki kolejnych zapytań do tabeli zewnętrznej Data Pump pozwala na jednorazowe zapisanie danych w pliku (CREATE TABLE AS SELECT) i później na traktowanie takiego pliku jako tabeli zewnętrznej

18 External tables (3/4) 298 External tables (4/4) 299 CREATE TABLE emp_ext (first_name, last_name, department_name) ORGANIZATION EXTERNAL ( TYPE ORACLE_DATAPUMP DEFAULT DIRECTORY ext_dir LOCATION ('emp1.exp','emp2.exp','emp3.exp') ) PARALLEL AS SELECT e.first_name,e.last_name,d.department_name FROM employees e, departments d WHERE e.department_id = d.department_id AND d.department_name in ('Marketing', 'Purchasing'); CREATE TABLE extab_employees (employee_id NUMBER(4), first_name VARCHAR2(20), last_name VARCHAR2(25), hire_date DATE) ORGANIZATION EXTERNAL ( TYPE ORACLE_LOADER DEFAULT DIRECTORY extab_dat_dir ACCESS PARAMETERS ( records delimited by newline badfile extab_bad_dir:'empxt%a_%p.bad' logfile extab_log_dir:'empxt%a_%p.log' fields terminated by ',' missing field values are null ( employee_id, first_name, last_name, hire_date char date_format date mask "dd-mon-yyyy )) LOCATION ('empxt1.dat', 'empxt2.dat') ) PARALLEL REJECT LIMIT UNLIMITED; Transportable tablespaces (1/8) 300 Transportable tablespaces (2/8) 301 Najszybszy sposób przenoszenia danych pomiędzy bazami danych Oracle Polega na kopiowaniu plików danych z bazy źródłowej do docelowej Razem z plikami danych należy przenieść metadane opisujące zawartość plików export odpowiednich struktur słownikowych W zależności od wersji baz wspierane są różne kombinacje wersji bazy źródłowej i docelowej jeżeli bazą docelową jest baza w wersji 11g, to źródłem może być baza o wartości parametru COMPATIBLE = W kolejnych wersjach bazy danych zmniejszane są kolejne ograniczenia dotyczące możliwości transportu pomiędzy różnymi platformami: system operacyjny/hardware Perspektywa v$transportable_platform zawiera informacje o obsługiwanych platformach i stosowanych na nich formatach endian Minimum Compatibility Setting Source Database Target Database Transport Scenario Databases on the same platform Tablespace with different database block size than the target database Databases on different platforms

19 Transportable tablespaces (3/8) 302 Transportable tablespaces (4/8) 303 Źródło Przestrzenie tabel w stanie read-only Eksport metadanych export/data Pump Czy źródło i cel używają tego samego standardu endian? Tak Nie Konwersja plików przy przez program RMAN (10g) Dostarczenie plików do bazy docelowej Import metadanych Cel Przestrzenie tabel w stanie odczyt-zapis Transportable tablespaces (5/8) 304 Transportable tablespaces (6/8) 305

20 Transportable tablespaces (7/8) 306 Transportable tablespaces (8/8) 307 SQL Developer (1/3) 308 SQL Developer (2/3) 309 Import Data Export Data Export DDL Excel Save to file Save to worksheet Save to clipboard TEXT CSV INSERT LOADER XML HTML XLS Eksport/Import danych i definicji pojedynczej tabeli Eksport definicji i danych wielu obiektów

21 SQL Developer (3/3) 310 RMAN Duplicate (1/3) 311 Wybór obiektów, które mają zostać wyeksportowane oraz warunków, które mają spełniać eksportowane dane Polecenie Duplicate programu RMAN pozwala stworzyć bazę danych będącą kopią bazy źródłowej Wykorzystuje kopie archiwalne duplikowanej bazy danych Duplikat bazy danych może: mieć zmienioną nazwę mieć zmieniony numer seryjny zostać uruchomiony na innym serwerze lub w innym katalogu $ORACLE_HOME RMAN Duplicate (2/3) 312 RMAN Duplicate (3/3) Tworzenie pliku hasłowego dla bazy danych auixiliary 2. Nawiązanie połączenia z instancją auixiliary (protokół SQL*Net) 3. Stworzenie pliku parametrów dla instancji auixiliary 4. Uruchomienie instancji auixiliary w trybie NOMOUNT 5. Uruchomienie źródłowej bazy danych 6. Sprawdzenie dostępności kopi archiwalnych źródłowej bazy danych 7. Alokacja kanałów auxiliary przez program RMAN 8. Wykonanie polecenia DUPLICATE