Archiwizacja. i odtwarzanie bazy

Transkrypt

1 Archiwizacja i odtwarzanie bazy

2 O czym będzie Metody odzyskiwania danych w DB2 Dzienniki transakcji Metody tworzenia kopii zapasowych Metody odtwarzania Operacje rollforward Odbudowa indeksów

3 Problemy... Nigdy nie wiadomo, kiedy awaria systemu może nastąpić Wiele powodów może być przyczyną utraty danych Czynniki zewnętrzne Czynniki wewnętrzne Pytania: Czy archiwizowaliśmy bazę? Czy jesteśmy w stanie odtworzyć wszystkie transakcje do ostatniego momentu z przed awarii

4 Strategia odtwarzania By minimalizować utratę danych musimy: opracować strategię odtwarzania upewnić się co do jej skuteczności ciągle przećwiczyć, testować i przystosować do zmian Mogą wystąpić takie scenariusze: Zatrzymanie systemu: brak zasilania, awaria sprzętu, błąd aplikacji mogą doprowadzić do niespójności bazy danych Błąd transakcji: nieumyślne umieszczenie błędnych danych przez użytkownika Awaria sprzętu: uszkodzenie nośnika danych (dysku(ów)) może powodować utratę części lub całej bazy danych Katastrofa: pożar, powódź i inne

5 Planowanie Aby zaplanować strategię odtwarzania i odzyskiwania danych należy sobie odpowiedzieć na następujące pytania Czy dane mogą być ponownie załadowane z innego źródła Na utratę jakiego rozmiaru danych możemy sobie pozwolić Ile czasu mamy na odzyskiwanie bazy danych Jakie zasoby (nośniki danych) posiadamy do przechowywania kopii zapasowych i pliki dziennika transakcji

6 Koncepcje odzyskiwania DB2 prowadzi następujące koncepcje odzyskiwania danych Crash recovery: pozwala na odtwarzanie bazy danych do stanu spójności poprzez wycofanie wszystkich nie zatwierdzonych transakcji Version recovery: pozwala na odtwarzanie bazy danych na podstawie ostatniego zachowanego obrazu bazy (komenda BACKUP). Wszystkie zmiany, które zachodziły w bazie od momentu wykonania komendy BACKUP do wystąpienia awarii są stracone! Rollforward recovery: Rozszerzenie version recovery o odzyskiwanie nie zapisanych zmian na podstawie zapisów w plikach dziennika transakcji Pozwala również na przywracanie bazy do określonej chwili czasu Wymaga zastosowania logów archiwalnych

7 Dziennik transakcji Jest decydującym czynnikiem w procesie odtwarzania bazy danych Przechowuje ścieżki wszystkich zmian zachodzących w obiektach i plikach bazy Dla zapewnienia integralności danych DB2 stosuje metodę uprzedni zapis (writeahead) Zapis do dziennika transakcji przed zapisaniem do plików bazy danych

8 Schemat zapisu danych

9 Wyjaśnienie Package cache: obszar pamięci do przechowywania przetwarzanych poleceń SQL Buffer pool: obszar pamięci do przechowywania danych Data page: strona pamięci (4kB może mieć do 32 kb) Log buffer: obszar pamięci do przechowywania zapisów dziennika transakcji Podczas przetwarzania poleceń SQL, zmiany są najpierw zachowane w buforze dziennika transakcji, następnie zapisane do pliku pliku dziennika (log buffer jest pełny lub zatwierdzenie transakcji commit-) Zapis do plików bazy danych nastąpi w momencie zapełnienia buffer pool (brak miejsca w pamięci na nowe strony) lub asynchroniczne (optymalizacja dostępu do danych)

10 Podstawowe i wtórne pliki dziennika transakcji Podstawowe pliki dziennika są tworzone natychmiast po połączeniu z bazą danych Wtórne pliki dziennika są tworzone dynamicznie w razie potrzeby Podstawowe parametry konfiguracji LOGPRIMARY: określa liczbę podstawowych plików dziennika do tworzenia LOGSECOND:określa maksymalną liczbę wtórnych plików dziennika do tworzenia LOGFILSIZ: rozmiar pliku dziennika (po 4kB)

11 Przykład konfiguracji LOGFILSIZ = 250 LOGPRIMARY= 3 LOGSECOND = 2 LOGPATH = C:\mylogs\ Zawartość c:\mylogs\ :40p 1,032,192 S LOG :40p 1,032,192 S LOG :40p 1,032,192 S LOG

12 Typy plików dziennika Aktywny - wtedy gdy: Zawiera transakcje nie zatwierdzone (commited) lub nie wycofane (rolled back) Zawiera transakcje zatwierdzone ale jeszcze nie zapisane w plikach bazy danych Bieżący archiwalny plik dziennika: Zawiera informacje dot. transakcji zatwierdzonych zapisanych w plikach bazy danych Przechowywany w tym samym katalogu co aktywny plik dziennika Archiwalny plik dziennika: Plik dziennika przechowywany w innym katalogu lub urządzeniu

13 Rodzaje dzienników - Cykliczny Cykliczny dziennik (circular logging): domyślny rodzaj dziennika Jeśli zostało zdefiniowanych 4 podstawowe pliki dziennika (LOGPRIMARY=4) będą one użyte następująco: log#1, log#2, log#3, log#4, log#1, log#2... Plik dziennika może być ponownie użyty jeśli nie jest w stanie aktywnym Jeśli transakcja wymaga więcej plików dziennika niż zdefiniowano w LOGPRIMARY, DB2 wykorzysta wtórny plik dziennika (secondary log file)

14 Ilustracja Cykliczny plik dziennika

15 Rodzaje dzienników Przechowywany (retain) Plik dziennika nie może być użyty ponownie Po wykorzystaniu wszystkich plików dziennika są one archiwizowane do innego katalogu lub urządzeniu Należy inicjować taki rodzaj dziennika db2 update db cfg for database_name using LOGRETAIN ON db2 update db cfg for database_name using USEREXIT ON Userexits: programy pozwalające na przeniesienie archiwalnych plików dziennika do innego katalogu niż pliki aktywnego dziennika lub do innego urządzenia

16 Ilustracja Przechowywany plik dziennika (retain)

17 Archiwizacja bazy Sporządza kompletną kopię bazy danych Zawiera informacje dot. przestrzeni tablicowych, konfigurację bazy, dzienniki transakcji... Wymaga posiadania uprawnienia: SYSADM, SYSCTRL, SYSMAINT Składnia: BACKUP DATABASE database-alias [USER username [USING password]] [TABLESPACE (tblspace-name [ {,tblspace-name}... ])] [ONLINE] [INCREMENTAL [DELTA]] [USE {TSM XBSA} [OPEN num-sess SESSIONS]] TO dir/dev [ {,dir/dev}... ] LOAD lib-name [OPEN num-sess SESSIONS]] [WITH num-buff BUFFERS] [BUFFER buffer-size] [PARALLELISM n] [WITHOUT PROMPTING]

18 Przykład Archiwizacja bazy sample do katalogu mybackups BACKUP DATABASE sample TO d:\mybackups Archiwizacja z dodatkowymi parametrami BACKUP DATABASE sample TO /db2backup/dir1, /db2backup/dir2 WITH 4 BUFFERS BUFFER 4096 PARALLELISM 2 Archiwizacja w trybie online BACKUP DATABASE sample ONLINE TO /dev/rdir1, /dev/rdir2 //nazwa bazy //lokalizacja //liczba buforów //rozmiar bufora //liczba wątków

19 Archiwizacja przestrzeni tablicowych Jeśli w bazie danych większe zmiany dotyczą jedynie niektórych tablic można archiwizować tylko wybranych przestrzeni tablicowych Składnia: BACKUP DATABASE sample TABLESPACE ( syscatspace, userspace1, userspace2 ) ONLINE TO /db2tbsp/backup1, /db2tbsp/backup2

20 Archiwa przyrostowe Dzielą się na 2 rodzaje Przyrostowy: DB2 archiwizuje wszystkie dane, które zmieniły się od ostatniego pełnego archiwum Delta: DB2 archiwizuje dane, które zmieniły się od ostatniego pełnego, przerostowego lub delta archiwum Ilustracja

21 Wykorzystanie Control Center

22 Parametry backup u

23 Nazwy plików archiwum Windows: Alias Instancja Nr katalogu węzła Miesiąc GodzinaSekunda DBALIAS.0\DB2INST\NODE0000\CATN0000\ \ Typ Unix/Linux Węzeł Rok Dzień Minuta DBALIAS.0.DB2INST.NODE0000.CATN Nr kolejny Typ: 0: pełne archiwum 3: archiwum przestrzeni tablicowej Dla nie partycjonowanej bazy zawsze NODE0000 i CATN0000

24 Odtwarzanie bazy Odtwarzanie bazy wykonuje się komendą RESTORE Składnia: RESTORE DATABASE source-database-alias { restore-options CONTINUE ABORT } Opcje: [USER username [USING password]] [{TABLESPACE [ONLINE] TABLESPACE (tblspace-name [ {,tblspace-name}... ]) [ONLINE] HISTORY FILE [ONLINE]}] [INCREMENTAL [AUTOMATIC ABORT]] [{USE {TSM XBSA} [OPEN num-sess SESSIONS] FROM dir/dev [ {,dir/dev}... ] LOAD shared-lib [OPEN num-sess SESSIONS]}] [TAKEN AT date-time] [TO target-directory] [INTO target-database-alias] [NEWLOGPATH directory] [WITH num-buff BUFFERS] [BUFFER buffer-size] [DLREPORT file-name] [REPLACE EXISTING] [REDIRECT] [PARALLELISM n] [WITHOUT ROLLING FORWARD] [WITHOUT DATALINK] [WITHOUT PROMPTING]

25 Przykład (1)RESTORE DATABASE sample (2) FROM C:\DBBACKUP (3) TAKEN AT (4) WITHOUT ROLLING FORWARD (5) WITHOUT PROMPTING (1) nazwa bazy (2) źródło (miejsce archiwum) (3) data i czas wykonania archiwum (4) jeśli były wykorzystane archiwalne pliki dziennika, przy odtwarzanie bazy jest ona automatycznie ustawiona w trybie Rollforward recovery (rozszerzenie version recovery o odzyskiwanie nie zapisanych zmian na podstawie zapisów w plikach dziennika transakcji) Tu rezygnacja z ROLLFORWARD (5) bez potwierdzenia rozpoczęcia odtwarzania

26 Odtwarzanie przestrzeni tablicowych Można odtworzyć z archiwum bazy lub przestrzeni tablicowej Przykład: (1) RESTORE DATABASE sample (2) TABLESPACE ( mytblspace1 ) (3) ONLINE (4) FROM /db2tbsp/backup1, /db2tbsp/backup2 (3) online: umożliwia odtwarzania przestrzeni tablicowej podczas pracy innych użytkowników. W przypadku odtwarzania bazy opcja online jest niedozwolona

27 Wykorzystanie Control Center

28 Parametry odtwarzania

29 Odtwarzanie bazy - Rollforward Pozwala na odtwarzanie bazy do wybranego momentu czasu na podstawie zapisów dziennika transakcji Podczas odtwarzania DB2: Szuka pliki dziennika w odpowiednich katalogach Ponownie wykona wszystkie transakcje z pliku dziennika Wymaga uprawnienia: SYSADM, SYSCTRL, SYSMAINT ROLLFORWARD dla bazy wykonywany jest zawsze w trybie offline.

30 Przykłady (1)ROLLFORWARD DATABASE sample TO END OF LOGS AND COMPLETE (2)ROLLFORWARD DATABASE sample TO timestamp AND COMPLETE (3)ROLLFORWARD DATABASE sample TO timestamp USING LOCAL TIME AND COMPLETE (1) wykona odtwarzania bazy na podstawie archiwalnych i aktywnych plików dziennika, następnie wycofa wszystkich nie zatwierdzonych transakcji (2) odtwarza bazę do określonego momentu czasu (czas względem strefy czasowej) (3) jak (2) tylko dla lokalnego czasu

31 Odtwarzanie przestrzeni tablicowych ROLLFORWARD Może się odbywać zarówno w trybie online jak i offline za wyjątkiem tabeli systemowej SYSCATSPACE Przykład: ROLLFORWARD DATABASE sample TO END OF LOGS AND COMPLETE TABLESPACE ( userspace1 ) ONLINE

32 Wykorzystanie Control Center

33 Parametry odtwarzania

34 Obiekty w bazie DB2-UDB

35 Typy danych Poza standardowymi typami danych (INTEGER, CHAR, DATE) DB2 pozwala użytkownikom na definiowanie własnych typów Wbudowane kategorie typów danych: Numeryczny (Numeric) Łańcuch znaków (String) Data i czasu (Datetime) Datalinks: do obsługi plików poza bazą Typy danych użytkownika Odmienny: typ danych oparty o wbudowanych typach Strukturalny: składa się z wielu kolumn typu wbudowanego Referencyjny: wykorzystując typu strukturalnego można zdefiniować referencje do wierszy innej tabeli za pomocą typu referencyjnego

36 Integer: Typy numeryczne Smallint (2 bajty): -32,768 do 32,767 Integer (4 bajty): -2,147,483,648 do 2,147,483,647 Bigint (8 bajtów): -9,223,372,036,854,775,808 do 9,223,372,036,854,775,807 Decimal(p,s) (p/2 + 1 bajtów) Decimal(10, 2) wymaga 6 bajtów Floating point Real (4 bajty) Double (8 bajtów)

37 Typy znakowe CHAR (CHARACTER): łańcuch znaków o określonej długości (max. 254 bajty) VARCHAR: łańcuch znaków o zmiennej długości(max 32,672 bajty) GRAPHIC: łańcuchy znaków dwubajtowych o określonej długości (max. 127 znaków) VARCHARGRAPHIC: łańcuchy znaków dwubajtowych o zmiennej długości (max. 16,336 znaków) Dodatkowe typy danych: LONG VARCHAR, CLOB (character large object), LONG VARGRAPHIC, DBCLOB (double byte CLOB), BLOB (Binary large object)

38 Typ daty i czasu DATE: przechowuje datę TIME: przechowuje czas TIMESTAMP: przechowuje datę i czas Wszystkie te typy są przechowywane w bazie w formacie wewnętrznym, aplikacje mogą również operować na nie jako łańcuchy znaków Wbudowane funkcje: DAYOFWEEK, DAYNAME, DAYS, CURRENT DATE

39 Datalinks Typ DATALINK służy do obsługi plików zewnętrznych Kolumna tabeli typu DATALINK pozwala na przechowywanie referencji do pliku poza bazą danych Plik zewnętrzny może być zapisany w tym samym systemie plików co baza lub na zdalnej maszynie Operowanie na danych tego typu wymaga użycie wbudowanych funkcji (DLVALUE)

40 Typy danych użytkownika 1/3 Odmienny (distinct type): zdefiniowane na podstawie wbudowanych (standardowych) typów DB2 Przykład: CREATE DISTINCT TYPE CANDOL AS DECIMAL(10,2) WITH COMPARISONS CREATE TABLE ITEMS (ITEMID CHAR(5), PRICE CANDOL ) INSERT INTO ITEMS VALUES('ABC11',CANDOL(30.50) )

41 Typy danych użytkownika 2/3 Strukturalny: składa się z wielu kolumn typu standardowego Np. definiujemy strukturę ADRES która składa się z atrybutów: ulica, miasto, nr domu... Można tak zdefiniowaną strukturę użyć przy definiowaniu struktury tabel

42 Typy danych użytkownika 3/3 Referencyjny: wykorzystując typu strukturalnego można zdefiniować referencje do wierszy innej tabeli za pomocą typu referencyjnego

43 Tabele CREATE TABLE BOOKS ( BOOKID INTEGER, BOOKNAME VARCHAR(100), ISBN CHAR(10) ) CREATE TABLE MYBOOKS LIKE BOOKS CREATE TABLE MYBOOKS AS (SELECT * FROM BOOKS) DEFINITION ONLY DESCRIBE TABLE MYBOOKS Tabele są przechowywane w przestrzeniach tablicowych - Przestrzeń tablicowa musi być stworzona przed tworzeniem tabeli - Można określić jawnie w jakiej przestrzeni tablicowej ma być stworzona tabela CREATE TABLE BOOKS ( BOOKID INTEGER, BOOKNAME VARCHAR(100),ISBN CHAR(10) ) IN BOOKINFO

44 Zmiana,usuwanie, NOT NULL, DEFAULT, GENERATED ALTER TABLE BOOKS ADD BOOKTYPE CHAR(1) DROP TABLE BOOKS CREATE TABLE BOOKS ( BOOKID INTEGER NOT NULL,BOOKNAME VARCHAR(100) WITH DEFAULT 'TBD',ISBN CHAR(10) ) CREATE TABLE BOOKS ( BOOKID INTEGER NOT NULL GENERATED ALWAYS AS IDENTITY (START WITH 1, INCREMENT BY 1),BOOKNAME VARCHAR(100) WITH DEFAULT 'TBD',ISBN CHAR(10) ) CREATE TABLE AUTHORS (AUTHORID INTEGER NOT NULL PRIMARY KEY, LNAME VARCHAR(100), FNAME VARCHAR(100), FICTIONBOOKS INTEGER, NONFICTIONBOOKS INTEGER, TOTALBOOKS INTEGER GENERATED ALWAYS AS (FICTIONBOOKS + NONFICTIONBOOKS) )

45 Integralność (Constraints) Unikalność: zapewnia unikalność wartości kolumn w tabeli CREATE TABLE BOOKS (BOOKID INTEGER NOT NULL PRIMARY KEY, BOOKNAME VARCHAR(100), ISBN CHAR(10) NOT NULL CONSTRAINT BOOKSISBN UNIQUE ) Więzy referencyjne: CREATE TABLE AUTHORS (AUTHORID INTEGER NOT NULL PRIMARY KEY, LNAME VARCHAR(100), FNAME VARCHAR(100)) CREATE TABLE BOOKS (BOOKID INTEGER NOT NULL PRIMARY KEY, BOOKNAME VARCHAR(100), ISBN CHAR(10), AUTHORID INTEGER REFERENCES AUTHORS) RESTRICT, NO ACTION, CASCADE, SET NULL Dla tabeli (table check constraints) ALTER TABLE BOOKS ADD BOOKTYPE CHAR(1) CHECK (BOOKTYPE IN ('F','N') )

46 Widoki Wsparcie dla INSERT, UPDATE, DELETE Dodatkowy poziom kontroli dostępu Użyteczny przy obsłudze danych historycznych Są przechowywane w tabeli SYSIBM.SYSVIEWS, Tabela SYSIBM.SYSVIEWS ma zdefiniowany widok: SYSCAT.VIEWS CREATE VIEW NONFICTIONBOOKS AS SELECT * FROM BOOKS WHERE BOOKTYPE = 'N' Tworzenie widoków z inną nazwą kolumn niż w tabeli CREATE VIEW MYBOOKVIEW (TITLE,TYPE) AS SELECT BOOKNAME,BOOKTYPE FROM BOOKS Sprawdzenie poprawności danych CREATE VIEW NONFICTIONBOOKS AS SELECT * FROM BOOKS WHERE BOOKTYPE = 'N' WITH CHECK OPTION

47 Indeksy Zapewniają unikalność wartości w kolumnach Przyspieszają wykonanie zapytań Mogą być unikalne lub nieunikalne CREATE INDEX IBOOKNAME ON BOOKS (BOOKNAME) CREATE INDEX I2BOOKNAME ON BOOKS (AUTHOID DESC, BOOKNAME ASC) CREATE INDEX BIBOOKNAME ON BOOKS (BOOKNAME) ALLOW REVERSE SCANS

48 Wyzwalacze Wykonywane przed operacją Wykonywane po operacji Wykonywane zamiast operacji Operacje: INSERT, DELETE, UPDATE