Replikacja kolejkowa (Q-replication) w IBM DB2

Transkrypt

1 Replikacja kolejkowa (Q-replication) w IBM DB2 Paweł Kędziora, Maciej Krysiuk, Marek Lewandowski Politechnika Poznańska pawel.kedziora@gmail.com, maciej.krysiuk@gmail.com, lewandowski.marek@gmail.com

2 SPIS TREŚCI 1 Wstęp Replikacja kolejkowa Wymagane produkty Instalacja i przygotowanie środowiska Konfiguracja baz danych Konfiguracja WebSphere MQ Utworzenie menedżera kolejek Utworzenie kolejek źródłowych Utworzenie kolejek docelowych Kanały WebSphere MQ Kanały kolejek źródłowych Kanały kolejek docelowych Tabele kontrolne replikacji Tabele kontrolne programu Q Capture Tabele kontrolne programu Q Apply Mapy kolejek replikacji Subskrypcje Replikacja Uruchomienie kanałów i listenerów Uruchomienie programu Q Capture i Q Apply Rezultat replikacji Literatura

3 1 Wstęp 1.1 Replikacja kolejkowa Replikacja kolejkowa jest bardzo wydajnym, szybkim, niezawodnym i minimalizującym obciążenie sieci komputerowej mechanizmem replikacji danych. Rozwiązanie te wykorzystuje kolejki komunikatów w celu asynchronicznego przesyłania transakcji pomiędzy źródłową a docelową bazą danych. 1.2 Wymagane produkty W celu wykonania replikacji należy zainstalować (zarówno na komputerze stanowiącym źródło jak i cel danych) następujące produkty: Baza danych IBM DB2 8.2 WebSphere MQ 5.3 (lub wyższe) WebSphere Information Integrator 6 (lub wyższe) WebSphere MQ jest warstwą umożliwiającą aplikacjom wymienianie się komunikatami i stanowi swego rodzaju interfejs udostępniający połączenie poszczególnych kolejek. Rys 1.1: Komponenty replikacji kolejkowej. 3

4 Rys. 1.2 WebSphere MQ i jego rola pośrednicząca. 4

5 2 Instalacja i przygotowanie środowiska 2.1 Konfiguracja baz danych Po zainstalowaniu wszystkich wymaganych produktów należy utworzyć bazy danych: źródłową i docelową. W przeprowadzonym eksperymencie tabela źródłowa nazwana została SAMPLE_K, a tabela docelowa KUBA_TGT. Rys. 2.1: Widok okna Centrum Sterowania z widocznymi bazami: źródłową i docelową. 5

6 Należy utworzyć kopię zapasową źródłowej bazy danych, a następnie stworzyć dla niej log. Rys. 2.2: Konfiguracja bazy danych tworzenie logu. 2.2 Konfiguracja WebSphere MQ Utworzenie menedżera kolejek W celu utworzenia menedżera kolejek należy w konsoli systemu operacyjnego wpisać następujące polecenia: crtmqm SRC_QM crtmqm TGT_QM strmqm SRC_QM strmqm TGT_QM 6

7 Rys. 2.3: Widok konsoli systemu operacyjnego z poleceniami utworzenia menedżerów kolejek Utworzenie kolejek źródłowych Kolejka jest strukturą danych wykorzystywaną do przechowywania wiadomości. Właścicielem kolejek jest menedżer kolejki (patrz oraz Rys. 1.2). Dla menedżera SRC_QM należy zdefiniować cztery kolejki: SENDQ zdalna kolejka nadawcza, która jest używana do przekazywania wiadomości zawierających replikowane dane. Wiadomości te są przekazywane do kolejki odbiorczej w docelowej bazie danych. TGT_QM lokalna kolejka transmisyjna przechowująca wiadomości przed umieszczeniem ich w kanale. ADMINQ lokalna kolejka administracyjna, za pomocą której program Q Capture otrzymuje komunikaty od programu Q Apply. RESTARTQ lokalna kolejka restartu Aby utworzyć powyższe kolejki należy w konsoli systemu operacyjnego wpisać następujące polecenia: 7

8 runmqsc SRC_QM DEFINE QLOCAL ('ADMINQ') DEFPSIST(YES) DEFINE QLOCAL ('RESTARTQ') DEFPSIST(YES) DEFINE QLOCAL('TGT_QM') USAGE(XMITQ) DEFPSIST(YES) DEFINE QREMOTE('SENDQ') RNAME('RECVQ') RQMNAME('TGT_QM') XMITQ('TGT_QM') DEFPSIST(YES) End Utworzenie kolejek docelowych Dla menedżera TGT_QM należy zdefiniować następujące kolejki: RECVQ lokalna kolejka odbierająca wiadomości z programu Q Capture ADMINQ zdalna kolejka administracyjna SPILLQ dzięki kolejce typu SPILL możliwe jest jednoczesne wprowadzanie danych podczas replikacji. SRC_QM lokalna kolejka transmisyjna. Aby utworzyć powyższe kolejki należy w konsoli systemu operacyjnego wpisać następujące polecenia: runmqsc TGT_QM DEFINE QLOCAL('RECVQ') DEFPSIST(YES) DEFINE QLOCAL('SRC_QM') USAGE(XMITQ) DEFPSIST(YES) DEFINE QREMOTE('ADMINQ') RNAME('ADMINQ') RQMNAME('SRC_QM') XMITQ('SRC_QM') DEFPSIST(YES) DEFINE QMODEL('IBMQREP.SPILL.MODELQ') DEFSOPT(SHARED) MSGDLVSQ(FIFO) DEFTYPE(PERMDYN) End Kanały WebSphere MQ Kanały WebSphere MQ używane są do przesyłania wiadomości między menedżerami kolejek. 8

9 Kanały kolejek źródłowych Aby utworzyć powyższe kolejki należy w konsoli systemu operacyjnego wpisać następujące polecenia: runmqsc SRC_QM DEFINE CHL ('SRC_QM.TO.TGT_QM') CHLTYPE(SDR) TRPTYPE(TCP) CONNAME (' (1450)') XMITQ('TGT_QM') DISCINT(0) DEFINE CHL ('TGT_QM.TO.SRC_QM') CHLTYPE(RCVR) TRPTYPE(TCP) End gdzie atrybutem parametru CONNAME adres IP i jeden z portów komputera na którym znajduje się WebSphere Kanały kolejek docelowych Aby utworzyć powyższe kolejki należy w konsoli systemu operacyjnego wpisać następujące polecenia: runmqsc TGT_QM DEFINE CHL ('TGT_QM.TO.SRC_QM') CHLTYPE(SDR) TRPTYPE(TCP) CONNAME(' (1451)') XMITQ('SRC_QM') DISCINT(0) DEFINE CHL ('SRC_QM.TO.TGT_QM') CHLTYPE(RCVR) TRPTYPE(TCP) End gdzie atrybutem parametru CONNAME adres IP i jeden z portów (różny od wykorzystanego w punkcie !) komputera na którym znajduje się WebSphere. 2.3 Tabele kontrolne replikacji Tabele kontrolne zawierają m.in. informacje na temat tabel z których i do których dokonywana jest replikacja danych. Wszystkie poniższe działania wykonuje się za pomocą Repliaction Center. 9

10 2.3.1 Tabele kontrolne programu Q Capture Rys. 2.4: Tabele sterujące programu Q Capture. Rys. 2.5: Wartości, którymi należy wypełnić tabele sterujące programu Q Capture. 10

11 2.3.2 Tabele kontrolne programu Q Apply Rys. 2.6: Tworzenie tabeli sterującej programu Q Apply. Rys. 2.7: Zawartość tabeli sterującej programu Q Apply 11

12 2.4 Mapy kolejek replikacji Mapy kolejek replikacji służą do powiązania ze sobą kolejki nadawczej źródła danych i kolejki odbiorczej docelowej bazy danych. Rys. 2.8: Tworzenie mapy kolejkowej Rys. 2.9: Parametry tworzenia mapy kolejkowej. 12

13 2.5 Subskrypcje Subskrypcje służą do mapowania tabeli źródłowej na jej kopię w docelowej bazie danych. Tworzenie subskrypcji wymaga znajomości nazwy kolejki, która będzie wykorzystywana do transmisji danych oraz podania tabeli źródłowej i docelowej a także wskazania mapowania, które ma zostać wykorzystane. Rys. 2.10: Tworzenie subskrypcji Rys. 2.11: Stworzona subskrypcja 13

14 3 Replikacja 3.1 Uruchomienie kanałów i listenerów Aby uruchomić kanały, należy najpierw uaktywnić menedżerów kolejek. Można to wykonać wprowadzając w konsoli systemu operacyjnego następujące polecenia: strmqm SRC_QM strmqm TGT_QM Następnie za pomocą poniższego polecenia należy uruchomić listener odbiorcy na kolejce źródłowej: runmqlsr -t tcp -m SRC_QM -p 1451 Następnie należy zainicjować nową sesję (w oknie nowej konsoli) menedżera SRC_QM: runmqsc SRC_QM Uruchomienie kanału: start channel (SRC_QM.TO.TGT_QM) end Uruchomienie listenera dla menedżera TGT_QM: runmqlsr -t tcp -m TGT_QM -p 1450 Następnie należy zainicjować nową sesję (w oknie nowej konsoli) menedżera TGT_QM: runmqsc TGT_QM Uruchomienie kanału: start channel (TGT_QM.TO.SRC_QM) end Poprawność działania kanałów można sprawdzić zarówno wykonując polecenia: DISPLAY CHSTATUS (SRC_QM.TO.TGT_QM) DISPLAY CHSTATUS (TGT_QM.TO.SRC_QM) 14

15 jak i korzystając z Replication Center: Rys. 3.1: Poprawność działania kanałów 3.2 Uruchomienie programu Q Capture i Q Apply Rys. 3.2 Uruchomienie programu Q Capture. Program Q Capture uruchamiany jest dla źródłowej bazy danych. Parametr KATALOG wskazuje ścieżkę na dysku lokalnym dla serwera Q Capture, gdzie znajdują się pliki z hasłami (umożliwiającymi dostęp do docelowej i lokalnej bazy danych) 15

16 oraz gdzie będą składowane pliki logu z wszystkimi komunikatami generowanymi przez program Q Capture podczas przeprowadzania procesu replikacji. Pliki z hasłami są tworzone i szyfrowane przez dostarczony wraz z systemem program asnpwd: Rys. 3.3: Tworzenie pliku asnpwd.aut z hasłami dostępu. Po wykonaniu wygenerowanego przez system skryptu program Q Capture jest uruchomiony. Rys. 3.4: Rezultat poprawnego uruchomienia programu Q Capture. Program Q Apply uruchamiany jest dla docelowej bazy danych. Uruchomienie programu Q Apply następuje z użyciem menu kontekstowego docelowej bazy danych w oknie Centrum Replikacji. System generuje skrypt, którego wykonanie powoduje uruchomienie programu Q Apply i w konsekwencji replikację danych. 16

17 Rys. 3.5 Rezultat poprawnego uruchomienia programu Q Apply 3.3 Rezultat replikacji. Wynikiem poprawnej replikacji jest uzyskanie repliki tabeli źródłowej w docelowym schemacie bazy danych. Rys. 3.6: Zawartość tabeli źródłowej. Rys. 3.7: Zawartość tabeli docelowej. 17

18 4 Literatura 1. WebSphere Information Integrator Q Replication: Fast Track Implementation Scenarios Nagraj Allur, Rich Briddell, Donna Kelsey, Naoko Takaya Seria REDBOOKS. 2. Dokumentacja techniczna IBM DB2 18