Borowicz Artur Specialista IT 04/03/2010 Wysoka dostępność podczas migracji danych - IBM Data Mobility Services 2009 IBM Corporation

Transkrypt

1 Borowicz Artur Specialista IT 04/03/2010 Wysoka dostępność podczas migracji danych - IBM Data Mobility Services 2009 IBM Corporation

2 Agenda Wymagania biznesowe Metody migracji IBM Data Mobility Services Omówienie rozwiazań Softek Q&A 2

3 Rosnące oczekiwania Klientów od IBM i Biznes Partnerów Nasze zaangażowanie nie kończy się na sprzedaży nowego sprzętu Pomoc w implementacji, konfiguracji nowych komponentów infrastruktury Zapewnienie narzędzi, mechanizmów i usług do migracji danych na nowe komponenty niezależnie od posiadanej przez Klienta infrastruktury Zapewnienie odpowiedniego poziomu wsparcia naszych rozwiązań 3

4 Zmiany w infrastrukturze IT, a dostępność danych Użytkownik końcowy chce mieć dostęp do swoich danych, bez względu na stopień skomplikowania zmian wykonywanych przez IT Konieczne staje się przeprowadzenie migracji danych z minimalnym czasem niedostępności, najlepiej z zachowaniem ciągłości przetwarzania i świadczenia usług Zmiana dostawcy podsystemów dyskowych nie jest przeszkodą dla rozwoju Firmy Czy proces zmian może mieć wpływ na wydajność operacyjną i biznesową? Czy można zminimalizować potencjalne zagrożenia podczas migracji danych? 4

5 Dlaczego usługi migracyjne? Nowe technologie i sprzęt: Migracja danych ze starych macierzy dyskowych czy serwerów na nowe Optymalizacja infrastruktury: Rekonfiguracja, rozbudowa podsystemów dyskowych Wdrożenie tieringu Konsolidacja: Konsolidacja wielu małych serwerów lub macierzy do kilku dużych serwerów i macierzy dyskowych. Najczęściej migracje lokalne Relokacja: Relokacja zasobów (aplikacje, sprzęt) pomiędzy Data Centre 5 5

6 Minimalizacja ryzyka podczas tradycyjnych migracji danych Planowanie migracji po godzinach pracy i w weekendy Uzgodnienie czasu niedostępności z biznesem Skoordynowanie prac z użytkownikami końcowymi Planowanie wymaganego wsparcia Przygotowanie planu powrotu Opracowanie i wdrożenie metod migracji on-line Poszukiwanie nowych rozwiązań migracji danych 6

7 Tradycyjne metody migracji danych ze względu na dostępność aplikacji/danych Off-line Wymagają zatrzymania aplikacji podczas procesu migracji: Backup/restore (TSM, Legato Networker, Data Protector, Veritas NetBackup,...) Kopiowanie danych za pomocą standardowych rozwiązań (cp, tar, cpio, scp, ftp,...) On-line Pozwalają na migracje danych podczas pracy aplikacji: Mirroring na poziomie systemu operacyjnego Migracja danych na poziomie baz danych (DB2 HADR, Oracle DataGuard) Migracja danych za pomocą SAN Volume Controller Replikacja danych na poziomie macierzy dyskowych IBM Data Mobility Services 7 7

8 Dlaczego IBM Data Mobility Services? ZASOBY PLAN MIGRACJA WALIDACJA Minimalizacja ryzyka niedostępności aplikacji dotkniętych migracją danych: Migracja on-line heterogenicznych środowisk sprzętowych Wieloplatformowe oprogramowanie Migracje lokalne, zdalne lub na wielkie odległości Praktyczna wiedza poparta wdrożeniami: 2007 IBM dokonał przejęcia Softek Storage Solutions Corporation Kompletna i zunifikowana oferta w zakresie migracji danych oraz specjalistyczna wiedza z zakresu zarządzania danymi w środowiskach macierzy dyskowych, hostów oraz zwirtualizowanych środowisk informatycznych. Pomoc w redukcji całkowitego kosztu migracji (wynikające z planowanych jak i nie planowanych przestojów, mniejsze koszty pracy) 8

9 IBM Data Mobility Services Szczegółowa analiza środowiska: Serwery, systemy operacyjne, typy menadżerów wolumenów Macierze dyskowe, mechanizmy kopii i replikacji pomiędzy lokalizacjami Sieci LAN i SAN Aplikacje i bazy danych Zależności pomiędzy migrowanymi aplikacjami Analiza wymagań dostępności aplikacji podczas migracji Analiza wydajności środowiska Calculator.exe Wybór odpowiedniej metody migracji dla zdefiniowanych wymagań 9

10 Portfolio produktów Softek do migracji/replikacji danych Softek TDMF UNIX Lokalna migracja danych w dla systemu UNIX/LINUX Softek TDMF UNIX (IP) Migracja danych pomiędzy systemami po sieci IP Softek TDMF Windows (IP) Migracja danych dla systemów Windows (lokalne jak i po IP) Softek Replicator Asynchroniczna replikacja danych po IP 10

11 Rozwiązania Softek na tle innych metod i narzędzi do migracji, replikacji danych High Bidirectional mirroring Global/Metro Mirror Array based synchronous replication Low Cost $$$ Tape Tivoli Storage Manager Backups TSM Fastback (Windows only) IBM Softek GLVM (AIX only) Point-in-time (PIT) copies Async replication Array-based async replication Days Hours Minutes Seconds Immediate Required recovery time objective Offsite Less tape important backup Important Essential Critical 11

12 Building a smarter planet Zastosowanie produktow Softek w środowiskach heterogenicznych Wsparcie środowisk: AIX, HP-UX, Solaris z/os Linux RH V3, V4, V5 SuSE Linux V9, V10 Windows NT, 2000, 2003, 2008 C abi net Number C abinet Num ber HKP HK P 48V 48V hp Inte grit y Supe rdo me hp Inte grit y Supe rdo me GSP GS P Remote Rem to e At te nti on Att entoi n Współpraca z głównymi menadżerami wolumenów logicznych (LVM, VxVM) Współpracę z głównymi systemami plików ( JFS, JFS2, UFS, VxFS, raw, ext3, NTFS, etc.) WS -X SMV WS -X SMV ST A TUS ST A TUS FC Serv ci es Module FC Serv ci es Module Migracje bez dodatkowych komponentów i wymagań systemowych Kopiowanie na poziomie blokowym przez sieć 12

13 Dlaczego IBM Data Mobility Services przy użyciu produktów Softek? Replikacja online na wszystkich wiodących platformach sprzętowych i systemowych Dynamiczna aktywacja, przerwanie i zatrzymanie procesu replikacji Replikacja niezależna od dostawcy podsystemu dyskowego Równoległa migracja wielu systemów plików, aplikacji, baz danych Dynamiczna zmiana parametrów wydajnościowych migracji Wspieranie rozwiązań klastrowych Konsola zarządzająca procesem migracji 13

14 Data Mobility Commom Console centralny ośrodek zarządzania przenoszeniem danych 14

15 Struktura połączeń Data Mobility Console z agentami SUN Application Servers Port 575 Common console Port 576 Port 576 Port 576 Port 576 Port 576 Port Collect or MSSQL Port 576 Port 576 Port 576 Port 575 HP Application Servers Port 575 Windows Application Servers Port 575 AIX Application Servers 15

16 Softek TDMF/Replicator Aplikacje lub bazy danych System plików Menadżer Wolumenów Sterownik Softek TDMF Menadżer Wolumenów Podczas instalacji Softek TDMF/Replicator dodawany jest do kernela sterownik Umożliwia: Współpracę z głównymi menadżerami wolumenów Logicznych (LVM, VxVM) Współpracę z głównymi systemami plików ( JFS, JFS2, UFS, VxFS, raw, ext3, NTFS, etc.) Kopiowanie na poziomie blokowym Migracje bez dodatkowych komponentów i wymagań systemowych 16

17 Architektura rozwiązań Softek System Plików Sterownik Buffer, for asynchronous staging System Plików Asynchroniczna lub pół-synchroniczna replikacja danych za pośrednictwem TCP/IP: Zapewnia spójność danych Zapewnia odpowiednią wydajność aplikacji podczas migracji Volume manager TCP/IP Volume manager Dla dużych migracji możliwość grupowania wolumenów Replikacja poprzez sieci LAN/WAN Odporność na uszkodzenia sprzętu Persistent store (pstore) Zamontowane żrodłowe systemy plików Niezamontowane systemy plików 17

18 Komponenty zapweniające spójność migrowanych danych BAB (Big Asynchronous Buffer) Zchowuje zmieniane bloki danych Zapewnia kolejność zapisów w ramach grupy logicznych wolumenów Minimalizuje wpływ migracji na system produkcyjny (bez generowania dodatkowych operacji I/O) Persistent store (pstore) śledzi zmienione bloki danych Zarządza mapa zmianianych bloków danych Śledzi zmiany na systemie źródłowym w przypadku niedostępności sieci lub serwera docelowego Zapewnia minimalny transfer danych podczas resynchronizacji Używa rezydujący w pamięci (HRT - high resolution tracking - sektory) i rezydujący na dysku (LRT - low resolution tracking - bloki) na systemie źrodłowym Primary System BAB HRT User Applications File System DTC driver Volume Manager Disk Device Driver S h u t d o w n LRT HRT Pstore 18

19 Podstawowe komponenty (1/3) in.dtc PMD RMD Procesy zapewniające komunikacje pomiedzy systemami Master replicator daemon (in.dtc) (odpowiedzialny za komunikacje) Primary mirror daemon (PMD) Zestawia połączenie z docelowym systemem Remote mirror daemon (RMD) Zapisuje dane z serwera źródłowego na docelowy Podstawowy serwer aplikacji Podstawowy serwer aplikacji in.dtc Command in.dtc Aplikacja TCP/IP I/O I/O ACK Softek device driver BAB PMD Data RMD Persistent store (pstore) 19

20 Podstawowe komponenty (2/3) Urządzenia (Devices) wymagane do migracji danych Data devices (wolumeny źródłowe) używane przez aplikacje Mirror devices (wolumeny docelowe) zawierajace kopie danych ze źrodła Aplikacja Sterownik TDMF (IP) Serwer źródłowy BAB in.dtc PMD TCP/IP I/O I/O Command Data dtc0 dtc1 dtc2 ACK Serwer docelowy in.dtc RMD Grupa logicznych wolumenów Data Devices Grupa logicznych wolumenów Mirror Devices 20

21 Podstawowe komponenty (3/3) Wolumeny możemy grupować w logiczne grupy Każda grupa jest traktowana jak pojedynczy element od strony operacyjnej jak i administracyjnej Każda grupa posiada jeden PMD i RMD Stosowanie wielu grup pozwala nam na efektywniejsze wykorzystanie przepustowości Źródłowy serwer aplikacji Applications Aplikacja TDMF (IP) driver pstore (bitmapa zmian) Logical group 1 BAB PMD 1 PMD 2 Logical group 2 Dane Data RMD 1 RMD 2 Logical group 1 Logical group 2 Docelowy serwer aplikacji Grupa logicznych wolumenów Data Devices Grupa logicznych wolumenów Mirror Devices 21

22 Statusy procesu migracji/replikacji danych PassThru Inicjalna Konfiguracja Full Refresh Inicjalna Synchronizacja A Smart Refresh 22

23 Statusy procesu migracją danych Softek TDMF (IP) Checksum Refresh A Normal 23

24 Statusy procesu migracją danych Softek TDMF (IP) Tracking A 24

25 Dziękuję za uwagę. 25

26 Backup slides 26

27 TDMF (IP) proces kopiowania danych podczas migracji 1. Zapis danych przez aplikacje Aplikacja 1 Sterownik TDMF (IP) 2 in.dtc BAB I/O TCP/IP I/O ACK in.dtc 4 3 PMD RMD Pstore dtc0 dtc1 dtc2 27

28 TDMF (IP) proces kopiowania danych podczas migracji 2. Zapis danych do zdalnej lokalizacji Aplikacja Sterownik TDMF (IP) in.dtc 5 I/O TCP/IP I/O ACK BAB 6 PMD Dane RMD in.dtc Pstore dtc0 dtc1 dtc2 7 28

29 TDMF (IP) proces kopiowania danych podczas migracji 3. Potwierdzenie zreplikowania danych Aplikacja Sterownik TDMF (IP) 9 in.dtc BAB I/O TCP/IP I/O ACK in.dtc 10 8 PMD Potwierdzenie RMD Pstore dtc0 dtc1 dtc2 29