Uproszczony opis referencyjnej Intrastruktury Techniczno Systemowej dla Platformy P1 Programu Operacyjnego Innowacyjna Gospodarka 2007-2013
Spis treści 1. Cel Powstania Dokumentu... 3 1. Architektura Projektu P1... 4 2. Struktura ITS dla Części I, II, III i IV... 8 2.1. Elementy ITS... 8 2.2. Architektura ITS S1... 13 Opis architektury... 14 3. Platformy Sprzętowe i komponenty Aplikacyjne... 16 3.1. Systemy BI... 25 3.2. KOMPONENTY OPROGRAMOWANIA SAS... 25 4. Szkielet sieci SAN... 31 Połączenia między ośrodkami COPD i ZOPD... 34 4.2. Podłączenia fizyczne do przełączników FC w COPD i ZOPD... 34 5. system MetroHP... 35 5.1. Środowisko klastrowe bazodanowe... 35 Koncepcja rozwiązania... 35 6. wirtualizacja serwerów... 36 6.1. OGÓLNA ARCHITEKTURA ROZWIĄZANIA... 36 6.2. SITE RECOVERY MANAGER... 36 ARCHITEKTURA LOGICZNA SRM... 37 6.3. Ogólny opis wymagań i funkcjonalności Red Hat Enterprise Virtualization 3.x... 37 6.4. Opis architektury wirtualizacyjnej projektu P1... 39 7. zarządzania chmurą prywatną w COPD i ZOPD... 41 7.1. System zarządzania chmurą prywatną... 41 Architektura chmury prywatnej... 42 8. System backupowy... 43 Programu Operacyjnego Innowacyjna Gospodarka 2007-2013
1. CEL POWSTANIA DOKUMENTU Dokument powstał w celu przedstawienie informacji o Infrastrukturze Techniczno Systemowej Systemu P1. Przedstawione dane i informację mają umożliwić zapoznanie się ze skalą przedsięwzięcia, rodzajami technologii i wymaganymi kompetencjami potrzebnymi do zbudowania i utrzymania usług Systemu P1, a co za tym idzie realizacji przedmiotu niniejszego Zamówienia. Dokument nie stanowi docelowego Projektu ITS, a przedstawia jeden z możliwych kierunków w jakim Projekt ITS mógłby być opracowany. 3
1. ARCHITEKTURA PROJEKTU P1 Poniższe rozdziały są uszczegółowieniem opisu architektury przedstawionej w Załacznik nr 1 do OPZ- Ogólny opis Platformy P1. W ramach Projektu P1 jest budowana i wdrażana Elektroniczna Platforma Gromadzenia, Analizy i Udostępniania zasobów cyfrowych o Zdarzeniach Medycznych. Rysunek 1 Ogólna architektura Systemu P1 Część II Prezentacja Aplikacje Użytkownika PP AP AIP SWR- WRU Syst. Zew. PD IKP AUiA Część IV Administracja Część I SA-Au SA-ZiP SA-Ad Szyna Usług HD-ASR HD-M SWN Analiza danych Wsparcie Użytkownika Rejestry i słowniki Część III Gromadzenie Danych SWR- WRU SOR-R SOR-ZOP SGDM-R SGDM-SiZ SGDM-ZM SGDM-ODM SWR- WRL SOR-S PBRDM SW 4
System P1, zgodnie z tym co przedstawia rysunek 1, składa się dwudziestu czterech podsystemów podzielonych na osiem obszarów funkcjonalnych: 1. Gromadzenia danych, 2. Aplikacji użytkownika, 3. Prezentacji, 4. Rejestrów i słowników, 5. Analizy danych 6. Wsparcia użytkownika, 7. Administracji, 8. Szyny usług. Głównym elementem Systemu P1 jest obszar gromadzenia danych. Jego funkcjonalność pozwala na zapis danych o zdarzeniach medycznych, w Systemie Gromadzenia Danych Medycznych Zdarzenia Medyczne (SGDM-ZM) i zleceniach powstających w czasie świadczenia usług medycznych, w Systemie Gromadzenia Danych Medycznych Recepty oraz Systemie Gromadzenia Danych Medycznych Skierowania i Zlecenia (odpowiednio SGDM-R oraz SGDM-SiZ). Jedną z funkcji Systemu P1 jest przechowywanie dokumentacji medycznej przekazanych do Systemu P1 przez podmioty, które kończą swoją działalność. Dokumentacja ta jest przechowywana w Pomocniczej Bazie Rozszerzonych Danych Medycznych (PBRDM). Obiekty danych zapisywane do systemu podlegają weryfikacji względem rejestrów referencyjnych z użyciem Systemu Weryfikacji (SW). Osobiste dane i informacje medyczne usługobiorców są przechowywane w Systemie Gromadzenia Danych Medycznych Osobista Dokumentacja Medyczna (SGDM-ODM). Drugim obszarem związanym z gromadzeniem danych jest obszar słowników i rejestrów obejmujący trzy podsystemy: System Obsługi Rejestrów Rejestry (SOR-R), System Obsługi Rejestrów Słowniki (SOR-S), System Obsługi Rejestrów Zarządzanie Danymi Podstawowymi (SOR-ZDP). Obszar ten zapewnia pozostałym podsystemom dostęp do danych o charakterze referencyjnym względem danych medycznych przetwarzanych w obszarze gromadzenia danych. W szczególności w obszarze tym prowadzone są rejestry CWUb, CWUd, CWPM, rejestry przedmiotowe, ewidencje wchodzące w zakres SEZOS jak również gromadzone są informacje o lekach i środkach medycznych (pozyskiwanie z odpowiednich rejestrów referencyjnych). Podsystemy te zapewniają funkcjonalności zarządzania i dystrybucji słowników w obrębie platformy P1 zarówno słowników pochodzących z zewnątrz (z SRK), jak również słowników własnych platformy. Wyodrębniony podsystem (Szyna Usług) zapewnia komunikację pomiędzy wszystkimi podsystemami platformy oraz z systemami zewnętrznymi. W szczególności poprzez szynę usług przekazywane są dane do przetwarzania w wyżej wymienionych podsystemach obszaru gromadzenia danych oraz rejestrów i słowników. Dane te pozyskiwane są z systemów informatycznych odpowiednich podmiotów (w szczególności usługodawców i płatników). Rolę systemów informatycznych usługodawców lub płatników pełnić mogą w odpowiednich zakresach specjalnie do tego przeznaczone podsystemy platformy P1 - Aplikacja Usługodawców i Aptek (AUiA), Aplikacja Płatnika (AP), System Wsparcia Rozliczeń Wsparcie Rozliczania Usług (SWR-WRU) oraz System Wsparcia Rozliczeń Wsparcie Refundacji Leków (SWR-WRL). Podsystemy te dostarczają funkcjonalności udostępniane w modelu AaaS przez CSIOZ podmiotom (płatnikom i usługodawcom, w tym aptekom), które nie korzystają z własnych systemów (np. ze względu na skale działania jest to dla 5
nich nieopłacalne). Funkcjonalności te swoim zakresem obejmują podstawowe wsparcie zasadniczych procesów biznesowych podmiotów oraz w szczególności w odpowiednim zakresie wsparcie w zakresie przekazywania odpowiednich informacji do SIM, SSOZ, SEZOS, CWUb, CWUd, CWPM. Podstawowy dostęp do Systemu P1 jest przez podsystemy IKP (Internetowe Konto Pacjenta) oraz AIP (Aplikacje Innych Podmiotów), podsystemy, przy pomocy których dostarczane są poprzez GUI funkcjonalności przeznaczone do wykorzystania przez usługobiorców (pacjentów) oraz inne podmioty. Funkcjonalności związane z działaniem SSOZ jak również monitorowania zjawisk w systemie ochrony zdrowia oraz wykrywania nadużyć realizowane są w obrębie podsystemów z obszaru analizy danych Hurtownia Danych Analizy, Statystyki i Raporty (HD-ASR), Hurtownia Danych Monitorowanie (HD- M) oraz System Wykrywania Nadużyć (SWN). Dane do działania tych systemów pozyskiwane są z pośrednictwem szyny usług z podsystemów w obszarze gromadzenia danych oraz rejestrów i słowników lub wprost od podmiotów będących ich źródłem (z ich własnych systemów lub przekazane poprzez AIP/AP/AUiA). Funkcje związane z zarządzaniem platformą P1 jako całością dostarczane są przez podsystemy w obszarze Administracja. System Administracji Administracja (SA-Ad) pozwala na monitorowanie systemu P1 oraz zarządzanie poszczególnymi jego elementami. Podsystem ten nie wykorzystuje Szyny Usług do komunikacji z innymi podsystemami w tym zakresie. System Administracji Audyt (SA-Au) jest odpowiedzialny za kolekcjonowanie i konsolidowanie logów audytowych poszczególnych podsystemów. Zarządzanie profilami i dostępem poszczególnych użytkowników realizowane jest przez System Administracji Zabezpieczenia i Prywatność (SA-ZiP). Podsystem ten udostępnia również usługi uwierzytelniania dostępu, z wykorzystaniem usług systemu P2. W obrębie obszaru administracji znajduje się również zarządzanie repozytorium wzorów dokumentów. Projekt P1 został podzielony został na pięć części: 1. Część I (Strumień 1) w ramach tej części jest zrealizowana Szyna Usług, Administracja oraz Infrastruktura Techniczno-systemowa dla zbudowania Części I. 2. Część II (Strumień 2) w ramach tej części jest zaprojektowane i wykonane oprogramowanie aplikacyjne dla Prezentacji i Aplikacji Użytkownika. 3. Część III (Strumień 3) w ramach tej części jest zaprojektowanie i wykonane oprogramowanie aplikacyjne dla Gromadzenia Danych, Rejestrów i Wsparcia Użytkownika. 4. Część IV (Strumień 4) w ramach tej części jest zaprojektowane i wykonane oprogramowanie aplikacyjne dla Analizy Danych. 5. Część V (Strumień 5) w ramach tej części została dostarczona Infrastruktura Techniczno- Systemowa dla potrzeb Części II, III i IV. 6
Rysunek 2 Powiązania pomiędzy Częściami Projektu P1 ITS Część II, III, IV (Kolokacja) Część II Usługi WWW Usługi terminalowe VPN Część III ETL Część IV Do ośrodka zapasowego Portal Część I ITS Części I ITS P1 Do ośrodka zapasowego Internet Indywidualni użytkownicy apteki, gabinety itp. Szpitale, Przychodnie itp.. Dostarczana w ramach Strumienia 5 ITS dla Części II, III i IV jest tylko elementem całego ITS Projektu P1. Na całość ITS Projektu P1 składa się ITS dla Części I oraz drugi ITS dla Części II, III i IV. System P1 będzie zainstalowany w trzech lokalizacjach: 1. Centralny Ośrodek Przetwarzania Danych (COPD). 2. Zapasowy Ośrodek Przetwarzania Danych (ZOPD). 3. Pomocniczy Ośrodek Przetwarzania Danych (POPD). Centralny Ośrodek Przetwarzania Danych i Zapasowy Ośrodek Przetwarzania Danych będzie stanowić Środowisko Produkcyjne które ma zapewnić wymaganą niezawodność i wydajność pracy Systemu P1. W Pomocniczym Ośrodku Przetwarzania Danych przeznaczonym do testowania nowych wersji 7
oprogramowania aplikacyjnego utworzone zostaną następujące środowiska: 1. Środowisko Testowe (ST) dla prowadzenia testów integracyjnych i akceptacyjnych. 2. Środowisko Rozwojowe (SR) przeznaczone na testy Wykonawców Części II, III i IV. 3. Środowisko Szkoleniowe (SS) przeznaczone do szkolenia użytkowników końcowych. 4. Środowisko Kompilacji (SK) przeprowadzana będzie kompilacja dostarczonych aplikacji przez Część II, III i IV. 5. Środowisko Ewaluacyjne (SE) na którym Usługodawcy (podmioty zewnętrzne) przeprowadzać będą testy współpracy swoich aplikacji. 2. STRUKTURA ITS DLA CZĘŚCI I, II, III I IV 2.1. ELEMENTY ITS Elementy ITS Części II, III, IV będą instalowane w środowisku produkcyjnym i nieprodukcyjnym. Podział środowisk obrazuje rysunek 3. Rysunek 3 Struktura ITS Części II, III i IV Architektura Środowiska Produkcyjnego ITS dla Części II, III i IV podzielona została na dwa ośrodki przetwarzania: Centralny Ośrodek Przetwarzania Danych (COPD) oraz Zapasowy Ośrodek Przetwarzania Danych (ZOPD). W ramach każdego z ośrodków wydzielono cztery strefy bezpieczeństwa: strefę zdemilitaryzowaną, strefę wewnętrzną, strefę danych chronionych oraz strefę zarządczą. Strefę zdemilitaryzowaną stanowi dedykowane środowisko wirtualizacyjne przeznaczone głównie na potrzeby udostępniania interfejsów użytkownika aplikacji portalowych. 8
Centralny Ośrodek Przetwarzania Danych Szyna Usług Szyna Usług Zapasowy Ośrodek Przetwarzania Danych Drugie środowisko wirtualne stanowi strefę wewnętrzną, w której działać będzie większość serwerów oferujących logikę aplikacyjną. Wszystkie dane wrażliwe składowane będą w ramach strefy chronionej. Składać się ona będzie niemalże wyłącznie z serwerów bazodanowych. Systemy zarządzania infrastrukturą zlokalizowane będą w Strefie Zarządczej. Do systemów zarządzania będzie zapewniony bezpieczny zdalny dostęp. Mechanizmy bezpieczeństwa strefy zarządczej muszą zapewnić wymagany poziom bezpieczeństwa. Każda ze stref oddzielona będzie od pozostałych ścianą ogniową (fire wall), przy czym tylko elementy strefy zarządczej będą posiadały możliwość komunikowania się ze wszystkimi strefami bezpieczeństwa ale wyłącznie na portach zarządczych. W pozostałych przypadkach zakłada się komunikację warstwową. Ze względu na wymagane bezpieczeństwo strukturę ITS podzielono na strefy bezpieczeństwa. Podział ilustruje rysunek 4. Strefa Zarządcza Strefa Zarządcza Replikacja synchroniczna Strefa Danych Chronionych Strefa Danych Chronionych Strefa Wewnętrzna Strefa Wewnętrzna Strefa DMZ Strefa DMZ Internet Internet Łącze dedykowane Internet Internet Rysunek 4 Podział ITS Części II, III i IV na strefy bezpieczeństwa Infrastrukturę Techniczno-Systemową podzielono na platformy. Podział ilustruje rysunek 5. 9
Rysunek 5 Podział ITS na platformy Platforma aplikacyjna Maszyna wirtualna Maszyna wirtualna OO Maszyna wirtualna Platforma wirtualizacyjna Platforma fizyczna Podstawową jednostką definiowaną dla aplikacji jest maszyna wirtualna. Parametry opisujące maszynę wirtualną przedstawione są na rysunku 6. 10
Dyski Baza Danych Rysunek 6 Maszyna wirtualna Nazwa Pojemność Nazwa Pojemność Usługa Infrastrukturalna Wirtualnych Dyskow Serwer aplikacji Inne oprogramowanie Nazwa Procesor RAM LAN SAN System operacyjny Usługa Infrastrukturalna Wirtualizacja Baz Danych Aplikacja Oprogramowanie systemowe Serwer Wirtualny Usługa Infrastrukturalna Wirtualizacja Serwerów Maszyna Wirtualna Usługa Infrastrukturalna Monitorowanie Usługa Infrastrukturalna Backup Umiejscowienie maszyn wirtualnych na platformie wirtualizacyjnej przedstawia rysunek 7. 11
Rysunek 7 Umiejscowienie maszyn wirtualnych COPD Serwer Zarządzania Serwer Wirtualny Serwer Wirtualny Serwer Oprogramowanie Wirtualny Oprogramowanie Oprogramowanie Aplikacyjne Aplikacyjne Oprogramowanie Aplikacyjne Oprogramowanie Oprogramowanie systemowe systemowe systemowe SO Linux SO Linux SO Linux Wirtualizacja Vmware Strefa Wewnętrzna Serwer Wirtualny Serwer Wirtualny Serwer Oprogramowanie Wirtualny Oprogramowanie Oprogramowanie Aplikacyjne Aplikacyjne Oprogramowanie Aplikacyjne Oprogramowanie Oprogramowanie systemowe systemowe systemowe SO Linux SO Linux SO Linux ZOPD Serwer Zarządzania Strefa Wewnętrzna Strefa Wewnętrzna Serwer Wirtualny Serwer Wirtualny Serwer Oprogramowanie Wirtualny Oprogramowanie Oprogramowanie Aplikacyjne Aplikacyjne Oprogramowanie Aplikacyjne Oprogramowanie Oprogramowanie systemowe systemowe systemowe SO Linux SO Linux SO Linux Wirtualizacja Vmware Strefa DMZ Strefa DMZ Serwer Wirtualny Serwer Wirtualny Serwer Oprogramowanie Wirtualny Oprogramowanie Oprogramowanie Aplikacyjne Aplikacyjne Oprogramowanie Aplikacyjne Oprogramowanie Oprogramowanie systemowe systemowe systemowe SO Linux SO Linux SO Linux Wirtualizacja Vmware Strefa DMZ Serwer Wirtualny Serwer Wirtualny Serwer Oprogramowanie Wirtualny Oprogramowanie Oprogramowanie Aplikacyjne Aplikacyjne Oprogramowanie Aplikacyjne Oprogramowanie Oprogramowanie systemowe systemowe systemowe SO Linux SO Linux SO Linux Wirtualizacja Vmware Strefa DMZ Strefa DMZ Serwer Wirtualny Serwer Wirtualny Serwer Oprogramowanie Wirtualny Oprogramowanie Oprogramowanie Aplikacyjne Aplikacyjne Oprogramowanie Aplikacyjne Oprogramowanie Oprogramowanie systemowe systemowe systemowe SO Linux SO Linux SO Linux Wirtualizacja Vmware Strefa DMZ Serwer Zarządzania Aplikacje Serwer Zarządzania Aplikacje Citrix Citrix MS Windows Server MS Windows Server Serwer Zarządzania Serwer Zarządzania 12
Podsystem A2 Podsystem N2 Podsystem A3 Podsystem N3 Podsystem A4 Podsystem N4 2.2. ARCHITEKTURA ITS S1 Architektura ITS Strumienia 1 została podzielona na dwie części: a. Szynę zewnętrzną, b. Szynę wewnętrzną. Szyna zewnętrzna składa się ze strefy bezpieczeństwa (DMZ) oddzielającą bezpośredni styk z węzłem Internetu od komunikacji wewnętrznej oraz ze strefy LAN zapewniającej komunikację pomiędzy podsystemami wchodzących w skład Systemu P1. Ogólny schemat architektury przedstawiony jest na rys. 1. System P1 Strumień 2 Strumień 3 Strumień 4 Strefa DMZ Szyna Wewnętrzna Strumień 1 Szyna Zewnętrzna Internet Rys. 1 Ogólny schemat architektury 13
Opis architektury W architekturze ITS Strumienia 1 wyróżniono dwie części: Szynę Zewnętrzną i Szynę Wewnętrzną. Szyny pomiędzy sobą oddzielone są Firewall dla zapewnienia bezpieczeństwa. Rozwiązanie takie pozwala na odseparowanie ruchu wewnętrznego pomiędzy podsystemami Strumienia 2, 3 i 4 od ruchu związanego z wymianą danych z użytkownikami zewnętrznymi (np. szpitale, apteki) poprzez Internet. Ze względów niezawodnościowych przetwarzanie danych odbywa się w dwóch ośrodkach ( w dwóch lokalizacjach) Centralnym Ośrodku Przetwarzania Danych (COPD) oraz Zapasowym Ośrodku Przetwarzania Danych (ZOPD). W związku z tym w obu ośrodkach zostanie zainstalowany jednakowy sprzęt i oprogramowania systemowe. Zgodnie z założeniem wynikającym z OPZ dla Strumienia 1 oba ośrodki przetwarzania danych pracują w trybie Active-Passive. Oznacza to, że w normalnych warunkach przetwarzanie odbywa się w COPD natomiast w ZOPD wykonywane są tylko te czynności, które mają ułatwić przełączenie przetwarzania w przypadku awarii COPD. Zarówno w strefie Szyny Zewnętrznej jak i Szyny Wewnętrznej zostały wydzielone trzy warstwy: Warstwa serwerów http, Warstwa serwerów aplikacyjnych, Warstwa Serwerów bazy danych. Serwery każdej warstwy łączy VLAN, który równocześnie łączy COPD z ZOPD. Ośrodki pomiędzy sobą połączone są szyfrowanym łączem dedykowanym. Ogólna architektura ITS-S1 jest przedstawiona na diagramie: 14
Inni COPD Węzeł sieciowy z funkcjami FW / IPS P2 Szyna Zewnętrzna Węzeł sieciowy z funkcjami FW / IPS ZOPD svmpdmz_spr01 IBM HTTP Server IBM HTTP Server svmpapp_sap01 IBM HTTP Server IBM HTTP Server IBM WebSphere Application Server IBM WebSphere Application Server IBM WebSphere Application Server DM Klaster WAS kopiowanie IBM WebSphere Application Server DM IBM WebSphere Application Server W normalnej sytuacji węzły wyłączone IBM WebSphere Application Server IBM DB2 Active Stand-By HADR Prawie Synchroniczny svmpdbj_ino01 IBM DB2 svmpdbj_sdb01 HADR Prawie Synchroniczny Active Stand-By IBM DB2 HADR Prawie Synchroniczny IBM DB2 Cold Stand-By Bazy Danych Bazy Danych Bazy Danych Bazy Danych Bazy Danych IBM DB2 Macierz Dyskowa HADR Prawie Synchroniczny Bazy Danych Szyna Wewnętrzna svmpdbj_sdb02 IBM DB2 svmpdbj_ino02 HADR Prawie Synchroniczny Bazy Danych IBM DB2 Macierz Dyskowa HADR Prawie Synchroniczny Bazy Danych IBM DB2 IBM WebSphere Application Server IBM WebSphere Application Server IBM WebSphere Application Server DM Klaster WAS kopiowanie IBM WebSphere Application Server DM IBM WebSphere Application Server W normalnej sytuacji węzły wyłączone IBM WebSphere Application Server svmpapp_sap02 IBM HTTP Server IBM HTTP Server IBM HTTP Server IBM HTTP Server svmpdmz_spr02 LAN II, III, IV P1 S4 P1 S3 P1 S2 P1 S4 P1 S3 P1 S2 Rys. 2 Architektura ITS-S1 15
3. PLATFORMY SPRZĘTOWE I KOMPONENTY APLIKACYJNE Poniższy rozdział przedstawia platformy sprzętowe i komponenty oprogramowania systemowonarzędziowego wykorzystanego do działania usług platformy P1. Lp. Wymagania Zainstalowane oprogramowanie PORTAL - PLATFORMA PUBLIKACYJNA IBM HTTP Server 8.5.0.2 IBM Web Content Manager 8.0.0.1 VMware vsphere Enterprise 5.1 VMware vcenter SRM Enterprise 5.1 IBM DB2 10.1, Enterprise Server Edition HP-UX 11i v3 DCOE HP Data Protector 7.x icap /GiCaP 10 Metrocluster (klaster rozległy) -3PAR 11.20 HP SiteScope 11.2 HP Operations Mgr 9.1 PORTAL - PLATFORMA DOSTĘPOWA IBM HTTP Server 8.5.0.2 Adobe LiveCycle Forms VMware vsphere Enterprise 5.1 VMware vcenter SRM Enterprise 5.1 IBM DB2 10.1, Enterprise Server Edition HP-UX 11i v3 DCOE HP Data Protector 7.x icap /GiCaP 10 Metrocluster (klaster rozległy) -3PAR 11.20 16
HP SiteScope 11.2 HP Operations Mgr 9.1 APLIKACJA PŁATNIKÓW VMware vsphere Enterprise 5.1 VMware vcenter SRM Enterprise 5.1 IBM DB2 10.1, Enterprise Server Edition HP-UX 11i v3 DCOE HP Data Protector 7.x icap /GiCaP 10 Metrocluster (klaster rozległy) -3PAR 11.20 HP SiteScope 11.2 HP Operations Mgr 9.1 Aplikacja innych Podmiotów IBM WEBSPHERE EXTREME SCALE 8.6.0.2 VMware vsphere Enterprise 5.1 VMware vcenter SRM Enterprise 5.1 IBM DB2 10.1, Enterprise Server Edition HP-UX 11i v3 DCOE HP Data Protector 7.x icap /GiCaP 10 Metrocluster (klaster rozległy) -3PAR 11.20 HP SiteScope 11.2 HP Operations Mgr 9.1 Internetowe Konto pacjenta IBM WEBSPHERE EXTREME SCALE 8.6.0.2 VMware vsphere Enterprise 5.1 VMware vcenter SRM Enterprise 5.1 IBM DB2 10.1, Enterprise Server Edition HP-UX 11i v3 DCOE HP Data Protector 7.x icap /GiCaP 10 17
Metrocluster (klaster rozległy) -3PAR 11.20 HP SiteScope 11.2 HP Operations Mgr 9.1 Aplikacja Usługodawców i Aptek VMware vsphere Enterprise 5.1 VMware vcenter SRM Enterprise 5.1 IBM DB2 10.1, Enterprise Server Edition HP-UX 11i v3 DCOE HP Data Protector 7.x icap /GiCaP 10 Metrocluster (klaster rozległy) -3PAR 11.20 HP SiteScope 11.2 HP Operations Mgr 9.1 System Gromadzenia Danych Medycznych Recepty System Gromadzenia Danych Medycznych - Zdarzenia Medyczne VMware vsphere Enterprise 5.1 VMware vcenter SRM Enterprise 5.1 IBM DB2 10.1, Enterprise Server Edition HP-UX 11i v3 DCOE HP Data Protector 7.x icap /GiCaP 10 Metrocluster (klaster rozległy) -3PAR 11.20 HP SiteScope 11.2 HP Operations Mgr 9.1 VMware vsphere Enterprise 5.1 VMware vcenter SRM Enterprise 5.1 IBM DB2 10.1, Enterprise Server Edition 18
System Gromadzenia Danych Medycznych - Skierowania i Zwolnienia System Gromadzenia Danych Medycznych - Osobista Dokumentacja Medyczna Pomocnicza Baza Rozszerzonych Danych Medycznych HP-UX 11i v3 DCOE HP Data Protector 7.x icap /GiCaP 10 Metrocluster (klaster rozległy) -3PAR 11.20 HP SiteScope 11.2 HP Operations Mgr 9.1 VMware vsphere Enterprise 5.1 VMware vcenter SRM Enterprise 5.1 IBM DB2 10.1, Enterprise Server Edition HP-UX 11i v3 DCOE HP Data Protector 7.x icap /GiCaP 10 Metrocluster (klaster rozległy) -3PAR 11.20 HP SiteScope 11.2 HP Operations Mgr 9.1 VMware vsphere Enterprise 5.1 VMware vcenter SRM Enterprise 5.1 IBM DB2 10.1, Enterprise Server Edition HP-UX 11i v3 DCOE HP Data Protector 7.x icap /GiCaP 10 Metrocluster (klaster rozległy) -3PAR 11.20 HP SiteScope 11.2 HP Operations Mgr 9.1 IBM TIVOLI STORAGE MANAGER EXTENDED EDITION 6.3 19
IBM TIVOLI STORAGE MANAGER EXTENDED EDITION 6.3 VMware vsphere Enterprise 5.1 VMware vcenter SRM Enterprise 5.1 IBM DB2 10.1, Enterprise Server Edition HP-UX 11i v3 DCOE HP Data Protector 7.x icap /GiCaP 10 Metrocluster (klaster rozległy) -3PAR 11.20 HP SiteScope 11.2 HP Operations Mgr 9.1 System Weryfikacji IBM WEBSPHERE EXTREME SCALE 8.6.0.2 VMware vsphere Enterprise 5.1 VMware vcenter SRM Enterprise 5.1 IBM DB2 10.1, Enterprise Server Edition HP-UX 11i v3 DCOE HP Data Protector 7.x icap /GiCaP 10 Metrocluster (klaster rozległy) -3PAR 11.20 HP SiteScope 11.2 HP Operations Mgr 9.1 WĘZEŁ APLIKACJI WWW - ADMINISTRACJA SOR I SW VMware vsphere Enterprise 5.1 VMware vcenter SRM Enterprise 5.1 IBM DB2 10.1, Enterprise Server Edition HP-UX 11i v3 DCOE HP Data Protector 7.x 20
icap /GiCaP 10 Metrocluster (klaster rozległy) -3PAR 11.20 HP SiteScope 11.2 HP Operations Mgr 9.1 System Obsługi Rejestrów Rejestry IBM WEBSPHERE EXTREME SCALE 8.6.0.2 Apache Jena 2.7.4 VMware vsphere Enterprise 5.1 VMware vcenter SRM Enterprise 5.1 IBM DB2 10.1, Enterprise Server Edition HP-UX 11i v3 DCOE HP Data Protector 7.x icap /GiCaP 10 Metrocluster (klaster rozległy) -3PAR 11.20 HP SiteScope 11.2 HP Operations Mgr 9.1 WĘZEŁ APLIKACJI WWW - ADMINISTRACJA SOR I SW VMware vsphere Enterprise 5.1 VMware vcenter SRM Enterprise 5.1 IBM DB2 10.1, Enterprise Server Edition HP-UX 11i v3 DCOE HP Data Protector 7.x icap /GiCaP 10 Metrocluster (klaster rozległy) -3PAR 11.20 HP SiteScope 11.2 HP Operations Mgr 9.1 System Obsługi Rejestrów - Zarządzanie Danymi Podstawowymi IBM WEBSPHERE EXTREME SCALE 8.6.0.2 21
Apache Jena 2.7.4 VMware vsphere Enterprise 5.1 VMware vcenter SRM Enterprise 5.1 IBM DB2 10.1, Enterprise Server Edition HP-UX 11i v3 DCOE HP Data Protector 7.x icap /GiCaP 10 Metrocluster (klaster rozległy) -3PAR 11.20 HP SiteScope 11.2 HP Operations Mgr 9.1 WĘZEŁ APLIKACJI WWW - ADMINISTRACJA SOR I SW VMware vsphere Enterprise 5.1 VMware vcenter SRM Enterprise 5.1 IBM DB2 10.1, Enterprise Server Edition HP-UX 11i v3 DCOE HP Data Protector 7.x icap /GiCaP 10 Metrocluster (klaster rozległy) -3PAR 11.20 HP SiteScope 11.2 HP Operations Mgr 9.1 System Obsługi Rejestrów Słowniki IBM WEBSPHERE EXTREME SCALE 8.6.0.2 Apache Jena 2.7.4 VMware vsphere Enterprise 5.1 VMware vcenter SRM Enterprise 5.1 22
System Wsparcia Rozliczeń - Wsparcie Refundacji Leków IBM DB2 10.1, Enterprise Server Edition HP-UX 11i v3 DCOE HP Data Protector 7.x icap /GiCaP 10 Metrocluster (klaster rozległy) -3PAR 11.20 HP SiteScope 11.2 HP Operations Mgr 9.1 VMware vsphere Enterprise 5.1 VMware vcenter SRM Enterprise 5.1 IBM DB2 10.1, Enterprise Server Edition HP-UX 11i v3 DCOE HP Data Protector 7.x icap /GiCaP 10 Metrocluster (klaster rozległy) -3PAR 11.20 HP SiteScope 11.2 HP Operations Mgr 9.1 System Wsparcia Rozliczeń - Wsparcie Rozliczeń Usług Szyna Usług IBM HTTP Server + WAS plugin SmartCloud APM (klient) IBM TSM (klient) Red Hat Enterprise Linux Infosphere DataStage ETL SmartCloud APM (klient) Red Hat Enterprise Virtualization IBM WebSphere extreme Scale SmartCloud APM (klient) IBM WebSphere Application Server 23
Systemu Administracji Audyt ADMINISTRACJI ZABEZPIECZENIA I PRYWATNOŚĆ IBM Websphere Service Registry and Repository IBM WebSphere Process Server Advanced IBM WebSphere Transformation Extender Pack for HL7 Application Instance IBM DB2 IBM WebSphere Application Server IBM On-demand router IBM WebSphere Virtual Enterprise SmartCloud APM (klient) IBM TSM (klient) Red Hat Enterprise Virtualization IBM WebSphere Application Server SmartCloud APM (klient) IBM TSM (klient) Red Hat Enterprise Virtualization IBM DB2 SmartCloud APM (klient) IBM TSM (klient) Red Hat Enterprise Linux IBM WebSphere Application Server IBM TIVOLI SECURITY POLICY MANAGER SmartCloud APM (klient) IBM TSM (klient) Red Hat Enterprise Virtualization IBM Tivoli Directory Server SmartCloud APM (klient) IBM TSM (klient) Red Hat Enterprise Virtualization IBM DB2 SmartCloud APM (klient) IBM TSM (klient) Red Hat Enterprise Virtualization 24
3.1. SYSTEMY BI Rysunek 8 Architektura poglądowa środowiska węzłów serwerów przeznaczonych dla oprogramowania SAS DMZ VPN WĘZEŁ USŁUG TERMINALOWYCH WĘZEŁ ADMINISTRACJI SERWERA TERMINALOWEGO manager terminali Stacja robocza Citrix Rproxy Strefa aplikacyjna WWW WĘZEŁ SERWERÓW OBSŁUGUJĄCYCH MODUŁ ZARZĄDZANIA METADANYMI SAS Remote Services VmWare FT WĘZEŁ SERWERÓW APLIKACYJNYCH HD Web (klaster AS) WĘZEŁ LDAP WĘZEŁ SERWERÓW OBSŁUGUJĄCYCH MODUŁ ZARZĄDZANIA METADANYMI VmWare FT WebDAV WĘZEŁ SERWERÓW PRZETWARZANIA WĘZEŁ SERWERÓW OLAP Strefa bazodanowa Macierz z wydzielonymi zasobami WĘZEŁ SERWERÓW BAZ DANYCH ANALITYCZNYCH 3.2. KOMPONENTY OPROGRAMOWANIA SAS Instalacja oprogramowania SAS wykonana według pliku plan.xml opisującym rozmieszczenie i kolejność instalacji i konfiguracji komponentów. Węzeł Serwerów Obsługujących Moduł Zarządzania Metadanymi 25
Linux for x64 Metadata Server Clients - Administrative Type: VM Fault Tollerance Model: VM OS Version: SLES 11 SAS Metadata Server 9.3 Węzeł Serwerów Obsługujących Moduł Zarządzania Metadanymi SAS Remote Services Linux for x64 Remote Services Type: VM Fault Tollerance Model: VM OS Version: SLES 11 BI Remote Services Tier 9.3 Enterprise BI Remote Services Tier 9.3 SAS Enterprise Miner Remote Services Tier 12.1 SAS Forecast Server Remote Services Tier 12.1 Węzeł Serwerów Przetwarzania Linux for x64 SAS Application Server Clients - Administrative Model: VM OS Version: SLES 11 Platform Suite for SAS 6.1 SAS BI Server 9.3 SAS Data Management Standard Server 2.4 SAS Enterprise BI Server 9.3 SAS Enterprise Miner Server 12.1 SAS Forecast Server 12.1 SAS Social Network Analysis Server Tier 3.1 SAS Text Miner Server 12.1 26
Węzeł Serwerów OLAP Linux for x64 SAS Application Server Model: VM OS Version: SLES 11 SAS OLAP Server 9.3 Węzeł Serwerów Aplikacyjnych HD-ASR i HD-M Linux for x64 Middle Tier Type: Klaster WebSphere Model: VM OS Version: SLES 11 SAS Enterprise BI Middle Tier 9.3 SAS Enterprise Miner Middle Tier 12.1 SAS Forecast Server Middle Tier 12.1 SAS Social Network Analysis Middle Tier 3.1 SAS Text Miner Middle Tier 12.1 Węzeł Serwerów Aplikacyjnych SWN Linux for x64 Middle Tier Type: Klaster WebSphere Model: VM OS Version: SLES 11 SAS BI Middle Tier 9.3 27
Węzeł Usług Terminalowych HD-ASR, HD-M Microsoft Windows for x64 Clients - Administrative Clients - Analytics Clients - End User OS Version: Citrix BI Clients - Administrative 9.3 BI Clients - End User 9.3 Enterprise BI Clients - Administrative 9.3 Enterprise BI Clients - End User 9.3 SAS Enterprise Guide 5.1 SAS Enterprise Miner Clients - Administrative 12.1 SAS Enterprise Miner Clients - Analytics 12.1 SAS Forecast Server Clients - Administrative 12.1 SAS Forecast Server Clients - Analytics 12.1 SAS OLAP Server Clients - Administrative 9.3 SAS OLAP Server Clients - End User 9.3 SAS Data Integration Clients - End User 9.3 SAS Data Integration Clients - Administrative 9.3 SAS Data Quality Desktop 2.4 Węzeł Usług Terminalowych SWN Microsoft Windows for x64 Clients - Administrative Clients - Analytics Clients - End User OS Version: Citrix Software to Install/Configure BI Clients - Administrative 9.3 BI Clients - End User 9.3 Enterprise BI Clients - Administrative 9.3 Enterprise BI Clients - End User 9.3 SAS Enterprise Guide 5.1 SAS Enterprise Miner Clients - Administrative 12.1 SAS Enterprise Miner Clients - Analytics 12.1 SAS Forecast Server Clients - Administrative 12.1 SAS Forecast Server Clients - Analytics 12.1 28
SAS OLAP Server Clients - Administrative 9.3 SAS OLAP Server Clients - End User 9.3 SAS Text Miner Clients - Analytics 12.1 SAS Data Integration Clients - End User 9.3 SAS Data Integration Clients - Administrative 9.3 SAS Data Quality Desktop 2.4 Tabela 39 Mapowanie komponentów oprogramowania SAS z punktu 7.7 na oprogramowanie SAS Nazwa oprogramowania z dokumentu licencyjnego SAS Enterprise BI Server Wersja Komponent SAS wymieniony w punkcie 7.8 sas9.3 Węzeł Serwerów Obsługujących Moduł Zarządzania Metadanymi: SAS Metadata Server 9.3 Węzeł Serwerów Obsługujących Moduł Zarządzania Metadanymi SAS Remote Services: BI Remote Services Tier 9.3 Enterprise BI Remote Services Tier 9.3 Węzeł Serwerów Przetwarzania: SAS BI Server 9.3 SAS Enterprise BI Server 9.3 SAS Social Network Analysis Server Tier 3.1 Węzeł Serwerów OLAP: SAS OLAP Server 9.3 Węzeł Serwerów Aplikacyjnych HD-ASR i HD-M: SAS Enterprise BI Middle Tier 9.3 SAS Social Network Analysis Middle Tier 3.1 Węzeł Serwerów Aplikacyjnych SWN: SAS BI Middle Tier 9.3 Węzeł Usług Terminalowych (HD-ASR, HD-M) + Węzeł Usług Terminalowych (SWN): BI Clients - Administrative 9.3 BI Clients - End User 9.3 Enterprise BI Clients - Administrative 9.3 Enterprise BI Clients - End User 9.3 SAS OLAP Server Clients - Administrative 9.3 SAS OLAP Server Clients - End User 9.3 SAS Enterprise Guide sas9.3 Węzeł Usług Terminalowych (HD-ASR, HD-M) + Węzeł Usług Terminalowych (SWN): SAS Enterprise Guide 5.1 SAS Data Management Standard sas9.3 Węzeł Serwerów Przetwarzania: SAS Data Management Standard Server 2.4 Węzeł Usług Terminalowych (HD-ASR, HD-M) + Węzeł Usług Terminalowych (SWN): 29
SAS Data Integration Clients - End User 9.3 SAS Data Integration Clients - Administrative 9.3 SAS Data Quality Desktop 2.4 SAS Enterprise Miner sas9.3 Węzeł Serwerów Obsługujących Moduł Zarządzania Metadanymi SAS Remote Services: SAS Enterprise Miner Remote Services Tier 12.1 Węzeł Serwerów Przetwarzania: SAS Enterprise Miner Server 12.1 Węzeł Serwerów Aplikacyjnych HD-ASR i HD-M: SAS Enterprise Miner Middle Tier 12.1 Węzeł Usług Terminalowych (HD-ASR, HD-M) + Węzeł Usług Terminalowych (SWN): SAS Enterprise Miner Clients - Administrative 12.1 SAS Enterprise Miner Clients - Analytics 12.1 SAS Text Miner sas9.3 Węzeł Serwerów Przetwarzania: SAS Text Miner Server 12.1 Węzeł Serwerów Aplikacyjnych HD-ASR i HD-M: SAS Text Miner Middle Tier 12.1 Węzeł Usług Terminalowych (SWN): SAS Text Miner Clients - Analytics 12.1 SAS Forecast Server sas9.3 Węzeł Serwerów Obsługujących Moduł Zarządzania Metadanymi SAS Remote Services: SAS Forecast Server Remote Services Tier 12.1 Węzeł Serwerów Przetwarzania: SAS Forecast Server 12.1 Węzeł Serwerów Aplikacyjnych HD-ASR i HD-M: SAS Forecast Server Middle Tier 12.1 Węzeł Usług Terminalowych (HD-ASR, HD-M) + Węzeł Usług Terminalowych (SWN): SAS Forecast Server Clients - Administrative 12.1 SAS Forecast Server Clients - Analytics 12.1 Platform Suite for SAS 6 over sas9.3 Węzeł Serwerów Przetwarzania: Platform Suite for SAS 6.1 30
4. SZKIELET SIECI SAN Szkielet sieci SAN jest zbudowany w topologii Core-Edge. Oznacza to, że w każdym z ośrodków switche HP SN8000B stanowić będą przełącznik rdzeniowy danej podsieci fabric, do którego łączone będą wszystkie pozostałe elementy sieci SAN z danej lokalizacji. Elementami tymi są: lokalne linki ISL do lokalnych switchy brzegowych (dystrybucyjnych) linki łączące ośrodki (ISL) urządzenia Virtual Connect z obudów blade c7000 serwery macierze biblioteki taśmowe Przełączniki brzegowe zainstalowane w dwóch obudowach blade c7000 zostaną podłączone za pomocą trzech linków ISL skonfigurowanych jako trunk. Przełączniki brzegowe zapewniające komunikację między lokalizacjami będą podpięte dwoma linkami do switchy rdzeniowych. Na uwagę zasługuje podłączenie dla urządzeń Virtual Connect. Są to przełączniki SAN pracujące w specjalnym trybie access mode. Takie rozwiązanie umożliwia zaprezentowanie serwerów blade znajdujących się w obudowach c7000 na zewnętrznych portach Virtual Connect ów ze zwirtualizowanymi adresami WWN. Ilość up-linków z każdego Virtual Connect a do przełącznika SAN wynosi sześć. W ramach tych sześciu up-linków zapewniona będzie redundancja a ruch dla serwerów blade będzie balansowany. Oznacza to, że w przypadku awarii któregokolwiek z linków, ruch który się na nim odbywał będzie bezprzerwowo przeniesiony na pozostałe łącza. Każde z pozostałych urządzeń końcowych wpięte będzie minimum jednym interfejsem FC do każdej podsieci fabric tak, aby zachować redundancję na wypadek awarii. Dla urządzeń posiadających większą ilość interfejsów FC (takich jak macierze dyskowe, czy serwer SD) linki FC zostały podzielone symetrycznie z zachowaniem zasad wysokodostępności. Schemat proponowanej sieci SAN przedstawiony jest na rysunku: 31
Rysunek 9 Szkielet sieci SAN dla COPD i ZOPD 32
33
Połączenia między ośrodkami COPD i ZOPD Połączenia pomiędzy ośrodkami realizowane będą dwoma niezależnymi łączami fizycznymi przy użyciu par DWDM dostarczanych przez dostawcę usług telekomunikacyjnych. Dodatkowo dostawca usług telekomunikacyjnych dostarczy i wskaże przełączniki brzegowe, do których wpięte zostaną lokalnymi linkami ISL switche rdzeniowe. Konfiguracja połączeń long distance pomiędzy switchami brzegowymi nie leży w zakresie tej części projektu. Każdy ze switchy rdzeniowych wpięty będzie do jednego switcha brzegowego dwoma linkami ISL. Każda z podsieci fabric będzie używała jednego, dedykowanego łącza pomiędzy lokalizacjami. Rysunek 10 Połączenia SAN pomiędzy ośrodkami COPD i ZOPD 4.2. PODŁĄCZENIA FIZYCZNE DO PRZEŁĄCZNIKÓW FC W COPD I ZOPD Poniższe tabele pokazują zaprojektowane propozycję podłączeń do pszczególnych portów dla switchy w COPD i ZOPD. W lewej kolumnie umieszczono nazwy urządzeń zgodne z aliasami FC, w prawej zaś 34
zostawiono miejsce na adresację WWN dla wszystkich urządzeń. Kolumna adresów WWN zostanie uzupełniona na etapie implementacji projektu ponieważ na tym etapie adresy te nie są jeszcze znane. 5. SYSTEM METROHP 5.1. ŚRODOWISKO KLASTROWE BAZODANOWE Koncepcja rozwiązania Całe środowisko bazodanowe składać się będzie z pięciu oddzielnych klastrów rozległych HP Metrocluster opartych o replikację sprzętową RCPY macierzy 3Par. Węzłami klastrów będą poszczególne partycje serwerów HP SuperDome2. Całość zorganizowana tak, aby dla poszczególnych aplikacji bazodanowych dedykowany był oddzielny zestaw partycji. Całość obrazuje poniższy rysunek Rysunek 11 koncepcja rozwiązania dla środowiska bazodanowego 35
6. WIRTUALIZACJA SERWERÓW 6.1. OGÓLNA ARCHITEKTURA ROZWIĄZANIA Środowisko wirtualizacyjne w ośrodkach COPD/ZOPD zostało zaprojektowane w oparciu o rozwiązania programistyczne vsphere firmy Vmware i bazę sprzętową Hewlett-Packard. Środowisko składa się z 86 serwerów wirtualizacyjnych i 4 dedykowanych serwerów vcenter. Współdzielony zasób dyskowy udostępniony jest przez macierz FC. Bazę sprzętową stanowią serwery kasetowe HP Blade BL460c Gen8, serwery HP DL380 Gen8, HP DL360 Gen8 i macierze dyskowe HP 3Par P10000. Rysunek 12 Ogólna architektura rozwiązania 6.2. SITE RECOVERY MANAGER Oprogramowanie VMware vcenter Site Recovery Manager odpowiedzialne jest za zapewnienie 36
funkcjonalności Disaster Recovery dla maszyn wirtualnych pracujących w ośrodkach COPD/ZOPD. Oprogramowanie zainstalowane zostanie w wersji 5.1.1 ARCHITEKTURA LOGICZNA SRM Rysunek 13 - ARCHITEKTURA LOGICZNA SRM Klaster HA DRS SRM Site Failover Klaster HA DRS Serwery VMware ESXi Serwery VMware ESXi Serwer vcenter + SRM Serwer LAN Serwer vcenter + SRM Serwer Server MS SQL Server MS SQL 3Par P10000 SAN HP 3Par Remote Copy 3Par P10000 COPD ZOPD 6.3. OGÓLNY OPIS WYMAGAŃ I FUNKCJONALNOŚCI RED HAT ENTERPRISE VIRTUALIZATION 3.X Red Hat Enterprise Virtualization składa się z następujących elementów składowych: a. Hypervisor jest to specjalnie przygotowana wersja systemu operacyjnego Red Hat Enterprise Linux, które pozwala na uruchamianie wielu " gości" wirtualnych jednocześnie na komputerze hosta. Maszyna wirtualna gościa wchodzi w interakcją z hypervisorem, który udostępnia serwerom wirtualnym odpowiednie zasoby w postaci na przykład operacji I/O czy przestrzeni dyskowej. Rozpoczęte w pełni zwirtualizowanych goście, tj. goście z niezmodyfikowanych systemów operacyjnych gości, używane do 37
wymagają złożonych hipernadzorców a wcześniej poniesione kary wydajności dla emulacji i translation of I / O i pamięć wnioski. Red Hat Enterprise Virtualization 3.x wykorzystuje Kernel-based Virtual Machine ( KVM ) bazujący na wersji komercyjnej Red Hat Enterprise Linux 6.x. System ten jest w pełni zabezpieczony przy pomocy prekonfigurowanego firewall-a oraz mechanizmów SELinux. System po zainstalowaniu, działa w trybie stateless, użytkownik po skonfigurowaniu środowiska nie ma uprawnień ani potrzeby logowania się do tego systemu. b. RHEV-M Red Hat Enterprise Virtualization Manager centralna konsola do zarządzania wirtualizacją. Przy jej pomocy tworzymy całość infrastruktury wirtualizacyjnej opartej o cienkie hypervisory Red Hat-a. Przy pomocy konsoli managera odbywa się tworzenie i zarządzanie maszynami wirtualnymi, konfiguracja sieci, zasobów macierzowych oraz operacje typu start,stop maszyny wirtualnej, tworzenie obrazów maszyn (template-y) oraz migawek maszyn wirtualnych (snapshots) c. Host - fizyczny serwer, który zapewnia CPU, sieć oraz pamięć i łączność z macierzami dyskowymi do przechowywania obrazów maszyn. Dysk lokalny hosta użytkowany jest tylko do uruchomienia i załadowania oprogramowania hypervisora RHEV oraz do przetrzymywania logów systemowych. d. Klaster to grupa komputerów o podobnej architekturze. Wymóg podobnej architektury pozwala maszynie wirtualnej na migrację pomiędzy hostami w klastrze bez konieczności wyłączania i ponownego uruchomienia maszyny wirtualnej. Klaster składa się z jednego lub więcej komputerów, lecz każdy serwer może być członkiem tylko jednego klastra. e. Centrum danych (datacenter) jest to zestaw jednego lub więcej klastrów, którego części składowe współdzielą te same zasoby (np. storage i sieci). Zasoby, które zostały przydzielone do centrum danych może być używany tylko przez hosty należące do danego centrum danych. f. Storage - jest to współdzielone pomiędzy hostami miejsce przechowywania plików obrazów wirtualnych maszyn, służące do importu / eksportu lub do przechowywania obrazów ISO. Typy domen storage obsługiwane w RHEV 3.0 to: NFS dla eksportu/importu i obrazów ISO iscsi, Fibre Channel -dla przechowywania obrazów maszyn wirtualnych. g. Architektura sieciowa obsługuje zarówno ruch pomiędzy wirtualną maszyną i ruch między hypervisorami RHEV a serwerem RHEV-M. Wszystkie hypervisory mają interfejs sieciowy przypisany do sieci logicznej nazwie rhevm. Sieć ta służy do komunikacji między hypervisorem i managerem. Dodatkowe sieci logiczne są tworzone w centrum danych i stosuje się do jednego lub większej liczby klastrów. Możliwe jest tworzenie tzw. bondingu kilku fizycznych kart sieciowych i przypisywanie do nich sieci logicznych VLAN w ramach danego klastra. 38
6.4. OPIS ARCHITEKTURY WIRTUALIZACYJNEJ PROJEKTU P1 Środowisko wirtualizacyjne w ośrodkach COPD/ZOPD/POPD zostało zaprojektowane w oparciu o rozwiązania Red Hat Enterprise Virtualization firmy Red Hat i bazę sprzętową Hewlett-Packard. Środowisko składa się z 38 serwerów wirtualizacyjnych i 5 serwerów (wirtualnych) zarządzających RHEV-M. Współdzielone zasób dyskowe udostępnione są przez macierz FC. Bazę sprzętową stanowią serwery Rack HP DL380 Gen8 i macierze dyskowe HP EVA 6350. Powyższy schemat zostanie powielony dla ZOPD i dostosowany w podobny sposób w POPD. 39
Ze względu na konieczność zachowania wysokiej dostępności systemu zarządzającego RHEV-M zaproponowano instalację managera w maszynie wirtualnej osadzonej w klastrze HA opartym o Microsoft Hyper-V. Zapewni do bezawaryjny i nieprzerwany dostęp do konsoli zarządzającej infrastruktury wirtualizacyjnej. 40
7. ZARZĄDZANIA CHMURĄ PRYWATNĄ W COPD I ZOPD 7.1. SYSTEM ZARZĄDZANIA CHMURĄ PRYWATNĄ W ramach projektu dostarczone zostanie system zarządzania chmurą prywatną HP CloudSystem Matrix. W celu realizacji rozwiązania wdrożone zostaną następujące moduły: HP CloudSystem Matrix Operating Environment (MOE) HP Cloud Service Automation (CSA) HP Server Automation (SA) HP Operations Orchestration (OO) Rysunek 14 Architektura logiczna chmury prywatnej Portal Zarządzania Usługami Chmury Administracja Projektowanie Zarządzanie katalogiem i usługami Obsługa Portal Użytkownika Chmury Platforma Dostarczania Chmury Korzystanie z Usług Dostarczanie Usług Dostarczanie Zasobów Przetwarzanie procesów Dostarczanie HP DMA Przeglądanie Katalogu Zamawianie Wydawanie Zgody Obsługa i zmiany Wycena Katalog Oferta Subskrybcje Wnioski Zgody Użytkonicy, Grupy i Organizacje Wzorce Instancje Komponenty Powiązania Bezpieczeństwo, Role i Zarządzanie Dostępem Dostawcy Oferty Subskrybcje Środowiska Cykl życia HP Operations Orchestration HP Continuos Delivery Automation HP Server Automation vcenter HP Matrix OE Zapewnianie HP SiteScope Konfiguracja HP Asset Manager, Service Manager HP SrcSight Logger HP ucmdb Konfiguracja serwerów zarządzających chmurą prywatną oraz pule zasobowe, z których powoływane 41
będą usługi oparte zostaną na produktach firmy HP. Moduły Matrix Operating Environment (MOE), Cloud Service Automation (CSA), Server Automation (SA) i Operations Orchestration (OO) wykorzystywane będą do zarządzania serwerami infrastruktury CSIOZ. Architektura chmury prywatnej Rysunek 15 Architektura chmury prywatnej COPD ZOPD vcenter DMZ DMZ cluster DMZ DMZ DMZ cluster vcenter DMZ vcenter COPD vcenter ZOPD SA,SiS, OM,SM Oracle db Application cluster Application cluster Oracle db SA,SiS, OM,SM ESX host Application cluster Application cluster ESX host SQL01,SQL02, SQL03,CSA/OO,SHR CMS CMS SQL01,SQL02, SQL03,CSA/OO, SHR Application cluster Application cluster Hyper-V host Hyper-V host 3PAR 3PAR Remote Copy 3PAR W strefie DMZ umieszczone będą wirtualizatory VMware ESXi oparte na serwerach klasy HP Proliant DL380Gen8, po sześć w każdym ośrodku. Do zarządzania hostami ESXi służyć będą serwery vcenter, oparte na serwerach klasy HP Proliant DL380 Gen8, po jednym w każdym ośrodku. W strefie środowisk aplikacyjnych na komputerach klasy HP Proliant BL460c Gen8 zainstalowane zostaną serwery wirtualizacyjne VMware ESX, po trzydzieści pięć serwerów w każdym ośrodku. Do zarządzania hostami ESXi służyć będą serwery vcenter, oparte na serwerach klasy HP Proliant DL380 Gen8, po jednym w każdym ośrodku. 42
8. SYSTEM BACKUPOWY Kopie zapasowe systemu są wykonywane poprzez oprogramowanie HP Data Protector. Kopie danych znajdą się w bibliotece taśmowej, w każdej chwili dostępne do odzyskania. Dodatkowo dane z wybranych środowisk składowane są na bibliotekach wirtualnych, utworzonych na dedykowanej do tego celu macierzy P2000. Oprogramowanie systemu backupowego, zarządzające systemem składowania kopii zapasowych, nazywane także menedżerem komórki (ang. cell manager), zostanie zainstalowane w klastrze złożonym z czterech węzłów (po dwa na każdy ośrodek przetrwarzania) na maszynach typu HP Integrity BL870i4. W skład systemu backupowego wchodzą biblioteki taśmowe HP StorageWorks MSL4048 rozbudowane dodatkowo o biblioteki MSL8096, w poniższej specyfikacji sprzętowej: 1. sześć napędów taśmowych LTO-5, 2. 144 miejsc (slotów) na taśmy LTO, 3. interfejsy FC do komunikacji z serwerami i macierzą po sieci SAN. Część oprogramowania HP Data Protector, zwana Media Agent, odpowiedzialna za obsługę biblioteki taśmowej, zostanie zainstalowana na wyznaczonych serwerach fizycznych mających dostęp do sieci SAN. Szczegółowe informacje zostaną przedstawione w dalszej części projektu. Zastosowane zostaną integracje HP Data Protector ze środowiskami wirtualnymi, umożliwiające automatyczne wykonywanie kopii maszyn wirtualnych, a także integracje ZDB z macierzą 3PAR. Ochroną zostaną objęte środowiska wchodzące w skład warstw aplikacyjnych, bazodanowych, zarządzania oraz strefa DMZ, dla której przewidziany został osobny zarządca backupu. Dla warstwy aplikacyjnej preferowanym rodzajem backupu będzie kopiowanie maszyn wirtualnych przy wykorzystaniu API oprogramowania wirtualizacyjnego. Bazy danych DB2 będą backupowane metodą ZDB przy użyciu serwerów backup proxy oraz mechanizmów snapshotowych na macierzy 3PAR. Ogólny schemat architektury systemu backupowego przedstawiono poniżej. Dokładne informacje na temat konfiguracji sieci LAN oraz SAN znajdują się w osobnych dokumentach. 43
44