Proponowana architektura ZPT

Transkrypt

1

2 Wymagania Opracowanie nowego podejścia do przetwarzania i składowania danych Uzyskanie korzystnego efektu ekonomicznego przez lepszej jakości usługi Zwiększenie niezawodności Zachowanie odpowiedniego poziomu bezpieczeństwa Duża dynamika zapotrzebowania na zasoby

3 Zarządzanie Bezpieczeństwo Proponowana architektura ZPT A 1 A 2 A n Zaawansowany system zarządzania danymi Repozytoria danych Aplikacyjna platforma przetwarzania danych Infrastruktura sieciowa

4 Zintegrowana sieć szerokopasmowa następnej generacji dla Policji Systemy DWDM Światłowody Sieć pakietowa MPLS Bezprzewodowe technologie dostępowe

5 Zarządzanie Bezpieczeństwo Infrastruktura sieciowa Proponujemy: Hierarchiczna struktura sieciowa Technologie: światłowody, DWDM, sieć pakietowa MPLS, bezprzewodowe technologie dostępowe Dostęp mobilny Sieci szerokopasmowe Sieci tematyczne (VPN) Szerokie zastosowanie wirtualizacji sieci A 1 A 2 A n Zaawansowany system zarządzania danymi Repozytoria danych Aplikacyjna platforma przetwarzania danych Infrastruktura sieciowa Efekty: Skalowalność Zwiększone bezpieczeństwo Możliwość obsługi nowych usług, np. zaawansowane usługi wideo, szerokopasmowe usługi mobilne, usługi wspomagania działań kryzysowych, monitorowanie wizyjne on-line

6 Zarządzanie Bezpieczeństwo Aplikacyjna platforma przetwarzania danych A 1 A 2 A n Zaawansowany system zarządzania danymi Repozytoria danych Aplikacyjna platforma przetwarzania danych Infrastruktura sieciowa Proponujemy: Rozproszenie ośrodków obliczeniowych Etapowa migracja do chmury przetwarzania danych Implementacja chmury prywatnej w modelu SaaS (w przyszłości PaaS) Efekty: Optymalizacja wykorzystania zasobów Zmniejszenie kosztów budowy i utrzymania infrastruktury przetwarzania danych Zasoby dostępne na żądanie

7 Zarządzanie Bezpieczeństwo Repozytoria danych A 1 A 2 A n Zaawansowany system zarządzania danymi Repozytoria danych Aplikacyjna platforma przetwarzania danych Proponujemy: Infrastruktura sieciowa Chmura danych (ang. cloud storage) Rozproszenie i replikacja geograficzna danych Wirtualizacja zasobów przechowywania danych Elastyczna skalowalność przestrzeni przechowywania i wydajności Automatyzacja zarządzania i obsługi awarii (np. automatyczne przełączanie) Efekty: Wzrost niezawodności działania: automatyczny fail-over Wzrost przepustowości transferu danych: wiele kopii danych i punktów obsługi Dodatkowe usługi (np. B/A dla wszystkich komputerów w sieci: niskie koszty/tb) Unifikacja wykorzystania systemu przez aplikacje: uniwersalny interfejs HTTP(s)

8 Instalacja pilotowa demonstracja cech proponowanej platformy 2 x Poznań Gdańsk Gorzów Środowisko rozległe symulowane w sieci krajowej PIONIER oraz sieci miejskiej POZMAN Symulacja obciążenia ZAPASOWE CENTRA PRZETWARZANIA Skalowalność dostępu do danych Równoważnie obciążenia Replikacja danych Skalowalność dostępu do danych CENTRUM DANYCH A CENTRUM DANYCH B,...

9 Chmurowe przechowywanie danych

10 Zarządzanie Bezpieczeństwo System przechowywania danych Chmura danych (ang. cloud storage) Rozproszenie i replikacja geograficzna danych Wirtualizacja zasobów przechowywania danych A 1 A 2 A Zaawansowany system zarządzania danymi n Repozytoria danych Aplikacyjna platforma przetwarzania danych Infrastruktura sieciowa Wzrost niezawodności działania Automatyzacja obsługi awarii (fail-over między wieloma elementami) Wzrost przepustowości: wiele kopii danych i punktów obsługi użytkowników Elastyczna skalowalność przestrzeni i wydajności Prostota integracji chmury dla danych i aplikacja: uniwersalny interfejs HTTPs/REST Niskie koszy realizacji infrastruktury i usług

11 Koncepcja systemu przechowywania B/A Koncepcja 4 elementy: (1) Silosy dla danych (istniejące w tej chwili) + warstwa wirtualizująca zarządzanie (2) Cloud storage dla infrastruktury wirtualnej + np. dla maszyn wirtualnych pod VMware (3) Cloud storage dla aplikacji + np. back-end cloud-owy dla aplikacji (4) Cloud storage dla użytkowników: + aplikacje chmurowe dla B/A i synchronizacji danych Cloud Data silos

12 (1) Cloud dla istniejących silosów danych Rozwiązania cloudowe dla silosów danych (duże, scentralizowane systemy przechowywania danych; zastosowania: min. B/A) Przemysłowe / typowy appliance: Wirtualizatory storage / appliance storage (redundantne kontrolery, RAID...) + NOWE CECHY (cloudowe): automatyzacja zarządzania samoobsługa przesunięcie elementów zarządzania do użytkownika elastyczność zaawansowana wirtualizacja np. storage tiering (SSD/FC/SATA/tape) np. thin provisioning User portal użytkownik dane administrator MGMT portal appliance storage zarządzanie

13 (2) Cloud storage dla infrastruktury wirtualnej Rozwiązania cloudowe dla infrastruktury wirtualnej (np. serwery wirtualne oparte o vmware / hyper-v itp..) Platforma wirtualizacyjna dla serwerów Wirtualizacja storage na poziomie middleware wirtualizacyjnego + ZAAWANSOWANE CECHY: Automatyzacja zarządzania (np. VMware Orchestrator) elastyczność i automatyzacja alokowania zasobów np. alokacja wolumenów dyskowych w miarę potrzeby wystartowania kolejnych maszyn wirtualnych możliwość realizacji harmonogramów różne aplikacje uruchamiane w różnym okresie czasu na współdzielonej infrastrukturze np. analiza danych w nocy; w dzień aplikacje desktopowe Zarządzanie obrazami maszyn wirtualnych + redundatny dostęp do nich np. OpenStack Image Service (Glance) + składowanie obrazów w chmurze (np. OpenSTack Swift lub Amazon S3)

14 (2) Cloud storage dla infrastruktury wirtualnej Zwirtualizowany serwer Maszyna wirtualna Wirtualne wolumeny Image Service Redundantny storage (np. Cloudstack Swift) Różne formaty maszyn: Raw VHD (Hyper-V) VMDK (VMWare) OVF (VMWare, other... Fizyczny storage

15 (3) Cloud storage dla aplikacji Rozwiązania cloudowe dla aplikacji Aplikacja działająca w centrum danych lub na platformie wirtualizacyjnej (np. tylko w nocy) + Cloud owy back-end dla danych: Przechowywanie / dostęp do obiektów / elementów modelu Wydajny dostęp do dużej przestrzeni składowania Chmura może symulować system plików / bazę danych / repozytorium obiektów Składowanie danych wyjściowych: Końcowych/pośrednich Przestrzeń alokowana dynamicznie / na żądanie - podczas działania aplikacji Możliwość dostępu do wyników z dowolnego miejsca w firmie Np. możliwość obejrzenia symulacji

16 Fizyczny storage (3) Cloud storage dla aplikacji Aplikacja wizualizacyjna (uruchamiana w data center lub na platformie wirtualnej) Object Storage (Swift) Rozproszone repozytorium obiektów 3D / modeli geo-przestrzennych / wyników (filmów) Użytkownik wyników symulacji Aplikacja do przeglądania wyników symulacji (np. przeglądarka internetowa) Pliki, obiekty danych Redundantny storage (np. Cloudstack Swift)

17 (3) Cloud storage dla użytkoników Cloud storage dla osób (usługi stand-alone w chmurze danych): Sync/store/share - pomiędzy maszynami, osobami itd. (Dropbox-style) Backup/archiwizacja skalowalny backup do chmury z przyjaznym interfejsem (Autobackup-style, Ibard24-style) Współdzielony dysk sieciowy np. dostępny przez WebDAV CLOUD STORAGE Windows/Linux application

18 Zarządzanie Bezpieczeństwo Chmurowe przechowywanie danych Wnioski Przechowywanie w chmurze danych: Bezpieczeństwo Odporność na awarie Skalowalność Wydajność Łatwa integracja Potencjalne zastosowania: dystrybucja, składowanie danych Dystrybucja treści: np. video do wielu ośrodków: n z m; Dodatkowe kopie zapasowe: z replikacją do n z m lokalizacji; A 1 A 2 A Zaawansowany system zarządzania danymi n Repozytoria danych Aplikacyjna platforma przetwarzania danych Infrastruktura sieciowa Korzyści dla organizacji: niskie koszty budowy usługi oferującej niezawodność i wydajność: Standardowy sprzęt: serwery z dyskami; Brak wymagań HA w stosunku do elementów Redundancja dzięki logice zaszytej w oprogramowaniu Prosta i tania obsługa systemu na poziomie sprzętu

19 Aplikacyjna platforma przetwarzania danych w chmurze prywatnej

20 Zapotrzebowanie na zasoby obliczeniowe jest zmienne ZAPOTRZEBOWANIE NA ZASOBY (APLIKACJA 1, APLIKACJA 2, APLIKACJA 3, ) CZAS

21 Wady tradycyjnej, statycznej infrastruktury obliczeniowej utrudniona reakcja na zmiany w zapotrzebowaniu na moc obliczeniową przydział zasobów musi być przeprowadzany ręcznie nieoptymalne wykorzystanie infrastruktury statyczne przypisanie zasobów do aplikacji mniejsza odporność na awarie statyczna redundancja lub ręczne przydzielanie zasobów w razie awarii

22 Co proponujemy? Aplikacyjną platformę przetwarzającą dane w technologii chmurowej (cloud computing)

23 Zalety uruchamiania aplikacji w architekturze ZPT błyskawiczna reakcja na zmiany w zapotrzebowaniu na moc obliczeniową przydział zasobów odbywa się automatycznie w zależności od aktualnych potrzeb zgłaszanych przez aplikacje/użytkowników możliwość wprowadzenia priorytetów dla aplikacji i kolejkowanie żądań optymalne wykorzystanie infrastruktury uniwersalność: wszystkie zasoby są do dyspozycji wszystkich aplikacji wysoka odporność na awarie w razie awarii system automatycznie przydzieli potrzebne zasoby

24 Wykorzystywane rozwiązania technologiczne: wirtualizacja izolacja systemów operacyjnych (OS) i aplikacji od specyfiki zasobów sprzętowych możliwość migracji OS pomiędzy maszynami fizycznymi możliwość pauzowania działania OS system zarządzania zadaniami obliczeniowymi (batch scheduler) automatyczne uruchamianie aplikacji na puli serwerów priorytety, raporty z wykorzystania, optymalizacja chmurowy system przechowywania plików wysoka dostępność, wydajność i odporność na awarie

25 Dynamiczne zwiększone zapotrzebowanie na zasoby przetwarzania Środowisko rozległe symulowane w sieci krajowej PIONIER oraz sieci miejskiej POZMAN Symulacja obciążenia ZAPASOWE CENTRA PRZETWARZANIA następuje wydarzenie specjalne powstaje NAGŁE zapotrzebowanie na moc obliczeniową (potrzebne są animacje 3D) CENTRUM DANYCH A Skalowalność dostępu do danych Równoważnie obciążenia Replikacja danych CENTRUM DANYCH B,... Skalowalność dostępu do danych zapotrzebowanie realizuje platforma aplikacyjna ZPTP

26 Schemat infrastruktury testowej 1/2 front-end inicjalizacja symulacji [an(i)ma] import do 3ds Max zarządzanie klastrem renderującym [Autodesk Backburner] cloud storage udostępnianie współdzielonego filesystemu zapewnienie odpowiedniej wydajności dla I/O ZPTP (CLOUD prywatny) rendering farm renderowanie symulacji zapis plików video/obrazów

27 2:24:00 2:09:36 1:55:12 1:40:48 1:26:24 1:12:00 0:57:36 0:43:12 0:28:48 Przykładowa analiza wpływu dostępności zasobów na efektywność generowania animacji [1000 obiektów] czas symulacji [h:m:s] liczba serwerów czas symulacji [m] 2:10:00 1:05:00 0:32:30 0:16:15 0:08:07 0:04:04 0:02:02 0:01:01 0:00:30 0:00:15 0:00:08 0:14:24 0:00:00 liczba serwerów

28 Podsumowanie co proponujemy w zakresie uruchamiania aplikacji na platformie ZPT? architekturę chmurową elastyczne zarządzanie zasobami dynamiczny przydział i wymianę serwerów pomiędzy aplikacjami priorytety i kolejkowanie żądań o przyznanie zasobów niezależność warstwy oprogramowania aplikacyjnego od sprzętu rozproszony, wydajny i odporny na awarię system plików

29 O PROJEKCIE Projekt rozwojowy finansowany przez Ministerstwo Nauki i Szkolnictwa Wyższego Nr projektu: OR Okres realizacji: Realizowany przez Konsorcjum Naukowo-Przemysłowe Poznańskie Centrum Superkomputerowo-Sieciowe ALMA S.A. Talex S.A. Verax Systems Sp. Z o.o. Projekt realizowany we współpracy z Biurem Informatyki i Łączności Komendy Głównej Policji