Nowe aplikacje i usługi w środowisku Grid

Transkrypt

1 Nowe aplikacje i usługi w środowisku Grid

2 Wstęp Pojęcie GRID Aplikacje/Usługi Laboratorium Wirtualne Krajowy Magazyn Danych Zastosowanie Skala i zasięg Użytkownik końcowy Uwarunkowania ekonomiczne

3 Laboratorium Wirtualne Projekt celowy KBN, SGI Nr 6 T C/05836

4 Założenia Potrzeba budowy VLab Możliwości korzystania w sposób zdalny z bardzo drogich przyrządów laboratoryjnych Wspólna praca nad projektami Krótsze terminy realizacji projektów Dostęp z dowolnego miejsca przez Internet Uniwersalna architektura elastyczna architektura umożliwiająca adaptacje do różnych typów urządzeń Eksploracja wyników wcześniej wykonanych eksperymentów oraz publikacji z danej dziedziny Bliżej koncepcji escience

5 Funkcjonalność (1/2) Zlecanie zadań (eksperymentów rzeczywistych i eksperymentów obliczeniowych lub symulacji) z możliwością sterowania przepływem zadań Równoważenie obciążenia przesyłanie zadań do mniej obciążonych przyrządów (urządzeń) Możliwość współdzielenia wyników eksperymentów wyniki eksperymentów będą zapisywane w bibliotece cyfrowej i dostępne dla użytkowników laboratorium wirtualnego Bibliografia publikacji dotyczących specyficznej dziedziny naukowej

6 Funkcjonalność (2/2) Narzędzia pracy grupowej chat, audio, video teleimersja Komunikacja z obsługą urządzeń wymagane w sytuacji gdy użytkownik potrzebuje specyficznych informacji dotyczących np. dostępności urządzenia lub innych danych na temat urządzenia (czynnik ludzki) Rezerwacja czasu wykonania eksperymentu automatyzacja procesu rezerwacji zasobów

7 Prace badawcze Główne cele badawcze jakie zostały postawione w PCSS obejmują: Opracowanie uniwersalnej architektury służącej do udostępniania i sterowania zdalnymi urządzeniami Definicję dynamicznych scenariuszy pomiarowych Definicje protokołu komunikacyjnego pomiędzy zarządcą zadań w systemie VLab a brokerem w systemie typu Grid Uwzględnienie czynnika ludzkiego operator urządzenia

8 Architektura Podział na: Moduły ogólnego przeznaczenia Moduły specyficzne Adaptacja istniejącego rozwiązania do nowego typu laboratorium wymaga wymiany tylko specyficznych modułów Broker gridowy dostęp do laboratorium z innych systemów gridowych Moduł szeregujący uwzględniający specyfikę danego laboratorium

9 Scenariusze pomiarowe Dzięki definicji dynamicznych scenariuszy pomiarowych istnieje możliwość sterowania w elastyczny sposób całym procesem eksperymentu (wykonania serii obliczeń) Możliwość dodawania nowych elementów scenariuszy Definiowanie warunków przejścia Data Preprocessing Experiment Postprocessing Visualisation Results

10 Zasoby w Gridzie Definicja przyrządów pomiarowych i zlecanie zadań do nich odbywa się podobnie jak do innych zasobów dostępnych w środowisku typu Grid Wysoki poziom bezpieczeństwa System rozliczania wykorzystanych zasobów Zasoby w środowisku Grid

11 Wdrożenie Spektroskopia Magnetycznego Rezonansu Jądrowego Tomografia komputerowa

12 Krajowy Magazyn Danych (KMD)

13 Cel i założenia projektu Budowa bezpiecznego i rozproszonego systemu przechowywania danych. Rozproszony system składowania danych tworzą: infrastruktura sprzętowa oraz odpowiednie oprogramowanie zarządzające, a także oprogramowanie klienta udostępnione na stacji końcowej. Infrastruktura sprzętowa (hierarchiczne systemy składowania danych, serwery plików i serwery aplikacyjne KMD) bazować będzie na sieci Polskiego Internetu Optycznego PIONIER.

14 Cel i założenia projektu (cd.) Rozproszona usługa składowania danych dla administracji rządowej, samorządowej, środowiska naukowego Pełni rolę głównych lub zapasowych punktów backup u danych Usługa dostępna we wszystkich miastach objętych krajową siecią optyczną PIONIER Infrastrukturę tworzą Centra Danych połączone dedykowanymi kanałami optycznymi sieci PIONIER

15 Użytkownik końcowy Ośrodki akademickie (KMD-EDU) dostępność usługi podwyższona niezawodność większa efektywność zwiększony poziom bezpieczeństwa Administracja (KMD-ADM)

16 Pożą żądane cechy systemu wysoki poziom bezpieczeństwa poufność i integralność danych wysoki poziom niezawodności dostępność systemu i danych odporność na awarie sprzętu wysoka wydajność równoważenie obciążenia węzłów i połączeń sieciowych zasięg proponowanej usługi skalowalność koszt udostępnienia

17 Niezbędna infrastruktura sieć: Polski Internet Optyczny PIONIER: (zapewni odpowiednią przepustowość) PIONIER-KDM PIONIER-ADM systemy przechowywania danych: hierarchicznego składowania danych (HSM) serwery plików serwery aplikacyjne bezpieczne pomieszczenia (Data Center)

18 Prace badawcze (KMD-EDU) dotyczą: Technik komunikacji pomiędzy rozproszonymi geograficznie, odległymi punktami dostępu: bezpiecznej, niezawodnej i efektywnej parametrów kontroli jakości definicji rozproszonego systemu przechowywania i zarządzania danymi stosownie do wymagań użytkowników KDM i administracji państwowej mechanizmów równoważenia obciążenia i zarządzania zasobami bezpieczeństwa danych w rozproszonym środowisku technik zwiększenia niezawodności na poziomie systemu zarządzania danymi metod zarządzania procesem rozliczania wykorzystanych zasobów w środowisku rozproszonym

19 Efekt końcowy oprogramowanie pozwalające zarządzać bezpieczną i rozproszoną strukturą składowania danych możliwość wyróżnienia niezależnych organizacji wirtualnych, dla których świadczone będą usługi o wymaganym poziomie bezpieczeństwa i niezawodności fizyczna i logiczna separacja danych

20 Prace wdrożeniowe rozbudowa systemu KMD-EDU: rozbudowa infrastruktury sprzętowej wykorzystanie efektów prac badawczych wdrożenie systemu KMD-ADM adaptacja i konfiguracja oprogramowania KMD-EDU do potrzeb KMD-ADM zakup systemów przechowywania danych budowa i certyfikacja pomieszczeń Data Center

21 Data Center KMD-ADM Bezpieczne pomieszczenia (Data Center) Gdańsk, Kraków, Poznań, Wrocław Zabezpieczenia przed: ogniem, wilgocią, pożarem i korodującymi gazami pożarowymi, wandalizmem, kradzieżą, włamaniem, promieniowaniem, pyłami, dostępem osób trzecich,... zasilanie dwupunktowe: UPS, generator prądu Potwierdzenie poziomu bezpieczeństwa certyfikacja pomieszczeń Data Center certyfikaty dla personelu

22 Struktura Krajowego Magazynu Danych

23 Wartość dodana projektu oprogramowanie zarządzające rozproszonym systemem składowania danych udostępniające: wysoki poziom bezpieczeństwa i niezawodności geograficzna replikacja spójność rozproszonych danych szyfrowanie składowanych danych: wysoka dostępność dzięki zastosowaniu nadmiarowości sprzętowej i oprogramowania odpornego na usterki sprzętu interfejs użytkownika wykorzystujący nowe cechy systemu szyfrowanie przesyłanych danych gwarancja poziomu usług (QoS) narzędzia realizujące dodatkowe szyfrowanie danych przechowywanych w systemie klucz szyfrujący znany wyłącznie właścicielowi danych klientowi/instytucji brak możliwości odczytu/ modyfikacji danych klienta przez personel KMD możliwość rozliczania wykorzystanych zasobów wykorzystanie szybkich połączeń sieciowych zestawionych między węzłami KMD na bazie sieci PIONIER pomieszczenia Data Center przeznaczone dla KMD-ADM

24 Wykonawcy Poznańskie Centrum Superkomputerowo-Sieciowe (koordynator) Akademickie Centrum Komputerowe CYFRONET AGH Politechnika Gdańska - Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej Politechnika Wrocławska - Wrocławskie Centrum Sieciowo-Superkomputerowe

25 Podsumowanie Jakość usługi Poziom bezpieczeństwa Zasięg Koszt Skalowalność

26 Paradygmaty realizacyjne

27 Struktura Ogólnopolskiej Sieci Optycznej

28 Dziękuję za uwagę...