Jacek Kitowski i Łukasz Dutka ACK CYFRONET AGH, Kraków, Polska

Transkrypt

1 Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej Aktualne postępy i osiągnięcia Polskiej Inicjatywy Gridowej w ramach Projektu PL-Grid Jacek Kitowski i Łukasz Dutka ACK CYFRONET AGH, Kraków, Polska Instytut Informatyki AGH-UST we współpracy z Partnerami Projektu PL-Grid I Konferencja i3: internet - infrastruktury - innowacje Poznań, 4-6 listopada, 2009

2 Podziękowania ACK Cyfronet AGH Kazimierz Wiatr Michał Turała Marian Bubak Tomasz Szepieniec Marcin Radecki Mariusz Sterzel Karol Krawentek Agnieszka Szymańska Andrzej Oziębło Tadeusz Szymocha Alex Kusznir Zofia Mosurska Teresa Ozga Aleksandra Mazur ICM Piotr Bała Maciej Filocha PCSS Norbert Meyer Krzysztof Kurowski Mirosław Kupczyk WCSS Józef Janyszek Bartłomiej Balcerek Paweł Dziekoński TASK Mścisław Nakonieczny Jarosław Rybicki Rafał Tylman 2

3 Plan wystąpienia Narodowa Inicjatywa Gridowa w Polsce Motywacja Uzasadnienie i Podstawy Stan Zaawansowania Projekt PL-Grid Rezultaty Podsumowanie Podejście e-science do badań naukowych Działania integracyjne zachodzące w świecie

4 Oczekiwania ze strony Środowisk Naukowych E-Science: wspólne badania naukowe wspierane przez zaawansowane, rozproszone obliczenia rozszerzenie paradygmatu Nauk Obliczeniowych Wielodyscyplinarne i międzynarodowe Wymagające postępów w zakresie informatyki i nauk obliczeniowych Cel: aby umoŝliwić badania naukowe wyŝszej jakości we wszystkich dziedzinach Nauka na poziomie systemowym: uwzględnienie wielu zjawisk, elementy komunikują się ze sobą i są od siebie zaleŝne, eksperymenty in silico Aby generować, interpretować i analizować obszerne zasoby danych Pochodzące z eksperymentów, obserwacji i symulacji Przy wykorzystaniu zarządzania jakością, wysokiej niezawodności i dokumentowania Aby tworzyć i badać modele symulacyjne Obliczenia i dane wieloskalowe Wiarygodne, ekonomicznie uzasadnione, o istotnym znaczeniu Aby umoŝliwić dynamiczną, rozproszoną współpracę środowisk naukowych Przez współdzielenie wiedzy i zasobów Z wykorzystaniem bezpieczeństwa, wiarygodności, zarządzania i elastyczności M. Atkinson, e-science (...), Grid2006 & 2-nd Int.Conf.e-Social Science 2006, National e-science Centre UK I. Foster, System Level Science and System Level Models, Snowmass, August 1-2, 2007

5 Konsorcjum PL-Grid Konsorcjum składa się z pięciu polskich centrów obliczeniowych, reprezentujących środowiska naukowe Uczestnictwo w Międzynarodowych i Krajowych Projektach i we współpracy ~35 międzynarodowych projektów FP5, FP6, FP7 dotyczących Gridów (50% wspólnych) ~15 polskich projektów (50% wspólnych) Istniejące potrzeby polskich środowisk naukowych ~75% publikacji w pięciu środowiskach Nowoczesne zasoby obliczeniowe Lista Top500 Europejskie/światowe działania integracyjne EGEE I-III, EGI_DS, EGI, e-irg, PRACE, DEISA, OMII, Eksperci w F3 EU: Research Infrastructure, Projekty Infrastrukturalne Narodowa Szerokopasmowa Infrastruktura Sieciowa dla wspomagania nauki (dzięki Narodowemu Projektowi Ponier) Porozumienie podpisane w styczniu 2007

6 Projekt PL-Grid Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej European Grid Initiative (EGI) National Grid Initiative (NGI) PL-Grid Odpowiedź na potrzeby polskich naukowców i bieŝących aktywności gridowych w Polsce, w innych krajach europejskich i na całym świecie Motywacja Podejście E-Science do badań naukowych Działająca inicjatywa EGI we współpracy z NGIs Projekt PL-Grid ( ) Wystąpienie o dofinansowanie w ramach Programu Operacyjnego Innowacyjna Gospodarka, Działanie 2.3 (we wrześniu 2008) Decyzja o przyznaniu finansowania 2 marca 2009 (w ramach Europejskich Funduszy Strukturalnych)

7 W ramach Polskiego Gridu tworzona jest wspólna bazowa infrastruktura podobnie do rozwiązań zastosowanych w innych krajach. Dziedzinowe systemy gridowe włącznie z usługami i narzędziami zorientowanymi na specyficzne typy aplikacji będą konstruowane na tej infrastrukturze. Dziedzinowe systemy gridowe mogą być później rozwijane i zarządzane w ramach odrębnych projektów. Efektywne wykorzystanie dostępnych środków finansowych. Stworzenie infrastruktury gridowej w pełni kompatybilnej i interoperabilnej z gridem europejskim i światowym. Plany umoŝliwienia obliczeń HPC i klastrowych. ZałoŜenia Projektu Zaawansowane Platformy Usługowe Aplikacja Aplikacja Aplikacja Aplikacja Grid Dziedzino wy Grid Dziedzino wy Grid Dziedzino wy Grid Dziedzino wy Infrastruktura gridowa (usługi gridowe) PL-Grid Klastry Komputery duŝej mocy Krajowa sieć komputerowa PIONIER Repozytoria danych

8 Elementy i Funkcjonalność Oprogramowanie PL-Grid będzie obejmować: narzędzia uŝytkownika portale, systemy zarządzania i monitorowania aplikacji, systemy wizualizacji wyników i inne zgodne z uŝywanym w Projekcie oprogramowaniem niŝszych warstw; biblioteki programistyczne; systemy wirtualnych organizacji: podsystemy certyfikatów i kont, rozliczanie wykorzystania zasobów, podsystem bezpieczeństwa; systemy zarządzania danymi: katalogi metadanych, zarządzanie replikami, transfer plików; systemy zarządzania zasobami: zarządzanie zadaniami, monitorowanie aplikacji, usług gridowych i infrastruktury, zarządzanie licencjami, zarządzanie lokalnymi zasobami. UŜytkownicy Warstwa dostępowa tworzenia aplikacji Usługi gridowe Zasoby gridowe Rozproszone repozytoria danych System wirtualnych organizacji i bezpieczeństwa Podstawowe usługi gridowe Portale gridowe, narzędzia programistyczne Krajowa sieć komputerowa LCG/gLite (EGEE) UNICORE (DEISA) Rozproszone zasoby obliczeniowe Inne systemy gridowe W obrębie Projektu będą funkcjonować 3 rodzaje infrastruktury: produkcyjna, badawcza, deweloperska/testowa.

9 Planowana realizacja celów Projekt PL-Grid jest podzielony na kilka zadań Główne wskaźniki projektu: Moc obliczeniowa: 215 Tflops Pamięć dyskowa: 2500 TB

10 Centrum Operacyjne: Zadania Koordynacja działań operacyjnych Zarządzanie i rozliczanie wykorzystania zasobów Współpraca z EGI i DEISA (obliczenia HPC i klastrowe) Analiza wymagań uŝytkowników dotyczących działania infrastruktury Uruchomienie infrastruktury: Produkcyjnej Deweloperskiej Badawczej Do rozwaŝenia w przyszłości: Chmury obliczeniowe Chmury danych Chmury wewnętrzne i zewnętrzne Aspekty wirtualizacji Middleware EGI produkcyjny Zespół EGI Middleware EGI testowy

11 Centrum Operacyjne: Rezultaty PL-Grid VO (vo.plgrid.pl) w pełni działająca Wirtualne zasoby produkcyjne dla uŝytkowników PL-Grid w 4 centrach (Gdańsk, Kraków, Poznań, Wrocław) Gotowe narzędzia do monitorowania infrastruktury (wykrywania problemów) - oparte na Nagios i EGEE SAM Gotowe grupy wsparcia, narzędzia i procedury działań zgodne z EGEE/EGI - mające na celu osiągnięcie wysokiej dostępności zasobów Baza wiedzy dla problemów dotyczących działania infrastruktury Narzędzie śledzenia błędów planowane do uruchomienia w listopadzie 2009 Tymczasowa procedura rejestracji uŝytkowników Portal rejestracji uŝytkowników w przygotowaniu (pierwszy prototyp planowany do uruchomienia w w końcu października 2009) Rozliczanie wykorzystania zasobów zintegrowane z EGEE PCSS Cyfronet WCSS

12 Centrum Operacyjne: Plany Rejestracja UŜytkowników dostęp dla kaŝdej osoby zarejestrowanej jako pracownik naukowy portal przygotowywany (uruchomienie planowane w końcu października 2009) dostęp do zasobów w oparciu o granty przydzielanie praw do wykorzystania X CPUhours i TB przestrzeni dyskowej usługi dostępowe sposób na dostęp do zasobów w konkretnym centrum obliczeniowym Infrastruktura Badawcza PL-Grid zasoby na Ŝądanie umoŝliwia zgłaszanie Ŝądań dotyczących uŝycia maszyn do róŝnych celów: aby zainstalować grid middleware dla celów testowych dla programistów aby zbudować środowisko testowe dla przeprowadzenia jakichkolwiek innych badań naukowych wymagających zasobów gridowych procedury są w trakcie tworzenia UmoŜliwienie dostępu do zasobów UNICORE niewielka liczba maszyn dedykowanych dla UNICORE a integracja UNICORE a i glite a przy wykorzystaniu tych samych zasobów

13 Rozwój oprogramowania i narzędzi: Rezultaty Programiści badawczy: 20+ Główne zespoły badawcze: 8 ZaangaŜowane centra obliczeniowe: 5 Dedykowane maszyny fizyczne i wirtualne: 30+ Testowane infrastruktury: EGEE, DEISA Nowe infrastruktury i rozszerzenia: QosCosGrid, GridSpace Obecne aplikacje będące w fazie integracji i procedur testowych: 10+ Obecne narzędzia uŝytkownika będące w fazie integracji i procedur testowych: 5+ Aktywna komunikacja z nowymi społecznościami uŝytkowników w Polsce:

14 Rozwój oprogramowania i narzędzi: Plany BliŜsza współpraca ze społecznościami uŝytkowników i programistów reprezentujących róŝne dziedziny naukowe (w oparciu o wyniki uzyskane przy pomocy naszej ankiety) Adaptacja technik wirtualizacji polepszających uŝyteczność, odporność na uszkodzenia, tworzenie punktów kontrolnych i zarządzanie klastrami Webowe GUI oparte na Liferay i Vine Toolkit, umoŝliwiające dostęp do istniejących i rozszerzonych usług e-infrastruktury Testy wydajnościowe róŝnych wielko-skalowych między-klastrowych aplikacji równoległych przy uŝyciu ko-alokacji i zaawansowanych technik rezerwacji Dalsza analiza rozwiązań dotyczących zarządzania gridem, monitorowania i bezpieczeństwa Wspólne repozytorium oprogramowania i zasady wdraŝania Przykładowe usługi, narzędzia i aplikacje dostępne jako wirtualne skrzynki z róŝnymi konfiguracjami Główne punkty kontrolne i oś czasu: Jesteśmy tutaj VI 09 IX 09 IX 10 IV 11 I 12

15 Wsparcie uŝytkownika i szkolenia: Rezultaty i Plany Główne zadanie: Uruchomienie usługi helpdesk, przeprowadzanie szkoleń dla uŝytkowników i realizacja wsparcia dla uŝytkowników Pomoc przy efektywnym wykorzystaniu istniejącej infrastruktury, włącznie z wyborem aplikacji odpowiednich dla problemów uŝytkowników oraz uruchamianiem obliczeń na gridzie PL-Grid jest infrastrukturą zorientowaną na uŝytkownika; zespoły wsparcia i szkoleń będą ściśle współpracowały z uŝytkownikami Obecnie: Zespół wsparcia uŝytkowników został utworzony Rozpoczęło się juŝ wewnętrzne szkolenie dla zespołu wsparcia Wybrano licencjonowane aplikacje, wymagane przez uŝytkowników, celem instalacji na infrastrukturze PL-Grid Przeprowadzone zostało pierwsze szkolenie dla uŝytkowników. Plany: Cykle szkoleń dla początkujących i zaawansowanych uŝytkowników gridu

16 Warstwa Bezpieczeństwa PL-Grid: Rezultaty Zdefiniowane wytyczne dotyczące bezpieczeństwa dla planowanej architektury Zdefiniowana polityka bezpieczeństwa dla instalacji lokalnych elementów infrastruktury Przegląd systemów zgłaszających incydenty, celem wybrania najbardziej odpowiedniego GGUS - Global Grid User Support RTIR - Request Tracking for Incident Response DIHS - Distributed Incident Handling System Architektura i prototyp systemu do bezpośredniego mapowania uŝytkowników i rozpowszechniania danych uwierzytelniających uŝytkownika.

17 Warstwa Bezpieczeństwa PL-Grid: Plany Ustanowienie NGI-wide CERT Zastosowanie polityk bezpieczeństwa do lokalnych instalacji infrastruktury Stworzenie i wdroŝenie systemu monitorującego zgodność polityki bezpieczeństwa lokalnych instalacji infrastruktury sprawdzającego czy oprogramowanie (jądro, usługi) są aktualne sprawdzającego porty nasłuchowe, reguły systemów bezpieczeństwa monitorującego listy suid/sgid i integralność Stworzenie rozproszonego systemu korelacji alarmów zbudowanego ponad czujnikami sieciowymi i komputera-hosta.

18 Krótkoterminowe Podsumowanie: Działania Utworzenie PL-Grid VO przy uŝyciu lokalnych zasobów Partnerów oraz zasobów EGEE Zapewnienie środków dla pokrycia kosztów działania Zapewnienie środków dla podtrzymania bieŝącej współpracy międzynarodowej Długoterminowe realizowane w sposób ciągły WdroŜenie oprogramowania i narzędzi Wsparcie uŝytkownika i szkolenia Dostarczenie, utrzymanie i rozbudowa koniecznej infrastruktury Rozwój i implementacja nowych paradygmatów obliczeniowych i integracja środowisk Obliczenia typu HPC i rozproszone (HPCaaS, IaaS, SaaS.) Cloud Computing (wewnętrzne-zewnętrzne, chmury obliczeniowe, chmury danych) paradygmat SOA, wykorzystanie wiedzy Internet Przyszłości w sposób zdefiniowany przez EC w Programie Roboczym

19