GRID - globalny system przetwarzania danych

Transkrypt

1 GRID - globalny system przetwarzania danych Dlaczego GRID? Jak jest zbudowany, zorganizowany i jak działa Międzynarodowe i krajowe inicjatywy gridowe Zastosowania Trudne do pogodzenia sprzeczności interesów GRID dla energetyki? Wojciech Wiślicki, IPJ, 25/9/2010

2 Dlaczego GRID? Produkcja i zapis informacji Możliwości CPU Więcej informacji będziemy reprodukowali i silniej ją zredukujemy przed zapisem

3 Dlaczego GRID? Prawa Moore'a dla nośników danych ( lat i bandwidth 100/(10 Ale najszybciej tanieje bandwidth Wniosek: wzrasta ruch w sieci

4 Dlaczego GRID? Złożoność problemów Złożoność urządzeń i grup ludzkich

5 Czym jest grid? Grid jest rodzajem rozproszonego computingu, tzn. do zadania używamy zasobów zlokalizowanych w różnych miejscach i połączonych siecią Grid organizuje przetwarzanie danych, zarówno zasoby, jak użytkowników, lecz nie zarządza nimi centralnie. Zasoby należą do różnych właścicieli Używane są tzw. open standards Zapewnia Quality of service

6 Pierwszy historycznie przykład GRIDu: home Każdy komputer podłączony do Internetu może zainstalować oprogramowanie do analizy danych z radioteleskopu San Mateo CA Niebo podzielone jest na małe obszary i każdy komputer dostaje kawałek do przeanalizowania w czasie, gdy jest nieobciążony (zasada ( screen-savera

7 Pierwszy historycznie przykład GRIDu: home, c.d. Poszukuje się w widmie częstości struktur niepodobnych do znanych wzorców

8 Pierwszy historycznie przykład GRIDu: home, c.d. Obecnie home ma 5.5 mln uczestników home nie jest jednak prawdziwie rozwiniętym gridem (brak prawdziwych serwisów ( QoS i

9 Pierwszy historycznie przykład GRIDu: home, c.d. Dotychczas (ok. 10 lat) nie znaleziono ET

10 Architektura gridu (opartego na ( glite systemie Model przetwarzania danych Łączność: sieć GEANT i sieciowa koordynacja operacyjna ruchu Organizacja w dużej skali: struktury globalne, federacje, społeczności użytkowników Struktura węzła gridowego Dostęp do zasobów i usługi gridowe Aplikacje

11 Wielowarstwowy (multi-tier) model przetwarzania danych: LHC w CERN

12

13

14

15

16 Najniższy poziom przetwarzania w gridzie WLCG: Tier-3 Poziom ten nie jest udostępniany w gridzie Służy lokalnym grupom do celów deweloperskich Może być też mocną lokalną farmą do analizy na wysokim poziomie, np. do zrównoleglonej analizy PROOF'em Tier-3 może mieć minimalną funkcjonalność gridową (np. tylko user interface i gridowy ( danych transfer

17 Łączność: sieć GEANT wraz z EGEE Network Operations Centre

18 Organizacja GRIDU z lotu ptaka Pl: NREN=PIONIER, RGI=PlGrid

19 Podstawowe elementy struktuaralne: węzły gridowe

20 Podstawowe usługi gridowe (system ( glite Katalogi zbiorów i metadanych Workflow management Monitoring Accounting Zarządzanie rozproszonymi zbiorami danych Zarządzanie wirtualnymi organizacjami użytkowników Wsparcie dla użytkowników

21 Dostęp do gridu Trzeba skutecznie rozpoznać użytkownika i dać mu bezpieczny dostęp do zasobów obliczeniowych

22 Dostęp do gridu, c.d. Grid Security Infrastructure, oparta na certyfikatach dla użytkowników, wystawianych przez narodowe Certificate Authorities Certyfikaty użytkowników w formacie X.509, umożliwiające autentykację (sprawdzenie tożsamości) użytkownika Autoryzacja na zasoby udzielana w ramach wirtualnych organizacji przez serwisy Virtual ( VOMS ) Organization Membership Service

23

24

25

26 Trochę statystyki: Enabling Grids for E-science 54 kraje, 267 węzłów sieciowych CPU dostępnych 24/7 20 PB pamięci dyskowej + tape MS 200 wirtualnych organizacji użytkowników zadań/dzień 15 obszarów tematycznych aplikacji

27 Infrastruktura obliczeniowa Serwisy produkcyjne (PS), używane w bieżącej pracy operacyjnej, np. Worldwide LHC Computing Grid Serwisy pre-produkcyjne (PPS), używane do testowania nowych narzędzi i usług gridowych przed ich wdrożeniem do produkcji Infrastruktura szkoleniowa (portal szkoleniowy GILDA), umożliwiająca przeprowadzanie kursów gridowych bez wpuszczania użytkowników na infrastrukturę produkcyjną

28 Wsparcie dla użytkowników

29 Monitoring gridu: GIIS w Academia Sinica Klaster warszawski w domenie polgrid.pl

30 Monitoring gridu: GIIS w Academia Sinica, c.d. Klaster warszawski w domenie polgrid.pl

31 Aplikacje Dwa największe gridy typu general purpose, to ( USA ) EGEE (EC) i OSG Ich największymi użytkownikami są eksperymenty nowej generacji w fizyce wysokich energii, głównie przy Large Hadron Collider w CERNie Istnieją też duże aplikacje biomedyczne, geologiczne, meteorologiczne, chemiczne, z fizyki plazmy.., uprawiane zarówno na EGEE, OSG, jak i na gridach dziedzinowych

32 Narodowa inicjatywa gridowa Pl- Grid Od 2009 organizacja gridów WLCG i EGEE oparta jest o narodowe projekty gridowe Pl-Grid, konsorcjum finansowane przez MNiSW w ramach Programu Operacyjnego Innowacyjna Gospodarka Finansowany w ramach umowy POIG /

33 Pl-Grid, partnerzy ACK Cyfronet ICM UW PCSS PAN CI TASK WCSS

34 Pl-Grid, partnerzy Oparty na tym samym szkielecie sieciowym co EGEE

35 Pl-Grid, struktura

36 Pl-Grid, struktura warstwy sprzętowej i narzędziowej Równoległe działanie dwóch infrastruktur w warstwie narzędziowej i operacyjnej - glite i Unicore Wykorzystanie dorobku narzędziowego i serwisowego projektów gridowych z FP 5,6,7 Struktura serwisów wzorowana na EGEE Sprzęt obliczeniowy i sieciowy częściowo odziedziczony po EGEE/WLCG, uzupełniony o duże zakupy w ramach pl-grid

37 Pl-Grid, zadania i koordynatorzy Z1- Zarządzanie Projektem ACK CYFRONET AGH (Kraków) Z2 - Infrastruktura sprzętowa CI TASK ( Gdańsk ) Z3 - Centrum Operacyjne ACK CYFRONET ( Kraków ) AGH Z4 - Rozwój oprogramowania e-infrastruktury i ( Poznań ) narzędzi użytkownika PCSS Z5 - Szkolenia i wsparcie użytkowników ICM ( Warszawa ) UW Z6 - Bezpieczeństwo infrastruktury WCSS (Wrocław).

38 Pl-Grid, struktura organizacyjna

39 Pl-Grid, zadania merytoryczne Wsparcie dla EGEE i DEISA Wspieranie nowych inicjatyw i systemów gridowych Przydział zasobów do celów naukowobadawczych i R&D Stworzenie i wsparcie infrastruktury produkcyjnej Zarządzanie zasobami Wsparcie sieciowe Wsparcie aplikacji Własne R&D

40 Pl-Grid, dostępność usług ( SAM ) Service Availability Monitoring

41 Pl-Grid, dostępność infrastruktur informatycznych Monitoring GSTAT oparty na narzędziu EGEE Program instalacji zasobów do 2011 obejmuje 215 Tflops i 2500 TB, zlokalizowanych w 5 ośrodkach

42 Pl-Grid, wsparcie dla użytkowników Obsługa zapytań w ramach helpdesk, opartego ( 1or0 na systemach rd-tracker (wcześniej Specjalistyczna pomoc w przypadku problemów operacyjnych i badawczo-rozwojowych Dostęp poprzez certyfikaty użytkowników

43 Pl-Grid, narzędzia dla użytkowników Bazaar G-Eclipse Grid Commander Grid Space Migrating Desktop QosCosGrid Vine

44 Pl-Grid, narzędzia zarządzania FiVO konfiguracja VO Acarm Gemini2 StorMon X2R

45 Pl-Grid, szkolenia Szkolenia dla użytkowników zaawansowanych ze świata nauki i przemysłu w formie kursów hands-on Szkolenia wprowadzające dla nowych użytkowników Różne formy szkoleń: Regularne kursy tradycyjne, o różnych poziomach szczegółowości i zaawansowania Zdalne kursy przy użyciu platformy Blackboard

46 Pl-Grid, oprogramowanie specjalistyczne Freeware z różnych dziedzin, wypracowywany stopniowo przez społeczności naukowe Oprogramowanie licencyjne potrzebne użytkownikom Reprezentowane dziedziny: fizyka wysokich energii, fizyka molekularna, fizyka płynów, geofizyka, chemia kwantowa, biologia obliczeniowa, ogólne metody numeryczne i symulacyjne

47 Trudne do pogodzenia sprzeczności interesów Kto jest właścicielem i kto zarządza zasobami obliczeniowymi? Różne podmioty porozumiewają się, nikt nie zrzeka się praw do swoich części Jeden właściciel i administrator Kto finansuje infrastrukturę i serwisy? Provider(zy): wolny dostęp dla użytkowników Użytkownicy: dostęp płatny

48 Trudne do pogodzenia sprzeczności interesów, c.d. Bezpieczeństwo serwisów i rzetelność infrastruktury Podstawowe bezpieczeństwo w ramach Grid Security Infrastructure, bez odpowiedzialności finansowo-prawnej provider'ów Wysokie wymagania niezawodności (>99.99%) i predefiniowane bezpieczeństwo danych, z określoną odpowiedzialnością finansowo-prawną

49 Dwa modele przetwarzania: GRID vs. CLOUD GRID Współdzielone zasoby należące do wielu właścicieli, znajdujące się w różnych miejscach, połączone, brak zarządzania centralnego. ( USA ) Przykłady: EGEE (EU+), OSG CLOUD Zasoby rozproszone, lecz zarządzane i posiadane przez jednego właściciela. Użytkownik płaci za (.. pamięć usługi (dostęp, cykle, Przykłady: Amazon Elastic Compute Cloud, Google App Engine

50 GRID vs CLOUD Provider: nauka Technologia open source Użytkownik wpływa na infrastrukturę i dostosowuje do specyficznych zadań Złożony do używania wymagana wstępna wiedza Provider: komercja Technologia proprietary Użytkownik dzierżawi dostęp do zdefiniowanej infrastruktury Prosty w użyciu od poziomu zero

51 GRID vs CLOUD, c.d. Niepewna jakość usług Możliwość tworzenia własnych, specyficznych serwisów Bezpieczeństwo danych: repliki w różnych miejscach Łatwe współdzielenie danych Komercyjnie gwarantowana jakość Brak wysokospecjalizowanych serwisów aplikacyjnych Bezpieczeństwo danych: specjalna usługa Współdzielenie po wykupie dostępu

52 Pro domo sua: przetwarzanie rozproszone dla energetyki Zadania computingu wspierającego energetykę w Polsce: Konfiguracja i eksploatacja siłowni jądrowych Dystrybucja energii Monitoring zagrożeń radiacyjnych i chemicznych oraz wspomaganie decyzyjne Bezpieczeństwo energetyczne

53 Przetwarzanie rozproszone dla energetyki, c.d. Koncepcja computingu na potrzeby długofalowego programu rozwoju energetyki w Polsce: Centrum Informatyczne w Świerku jako główny węzeł wsparcia informatycznego Planowana częściowa integracja z Pl-grid Architektura CIŚ uwzględniająca specyfikę (? CLOUD zadań (kiedy GRID, a kiedy Specjalne wymagania bezpieczeństwa a rekonfigurowalność klastra

54 Monitoring zagrożeń radiologicznych

55 Monitoring zagrożeń chemicznych

56 Monitoring zagrożeń radiologicznych i chem., c.d. Charakter serwisu wymaga całkowitego bezpieczeństwa danych i gwarantowanej jakości (wysoki poziom Service Level ( Agreement Potrzebne zasoby na życzenie (on demand) z możliwością szybkiej alokacji Bezpieczniejszym rozwiązaniem jest CLOUD, aniżeli GRID

57 LEAD: huragany tropikalne w USA Models and Algorithms Driving Sensors The CS challenge: Build cyberinfrastructure services that provide adaptability, scalability, availability, useability, and real-time response. Product Generation Display, Dissemination

58 Zadania off-line, wymagające bezpieczeństwa baz danych, lecz nie obliczeń Transport materii i promieniowania, obliczenia reaktorowe oraz optymalizacja eksploatacji siłowni jądrowych Optymalizacja dystrybucji energii w sieciach, projektowanie sieci przesyłu energii i surowców (zadania typu routingu na grafach i optymalizacji dyskretnej; bardzo wymagające ( obliczeniowo Zadania doskonałe dla GRIDu

59 Sieć szkieletowa w CIŚ

60 Uwagi końcowe Architekturę gridu dominują usługi serwisowe ( architecture (Service-oriented Infrastruktura staje się niewidoczna dla użytkownika Przetwarzanie rozproszone jest dominowane przez dwa trendy: grid i cloud Wsparcie informatyczne dla energetyki prawdopodobnie wymaga mariażu obu