GRIDY OBLICZENIOWE. Piotr Majkowski

Transkrypt

1 GRIDY OBLICZENIOWE Piotr Majkowski

2 Wstęp Podział komputerów Co to jest grid? Różne sposoby patrzenia na grid Jak zmierzyć moc? Troszkę dokładniej o gridach Projekt EGEE

3 Klasyfikacja Flynn a (1972) Instrukcje SISD MISD Dane SIMD MIMD

4 Główny podział Superkomputery wieloprocesorowe maszyny (duże e centra obliczeniowe) Klastry zespoły y homogenicznych maszyn, połą łączonych dedykowaną siecią Gridy -

5 Definicja Gridu Grid skoordynowane, bezpieczne, współdzielenie zasobów w oraz rozwiązywanie zywanie problemów w w dynamicznych, obejmujących wiele instytucji wirtualnych organizacjach Grid(2) zbiór r luźno powiązanych, rozproszonych geograficznie, heterogenicznych zasobów komputerowych

6 Trzy podejścia do Gridu (1) Użytkownik : Wirtualny komputer który minimalizuje czas wykonywania obliczeń oraz zapewnia dostęp do zasobów Programista: Zestaw narzędzi i interfejsów w zapewniający przezroczysty dostęp p do danych

7 Trzy podejścia do Gridu (2) Administrator : Środowisku umożliwiaj liwiające monitorowanie, administrowanie i bezpieczne używanie u rozproszonych zasobów w obliczeniowych, dyskowych oraz sieciowych

8 www a grid Często przytaczana analogia: WWW GRID Zunifikowany dostęp do informacji Zunifikowany dostęp do zasobów

9 Flops Jednostką w której podaje się moc komputera jest z reguły y : Flops (Floating point Operations Per Second) - ilość operacji zmiennnoprzecinkowych na sekundę

10 Dygresja problemy miary Jak obliczyć ile flopów ma człowiek? Czysty matematyczny test (np( np.. układu równań + papier + ołówek) o wykazałby moc człowieka na poziomie miliflops,, jednak z drugiej strony człowiek także e przetwarza zapachy, dźwid więki, ma koordynację ruchową co daje średnią moc obliczeniową na poziomie 10PFlops

11 TOP500 Lista najszybszych maszyn na świecie Obecnie na I miejscu : IBM BlueGene/L ( procesorów, GFlops, teor: : GFlops,, 32768GB ) 6 pierwszych miejsc dla USA ( w tym 3 początkowe dla IBM) Kontratak Japończyk czyków w?? Problemy z gridami na TOP500

12 Motywacje Prawo Moore a i starzenie się superkomputerów Bits_per_square_inch = 2^(T-1962) Speed = Price*1.53^(T-1973) 1973) Cena Skalowalność

13 Wymogi położone one na Grid (1) Grid nie może e : Naruszać bezpieczeństwa oraz autonomiczności ci podległych mu jednostek Powodować problemów w z istniejącym oprogramowaniem Narzucać użytkownikom językj zyków programowania, narzędzi, bibliotek, sposobów w programowania itd..

14 Wymogi położone one na Grid (2) Grid powinien : Umożliwia liwiać rozproszenie geograficzne zasobów Obsługiwa ugiwać heterogeniczność sprzętow tową i programową Być odporny na zawodny sprzęt Pozwalać na dynamikę dostępu do sprzętu Zrzeszać różne organizacje (wirtualne) z ich własnymi politykami bezpieczeństwa i dostępu do zasobów Być połą łączony poprzez heterogeniczną sieć

15 Zastosowania Gridów Długotrwałe e obliczenia operujące na olbrzymiej ilości danych Symulacje zjawisk fizycznych (pogoda) Testowanie nowych leków Google Rozproszone bazy danych (SETI@home, FightAIDS@home)

16 Użytkownicy Gridów Dawniej CERN i inne duże e jednostki badawcze stałe e zapotrzebowanie na moc obliczeniową Obecnie dodatkowo : indywidualni naukowcy oraz firmy prywatne co jakiś czas potrzebują na krótko dużej mocy obliczeniowej

17 Grid z punktu widzenia użytkownika Jedna wirtualna maszyna Jedno logowanie do gridu Nastawienie na wykonanie zadania, a nie technologie Automatyczna alokacja zadań i transferu danych Prosty interfejs wyznaczania zadań Brak konieczności ci wprowadzania zmian w swoich aplikacjach

18 Model klepsydrowy Wąska szyjka to zbiór r kluczowych protokołów w i API Tu mieszczą się mechanizmy uwierzytelniania i dostępu do danych

19 Narzędzia (1) Tradycyjne narzędzie do pisania aplikacji równoległych MPI OpenMP Gniazda PVM Java RMI Ich ograniczenia?

20 Narzędzia (2) Globus Toolkit Argonne National Lab, Berkeley Większo kszość projektów gridowych opartych jest na globusie Powstał jako przykład implementacji standardów w a de facto sam stał się standardem UNICORE MOSIX

21 EGEE (1) Enabling Grids for E-science in Europe Cele: Stworzenie europejskiej sieci naukowej Współpraca praca z innymi projektami gridowymi Zorientowanie na usługi ugi Udostępnienie gridu produkcyjnego Otwarcie na wiele organizacji wirtualnych

22 EGEE (2) Usługi gridowe zostaną uruchomione na Ponad CPU s Ponad 50 różnych r ośrodkacho Ponad 5 PetaBajtów miejsca dyskowego Ponad 3000 użytkowniku ytkowników Projekt pochłonie onie ok. 32 miliony euro (będzie to rozłożone one na 70 instytucji w 27 krajach)

23 Priorytetem jest : EGEE (3) LCG Large Hadron Collider Computing Grid eksperyment przeprowadzany w CERN który będzie b generował 6-8 PetaBajtów na rok, ok. 10^8 zdarzeń /rok, ok użytkowniku ytkowników Czy na pewno nie ma drugiego dna całej inicjatywy?

24 Podsumowanie Dziękuj kuję za uwagę!