HPC (High-performance computing) Maj 2012

Transkrypt

1 HPC (High-performance computing) Maj 2012 Michał Baliński Piotr Kulasek-Szwed (Senior IT Architect) (Senior Software Developer)

2 Kim jesteśmy? selected projects

3 High Performance selectedcomputing projects definicja HPC High Performance Computing użycie superkomputerów lub klastrów obliczeniowych do realizacji złożonych i długotrwałych obliczeń. Za HPC uznaje się systemy cechujące się mocą obliczeniową rzędu Teraflopów. Najistotniejsze pojęcia w HPC: superkomputer, klaster HPC, grid HPC. Często stawiane pytanie: - Czy HPC to to samo co Cloud Computing?

4 Moc obliczeniowa selected projects FLOPS (FLoating point Operations Per Second) - liczba operacji zmiennoprzecinkowych na sekundę Najszybsze komputery na świecie osiągają w tej chwili prędkości rzędu kilku do kilkunastu PFLOPS'ów Źródło: Na podstawie szybkości przetwarzania danych przez neurony, moc obliczeniowa ludzkiego mózgu jest szacowana przez niektórych naukowców na około 10 PFLOPS MIPS (Million Instructions Per Second) - liczba milionów operacji stałoprzecinkowych wykonywanych w ciągu sekundy Dla zastosowań HPC bardziej odpowiednie jest porównywanie mocy obliczeniowej liczonej we FLOPS'ach. MIPS'y natomiast sprawdzają się przy porównywaniu komputerów stosowanych na potrzeby baz danych, przetwarzania ciągów znaków, lub uruchamiania równolegle wielu wirtualnych systemów operacyjnych.

5 Benchmark LINPACK selected projects LINPACK Benchmark - test wzorcowy pozwalający porównać szybkość działania komputerów (wyrażoną we FLOPSach), poprzez zbadanie szybkości rozwiązywania gęstych układów równań liniowych. Zapis macierzowy układu równań liniowych: Do rozwiązania takiego układu stosowana jest metoda LU, gdzie pierwotna macierz zapisywana jest jako iloczyn dwóch macierzy trójkątnych: Rozwiązanie pierwotnego układu sprowadza się do rozwiązania dwóch układów równań z macierzami trójkątnymi (L i U), które rozwiązuje się relatywnie prosto. Kluczową trudnością w tym algorytmie jest dokonanie rozkładu LU pierowtnej macierzy na iloczyn dwóch macierzy trójkątnych.

6 Benchmark LINPACK selected projects Operuje na liczbach zmiennoprzecinkowych zapisywanych na 64 bitach (double precision). Wersje algorytmu: LINPACK 100 (macierz 100 x 100) LINPACK 1000 (macierz 1000 x 1000) HPL (Highly Parallel Linpack) wersja pozwalająca na rozproszenie obliczeń poprzez dekompozycję problemu Źródło:

7 High Performance selectedcomputing projects Top500 - rozwój - ranking najszybszych komputerów, od 1993r. dwa razy do roku publikuje statystyki najszybszych komputerów (mierzone za pomocą LINPACK Benchmark). Źródło:

8 TOP500 - Listopad selected 2011 projects Źródło:

9 TOP500 - Listopad selected 2011 projects Źródło:

10 K Computer selected - Japonia projects Fujitsu - K Computer Japonia - najmocniejszy na świecie wg. danych z listopada 2011 ~10 PetaFlop/s 705,024 rdzeni 1,5 PB pamięci operacyjnej Źródło:

11 HPC w Europie selected projects Bull Tera 100 najmocniejszy w Europie wg. danych z listopada ,05 PetaFlop/s 140,000 rdzeni 300 TB pamięci operacyjnej 20 PB przestrzeni dyskowej 500 Gb/s przesyłanych danych Bull CURIE - prawdopodobnie najmocjniejszy w Europie H ~2 PetaFlop/s 92,000 rdzeni 15 PB przestrzeni dyskowej 250 Gb/s przesyłanych danych Bull Helios - Japonia - projekt - IFERC / ITER ~1,5 PetaFlop/s 70,000 rdzeni 280 TB pamięci operacyjnej 50 PB przestrzeni dyskowej

12 HPC w Polsce selected projects Źródło:

13 High Performance selectedcomputing projects rozwój architektur Źródło:

14 selected Taksonomia Flynnaprojects SISD (Single Instruction, Single Data) SIMD (Single Instruction, Multiple Data) MISD (Multiple Instruction, Single Data) MIMD (Multiple Instruction, Multiple Data) Źródło:

15 HPC - architektury selected projects - Scalars - old mainframes and PCs - Superscalars - Vector processors - MPP - Massively Parallel Processing - Clusters, Constellations - Grids Źródło:

16 HPC - pamięć selected projects - SMP - symmetric multiprocessing - procesory współdzielą pamięć - dostęp do pamięci przy pomocy magistrali. - MPP - massively parallel processing - pamięć rozproszona, wirtualna - NUMA (Non-Uniform Memory Access) - Clusters (Beowulf) - pamięć rozproszona - niezależne wężły luźno powiązane - węzły zbudowane ze 'standardowych' komponentów Źródło:

17 High Performance selectedcomputing projects rozwój architektur Źródło:

18 selected Architektura typowego projects klastra HPC Źródło: Christian Engelmann, Hong Ong, and Stephen L. Scott - Middleware in Modern High Performance Computing System Architectures

19 Różne typyselected zadań obliczeniowych projects w HPC Źródło: Douglas Eadline - High Performance Computing FOR DUMmIES

20 selected Architektura klastraprojects - Bull CURIE

21 selected Architektura klastraprojects - middelware Resource Manager Job Scheduler MPI Library Message Passing Interface Źródło: Douglas Eadline - High Performance Computing FOR DUMmIES

22 selected Interconnect - połączenia projects Latencja (ang. latency) Czas, po którym sygnał podany na wejściu powoduje pojawienie się określonego sygnału na wyjściu. Przepustowość (ang. bandwith) Maksymalna ilość informacji (mierzonej w bitach), jaka może być przesyłana w jednostce czasu (mierzonej w sekundach). Źródło:

23 selected Interconnect - połączenia projects Źródło: 10 GbE - 10 Gigabit Ethernet, 100 GbE Gigabit Ethernet InfiniBand - standard otwartego, szeregowego, wielokanałowego interfejsu I/O o wysokiej przepustowości i niskiej latencji Źródło:

24 HPC - alternatywy selected projects Gridy, np.: - sieć klastrów HPC (np. PL-Grid sieć PC'tów np.: - Folding@home - SETI@home - GIMPS Klastry serwerów niezoptymalizowanych pod HPC, np.: - Google - farma serwerów z szacowaną mocą PetaFloops - Storm botnet - składający się z ponad 1,9 miliona przejętych komputerów - Amazon AWS Systemy dedykowane - urządzenia dedykowane, efektywne w rozwiązywaniu tylko jednego, wybranego problemu - np. symulator DLL (Dynamic Lattice Liquid) tworzony na PŁ oparty o dynamiczną architekturę opartą o układy programowalne FPGA (Field Programmable Gate Array)

25 HPC - zastosowania selected projects Zastosowania HPC: symulacje nuklearne (ITER), symulacje meteo w tym przewidywanie zmian klimatycznych, modelowanie procesów fizycznych (crash-testy, aerodynamika), symulacje ekonomiczne, aplikacje wizualizacyjne, kryptologia. Przykłady wizualizacji HPC: Piłka golfowa Koło samolotu Pomieszczenie, ogrzewanie Land Rover Piłka nożna Turbina 1 Turbina 2 Bolid F1

26 selected projects Klastry HPC dogłęgniej...

27 HPC - architektura selected klastrów projects obliczeniowych Typowy klaster HPC składa się z: master (lub head) node, węzłów obliczeniowych.

28 selected węzłów projectsobliczeniowych HPC - architektura

29 selected projects Systems HPC - Resource Management Podstawowe pojęcia: zasób (ang. resource) liczba procesorów, pamięć RAM, rezerwacja rezerwacja zasobu na określony czas, zadanie (job) zawiera informacje o potrzebnych zasobach, aplikacji, parametrach i danych wejściowych, modelu procesowania (MPI, PVM), kolejka (ang. queue) zarządza pulą zadań do wykonania.

30 selected projects Systems HPC - Resource Management Główne funkcjonalności: kolejkowanie zadań, priorytetyzacja zadań, rezerwacja zasobów, wykonywanie zadań, monitorowanie zadań, accounting.

31 selected projects Systems, monitorowanie HPC - Resource Management

32 selected projects Systems HPC - Resource Management Różnice pomiędzy systemami kolejkowymi a planowania: kolejkowanie planowanie planowany okres teraźniejszość teraźniejszość, przyszłość czas startu nie wszystko estymacja nieobligatoryjna obligatoryjna rezerwacja nie tak backfilling opcjonalny niezbędny

33 selected projects Systems HPC - Resource Management Algorytmy kolejkujące: FCFS First Come, First Served, FIFO First In, First Out, RR Round Robin, LJF Longest Job First, SJF Shortest Job First, backfilling.

34 selected projects Systems HPC - Resource Management Popularne RMS: OGE (SGE), OGS, PBSPro, Torque, ScalablePBS, Platform LSF, Platform LAVA, SLURM, Windows HPC.

35 selected projects HPC - kompilatory Języki programowania C/C++, Fortran Podstawowy proces kompilatora: faza prekompilacji, analiza leksykalna, parsowanie, optymalizacja, assembly code.

36 selected projects HPC parallel computing Cechy szczególne: jednoczesne wykorzystanie wielu jednostek obliczeniowych, granulacja, każdy proces posiada swoją własną przestrzeń adresową, wymiana danych i synchronizacja przez wymianę komunikatów. Typy zrównoleglania: instruction-parallelism, data-parallelism, thread-parallelism.

37 selected projects HPC parallel computing Czy każda algorytm jest równoległy? niektóre algorytmy muszą zostać przepisane, zysk nie zawsze jest widoczny. DO I=1,16000 A(I) = B(I) * ENDDO s = 0; for (i=0; i<n; i++) s += x[i] for (s=2; s<n; s*=2) for (i=0; i<n; i+=s) x[i] += x[i+s/2]

38 selected projectszależności HPC parallel computing, Control dependency Y = 7; IF ( X!= 0) THEN Y=1.0/X ENDIF

39 selected projectszależności HPC parallel computing, Data dependency X=A/B Y = X X=D-E Xtemp = A/B Y = Xtemp X=D-E

40 HPC MPIselected projects Message-Passing Interface: standard realizacji obliczeń równoległych, zaimplementowany dla każdej architektury opartej na rozproszonej pamięci, każda implementacja jest zoptymalizowana pod sprzęt, na którym działa, transfer danych pomiędzy procesami wykorzystuje sieć, udostępnia funkcje dla języków C/C++, Fortran oraz Ada,

41 HPC MPI,selected interfejsprojects Podstawowe funkcje MPI: int MPI_Init(int *argc, char ***argv) pierwsze wywołanie MPI w procesie, inicjalizuje środowisko MPI, tylko jedno wywołanie dla każdego procesu, int MPI_Finalize(void) wyjście ze środowiska MPI, czyści stan MPI, ostatnie wywołanie MPI w procesie, MPI_Send(start,count,datatype,dest,tag,comm) MPI_Send(start,count,datatype,dest,tag,comm)

42 selected projects HPC rodzaje zadań independent jobs, MPI jobs, job arrays, dependent jobs.

43 Computing selected projects Extreme Studio

44 XCS - korzyści selected z dostępu projects do HPC przez Web Korzyści dla użytkowników HPC Łatwy w obsłudze dostęp do aplikacji obliczeniowych i wizualizacyjnych HPC z poziomu standardowego komputera za pomocą standardowej przeglądarki WWW. Szybsza realizacja prostych zadań administracyjno-konfiguracyjnych. Szybki dostęp do danych będących wynikiem obliczeń. Korzyści dla dostawców rozwiązań HPC Niższe koszty administracyjne, dzięki podejściu self-care. Interfejs do danych accounting-owych pozwalających na naliczanie płatności za użycie infrastruktury. Większy zasięg usług.

45 XCS - główne selected funkcjonalności projects Zwykły użytkownik: Zlecanie i zarządzanie zadaniami. Dostęp do aplikacji graficznych. Dostęp do danych przechowywanych w klastrze. Klient: Zarządzanie projektami. Dostęp do rozliczeń użycia zasobów. Administrator: Zarządzanie aplikacjami. Zarządzanie klientami. Zarządzanie użytkownikami. Dostęp do rozliczeń użycia zasobów.

46 XCS - architektura selected projects Portlety HPC stworzone przez AMG.net tworzą połączenie między infrastrukturą HPC i portalem. Web portal HPC portlets HPC cluster Portlet container Service container Master node Standard web content portlets Customer mgmt. service Job mgmt. service Embedded HPC Portlets Project mgmt. service Accounting service Compute nodes Storage Internet

47 XCS - architektura selected projects JDBC HTTPS DBMS TCP HTTPS SOAP/SSH HPC Portal Certificate Server LDAP VNC SSH FTP Head Node LDAP LDAP 3D Graphic Nodes Storage Nodes Compute Nodes

48 XCS - technology selectedstack projects Compute/3D Nodes Head Nodes Job JobMgmt Mgmt Sun SunGrid GridEngine Engine HPC HPCApps Apps MPI MPI 3D 3DApps Apps Virtual VirtualGL GL NFS NFS Linux LinuxOS OS Globus GlobusToolkit Toolkit Turbo TurboVNC VNC PAM PAMLDAP LDAP Grid Grid Certificates Certificates RFT RFT GUI GUI Module Module11 SSH SSH PAM PAMLDAP LDAP GridFTP GridFTP Linux LinuxOS OS GUI GUI Module Module22 PKI PKI Core Core Module Module11 Core Core Module Module22 Core Core Module Module33 Spring Spring CXF CXF Hibernate Hibernate Liferay LiferayPortal Portal Linux LinuxOS OS Open MPI GUI GUI Module Module33 Apache ApacheWicket Wicket Sun SunGrid GridEngine Engine NFS NFS Portal Nodes

49 XCS wizualizacja selected projects Dlaczego zdalna wizualizacja? duża objętość danych wynikowych, kosztowne stacje robocze, problemy utrzymaniowe aplikacje, systemy operacyjne, hardware, przechowywanie danych. Wizualizacja w XCS: VirtualGL, TurboVNC (TigerVNC), HP RGS.

50 XCS live selected demo projects Przykłady wizualizacji HPC: Piłka golfowa Koło samolotu Pomieszczenie, ogrzewanie Land Rover Piłka nożna Turbina 1 Turbina 2 Samochód Bolid F1

51 selected projects Chmury obliczeniowe - Cloud computing Często stawiane pytanie: Czy HPC to to samo co Cloud Computing? Źródło:

52 selectedobliczeniowa? projects Co to jest chmura Usługi dostępne w sieci (chmurze) Programowalna serwerwownia, programowalne centrum przetwarzania danych Źródło:

53 selected projects Modele chmury obliczeniowej? Kolokacja - wynajęcie miejsca w serwerowni Infrastructure as a Service - wynajęcie infrastruktury (np. sprzęt + OS) Platform as a Service - wynajęcie platformy (np. sprzęt + OS + aplikacje + middelware) Software as a Service - wynajęcie gotowych funkcjonalności

54 selected projectscloud Computing - HPC in the Cloud HPCC - High Performance

55 selected projects Projekt XLCloud Projekt mający na celu: stworzenie opensource platformy pozwalającej na uruchamianie w chmurze wysokowydajnych klastrów obliczeniowych, takich jak: klastry HPC klastry wizualizacji 3D klastry BIgData (MapReduce, Hadoop) etc. Główne wyzwania: zaprojektowanie API XLCloud oraz HaaS (HPC as a Service) optymalizacja wirtualizacji (mapowanie elementów wirtualnych na sprzętowe 1-1) wirtualizacja GPU wirtualizacja połączeń Infiniband

56 architektura selected projects XLCloud

57 warstwa selectediaas projects XLCloud - OpenStack Jako warstwa IaaS wykorzystana zostanie platforma OpenStack udostępniająca: Nova Service (Compute) - zarządzanie i uruchamianie wirtualnymi serwerami Swift (Object Storage) - skalowalny, klastrowalny system przechowywania danych Glance (Image Service) - zarządzanie i przechowywanie obrazów wirtualnych dysków Keystone (Identity Management) - zarządzanie użytkownikami Horizon (Dashboard) - konsola internetowa (portal) do zarządzania OpenStackiem