USŁUGI HIGH PERFORMANCE COMPUTING (HPC) DLA FIRM. Juliusz Pukacki,PCSS

Transkrypt

1 USŁUGI HIGH PERFORMANCE COMPUTING (HPC) DLA FIRM Juliusz Pukacki,PCSS

2 Co to jest HPC (High Preformance Computing)? Agregowanie dużych zasobów obliczeniowych w sposób umożliwiający wykonywanie obliczeń w znacznie większej skali niż przy użyciu innego rodzaju komputerów Superkomputer - podstawowe komponenty Sprzęt: procesory, pamięć, sieć szybkich połączeń między komponentami Oprogramowanie: systemy operacyjne (Linux), systemy kolejkowe, specjalizowane aplikacje obliczeniowe (rozpraszanie, zrównoleglanie) Przykład: eagle.man.poznan.pl 1032 węzły (Intel Xeon E procesory po 14 rdzeni (łącznie 28896) rdzeni) 64, 128, 265 GB RAM/węzeł Moc obliczniowa 1,4 PFLOPS Połączenia wewnętrzne: Infiniband RFD, 1 Gbit Ethernet System kolejkowy: SLURM

3 Lista Top 500

4 Infrastruktura HPC w PCSS Obliczenia: Infrastruktura HPC (1.4 PFLOPS, 90-ta pozycja na liście TOP500) 2 centra danych Systemy HPC/HTC Prototypowe instalacje wspomagające Przestrzeń przechowywania danych: Infrastruktura hierarchiczna (łącznie 47 PB) Część infrastruktury europejskiej Środowisko: 300+ m2 w centrum danych # m2 w centrum danych #2 Chłodzenie powietrzne i cieczowe Monitoring wideo, zabezpieczenia przed pożarami Monitoring 24h PCSS jest częścią: Europejskiej infrastruktury HPC (PRACE) Europejskiej i krajowej infrastruktkury gridowej (EGI, PL-GRID) Krajowej (Platon, NDS) i europejskiej infrastruktury przechowywania danych(eudat)

5 PCSS opertor optycznej sieci naukowej PIONIER

6 Udział PCSS w międzynarodowych projektach B&R 60(4) 22(3) 19(2) 8(1) FP 6FP 7FP Horizon2020

7 Metody wykorzystywania mocy obliczeniowej Stacja robocza Lokalny serwer obliczeniowy Infrastruktura superkomputerowa (HPC/Cloud)

8 Specyfika metod dostępu do mocy obliczeniowej Stacja robocza Lokalny serwer Stacja robocza: Obsługuje stosunkowo niewielkie zapotrzebowanie na moc obliczeniową Praca z aplikacjami interaktywnymi projektowanie w środowiskach graficznych, wizualizacja Wynik działania aplikacji widoczyny natychmiast Dane przechowywane lokalnie Lokalny serwer Możliwośc obsługi większego zapotrzebowania na moc obliczeniową Możliwość wykonywania obliczeń w trybie wsadowym w trybie wieloużytkownikowym Dedykowane zasoby Pełna kontrola nad danymi Konieczność utrzymywania/obsługi infrastruktury przez firmę Infrastruktura HPC Duże zapotrzebowanie na moc obliczeniową Duże zadania obliczniowe wykonywane w trybie wsadowym (skala dni, tygodni) Mozliwość uruchamiania zadań które nie mieszczą się na lokalnych zasobach (pamięć operacyjna) Brak konieczności obsługi warstwy sprzętowej przez firmę Współdzielenie zasobów z innymi użytkownikami (kolejkowanie zadań, maszyny wirtualne) Konieczność przesyłania danych do obliczeń poza firmę Infrastruktura HPC/Cloud

9 Obszary zastosowań HPC Wyzwania naukowe Fizyka kwantowa odziaływania pomiędzy cząstkami elementarnymi Obliczenia astrofizyczne Symulacje biochemiczne Aerodynamika Problemy teorii liczb i algebry liniowej Symulacje meteorologiczne Przemysł Badanie wytrzymałości materiałów i konstrukcji Symulowanie oporu powietrza na elementach Redndering zaawansowanych scen

10 Podstawowy dostęp do HPC Węzeł dostępowy Węzły obliczeniowe Konsola użytkownika Dostęp do systemu kolejkowego

11 Cel łatwo dostępna usługa obliczeniowe

12 Przetwarzanie chmurowe Metoda dostępu do zasobów służących do przetwarzania danych (procesorów, magazynów danych, aplikacji), w postaci usługi oferowanej dla zewnętrznych klientów Metoda organizacji i udostępniania zasobów komputerowych przez centra obliczniowe i danych (wirtualizacja) Rodzaje chmur: publiczne, prywatne, hybrydowe Modele udostępniania zadobów IaaS - Infrastructure as a Service PaaS Platform as a Service SaaS Software as a Service Najważniejsza korzyść użytkowania chmury: brak konieczności utrzymywania własnej infrastruktury przy zachowaniu wygodnego dostępu do zasobów IT

13 HPC a Cloud Computing HPC Dostęp tradycyjny Dostęp chmurowy Duża wydajność Dostęp do systemów kolejkowych przez węzeł dostępowy Współdzielenie zasobów na zasadzie dostępu do kolejek Duża skalowalność Uniwersalne, wygodne metody dostępu przez interfejsy WWW i sewisy sieciowe Współdzielenie zasobów na zasadzie maszyn wirtualnych uruchamianych na tym samym sprzęcie

14 Potencjalne korzyści z wykorzystania HPC Tworzenie nowych produktów dzięki możliwości wirtualnego prototypowania komponentów Przyspieszenie czasu wykonywania symulacji Możliwość zwiększenia wielkości obliczanego modelu (dokładność modelu) Brak konieczności utrzymywania własnej infrastruktury obliczneniowej Elastyczne modele opłat za wykorzystane zasoby (pay-as-you-go)

15 Wyzwania i obszary współpracy Dostosowanie aplikacji do uruchomienia w środowisku HPC Adaptacja do architektury Optymalizacja Zrównoleglanie Dostosowanie interfejsu dostępowego do obliczeń do istniejącego w przedsiębiorstwie systemu Zapewnienie poufności danych Transfer dużych ilości danych na infrastrukturę HPC Modele licencyjne aplikacji Dostępność zasobów (SLA) Stworzenie modeli biznesowych na wykorzystanie tradycyjnych zasobów HPC przez firmy Monitorowanie kosztu obliczeń limity, alarmy (w przypadku gdy czas obliczeń zwiększa się w nieprzewidziany sposób) Obsługa klienta

16