USŁUGI HIGH PERFORMANCE COMPUTING (HPC) DLA FIRM Juliusz Pukacki,PCSS
Co to jest HPC (High Preformance Computing)? Agregowanie dużych zasobów obliczeniowych w sposób umożliwiający wykonywanie obliczeń w znacznie większej skali niż przy użyciu innego rodzaju komputerów Superkomputer - podstawowe komponenty Sprzęt: procesory, pamięć, sieć szybkich połączeń między komponentami Oprogramowanie: systemy operacyjne (Linux), systemy kolejkowe, specjalizowane aplikacje obliczeniowe (rozpraszanie, zrównoleglanie) Przykład: eagle.man.poznan.pl 1032 węzły (Intel Xeon E5-2697 2 procesory po 14 rdzeni (łącznie 28896) rdzeni) 64, 128, 265 GB RAM/węzeł Moc obliczniowa 1,4 PFLOPS Połączenia wewnętrzne: Infiniband RFD, 1 Gbit Ethernet System kolejkowy: SLURM
Lista Top 500
Infrastruktura HPC w PCSS Obliczenia: Infrastruktura HPC (1.4 PFLOPS, 90-ta pozycja na liście TOP500) 2 centra danych Systemy HPC/HTC Prototypowe instalacje wspomagające Przestrzeń przechowywania danych: Infrastruktura hierarchiczna (łącznie 47 PB) Część infrastruktury europejskiej Środowisko: 300+ m2 w centrum danych #1 1600 m2 w centrum danych #2 Chłodzenie powietrzne i cieczowe Monitoring wideo, zabezpieczenia przed pożarami Monitoring 24h PCSS jest częścią: Europejskiej infrastruktury HPC (PRACE) Europejskiej i krajowej infrastruktkury gridowej (EGI, PL-GRID) Krajowej (Platon, NDS) i europejskiej infrastruktury przechowywania danych(eudat)
PCSS opertor optycznej sieci naukowej PIONIER
Udział PCSS w międzynarodowych projektach B&R 60(4) 22(3) 19(2) 8(1) 1998 2002 2006 2015 2022 5FP 6FP 7FP Horizon2020
Metody wykorzystywania mocy obliczeniowej Stacja robocza Lokalny serwer obliczeniowy Infrastruktura superkomputerowa (HPC/Cloud)
Specyfika metod dostępu do mocy obliczeniowej Stacja robocza Lokalny serwer Stacja robocza: Obsługuje stosunkowo niewielkie zapotrzebowanie na moc obliczeniową Praca z aplikacjami interaktywnymi projektowanie w środowiskach graficznych, wizualizacja Wynik działania aplikacji widoczyny natychmiast Dane przechowywane lokalnie Lokalny serwer Możliwośc obsługi większego zapotrzebowania na moc obliczeniową Możliwość wykonywania obliczeń w trybie wsadowym w trybie wieloużytkownikowym Dedykowane zasoby Pełna kontrola nad danymi Konieczność utrzymywania/obsługi infrastruktury przez firmę Infrastruktura HPC Duże zapotrzebowanie na moc obliczeniową Duże zadania obliczniowe wykonywane w trybie wsadowym (skala dni, tygodni) Mozliwość uruchamiania zadań które nie mieszczą się na lokalnych zasobach (pamięć operacyjna) Brak konieczności obsługi warstwy sprzętowej przez firmę Współdzielenie zasobów z innymi użytkownikami (kolejkowanie zadań, maszyny wirtualne) Konieczność przesyłania danych do obliczeń poza firmę Infrastruktura HPC/Cloud
Obszary zastosowań HPC Wyzwania naukowe Fizyka kwantowa odziaływania pomiędzy cząstkami elementarnymi Obliczenia astrofizyczne Symulacje biochemiczne Aerodynamika Problemy teorii liczb i algebry liniowej Symulacje meteorologiczne Przemysł Badanie wytrzymałości materiałów i konstrukcji Symulowanie oporu powietrza na elementach Redndering zaawansowanych scen
Podstawowy dostęp do HPC Węzeł dostępowy Węzły obliczeniowe Konsola użytkownika Dostęp do systemu kolejkowego
Cel łatwo dostępna usługa obliczeniowe
Przetwarzanie chmurowe Metoda dostępu do zasobów służących do przetwarzania danych (procesorów, magazynów danych, aplikacji), w postaci usługi oferowanej dla zewnętrznych klientów Metoda organizacji i udostępniania zasobów komputerowych przez centra obliczniowe i danych (wirtualizacja) Rodzaje chmur: publiczne, prywatne, hybrydowe Modele udostępniania zadobów IaaS - Infrastructure as a Service PaaS Platform as a Service SaaS Software as a Service Najważniejsza korzyść użytkowania chmury: brak konieczności utrzymywania własnej infrastruktury przy zachowaniu wygodnego dostępu do zasobów IT
HPC a Cloud Computing HPC Dostęp tradycyjny Dostęp chmurowy Duża wydajność Dostęp do systemów kolejkowych przez węzeł dostępowy Współdzielenie zasobów na zasadzie dostępu do kolejek Duża skalowalność Uniwersalne, wygodne metody dostępu przez interfejsy WWW i sewisy sieciowe Współdzielenie zasobów na zasadzie maszyn wirtualnych uruchamianych na tym samym sprzęcie
Potencjalne korzyści z wykorzystania HPC Tworzenie nowych produktów dzięki możliwości wirtualnego prototypowania komponentów Przyspieszenie czasu wykonywania symulacji Możliwość zwiększenia wielkości obliczanego modelu (dokładność modelu) Brak konieczności utrzymywania własnej infrastruktury obliczneniowej Elastyczne modele opłat za wykorzystane zasoby (pay-as-you-go)
Wyzwania i obszary współpracy Dostosowanie aplikacji do uruchomienia w środowisku HPC Adaptacja do architektury Optymalizacja Zrównoleglanie Dostosowanie interfejsu dostępowego do obliczeń do istniejącego w przedsiębiorstwie systemu Zapewnienie poufności danych Transfer dużych ilości danych na infrastrukturę HPC Modele licencyjne aplikacji Dostępność zasobów (SLA) Stworzenie modeli biznesowych na wykorzystanie tradycyjnych zasobów HPC przez firmy Monitorowanie kosztu obliczeń limity, alarmy (w przypadku gdy czas obliczeń zwiększa się w nieprzewidziany sposób) Obsługa klienta