Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej - PLGrid

Transkrypt

1 Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej - PLGrid Tomasz Piontek 1, Klemens Noga 2, Radosław Januszewski 1, Bogdan Ludwiczak 1 1 Poznańskie Centrum Superkomputerowo-Sieciowe 2 ACK CyfronetAGH Poznań,

2 Plan Prezentacji 0 PCSS - Wprowadzenie 1 Infrastruktura PLGrid Cele i Oferta 2 Narzędzia dostępowe do zasobów PLGrid 3 Zasoby Obliczeniowe i Wizualizacyjne PCSS

3 I. Poznańskie Centrum Superkomputerowo Sieciowe afiliowane przy Instytucie Chemii Bioorganicznej Polskiej Akademii Nauk Rok założenia: 1993

4 PCSS -Lokalizacja CBPIO Centrum Badawcze Polskiego Internetu Optycznego Oddane do użytku w 2015 r pracowników Data Center Laboratoria Biura

5 PCSS -Działalność

6 Superkomputer Orzeł / Eagle

7 Laboratoria otwarte na innowacje ICT 18 laboratoriów wyposażonych w najnowocześniejszy sprzęt, m.in.: Laboratorium wizualizacji i interakcji, Laboratorium zarządzania centrami danych i systemami efektywnymi energetycznie, Laboratorium technologii informacyjnych przyjaznych środowisku Green ICT, Laboratorium integracji technologii ICT z otoczeniem, Sale zarządzania siecią i CBPIO.

8 II. Infrastruktura PLGrid

9 Konsorcjum PLGrid Akademickie Centrum Komputerowe CYFRONET AGH w Krakowie Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej Poznańskie Centrum Superkomputerowo Sieciowe w Poznaniu Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego w Warszawie Wrocławskie Centrum Sieciowo -Superkomputerowe we Wrocławiu

10 Rozwój PLGrid Infrastruktura bazowa Dedykowane rozwiązania dla dziedzin i grup naukowych Udostępnienie podstawowych usług oraz narzędzi dostępowych ogólnego przeznaczenia do zasobów obliczeniowych. AstroGrid-PL, HEPGrid, Nanotechnologie, Akustyka, Life Science, Chemia kwantowa i Fizyka molekularna, Ekologia, SynchroGrid, Energetyka, Bioinformatyka, Zdrowie, Materiały, Metalurgia. Medycyna, OpenOxides, Matematyka, Biologia, Hydrologia, Geoinformatyka, Meteorologia, Complex Networks, ebaltic-grid, UNRES, Medycyna spersonalizowana, Chemia Obliczeniowa, Energetyka Jądrowa i CFD, Technologia Przetwarzania Metali

11 Oferta Zasoby obliczeniowe 5+ PTFLOPS rdzeni Oprogramowanie naukowe 500+ aplikacji, narzędzi, bibliotek apps.plgrid.pl Zasoby dyskowe 40+ PB archiwa kopie zapasowe rozproszony dostęp szybkie zasoby na pliki tymczasowe Chmura obliczeniowa PaaS wykorzystująca OpenStack Narzędzia pracy zespołowej zarządzanie projektami (JIRA) kontrola wersji (Git) telekonferencje (Adobe Connect)

12 Infrastruktura PLGrid W infrastrukturze liczy ponad 5000 użytkowników. Efektem prac prowadzonych z pomocą Infrastruktury jest ponad publikacji. Znakomita większość publikacji znajduje się w czasopismach z Listy Filadelfijskiej oraz jest wysoko punktowana przez MNiSW. Z infrastruktury korzystają: Pracownicy naukowi i dydaktyczni, Doktoranci, Magistranci w ramach prac dyplomowych, Studenci, Inne osoby uczestniczące w badaniach naukowych (w tym obcokrajowcy), Istnieje możliwość częściowego, komercyjnego wykorzystania infrastruktury przez podmioty biznesowe (MŚP, przemysł, etc.)

13 Zasoby obliczeniowe PLGrid Pełna konfiguracja na stronie:

14 TOP 500Listopad 2016 Lista systemów z Polski 59 Prometheus(ACK Cyfronet AGH) 2,4 PFLOPS (PLGrid) 110 Eagle/Orzeł (PCSS) 1,37 PFLOPS (część dostępna w PLGrid) 114 Tryton (TASK) 1,41 PFLOPS (część dostępna w PLGrid) 131 Okeanos(ICM) 1,08 PFLOPS 205 Bem (WCSS) 0,86 PFLOPS (część dostępna w PLGrid) 131 Enigma (ICM) 0,59 PFLOPS 400 Centrum Informatyczne Świerk 0,49 PFLOPS

15 Różnorodność zasobów obliczeniowych Dostępne rodzaje procesorów Intel Xeon 4-, 6-, 12-, 14-rdzeniowe (do 28 rdzeni na węźle) AMD Opteron 6-, 12-, 16-rdzeniowe (do 64 rdzeni na węźle) Akceleratory obliczeń karty GPGPU NVidiaTesla (do 8 kart na węźle) Intel Xeon Phi (do 2 kart na węźle) Różne konfiguracje węzłów obliczeniowych od 8 do 64 rdzeni na węzeł do 512 GB RAM na węzeł vsmp(intel Xeon) do 6 TB RAM oraz 768 rdzeni

16 Zalety infrastruktury Gridowej Lokalne zasoby vs. PLGrid Mała moc obliczeniowa vs. Duża moc obliczeniowa Długi czas oczekiwania na zasoby vs. Krótki czas oczekiwania na zasoby Długi czas wykonywania obliczeń vs. Krótki czas wykonywania obliczeń Homogeniczna architektura sprzętowa vs. Wiele różnych architektur sprzętowych Brak rozwiązania w przypadku awarii vs. Redundancja zasobów Tylko wybrane pakiety/wersje oprogramowania. vs. Duża różnorodność pakietów i wersji oprogramowania Zwykle dostęp przez lokalny system kolejkowy vs. Usługi i narzędzia ułatwiające prowadzenie obliczeń Odpowiedzialność za konfiguracjęi utrzymanie spoczywa na właścicielu vs. Za utrzymanie infrastruktury odpowiadają profesjonaliści

17 PLGridw zastosowaniach inżynieryjnych x czas obliczeń Abaqus Explicit[s] x 2.25x 2.35x 0 25M 11M 6M 4M DOFs PCSS (Intel Xeon E GHz) PP (Intel Xeon 3.33GHz)

18 Oprogramowanie Chemia i Biologia: ADF, AMBER, CFOUR, Dalton, GAMESS, Gaussian, Molcas, Molpro, MOPAC, NWChem, TURBOMOLE, Jaguar, LAMMPS, AutoDock/AutoGrid, BLAST, Clustal, Siesta, Quantum Espresso, VASP (na licencjach własnych użytkownków), CP2K, CPMD, Gromacs, NAMD FEM:Abaqus, Ansys/FLUENT, Nastran, Marc, OpenFOAM Nanotechnologia: ABINIT, Quantum Espresso, NAMD, CP2K, CPMD, Crystal, CASTEP Interdyscyplinarne: Mathematica, MATLAB, Simulink Kompilatory i narzędzia: Intel, PGI, GNU, MKL, CUDA, MPI, OpenMP, OpenCL,, Python, R, Ruby, Java, Alinea, ROOT, WRF, GA, HDF, NAG Bazy danych Możliwość instalacji dowolnego oprogramowania

19 Katalog Aplikacji i Usług (KAiU)

20 Katalog Aplikacji i Usług (KAiU) Dostępna dokumentacja użytkowa dla poszczególnych usług / pakietów. Opiekun aplikacji, który może udzielić pomocy w zakresie sposobu używania aplikacji. Informacja o dostępnych wersjach oprogramowania. Instancje informacja o konkretnych instalacjach. Monitorowanie na bieżąco funkcjonalności (czy dana usługa / pakiet działa poprawnie).

21 KAiU Lista oprogramowania

22 KAiU Szczegóły pakietu

23 KAiU Informacja o dostępności wersji pakietu

24 KAiU-Usługi

25 Portal PLGrid Główne funkcje: Rejestracja i zarządzanie kontem. Aplikowanie o dostęp do zasobów. Aplikowanie o dostęp do usług. Tworzenie zespołów. Wnioskowanie o granty. Monitoring zużycia zasobów. Generowanie certyfikatów gridowych.

26 Uzyskiwanie dostępu do zasobów

27 Rejestracja w PLGrid Użytkownik może posiadać tylko jedno konto. Rejestrację należy potwierdzić klikając w link aktywacyjny przesłany w wiadomości . PLGloginnależy zapamiętać -będzie on stale potrzebny na wielu etapach korzystania z Infrastruktury. Bezwzględnie nie należy udostępniać nikomu swojego hasła do konta. Przed rejestracją konta należy zapoznać się z zasadami użytkowania Infrastruktury opisanymi w Regulaminie. Już na etapie rejestracji można korzystać z platformy Helpdeskw celu zgłaszania problemów lub pytań. Dodatkowe informacje pod adresem: racja

28 Założenie afiliacji Aby dodać swoją afiliację, należy w Portalu PLGrid przejść do zakładki Afiliacje. Po kliknięciu Dodaj pojawia się formularz, w którym należy wybrać typ afiliacji.

29 Założenie afiliacji Następnie należy wprowadzić wymagane informacje dla wybranego typu afiliacji i wysłać zgłoszenie do weryfikacji. Weryfikacja przez Operatora PLGrid Weryfikacja przez Opiekuna Więcej informacji:

30 Granty Typ grantu Grant testowy Grant właściwy Sposób uzyskiwania Przyznawanamoc obliczeniowa Przyznawanyna żądanie każdemu użytkownikowi 5000 godzin pracy CPU (rdzenia procesora) / rok 1000 godzin per ośrodek Przyznawanypo rozpatrzeniu wniosku składanego przez portal PLGrid Ustalane indywidualnie Przyznawanailość pamięci dyskowej 50GB 10GB per ośrodek Ustalane indywidualnie Forma rozliczenia Brak Raport, publikacje dołączenie podziękowań dla PLGrid

31 Aplikowanie o grant testowy Granty testowe przyznawane są na żądanie użytkownika. Aby aktywować grant testowy, w przestrzenigrantyw zakładcegranty testowe należy kliknąć zielony przycisk "Włącz grant testowy". Szczegółowe informacje:

32 Wnioskowanie o grant właściwy W ramach grantu właściwego można uzyskać więcej zasobów i bardziej różnorodnych niż w grancie testowym Granty właściwe wymagają od użytkownika zdefiniowania swoich potrzeb co do zasobów i przedstawienia odpowiedniej motywacji. Zasoby przyznawane w ramach grantu właściwego podlegają negocjacjom podczas wnioskowania. Wnioskowanie o granty właściwe możliwe jest po stworzeniu zespołu tylko przez kierownika zespołu. Proces wnioskowania o grant właściwy należy rozpocząć w przestrzeni Granty w Portalu, w zakładce Moje granty. Więcej informacji:

33 Accounting i rozliczanie grantów Informacje o aktualnym zużyciu grantów mogą być uzyskane w portalu accountingu PLGrid: W uzasadnionym przypadku przyznana pula zasobów może być renegocjonowana. Rezultatem prac w ramach grantów obliczeniowych powinny być publikacje, w których należy umieścić jedną z poniższych formuł: Praca została wykonana z wykorzystaniem Infrastruktury PLGrid. "This research was supported in part by PLGrid Infrastructure." Rozliczanie grantów właściwych inicjowane jest z poziomu portalu PLGridi wymaga złożenia krótkiego raportu. Informacje o publikacjach powstałych w ramach grantów testowych należy przesłać za pomocą HelpDesk Efektywność wykorzystania grantu, ocena z rozliczenia grantu mogą mieć wpływ na rozpatrywanie wniosków granatowych w przyszłości.

34 Certyfikaty gridowe W celu uzyskania dostępu do infrastruktury gridowej, niezbędne jest posiadanie certyfikatu. Certyfikat jest dowodem osobistym użytkownika i potwierdza jego tożsamość wusługach gridowych pełni rolę analogiczną do zabezpieczeń typu login/hasło. Certyfikaty są wystawiane przez zaufane Centra Certyfikacji(ang. Certification Authority, CA). Certyfikaty zwykle ważne są jeden rok. Wystawione certyfikaty są zabezpieczane hasłem, jednak powinny być przechowywane w bezpiecznej lokalizacji. Zadania obliczeniowe posługują siętzw. certyfikatami proxy, które generowane są na podstawie bazowego certyfikatu użytkownika. Certyfikaty proxynie są zabezpieczone hasłem, ale ich terminy ważności są stosunkowo krótkie.

35 Certyfikaty gridowe-centra certyfikacji Dla użytkowników PL-Gridu dostępne są dwa CA: Simple CA ( Polish Grid CA ( Simple CA: certyfikat uzyskuje się poprzez portal generowany automatycznie dla każdego użytkownika dostęp ograniczony do polskich zasobów PL-Grid CA: certyfikat uzyskuje się poprzez portal użytkownik musi potwierdzić tożsamość w Urzędzie Rejestracji (RA) umożliwia pracę w europejskich centrach obliczeniowych (European Grid Initiative- EGI)

36 Aplikowanie o Certyfikat SimpleCA Zarządzanie certyfikatami odbywa się z poziomu zakładki Certyfikaty Portalu PLGrid Certyfikat Simple CA wystawiany jest w Portalu i nie wymaga dodatkowej weryfikacji tożsamości. Aby wygenerować nowy certyfikat Simple CA należy kliknąć Wygeneruj certyfikat. Pojawi się widok z polem do podania hasła -tego samego, które używane jest do zalogowania się do Portalu. Po podaniu poprawnego hasła wybieramy opcję Generuj. Certyfikat zostanie automatycznie zainstalowany w infrastrukturze, można go także pobraćna lokalny dysk w postaci pliku p12 z certyfikatem i kluczem prywatnym. Więcej informacji:

37 Aplikowanie o dostęp do usług Korzystanie z infrastruktury obliczeniowej PLGrid-w dowolny sposób, za pomocą któregokolwiek narzędzia - wymaga posiadania aktywnego dostępu do odpowiedniej usługi bądź zestawu usług. Aplikowanie i zarządzanie dostępem do usług odbywa się z poziomu Katalogu Aplikacji i Usług. Na stronie tytułowej należy wybrać Usługi lub wyszukać żądaną usługę w dostępnej wyszukiwarce. Następnie należy kliknąć Aplikuj przy wybranej pozycji.

38 Tworzenie zespołów Zespół w Infrastrukturze PLGrid to jednostka, która ma możliwość starania się o grant właściwy. Zespół naukowy nie musi zrzeszać grupy osób. Zespół może być jednoosobowylub wieloosobowy (odzwierciedla wtedy istniejącą grupę badawczą). Dzięki istnieniu zespołów możliwe jest wygodne współdzielenie zasobów w obrębie grupy badawczej, która skupia osoby pracujące nad wspólnym tematem badawczym oraz planujące wspólne publikacje. Zespół badawczy tworzymy w zakładce Zespoły w Portalu. W tym widoku pojawia się lista zespołów użytkownika oraz przycisk: Utwórz nowy zespół. Dodatkowe informacje:

39 III. Narzędzia dostępowe do zasobów PLGrid

40 Korzystanie z infrastruktury Gridowej Dzięki narzędziom udostępnionym w PLGridkorzystanie z infrastruktury obliczeniowej jest znacznie prostsze niż jeszcze kilka lat temu. PLGrid dostarcza narzędzia dostosowane do potrzeb, preferencji i doświadczenia użytkowników.

41

42 Usługi obliczeniowe QCG QCG to zestaw usług i narzędzi pozwalających na wygodne prowadzenie obliczeń w PLGrid. Integruje wszystkie zasoby PLGridi udostępnia je jako całość (metakomputer). Dostarcza zaawansowane mechanizmy, często rozszerzające funkcjonalność systemów kolejkowych, np. wsparcie dla workflowów, zadania parametryczne z wielowymiarową przestrzenią parametrów, zaawansowany monitoring. Usługi QCG są wykorzystywane przez wiele narzędzi dostępowych do PLGridwyższego poziomu konieczne jest zawnioskowanie o dostęp do QosCosGrid. Witryna:

43 Usługi QCG -oprogramowanie Intuicyjne narzędzia dostępowe: QCG-Portal, QCG-Icon, QCG-Now, QCG-Client. Usługi i narzędzia wspierające obliczenia: QCG-Monitoring, QCG-Vis. Biblioteki: QCG-API Java, QCG-API Python.

44 Usługi QCG procedura uzyskania dostępu

45

46 Internetowe narzędzie dostępowe ogólnego przeznaczenia pozwala na zlecanie dowolnych zadań obliczeniowych. Dostępne pod adresem:

47 QCG-Portal Zintegrowane wsparcie dla tworzenia rozszerzeń interfejsu, nakładek i różnego rodzaju dedykowanych rozwiązań. Brak konieczności instalowania oprogramowania. Dostęp w każdym miejscu, na każdym urządzeniu. Wbudowane wsparcie do zarządzania danymi. Szablony zadań. Możliwość monitorowania obliczeń za pomocą wiadomości , XMPP i w dedykowanym portalu. Możliwość uruchamiania zadań wizualizacyjnych oraz zadań z interfejsem graficznym. Wymagania Globalny Dostęp QosCosGrid Grant Certyfikat

48 QCG-Portal

49 InSilicoLab Środowisko pracy z systemem zintegrowanych narzędzi, które: wspomagają zarządzanie złożonymi obliczeniami, automatyzują powtarzalne cykle obliczeń, umożliwiają w wygodny sposób zarządzanie procesem obliczeń, ułatwiają zarządzanie rozproszonymi danymi eksperymentu, umożliwiają wspólną analizę rezultatów wielu równoległych obliczeń, ułatwiają współpracę pomiędzy badaczami pracującymi nad wspólnymi projektami, nie rozpraszają użytkowników wykorzystywaną technologią bez forsowania zmiany sposobu myślenia naukowców. Wymagania Globalny Dostęp QosCosGrid InSilicoLab for Chemistry Grant Certyfikat 49

50 InSilicoLab-dostępne domeny badawcze Chemia kwantowa oraz biochemia Astrofizyka Geofizyka obliczenia pakietami Gaussian, GAMESS, Turbomole, TrajectorySculptor-półautomatyczne przycinaniedużych układów molekularnych (np. wyników symulacji MD), możliwość łączenia obu typów eksperymentów. obliczenia hydrodynamiczne metodami objętości skończonej, obliczenia dla konsorcjum Cherenkov Telescope Array(CTA). badania sejsmiczności indukowanej (IS-EPOS).

51 PLGData-zarządzanie plikami na klastrze Cel: proste narzędzie zarządzania plikami dla użytkowników klastra HPC Przeglądanie, dodawanie, usuwanie i zmiana praw dostępu do plików i folderów. Alternatywa dla protokołu ssh/scp używanego z poziomu linii komend lub pulpitu. Pozwala osobom nieobeznanym z techniczną stroną dostępu do klastra na np. oglądanie wyników obliczeń wykonanych w PL-Grid. Usługa dostępna zarówno po polsku jak i po angielsku. Poprzez użycie katalogów zespołowych wspiera łatwe współdzielenie plików w obrębie grup badawczych. Pozwala na dostęp do klastrów Zeus i Prometeusz zlokalizowanych w Cyfronecie. Udostępnia API programistyczne z użyciem protokołu REST i certyfikatów proxy.

52 Przykłady użycia PLGDataw curl Oglądnięcie zawartości katalogu curl -X GET --header "PROXY:$proxy" \ Pobranie pliku curl -X GET --header "PROXY:$proxy" \ /graph.png Załadowanie pliku curl -X POST --header "PROXY:$proxy" \ -F file=@graph.png" \ Dokumentacja API dostępna na stronie głównej usługi.

53 Inne serwisy wdrożone do PLGrid plgapp Praftorma ułatwiająca stworzenie lekkich aplikacji sieciowych nadbudowanych na infrastrukturę obliczeniową PLGrid. DataNet Zarządzanie danymi oraz metadanymi z wykorzystaniem repozytorów danych dostępnych m.in. przez REST API. GridSpace Platforma umożiwiająca przeprowadzanie eksperymentów insilico na infrastrukturach obliczeniowych I gridowych. Dodatkowe informacje na stronach

54

55 Lekka aplikacja graficzna umożliwiająca zlecanie zadań z poziomu systemu operacyjnego komputera użytkownika (Windows, OS X, Linux). Strona produktu: QCG-Icon QCG-Now

56 QCG-Icon Prosty, intuicyjny w obsłudze interfejs. Integracja z systemem operacyjnym. Pozwala na uruchamianie aplikacji obliczeniowych, np. Gaussian-09, NAMD, LAMMPS, Molpro, Matlab, Ansys- Fluent, a także dowolnych skryptów BASH, PYTHON etc. Wbudowane wsparcie dla przegrywania plików. Możliwość podglądu wyjścia i monitorowania zadań za pomocą wiadomości i XMPP oraz w dedykowanym portalu. Możliwa integracja z aplikacjami dziedzinowymi, np. GaussView, a także proste zlecanie zadań z poziomu skryptów. Wymagania Globalny Dostęp QosCosGrid Grant Certyfikat

57 QCG-Icon Przykładowa Integracja z GaussView

58 Intuicyjna aplikacja graficzna umożliwiająca zlecanie zadań na infrastrukturę PLGrid z poziomu systemów Windows, OS X oraz Linux. Strona produktu: QCG-Icon QCG-Now

59 QCG-Now Łatwa instalacja i konfiguracja. Wygodny, intuicyjny interfejs. Umożliwia uruchamianie dowolnych aplikacji udostępnianych w infrastrukturze przez usługi QCG, w tym skryptów BASH i PYTHON. Rozbudowane mechanizmy wspierające kopiowanie danych. Możliwość podglądu wyjścia i monitorowania zadań za pomocą wiadomości i XMPP oraz w dedykowanej usłudze QCG-Portal. Synchronizacja zadań z usługami QCG (możliwe odzyskanie straconej informacji o zadaniach lub załadowanie informacji o zadaniach na inny komputer). Szablony zadań. Możliwa integracja z aplikacjami dziedzinowymi i oskryptowanie wywołań. Możliwość uruchamiania zadań wizualizacyjnych oraz zadań z interfejsem graficznym. Wymagania Globalny Dostęp QosCosGrid Grant Certyfikat

60 QCG-Now

61 QCG-Now

62

63 Klient tekstowy do usług QCG. Pozwala na zlecanie zadań w sposób zbliżony do obsługi systemu kolejkowego. Dostępny po zalogowaniu się przez SSH na jedną z maszyn: qcg.man.poznan.pl moss.man.poznan.pl ui.plgrid.wcss.wroc.pl zeus.cyfronet.pl ui.grid.icm.edu.pl

64 QCG-Client Składa się z zestawu poleceń qcg-* odpowiedzialnych za wykonywanie podstawowych operacji związanych ze zlecaniem, monitorowaniem oraz zarzadzaniem zadaniami. Wykorzystuje pliki opisu zadań, których składnia oparta o dyrektywy #QCG przypomina składnię plików znanych z PBS/Torque. Daje możliwość dużej kontroli nad zleceniem zadania, transferem plików we/wy, wykorzystaniem modułów oraz ustawień środowiska. Umożliwia uruchamianie zadań interaktywnych oraz podłączanie się do aktualnie wykonywanych zadań. Umożliwia monitorowanie wyjścia i stanu zadań - notyfikacje poprzez e- mail oraz XMPP, integracja z portalem QCG-Monitoring. Daje możliwość korzystania z najbardziej zaawansowanych funkcji QCG, np. workflowy, uruchomienia wieloklastrowe, zadania multi-scale itd. Wymagania Globalny Dostęp QosCosGrid Grant Certyfikat

65 QCG-Client vs. systemy kolejkowe POLECENIA PBS/Torque Slurm LoadLeveler QCG-Client Job submission qsub[script_file] sbatch[script_file] llsubmit[script_file] qcg-sub[script_file] Job deletion qdel[job_id] scancel[job_id] llcancel[job_id] qcg-cancel[job_id] Job status qstat[job_id] squeue[job_id] llq-u [username] qcg-info [job_id] Queue list qstat-q squeue llclass qcg-resources ZMIENNE ŚRODOWISKOWE Job id $PBS_JOBID $SLURM_JOBID $LOAD_STEP_ID $QCG_JOBID Submit Directory $PBS_O_WORKDIR $SLURM_SUBMIT_DIR $LOADL_STEP_INITDIR $QCG_JOB_DIR Node List $PBS_NODEFILE $SLURM_JOB_NODELIST $LOADL_PROCESSOR_LIST $QCG_NODEFILE OPIS ZADANIA Script directive #PBS #SBATCH #QCG Queue -q [queue] -p [queue] class=[queue] queue=[queue] Node Count -l nodes=[count] -N [min[-max]] node=[count] nodes=[count] CPU Count -l ppn=[count] -n [count] procs=[count] Wall Clock Limit -l walltime=[hh:mm:ss] -t [days-hh:mm:ss] Memory Size -l mem=[mb] --mem=[mem][m G T] wall_clock_limit= [hh:mm:ss] requirements= (Memory >= [MB]) walltime=[time] memory=[mem][mb]

66 QCG-Client Polecenia qcg-cancel qcg-connect qcg-info qcg-list qcg-peek qcg-refetch qcg-resub qcg-sub qcg-rcancel qcg-reserve qcg-rinfo qcg-rlist Dyrektywy #QCG application argument environment error/output host memory nodes/ procs note notify/ watch-output preprocess/ postprocess queue stage-in-dir/file stage-out-dir/file walltime więcej #!/bin/bash #QCG host=nova #QCG queue=plgrid #QCG note=naphthalene #QCG output=output #QCG error=error #QCG stage-in-file=naphthalene.gjf #QCG stage-in-file=gaussian.ntf #QCG stage-out-dir=.->result #QCG nodes=1:1 #QCG walltime=pt10m #QCG #QCG watch-output=20,gaussian.ntf #QCG application=g09 #QCG argument=naphthalene.gjf

67

68 Systemy kolejkowe Większość zasobów PLGrid udostępnia możliwość zlecania zadań bezpośrednio do systemu kolejkowego. Opcja kierowana jest do użytkowników przyzwyczajonych do tradycyjnej pracy na klastrze szczególnie tych, którzy preferują konkretny system kolejkowy. Na zasobach PLGrid wykorzystywane są: SLURM, PBS Pro oraz Torque.

69

70 QCG-API Zestaw bibliotek programistycznych pozwalających na prostą integrację z usługami QCG. Funkcjonalność pozwalająca na uruchamianie, monitorowanie i zarządzanie zadaniami zlecanymi do PLGrid, przegrywanie danych. Wsparcie dla języków Java i Python. Możliwość tworzenia nowych scenariuszy wykorzystania infrastruktury PLGrid. Wsparcie technologiczne ze strony PCSS.

71 Rimrock Rimrock Robust Remote Process and Job Controller. Umożliwia uruchamianie zdań obliczeniowych na zdalnych zasobach poprzez interfejs RESTowy. Api RESTowe umożliwia: generacje certyfikatu X.509 podając login oraz hasło użytkownika PLGrid uruchomienie programu wsadowego na zasobach zdalnych (np. na Zeusie, Prometeuszu) uruchomienie programu interaktywnego za zasobach zdalnych (np. bash) zlecenie lokalnego zadania na zasobach zdalnych (qsub, slurm) zlecanie zdań gridowych przy użyciu Globusa, QCG 71

72 Rimrock przykłady użycia Generacja certyfikatu X.509 curl -k -X GET \ --header "USER-LOGIN:$userLogin" \ --header "USER-PASSWORD:$userPassword" \ --header "PRIVATE-KEY-PASSWORD:$privateKeyPassword" \ Uruchomienie programu wsadowego curl -k -X POST \ --data '{"host": "zeus.cyfronet.pl", "command": "pwd"}' \ --header "Content-Type:application/json" \ --header "PROXY:$proxy" Zlecenie zadania curl -k -X POST \ --data '{"host":"prometheus.cyfronet.pl", "script":"#!/bin/bash\n \ #SBATCH -A {grantid}\necho hello\nexit 0"}' \ --header "Content-Type:application/json" --header "PROXY:$proxy"

73 Rimrock przykład wdrożenia SCIGRESS oprogramowanie desktopowe do modelowania molekularnego i inżynierii materiałowej. Integracja PLGridnie zmieniająca sposobu pracy użytkownika-uruchamianie zadańz aplikacji (potrzebne jedynie konto PLGrid).

74

75 Narzędzia pracy zespołowej Adobe Connect-to cenione na rynku rozwiązanie do prowadzenia telekonferencji do 50 uczestników jednocześnie. Confluence- to przestrzeń typu "wiki do agregowania wiedzy. Jira-to narzędzie do planowania pracy iśledzenia jej efektów. Stash- oprogramowanie do śledzenia zmian w kodzie źródłowym Wymagania Adobe Connect JIRA, Confluence, Stash

76 Statystyczna Analiza Danych -R-SAD Zintegrowana platforma usług dedykowanych statystycznej analizie danych. Ułatwia wybór testu statystycznego dla analizy badanego zagadnienia. Udostępnia otwarte repozytorium kilkudziesięciu popularnych testów statystycznych. Dla każdego testu przygotowana jest szczegółowa dokumentacja. Zawiera zestaw aplikacji do analizy szeregów czasowych. Usługa dostępna pod adresem: Wymagania R-SAD (Statystyczna Analiza Danych) Certyfikat

77 QCG-Monitoring Usługa portalowa pozwalająca na bieżąco monitorować postęp i poprawność długotrwających eksperymentów wykonywanych przez QCG. Wspiera prezentację wyników w postaci tekstowej, tabel, wykresów, obrazów. Możliwość dodawania specyficznych, dziedzinowych wzorców prezentacji. Predefiniowane style zawierające tabele, wykresy, obrazy dla wybranych aplikacji (aktualnie gaussian oraz piernik, a także styl ogólny). Możliwość wyświetlania dowolnego tekstu z każdej aplikacji. Adres:

78 QCG-Vis Usługa wizualizacji obliczeń zlecanych przez QCG. Renderowanie obrazu na dedykowanych zasobach wizualizacyjnych. Możliwość wizualizacji dużych wolumenów danych in-situ. Wizualizacja w trakcie obliczeń. Możliwość dynamicznego sterowania przebiegiem symulacji w trakcie jej trwania (wstrzymywanie / wznawianie, modyfikacja parametrów symulacji w trakcie jej trwania.

79 Prometheus dostęp graficzny (beta) Nowe narzędzie w ramach pro-tools: pro-viz Uruchamianie zadań w środowisku graficznym VNC z libjpeg-turbo Wsparcie dla OpenGL i renderingu CPU lub GPU Dostęp do zadania za pomocądowolnej przeglądarki HTML5 lub dedykowanego klienta

80

81 Atmosphere chmura PLGrid Dostęp do infrastruktury chmury obliczeniowej umożliwiający zarządzanie uruchomionymi maszynami wirtualnymi Zarządzanie przekierowaniami (tcp/http/https) maszyny wirtualnej Prywatna sieć dostępna dla każdej grupy 81

82 Atmosphere chmura PLGrid maszyn wirtualnych instancje VM do 64 rdzeni i 250 GB RAM z dostępem do szybkich zasobów dyskowych technologia OpenStack możliwość łatwej rozbudowy i dostosowania typów instancji do potrzeb 82

83 Chmura obliczeniowa PLGrid: dostęp dla dewelopera Chmura PLGrid 4. Nowa aplikacja zostaje automatycznie zarejestrowana i może być współdzielona z pozostałymi użytkownikami infrastruktury PLGrid (w tym również z innymi developerami, którzy mogą ją ulepszać). MySpine v22 (aplikacja) GIMIAS (aplikacja) OpenLab v1 (aplikacja) OpenLab v1 (aplikacj) ViroLab DRS (aplikacja) Ubuntu Linux (szablon OS) MS Windows (szablon OS) 1. Twórca aplikacji wybiera i instancjonuje wybraną aplikację (np. MySpine) lub pusty szablon systemu operacyjnego (np. Ubundu Linux) Developer 3. Gdy twórca aplikacji uzna, że instalacja została zakończona, może zlecić infrastrukturze PLGrid zarejestrowanie gotowego serwisu jako nowej apliacji cloudowej. Instancja aplikacji Ubuntu Linux (szablon OS) Hardware: 4 cores, 8 GB RAM, 30 GB HDD 2. Platforma cloudowa PLGrid tworzy maszynę wirtualną, która zawiera instancję aplikacji, z przypisanym zestawem zasobów sprzętowych. 2. Developer może teraz nawiązać bezpieczne połączenie z maszyną i przystąpić do instalacji wybranego oprogramowania w tym przypadku jest to aplikacja edukacyjna OpenLabyrinth. Instancja aplikacji OpenLab v1 (development) Sprzęt: 4 rdzenie, 8 GB RAM, 30 GB HDD 83

84 Chmura obliczeniowa PLGrid: dostęp dla użytkownika Chmura PLGrid MySpine v22 (aplikacja) GIMIAS (cloud service) ViroLab DRS (aplikacja) OpenLab v1 (aplikacja) Badacz 1. Użytkownik (badacz domenowy) zgłasza chęć dołączenia do zespołu PLGrid oraz uzyskania dostępu do zarządzanych przez ten zespół aplikacji. 3. Użytkownik może teraz dowolnie korzystać z aplikacji. Po zakończeniu pracy użytkownik wydaje polecenie zlikwidowania instancji celem zwolnienia zasobów sprzętowych. Szef zespołu OpenLab v1 (aplikacja) Autoryzowani użytkownicy: 2. Kierownik zespołu PLGrid zatwierdza prośbę o dołączneie do zespołu nowy użytkownik może teraz samodzielnie instancjonować wybraną aplikację w cloudzie. 2. Platforma tworzy instancję aplikacji, wyposażoną w odpowiedni zestaw zasobów sprzętowych (zgodnie z konfiguracją wprowadzoną przez developera), po czym przesyła użytkownikowi dane dostępowe. Instancja OpenLab v1 (aplikacja) Sprzęt: wg wymagań aplikacji 84

85 Interfejsy platformy cloudowej Badacz Infrastruktura PLGrid udostępnia zestaw graficznych interfejsów użytkownika ( a także szczegółową instrukcję obsługi platformy patrz Aplikacja --lub -- Platforma workflow Interfejsy graficzne są sprzęgnięte z interfejsem programistycznym (REST API) zwanym Cloud Facade. Każda operacja, którą można przeprowadzić z poziomu GUI może również zostać wywołana przez dedykowany interfejs programistyczny umożliwia to integrację usług cloudowych z zewnętrznymi narzędziami i oprogramowaniem. Atmosphere Warstwa kontrolerów Ruby on Rails (serwer Atmosphere) Rejestr Atmosphere (AIR) Zasoby sprzętowe Wszystkie operacje na zasobach sprzętowych są ukryte za wspólnymi interfejsem programistycznym (typu REST). Platforma udostępnia stosowną dokumentację programistyczną. Dla użytkowników końcowych zapewniamy graficzne interfejsy użytkownika zintegrowane z środowiskiem PLGrid. Z interfejsu programistycznego mogą korzystać aplikacje działające w imieniu użytkownika wymagane jest przedstawienie stosownych danych uwierzytelniających (Atmosphere bazuje na popularnym standardzie OpenID).

86 Przykładowe wdrożenia Możliwość zgłaszania uwag i raportowania problemów dostępna dla wszystkich użytkowników platformy. Dostę do instrukcji użytkownika oraz dokumentacji interfejsów programistycznych (API). Produkcyjna infrastruktura z prawdziwnymi aplikacjami i usługami naukowymi. Ponad 200 szablonów aplikacji; ponad 50 instancji uruchamianych każdego dnia przez użytkowników infrastruktury.

87 PLGridw zastosowaniach inżynieryjnych Testy HP Apollo ,35 PFLOPS (59na Top500 XI 2016) ci Abaqus na superkomputerze Prometheus 2232 węzłów, 2x Intel Haswell E5-2680v3 2,5 GHz, 12 rdzeni w tym 72 węzły z 2 x Tesla K40 XL rdzeni, na wyspie 279 TB DDR4 RAM (128 GB na węzeł) PUE 1.05, 816 kw mocy całkowitej 20 szaf typu rack CentOS 7 system gotowy do rozbudowy w trakcie produkcyjnego działania

88 Platforma testowa Intel Xeon Intel Haswell E5-2680v3 Mikroarchitektura Haswell Dodatkowe instrukcje AVX 2.0 (Advanced Vector Extensions Częstotliwość Nominalna częstotliwość AVX Moc obliczeniowa (nominalna) (DP) Pojemność cache L1, L2 (per core) Pojemność cache L3 (per socket) Przepustowość pamięci Cluster on die 2,50 GHz (3,3 GHz z Intel Turbo Boost) 2,1 GHz (3,1 GHz z Intel Turbo Boost) 480 GFLOPS 32 kb+ 32 kb, 256 kb 30 MB 68 GB/s dwa węzły NUMA o wspólnym cache L3 po 6 rdzeni każdy Specyfikacja 2 procesory 4 węzły NUMA 4kontrolery pamięci

89 Platforma testowa nvidia Tesla Kepler K40 XL Architektura Kepler Szyna PCI-Express 3.016x Liczba rdzeni CUDA 2880 Maksymalna częstotliwość 928 MHz Moc obliczeniowa (DP) 1780 GFLOPS Moc obliczeniowa (SP) 5340 GFLOPS Pojemność i typ pamięci 12 GB GDDR5 Przepustowość pamięci 288 GB/s Specyfikacja 2 karty na węzeł

90 Założenia testów Przeprowadzono testy skalowalności na standardowych testach dostępnych na stronach Dassault Systèmes- Licencje testowe dostarczyła firma Budsoft Testy przeprowadzono na klastrach Zeus oraz Prometheus w ACK Cyfronet AGH Założenia: Wykorzystanie środowiska produkcyjnego wykorzystanie IntelMPI Wykorzystanie znanych problemów testowych Cele: Sprawdzenie skalowalności oprogramowania Abaqus na klastrach HPC Możliwości przyspieszania obliczeń wykorzystując GPGPU Porównanie możliwości klastra Zeus i Prometheus

91 Założenia testów Kontrola liczby licencji używanych przez zadania obliczeniowe uruchomione w systemie kolejkowym klastra

92 Wyniki dla solvera Explicit Podobna skalowalność dla testów (efektywne skalowanie do 24 rdzeni) Zeus wolniejszy rdzeńdo rdzenia od 25% do 33%

93 Wyniki dla solvera Explicit Wątki nie są przypięte, gdy wychodzimy poza jeden procesor, nie jest to efektywne Procesy MPI przypinane zmienną I_MPI_PIN_DOMAIN

94 Wyniki dla solvera Explicit Przy zwiększeniu rozmiaru układu skalowalność liniowa nawet do 576 rdzeni

95 Wyniki dla solvera Standard Użycie karty graficznej odpowiada około 8-12 rdzeni CPU Podobna skalowalność dla testów (efektywne skalowanie do 24 rdzeni)

96 Wyniki dla solverastandard Podzielenie obliczeń na węźle na 4 procesy MPI skraca czas nawet o 35%

97 Podsumowanie testów Opłaca się przypinać procesy i wątki I_MPI_PIN_DOMAIN = socket/cache3/omp najlepiej znać architekturę zasobu obliczeniowego Prometheus: 4xNUMA node-> 4 procesy MPI/węzeł parametr mp_host_split= Karty graficzne dają przyspieszenie odpowiadające dodaniu 6-8 rdzeni obliczeniowych Problemy efektywne przypinanie wątków w obrębie solvera standard do rdzeni karty K40XL były obciążone średnio do 15% ich mocy Solver standard ma mniej dostępnej pamięci przy wielu procesach MPI/węzeł

98 HelpDeskPLGrid Pytania i zgłoszenia problemów związanych z działaniem infrastruktury należy przesyłać poprzez system helpdesk

99 HelpDeskPLGrid Aby stworzyć nowe zgłoszenie należy na stronie helpdesku kliknąć przycisk Nowe zgłoszenie, a następnie uzupełnić formularz zgodnie ze wskazówkami.

100 Wsparcie użytkownika Podręcznik Użytkownika Forum użytkowników Konsultacje z ekspertami Za pośrednictwem Helpdesk PLGrid: helpdesk@plgrid.pl Narzędzia QCG:

101 Rejestracja: HelpDesk: QCG: PCSS:

102 IV. Zasoby PCSS

103 KLASTER ORZEŁ Główny system obliczeniowy PCSS 1200 serwerów (1,4Pflops), serwery wyposażone w 28/32 rdzenie każdy pracujące z zegarem 2,6 GHz serwery z 64/128/256 GB pamięci szybka sieć dla obliczeń i wymiany danych: IB FDR 56 Gbit/s Szybka pamięć podręczna dla obliczeń 120GB/s o pojemności 5,5 PB Stabilność i niezawodność - zwielokrotnione krytyczne usługi - sieć oraz zasilanie dwutorowe - optymalne warunki pracy dzięki chłodzeniu wodnemu zwiększona stabilność systemu - dostępność usługi na poziomie 99,98%

104 Klaster Inula klaster GPU 136 serwerów Intel Xeon, serwery wyposażone w 28/32 rdzenie każdy pracujące z zegarem 2,6 GHz serwery z 64/128 GB pamięci 68 serwerów AMD Opteron 24 rdzenie pracujące z zegarem 2,2 GHz Węzły wyposażone w karty GPU do obliczeń Serwer SMP chimera, Serwer do obliczeń wymagających dużych ilości pamięci 2048 rdzeni Intel Xeon 16 TB pamięci RAM dostępnej dla aplikacji

105 Dwa niezależne środowiska chmurowe dostępne na potrzeby PCSS oraz partnerów naukowych i komercyjnych Możliwość zarówno wykorzystania w dla obliczeń lub usług Lokalny zespół wsparcia dla użytkowników Dostępne zarówno maszyny wirtualne z systemami Open Source (Linux, FreeBSD) jak i Windows Możliwość tworzenia chmury prywatnej dla partnera na zasobach PCSS Dostępne na żądanie środowiska przetwarzania Hadoop, Spark itp

106 Zasoby: podsumowanie Dostęp do zasobów zarówno przez Plgridjak i wsparcie lokalnych użytkowników przez Lokalny zespół wsparcia dla użytkowników Bezpłatny dostęp dla środowiska naukowego Możliwość wykorzystanie zasobów w zastosowaniach komercyjnych jak i projektach z partnerami naukowymi i biznesowymi

107 Laboratorium wizualizacji Infrastruktura Wiz./VR/AR/ Sprzęt Kompetencje Oprogramowanie Sieć Usługi Wiz./VR/AR/ Wsparcie Wiz./VR/AR/ Projekty Wiz./VR/AR/ Nauka, Edukacja, Przemysł, Sztuka,

108 CAVE jaskinie wizualizacji

109 CAVE jaskinie wizualizacji w PCSS

110 CAVE jaskinie wizualizacji w PCSS

111 CAVE Aplikacje dziedzinowe -Paraview

112 CAVE Aplikacje dedykowane

113 CAVE Klaster wizualizacji 14 fat nodes with huge, reconfigurable RAM, 28CPU cores each and up to 3 GPUs per node with total of 30GPUs for processing heavy visualisation content. 20 fast CPU nodes to support fat nodes in less demanding tasks like data pre-and post-processing, Fast local storage with multi-level caching mechanism for optimal performance in visualisation and streaming applications, FDR InfiniBand interconnects for inbound traffic, 10 and 40Gbit Ethernet for outbound communications. The cluster will be equipped with 20 DP 1.2 display connectors, all with full hardware frame synchronisation for total pixel resolution over 175MPixels at 60Hz.

114 CAVE Scenariusze aplikacyjne obliczenia dużej skali: wizualizacja in-situ (wizualizacją wyników podczas trwania dużych obliczeń wsadowych na zasobach HPC/HTC) w szczególności z uwzględnieniem nowoczesnych mechanizmów przetwarzania wielkich wolumenów danych i dużych scen na wielu GPU równolegle, edukacja i szkolenia: zaawansowane trenażery i gry edukacyjne - grywalizacja 3D, symulatory pojazdów, kursy obsługi wyspecjalizowanego sprzętu technicznego, szkolenie zawodowe; medycyna i choroby cywilizacyjne: analiza medycznych zbiorów danych (CT, MRI), symulatory operacji chirurgicznych, badanie zmysłów równowagi; psychologia: leczenie fobii(np. leczenie lęku wysokości); projektowanie i inżynieria materiałowa: tworzenie cyfrowych modeli, badanie ich właściwości, realistyczne prezentacje we wczesnych fazach prototypowania; centra zarządzania kryzysowego: analiza graficzna prognozowania pogody i zmian klimatycznych w regionie i kraju, centrum przewidywania oraz obsługi sytuacji kryzysowych; energetyka: prezentacje dużych wolumenów danych złożowych, odkrywanie złóżropyigazu;