Zasoby obliczeniowe Poznańskiego Centrum Superkomputerowo-Sieciowego Bartosz Bartosz Bosak, Bosak, Tomasz Tomasz Piontek Piontek
Plan Prezentacji 0 PCSS 1 Infrastruktura PLGrid 2 Katalog aplikacji i usług 3 Narzędzia dostępowe do zasobów 2
I. Poznańskie Centrum Superkomputerowo Sieciowe afiliowane przy Instytucie Chemii Bioorganicznej Polskiej Akademii Nauk Rok założenia: 1993 3
PCSS - Lokalizacja CBPIO Centrum Badawcze Polskiego Internetu Optycznego Oddane do użytku w 2015 r. 300+ pracowników Data Center Laboratoria Biura 4
PCSS - Działalność 5
Zasoby obliczeniowe PCSS Eagle / Orzeł / Hetman 6
7
Laboratoria otwarte na innowacje ICT 18 laboratoriów wyposażonych w najnowocześniejszy sprzęt, m.in.: Laboratorium wizualizacji i interakcji, Laboratorium zarządzania centrami danych i systemami efektywnymi energetycznie, Laboratorium technologii informacyjnych przyjaznych środowisku Green ICT, Laboratorium integracji technologii ICT z otoczeniem, Sale zarządzania siecią i CBPIO. 8
II. Infrastruktura PLGrid 9
Konsorcjum PLGrid Akademickie Centrum Komputerowe CYFRONET AGH w Krakowie Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej Poznańskie Centrum Superkomputerowo Sieciowe w Poznaniu Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego w Warszawie Wrocławskie Centrum Sieciowo - Superkomputerowe we Wrocławiu 2009-2012 2011-2015 2014-2015 10
Oferta Zasoby obliczeniowe Oprogramowanie naukowe 5+ PTFLOPS 500+ aplikacji, narzędzi, bibliotek 130 000+ rdzeni apps.plgrid.pl Zasoby dyskowe Narzędzia pracy zespołowej 40+ PB zarządzanie projektami (JIRA) archiwa kontrola wersji (Git) kopie zapasowe telekonferencje (Adobe Connect) rozproszony dostęp szybkie zasoby na pliki tymczasowe Chmura obliczeniowa PaaS wykorzystująca OpenStack
Infrastruktura PLGrid W infrastrukturze liczy ponad 5000 użytkowników. Efektem prac prowadzonych z pomocą Infrastruktury jest ponad 2000+ publikacji. Znakomita większość publikacji znajduje się w czasopismach z Listy Filadelfijskiej oraz jest wysoko punktowana przez MNiSW. Z infrastruktury korzystają i mogą korzystać: Pracownicy naukowi i dydaktyczni, Doktoranci, Magistranci w ramach prac dyplomowych, Studenci, Inne osoby uczestniczące w badaniach naukowych (w tym obcokrajowcy), Istnieje możliwość częściowego, komercyjnego wykorzystania infrastruktury przez podmioty biznesowe (MŚP, przemysł, etc.) 12
Top 500 Czerwiec 2017 Lista systemów z Polski 71 Prometheus (ACK Cyfronet AGH) 2,34 PFLOPS (PLGrid) 131 Eagle/Orzeł (PCSS) 1,37 PFLOPS (część dostępna w PLGrid) 135 Tryton (TASK) 1,41 PFLOPS (część dostępna w PLGrid) 161 Okeanos (ICM) 1,08 PFLOPS 274 Bem (WCSS) 0,86 PFLOPS (część dostępna w PLGrid) 489 Enigma (ICM) 0,59 PFLOPS 13
Zalety infrastruktury Gridowej Lokalne zasoby vs. PLGrid Mała moc obliczeniowa vs. Duża moc obliczeniowa Długi czas oczekiwania na zasoby vs. Krótki czas oczekiwania na zasoby Długi czas wykonywania obliczeń vs. Krótki czas wykonywania obliczeń Homogeniczna architektura sprzętowa vs. Wiele różnych architektur sprzętowych Brak rozwiązania w przypadku awarii vs. Redundancja zasobów Tylko wybrane pakiety/wersje oprogramowania. vs. Duża różnorodność pakietów i wersji oprogramowania Zwykle dostęp przez lokalny system kolejkowy vs. Usługi i narzędzia ułatwiające prowadzenie obliczeń Odpowiedzialność za konfigurację i utrzymanie spoczywa na właścicielu vs. Za utrzymanie infrastruktury odpowiadają profesjonaliści 14
Portal PLGrid Główne funkcje: Rejestracja i zarządzanie kontem. Aplikowanie o dostęp do zasobów. Aplikowanie o dostęp do usług. Tworzenie zespołów. Wnioskowanie o granty. Monitoring zużycia zasobów. Generowanie certyfikatów gridowych. https://portal.plgrid.pl 15
Uzyskiwanie dostępu do zasobów PLGrid 16
Granty Typ grantu Grant testowy Grant właściwy Sposób uzyskiwania Przyznawany na żądanie każdemu użytkownikowi Przyznawany po rozpatrzeniu wniosku składanego przez portal PLGrid Przyznawana moc obliczeniowa 5000 godzin pracy CPU (rdzenia procesora) / rok 1000 godzin per ośrodek Ustalane indywidualnie Przyznawana ilość pamięci dyskowej 50GB 10GB per ośrodek Ustalane indywidualnie Brak Raport, publikacje dołączenie podziękowań dla PLGrid Forma rozliczenia 17
Accounting i rozliczanie grantów Informacje o aktualnym zużyciu grantów mogą być uzyskane w portalu accountingu PLGrid: https://accounting.plgrid.pl W uzasadnionym przypadku przyznana pula zasobów może być renegocjonowana. Rezultatem prac w ramach grantów obliczeniowych powinny być publikacje, w których należy umieścić jedną z poniższych formuł: Praca została wykonana z wykorzystaniem Infrastruktury PLGrid. "This research was supported in part by PLGrid Infrastructure." Rozliczanie grantów właściwych inicjowane jest z poziomu portalu PLGrid i wymaga złożenia krótkiego raportu. Informacje o publikacjach powstałych w ramach grantów testowych należy przesłać za pomocą HelpDesk Efektywność wykorzystania grantu, ocena z rozliczenia grantu mogą mieć wpływ na rozpatrywanie wniosków granatowych w przyszłości. 18
III. Aplikacje i Usługi PLGrid 19
Dostępne oprogramowanie Chemia i Biologia: ADF, AMBER, CFOUR, Dalton, GAMESS, Gaussian, Molcas, Molpro, MOPAC, NWChem, TURBOMOLE, Jaguar, LAMMPS, AutoDock/AutoGrid, BLAST, Clustal, Siesta, Quantum Espresso, VASP (na licencjach własnych użytkownków), CP2K, CPMD, Gromacs, NAMD FEM: Abaqus, Ansys/FLUENT, Nastran, Marc, OpenFOAM Nanotechnologia: ABINIT, Quantum Espresso, NAMD, CP2K, CPMD, Crystal, CASTEP Interdyscyplinarne: Mathematica, MATLAB, Simulink Kompilatory i narzędzia: Intel, PGI, GNU, MKL, CUDA, MPI, OpenMP, OpenCL,, Python, R, Ruby, Java, Alinea, ROOT, WRF, GA, HDF, NAG Bazy danych Możliwość instalacji dowolnego oprogramowania 20
Katalog Aplikacji i Usług (KAiU) 21
Katalog Aplikacji i Usług (KAiU) Dostępna dokumentacja użytkowa dla poszczególnych usług / pakietów. Opiekun aplikacji, który może udzielić pomocy w zakresie sposobu używania aplikacji. Informacja o dostępnych wersjach oprogramowania. Instancje informacja o konkretnych instalacjach. Monitorowanie na bieżąco funkcjonalności (czy dana usługa / pakiet działa poprawnie). 22
KAiU - Lista (wyszukiwarka) oprogramowania 23
Szczegółowe informacje o pakiecie oprogramowania 24
KAiU - Informacje o dostępności pakietu 25
KAiU - Usługi 26
IV. Narzędzia dostępowe do zasobów PLGrid 27
Korzystanie z infrastruktury Gridowej Dzięki narzędziom udostępnionym w PLGrid korzystanie z infrastruktury obliczeniowej jest znacznie prostsze niż jeszcze kilka lat temu. PLGrid dostarcza narzędzia dostosowane do potrzeb, preferencji i doświadczenia użytkowników. 28
Usługi i narzędzia QCG QCG to zestaw usług i narzędzi pozwalających na wygodne prowadzenie obliczeń w PLGrid. Integruje wszystkie zasoby PLGrid i udostępnia je jako całość (metakomputer). Dostarcza zaawansowane mechanizmy, często rozszerzające funkcjonalność systemów kolejkowych, np. wsparcie dla workflowów, zadania parametryczne z wielowymiarową przestrzenią parametrów, zaawansowany monitoring. QCG oferuje szereg dedykowanych programów umożliwiających użytkownikom wygodne korzystanie z infrastruktury Gridowej Witryna: http://www.qoscosgrid.org Tworzony w 29
QCG Rys historyczny QCG jest wynikiem kilkunastu lat rozwoju oprogramowania opartego na ścisłej współpracy z naukowcami i administratorami zasobów obliczeniowych Od początku tworzenia systemów dostępowych do zasobów obliczeniowych najważniejsze były potrzeby użytkownika, jednak szybko okazało się, że nie można zadowolić każdego Jako remedium na ten problem QCG oferuje zestaw bazowych, uniwersalnych narzędzi, które mogą być łatwo dostosowywane do preferencji i konkretnych potrzeb użytkowników 30
Narzędzia i biblioteki QCG Podstawowe narzędzia dostępowe: QCG-Now, QCG-Portal, QCG-Client. Usługi i narzędzia wspierające obliczenia: QCG-Monitoring, QCG-Vis. Biblioteki: QCG-API Java, QCG-API Python. 31
Intuicyjna aplikacja graficzna umożliwiająca zlecanie zadań na infrastrukturę PLGrid z poziomu systemów Windows, OS X oraz Linux. Strona produktu: http://www.qoscosgrid.org/qcg-now QCG-Icon QCG-Now 32
QCG-Now Łatwa instalacja i konfiguracja. Wygodny, intuicyjny interfejs. Umożliwia uruchamianie dowolnych aplikacji udostępnianych w infrastrukturze przez usługi QCG, w tym skryptów BASH i PYTHON. Rozbudowane mechanizmy wspierające kopiowanie danych. Możliwość podglądu wyjścia i monitorowania zadań za pomocą wiadomości E-mail i XMPP oraz w dedykowanej usłudze QCG-Portal. Synchronizacja zadań z usługami QCG (możliwe odzyskanie straconej informacji o zadaniach lub załadowanie informacji o zadaniach na inny komputer). Szablony zadań. Możliwa integracja z aplikacjami dziedzinowymi i oskryptowanie wywołań. Możliwość uruchamiania zadań wizualizacyjnych oraz zadań z interfejsem graficznym. 33 Wymagania Globalny Dostęp QosCosGrid Grant Certyfikat 33
QCG-Now 34
QCG-Now 35
Internetowe narzędzie dostępowe ogólnego przeznaczenia pozwala na zlecanie dowolnych zadań obliczeniowych. Dostępne pod adresem: https://qcg-portal.man.poznan.pl 36
QCG-Portal Zintegrowane wsparcie dla tworzenia rozszerzeń interfejsu, nakładek i różnego rodzaju dedykowanych rozwiązań. Brak konieczności instalowania oprogramowania. Dostęp w każdym miejscu, na każdym urządzeniu. Wbudowane wsparcie do zarządzania danymi. Szablony zadań. Możliwość monitorowania obliczeń za pomocą wiadomości E-Mail, XMPP i w dedykowanym portalu. Możliwość uruchamiania zadań wizualizacyjnych oraz zadań z interfejsem graficznym. Wymagania Globalny Dostęp QosCosGrid Grant Certyfikat 37
QCG-Portal 38
Klient tekstowy do usług QCG. Pozwala na zlecanie zadań w sposób zbliżony do obsługi systemu kolejkowego. Dostępny po zalogowaniu się przez SSH na jedną z maszyn: qcg.man.poznan.pl moss.man.poznan.pl ui.plgrid.wcss.wroc.pl zeus.cyfronet.pl ui.grid.icm.edu.pl 39
QCG-Client Składa się z zestawu poleceń qcg-* odpowiedzialnych za wykonywanie podstawowych operacji związanych ze zlecaniem, monitorowaniem oraz zarzadzaniem zadaniami. Wykorzystuje pliki opisu zadań, których składnia oparta o dyrektywy #QCG przypomina składnię plików znanych z PBS/Torque. Daje możliwość dużej kontroli nad zleceniem zadania, transferem plików we/wy, wykorzystaniem modułów oraz ustawień środowiska. Umożliwia uruchamianie zadań interaktywnych oraz podłączanie się do aktualnie wykonywanych zadań. Umożliwia monitorowanie wyjścia i stanu zadań - notyfikacje poprzez email oraz XMPP, integracja z portalem QCG-Monitoring. Daje możliwość korzystania z najbardziej zaawansowanych funkcji QCG, np. workflowy, uruchomienia wieloklastrowe, zadania multiscale itd. Wymagania Globalny Dostęp QosCosGrid Grant Certyfikat 40 40
QCG-Client vs. systemy kolejkowe POLECENIA PBS/Torque Slurm QCG-Client LoadLeveler Job submission qsub [script_file] sbatch [script_file] llsubmit [script_file] qcg-sub [script_file] Job deletion qdel [job_id] scancel [job_id] llcancel [job_id] qcg-cancel [job_id] Job status qstat [job_id] squeue [job_id] llq -u [username] qcg-info [job_id] Queue list qstat -Q squeue llclass qcg-resources Job id $PBS_JOBID $SLURM_JOBID $LOAD_STEP_ID $QCG_JOBID Submit Directory $PBS_O_WORKDIR $SLURM_SUBMIT_DIR $LOADL_STEP_INITDIR $QCG_JOB_DIR Node List $PBS_NODEFILE $SLURM_JOB_NODELIST $LOADL_PROCESSOR_LIST $QCG_NODEFILE Script directive #PBS #SBATCH #@ #QCG Queue -q [queue] -p [queue] class=[queue] queue=[queue] Node Count -l nodes=[count] -N [min[-max]] node=[count] nodes=[count] CPU Count -l ppn=[count] -n [count] Wall Clock Limit -l walltime=[hh:mm:ss] -t [days-hh:mm:ss] wall_clock_limit= [hh:mm:ss] walltime=[time] Memory Size -l mem=[mb] --mem=[mem][m G T] requirements= (Memory >= [MB]) memory=[mem][mb] ZMIENNE ŚRODOWISKOWE OPIS ZADANIA procs=[count] 41
QCG-Client Polecenia Dyrektywy #QCG #!/bin/bash qcg-cancel application #QCG host=nova qcg-connect argument environment qcg-info error/output qcg-list host qcg-peek memory qcg-refetch nodes / procs note qcg-resub notify / watch-output qcg-sub preprocess / postprocess qcg-rcancel queue qcg-reserve stage-in-dir/file qcg-rinfo qcg-rlist stage-out-dir/file #QCG queue=plgrid #QCG note=naphthalene #QCG output=output #QCG error=error #QCG stage-in-file=naphthalene.gjf #QCG stage-in-file=gaussian.nt #QCG stage-out-dir=.->result #QCG nodes=1:1 #QCG walltime=pt10m #QCG notify=xmpp:tomasz.piontek@plgrid.pl #QCG watch-output=20,gaussian.nt #QCG application=g09 #QCG argument=naphthalene.gjf walltime więcej https://docs.plgrid.pl/qcg-client 42
QCG-Monitoring Usługa portalowa pozwalająca na bieżąco monitorować postęp i poprawność długotrwających eksperymentów wykonywanych przez QCG. Wspiera prezentację wyników w postaci tekstowej, tabel, wykresów, obrazów. Możliwość dodawania specyficznych, dziedzinowych wzorców prezentacji. Predefiniowane style zawierające tabele, wykresy, obrazy dla wybranych aplikacji (aktualnie gaussian oraz piernik, a także styl ogólny). Możliwość wyświetlania dowolnego tekstu z każdej aplikacji. Adres: https://qcg-monitoring.man.poznan.pl 43
QCG-Vis Usługa wizualizacji obliczeń zlecanych przez QCG. Renderowanie obrazu na dedykowanych zasobach wizualizacyjnych. Możliwość wizualizacji dużych wolumenów danych in-situ. Wizualizacja w trakcie obliczeń. Możliwość dynamicznego sterowania przebiegiem symulacji w trakcie obliczeń (wstrzymywanie / wznawianie, modyfikacja parametrów symulacji w trakcie jej trwania). 44
Informacje PCSS PLGrid https://www.pcss.pl https://www.plgrid.pl https://hpc.man.poznan.pl https://docs.plgrid.pl/podrecznik_uzytkownika https://helpdesk.plgrid.pl, helpdesk@plgrid.pl Narzędzia QCG: http://www.qoscosgrid.org/qcg-now https://qcg-portal.man.poznan.pl https://docs.plgrid.pl/qcg-client qcg@plgird.pl 45
Poznańskie Centrum Superkomputerowo-Sieciowe afiliowane przy Instytucie Chemii Bioorganicznej PAN Ul. Ul. Jana Jana Pawła Pawła II II 10, 10, 61-139 61-139 Poznań Poznań tel.: (+48) 61 858 20 01, fax (+48) 61 850 tel.: (+48) 61 858 20 01, fax (+48) 61 850 25 25 01 01 e-mail: e-mail: office@man.poznan.pl, office@man.poznan.pl, http://www.pcss.pl http://www.pcss.pl