Usługi HEP w PLGrid. Andrzej Olszewski

Usługi HEP w PLGrid Andrzej Olszewski

Konsorcjum PLGrid 2 ACK CYFRONET AGH - Akademickie Centrum Komputerowe CYFRONET AGH w Krakowie ICM UW - Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego w Warszawie PCSS - Instytut Chemii Bioorganicznej PAN - Poznańskie Centrum Superkomputerowo Sieciowe w Poznaniu CI TASK - Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej w Gdańsku WCSS - Wrocławskie Centrum Sieciowo- Superkomputerowe we Wrocławiu

Infrastruktura 3 Infrastruktura PL-Grid powstała w ramach projektu PL- Grid w celu dostarczenia polskiej społeczności naukowej platformy informatycznej służącej e-science. moc obliczeniowa: 588,02 TFlops pamięć dyskowa: 5,6 PB pamięć operacyjna: 107,9 TB liczba rdzeni obliczeniowych: 40 288 Szczegółowy opis zasobów i warunków ich wykorzystania jest dostępny na stronie PLGrid www.plgrid.pl/oferta/zasoby_obliczeniowe/opis_zasobow/hpc

Łączność sieciowa 4 Łączność w Polsce Łączność między ośrodkami jest oparta o szerokopasmową sieć optyczną PIONIER z przepustowością 2x10 Gbps na większości odcinków Łączność w poszczególnych klastrach jest zróżnicowana, do kilku x10gbps (sumarycznie) do serwerów dyskowych Łączność zagraniczna GEANT Odcinek specjalny do Tier1 w Karlsruhe (likwidacja do końca 2014) LHCONE w najbliższej przyszłości

Obecna mapa połączeń 5 Obecnie dla centrów KDM wykorzystywane jest dedykowane łącze do Karlsruhe (Tier1) o przepływności 1Gb/s oraz styk IP z siecią GEANT.

LHCOne w Polsce 6 Optymalizacja połączeń w Polsce i zagranicznych Połączenie PIONIER-CERN w pierwszym etapie przy pomocy infrastruktury GLIF (maksymalna przepustowość to 40 Gbps). Planowana jest migracja infrastruktury do standardu 100 Gbps w latach 2015-20 W tym upgrade połączeń pomiędzy głównymi ośrodkami KDM (Kraków, Warszawa, Gdańsk, Poznań, Wrocław) i budowa specjalnego linku do CERN Dołączenie zasobów KDM w Polsce do sieci LHCOne LHCOne to izolowana sieć prywatna dostępna tylko dla zasobów autoryzowanych Jej celem jest zapewnienie szybkiej i stabilnej łączności sieciowej pomiędzy ośrodkami WLCG klasy Tier1 i Tier2 Będzie to realizowane przy pomocy wydzielonych ruterów realizujących połączenia tylko dla autoryzowanych podsieci W praktyce oznacza to że szybka łączność będzie dostępna tylko z maszyn roboczych klastrów WLCG w Polsce Termin realizacji nie został podany ale oczekuję że stanie się to do końca 2014 r.

LHCOne w Polsce 7

Infrastruktura HEP w PLGrid 8 Ośrodki obliczeniowe uczestnicy WLCG Klaster ZEUS w ośrodku CYFRONET AGH w Krakowie wspiera eksperymenty ATLAS, ALICE, LHCb Klaster REEF w ośrodku PSNC w Poznaniu wspiera eksperymenty ATLAS, ALICE, LHCb Klaster HYDRA w ośrodku ICM w Warszawie wspiera eksperyment CMS, LHCb Usługi gridu WLCG dla eksperymentów na LHC w ramach MoU podpisanego przez Polskę Polscy naukowcy i studenci mogą korzystać z dodatkowych zasobów w ramach grantów PLGrid

Rejestracja w PLGrid 9 Portal PLGrid https://portal.plgrid.pl/ Zakładanie konta Zarządzanie certyfikatami gridowymi Zarządzanie dostępem do usług Zarządzanie grantami obliczeniowymi Monitoring użycia zasobów Brama do dedykowanych aplikacji Dostęp do wszystkich usług przy użyciu jednego hasła (certyfikatu) Helpdesk https://helpdesk.plgrid.pl/

Rejestracja 10 Pomoc: https://docs.cyfronet.pl/pages/viewpage.action?pageid=4260611 Typ rejestracji - Użytkownik Użytkownik musi wykazać, że jego praca jest związana z nauką. W praktyce sprowadza się to do podania numeru w Bazie OPI osób Polskiej Nauki. Jeśli aplikujący nie figuruje w OPI, może we wniosku podać dane opiekuna grupy badawczej do której należy. Rejestracja następuje na ogół w ciągu jednego dnia

Granty obliczeniowe 11 Granty to obecnie jedyna droga zapewniająca możliwość rezerwacji zasobów i wykonywania obliczeń przez zespoły naukowe i przez indywidualnych użytkowników. Identyfikator grantu musi być podawany przy zlecaniu obliczeń. Każdy użytkownik otrzymuje na początek grant osobisty w wymiarze 2000 godzin CPU/rok i 40 GB przestrzeni dyskowej. W celu uzyskania grantu właściwego użytkownicy zakładają zespoły naukowe i występują dla nich o grant w którym specyfikują wielkość i rodzaj zasobów które potrzebują. Grant właściwy podlega rozliczeniu i ocenie końcowej. Pozytywna ocena wymaga wykazania publikacji powstałej dzięki prowadzonym obliczeniom z podziękowaniami dla infrastruktury PL-Grid o treści: "This research was supported in part by PL Grid Infrastructure

Dostęp do grantu obliczeniowego 12 Pomoc: https://docs.cyfronet.pl/display/plgdoc/granty+obliczeniowe Dostęp do grantu można uzyskać tworząc nowy zespół naukowy i występując dla niego o właściwy grant obliczeniowy Można też dołączyć do istniejącego zespołu z uruchomionym grantem Obecnie dla obliczeń na danych z eksperymentu Atlas w Polsce są otworzone przeze mnie dwa granty na rok 2014, atlaslhc2014 i atlaslhc2014n1. Obydwa dla zespołu plggatlaslhc. Drugi grant jest rozszerzeniem pierwszego. Obydwa kończą się w grudniu 2014. Dołączenie do grantu po negocjacjach jego wielkości jest możliwe tylko jeżeli pozostają niewykorzystane zasoby, dlatego lepiej myśleć o tym w okresie zakładania nowych grantów (zwykle na przełomie roku)

Usługi PLGrid 13 Usługi globalne Zarządzanie zadaniami przy pomocy middleware gridowego glite, UNICORE, QosCosGrid, portale Web Globalny dostęp do danych VeilFS, DataNet, irods, w fazie rozwojowej Usługi dostępu lokalnego Dostęp do klastrów lokalnych w systemie kolejkowym PBS Dostęp do obliczeń w chmurze Maszyny dostępowe klastrów obliczeniowych Specjalizowane usługi dla poszczególnych dziedzin nauki Specjalne usługi infrastruktury, portale i aplikacje Web

Usługi WLCG 14 Autentykacja (VOMS) Maszyny dostępowe (UI) Narzędzia komunikacji, linii poleceń (gfal/lcg_utils) Usługi wykonywania zadań w gridzie: Brama do klastra (CE), maszyny robocze (WN), system informacji (BDII), system zarządzania zadaniami (WMS) Usługi przechowywania danych: Serwery danych (DPM w Polsce), katalog danych (LFC), transport danych (FTS) Usługi WLCG są wykorzystywane przez zintegrowane systemy produkcji eksperymentów na LHC. Indywidualni użytkownicy korzystają z infrastruktury WLCG przy pomocy narzędzi dostarczanych przez eksperymenty (wysyłanie zadań analizy, transport plików danych). Autoryzację użytkowników i odpowiedni dostęp do zasobów obliczeniowych zapewniają umowy w ramach sieci gridu WLCG

Usługi HEPGrid w PLGrid+ 15 Dodatkowe usługi organizowane w celu wsparcia nowych wymagań eksperymentów oraz dla poprawy warunków analiz fizycznych prowadzonych przez uczestników eksperymentów HEP w Polsce CVMFS dostęp do oprogramowania HEP XROOTD bezpośredni dostęp do danych HEP na świecie Lokalne archiwum HEP z dostępem XROOTD Proof on Demand (PoD) osobiste farmy do obliczeń analizy fizycznej GooFit/RooFit - pakiet zaawansowanej analizy statystycznej z równoległym wykonywaniem obliczeń przy wykorzystaniu GPGPU

Aktywacja dostępu do usług 16 Pomoc: https://docs.cyfronet.pl/pages/viewpage.action?pageid=10061418

Dostępna CVMFS 17 Ośrodki obliczeniowe udostępniają oprogramowanie wspieranych eksperymentów na LHC Katalogi cvmfs dostępne są tylko do odczytu na maszynach UI i WN Dla użytkowników z aktywowaną usługą i dla zadań gridowych z autoryzacją eksperymentów LHC Katalogi montowane są w ścieżkach /cvmfs/alice.cern.ch, /cvmfs/atlas.cern.ch, /cvmfs/atlas-nightlies.cern.ch, /cvmfs/atlascondb.cern.ch, /cvmfs/lhcb.cern.ch, lhcb-conddb.cern.ch Nie we wszystkich ośrodkach dostępne są wszystkie katalogi Przykład ustawiania środowiska obliczeniowego ATLASa: export ATLAS_LOCAL_ROOT_BASE=/cvmfs/atlas.cern.ch/repo/ATLASLocalRootBase source ${ATLAS_LOCAL_ROOT_BASE}/user/atlasLocalSetup.sh asetup 17.2.13.9,slc5,32 Inne narzędzia: localsetupdq2client, localsetupfax, localsetuppandaclient

Wdrażana XROOTD 18 Usługa zapewnia zdalny dostęp w trybie odczytu do plików danych eksperymentów HEP na serwerach dyskowych w Polsce i na świecie z wykorzystaniem protokołu bezpośredniego dostępu xrootd W Polsce jest to dostęp do danych eksperymentów na LHC udostępnianych przez serwery gridowe DPM w Krakowie, Poznaniu i Warszawie oraz do lokalnego archiwum danych HEP w Cyfronecie Dostępna dla użytkowników z aktywowaną usługą i autoryzacją voms Zalecane na razie otwieranie plików z klastrów lokalnych dla serwera danych przy występujących ograniczeniach w przepustowości sieci WAN Przykład użycia: voms-proxy-init -voms atlas (autoryzacja) module add tools/root/5.34.18 (moduł pakietu ROOT z wkompilowanym protokołem xrootd) TFile *file = TFile::Open("root://dpm.cyf-kr.edu.pl:1094//dpm/cyf-kr.edu.pl \ /home/atlas/atlasdatadisk/rucio/user/ivukotic/14/c4/group.test.hc.ntup_susy-root530.root )

Wdrażana Archiwum HEP 19 Lokalne archiwum HEP PLGrid to miejsce w którym można przechowywać wyniki bieżących analiz na zasobach PLGrid Zapewnia dostęp do wyników zarówno z lokalnego klastra jak i z całego świata przy pomocy protokołu xrootd Zasoby archiwum HEP PLGrid są udostępniane w wielkości i na przeciąg czasu określony we wniosku, jaki należy złożyć do administratorów usługi równocześnie z jej aktywizacją w portalu PLGrid Prawo do zapisu mają tylko osoby z aktywną usługą Przewidywana wielkość całkowita archiwum to 100 TB Przykład zapisu do archiwum voms-proxy-init -voms vo.plgrid.pl lcg-cp --vo vo.plgrid.pl --dst PLGGHEPARCH file://`pwd`/test.xrootd srm://dpm.cyfkr.edu.pl/dpm/cyf-kr.edu.pl/home/vo.plgrid.pl/plggheparch/aolszewski/test.xrootd

Dostępna PoD - Farmy Analizy 20 Proof on Demand to oprogramowanie które umożliwia równoległą analizę danych w formatach pakietu ROOT (Ntuple) Uruchamia serwer PoD i procesy na maszynach roboczych konfigurowane dynamicznie na klastrach gridowych PLGrid Działanie polega na podziale danych wejściowych na części przetwarzane równolegle. Wyniki są następnie scalane i prezentowane tak jakby były analizowane pojedynczym procesem. Wymaga specjalnej struktury programów analizy Przykład inicjalizacji i uruchomienia analizy: qsub I X l nodes=1:sl6 module add plgrid/apps/pod source $PODINI/podini.sh pod-server start pod-submit -r pbs -q l_short -n 5 root[] TProofBench pb(gsystem->getfrompipe("pod-info -c")) root[] pb.runcpu()

Wdrażana GooFit 21 GooFit wersja popularnego pakietu do statystycznej analizy danych RooFit przystosowana do uruchamiania na GP GPU. Massively-parallel framework for maximum-likelihood fits, implemented in CUDA. Skomplikowane (wieloparametrowe i wielowymiarowe) dopasowania do dużych próbek danych, wymagające często kilka godzin CPU. Konieczność wielokrotnych iteracji lub uruchamiania dużej liczby różnych wersji modelu danych. Typowy czynnik przyspieszenia w zależności od problemu to 10-1000. Procedura uruchomieniu analizy Logowanie do maszyny udostępniającą złącze użytkownika w kolejce GPPGU Importowanie modułu goofit Kompilacja i budowa programu do analizy Uruchomienie interakcyjne programu Pomoc na stronach usługi https://docs.cyfronet.pl/display/plgdoc/fizyka+wys okich+energii%3a+goofit

Inne dziedziny w PLGrid+ 22

Podsumowanie 23 Polska infrastruktura dla obliczeń naukowych szybko się rozwija Zarówno pod względem sprzętowym jak i usług PLGrid+ spowodował rozwój usług dedykowanych dla wielu dziedzin nauki 13 dziedzin nauki pracujących nad nowymi usługami Obecność nowych użytkowników oznacza konieczność konkurencji o zasoby obliczeniowe i obsługę dla usług HEP, zarówno lokalnych jak i dla WLCG Wdrażane są zasady QoS z rozbudowanym systemem rezerwacji zasobów i ścisłym przestrzeganiem parametrów ich wykorzystania, zgodnym z uzyskaną rezerwacją Pojawiają się bardzo dobre perspektywy zwiększania dostępnych zasobów sprzętowych i poprawy jakości ich działania Rozbudowa centrów obliczeniowych Zakupy nowego sprzętu w ramach projektu PLGrid+ (+kilka PB dysków, +10k rdzeni CPU) Budowa nowego klastra Prometheus w ACK Cyfronet (10 PB dysków, 40k rdzeni CPU) Przyłączenie Polish Tier2 do sieci LHCOne (2x10 Gbps do ośrodków Tier1,2 WLCG) Lokalna aktywność HEP w PLGrid musi się rozwijać jeżeli chcemy utrzymać uprzywilejowane traktowanie jeżeli chodzi o dostęp do zasobów Apel o zapisywanie się do PLGrid i do usług HEPGrid

Pomoc 24 PLGrid: http://www.plgrid.pl/ Portal PLGrid: https://portal.plgrid.pl/web/guest/home HelpDesk: https://helpdesk.plgrid.pl/ Podręcznik użytkownika: https://portal.plgrid.pl/web/guest/podrecznik-pl-grid Usługa CVMFS: https://docs.cyfronet.pl/display/plgdoc/fizyka+wysokich+energii%3a+cvmfs Usługa Dostępu do danych: https://docs.cyfronet.pl/pages/viewpage.action?pageid=11895669 Usługa Proof on Demand: https://docs.cyfronet.pl/display/plgdoc/fizyka+wysokich+energii%3a+proof+on+demand Usługa GooFit: https://docs.cyfronet.pl/display/plgdoc/fizyka+wysokich+energii%3a+goofit Strona pomocy eksperymentu ATLAS w Polish Tier2: http://nz11-agh1.ifj.edu.pl/do/view/atlastier2/cyfronetweb