Grid Dziedzinowy Zjazd PTA, CAMK Warszawa, 11-14.09.2013
Informacje ogólne 2 pomysł z 2008r. :) Podstawowe fakty Projekt PL-Grid Plus realizowany przez KDM-y (Cyfronet) Finansowanie NCBiR, od 10.2011 do 10.2014 (+3m) Cele: usługi dziedzinowe i rozbudowa infrastruktury PL-Grid na ich potrzeby Uczestnicy gridu dziedzinowego CAMK, CA UMK, OA UJ, KA UP ZAiA US, IA UWr, CBK, UŁ Cyfronet, PCSS
Informacje ogólne 3 Co robimy? Usługi gridowe Wsparcie w wykorzystaniu infrastruktury PL-Grid Wsparcie w integracji zasobów komputerowych ośrodków astronomicznych Główne założenia Ścisła współpraca z ośrodkami KDM Koncentrujemy się na usługach, nie na infrastrukturze Chcemy zapewnić długotrwałość rezultatów projektu Przygotowanie bazy dla trwałego środowiska dziedzinowego Koordynacja działań w środowisku astronomicznym
Usługa 1: Zarządzanie danymi 4 U1. Zarządzanie danymi (OA UJ, KA UP, CAMK) Zintegrowany dostęp do rozproszonych zasobów dyskowych Zasoby ośrodków astronomicznych (CAMK, UJ,...) Zasoby PL-Grid Plus i PLATON U4 Interfejs użytkownika: klient webowy i aplikacja desktop
Usługa 1: Zarządzanie danymi U1. Zarządzanie danymi - OA UJ, KA UP 5
Usługa 1: Zarządzanie danymi
Usługa 1: Zarządzanie danymi
Usługa 2: Wirtualne Obserwatorium 8 U2. Wirtualne Obserwatorium - OA UJ, KA UP Polskie Centrum Danych VObs Nawiązanie kontaktów międzynarodowych (IVOA) Usługa na bazie Zarządzania danymi + krajowy rejestr zasobów Serwery w CAMK i UJ + KDM-y Pierwsze zasoby: skany płyt fotograficznych (UJ i UMK) Pomagamy w udostępnianiu danych Szkolenia
Usługa 2: Wirtualne Obserwatorium
Usługa 2: Wirtualne Obserwatorium
Usługa 2: Wirtualne Obserwatorium
Usługa 2: Wirtualne Obserwatorium U2. Wirtualne Obserwatorium 12
Usługa 3: Środowisko workflow U3. Środowisko workflow dla astronomii - CAMK, PCSS 13 Środowisko workflow (zadania złożone, kaskady) - Kepler Narzędzie do automatycznej konwersji kodów w C do modułów Keplera, biblioteka modułów Gotowe scenariusze: uśrednianie obrazów (DIAPL), analiza widm metodą BF Wkrótce: poszukiwanie zmienności metodą odejmowania obrazów (DIAPL), kontrola symulacji Monte-Carlo, poszukiwanie fal grawitacyjnych Interfejs webowy do zarządzania i uruchamiania scenariuszy + nakładka na aplikację desktop Wykorzystane standardy VObs Bonus: wsparcie dla Reflex-a (redukcja danych z VLT/VLTI) Środowisko + gotowe scenariusze + biblioteka modułów dziedzinowych Publikacja "Approaches to Distributed Execution of Scientific Workflows in Kepler", M. Plociennik, T.Zok, M.Owsiak, et al., Fundamenta Informatica, 2013
Usługa 3: Środowisko workflow 14
Usługa 3: Środowisko workflow 15
Usługa 4: InSilicoLab for Astrophysics U4. InSilicoLab for Astrophysics (CA UMK, Cyfronet) 16 Piernik wielozadaniowy kod płynowy http://insilicolab.astro.plgrid.pl/ Predefiniowane problemy testowe: wybuch Sedova (model wybuchu supernowej) i wiele innych prostych eksperymentów płynowych Możliwość definiowania własnych problemów obliczeniowych Możliwość uruchomienia równoległych symulacji na klastrach PLGrid Wizualizacja: pakiet YT (http://yt-project.org/) Środowisko: repozytorium SVN, system dokumentacji Trac, system automatycznej walidacji kodu Gadget-2 (w przygotowaniu)
InSilicoLab InSilicoLab (http://insilicolab.astro.plgrid.pl/) jest środowiskiem programistycznym stworzonym przez zespół ACK Cyfronet AGH w Krakowie umożliwiającym zagnieżdżenie dowolnego kodu symulacyjnego oraz uruchamiania obliczeń w środowisku PL-Grid z poziomu przeglądarki internetowej. Przykłady zastosowań: InSilicoLab for Chemistry programy Gaussian, GAMESS, Turbomole do badania dynamiki molekularnej InSilicoLab for CTA symulacje kaskad Czerenkowa na potrzeby CTA InSilicoLab for Astrophysics symulacje płynowe: - kod siatkowy Piernik gotowy do użycia, - kod SPH GADGET w trakcie adaptacji.
Usługa 4: InSilicoLab for Astrophysics 18 U4. InSilicoLab for Astrophysics (CA UMK, Cyfronet) Piernik wielozadaniowy kod magnetohydrodynamiczny http://piernik.umk.pl Siatkowy kod magnetohydrodynamiczny (MHD) oparty na prostym, zachowawczym i wydajnym schemacie płynowym typu Relaxing TVD, inne algorytmy płynowe - tzw. solwery Riemannowskie w trakcie implementacji. Kod wielopłynowy możliwości symulacji zjawisk wynikających z oddziaływania kilku fizycznie odmiennych składników: gaz neutralny, gaz zjonizowany, pole magnetyczne, pył, promieniowanie kosmiczne Siatki: kartezjańska i cylindryczna, adaptywna (AMR)
Pakiet solwerów r. Poissona samograwitacja, równianie dyfuzji Wizualizacja: pakiet YT (http://yt-project.org/) obsługujący wiele popularnych kodów astrofizycznych: Flash, Enzo, Ramzes,... Fortran 2003, zrównoleglenie MPI, pliki wynikowe HDF5 Repozytorium SVN/GIT, system dokumentacji Trac, system automatycznej walidacji kodu. skalowalność do około 4000 rdzeni
PIERNIK c.d. Globalne symulacje niestabilności strumieniowej (SI) w gazowo-pyłowym dysku protoplanetarnym, przypuszczalny mechanizm prowadzący do powstawania planet. (Kowalik, Hanasz, Gawryszczak, Wóltański 2013, MNRAS)
c.d. PRZYKŁADOWE ZASTOSOWANIA: Symulacje dynamo MHD napędzanego promieniowaniem kosmicznym w dyskach galaktycznych (Hanasz, Wóltański, Kowalik 2009, D. Wóltański praca dokt.)
PIERNIK w InSilicoLab - Motywacja Piernik jest kodem publicznie dostępnym, wystarczy skopiować kod źródłowy z repozytorium: git clone https://github.com/piernik-dev/piernik.git Potrzebny dostęp do klastra obliczeniowego lub stacji roboczej Żeby uruchomić kod powinniśmy najpierw przygotować środowisko obliczeniowe: zainstalować kompilatory i biblioteki - jest to zakres prac wykraczający ponad umiejętności informatycznych przeciętnego studenta astronomii Dlatego proponujemy alternatywę: przygotowane środowisko obliczeniowe w infrastrukturze PlGrid wraz z oprogramowaniem umożliwiającym wykonanie pełnego cyklu prac (pobranie kodu, kompilacja, uruchomienie obliczeń, wizualizacja wyników) z poziomu przeglądarki internetowej. Oferta adresowana jest przede wszystkim do osób początkujących w dziedzinie astrofizycznych symulacji płynowych.
PIERNIK w InSilicoLab rejestracja użytkownika Kroki niezbędne do uruchomienia kodu w środowisku PlGrid (instrukcja na stronie: https://docs.plgrid.pl/) Założenie konta - formularz rejestracyjny Uzyskanie i rejestracja certyfikatu, rejestracja certyfikatu w przeglądarce internetowej. Aktywacja usługi InSilicoLab for Astrophysics czas ~ 1 godziny, w tym oczekiwanie na aktywację
PIERNIK w InSilicoLab pierwsze kroki Należy połączyć się z serwerem usługi: http://insilicolab.astro.plgrid.pl/ a następnie zalogować. Należy skonfigurować certyfikat proxy, który jest niezbędny do uruchomienia obliczeń z wykorzystaniem infrastruktury Pl-Grid oraz do przeglądania danych (szczegóły w instrukcji) Po skonfigurowaniu certyfikatu proxy można przystąpić do właściwego eksperymentu.
PIERNIK w InSilicoLab pierwsze kroki
PIERNIK w InSilicoLab pierwsze kroki
PIERNIK w InSilicoLab pierwsze kroki
PIERNIK w InSilicoLab pierwsze kroki Fragment pliku zawierającego parametry symulacji problem.par
PIERNIK w InSilicoLab pierwsze kroki Kliknięciem przycisku Run wydajemy polecenie wysłania zadania do wykonania jednym z klastrów PL-Grid. Aktualny stan zadania możemy śledzić w polu Job Execution Status.
PIERNIK w InSilicoLab pierwsze kroki Po zakończeniu zadania (Status: finished) wyniki są dostępne po rozwinięciu pola Download job files, natomiast predefiniowane wizualizację pojawiają się w polu Results
PIERNIK w InSilicoLab Podsumowanie Zyskaliśmy możliwość uruchamiania kodu symulacyjnego z poziomu przeglądarki internetowej, bez konieczności budownia własnego klastra, ani nawet konfiguracji środowiska obliczeniowego z pominięciem trudnego etapu instalacji kompilatorów, bibliotek, oprogramowania wizualizacyjnego. W ten sposób eliminujemy barierę trudności napotykaną przez początkującego użytkownika infrastruktury obliczeniowej Pl-Grid. Proponowane rozwiązanie może być wykorzystane do uruchomienia innych kodów symulacyjnych w infrastrukturze Pl-Grid (np.gadget)
Inne działania 32 Wsparcie obliczeń Wsparte kilka drobnych projektów Wsparcie owocuje zapotrzebowaniem na nowe usługi Wsparcie obserwacji Wybrane serwisy dla projektu Solaris Prace badawcze nad platformą dla federacji teleskopów Usługi kolaboracyjne Platforma wideokonferencyjna HD (CAMK, UMK, UJ, UP, US, CBK, UWr, UB) Wsparcie dla wykorzystania PLATON-a i usługi Adobe Connect
Podsumowanie 33 4 duże, ogólnośrodowiskowe usługi Zarządzanie danymi Wirtualne Obserwatorium (VObs) Środowisko workflow InSilicoLab for Astrophysics Wsparcie projektów i usługi kolaboracyjne (wideokonferencje) Wkrótce dziedzinowy portal dostępowy: http://astrogrid-pl.camk.edu.pl/ Potrzeby Użytkownicy, opinie i potrzeby! Rejestracja na portalu, certyfikat użytkownika Dane do VObs, potencjalni użytkownicy VObs Współpracownicy! (zwłaszcza do zarządzania danymi, VObs)
Kontakty: Mirek Giersz (mig@camk.edu.pl) - koordynacja organizacyjna Paweł Ciecieląg (pci@camk.edu.pl) - koordynacja merytoryczna Portal : http://astrogrid-pl.camk.edu.pl/ Portal PL-Grid: https://portal.plgrid.pl/ (tu można się obecnie rejestrować) Koniec