CAMK PAN, CA UMK, OA UJ, KA UP

Transkrypt

1 Grid Dziedzinowy Zjazd PTA, CAMK Warszawa,

2 Informacje ogólne 2 pomysł z 2008r. :) Podstawowe fakty Projekt PL-Grid Plus realizowany przez KDM-y (Cyfronet) Finansowanie NCBiR, od do (+3m) Cele: usługi dziedzinowe i rozbudowa infrastruktury PL-Grid na ich potrzeby Uczestnicy gridu dziedzinowego CAMK, CA UMK, OA UJ, KA UP ZAiA US, IA UWr, CBK, UŁ Cyfronet, PCSS

3 Informacje ogólne 3 Co robimy? Usługi gridowe Wsparcie w wykorzystaniu infrastruktury PL-Grid Wsparcie w integracji zasobów komputerowych ośrodków astronomicznych Główne założenia Ścisła współpraca z ośrodkami KDM Koncentrujemy się na usługach, nie na infrastrukturze Chcemy zapewnić długotrwałość rezultatów projektu Przygotowanie bazy dla trwałego środowiska dziedzinowego Koordynacja działań w środowisku astronomicznym

4 Usługa 1: Zarządzanie danymi 4 U1. Zarządzanie danymi (OA UJ, KA UP, CAMK) Zintegrowany dostęp do rozproszonych zasobów dyskowych Zasoby ośrodków astronomicznych (CAMK, UJ,...) Zasoby PL-Grid Plus i PLATON U4 Interfejs użytkownika: klient webowy i aplikacja desktop

5 Usługa 1: Zarządzanie danymi U1. Zarządzanie danymi - OA UJ, KA UP 5

6 Usługa 1: Zarządzanie danymi

7 Usługa 1: Zarządzanie danymi

8 Usługa 2: Wirtualne Obserwatorium 8 U2. Wirtualne Obserwatorium - OA UJ, KA UP Polskie Centrum Danych VObs Nawiązanie kontaktów międzynarodowych (IVOA) Usługa na bazie Zarządzania danymi + krajowy rejestr zasobów Serwery w CAMK i UJ + KDM-y Pierwsze zasoby: skany płyt fotograficznych (UJ i UMK) Pomagamy w udostępnianiu danych Szkolenia

9 Usługa 2: Wirtualne Obserwatorium

10 Usługa 2: Wirtualne Obserwatorium

11 Usługa 2: Wirtualne Obserwatorium

12 Usługa 2: Wirtualne Obserwatorium U2. Wirtualne Obserwatorium 12

13 Usługa 3: Środowisko workflow U3. Środowisko workflow dla astronomii - CAMK, PCSS 13 Środowisko workflow (zadania złożone, kaskady) - Kepler Narzędzie do automatycznej konwersji kodów w C do modułów Keplera, biblioteka modułów Gotowe scenariusze: uśrednianie obrazów (DIAPL), analiza widm metodą BF Wkrótce: poszukiwanie zmienności metodą odejmowania obrazów (DIAPL), kontrola symulacji Monte-Carlo, poszukiwanie fal grawitacyjnych Interfejs webowy do zarządzania i uruchamiania scenariuszy + nakładka na aplikację desktop Wykorzystane standardy VObs Bonus: wsparcie dla Reflex-a (redukcja danych z VLT/VLTI) Środowisko + gotowe scenariusze + biblioteka modułów dziedzinowych Publikacja "Approaches to Distributed Execution of Scientific Workflows in Kepler", M. Plociennik, T.Zok, M.Owsiak, et al., Fundamenta Informatica, 2013

14 Usługa 3: Środowisko workflow 14

15 Usługa 3: Środowisko workflow 15

16 Usługa 4: InSilicoLab for Astrophysics U4. InSilicoLab for Astrophysics (CA UMK, Cyfronet) 16 Piernik wielozadaniowy kod płynowy Predefiniowane problemy testowe: wybuch Sedova (model wybuchu supernowej) i wiele innych prostych eksperymentów płynowych Możliwość definiowania własnych problemów obliczeniowych Możliwość uruchomienia równoległych symulacji na klastrach PLGrid Wizualizacja: pakiet YT ( Środowisko: repozytorium SVN, system dokumentacji Trac, system automatycznej walidacji kodu Gadget-2 (w przygotowaniu)

17 InSilicoLab InSilicoLab ( jest środowiskiem programistycznym stworzonym przez zespół ACK Cyfronet AGH w Krakowie umożliwiającym zagnieżdżenie dowolnego kodu symulacyjnego oraz uruchamiania obliczeń w środowisku PL-Grid z poziomu przeglądarki internetowej. Przykłady zastosowań: InSilicoLab for Chemistry programy Gaussian, GAMESS, Turbomole do badania dynamiki molekularnej InSilicoLab for CTA symulacje kaskad Czerenkowa na potrzeby CTA InSilicoLab for Astrophysics symulacje płynowe: - kod siatkowy Piernik gotowy do użycia, - kod SPH GADGET w trakcie adaptacji.

18 Usługa 4: InSilicoLab for Astrophysics 18 U4. InSilicoLab for Astrophysics (CA UMK, Cyfronet) Piernik wielozadaniowy kod magnetohydrodynamiczny Siatkowy kod magnetohydrodynamiczny (MHD) oparty na prostym, zachowawczym i wydajnym schemacie płynowym typu Relaxing TVD, inne algorytmy płynowe - tzw. solwery Riemannowskie w trakcie implementacji. Kod wielopłynowy możliwości symulacji zjawisk wynikających z oddziaływania kilku fizycznie odmiennych składników: gaz neutralny, gaz zjonizowany, pole magnetyczne, pył, promieniowanie kosmiczne Siatki: kartezjańska i cylindryczna, adaptywna (AMR)

19 Pakiet solwerów r. Poissona samograwitacja, równianie dyfuzji Wizualizacja: pakiet YT ( obsługujący wiele popularnych kodów astrofizycznych: Flash, Enzo, Ramzes,... Fortran 2003, zrównoleglenie MPI, pliki wynikowe HDF5 Repozytorium SVN/GIT, system dokumentacji Trac, system automatycznej walidacji kodu. skalowalność do około 4000 rdzeni

20 PIERNIK c.d. Globalne symulacje niestabilności strumieniowej (SI) w gazowo-pyłowym dysku protoplanetarnym, przypuszczalny mechanizm prowadzący do powstawania planet. (Kowalik, Hanasz, Gawryszczak, Wóltański 2013, MNRAS)

21 c.d. PRZYKŁADOWE ZASTOSOWANIA: Symulacje dynamo MHD napędzanego promieniowaniem kosmicznym w dyskach galaktycznych (Hanasz, Wóltański, Kowalik 2009, D. Wóltański praca dokt.)

22 PIERNIK w InSilicoLab - Motywacja Piernik jest kodem publicznie dostępnym, wystarczy skopiować kod źródłowy z repozytorium: git clone Potrzebny dostęp do klastra obliczeniowego lub stacji roboczej Żeby uruchomić kod powinniśmy najpierw przygotować środowisko obliczeniowe: zainstalować kompilatory i biblioteki - jest to zakres prac wykraczający ponad umiejętności informatycznych przeciętnego studenta astronomii Dlatego proponujemy alternatywę: przygotowane środowisko obliczeniowe w infrastrukturze PlGrid wraz z oprogramowaniem umożliwiającym wykonanie pełnego cyklu prac (pobranie kodu, kompilacja, uruchomienie obliczeń, wizualizacja wyników) z poziomu przeglądarki internetowej. Oferta adresowana jest przede wszystkim do osób początkujących w dziedzinie astrofizycznych symulacji płynowych.

23 PIERNIK w InSilicoLab rejestracja użytkownika Kroki niezbędne do uruchomienia kodu w środowisku PlGrid (instrukcja na stronie: Założenie konta - formularz rejestracyjny Uzyskanie i rejestracja certyfikatu, rejestracja certyfikatu w przeglądarce internetowej. Aktywacja usługi InSilicoLab for Astrophysics czas ~ 1 godziny, w tym oczekiwanie na aktywację

24 PIERNIK w InSilicoLab pierwsze kroki Należy połączyć się z serwerem usługi: a następnie zalogować. Należy skonfigurować certyfikat proxy, który jest niezbędny do uruchomienia obliczeń z wykorzystaniem infrastruktury Pl-Grid oraz do przeglądania danych (szczegóły w instrukcji) Po skonfigurowaniu certyfikatu proxy można przystąpić do właściwego eksperymentu.

25 PIERNIK w InSilicoLab pierwsze kroki

26 PIERNIK w InSilicoLab pierwsze kroki

27 PIERNIK w InSilicoLab pierwsze kroki

28 PIERNIK w InSilicoLab pierwsze kroki Fragment pliku zawierającego parametry symulacji problem.par

29 PIERNIK w InSilicoLab pierwsze kroki Kliknięciem przycisku Run wydajemy polecenie wysłania zadania do wykonania jednym z klastrów PL-Grid. Aktualny stan zadania możemy śledzić w polu Job Execution Status.

30 PIERNIK w InSilicoLab pierwsze kroki Po zakończeniu zadania (Status: finished) wyniki są dostępne po rozwinięciu pola Download job files, natomiast predefiniowane wizualizację pojawiają się w polu Results

31 PIERNIK w InSilicoLab Podsumowanie Zyskaliśmy możliwość uruchamiania kodu symulacyjnego z poziomu przeglądarki internetowej, bez konieczności budownia własnego klastra, ani nawet konfiguracji środowiska obliczeniowego z pominięciem trudnego etapu instalacji kompilatorów, bibliotek, oprogramowania wizualizacyjnego. W ten sposób eliminujemy barierę trudności napotykaną przez początkującego użytkownika infrastruktury obliczeniowej Pl-Grid. Proponowane rozwiązanie może być wykorzystane do uruchomienia innych kodów symulacyjnych w infrastrukturze Pl-Grid (np.gadget)

32 Inne działania 32 Wsparcie obliczeń Wsparte kilka drobnych projektów Wsparcie owocuje zapotrzebowaniem na nowe usługi Wsparcie obserwacji Wybrane serwisy dla projektu Solaris Prace badawcze nad platformą dla federacji teleskopów Usługi kolaboracyjne Platforma wideokonferencyjna HD (CAMK, UMK, UJ, UP, US, CBK, UWr, UB) Wsparcie dla wykorzystania PLATON-a i usługi Adobe Connect

33 Podsumowanie 33 4 duże, ogólnośrodowiskowe usługi Zarządzanie danymi Wirtualne Obserwatorium (VObs) Środowisko workflow InSilicoLab for Astrophysics Wsparcie projektów i usługi kolaboracyjne (wideokonferencje) Wkrótce dziedzinowy portal dostępowy: Potrzeby Użytkownicy, opinie i potrzeby! Rejestracja na portalu, certyfikat użytkownika Dane do VObs, potencjalni użytkownicy VObs Współpracownicy! (zwłaszcza do zarządzania danymi, VObs)

34 Kontakty: Mirek Giersz - koordynacja organizacyjna Paweł Ciecieląg - koordynacja merytoryczna Portal : Portal PL-Grid: (tu można się obecnie rejestrować) Koniec