Prace informatyczne dla projektu CTA

Transkrypt

1 Prace informatyczne dla projektu CTA Anna Barnacka Centrum Astronomiczne im. Mikołaja Kopernika Tomasz Szepieniec, Joanna Kocot, Mariusz Sterzel, Tomasz Twaróg, Piotr Wójcik, Tomasz Grabarczyk, Rafał Niester, Leszek Bogacz, Mira Grudzińska, Matesz Janiak, Adam Frankowski, Piotr Lubiński, Rafał Moderski,... Cyfronet, CAMK, UJ, UW, UŁ

2 CTA - Data flow CTA - otwarte obserwatorium!"#$#%&'()&*+',*-(./,0*/0(1&*&-020*3( 4$0"&3,#*(!'&**,*-( 50'0%/#$0(4$0"&3,#*( 6&3&(7/89,%,3,#*(!0":#"2&*/0(2#*,3#",*-( 4*;%,30(&*&'<%,%(0=0/93,#*( 6&3&(&"/),>0( 6&3&("0+9/3,#*( 1#*30(?&"'#(%,29'&3,#*( 6&3&(6,%%02,*&3,#*( Dane będą udostępniane społeczności naukowej poprzez archiwum (an archive system) Format danych & oprogramowanie naukowe (Science tools) będzie kompatybilne z obecnymi standardami (the astronomical standards)

3 Główne obszary działania Infrastruktura sieciowa Operowanie siecią teleskopów Transfer danych Model danych Archiwum Software Data Pipelines (Kalibracja, Rekonstrukcja, Analiza, Symulacje Monte Carlo) Dostęp do danych i oprogramowania: Science Tools, Gateway

4 Symulacje Monte Carlo Narzędzie do: optymalizacji sieci teleskopów oraz metod analizy rozróżnianie pęków gamma od pęków protonowych kalibracja danych obserwacyjnych Produkcja i analiza symulacji Monte Carlo wymaga olbrzymiej przestrzeni dyskowej i czasu procesorów. Powinna być łatwo dostępna dla społeczności naukowej.

5 Symulacje Monte Carlo ETAP 2 ETAP 3 ETAP 1 CORSIKA sim_telarray read_hess Rozdzielczość kątowa przykładowej sieci teleskopów Czułość przykładowej sieci teleskopów Symulacje pęków atmosferycznych Symulacje sieci teleskopów Analiza wyników

6 Prod2 - Idea Pierwsza runda masowych symulacja (Prod1) składała się z 275 teleskopów, z których następnie wybierano podsieci o podobnym koszcie budowy Przeanalizowano więcej niż 50 różnych podsieci Wstępne testy kilku konfiguracji wykazały, że oczekiwana czułość sieci teleskopów jest do spełnienia Nowa runda symulacji (Prod2) rozpoczęta, składa się z teleskopów z parametrami zbliżonymi do budowanych prototypów.

7 Prod2 - Konfiguracja 229 teleskopów. 6 różnych typów teleskopów (LST, MST, SC-MST, 7m- DC-SST, 4m-SC-DC, 4m-DC-SST). Zostaną wybrane podsieci o określonym koszcie budowy.

8 4m-DC-SST w Prod2 We współpracy z CAMK, CBK, UJ, AGH, IFJ utworzono pełną konfigurację potrzebną do symulacji Monte Carlo 4m-DC-SST -

9 Prod2 - udostępniona infrastrukura komputerowa Wykorzystana przestrzeń dyskowa: 600 TB Czas procesora: ~ 1 mln godz. Pęki gamma: 1.3x10 9 Pęki protonowe: 1.9x10 9!

10 CTA - Przetwarzanie danych CTA-Skala: PBajty Oczekiwany strumień danych: GB/s od 0.3 do 4.0 GB/s dla południowej sieci (70 tel) od 0.1 do 1.3 GB/s dla północnej sieci (20 tel) % 2)#"5C1% Przewidywana roczna ilość danych: od 2 do 25 PB (zakładając 15% rocznego czasu obserwacyjnego) ROS%1.)B$5)B#=% F5.1>%#=%.#$1%5..3$;)B#=.%% Liczba procesorów potrzebna do przeanalizowania danych zebranych w ciągu jednej nocy obserwacyjnej oraz do miesięcznego przeprocesowywania danych

11 Scientific Gateway Gateway: data center functionalities, user configured dashboard, consuming software (services and infra.) on demand, web-environment!"#"$%&'#&($

12 Scientific Gateway rozwijany przez Cyfronet

13 Data Browser rozwijany przez Cyfronet

14 Workflow Management rozwijany przez Cyfronet

15 Podsumowanie Polskie zespoły biorą udział w: Symulacjach Monte Carlo (CAMK, UW, UJ, UŁ) udostępnianiu znaczących zasobów obliczeniowych (Cyfronet, CAMK) Budowaniu infrastruktury dostępu do danych i oprogramowania (Scientific Gateway) - Cyfronet Opracowywaniu oprogramowania (Scientific Tools) - Cyfronet, CAMK Opracowywaniu metod rekonstrukcji sygnału (CAMK, UJ) pracach nad systemem do operowania siecią teleskopów (CAMK)...

16 Symulacje Monte Carlo - Grid CTACG (CTA Computing Grid), an IN2P3 initiative started in 2008 during the CTA design study phase: a feasibility study but also the infrastructures for CTA MC production. -> Since 2008 CTACG is a Grid success story ; today it counts 7 countries and 18 EGI sites supporting a dedicated EGI CTA Virtual Organization (VO) (>600 TB and >6000 cores). -> EGI-Grid infrastructures and EGI-Grid middleware for distributed data Storage, data processing and data access : one potential solution for CTA data management? # ################################################################## # ################################################################## ################################################################## ################################################################## # ################################################################## ################################################################## ################################################################## ##################################################################