Wrocławskie Centrum Sieciowo-Superkomputerowe

Transkrypt

1 Wrocławskie Centrum Sieciowo-Superkomputerowe Mateusz Tykierko WCSS 26 czerwca 2012 Mateusz Tykierko (WCSS) 26 czerwca / 23

2 Wstęp Wrocławskie Centrum Sieciowo-Superkomputerowe Jednostka działająca na rzecz środowiskowa naukowego Wrocławia. Powstała w 1995 r. jako jednostka Politechniki Wrocławskiej. Zadania: utrzymanie Wrocławskiej Akademickiej Sieci Komputerowej (WASK), udostępnienie dużej (rzędu TFLOPS-ów) mocy obliczeniowej dla naukowców, udostępnienie usług sieciowych (poczta elektroniczna, serwery www, bazy danych (ldap,sql), serwery wirtualne, serwery dedykowane, centrum certyfikacji Pionier PKI, audyty bezpieczeństwa,... ), Mateusz Tykierko (WCSS) 26 czerwca / 23

3 WASK WASK Wrocławska Akademicka Sieć Komputerowa. łączy wrocławskie instytucje i uczelnie zapewniając im dostęp do krajowej sieci PIONIER i europejskiej GÉANT2 23 węzły i ponad 120 km tras światłowodowych podłączone ponad 500 sieci lokalnych szkielet sieci 10Gbit i obsługą MPLS 2 połączenie 10Gbit z siecią PIONIER do Zielonej Góry i Opola Mateusz Tykierko (WCSS) 26 czerwca / 23

4 Konsorcjum Pionier Jest formalnym porozumieniem zawartym pomiędzy wiodącymi jednostkami MAN i KDM. Celem Konsorcjum jest budowa Ogólnopolskiej Sieci Optycznej oraz rozwijanie w oparciu o tę Sieć oraz infrastrukturę informatyczną należącą do Jednostek Wiodących, działalności służącej realizacji celów statutowych Jednostek Wiodących i na rzecz rozwoju Społeczeństwa Informacyjnego. Członkowie konsorcjum: AMSK, BIAMAN, BYDMAN, CI TASK, CYFRONET, CzestMAN, IChB PAN PCSS, ICM UW, KIELMAN, LODMAN, LubMAN, MAN Opole, MAN RADOM, MSK KosMAN, MSK PulMAN, NASK, RCI OEiZ MSK OLMAN, RMSK, ŚASK, UCI UMK, WCSS, ZielMAN Mateusz Tykierko (WCSS) 26 czerwca / 23

5 Mateusz Tykierko (WCSS) 26 czerwca / 23

6 Mateusz Tykierko (WCSS) 26 czerwca / 23

7 Szkolenia na żądanie dla początkujących użytkowników WCSS indywidualne konsultacje dla początkujących użytkowników infrastruktury PL-Grid kurs Fortran95 podstawy programowania (Python) kurs Python system linux, bash kurs w ramach studium doktoranckiego PWr Wydajne wykonywanie obliczeń naukowych Mateusz Tykierko (WCSS) 26 czerwca / 23

8 Szkolenia na żądanie dla początkujących użytkowników WCSS indywidualne konsultacje dla początkujących użytkowników infrastruktury PL-Grid kurs Fortran95 podstawy programowania (Python) kurs Python system linux, bash kurs w ramach studium doktoranckiego PWr Wydajne wykonywanie obliczeń naukowych Mateusz Tykierko (WCSS) 26 czerwca / 23

9 Szkolenia na żądanie dla początkujących użytkowników WCSS indywidualne konsultacje dla początkujących użytkowników infrastruktury PL-Grid kurs Fortran95 podstawy programowania (Python) kurs Python system linux, bash kurs w ramach studium doktoranckiego PWr Wydajne wykonywanie obliczeń naukowych Mateusz Tykierko (WCSS) 26 czerwca / 23

10 Szkolenia na żądanie dla początkujących użytkowników WCSS indywidualne konsultacje dla początkujących użytkowników infrastruktury PL-Grid kurs Fortran95 podstawy programowania (Python) kurs Python system linux, bash kurs w ramach studium doktoranckiego PWr Wydajne wykonywanie obliczeń naukowych Mateusz Tykierko (WCSS) 26 czerwca / 23

11 Szkolenia na żądanie dla początkujących użytkowników WCSS indywidualne konsultacje dla początkujących użytkowników infrastruktury PL-Grid kurs Fortran95 podstawy programowania (Python) kurs Python system linux, bash kurs w ramach studium doktoranckiego PWr Wydajne wykonywanie obliczeń naukowych Mateusz Tykierko (WCSS) 26 czerwca / 23

12 Szkolenia na żądanie dla początkujących użytkowników WCSS indywidualne konsultacje dla początkujących użytkowników infrastruktury PL-Grid kurs Fortran95 podstawy programowania (Python) kurs Python system linux, bash kurs w ramach studium doktoranckiego PWr Wydajne wykonywanie obliczeń naukowych Mateusz Tykierko (WCSS) 26 czerwca / 23

13 Szkolenia na żądanie dla początkujących użytkowników WCSS indywidualne konsultacje dla początkujących użytkowników infrastruktury PL-Grid kurs Fortran95 podstawy programowania (Python) kurs Python system linux, bash kurs w ramach studium doktoranckiego PWr Wydajne wykonywanie obliczeń naukowych Mateusz Tykierko (WCSS) 26 czerwca / 23

14 Szkolenia na żądanie dla początkujących użytkowników WCSS indywidualne konsultacje dla początkujących użytkowników infrastruktury PL-Grid kurs Fortran95 podstawy programowania (Python) kurs Python system linux, bash kurs w ramach studium doktoranckiego PWr Wydajne wykonywanie obliczeń naukowych Mateusz Tykierko (WCSS) 26 czerwca / 23

15 TOP 500 Kroki milowe KDM: 1995 listopad 482/ czerwiec 318/ listopad 372/ czerwiec... Mateusz Tykierko (WCSS) 26 czerwca / 23

16 TOP 500 Kroki milowe KDM: 1995 listopad 482/ czerwiec 318/ listopad 372/ czerwiec... Mateusz Tykierko (WCSS) 26 czerwca / 23

17 TOP 500 Kroki milowe KDM: 1995 listopad 482/ czerwiec 318/ listopad 372/ czerwiec... Mateusz Tykierko (WCSS) 26 czerwca / 23

18 TOP 500 Kroki milowe KDM: 1995 listopad 482/ czerwiec 318/ listopad 372/ czerwiec... Mateusz Tykierko (WCSS) 26 czerwca / 23

19 TOP 500 Kroki milowe KDM: 1995 listopad 482/ czerwiec 318/ listopad 372/ czerwiec... Mateusz Tykierko (WCSS) 26 czerwca / 23

20 194/500 Mateusz Tykierko (WCSS) 26 czerwca / 23

21 Realizowane projekty NewMan Platon KMD2 PL-Grid PL-Grid+ EGI PRACE Mateusz Tykierko (WCSS) 26 czerwca / 23

22 Komputery Dużej Mocy Zadania Udostępniane naukowcom (oraz studentom) w celu prowadzenia badań. Obliczenia z dziedzin: chemii obliczeniowej, fizyki, matematyki, akustyki, geofizyki, automatyki i robotyki, innych Mateusz Tykierko (WCSS) 26 czerwca / 23

23 Supernova moc obliczeniowa: 67,54 TFLOPS liczba węzłów: 732 procesory: Intel Xeon Quad i 56xx liczba rdzeni: 6800 f taktowania zegara: GHz ilość RAM: 12,5 TB pamięci dyskowe : 247 TB sieć międzywęzłowa: Infiniband 20Gb/s i 40Gb/s system operacyjny: Scientific Linux Mateusz Tykierko (WCSS) 26 czerwca / 23

24 Budowa Mateusz Tykierko (WCSS) 26 czerwca / 23

25 Budowa Mateusz Tykierko (WCSS) 26 czerwca / 23

26 Budowa Współdzielone zasoby dyskowe lustre(scratch): Infiniband GBps(*) 1TB nfs(home): Gigabit Ethernet MBps 20/30GB nfs(archiwum): Gigabit Ethernet MBps 2.5PB Mateusz Tykierko (WCSS) 26 czerwca / 23

27 Najczęściej używane oprogramowanie chemiczne Gaussian oraz Gamess Accelrys ADF MOLCAS oraz MOLPRO inżynierskie Abaqus MSC Software (Adams,Marc,... ) ProENGINEER Meep matematyczne Matlab R Mateusz Tykierko (WCSS) 26 czerwca / 23

28 Obliczenia równoległa/klastrowe - narzędzia MPI (MVAPICH2, OpenMPI... ) OpenMP Kompilatory (Intel, Sgi, Portland), biblioteki (Global Arrays, Lapack, MKL) Systemy kolejkowe (PBSpro) Sieć InfiniBand - RDMA Lustre - współdzielony system plików Mateusz Tykierko (WCSS) 26 czerwca / 23

29 Kto może zostać użytkownikiem? O grant obliczeniowy WCSS mogą ubiegać się: kierownicy projektów badawczych, samodzielni pracownicy naukowi, młodsi pracownicy naukowi, przy poparciu bezpośredniego opiekuna naukowego lub dyrektora instytucji. Do każdego grantu zakładane są indywidualne konta użytkowników. Mateusz Tykierko (WCSS) 26 czerwca / 23

30 Ile to kosztuje? Obliczenia wykonano na komputerach Wrocławskiego Centrum Sieciowo-Superkomputerowego ( grant obliczeniowy Nr... Calculations have been carried out in Wroclaw Centre for Networking and Supercomputing ( grant No.... Szczegóły na stronie zostać użytkownikiem KDM Mateusz Tykierko (WCSS) 26 czerwca / 23

31 Projekt PL-Grid Grid to: pomysł na połączenie rozproszonych zasobów administrowanych lokalnie widzianych przez użytkownika jako jedna wirtualna maszyna umożliwiająca dostęp do zasobów z każdego punktu na świecie Zasoby są dzielone wśród użytkowników zrzeszonych w ramach wirtualnych organizacji determinujących automatycznie rodzaj zasobów i warunki pod jakimi możliwy jest dostęp do nich Zapewnienie Polskiej społeczności naukowej dostępu do narodowej platformy obliczeniowej opartej na sieci klastrów. Utrzymanie infrastruktury, tak aby była kompatybilna z istniejącymi Gridami (europejskim oraz światowym). Rozwój wyspecjalizowanych systemów Gridowych w tym serwisów i narzędzi umożliwiających działanie specyficznym typom aplikacji. Mateusz Tykierko (WCSS) 26 czerwca / 23

32 Projekt PL-Grid Grid to: pomysł na połączenie rozproszonych zasobów administrowanych lokalnie widzianych przez użytkownika jako jedna wirtualna maszyna umożliwiająca dostęp do zasobów z każdego punktu na świecie Zasoby są dzielone wśród użytkowników zrzeszonych w ramach wirtualnych organizacji determinujących automatycznie rodzaj zasobów i warunki pod jakimi możliwy jest dostęp do nich Zapewnienie Polskiej społeczności naukowej dostępu do narodowej platformy obliczeniowej opartej na sieci klastrów. Utrzymanie infrastruktury, tak aby była kompatybilna z istniejącymi Gridami (europejskim oraz światowym). Rozwój wyspecjalizowanych systemów Gridowych w tym serwisów i narzędzi umożliwiających działanie specyficznym typom aplikacji. Mateusz Tykierko (WCSS) 26 czerwca / 23

33 Projekt PL-Grid Grid to: pomysł na połączenie rozproszonych zasobów administrowanych lokalnie widzianych przez użytkownika jako jedna wirtualna maszyna umożliwiająca dostęp do zasobów z każdego punktu na świecie Zasoby są dzielone wśród użytkowników zrzeszonych w ramach wirtualnych organizacji determinujących automatycznie rodzaj zasobów i warunki pod jakimi możliwy jest dostęp do nich Zapewnienie Polskiej społeczności naukowej dostępu do narodowej platformy obliczeniowej opartej na sieci klastrów. Utrzymanie infrastruktury, tak aby była kompatybilna z istniejącymi Gridami (europejskim oraz światowym). Rozwój wyspecjalizowanych systemów Gridowych w tym serwisów i narzędzi umożliwiających działanie specyficznym typom aplikacji. Mateusz Tykierko (WCSS) 26 czerwca / 23

34 Projekt PL-Grid Grid to: pomysł na połączenie rozproszonych zasobów administrowanych lokalnie widzianych przez użytkownika jako jedna wirtualna maszyna umożliwiająca dostęp do zasobów z każdego punktu na świecie Zasoby są dzielone wśród użytkowników zrzeszonych w ramach wirtualnych organizacji determinujących automatycznie rodzaj zasobów i warunki pod jakimi możliwy jest dostęp do nich Zapewnienie Polskiej społeczności naukowej dostępu do narodowej platformy obliczeniowej opartej na sieci klastrów. Utrzymanie infrastruktury, tak aby była kompatybilna z istniejącymi Gridami (europejskim oraz światowym). Rozwój wyspecjalizowanych systemów Gridowych w tym serwisów i narzędzi umożliwiających działanie specyficznym typom aplikacji. Mateusz Tykierko (WCSS) 26 czerwca / 23

35 PL-GRID - dla użytkowników pamięć operacyjna: 43,65 TB pamięć dyskowa: 3,32 PB moc obliczeniowa: 218,16 TFlops liczba rdzeni obliczeniowych: Unicore, glite, QosCosGrid, GridSpace Zestaw zaawansowanych narzędzi do organizacji eksperymentów obliczeniowych, który pomożemy dostosować do indywidualnych potrzeb Pomoc w zrozumieniu zagadnień związanych z uruchamianiem aplikacji na rozległych zasobach obliczeniowych Wsparcie technologiczne i informatyczne przy projektowaniu własnych aplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid Mateusz Tykierko (WCSS) 26 czerwca / 23

36 PL-GRID - dla użytkowników pamięć operacyjna: 43,65 TB pamięć dyskowa: 3,32 PB moc obliczeniowa: 218,16 TFlops liczba rdzeni obliczeniowych: Unicore, glite, QosCosGrid, GridSpace Zestaw zaawansowanych narzędzi do organizacji eksperymentów obliczeniowych, który pomożemy dostosować do indywidualnych potrzeb Pomoc w zrozumieniu zagadnień związanych z uruchamianiem aplikacji na rozległych zasobach obliczeniowych Wsparcie technologiczne i informatyczne przy projektowaniu własnych aplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid Mateusz Tykierko (WCSS) 26 czerwca / 23

37 PL-GRID - dla użytkowników pamięć operacyjna: 43,65 TB pamięć dyskowa: 3,32 PB moc obliczeniowa: 218,16 TFlops liczba rdzeni obliczeniowych: Unicore, glite, QosCosGrid, GridSpace Zestaw zaawansowanych narzędzi do organizacji eksperymentów obliczeniowych, który pomożemy dostosować do indywidualnych potrzeb Pomoc w zrozumieniu zagadnień związanych z uruchamianiem aplikacji na rozległych zasobach obliczeniowych Wsparcie technologiczne i informatyczne przy projektowaniu własnych aplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid Mateusz Tykierko (WCSS) 26 czerwca / 23

38 PL-GRID - dla użytkowników pamięć operacyjna: 43,65 TB pamięć dyskowa: 3,32 PB moc obliczeniowa: 218,16 TFlops liczba rdzeni obliczeniowych: Unicore, glite, QosCosGrid, GridSpace Zestaw zaawansowanych narzędzi do organizacji eksperymentów obliczeniowych, który pomożemy dostosować do indywidualnych potrzeb Pomoc w zrozumieniu zagadnień związanych z uruchamianiem aplikacji na rozległych zasobach obliczeniowych Wsparcie technologiczne i informatyczne przy projektowaniu własnych aplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid Mateusz Tykierko (WCSS) 26 czerwca / 23

39 PL-GRID - dla użytkowników pamięć operacyjna: 43,65 TB pamięć dyskowa: 3,32 PB moc obliczeniowa: 218,16 TFlops liczba rdzeni obliczeniowych: Unicore, glite, QosCosGrid, GridSpace Zestaw zaawansowanych narzędzi do organizacji eksperymentów obliczeniowych, który pomożemy dostosować do indywidualnych potrzeb Pomoc w zrozumieniu zagadnień związanych z uruchamianiem aplikacji na rozległych zasobach obliczeniowych Wsparcie technologiczne i informatyczne przy projektowaniu własnych aplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid Mateusz Tykierko (WCSS) 26 czerwca / 23

40 PL-GRID - dla użytkowników pamięć operacyjna: 43,65 TB pamięć dyskowa: 3,32 PB moc obliczeniowa: 218,16 TFlops liczba rdzeni obliczeniowych: Unicore, glite, QosCosGrid, GridSpace Zestaw zaawansowanych narzędzi do organizacji eksperymentów obliczeniowych, który pomożemy dostosować do indywidualnych potrzeb Pomoc w zrozumieniu zagadnień związanych z uruchamianiem aplikacji na rozległych zasobach obliczeniowych Wsparcie technologiczne i informatyczne przy projektowaniu własnych aplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid Mateusz Tykierko (WCSS) 26 czerwca / 23

41 PL-GRID - dla użytkowników pamięć operacyjna: 43,65 TB pamięć dyskowa: 3,32 PB moc obliczeniowa: 218,16 TFlops liczba rdzeni obliczeniowych: Unicore, glite, QosCosGrid, GridSpace Zestaw zaawansowanych narzędzi do organizacji eksperymentów obliczeniowych, który pomożemy dostosować do indywidualnych potrzeb Pomoc w zrozumieniu zagadnień związanych z uruchamianiem aplikacji na rozległych zasobach obliczeniowych Wsparcie technologiczne i informatyczne przy projektowaniu własnych aplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid Mateusz Tykierko (WCSS) 26 czerwca / 23

42 PL-GRID - dla użytkowników pamięć operacyjna: 43,65 TB pamięć dyskowa: 3,32 PB moc obliczeniowa: 218,16 TFlops liczba rdzeni obliczeniowych: Unicore, glite, QosCosGrid, GridSpace Zestaw zaawansowanych narzędzi do organizacji eksperymentów obliczeniowych, który pomożemy dostosować do indywidualnych potrzeb Pomoc w zrozumieniu zagadnień związanych z uruchamianiem aplikacji na rozległych zasobach obliczeniowych Wsparcie technologiczne i informatyczne przy projektowaniu własnych aplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid Mateusz Tykierko (WCSS) 26 czerwca / 23

43 EGI1 - European Grid Infrastructure Mateusz Tykierko (WCSS) 26 czerwca / 23

44 PRACE - Partnership for Advanced Computing in Europe Projekty PRACE realizowane są przez wiodące jednostki badawcze i superkomputerowe z 21 krajów Europy, w tym z Polski: PCSS, WCSS, Cyfronet, ICM i TASK. Działalność PRACE ustanowienie i rozwijanie europejskiej infrastruktury badawczej PRACE RI (Research Infrastructure) dostarczenie naukowcom i inżynierom w Europie dostępu do infrastruktury i usługi HPC o wydajności obliczeniowej rzędu PetaFlop/s (Tier-0 oraz Tier-1) zapewnienie wsparcia zespołom naukowym w zakresie poprawy wydajności i skalowalności aplikacji naukowych Działania WCSS poprawa skalowalności i wydajności aplikacji dzięki zastosowaniu nowych technik programowania (OpenCL, CUDA) badanie wydajności obliczeniowej i energetycznej prototypów sprzętowych (architektury hybrydowe, GPU) Mateusz Tykierko (WCSS) 26 czerwca / 23