Efektywne wykorzystanie zasobów obliczeniowych KDM w PCSS

Wielkość: px

Rozpocząć pokaz od strony:

Download "Efektywne wykorzystanie zasobów obliczeniowych KDM w PCSS"

Karolina Kozłowska
8 lat temu
Przeglądów:

1 Efektywne wykorzystanie zasobów obliczeniowych KDM w PCSS Radosław Januszewski, Marcin Pospieszny, Piotr Brona, Bartłomiej Burba, Maciej Brzeźniak Poznańskie Centrum Superkomputerowo-Sieciowe

2 Zasoby HPC: stan obecny

3 Zasoby HPC: koniec maja 2015

4 Potencjał nowych węzłów (node-2-node)

5 Zakupy do końca 2015

6 HetMAN BOX.psnc.pl HPC SMP GUI GPU

7 Migracja: niedostępność maszyn Fizyczna relokacja maszyn z serwerowni przy ul. Wieniawskiego do nowej siedziby (CBPIO/BST).

8 Migracja: niedostępność maszyn 1-14 czerwca : cane+inula

9 Migracja: niedostępność maszyn czerwca : chimera (SMP)

10 Migracja: niedostępność maszyn : reef + PL-GRID CORE

11 Migracja: niedostępność maszyn Od września : instalacja maszyny PFlops

12 Efektywne wykorzystanie zasobów CPU MEM Storage Usługi

13 Efektywne wykorzystanie zasobów CPU : tagi węzła w PBS INTEL nehalem sandy_bridge haswell SMP AMD opteron GPU gpu Tesla? Phi? ARM?

14 Efektywne wykorzystanie zasobów #!/bin/bash #PBS -lnodes=1:ppn=8:intel #PBS -l mem=12gb #PBS -l walltime=12:00:00 #!/bin/bash #PBS -lnodes=1:ppn=8:haswell #PBS -l mem=12gb #PBS -l walltime=12:00:00 #!/bin/bash #PBS -lnodes=1:ppn=8:amd #PBS -l mem=12gb #PBS -l walltime=12:00:00 #!/bin/bash #PBS -lnodes=1:ppn=8:gpu #PBS -l mem=12gb #PBS -l walltime=12:00:00

/bin/bash #PBS -lnodes=1:ppn=8:haswell #PBS -l mem=12gb #PBS -l walltime=12:00:00 #!

15 Efektywne wykorzystanie zasobów Jeśli nie mam szczególnych wymagań : używam generycznego opisu zasobów. #!/bin/bash #PBS -lnodes=1:ppn=8 #PBS -l mem=12gb #PBS -l walltime=12:00:00

16 Efektywne wykorzystanie zasobów Ile zasobów zjada moje zadanie? odp : portal WWW : PBS/SLURM live-stats

17 Efektywne wykorzystanie zasobów Szczegółowe informacje na naszym WIKI

18 Systemy przechowywania danych (Lustre vs home) Klaster HPC Ethernet 1 Gbit Infiniband FDR 56 Gbit Ethernet Infiniband 1 Gbit FDR 56 Gbit Lustre (~10GB/s) Home (~5GB/s) Cloud storage od 4Q2015: 160 GB/s od 4Q2015: 30GB/s od 4Q2015: 10GB/s

1 Gbit FDR 56 Gbit Lustre (~10GB/s) Home (~5GB/s) Cloud

19 Inne usługi CPU Usługi?

20 Inne usługi Galaxy is an open, web-based platform for data intensive biomedical research.

21 Inne usługi

22 Inne usługi Chipster is a user-friendly analysis software for high-throughput data. It contains over 340 analysis tools for next generation sequencing.

23 Inne usługi

24 Inne usługi Dostęp* do platformy wirtualizacyjnej Openstack (* : dla pracowników/współpracowników PCSS)

25 Inne usługi zarzadzania danymi (1) backup i przechowywanie danych: przeznaczenie: długoterminowe przechowywanie GB/TB danych dostep: przez SFTP lub wirtualny system plików autoryzacja: przy uzyciu certyfikatow X.509 rejestracja: film dot. use-case:

Inne usługi zarzadzania danymi (2) Bezpieczny Dropbox dla naukowców: synchronizacja i współdzielenie danych dostep: przegladarka, klient Windows/Linux, Android/iOS wiele GB miejsca (wuchtamiejsca)!

26 Inne usługi zarzadzania danymi (2) Bezpieczny Dropbox dla naukowców: synchronizacja i współdzielenie danych dostep: przegladarka, klient Windows/Linux, Android/iOS wiele GB miejsca (wuchtamiejsca)! szybki transfer! dane przechowywane w Poznaniu (nie w USA) integracja z home HPC! BOX.PSNC.PL Zapraszamy do testowania usługi: rejestracja:: login: adres podany przy rejestracji na konferencję

27 Kontakt

28 Dziękujemy za uwagę.

Podobne dokumenty

Wprowadzenie do obsługi systemów obliczeniowych PCSS

Wprowadzenie do obsługi systemów obliczeniowych PCSS Marcin Pospieszny Poznańskie Centrum Superkomputerowo-Sieciowe 17 listopada 2011 Plan prezentacji 1 Architektura maszyn 2 Linux: podstawy 3 PBS 4 Aplikacje