Użytkowanie systemów obliczeniowych PCSS Artur Trojanowski

Transkrypt

1 Użytkowanie systemów obliczeniowych PCSS Artur Trojanowski

2 Plan prezentacji Architektura maszyn Zwiedzanie serwerowni Opis systemów kolejkowych Dostęp do maszyn Prowadzenie obliczeń Narzędzia programistyczne Zakończenie

3 Klaster, SMP Zasoby obliczeniowe PCSS składają się z 2 rodzajów maszyn : maszyny SMP (Symmetric Multiprocessing) klaster maszyn obliczeniowych PC VS

4 Maszyna SMP SGI UV 1000 : chimera.man.poznan.pl 256 x Intel Xeon E7-8837, x rdzeni 16 TB RAM 1,2 TB local storage system kolejkowy: Slurm

5 Klaster obliczeniowy : budowa

6 Klaster obliczeniowy : orzeł/eagle Klaster obliczeniowy: eagle.man.poznan.pl 1178 węzły (Intel Xeon E procesory po 14 rdzeni) łącznie rdzeni 64, 128 lub 256 GB RAM/węzeł Moc obliczeniowa 1372,13 TFLOPS Infiniband FDR interconnect 1 Gbit Ethernet interconnect system kolejkowy: Slurm LUSTRE kolejki : standard, multi, fast

7 Klaster obliczeniowy : inula Klaster obliczeniowy hybrydowy x GPU: inula.man.poznan.pl 680 węzły Intel Xeon E procesory po 14 rdzeni (2 x AMD 12 core Opteron), x kart GPGPU NVIDIA Tesla M , 64 lub 128 GB RAM/węzeł Moc obliczeniowa 303,4 TFLOPS Infiniband 1 Gbit Ethernet interconnect system kolejkowy: Torque ( PBS ) LUSTRE kolejki : standard, multi, fast

8 Klaster obliczeniowy : cane Klaster obliczeniowy hybrydowy x GPU : cane.man.poznan.pl węzły (2 x AMD 1 core Opteron), x lub 2 karty GPGPU (NVIDIA Tesla M2050) 48 lub 64 GB RAM/węzeł Infiniband 1 Gbit Ethernet interconnect system kolejkowy: Slurm

9 Zwiedzanie Zapraszamy do zwiedzania serwerowni

10 Systemy kolejkowe : Podstawy System kolejkowy : zarządza zasobami sytemu obliczeniowego: CPU, pamięć, przestrzeń dyskowa, licencje do aplikacji oraz same aplikacje, interfejsami sieciowymi, zasilaniem podsystemów, zarządza zadaniami użytkowników Zarządza polityką grup użytkowników zapewnia jednakowe środowisko pozwala rozliczyć użytkownika (Accounting) W dziale KDM PCSS używamy: TORQUE (PBS) Slurm

11 Systemy kolejkowe : kolejki Nazwa Kolejki Limit czasu zadania Domyślny limit czasu zadania Standardowa ilość pamięci RAM Uwagi multi 7 dni 1 dzień 2 GB Kolejka multi przeznaczona jest dla zadań wykonujących się jednocześnie na kilku węzłach (np. aplikacje korzystające z biblioteki MPI) standard 7 dni 1 dzień 2 GB Kolejka ta przeznaczona jest dla zadań wykonujących się na jednym węźle maksymalna wartość parametru ppn=8 fast 1 godzina 10 minut - wysoki priorytet; maksymalna ilość węzłów 1

12 Systemy kolejkowe : Slurm System kolejkowy komendy: sbatch mój skrypt.sh : zleca zadanie squeue, squeue -u mój login : sprawdza status zadań scancel ID ZADANIA : usuwa zadanie z kolejki sinfo, scontrol show jobs/nodes : informacje dodatkowe srun -u bash -l -i: tryb interaktywny

13 Systemy kolejkowe : Torque/PBS System ten powstał na wzór OpenPBS-a, i jest z nim kompatybilny qsub mój skrypt.sh : zleca zadanie qstat -n1, qstat -n1 -u mój login : sprawdza status zadań qdel ID ZADANIA : usuwa zadanie z kolejki

14 Systemy kolejkowe PBS i Slurm qsub qstat qdel pbsnodes PBS O WORKDIR PBS JOBID PBS NODEFILE #PBS -N JobName #PBS -q kolejka #PBS -l nodes=1:ppn=4 #PBS -l mem=4gb #PBS -l procs=128 #PBS -l walltime=24:00:00 sbatch squeue scancel scontrol show nodes ; sinfo SLURM SUBMITDIR SLURM JOBID SLURM JOB NODELIST #SBATCH --job-name=jobname #SBATCH -p partycja #SBATCH --nodes=1 #SBATCH --ntasks-per-node=4 #SBATCH --mem=4gb #SBATCH --ntasks=128 #SBATCH --time=24:00:00

15 Zasoby dyskowe katalog domowy: NFS (dane) nie wykonujemy obliczeń $HOME Scratch: LUSTRE (tymczasowe dane) $TMPDIR archiwizacja danych: Corylus/Mentha Platon U4

16 Dostęp do maszyny obliczeniowej : SSH tylko i wyłącznie za pomocą protokołu SSH (secure shell) to nie jest ograniczenie!... bo ssh ma bardzo duże możliwości: przekierowanie interfejsu okienkowego ( ssh -X ) kopiowanie plików (scp/sftp) logowanie po kluczach ssh i wiele innych...

17 Dostęp do maszyny obliczeniowej : linux - ssh Klient SSH dla linux-a/unix-a : ssh

18 Dostęp do maszyny obliczeniowej : Windows - putty Klient SSH dla Windows : putty

19 Dostęp do maszyny obliczeniowej : pliki FileZilla : uniwersalny klient transferu plików

20 Prowadzenie obliczeń: podstawowe polecenia cd ; pwd ls ; ls -alh ; ls -alhtr; cp plik nowy_plik; mv nazwa nowa_nazwa ; rm plik ; rm -r plik/katalog mkdir ; chmod wget tar -cvf nazwa.tar plik; tar -xvf nazwa.tar mc : Midnight Commander ;

21 Prowadzenie obliczeń: skrypt obliczeniowy : Slurm #!/bin/bash #SBATCH --nodes=1 #SBATCH --cpus-per-task=1 #SBATCH --mem=4gb #SBATCH --time=00:05:00 pwd echo $SLURM_JOBID

22 Prowadzenie obliczeń: skrypt obliczeniowy : PBS #!/bin/bash #PBS -l nodes=1:ppn=1 #PBS -l mem=4gb #PBS l walltime=00:05:00 pwd cd $PBS_O_WORKDIR echo $PBS_JOBID

23 Prowadzenie obliczeń: skrypt obliczeniowy : zlecamy zadanie SLURM: sbatch skrypt.sh, sbatch -p fast skrypt.sh PBS: qsub skrypt.sh, qsub -q fast skrypt.sh

24 Prowadzenie obliczeń: skrypt obliczeniowy : sprawdzamy zadanie SLURM: squeue, squeue -u login PBS: qstat, qstat -u login

25 Prowadzenie obliczeń: skrypt obliczeniowy : usuwamy zadanie SLURM: scancel ID Zadania PBS: qdel ID Zadania

26 Prowadzenie obliczeń: skrypt obliczeniowy : Slurm hello.c #include <stdlib.h> #include <stdio.h> int main ( void ) { printf("hello! \n"); }

27 Prowadzenie obliczeń: skrypt obliczeniowy : Slurm Slurm.sh #!/bin/bash #SBATCH --jobname=example_sbatch #SBATCH -- output=example_sbatch.out #SBATCH --time=00:05:00 #SBATCH --nodes=1 #SBATCH --ntasks-per-node=1 # informacja na temat węzła roboczego echo "Zadanie wykonuje sie na wezle " /bin/hostname echo "" # tworzymy katalog TMPDIR : TMPDIR=/tmp/$USER/$SLURM_JOBID mkdir -p $TMPDIR # przechodzimy do katalogu $TMPDIR cd $TMPDIR echo "Katalog TMPDIR to :" pwd echo "" # kopiujemy pliki potrzebne do obliczeń do katalogu $TMPDIR cp $SLURM_SUBMIT_DIR/hello.c $TMPDIR gcc -o hello hello.c./hello > wynik.txt # kończymy obliczenia, katalog $TMPDIR kopiujemy do katalogu z którego zakolejkowano zadanie cp -r $TMPDIR $SLURM_SUBMIT_DIR/ # sprzątamy po sobie rm -rf $TMPDIR # koniec skryptu # Wykonujemy obliczenia

28 Prowadzenie obliczeń: sprawdzanie parametrów zadnia: Slurm squeue -u nazwa_użytkownika - wyświetlanie listy wszystkich zleconych przez użytkownika zadań sinfo - ogólne informacje o kolejkach scontrol show partition nazwa_kolejki szczegółowe informacje o kolejce scontrol show jobs JOBID : szczegółowe informacje o zadań scontrol show node nazwa_węzła - szczegółowe informacje o węźle

29 Aplikacje naukowe : moduły Listę aplikacji można uzyskać wydając polecenie modules avail Aplikacje/biblioteki używamy za pomocą polecenia module load openmpi/current

30 Aplikacje naukowe dostępne na maszynach obliczeniowych abaqus 6.12 amber 14 gaussian G09d matlab namd quantum espresso ścieżka dostępu: /opt/exp soft/

31 Narzędzia programistyczne dostępne na maszynach obliczeniowych kompilatory GNU (C/C++/Fortran) kompilatory Intel kompilatory Open64 biblioteki MPI biblioteki BLAS/ATLAS biblioteki OpenCL, CUDA profilowanie : Intel Cluster Toolkit i AMD CODEXL

32 Materiały WIKI: Portal HPC na stronach PCSS : dokumentacja Slurm-a : ściąga poleceń różnych systemów kolejkowych : dokumentacja PBS :

33 Gdzie szukać pomocy? Pytania dotyczące maszyn obliczeniowych KDM PCSS należy wysyłać poczta elektroniczna na adres

34 Poznańskie Centrum Superkomputerowo - Sieciowe afiliowane przy Instytucie Chemii Bioorganicznej PAN, ul. Jana Pawła II 10, Poznań, tel : (+48 61) , fax: (+48 61) , office@man.poznan.pl,