Wprowadzenie do obsługi systemów obliczeniowych PCSS

Transkrypt

1 Wprowadzenie do obsługi systemów obliczeniowych PCSS Marcin Pospieszny Poznańskie Centrum Superkomputerowo-Sieciowe 17 listopada 2011

2 Plan prezentacji 1 Architektura maszyn 2 Linux: podstawy 3 PBS 4 Aplikacje i narzędzia 5 Pomoc 6 Zakończenie

3 Klaster, SMP...? Zasoby obliczeniowe PCSS składają się z 2 rodzajów maszyn : maszyny SMP (Symmetric Multiprocessing) klaster maszyn obliczeniowych PC

4 Maszyny SMP SGI Altix 3700 : guarana.man.poznan.pl 128 x Intel Itanium2, IA GB RAM 700 GB local storage system kolejkowy: Torque ( PBS )

5 Klaster obliczeniowy : budowa

6 Klaster obliczeniowy : sherwood Klaster obliczeniowy IA-64: sherwood.man.poznan.pl 122 wezły x 2 x Intel Itanium2, IA-64 od 2 do 8 GB RAM/węzeł 73 GB local storage / węzeł 1 Gbit Ethernet interconnect system kolejkowy: OpenPBS

7 Klaster obliczeniowy : fangorn Klaster obliczeniowy AMD64: fangorn.man.poznan.pl 42 wezły x 2 x AMD Opteron Dual Core, AMD64/x GB RAM/węzeł 2 x 73 GB local storage / węzeł 1 Gbit Ethernet interconnect system kolejkowy: OpenPBS

8 Klaster obliczeniowy : reef Klaster obliczeniowy Intel Xeon x86 64: reef.man.poznan.pl 554 wezły x 2 x Intel Xeon Quad Core, x GB RAM/węzeł 147 / 300 GB local storage / węzeł Infiniband 20 Gbps lub 40 Gpbs interconnect 1 Gbit Ethernet interconnect system kolejkowy: Torque ( PBS )

9 Linux : co to jest? Za pl.wikipedia.org : Linux - rodzina uniksopodobnych systemów operacyjnych opartych o jądro Linux. Linux jest jednym z przykładów wolnego i otwartego oprogramowania (FLOSS): jego kod źródłowy może być dowolnie wykorzystywany, modyfikowany i rozpowszechniany.

10 Linux : procesy w linux-ie program uruchomiony na polecenie użytkownika każdy proces ma rodzica rodzic tworzy proces potomny wywołując funkcje fork(); każdy proces ma dowiązane 3 strumienie danych: stdin stdout stderr

11 Linux : powłoka Zapewnia użytkownikowi możliwość pracy interaktywnej. /bin/bash /bin/tcsh /bin/false /usr/bin/scponly

12 Linux : dostęp do maszyny obliczeniowej tylko i wyłącznie za pomocą protokołu SSH (secure shell) to nie jest ograniczenie!... bo ssh ma bardzo duże możliwości: przekierowanie interfejsu okienkowego ( ssh -X ) kopiowanie plików (scp/sftp) tunelowanie połączeń sieciowych

13 Linux : dostęp do maszyny obliczeniowej : ssh Klient SSH dla linux-a/unix-a : ssh

14 Linux : dostęp do maszyny obliczeniowej : putty Klient SSH dla MS Windows : putty

15 Linux : skrypty powłoki #!/bin/bash echo "Hostname :" hostname echo "czas lokalny :" date

16 Linux : podstawowe polecenia cd ; pwd ls ; ls -alh ; ls -alhtr ; cp plik plik back ; mv nazwa nowa nazwa ; rm plik ; rm -rf plik/katalog mkdir ; chmod more ; less magiczne. i.. $HOME i stary doby Commander : mc

17 Linux : dostęp do maszyny obliczeniowej : pliki FileZilla : uniwersalny klient trasferu plików

18 PBS: Portable Batch System Co to jest system kolejkowy? Jakie są jego zadania? Zasoby klastra... podstawowe polecenia: pbsnodes ; pbsnodes :lustre qstat ; qstat -n1 ; qstat -n1 ; qstat -n1 -u moj login qsub skrypt ; qsub -q kolejka skrypt qdel ID ZADANIA showq

19 PBS: zadanie obliczeniowe: skrypt #!/bin/bash #PBS -l walltime=00:05:00 #PBS -l nodes=1:ppn=1 #PBS -l mem=100mb # informacja na temat wezla roboczego echo "Zadanie wykonuje sie na wezle " /bin/hostname echo "" # chwila przerwy... sleep 60 # koniec skryptu

20 PBS: zadanie obliczeniowe: skrypt... #!/bin/bash #PBS -l walltime=00:05:00 #PBS -l nodes=1:ppn=1 #PBS -l mem=250mb # informacja na temat wezla roboczego echo "Zadanie wykonuje sie na wezle " /bin/hostname echo "" # przechodzimy do katalogu $TMPDIR cd $TMPDIR echo "Katalog TMPDIR to :" pwd echo "" # kopiujemy pliki potrzebne do obliczen do katalogu $TMPDIR cp $PBS_O_WORKDIR/hello.c $TMPDIR # Wykonujemy obliczenia gcc -o hello hello.c./hello > wynik.txt # konczymy obliczenia, katalog $TMPDIR kopiujemy do katalogu z ktorego zakolejkowano zadanie cp -r $TMPDIR $PBS_O_WORKDIR/ sleep 60 # koniec skryptu

21 PBS: zadanie obliczeniowe: zmienne PBS zmienne PBS : TMPDIR PBS JOBNAME PBS O WORKDIR PBS O HOME PBS JOBID PBS QUEUE PBS NODEFILE

22 PBS: backfill

23 PBS: zadanie obliczeniowe: $TMPDIR $TMPDIR : zmienna wskazująca na unikalny katalog tymczasowy obsługiwany (tworzenie i usuwanie katalogu) przez system PBS

24 Aplikacje naukowe dostępne na maszynach obliczeniowych gaussian G03/G09 abaqus 6.9 Discovery Studio 2.0 (Accelrys) matlab Maple 14 ścieżka dostępu: /opt/exp soft/users/

25 Narzędzia programistyczne dostępne na maszynach obliczeniowych kompilatory GNU (C/C++/Fortran) kompilatory Intel kompilatory Pathscale kompilatory Open64 biblioteki MPI biblioteki BLAS/ATLAS

26 Gdzie szukać pomocy? Wszelkie pytania dotyczące maszyn obliczeniowych KDM PCSS należy wysyłać pocztą elektroniczną na adres

27 Pytania...?

28 Materiały dokumentacja PBS : com/resources/docs/torque/usersmanual.php infromacje na temat linux-a : Portal HPC na stronach PCSS : materiały ze szkolenia :