Architektura, oprogramowanie i uytkowanie klastra PCSS. Marek Zawadzki <mzawadzk@man.poznan.pl>

Transkrypt

1

2 Architektura, oprogramowanie i uytkowanie klastra PCSS Marek Zawadzki <mzawadzk@man.poznan.pl>

3 Plan prezentacji: klastry krótkie wprowadzenie klaster PCSS budowa jak otrzyma konto na klastrze sposób dostpu do klastra podstawy pracy z systemem GNU/Linux kompilowanie własnych programów zlecanie zada obliczeniowych optymalizacja oblicze krótkie wprowadzenie zgłaszanie problemów zarzdzanie klastrem PCSS krótki wstp dla zainteresowanych

4 Klastry krótkie wprowadzenie Klaster jest to grupa komputerów (np. PC) połczonych sieci i działajcych jak jeden system. Klaster jest duo taszy ni maszyna wieloprocesorowa o podobnej liczbie procesorów. Zalety: wysoka niezawodno, równowaenie obcienia, łatwa rozbudowa i atrakcyjny koszt. Wady: nisza wydajno dla duych zada równoległych, trudniejsze zarzdzanie.

5 Klastry krótkie wprowadzenie

6 Klastry krótkie wprowadzenie Co klaster oznacza dla uytkownika? Konto i wspólny katalog domowy na wszystkich wzłach Zlecanie kilku mniejszych zada, które działaj niezalenie lub zlecanie zada rozproszonych (np. MPI) Inny sposób monitorowania zada i całego systemu

7 Klaster PCSS - budowa bitowych procesorów Intel Itanium2 Wzły 2-procesorowe połczone sieci Gigabit Ethernet (1000 Mbit/s) 500GB pamici RAM (w sumie) System operacyjny: Debian GNU/Linux System kolejkowy: OpenPBS wkrótce: wicej wzłów, InfiniBand

8 Klaster PCSS - budowa

9 Klaster PCSS - budowa

10 Klaster PCSS - budowa

11 Klaster PCSS - budowa

12 Jak otrzyma konto na klastrze? NOWI UYTKOWNICY: Drukujemy, wypełniamy i przesyłamy poczt standardowy wniosek o grant obliczeniowy (wstpny lub pełny). UYTKOWNICY JU POSIADAJCY GRANT: Przesyłamy wniosek o przedłuenie grantu na rok WSZYSCY UYTKOWNICY: Wypełniamy uproszczony formularz na www w celu otrzymania konta i ustawienia hasła.

13 Jak otrzyma konto na klastrze? WNIOSKI do wypełnienia: FORMULARZ NA WWW:

14 Sposób dostpu do klastra Praca interaktywna: SSH (Linux/*nix: ssh (OpenSSH). MS Windows: putty, TTYSSH, OpenSSH). Aplikacje graficzne: konieczno włczenia X11 Forwarding w ssh. Przesyłanie plików: SCP lub SFTP (Linux/*nix: scp, sftp. MS Windows: WinSCP, PSCP, PFTP)

15 Podstawy pracy z systemem GNU/Linux Domylny shell: bash Podstawowe polecenia: man, cd, mkdir, cp, mv, rm, ps, du Edytory tekstowe: vim, pico Manager plików, edytor, ftp: mc (GNU Midnight Commander) Kalkulator: calc (dowolna precyzja) Zmiana hasła: passwd Zmiana shell'a: chsh Klucze ssh Poczta Wicej informacji:

16 Podstawy pracy z systemem GNU/Linux WICZENIA PRAKTYCZNE:

17 Kompilowanie własnych programów Kompilatory Intel C/C++ i Fortran: icc (C/C++) ifort (Fortran 90/95/77) Kompilatory GNU gcc (C/C++) f77 (Fortran 77) Wicej informacji: /usr/local/doc

18 Kompilowanie własnych programów MPI: Intel: mpi_icc, mpif90 GNU: mpi_gcc, mpif77 Uruchamianie: mpirun -np LICZBA_PROCESORÓW Wicej informacji: /usr/local/doc

19 Zlecanie zada obliczeniowych Dlaczego jest potrzebny system kolejkowy: zabezpieczenie przed przecieniem maszyny uruchamianie zada na wzłach klastra sprawiedliwy podział zasobów nadawanie priorytetów zadaniom, uytkownikom i grupom kontrola zada w całym klastrze

20 Zlecanie zada obliczeniowych System kolejkowy OpenPBS: darmowy wsparcie dla rónych architektur sprztowych dostpny kod ródłowy moliwo zakupienia wersji komercyjnej

21 Zlecanie zada obliczeniowych Wywietlanie dospnych kolejek: qstat -Q qstat -Q -f Zlecenie zadania: qsub [-q NAZWA_KOLEJKI] skrypt_startowy Wicej informacji: man pbs

22 Zlecanie zada obliczeniowych Wywietlanie stanu zadania: qstat qstat -f Usunicie zadania: qdel IDENTYFIKATOR_ZADANIA Wicej informacji: man pbs

23 Zlecanie zada obliczeniowych WICZENIA PRAKTYCZNE:

24 Optymalizacja oblicze krótkie wprowadzenie Dlaczego trzeba optymalizowa obliczenia na IA-64? Podstawowe narzdzia optymalizacyjne: kompilatory (opcje -O1 -O2 -O3) narzdzia optymalizacyjne: pfmon, qprof inne Co zrobi, aby zlikwidowa nieoptymalne fragmenty?

25 Optymalizacja oblicze krótkie wprowadzenie WICZENIA PRAKTYCZNE:

26 Zgłaszanie problemów Jak zgłasza problem, aby najszybciej uzyska pomoc: Dlaczego lepiej zgłasza problemy przez ni telefonicznie? Administratorzy: Piotr Siwczak Marek Zawadzki

27 Wicej informacji /etc/motd

28 Dziekuj za uwag. Pytania?

29 Zarzdzania klastrem PCSS krótki wstp dla zainteresowanych Debian GNU/Linux SystemImager NFS, OpenSSH MPICH OpenPBS