Architektura, oprogramowanie i uytkowanie klastra PCSS Marek Zawadzki <mzawadzk@man.poznan.pl>
Plan prezentacji: klastry krótkie wprowadzenie klaster PCSS budowa jak otrzyma konto na klastrze sposób dostpu do klastra podstawy pracy z systemem GNU/Linux kompilowanie własnych programów zlecanie zada obliczeniowych optymalizacja oblicze krótkie wprowadzenie zgłaszanie problemów zarzdzanie klastrem PCSS krótki wstp dla zainteresowanych
Klastry krótkie wprowadzenie Klaster jest to grupa komputerów (np. PC) połczonych sieci i działajcych jak jeden system. Klaster jest duo taszy ni maszyna wieloprocesorowa o podobnej liczbie procesorów. Zalety: wysoka niezawodno, równowaenie obcienia, łatwa rozbudowa i atrakcyjny koszt. Wady: nisza wydajno dla duych zada równoległych, trudniejsze zarzdzanie.
Klastry krótkie wprowadzenie
Klastry krótkie wprowadzenie Co klaster oznacza dla uytkownika? Konto i wspólny katalog domowy na wszystkich wzłach Zlecanie kilku mniejszych zada, które działaj niezalenie lub zlecanie zada rozproszonych (np. MPI) Inny sposób monitorowania zada i całego systemu
Klaster PCSS - budowa 248 64-bitowych procesorów Intel Itanium2 Wzły 2-procesorowe połczone sieci Gigabit Ethernet (1000 Mbit/s) 500GB pamici RAM (w sumie) System operacyjny: Debian GNU/Linux System kolejkowy: OpenPBS wkrótce: wicej wzłów, InfiniBand
Klaster PCSS - budowa
Klaster PCSS - budowa
Klaster PCSS - budowa
Klaster PCSS - budowa
Jak otrzyma konto na klastrze? NOWI UYTKOWNICY: Drukujemy, wypełniamy i przesyłamy poczt standardowy wniosek o grant obliczeniowy (wstpny lub pełny). UYTKOWNICY JU POSIADAJCY GRANT: Przesyłamy wniosek o przedłuenie grantu na rok 2005. WSZYSCY UYTKOWNICY: Wypełniamy uproszczony formularz na www w celu otrzymania konta i ustawienia hasła.
Jak otrzyma konto na klastrze? WNIOSKI do wypełnienia: http://www.man.poznan.pl/oferta/nauka/ FORMULARZ NA WWW: http://sherwood.man.poznan.pl/new_user
Sposób dostpu do klastra Praca interaktywna: SSH (Linux/*nix: ssh (OpenSSH). MS Windows: putty, TTYSSH, OpenSSH). Aplikacje graficzne: konieczno włczenia X11 Forwarding w ssh. Przesyłanie plików: SCP lub SFTP (Linux/*nix: scp, sftp. MS Windows: WinSCP, PSCP, PFTP)
Podstawy pracy z systemem GNU/Linux Domylny shell: bash Podstawowe polecenia: man, cd, mkdir, cp, mv, rm, ps, du Edytory tekstowe: vim, pico Manager plików, edytor, ftp: mc (GNU Midnight Commander) Kalkulator: calc (dowolna precyzja) Zmiana hasła: passwd Zmiana shell'a: chsh Klucze ssh Poczta Wicej informacji: http://www.man.poznan.pl/~mzawadzk/faq
Podstawy pracy z systemem GNU/Linux WICZENIA PRAKTYCZNE:
Kompilowanie własnych programów Kompilatory Intel C/C++ i Fortran: icc (C/C++) ifort (Fortran 90/95/77) Kompilatory GNU gcc (C/C++) f77 (Fortran 77) Wicej informacji: /usr/local/doc
Kompilowanie własnych programów MPI: Intel: mpi_icc, mpif90 GNU: mpi_gcc, mpif77 Uruchamianie: mpirun -np LICZBA_PROCESORÓW Wicej informacji: /usr/local/doc
Zlecanie zada obliczeniowych Dlaczego jest potrzebny system kolejkowy: zabezpieczenie przed przecieniem maszyny uruchamianie zada na wzłach klastra sprawiedliwy podział zasobów nadawanie priorytetów zadaniom, uytkownikom i grupom kontrola zada w całym klastrze
Zlecanie zada obliczeniowych System kolejkowy OpenPBS: darmowy wsparcie dla rónych architektur sprztowych dostpny kod ródłowy moliwo zakupienia wersji komercyjnej
Zlecanie zada obliczeniowych Wywietlanie dospnych kolejek: qstat -Q qstat -Q -f Zlecenie zadania: qsub [-q NAZWA_KOLEJKI] skrypt_startowy Wicej informacji: man pbs
Zlecanie zada obliczeniowych Wywietlanie stanu zadania: qstat qstat -f Usunicie zadania: qdel IDENTYFIKATOR_ZADANIA Wicej informacji: man pbs
Zlecanie zada obliczeniowych WICZENIA PRAKTYCZNE:
Optymalizacja oblicze krótkie wprowadzenie Dlaczego trzeba optymalizowa obliczenia na IA-64? Podstawowe narzdzia optymalizacyjne: kompilatory (opcje -O1 -O2 -O3) narzdzia optymalizacyjne: pfmon, qprof inne Co zrobi, aby zlikwidowa nieoptymalne fragmenty?
Optymalizacja oblicze krótkie wprowadzenie WICZENIA PRAKTYCZNE:
Zgłaszanie problemów Jak zgłasza problem, aby najszybciej uzyska pomoc: http://www.man.poznan.pl/~mzawadzk/faq#1.1. Dlaczego lepiej zgłasza problemy przez email ni telefonicznie? Administratorzy: Piotr Siwczak <psiwczak@man.poznan.pl> Marek Zawadzki <mzawadzk@man.poznan.pl>
Wicej informacji /etc/motd http://www.man.poznan.pl http://www.sherwood.man.poznan.pl http://www.man.poznan.pl/~mzawadzk http://groups.google.pl http://www.linux.org/lessons http://www-unix.mcs.anl.gov/mpi/mpich/
Dziekuj za uwag. Pytania?
Zarzdzania klastrem PCSS krótki wstp dla zainteresowanych Debian GNU/Linux SystemImager NFS, OpenSSH MPICH OpenPBS