Wprowadzenie do obliczeń na komputerach ICM
|
|
- Rafał Kołodziej
- 8 lat temu
- Przeglądów:
Transkrypt
1 Dobre praktyki obliczeń wielkoskalowych 1 Wprowadzenie do obliczeń na komputerach ICM Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego Uniwersytet Warszawski Maciej E. Marchwiany m.marchwiany@icm.edu.pl Szymon Jaranowski s.jaranowski@icm.edu.pl
2 Dobre praktyki obliczeń wielkoskalowych 2
3 Dobre praktyki obliczeń wielkoskalowych 3
4 Plan Sieć i zasoby komputerowe ICM Dostęp do zasobów ICM Podstawy pracy z systemem Linux/UNIX Środowisko użytkownika Uruchamianie zadań Ćwiczenia Dobre praktyki obliczeń wielkoskalowych 4
5 Sieć i zasoby komputerowe ICM Dobre praktyki obliczeń wielkoskalowych 5
6 ICM sieć ssh halo2 ssh ssh notos gw / delta ssh boreasz Dobre praktyki obliczeń wielkoskalowych 6
7 Komputery w ICM KOMPUTER węzeł maks. rozmiar zadania równoległego CPU / czas pamięć CPU / czas pamięć halo2 16 rdzeni 16 GB Linux x86_64 16 rdzeni 32 GB 512 rdzeni 1 TB Sun Constellation 64 rdzenie / 168 h 512 GB notos Linux ppc32 IBM Blue Gene/P 4 rdzenie / 32 h 4 GB 2048 rdzeni / 1 min (kolejka do testów skalowalności) 2 TB boreasz AIX ppc64 IBM Power rdzenie / 24 h 128 GB 2432 rdzenie / 5 h 512 rdzeni / 24 h 9,7 TB 2 TB grom Obliczenia na kartach graficznych (Nvidia GeForce 480 GTX). Niestadardowy dostęp! Dobre praktyki obliczeń wielkoskalowych 7
8 Dostęp do zasobów ICM Dobre praktyki obliczeń wielkoskalowych 8
9 ICM sieć ssh halo2 ssh ssh notos gw / delta ssh boreasz Dobre praktyki obliczeń wielkoskalowych 9
10 ICM logowanie WIN Dobre praktyki obliczeń wielkoskalowych 10
11 ICM logowanie WIN Dobre praktyki obliczeń wielkoskalowych 11
12 ICM logowanie WIN Dobre praktyki obliczeń wielkoskalowych 12
13 ICM logowanie Linux Zdalne logowanie ma maszyny: ssh ssh Otwieranie sesje X-Window na zdalnych maszynach: ssh YC Logujemy się na węzeł dostępowy gw/delta, a z niego na maszyne obliczeniową przez: ssh nazwa_maszyny Np: ssh halo Dobre praktyki obliczeń wielkoskalowych 13
14 Podstawy pracy z systemami Linux/UNIX Dobre praktyki obliczeń wielkoskalowych 14
15 terminal Dobre praktyki obliczeń wielkoskalowych 15
16 Logowanie Na każdej z maszyn obliczeniowych odseparowany katalog domowy Logowanie tylko przez ssh Niektóre komputery wymagają wcześniejszego zgłoszenia w celu dostępu pomoc@icm.edu.pl Powłoka użytkownika Domyślna powłoka użytkownika (shell) tcsh Wyjątek Blue Gene/P notos bash Zmiana domyślnej powłoki nie jest możliwa Użytkownik ma swoje konto (login) Na wszystkich komputerach (i na poczcie) ten sam login i hasło jak na delcie Korzystamy tylko ze swojego konta (regulamin ICM) Dobre praktyki obliczeń wielkoskalowych 16
17 ls Wyświetlanie zawartości katalogów ls wyświetla zawartość bieżącego katalogu ls sciezka_dostepu wyświetla zawartość wskazanego katalogu ls *.roz wyświetla wszystkie pliki z rozszerzeniem.roz przydatne opcje: -a wyświetla ukryte pliki -t sortowanie według czasu modyfikacji -r odwraca kolejność sortowania -l - wyświetla pełną informacje Dobre praktyki obliczeń wielkoskalowych 17
18 System plików Korzeń drzewa root / Pliki systemowe urządzenia Katalogi domowe Katalogi użytkownika /var /etc /bin /lib... /mnt... /doc /photo /outy /test... lfs quota /home - wyświetla limity dyskowe Dobre praktyki obliczeń wielkoskalowych 18
19 Poruszanie się pwd wyświetla aktualną ścieżkę dostępu Wejście do katalogu: cd sciezka_dostepu Przydatne katalogi:./ bieżący katalog../ katalog o poziom wyżej ~/ katalog domowy / root Np: cd../ przejście o poziom wyżej Ścieżki dostępu ścieżka bezwzględna: /home/users/mfroncz/docs/readme.txt ścieżka względna: docs/readme.txt Dobre praktyki obliczeń wielkoskalowych 19
20 Tworzenie i niszczenie Tworzenie nowego katalogu mkdir katalog Kasowanie pliku: rm plik Kasowanie pustego katalogu: rmdir katalog Kasowanie katalogu wraz z zawartością: rm -rf katalog UWAGA! Nieodwracalne Dobre praktyki obliczeń wielkoskalowych 20
21 Kopiowanie Kopiowanie plików: cp plik_zrodlo plik_cel Np: cp a.out spline.exe cp sciezka_do_kat/plik_zrodlo sciezka_do_kat/plik_cel Np.: cp./test/out.out../testy/test1.out Jeśli nie chcemy zmieniać nazwy pliku wystarczy podać katalog docelowy: cp./test/test1.out../testy/ Kopiowanie katalogów opcja -r: cp -r kat_zrodlo kat_cel mv zamiast kopiowania zastępuje (kopiuje i usuwa źródło) Dobre praktyki obliczeń wielkoskalowych 21
22 Pliki Oznaczenia plików: * wszystkie pliki plik.* pliki o nazwie plik i dowolnym rozszerzeniu *.roz wszystkie pliki o rozszerzeniu.roz a* wszystkie pliki zaczynające się od a Rozszerzenia plików Rozszerzenia plików są dowolne. Powinny jednak sugerować użytkownikowi rodzaj zawartość pliku. Niektóre programy wymagają określonej nazwy pliku i/lub rozszerzenia Dobre praktyki obliczeń wielkoskalowych 22
23 Podgląd plików Podgląd plików: file plik opisuje typ pliku cat plik wyświetla zawartość pliku na ekranie (wyjście std.) more plik wyświetla zawartość pliku z opcją przewijania less plik wyświetla zawartość pliku z opcją przewijania wstecz Podstawowe komendy (przeglądanie plików): q wyjście, /wzorzec szukanie wzorca Przeszukiwanie plików: grep wzorzec pliki Np: grep H2 prot.pdb Dobre praktyki obliczeń wielkoskalowych 23
24 nano nano plik otwiera plik do edycji nano w plik otwiera plik do edycji bez zawijania wierszy Podstawowe komendy: Ctrl + x wyjście Ctrl + c zapisanie Ctrl + w szukanie F2 wyjście z zapisaniem Dobre praktyki obliczeń wielkoskalowych 24
25 vim vim plik.txt otwiera plik Podstawowe komendy: :w zapisywanie :q wyjście :wq zapisanie i wyjście :cq wyjście bez zapisywania i wejście w tryp edycji o przejście do nowej lini i trybu edycji dd usunięcie całej lini /wzorzec znajdowanie wzorzec Esc wyjście z trybu edycji Dobre praktyki obliczeń wielkoskalowych 25
26 Prawa dostępu do plików i katalogów Użytkownicy podzieleni są na: właściciel pliku (user) grupa, do której należy właściciel (group) pozostali użytkownicy (others) Prawa do operacji na pliku: prawo do odczytu (read) prawo do zapisu (write) prawo do wykonywania (execute) 263:spj@halo2:/home/staff/spj/szkolenie# ls abc plik1 plik2 264:spj@halo2:/home/staff/spj/szkolenie# ls -l total 12 drwxr-xr-x 2 spj users 4096 Feb 19 16:46 abc -rw-r--r-- 1 spj users 23 Feb 19 16:45 plik1 -rw-r--r-- 1 spj users 37 Feb 19 17:56 plik2 Wszystkie pliki domyślnie mogą być czytane przez wszystkich Dobre praktyki obliczeń wielkoskalowych 26
27 Zmiana praw dostępu chmod zmienia prawa dostępu Kombinacja: 1) litera: u (user), g (group), o (others), a (all) 2) operator: = (ustawienie na podane prawa) + (dodanie praw) - (odjęcie praw) 3) prawo dostępu: r (read), w (write), x (execute) Np: chmod g-w,o-rw test.exe chmod g-r szkolenie/plik2 chmod a-w plik Dobre praktyki obliczeń wielkoskalowych 27
28 Praca w systemie Linux Uruchamianie programów./test.exe Uruchamianie z parametrami./test2.exe input.xyz Przekierowanie wyjścia do pliku:./test.exe >> plik.out Przydatne skróty Tab dokańcza ścieżkę/nazwę pliku/komendę (jeśli jest jednoznaczna) Ctrl + d pokazuje możliwe dokończenia / kończy sesję Ctrl + c przerywa działanie programu Ctrl + l czyści terminal up/down poruszanie się po historii używanych komend Dobre praktyki obliczeń wielkoskalowych 28
29 tar Pakowanie pliku z wyświetleniem pakowanych plików/katalogu: tar -cvf plik.tar plik_do_pakowania tar -zcvf plik.tar.gz plik_do_spakowania tar jcvf plik.tar.bz2 plik_do_spakowania tar Jcvf plik.tar.xz plik_do_spakowania Rozpakowanie pliku: tar -xvf plik.tar tar -zxvf plik tar.gz tar -jxvf plik.tar.bz2 tar -Jxvf plik.tar.xz Na Boreaszu: /opt/freeware/bin/tar Otwierać spakowane pliki można także przez mc Dobre praktyki obliczeń wielkoskalowych 29
30 mc Dobre praktyki obliczeń wielkoskalowych 30
31 man Wyświetlenie manuala dla polecenia: man polecenie Np: man man Pozwala znaleźć: nazwy poleceń podobnych i stowarzyszonych. składnia krótki opis szczegółowy opis opcji Dobre praktyki obliczeń wielkoskalowych 31
32 WIN a UNIX Znak końca linii: DOS: ^M^R UNIX: ^R Konwertowanie plików z WIN do UNIX: dos2unix plik Dobre praktyki obliczeń wielkoskalowych 32
33 Ćwiczenie 1 1. Utworzyć katalog cw (mkdir). 2. Wejść do niego (cd). 3. Skopiować (cp) do niego plik /workspace/spj/romeoandjuliet.tar.gz 4. Rozpakować (tar). 5. Znaleźć błąd: JULIA zamiast JULIET (grep). 6. Poprawić ten błąd (nano). 7. Usunąć cały katalog cw (rm).
34 Środowisko użytkownika Dobre praktyki obliczeń wielkoskalowych 34
35 Języki i kompilatory C/C++ (GNU, PGI, IBM [XL]) ze wsparciem MPI Fortran (77, 90, 95, 2003, GNU, PGI, IBM [XL]) + MPI Python (2.x, 3.x) Java (implementacje Sun, Oracle, GNU, IBM) Debuggery (PDB oparte na DBX, w niedalekiej przyszłości TotalView) Biblioteki numeryczne BLAS, LAPACK (w tym zoptymalizowane wersje, takie jak ATLAS, ACML [AMD], ESSL [IBM]) FFTW PETSc, Hypre Inne na życzenie: pomoc@icm.edu.pl Dobre praktyki obliczeń wielkoskalowych 35
36 module Wyświetlenie listy dostępnych modułów: module avail Wyświetlenie listy załadowanych modułów: module list Załadowanie moduł nazwa_modulu: module load nazwa_modulu Usunięcie załadowanego moduł nazwa_modulu: module rm nazwa_modułu module unload nazwa_modułu Np: module load pgi/ Dobre praktyki obliczeń wielkoskalowych 36
37 Podstawy powłok systemowych Powłoka systemowa to program wykonujący polecenia, które wydajemy w terminalu Istnieją różne powłoki (sh, csh, tcsh, ksh, bash, zsh, inne) Najpopularniejszy w Linuxie bash, w ICM domyślnie - tcsh Różnice w działaniu są niewidoczne na pierwszy rzut oka, ale: Operacja Bash tcsh Ustawienie zmiennej środowiskowej Przekierowanie strumienia stdout do pliku Przekierowanie strumienia stderr export ZMIENNA=WARTOSC setenv ZMIENNA WARTOSC program > plik program > plik program 2> plik - Przekierowanie stdout i stderr ze zlepieniem program > plik 2>&1 program >& plik Pętla for for i in `` do done foreach i () end Najwięcej różnic w składni skryptów Dobre praktyki obliczeń wielkoskalowych 37
38 Zmienne środowiskowe Zmienne środowiskowe to specjalne zmienne używane i predefiniowane przez system operacyjny Przykładowe: $HOME $SHELL $USER $PWD $JAVA_HOME $PYTHONPATH Ustawienie wartości zmiennej Tcsh: setenv setenv PWD /opt/goto Bash: export export PWD= /opt/goto Dobre praktyki obliczeń wielkoskalowych 38
39 scp Kopiowanie plików do ICMu: scp -C -p plik Kopiowanie plików z ICMu: scp -C -p login@gw.icm.edu.pl:~/plik./ -C włącza kompresje -p zachowuje oryginalną datę stworzenia -r kopiowanie podkatalogu Kopiowanie katalogów: scp -r -C -p katalog login@gw.icm.edu.pl: scp -r -C -p login@gw.icm.edu.pl:~katalog./ Dobre praktyki obliczeń wielkoskalowych 39
40 WinSCP gw.icm.edu.pl login hasło Dobre praktyki obliczeń wielkoskalowych 41
41 WinSCP praca Dobre praktyki obliczeń wielkoskalowych 42
42 Dostęp do poczty Użytkownik powinien regularnie sprawdzać pocztę! Wszystkie informacje ważne dla użytkownika będą wysyłane drogą mailową. Nazwa skrzynki: Dostęp do poczty: webmail mutt alpine przekierowanie poczty (plik.forward) programy pocztowe (np. Thunderbird) Dobre praktyki obliczeń wielkoskalowych 43
43 webmail Adres: webmail.icm.edu.pl Dobre praktyki obliczeń wielkoskalowych 44
44 Sprawdzanie poczty w terminalu Sprawdzanie poczby w terminalu: mutt alpine Dobre praktyki obliczeń wielkoskalowych 45
45 mutt komendy Podstawowe komendy: q wyście d usunięcie maila u cofnięcie usunięcia maila s zapisanie m nowy mail r odpowiedz na maila g odpowiedz do wszystkich? wyświetla wszystkie możliwe komendy Tworzenie wiadomości: 1) Ustalenie adresata 2) Wpisanie tytułu 3) Edycja treści (jak w vim-ie) 4) Wysłanie Komendy przy wysyłaniu: y wysłanie, t zmiana adresata, c dodanie kopii, a dołączenie pliku, q wyjście Dobre praktyki obliczeń wielkoskalowych 46
46 Uruchamianie zadań Dobre praktyki obliczeń wielkoskalowych 47
47 Podstawowy systemu kolejkowego System kolejkowy pośredniczy między użytkownikiem, a procesorami dedykowanymi do obliczeń Nie uruchamiamy programów samodzielnie System kolejkowy decyduje o przydziale zasobów i uruchamia kolejno zadania użytkowników Rodzaje systemów kolejkowych w ICM (2013) PBS/Torque klastry x86 (halo2) LoadLeveler Blue Gene/P, Power 775, Blue Gene/Q Dobre praktyki obliczeń wielkoskalowych 48
48 System kolejkowy PBS/Torque (klastry) Podstawowe polecenia (halo2): qsub wstawianie zadania do kolejki qstat sprawdzanie statusu zadania wstawionego do kolejki qdel usuwanie zadania z kolejki qalter zmiana parametrów zadania w kolejce Dobre praktyki obliczeń wielkoskalowych 49
49 System kolejkowy LoadLeveler (BlueGene) Podstawowe polecenia (notos, boreasz, nostromo): llsubmit wstawianie zadania do kolejki llq sprawdzanie statusu zadania wstawionego do kolejki llcancel usuwanie zadania z kolejki llmodify zmiana parametrów zadania w kolejce Dobre praktyki obliczeń wielkoskalowych 50
50 Podstawy systemu kolejkowego W każdym systemie kolejkowym: Tworzymy zadanie, czyli: opis wymaganych zasobów instrukcje uruchamiające program lub programy W postaci tzw. skryptu kolejkowego pliku tekstowego o określonej składni Skrypt kolejkowy jest argumentem dla poleceń qsub, llsubmit Dobre praktyki obliczeń wielkoskalowych 51
51 Tworzenie skryptów Skrypt to plik tekstowy zawierający kolejne komendy do wykonania przez powłokę systemową Pierwsza linia to zawsze: #!/bin/sh Oznacza sposób wywołania powłoki, która będzie interpretować skrypt (interpreter) Kolejne linie zawierają polecenia systemowe i polecenia (tej) powłoki Znak # na początku linii oznacza komentarz #!/bin/sh echo Hello world! #koniec Dobre praktyki obliczeń wielkoskalowych 52
52 System PBS Na przykładzie klastra Halo Dobre praktyki obliczeń wielkoskalowych 54
53 Halo2 - Skrypty PBS #!/bin/tcsh #PBS -N przyklad #PBS -q halo2 #PBS -A G01-77 #PBS -l nodes=1:ppn=16 #PBS -l mem=14gb #PBS -l walltime=02:00:00 #PBS -m abe #PBS -M XYZ@icm.edu.pl # ustaw srodowisko cd $PBS_O_WORKDIR/ module load mpi echo Job started at `date` # wykonaj obliczenia mpirun./cpi Blok dyrektyw PBS Użycie zmiennej środowiskowej Załadowanie modułu Uruchomienie programu echo Job finished at `date` Dobre praktyki obliczeń wielkoskalowych 55
54 Halo2 - Skrypty PBS #!/bin/tcsh #PBS -N przyklad #PBS -q halo2 #PBS -A G01-77 #PBS -l nodes=1:ppn=16 #PBS -l mem=14gb #PBS -l walltime=02:00:00 #PBS -m abe #PBS -M XYZ@icm.edu.pl Pierwsza linia skryptu zawiera ścieżkę do interpretera (shell), który ma wykonać skrypt na przydzielonym węźle obliczeniowym Nazwa zadania (widziana w kolejce) Nazwa kolejki Projekt Liczna używanych węzłów oraz procesorów Całkowita pamięć przydzielona na zadanie Maksymalny czas wykonywania skryptu Opcje wysyłania maila Adresat maila Dobre praktyki obliczeń wielkoskalowych 56
55 Halo2 - #PBS -q Rodzaje kolejek halo2 duże zadania obliczeniowe, normalna praca test zadania testowe, bardzo krótkie zadania bigmem dedykowana dla zadań wymagających wiele pamięci interactive dedykowana dla zadań interaktywnych Nazwa kolejki Dyrektywa #PBS Limit czasowy dla zadania Limit węzłów dla zadania Test -q test 1:00:00 2 halo2 -q halo2 336:00:00 32 bigmem -q bigmem 168:00:00 5 interactive -q interactive 12:00: Dobre praktyki obliczeń wielkoskalowych 57
56 Halo2 - #PBS -A #PBS -A projekt projekt nazwa grantu realizowanego w ICM przez użytkownika groups wypisuje akceptowane nazwy grantów Dla użytkowników należących do wielu grantów obliczeniowych wymagane jest podanie właściwego grantu w skrypcie kolejkowym Dobre praktyki obliczeń wielkoskalowych 58
57 Halo2 - #PBS -l #PBS -l nodes=1:ppn=16 #PBS -l nodes=2:ppn=16 Zadanie jest wykonywane na jednym węźle i szesnastu rdzeniach Zadanie jest wykonywane na dwóch węźle i po szesnaście rdzeni na każdym (w sumie 32 rdzenie) #PBS -l nodes=2:ppn=16+1:ppn=8 Zadanie jest wykonywane na trzech węzłach: dwa węzły po szesnaście rdzeni i jeden z ośmioma (w sumie 40 rdzeni) #PBS -l mem=15gb #PBS -l walltime=02:00:00 Całkowita pamięć przydzielona do zadania wynosi 15 GB Na węźle jest 16/32GB, ale część zajmuje system. Należy używać: na mniejszych węzłach: mem=<15gb na większych węzłach: mem=<30gb aby użyć więcej pamięci: -q bigmem Maksymalny czas wykonywania zadania Format: hhh:mm:ss Dobre praktyki obliczeń wielkoskalowych 59
58 Halo2 - #PBS M/m #PBS -M mail[@host][,mail2[@host2]] Skrypt wysyła maila na wskazany adres Obsługiwane są tylko maile ICM'owe #PBS -m abe Opcje wysłania maila a mail jest wysyłany po zatrzymaniu skryptu b mail jest wysyłany po starcie skryptu e mail jest wysyłany po zakończeniu skryptu n mail nie jest wysyłany Dobre praktyki obliczeń wielkoskalowych 60
59 Halo2 - Zmienne środowiskowe PBS PBS_O_WORKDIR ścieżka absolutna do katalogu z którego uruchamiane jest zadanie PBS_JOBID identyfikator zadania w systemie PBS PBS_NODEFILE ścieżka absolutna do pliku zawierającego nazwy węzłów obliczeniowych odpowiadające przydzielonym procesorom PBS_TASKNUM liczba dostępnych procesorów w ramach zadania Zmienne mogą być używane wyłącznie wewnątrz skryptu lub zadania interaktywnego Dobre praktyki obliczeń wielkoskalowych 61
60 Halo2 - Uruchamianie zadań System PBS qsub skrypt.pbs Wstawia skrypt.pbs do kolejki qsub może przyjmować jako argument komendy PBS qsub -q test skrypt.pbs Tryb interaktywny Pozwala na bezpośrednie uruchamianie obliczeń qsub -I -l nodes=2:ppn=16 -l mem=128mb -l walltime=1:00:00 \ -A G q test Dostępny tylko na klastrach (PBS) Dobre praktyki obliczeń wielkoskalowych 62
61 Halo2 - qstat qstat Wyświetla wszystkie zadania w kolejce -f wszystkie informacje o zadaniach -a cała informacja o zadaniach -i wyświetla niedziałające zadania -r wyświetla działające zadania -n wyświetla informacje o węzłach -G wyświetla informacje o zużyciu pamięci -u user wyświetla zadanie usera -q wyświetla informacje o zadaniach w kolejkach qstat -f job_id Dobre praktyki obliczeń wielkoskalowych 63
62 Halo2 - qstat Job id Name User Time Use S Queue halo2 quickstart krzywojc 0 Q halo halo2 hmcn14b11.0 gabrielw 4902:17: R halo halo2 hmcn14b14.0 gabrielw 1312:07: R halo halo2 hmcn14b15.0 gabrielw 1195:46: R halo halo2 jg5 kulcz 4433:42: R halo halo2 run_3br1c taye 4367:30: R halo halo2 run_3br2c taye 4355:00: R halo halo2 hmcn14b10.0 gabrielw 1134:16: R halo halo2 run_g09 lesiuk 4073:37: R halo halo2 run_g09_2 lesiuk 4074:56: R halo halo2 energie39_acct_ alimalek 492:07:0 R halo halo2...4_SLAB12_asym lju 3704:45: R halo halo2 1TMG maria 10826:25 R halo halo2 hmcn12b16.0 magiersk 2636:42: C halo halo2 cfourtest januszc 68:48:53 R halo halo2 go1 broy 2499:40: R halo halo2 DOH_Zn1_A1_6 hyperion 1952:25: R halo halo2 adrian1.obl rbalawen 953:37:3 R halo halo2 MgbCAccsd.sh mpgro 406:08:0 R halo halo2 HMgC3Nccsd.sh mpgro 155:15:0 R halo halo2 gamess wojbur 830:59:5 R halo halo2 gamess wojbur 831:26:5 R halo Dobre praktyki obliczeń wielkoskalowych 64
63 Halo2 - qdel/qalder qdel Job_id Usuwa zadanie Job_id z kolejki qalter Job_id [-opcja wartosc] Zmiena parametry skryptu W qalter opcje są takie same jak w qsub. Podaje się tylko zmieniane wartości. qalter N test2 Zmienia nazwę zadania 3215 na test Dobre praktyki obliczeń wielkoskalowych 65
64 System LoadLeveler Na przykładzie Notos i Boreasz Dobre praktyki obliczeń wielkoskalowych 66
65 Uruchamianie zadań IBM LoadLeveler Zasoby obliczeniowe komputera Notos zarządzane są przez system kolejkowy IBM LoadLeveler Zadania wstawiamy do kolejki z katalogu domowego, tam trzymamy również input i output obliczeń Wstaw zadanie do kolejki Zadania LoadLeveler Znajdź zasoby dla zadań i zdefiniuj partycje obliczeniowe Uruchom zadanie Pobierz informację o zasobach i zadaniach Blue Gene mpirun Blue Gene Bridge API Dobre praktyki obliczeń wielkoskalowych 67
66 Uruchamianie zadań IBM LoadLeveler Podstawowe komendy: Komenda llsubmit llq llq s <job_id> llcancel <job_id> llclass Krótki opis Wstawia do kolejki zadanie LoadLeveler. Pokazuje zadania w kolejce (te uruchomione i te czekające na zasoby) wraz z dodatkową informacją. Pokazuje więcej informacji o zadaniu, np. dlaczego wciąż stoi w kolejce, ile dokładnie zasobów zadeklarowaliśmy,.. Usuwa zadanie z kolejki. Pokazuje informację o aktualnie zdefiniowanych klasach. Wstawianie zadania do kolejki: llsubmit <jobfile name> Dobre praktyki obliczeń wielkoskalowych 68
67 Przykładowe wywołanie: llq llq Step Id Owner Account Job Name Class Size ST notos panecka G31-4 R53A_v3_b_P kdm-large I notos panecka G31-4 R53A_3_b_nP kdm-large I notos panecka G31-4 f_3_b_p kdm-large I notos panecka G31-4 K42A_3_b_nP kdm-large I notos panecka G31-4 full_v3_b_np kdm-large I notos panecka icm-staf f_v3_99_np kdm-large I notos panecka G31-4 K42A_v3_b_P kdm-large I notos panecka G31-4 K43Q_v3_b_P kdm-large I notos panecka G31-4 K43Q_3_b_nP kdm-large I notos memar icm-staf nwchem1 workshop 32 R notos fleon G31-4 namd_ab kdm-large 512 R 11 job step(s) in queue, 9 waiting, 0 pending, 2 running, 0 held, 0 preempted Dobre praktyki obliczeń wielkoskalowych 69
68 Przykładowe wywołanie: llq -s llq -s 1863 =============== Job Step notos.icm.edu.pl =============== Job Step Id: notos.icm.edu.pl Job Name: namd_ab Owner: fleon Queue Date: Fri 03 Jun :05:13 AM CEST Status: Running Dispatch Time: Tue 07 Jun :00:47 PM CEST Size Requested: 512 Size Allocated: 512 Partition Allocated: LL Base Partition List: R00-M0 IONodes Per BP: N00-J00,N01-J00,N02-J00,N03-J00,N04-J00,N05-J00,N06-J00,N07-J00,N08-J00,N09-J00,N10- J00,N11-J00,N12-J00,N13-J00,N14-J00,N15-J00 Notify User: LoadLeveler Group: G31-4 Class: kdm-large Wall Clk Hard Limit: 8+08:00:00 ( seconds) Wall Clk Soft Limit: 8+08:00:00 ( seconds) Account: G31-4 ==================== EVALUATIONS FOR JOB STEP notos.icm.edu.pl ==================== The status of job step is : Running Since job step status is not Idle, Not Queued, or Deferred, no attempt has been made to determine why this job step has not been started Dobre praktyki obliczeń wielkoskalowych 70
69 Notos - przykładowy skrypt job_name = Ping_pong account_no = grupa class = kdm error = ping_pong.err output = ping_pong.out environment = COPY_ALL wall_clock_limit = 00:20:00 notification = error notify_user = $(user)@icm.edu.pl job_type = bluegene bg_size = 32 queue (Przykłady w /opt/examples/loadleveler) Blok dyrektyw LoadLeveler mpirun -exe ping_pong -mode SMP -np 32 Uruchomienie programu Dobre praktyki obliczeń wielkoskalowych 71
70 Notos budowa skryptu kolejkowego Pola wymagane: Opcja Znaczenie job_type = bluegene Ustawia typ zadania. Powinno być zawsze ustawione na bluegene. bg_size = N Liczba węzłów obliczeniowych Blue Gene/P do rezerwacji, rozmiar partycji. account_no = nr grantu wall_clock_limit = HH:MM:SS Numer grantu obliczeniowego użytkownika. Używane w celach sprawozdawczych. Maksymalna długość działania zadania od momentu jego uruchomienia. class = klasa Wybranie klasy zadania. Dostępne klasy: llclass. Nie wszyscy użytkownicy mają dostęp do wszystkich klas. output = plik Nazwa pliku, do którego trafi przekierowanie standardowego strumienia wyjścia. Domyślnie /dev/null. error = plik Nazwa pliku, do którego trafi przekierowanie standardowego strumienia błędu. Domyślnie /dev/null Dobre praktyki obliczeń wielkoskalowych 72
71 Notos budowa skryptu kolejkowego Pola opcjonalne: Opcja bg_connection = MESH/TORUS/PREFER_TOR US environment = env1; env2;.. Znaczenie Określa sposób połączenia sieciowego pomiędzy węzłami. Domyślnie: MESH. Określa sposób kopiowania zmiennych środowiskowych użytkownika do środowiska obliczeniowego. Możliwe ustawienia: COPY_ALL - wszystkie zmienne ze środowiska będą kopiowane, $var - zmienna var ma być kopiowana do środowiska obliczeniowego,!var - zmienna var nie ma być kopiowana do środowiska obliczeniowego, var=value - zmienna var ma przyjąć wartość value w środowisku obliczeniowym. job_name = nazwa zadania Ustawia nazwę zadania. Pod taką nazwą będzie widziane zadanie w systemie. initialdir = dir Ścieżka roboczego katalogu obliczeń Dobre praktyki obliczeń wielkoskalowych 73
72 Notos budowa skryptu kolejkowego Pola opcjonalne: Opcja Znaczenie notification = typ Definiuje, w jakich przypadkach wysyłany jest mail do właściciela zadania. Możliwe argumenty: error - gdy zadanie zakończyło się błędem, start - gdy zadanie zaczęło się liczyć, complete - gdy zadanie się zakończyło, always - we wszystkich powyższych przypadkach, never - nigdy. notify_user = użytkownika, do którego ewentualne maile będą wysyłane. Format argumentu: user[@host][,user[@host],...]. bg_shape = <X>x<Y>x<Z> bg_rotate = <true false> Definiuje ilość podstawowych partycji (midplane) w trzech kierunkach X, Y oraz Z. Określa, czy scheduler LoadLeveler-a powinien rozpatrywać wszystkie możliwe obroty zadanego kształtu. Domyślnie true Dobre praktyki obliczeń wielkoskalowych 74
73 Podstawowe opcje mpirun (mpirun h) Opcja -np ranks -exe <executable> -args program args -cwd <path> -mode <SMP,DUAL,VN> Znaczenie Ilość ranków MPI. Nazwa pliku wykonywalnego zadania. Argumenty pliku wykonywalnego zadania. Ścieżka katalogu roboczego zadania. Specyfikuje tryb pracy węzłów. SMP 1 rank, 4 threads DUAL 2 ranks, 2 threads each VN 4 ranks, 1 thread each Zależność pomiędzy trybem pracy węzłów, rozmiarem partycji oraz ilością ranków MPI Tryb VN: ilość ranków MPI = 4 x rozmiar partycji Tryb DUAL: ilość ranków MPI = 2 x rozmiar partycji Tryb SMP: ilość ranków MPI = rozmiar partycji Dobre praktyki obliczeń wielkoskalowych 75
74 Zmienne środowiskowe Załóżmy, że chcemy przekazać środowisku obliczeniowemu ustawienia poprzez zmienne środowiskowe Ustawianie zmiennych środowiskowych w skrypcie LoadLeveler-a nie wystarczy Musimy wykonać to przy użyciu argumentu mpirun: -env <nazwa zmiennej>=<wartość zmiennej> (zmienne podawane pojedynczo) -exp_env <nazwa zmiennej> Dobre praktyki obliczeń wielkoskalowych 76
75 Notos - aktualna konfiguracja LoadLeveler-a Klasa KDM bez ograniczenia na ilość węzłów, wallclock 1h, cputime 32h, priorytet 10 Przeznaczenie: podstawowe testy oprogramowania, kompilacja, uruchomienie, testy skalowalności do 512 węzłów Klasa KDM-LONG bez ograniczenia na ilość węzłów, wallclock 360h, priorytet 85 Przeznaczenie: rozszerzone testy skalowalności, obliczenia Klasa POWIEW bez ograniczeń na ilość węzłów, wallclock 360h, priorytet 90 Przeznaczenie: obliczenia Dobre praktyki obliczeń wielkoskalowych 77
76 Boreasz- przykładowy skrypt job_name = Calculations #@ output = $(job_name)_$(jobid) #@ error = $(job_name)_$(jobid) #@ account_no = G33-19 #@ class = kdm #@ node = 16 #@ tasks_per_node = 32 #@ wall_clock_limit = 08:00:00 #@ network.mpi = sn_all,not_shared,us,high #@ notification = never #@ environment = COPY_ALL #@ job_type = parallel #@ queue mpiexec -n 512./executable Blok dyrektyw LoadLeveler Uruchomienie programu Dobre praktyki obliczeń wielkoskalowych 78
77 Boreasz budowa skryptu kolejkowego Pola wymagane: Opcja Znaczenie job_type = parallel Ustawia typ zadania. Powinno być zawsze ustawione na parallel. node = N Liczba węzłów obliczeniowych do rezerwacji, rozmiar partycji. tasks_per_node = K Ilość tasków MPI przypadających na jeden węzeł account_no = nr grantu wall_clock_limit = HH:MM:SS Numer grantu obliczeniowego użytkownika. Używane w celach sprawozdawczych. Maksymalna długość działania zadania od momentu jego uruchomienia. class = klasa Wybranie klasy zadania. Dostępne klasy: llclass. Nie wszyscy użytkownicy mają dostęp do wszystkich klas. output = plik Nazwa pliku, do którego trafi przekierowanie standardowego strumienia wyjścia. Domyślnie /dev/null. error = plik Nazwa pliku, do którego trafi przekierowanie standardowego strumienia błędu. Domyślnie /dev/null. network.mpi = mode Ustawienia sieci komunikacji (powinno być: sn_all,not_shared,us,high) Dobre praktyki obliczeń wielkoskalowych 79
78 Boreasz budowa skryptu kolejkowego Pola opcjonalne: Opcja Znaczenie notification = typ Definiuje, w jakich przypadkach wysyłany jest mail do właściciela zadania. Możliwe argumenty: error - gdy zadanie zakończyło się błędem, start - gdy zadanie zaczęło się liczyć, complete - gdy zadanie się zakończyło, always - we wszystkich powyższych przypadkach, never - nigdy. notify_user = użytkownika, do którego ewentualne maile będą wysyłane. Format argumentu: user[@host][,user[@host],...]. environment = env1; env2;.. Określa sposób kopiowania zmiennych środowiskowych użytkownika do środowiska obliczeniowego. Możliwe ustawienia: COPY_ALL - wszystkie zmienne ze środowiska będą kopiowane, $var - zmienna var ma być kopiowana do środowiska obliczeniowego,!var - zmienna var nie ma być kopiowana do środowiska obliczeniowego, var=value - zmienna var ma przyjąć wartość value w środowisku obliczeniowym. job_name = nazwa zadania Ustawia nazwę zadania. Pod taką nazwą będzie widziane zadanie w systemie Dobre praktyki obliczeń wielkoskalowych 80
79 Boreasz - aktualna konfiguracja LoadLeveler-a Klasa KDM dostępna dla wszystkich użytkowników, przeznaczona do zadań krótkich, bez ograniczeń na ilość węzłów (max. 76), ograniczony czas CPU (12 288h), ograniczony czas walltime (24h), ograniczenie na ilość zadań (32), priorytet 70 Klasa KDM-LONG dostępna dla wszystkich użytkowników, przeznaczona do zadań długich, ograniczona ilość węzłów na zadanie (16), ograniczony czas walltime (168h), ograniczenie na ilość zadań (6), priorytet 60 Klasa POWIEW dostępna dla naukowców z POWIEW Klasa METEO dostępna dla modelu prognozy pogody Uwaga: ustawienia systemu kolejkowego zmieniają się (informacje wyświetlane przy logowaniu oraz /opt/info/queuing_system) Dobre praktyki obliczeń wielkoskalowych 81
Wprowadzenie do obliczeń na komputerach ICM
2012-10-3 Dobre praktyki obliczeń wielkoskalowych 1 Wprowadzenie do obliczeń na komputerach ICM Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego Uniwersytet Warszawski http://www.icm.edu.pl
Bardziej szczegółowoEfektywne wykorzystanie klastra Zeus w obliczeniach naukowych
Efektywne wykorzystanie klastra Zeus w obliczeniach naukowych Maciej Czuchry, Klemens Noga ACK Cyfronet AGH ACK Cyfronet AGH, 23 marca 2015 Plan szkolenia Rejestracja Dostęp do klastra Przeprowadzanie
Bardziej szczegółowoWprowadzenie do obsługi systemów obliczeniowych PCSS
Wprowadzenie do obsługi systemów obliczeniowych PCSS Marcin Pospieszny Poznańskie Centrum Superkomputerowo-Sieciowe 17 listopada 2011 Plan prezentacji 1 Architektura maszyn 2 Linux: podstawy 3 PBS 4 Aplikacje
Bardziej szczegółowoWprowadzenie do obliczeń na komputerach ICM
Wprowadzenie do obliczeń na komputerach ICM Maciej E. Marchwiany m.marchwiany@icm.edu.pl Maciej Szpindler m.szpindler@icm.edu.pl Uniwersytet Warszawski Interdyscyplinarne Centrum Modelowania Matematycznego
Bardziej szczegółowoPowłoka I. Popularne implementacje. W stylu sh (powłoki zdefiniowanej w POSIX) W stylu csh. bash (najpopularniejsza) zsh ksh mksh.
Powłoka I Popularne implementacje W stylu sh (powłoki zdefiniowanej w POSIX) bash (najpopularniejsza) zsh ksh mksh W stylu csh csh tcsh 12 października 2018 1 / 16 Powłoka II Zachęta Komunikuje się z użytkownikiem
Bardziej szczegółowoSystemy operacyjne. Instrukcja laboratoryjna. Ćwiczenie 1: Polecenia systemu UNIX/LINUX. Opracował: dr inż. Piotr Szpryngier
Systemy operacyjne Instrukcja laboratoryjna Ćwiczenie 1: Polecenia systemu UNIX/LINUX Opracował: dr inż. Piotr Szpryngier Olsztyn 2009 1 Wprowadzenie. Cel zajęć praktycznych. Wymagania stawiane studentom
Bardziej szczegółowoBASH - WPROWADZENIE Bioinformatyka 4
BASH - WPROWADZENIE Bioinformatyka 4 DLACZEGO BASH? Praca na klastrach obliczeniowych Brak GUI Środowisko programistyczne Szybkie przetwarzanie danych Pisanie własnych skryptów W praktyce przetwarzanie
Bardziej szczegółowoPRACOWNIA INFORMATYCZNA BASH - PODSTAWOWE INFORMACJE
PRACOWNIA INFORMATYCZNA BASH - PODSTAWOWE INFORMACJE Magda Mielczarek Pracownia Informatyczna 2015/2016 1 Podstawowe definicje Linux system operacyjny, które oferuje kompletne środowisko programistyczne
Bardziej szczegółowoBASH - LINIA POLECEŃ. Bioinformatyka 2018/2019
BASH - LINIA POLECEŃ Bioinformatyka 2018/2019 PODSTAWOWE DEFINICJE Linux system operacyjny, które oferuje kompletne środowisko programistyczne Powłoka interfejs wiersza poleceń zapewniający komunikację
Bardziej szczegółowoPodstawy systemu kolejkowego SLURM
Podstawy systemu kolejkowego SLURM Uniwersytet Warszawski Matematycznego i Komputerowego http:// Marcin Stolarek m.stolarek@icm.edu.pl Maciej Szpindler m.szpindler@icm.edu.pl Plan szkolenia Organizacja
Bardziej szczegółowoPracownia Komputerowa wykład II
Pracownia Komputerowa wykład II dr Magdalena Posiadała-Zezula http://www.fuw.edu.pl/~mposiada 1 Systemy operacyjne! Windows np. Windows 8.! Systemy unixowe:! Linux i Mac OS X 2 Logowanie na konta studenckie!
Bardziej szczegółowoPracownia Komputerowa wyk ad II
Pracownia Komputerowa wykad II dr Magdalena Posiadaa-Zezula Magdalena.Posiadala@fuw.edu.pl http://www.fuw.edu.pl/~mposiada Magdalena.Posiadala@fuw.edu.pl 1 Systemy operacyjne Windows np. Windows 8. Systemy
Bardziej szczegółowoSieci i systemy operacyjne I Ćwiczenie 1. Podstawowe polecenia systemu Unix
Wydział Zarządzania i Modelowania Komputerowego Specjalność: Informatyka Stosowana Rok III Semestr V 1. Logowanie w systemie Unix. Sieci i systemy operacyjne I Ćwiczenie 1. Podstawowe polecenia systemu
Bardziej szczegółowoWykorzystanie klastra Wydziału Informatyki PB do prowadzenia własnych obliczeń. Wojciech Kwedlo Wydział Informatyki PB wkwedlo@ii.pb.bialystok.
Wykorzystanie klastra Wydziału Informatyki PB do prowadzenia własnych obliczeń Wojciech Kwedlo Wydział Informatyki PB wkwedlo@ii.pb.bialystok.pl Cele prezentacji Zapoznanie potencjalnych użytkowników z
Bardziej szczegółowoObliczenia równoległe w zagadnieniach inżynierskich. Wykład 4
Wykład 4 p. 1/14 Obliczenia równoległe w zagadnieniach inżynierskich Wykład 4 Dr inż. Tomasz Olas olas@icis.pcz.pl Instytut Informatyki Teoretycznej i Stosowanej Politechnika Częstochowska Klastry Wykład
Bardziej szczegółowo1 Przygotował: mgr inż. Maciej Lasota
Laboratorium nr 1 1/7 Język C Instrukcja laboratoryjna Temat: Programowanie w powłoce bash (shell scripting) 1 Przygotował: mgr inż. Maciej Lasota 1) Wprowadzenie do programowania w powłoce Skrypt powłoki
Bardziej szczegółowoZnaki globalne w Linuxie
Znaki globalne w Linuxie * reprezentuje jeden lub wiele znaków (wild-card character)? reprezentuje dokładnie jeden znak (wild-card character) [abcde] reprezentuje dokładnie jeden znak z wymienionych [a-e]
Bardziej szczegółowoW pierwszej kolumnie wyświetlany jest identyfikator procesu (pid)
Ćwiczenie 2 Cel ćwiczenia: Poznanie mechanizmów wejścia/wyjścia, zapoznanie się ze sposobami wyświetlania plików tekstowych i wyszukiwania informacji, podstawowe operacje na plikach tekstowych, zmienne
Bardziej szczegółowoKonsola Linux. autor: Mariusz Barnaś
Konsola Linux autor: Mariusz Barnaś Wstęp Pierwsze uruchomienie Operacje na plikach Poruszanie się po katalogach Tworzenie plików i katalogów Wypisanie zawartości katalogu Dowiązania między plikami Łączenie
Bardziej szczegółowoSystem operacyjny UNIX Ćwiczenie 1. Podstawowe polecenia systemu Unix
Wydział Mechatroniki i Budowy Maszyn Specjalność: Automatyka i Robotyka Rok II Semestr IV 1. Logowanie w systemie Unix. System operacyjny UNIX Ćwiczenie 1. Podstawowe polecenia systemu Unix Do zalogowania
Bardziej szczegółowoBartosz Bosak Piotr Kopta Tomasz Piontek
Dostęp do infrastruktury PL-Grid z wykorzystaniem usług i narzędzi QosCosGrid oraz gridu dziedzinowego Chamia Kwantowa Bartosz Bosak Piotr Kopta Tomasz Piontek Agenda Wstęp Specyfikacja zasobów Zadania
Bardziej szczegółowoPRACOWNIA INFORMATYCZNA CHARAKTERYSTYKA PRZEDMIOTU BASH - PODSTAWOWE INFORMACJE
PRACOWNIA INFORMATYCZNA CHARAKTERYSTYKA PRZEDMIOTU BASH - PODSTAWOWE INFORMACJE M.Mielczarek Pracownia Informatyczna 2017/2018 1 PRACOWNIA INFORMATYCZNA PROWADZĄCY: Dr Magda Mielczarek (biolog) Katedra
Bardziej szczegółowoPracownia komputerowa. Dariusz wardecki, wyk II
Pracownia komputerowa Dariusz wardecki, wyk II Systemy operacyjne Desktopowe Mobilne Systemy operacyjne Systemy Unixowe Windows! Windows 8 Windows 7 Windows Vista Windows XP... Linux Mac OS X Mountain
Bardziej szczegółowoPracownia Komputerowa wykład III
Pracownia Komputerowa wykład III dr Magdalena Posiadała-Zezula http://www.fuw.edu.pl/~mposiada/pk16 1 Powłoki - rodzaje! W Linux ie mamy kilka powłok do wyboru:! sh : Bourne Shell, oryginalna powłoka systemu
Bardziej szczegółowoPracownia Technik Obliczeniowych
Pracownia Technik Obliczeniowych SLURM Paweł Daniluk Wydział Fizyki Wiosna 2016 P. Daniluk(Wydział Fizyki) PTO VIII Wiosna 2016 1 / 17 Przetwarzanie wsadowe Zasoby superkomputera z reguły dzielone są pomiędzy
Bardziej szczegółowoLinux: System Plików
Linux: System Plików Systemy Operacyjne Mateusz Hołenko 3 marca 2013 Plan zajęć Wszystko jest plikiem Obsługa systemu plików Prawa dostępu Wyszukiwanie Mateusz Hołenko Linux: System Plików [2/24] Wszystko
Bardziej szczegółowoSkrócony Poradnik Użytkownika
Skrócony Poradnik Użytkownika Opracowano na podstawie zawartości bazy wiedzy Grida GRAFEN, dostępnej pod adresem http://info.grafen.ippt.gov.pl oraz materiałów dostarczonych przez firmę WASKO, wykonawcę
Bardziej szczegółowoSystemy operacyjne. System operacyjny Linux - wstęp. Anna Wojak
Systemy operacyjne System operacyjny Linux - wstęp Anna Wojak 1 1 Wstęp Linux jest systemem z rodziny Unix. Pierwsza wersja systemu została opracowana w 1969 roku przez K.Thompsona i D.Ritchie Jest to
Bardziej szczegółowoNiektóre katalogi są standardowymi katalogami zarezerwowanymi do użytku przez system. Znaczenie wybranych katalogów systemowych jest następujące:
Podstawy systemu Linux Linux jest systemem operacyjnym dla komputerów PC, opracowany na początku lat dziewięćdziesiątych przez Linusa Torvaldsa. Podobnie jak Unix jest on systemem wielozadaniowym - umożliwia
Bardziej szczegółowoUżytkowanie systemów obliczeniowych PCSS Artur Trojanowski
Użytkowanie systemów obliczeniowych PCSS 13.01.2016 Artur Trojanowski Plan prezentacji Architektura maszyn Zwiedzanie serwerowni Opis systemów kolejkowych Dostęp do maszyn Prowadzenie obliczeń Narzędzia
Bardziej szczegółowoMigracja obliczeń na system Hydra
Migracja obliczeń na system Hydra Uniwersytet Warszawski Matematycznego i Komputerowego http:// Maciej E. Marchwiany m.marchwiany@icm.edu.pl Maciej Szpindler m.szpindler@icm.edu.pl Plan szkolenia Organizacja
Bardziej szczegółowoWstęp do informatyki Shell podstawy
Wstęp do informatyki Shell podstawy Podstawowe polecenia less plik(i) Przeglądaj interaktywnie zawartość plików. Można używać klawiszy kursora, PgDn, PgUp, etc. Koniec pracy (q), wyszukiwanie / Less is
Bardziej szczegółowoBash - wprowadzenie. Bash - wprowadzenie 1/39
Bash - wprowadzenie Bash - wprowadzenie 1/39 Bash - wprowadzenie 2/39 Czym jest bash? Rysunek : Zadanie powłoki to ukrycie wywołań systemowych Bash - wprowadzenie 3/39 Czym jest bash? Przykład polecenia:
Bardziej szczegółowoEfektywne wykorzystanie klastra Zeus w obliczeniach wykonywanych pakietem Blender. Maciej Czuchry, Klemens Noga
Efektywne wykorzystanie klastra Zeus w obliczeniach wykonywanych pakietem Blender Maciej Czuchry, Klemens Noga WFiIS AGH, Kraków, 18 grudnia 2014 Plan szkolenia 2 Rejestracja Dostęp do klastra Przeprowadzanie
Bardziej szczegółowoWstęp do obsługi Linux a
Wstęp do obsługi Linux a Katarzyna Grzelak luty 2013 K.Grzelak (IFD UW) 1 / 27 Systemy operacyjne Programy służace do zarzadzania wykonywaniem innych programów: systemy operacyjne (ang. operating system)
Bardziej szczegółowoWstęp do obsługi Linux a
Wstęp do obsługi Linux a Katarzyna Grzelak październik 2017 K.Grzelak (IFD UW) 1 / 25 Systemy operacyjne Programy służace do zarzadzania wykonywaniem innych programów: systemy operacyjne (ang. operating
Bardziej szczegółowoChemiateoretyczna. Monika Musiał. Ćwiczenia
Chemiateoretyczna Monika Musiał Ćwiczenia SYSTEM LINUX- podstawowe komendy Operacje na katalogach i plikach pwd wypisanie ścieżki do bieża cego katalogu. oznacza katalog bieża cy.. oznacza katalog nadrzȩdny
Bardziej szczegółowotworzenie katalogów Aby utworzyć nowy katalog wpisz: mkdir katalog1 Ta komenda utworzy katalog o nazwie katalog1.
Linux podobnie jak MacOS X są systemami opartymi na Unixie. Wiele programów linuxowych działa z poziomu terminala dlatego aby móc ich używać należy poznać podstawowe komendy systemu Unix. Nauczycie się
Bardziej szczegółowoPracownia Komputerowa wykład III
Pracownia Komputerowa wykład III dr Magdalena Posiadała-Zezula dr Jan Suffczyński 1 Powłoki - rodzaje! W Linux ie mamy kilka powłok do wyboru:! sh : Bourne Shell, oryginalna powłoka systemu unix! csh :
Bardziej szczegółowoAdministracja sieciowymi systemami operacyjnymi III Klasa - Linux
Administracja sieciowymi systemami operacyjnymi III Klasa - Linux SKRYPTY POWŁOKI mgr inż. Tomasz Borowiec SKRYPTY POWŁOKI - PODSTAWY W Linuksie skrypt jest plikiem tekstowym zawierającym polecenia systemowe
Bardziej szczegółowoPodstawy używania konsoli tekstowej w systemie Linux. Andrzej Zbrzezny
Podstawy używania konsoli tekstowej w systemie Linux Andrzej Zbrzezny 25 października 2012 Rozdział 1 Podstawy konsoli 1.1 Podstawy użytkowania Linuksa w konsoli tekstowej 1. Włączanie i wyłączanie systemu
Bardziej szczegółowoKurs systemu Unix wykład wstępny. Kurs systemu Unix 1
Kurs systemu Unix wykład wstępny Kurs systemu Unix 1 Cele wykladu Zdobycie podstawowej wiedzy o systemie i jego narzędziach. Poznanie unixowych języków skryptowych (bash, awk,...). Nauka programowania
Bardziej szczegółowoPodstawy Informatyki. Wykład 4 Komendy UNIXa, cd
Podstawy Informatyki Wykład 4 Komendy UNIXa, cd Komendy UNIXa, cd: ls - listowanie zawartości katalogu (listing), 48%{sendzimir}/home/sysadm/wilk/dydaktyka/c>ls kar* karman* karman.cpp karman.out press.dat
Bardziej szczegółowoTechnologie Informacyjne - Linux 2
Technologie Informacyjne - 2 Instytut Matematyki Uniwersytet Gdański Powłoka - polecenia pośredniczace Polecenie grep wypisuje z pliku lub strumienia wejściowego te wiersze, które sa zgodne z podanym wyrażeniem.
Bardziej szczegółowoEgzamin pisemny z przedmiotu: Systemy operacyjne Semestr I
Egzamin pisemny z przedmiotu: Systemy operacyjne Semestr I Uwaga: Test odnosi się do systemu operacyjnego Linux! 1) Linux jest systemem wielodostępnym, co oznacza, że: a) pozwala na logowanie się do systemu
Bardziej szczegółowoMODELOWANIE MATERIAŁÓW I PROCESÓW
MODELOWANIE MATERIAŁÓW I PROCESÓW 2010/2011 putty + winscp Pracownia komputerowa mwt_101 M#wT1_01 mwt_102 M#wT1_02 MODELOWANIE MATERIAŁÓW I PROCESÓW http://hpc-adm.uci.umk.pl/ IP=158.75.1.113 software:
Bardziej szczegółowoArchitektura systemów informatycznych WPROWADZENIE DO SYSTEMU LINUX
Architektura systemów informatycznych WPROWADZENIE DO SYSTEMU LINUX Materiały: www.staff.amu.edu.pl/~evert/asi.php W razie nieobecności proszę o zapoznanie się z materiałem z ćwiczeń w domu Zaliczenie
Bardziej szczegółowoWstęp do systemu Linux
M. Trzebiński Linux 1/8 Wstęp do systemu Linux Maciej Trzebiński Instytut Fizyki Jądrowej Polskiej Akademii Nauk Praktyki studenckie na LHC IFJ PAN 6lipca2015 Uruchomienie maszyny w CC1 M. Trzebiński Linux
Bardziej szczegółowohttps://portal.clusterix.pl:8443 trainxx tramxx
Logowanie 1. Otworzyć w oknie przeglądarki adres: https://portal.clusterix.pl:8443 2. Zalogować się używając konta, użytkownik: trainxx, hasło: tramxx Delegacja certyfikatu proxy 1. Zalogować poprzez ssh
Bardziej szczegółowoZAJĘCIA Komendy Linux WB -> w konsoli tty2 finger exit man pwd pwd finger ls man ls. -> po 2 minusach interpretacja słowa
ZAJĘCIA Komendy Linux WB -> w konsoli tty2 finger exit man pwd pwd finger man -l -a -al -> po 2 minusach interpretacja słowa --all -h -> wyświetlanie informacji w innych lokalizacjach -> (z pomocą klawisz
Bardziej szczegółowoPracownia Informatyczna I ORGANIZACJA ZAJĘĆ, ZASADY ZALICZENIA
Pracownia Informatyczna I ORGANIZACJA ZAJĘĆ, ZASADY ZALICZENIA 1 Organizacja zajęć ½ semestru mgr Magda Mielczarek Katedra Genetyki, pokój nr 14 e-mail: magda.mielczarek@up.wroc.pl tel: 71-320-57-51 Slajdy
Bardziej szczegółowoWstęp do systemów wielozadaniowych laboratorium 02 Praca w systemie plików
Wstęp do systemów wielozadaniowych laboratorium 02 Praca w systemie plików Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2013-10-08 Co to jest konsola / terminal UNIX-owy?
Bardziej szczegółowoWstęp do Informatyki i Programowania Laboratorium: Lista 0 Środowisko programowania
Wstęp do Informatyki i Programowania Laboratorium: Lista 0 Środowisko programowania Przemysław Kobylański Wprowadzenie Każdy program w C musi zawierać przynajmniej funkcję o nazwie main(): Aby możliwe
Bardziej szczegółowoWST P DO PROGRAMOWANIA RÓWNOLEGŠEGO 1. KLASTER
WST P DO PROGRAMOWANIA RÓWNOLEGŠEGO 1. KLASTER Klaster jest zespoªem pewnej liczby samodzielnych komputerów (procesorów). Ka»dy z nich posiada swoj pami wewn trzn do jego prywatnego u»ytku. Procesory pogrupowane
Bardziej szczegółowoSYSTEMY OPERACYJNE I laboratorium 3 (Informatyka stacjonarne 2 rok, semestr zimowy)
Procesy i shell. Polecenia ps, sleep, exit, jobs, bg, fg, top, kill, bash, tcsh, which, type, whereis, touch. Metaznak & i >>. Dowiązania miękkie i twarde. Proces jest programem, który jest wykonywany
Bardziej szczegółowoSystem operacyjny Linux wybrane zagadnienia. Magda Mielczarek Katedra Genetyki Uniwersytet Przyrodniczy we Wrocławiu
System operacyjny Linux wybrane zagadnienia Magda Mielczarek Katedra Genetyki Uniwersytet Przyrodniczy we Wrocławiu Linux Open Source Stale rozwijany Darmowy (wersje niekomercyjne) Bezpieczny Stabilny
Bardziej szczegółowoZakład Systemów Rozproszonych
Zakład Systemów Rozproszonych Politechnika Rzeszowska Moduł 5: Wybrane programy użytkowe Edytor Vi Edytor Vi uruchamiany jest w oknie terminala. Przy jego pomocy możemy dokonywać następujących operacji:
Bardziej szczegółowoUruchamianie zadań w środowisku CLUSTERIX z wykorzystaniem klienta tekstowego systemu GRMS
Uruchamianie zadań w środowisku CLUSTERIX z wykorzystaniem klienta tekstowego systemu GRMS Logowanie 1. Logujemy się poprzez ssh na serwer dostępowy na konto studentxx, które zostało przydzielone w użytkownikowi
Bardziej szczegółowoDodatek nr 1: Niektóre polecenia systemu Linux (shell tcsh) A) Informacje wstępne
Dodatek nr 1: Niektóre polecenia systemu Linux (shell tcsh) A) Informacje wstępne Polecenia w terminalu systemu Linux podaje się poprzez wprowadzenie nazwy polecenia i naciśnięcie klawisza Enter. Możliwe
Bardziej szczegółowoSYSTEMY OPERACYJNE I SIECI KOMPUTEROWE
Klasyczne polecenia: ls [opcje][katalog][pliki] opcje podstawowe -a wyświetla również pliki ukryte -b znaki niedrukowane jako liczby ósemkowe -c sortuje dane zgodnie z datą zmiany -k podaje wielkość pliku
Bardziej szczegółowoPodstawy informatyki
Podstawy informatyki WYKŁAD nr 02 Fizyka Techniczna, WFT PP Michał Hermanowicz Zakład Fizyki Obliczeniowej, Instytut Fizyki, Politechnika Poznańska Rok akademicki 2018/2019 M. Hermanowicz (IF PP) Podstawy
Bardziej szczegółowoArchitektura, oprogramowanie i uytkowanie klastra PCSS. Marek Zawadzki <mzawadzk@man.poznan.pl>
Architektura, oprogramowanie i uytkowanie klastra PCSS Marek Zawadzki Plan prezentacji: klastry krótkie wprowadzenie klaster PCSS budowa jak otrzyma konto na klastrze sposób dostpu
Bardziej szczegółowohost name: 192.168.11.110 protokół SSH System plików - wprowadzenie Ścieżki dostępu
Ćw. 13 Linux - operacje systemu plików 1. Ściągnąć program PUTTY ze strony z materiałami dydaktycznymi - zapisać, rozpakować skompresowany plik i uruchomić. 2. Skonfigurować host name: host name: 192.168.11.110
Bardziej szczegółowoOperatory zmiany sposobu przypisania standardowych strumieni >,<,>> Jeżeli pierwsze polecenie powiodło się to wykona drugie
Linux Polecenia Opracował: Andrzej Nowak Operatory zmiany sposobu przypisania standardowych strumieni >,> Przykłady: 2> plik przypisuje standardowe wyjście błędów do pliku, 1>&2 przypisanie standardowe
Bardziej szczegółowoInstalacja środowiska MPI w systemie operacyjnym Linux
Instalacja środowiska MPI w systemie operacyjnym Linux Zakres ćwiczenia W tym ćwiczeniu dowiesz się, w jaki sposób dokonać instalacji środowiska MPI w systemie operacyjnym Linux. Do instalacji wybrano
Bardziej szczegółowoProces instalacji systemu operacyjnego Linux Red Hat 7.3 (1)
Proces instalacji systemu operacyjnego Linux Red Hat 7.3 (1) 1. Ustawiamy w biosie bootowanie systemu z CD-ROMu bądź z dyskietki (tworzymy wówczas dyskietki startowe). 2. Aby rozpocząć proces instalacji
Bardziej szczegółowoZakład Systemów Rozproszonych
Zakład Systemów Rozproszonych Politechnika Rzeszowska Moduł 1: Wprowadzenie do systemu UNIX Interpretator poleceń Interpreter poleceń użytkownika, czyli inaczej powłoka. Powłoka pośredniczy pomiędzy użytkownikiem
Bardziej szczegółowoInformatyka III : Instrukcja 1
Podstawy pracy z systemem UNIX Większość współczesnych komputerów (i podobnych urządzeń np. tablety czy telefony) wyposażonych jest w złożone oprogramowanie, które składa się na system operacyjny. Z całą
Bardziej szczegółowoKomendy Ubuntu MARCEL GAŃCZARCZYK 2T I 1
Komendy Ubuntu MARCEL GAŃCZARCZYK 2T I 1 Do wykonania prezentacji został użyty: Ubuntu 17.10.1 w wersji x64 zainstalowany na pendrivie. AddUser Wymagane uprawnienia: TAK Jest to polecenie służące do tworzenia
Bardziej szczegółowoPodstawy użytkowania Linux a
Podstawy użytkowania Linux a Systemy Operacyjne Mateusz Hołenko 3 marca 2013 Plan zajęć Rozpoczynanie pracy z systemem Podstawowe polecenia Pomoc systemowa Interpreter poleceń Mateusz Hołenko Podstawy
Bardziej szczegółowoPracownia Komputerowa wyk ad III
Pracownia Komputerowa wykad III dr Magdalena Posiadaa-Zezula Magdalena.Posiadala@fuw.edu.pl http://www.fuw.edu.pl/~mposiada Magdalena.Posiadala@fuw.edu.pl 1 Ogoszenie Dodatkowa grupa ćwiczeniowa: dr Jan
Bardziej szczegółowoWstęp do informatyki. stęp do informatyki Polecenia (cz.2)
Wstęp do informatyki stęp do informatyki Polecenia (cz.2) Lista procesów top Pokaż listę procesów polecenie interaktywne Procesy Uruchamianie w tle. shell nie czeka na zakończenie procesu, można wydawać
Bardziej szczegółowo"Klasyczna" struktura systemu operacyjnego:
"Klasyczna" struktura systemu operacyjnego: Użytkownik Powłoka (shell) Programy użytkowe Programy systemowe API Jądro (kernel) Programy obsługi sprzętu (drivers) Sprzęt Funkcje systemu operacyjnego obsługa
Bardziej szczegółowoPowłoka interpreter poleceń systemu UNIX
SOE - Systemy Operacyjne Wykład 4 Powłoka interpreter poleceń systemu UNIX dr inż. Andrzej Wielgus Instytut Mikroelektroniki i Optoelektroniki WEiTI PW Powłoka Interpreter poleceń, powłoka (ang. shell)
Bardziej szczegółowoSkrypty powłoki Skrypty Najcz ciej u ywane polecenia w skryptach:
Skrypty powłoki Skrypty są zwykłymi plikami tekstowymi, w których są zapisane polecenia zrozumiałe dla powłoki. Zadaniem powłoki jest przetłumaczenie ich na polecenia systemu. Aby przygotować skrypt, należy:
Bardziej szczegółowoSYSTEMY OPERACYJNE I SIECI KOMPUTEROWE. Tryb konsolowy ćwiczenie b
Systemy operacyjne i sieci komputerowe. Ćwiczenie 2. 1 SYSTEMY OPERACYJNE I SIECI KOMPUTEROWE Tryb konsolowy ćwiczenie 2 012b Źródło: http://www.microsoft.com/technet/prodtechnol/windowsserver2003/pl/library/serv
Bardziej szczegółowoStosowanie poleceń związanych z zarządzaniem plikami oraz katalogami: nazwa_polecenia -argumenty ścieżka/ścieżki do katalogu/pliku
Stosowanie poleceń związanych z zarządzaniem plikami oraz katalogami: nazwa_polecenia -argumenty ścieżka/ścieżki do katalogu/pliku ls - sprawdzanie zawartości katalogu ls(nazwa Polecenia) -la(argumenty(-a
Bardziej szczegółowoSystem plików - wprowadzenie. Ścieżki dostępu. Informatyka ćw 1
Informatyka ćw 1 Linux - operacje systemu plików 1. Ściągnąć program PUTTY - (portal tbajorek.prz.rzeszow.pl - dostęp po zalogowaniu: użytkownik: student hasło: samoloty 2. Skonfigurować połączenie z adresem
Bardziej szczegółowoĆwiczenie 1. Podstawowe wiadomości
Ćwiczenie 1. Cel ćwiczenia: Zapoznanie się z podstawowymi poleceniami systemu Linux. Poznanie praw dostępu do plików oraz struktury katalogów systemu Linux. Podstawowe informacje o systemie. Podstawowe
Bardziej szczegółowoLinux cz.3: polecenia systemowe, ćwiczenia
Linux cz.3: polecenia systemowe, ćwiczenia Wykład: polecenia terminala, manualia systemowe, uprawnienia, kompresja, archiwizacja, ukrywanie plików, sudo su, ps, kill, chmod, chown, tar, gzip, whoami, ls,
Bardziej szczegółowoWstęp do systemów wielozadaniowych laboratorium 03 Praca w powłoce UNIX-owej
Wstęp do systemów wielozadaniowych laboratorium 03 UNIX-owej Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-10-09 Co to jest konsola / terminal UNIX-owy? Odpowiednik
Bardziej szczegółowoĆwiczenie 9 Linux - operacje systemu plików
Systemy teleinformatyczne AiR Ćwiczenie 9 Linux - operacje systemu plików 1. Ściągnąć program PUTTY - (portal tbajorek.prz.rzeszow.pl lub www.prz.rzeszow.pl/~tbajorek - dostęp po zalogowaniu: użytkownik:
Bardziej szczegółowoUruchamianie programów w systemie Linux, potoki, strumienie, procesy, alias
7 październik 2008 Uruchomienie, monitorowanie procesu, potoki, aliasy S laj d 1 Uruchamianie programów w systemie Linux, potoki, strumienie, procesy, alias 7 październik 2008 Uruchomienie, monitorowanie
Bardziej szczegółowoWstęp do systemów wielozadaniowych laboratorium 14 Środowisko i aliasy
Wstęp do systemów wielozadaniowych laboratorium 14 i aliasy Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-11-27 Kodowanie polskich znaków Standardy kodowania Koniec
Bardziej szczegółowoPrawa dostępu do plików
Prawa dostępu do plików Wszystkie pliki systemów uniksowych posiadają swoje prawa dostępu dla zapisu, odczytu i wykonywania. Jeżeli dotychczas spotykałeś się z systemami Windows na partycjach FAT - możesz
Bardziej szczegółowoUŻYTKOWNIK. APLIKACJE UŻYTKOWE (wszelkie programy zawarte domyślnie w systemie operacyjnym jak i samodzielnie zainstalowane przez użytkownika systemu)
System operacyjny mgr inż. Sławomir Kopko System operacyjny (OS - Operating System) zaraz po sprzęcie jest jednym z najważniejszych składników komputera. Najprościej mówiąc jest to oprogramowanie zarządzające
Bardziej szczegółowoSkanowanie podsieci oraz wykrywanie terminali ABA-X3
Skanowanie podsieci oraz wykrywanie terminali ABA-X3 Terminale ABA-X3 od dostarczane od połowy listopada 2010 r. są wyposażane w oprogramowanie umożliwiające skanowanie podsieci w poszukiwaniu aktywnych
Bardziej szczegółowoKonsola i interpreter poleceń
ZGŁASZANIE BŁĘDÓW I ERRATA Rozdział 1. Konsola i interpreter poleceń 1.1. Wykorzystanie interpretera... 27 1.2. Przekierowania... 28 1.3. Przykładowe polecenia wykorzystujące przekierowania... 32 1.4.
Bardziej szczegółowoPodstawy pracy w ICM
Podstawy pracy w ICM Zespół KDM Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego Uniwerystet Warszawski Szkolenie KDM (Kontakt: pomoc@icm.edu.pl) Podstawy pracy w ICM Szkolenie KDM
Bardziej szczegółowoLogowanie z zewnątrz. Np. Program PUTTY, SSH
Logowanie z zewnątrz Np. Program PUTTY, SSH ssh login@wizard.igf.fuw.edu.pl Jestem na wizardzie w sieci IGFu, mam dostęp do swoich katalogów $HOME, widzę terminal linuxa (bash) mogę zalogować się do wszystkich
Bardziej szczegółowoĆwiczenie nr 14: System Linux
Ćwiczenie nr 14: System Linux Barbara Łukawska, Adam Krechowicz, Tomasz Michno Czym jest Linux? Słowo Linux może oznaczać zarówno jądro systemowe Linux, jak i całą rodzinę systemów operacyjnych, które
Bardziej szczegółowoUruchamianie i optymalizacja kodów na architekturze Blue Gene/P
Uruchamianie i optymalizacja kodów na architekturze Blue Gene/P Szkolenie 15 czerwca 2011, ICM Arkadiusz Niegowski, Maciej Cytowski Agenda O projekcie POWIEW Architektura systemu Notos Środowisko użytkownika
Bardziej szczegółowoSystem operacyjny Linux
Paweł Rajba pawel.rajba@continet.pl http://kursy24.eu/ Zawartość modułu 3 Zarządzanie użytkownikami Użytkownicy i grupy Katalogi domowe Hasła Pliki konfiguracyjne Polecenia konsolowe Moduł YaST-a Łamanie
Bardziej szczegółowoPOPULARNE POLECENIA SKRYPTY. Pracownia Informatyczna 2
SKRYPTY Pracownia Informatyczna 2 PRACOWNIA INFORMATYCZNA 2017/2018 MAGDA MIELCZAREK PRACOWNIA INFORMATYCZNA 2017/2018 MAGDA MIELCZAREK 2 cal wyświetlenie kalendarza Składnia: cal 2017, cal Polecenie cal
Bardziej szczegółowoWspółczesne systemy komputerowe
1. Powłoki, konfiguracja. Do komunikacji użytkownika z jądrem systemu operacyjnego służy powłoka systemu (shell), w linuksie jest dostępnych kilka powłok; o The C shell (/bin/csh, często link do /bin/tcsh);
Bardziej szczegółowoSYSTEMY OPERACYJNE I SIECI KOMPUTEROWE. Tryb konsolowy - ćwiczenia. 012a
Systemy operacyjne i sieci komputerowe. Ćwiczenia 1 SYSTEMY OPERACYJNE I SIECI KOMPUTEROWE Tryb konsolowy - ćwiczenia 012a Źródło: http://www.microsoft.com/technet/prodtechnol/windowsserver2003/pl/library/serv
Bardziej szczegółowoNarzędzia informatyczne w językoznawstwie
Narzędzia informatyczne w językoznawstwie Wiersz poleceń - Potoki i pliki wsadowe Marcin Junczys-Dowmunt junczys@amu.edu.pl Zakład Logiki Stosowanej http://www.logic.amu.edu.pl 22. października 2008 Marcin
Bardziej szczegółowoSystemy operacyjne na platformach mobilnych 2 Podstawy obsługi powłoki Bash
Systemy operacyjne na platformach mobilnych 2 Podstawy obsługi powłoki Bash Prezentacja jest współfinansowana przez Unię Europejską w ramach Europejskiego Funduszu Społecznego w projekcie pt. Innowacyjna
Bardziej szczegółowoLinux. Wprowadzenie do systemu.
Linux. Wprowadzenie do systemu. Koło Naukowe Systemów Open Source Wyższa Szkoła Biznesu - National-Louis University Marcin Pawełkiewicz mpawelkiewicz@wsb-nlu.edu.pl Nowy Sącz, 5 grudnia 2006 Wprowadzenie.
Bardziej szczegółowoĆwiczenia Linux konsola
Ćwiczenia Linux konsola Ćwiczenie wstępne: Wyczyść terminal za pomocą polecenia clear. Ćwiczenie 1. Wyświetlanie pomocy 1. Wyświetl pomoc za pomocą poleceń man man oraz info (wyjście z pomocy: klawisz
Bardziej szczegółowo