Wykorzystanie zasobów obliczeniowych EGEE

Transkrypt

1 Wykorzystanie zasobów obliczeniowych EGEE czyli jak ugryźć swój kawałek tortu Marcin Pospieszny Poznańskie Centrum Superkomputerowo-Sieciowe 23 czerwca 2008

2 Treść prezentacji 1 EGEE: Światowy GRID EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509 2 Konto na UI Certyfikat gridowy x509 - jak uzyskać? 3 : Przykładowe zadania obliczeniowe

3 EGEE EGEE: Światowy GRID EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509 EGEE CE SE UI RB : co to jest? Certyfikat Gridowy ( x509 ) : do czego służy? przebieg obliczen (workflow) w systemach gridowych

4 EGEE: Enabling Grids for E-sciencE EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509 EGEE (Enabling Grids for E-sciencE) to projekt finansowany przez Komisj Europejską, mający na celu budowę i bieżące utrzymanie zaawansowanej infrastruktury obliczeniowej dostępnej w trybie 24/7/365 dla środowiska naukowego. Wiecej informacji można znaleźć na stronach:

5 EGEE: Światowy GRID EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509 EGEE: Enabling Grids for E-sciencE Marcin Pospieszny Wykorzystanie zasobów EGEE, ver. 1.1

6 EGEE: zasoby EGEE: Światowy GRID EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509 Zasoby udostępniane w ramach projektu EGEE w chwili obecnej to ponad 60 tyś. CPU i ponad 400 PB powierzchni dyskowej. Stan zasobów można zobaczyc na stronach: : GridMap: mapa gridowa : GSTAT: strona portalu GridStat

7 EGEE: zasoby cd. GridMap EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509

8 EGEE: węzły ważne dla użytkownika EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509 CE: Computing Element : klaster obliczeniowy (węzeł dostępowy i węzły robocze) SE: Storage Element : powierzchnia dyskowa dostępna dla użytkowników gridowych UI: User Interface : komputer z zainstalowanym oprogramowanie umożiwiającymcym autoryzowanie sie w gridzie (dla danej VO) i zlecanie zadań obliczeniowych RB: Resource Broker : jeden tzw. Core Services, decyduje (na podstawie opisu zadania, -a) na którym CE będzie wykonywane zlecone zadanie

9 EGEE: Struktura Central Services EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509

10 EGEE: Klaster EGEE w PCSS EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509 Klaster EGEE w PCSS : reef.man.poznan.pl : CE zarządzająe klastrem ok. 150 węzłów obliczeniowych ( ok procesorów ) wsparcie dla VO : ATLAS ALICE LHCB CMS VOCE gaussian balticgrid SE z dyskami o powierzchni 15 TB UI dostępnee dla użytkowników na tych samych zasadach co każda maszyna obliczeniowa w PCSS

11 EGEE: Klaster EGEE w PCSS EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509

12 EGEE: Klaster lokalny vs GRID (EGEE) EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509 Prawie każde polecenie systemowe w UNIX-ie ma swoje odpowiedniki w środowisku gridowym: klaster PC GRID qstat glite-wms-job-status qstat -f glite-wms-job-status -v 2 qsub glite-wms-job-submit qdel glite-wms-job-cancel pbsnodes -a lcg-infosites vo voce ce cp/scp lcg-cr/lcg-cp rm/ssh X rm -rf file lcg-del

13 Certyfikat X509:Co to jest? EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509 Certyfikat x509 : co to jest i jaka jest jego rola w projektach gridowych: Fizycznie, certyfikat składa się z dwóch plików: usercert.pem oraz userkey.pem. W pierwszym z nich jest klucz publiczny wraz z danymi o jego posiadaczu, w drugim klucz prywatny umożliwiająy i niezbędny do poprawnej identyfikacji z użyciem certyfikatu. Rola certfikatu w systemach gridowych: identyfikacja autoryzacja dostęp do VO (VOCE, gaussian, balticgrid, inne? ) accounting

14 Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki Konto na UI w PCSS Jak zdobyc certyfikat x509?

15 Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: konto na User Interface (UI) Jak zdobyć konto na UI: węzeł UI dla EGEE to maszyna reef.man.poznan.pl dostęp tylko za pomocą SSH (OpenSSH lub putty lub TTssh) konta na reef.man.poznan.pl, tak jak na każdej maszynie PCSS: portal obecni użytkownicy reef.man.poznan.pl pozostają bez zmian

16 Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji Opis procedury certyfikacji: zalogować się na UI odpalic polecenie cert-request polecenie zapyta o hasło (trzeba wprowadzić dwa razy) po ok. 3 dniach dostaniecie Państwo a od plgrid-ca at man.poznan.pl, proszę zastosować się do poleceń zawartych w u poczekać na podpisanie certyfikatu przez CA (do tygodnia) wgrać PODPISANY certyfikat na UI (nano nazwa-pliku, a potem CTRL-C + CTRL-V) odpalić polecenie cert-load nazwa-pliku celem wygenerowania pliku dla przeglądarki ściągnąć plik z certyfikatem dla przeglądarki zapisać się do VO (np. do VOCE)

17 Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji cd.1 bolen@worker:~$ ssh reef.man.poznan.pl Last login: Fri Jun 20 14:54: from sherwood.man.poznan.pl... Klaster obliczeniowy reef.man.poznan.pl.... Poznanskie Centrum Superkomputerowo Sieciowe Informacje: ZGLASZANIE PROBLEMOW: support-hpc@man.poznan.pl [bolen@reef ~]$

18 Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji cd.2 [bolen@reef ~]$ cert-request Generator certyfikatow x509 na potrzeby EGEE - Prosze 2-krotnie podac nowe, wybrane przez siebie haslo, ktore bedzie zabezpieczac klucz prywatny konieczny do autoryzacji w EGEE. Przypominamy, ze utrata hasla wiaze sie z koniecznoscia powtorzenia calej procedury. Aby przerwac skrypt prosze nacisnac 4x kombinacje klawiszy: ctrl-c Wiecej informacji dot. obliczen EGEE w PCSS znajda Panstwo na stronie: Problemy i zapytania nalezy zglaszac na adres: support-hpc@man.poznan.pl Enter PEM pass phrase: Verifying - Enter PEM pass phrase:

19 Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji cd Generator certyfikatow x509 na potrzeby EGEE - Pliki certyfikacyjne zostaly wygenerowane w katalogu.globus/ i wyslane do podpisu przez centrum autoryzacyjnego (PLGRID-CA). Nastepnie w ciagu 3 dni otrzymaja Panstwo od osoby zwiazanej z PLGRID-CA z dalszymi instrukcjamui. W ciagu tygodnia otrzymaja Panstwo em podpisany certyfikat. e z instukcjami i podpisanym certyfikatem zostana wyslane na adres: Marcin Pospieszny <bolen@man.poznan.pl> Otrzymany mailem plik prosze skopiowac do swojego katalogu domowego na reef.man.poznan.pl i wywolac polecenie: cert-load plik Dziekujemy za korzystanie z naszych zasobow. Wiecej informacji dot. obliczen EGEE w PCSS znajda Panstwo na stronie: Problemy i zapytania nalezy zglaszac na adres: support-hpc@man.poznan.pl [bolen@reef ~]$

20 Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji cd.4 [bolen@reef ~]$ ls -alllh.globus total 32K drwxr-xr-x 2 bolen admins 4.0K Jun 20 16:36. drwx bolen admins 12K Jun 20 16:36.. -rw-r--r-- 1 bolen admins 616 Jun 20 16:36 grid-cert-request_log.stderr -rw-r--r-- 1 bolen admins 1.1K Jun 20 16:36 grid-cert-request_log.stdout -rw-r--r-- 1 bolen admins 0 Jun 20 16:36 usercert.pem -rw-r--r-- 1 bolen admins 1.3K Jun 20 16:36 usercert_request.pem -r bolen admins 963 Jun 20 16:36 userkey.pem [bolen@reef ~]$ cert-request UWAGA :Plik z kluczem publiczym do certyfikatu isnieje. Skontaktuj sie z adminstratorem [bolen@reef ~]$

21 Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji cd.5 Polecenie cert-request wyśle w Państwa imieniu wniosek certyfikacyjny w formie listu na adres PLGRID-CA plgrid-ca@man.poznan.pl. W ciągu 2-3 dni przedstawiciel PLGRID-CA (jednostki certyfikacyjnej utworzonej na potrzeby certyfikacji użytkowników projektów gridowych w Polsce) prześle na Państwa adres dalsze instrukcje związane z procesem certyfikacji. Zostaniecie Państwo poproszeni o stawienie się z dokumentem potwierdzającym tożsamość w biurze jedej z osób związanych z PLGRID-CA ( w Poznaniu : Paweł Wolniewicz, PCSS ).

22 Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji cd.6 [bolen@reef ~]$ nano GNU nano plik_tmp.txt File: plik_tmp.txt [ New File ] ^G Get Help ^O WriteOut ^R Read File ^Y Prev Page ^K Cut Text ^C Cur Pos ^X Exit ^J Justify ^W Where Is ^V Next Page ^U UnCut Txt ^T To Spell

23 Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji cd.7 GNU nano File: plik_tmp.txt Modified UklEMRcwFQYDVQQDEw5Qb2xpc2ggR3JpZCBDQYIBADAOBgNVHQ8BAf8EBAMCBPAw EQYJYIZIAYb4QgEBBAQDAgTQMCIGA1UdEgQbMBmBF3BsZ3JpZC1jYUBtYW4ucG96 bmfulnbsmdsga1udhwq0mdiwmkauocygkmh0dha6ly93d3cubwfulnbvem5hbi5w bc9wbgdyawqty2evy3jslnblbta5bglghkgbhvhcaqmelbyqahr0cdovl3d3dy5t YW4ucG96bmFuLnBsL3BsZ3JpZC1jYS9jcmwucGVtMEAGCWCGSAGG+EIBCAQzFjFo dhrwoi8vd3d3lm1hbi5wb3puyw4ucgwvcgxncmlklwnhl2nhlxbvbgljes5odg1s MDMGCWCGSAGG+EIBDQQmFiRDZXJ0aWZpY2F0ZSBpc3N1ZWQgYnkgUG9saXNoIEdy awqgq0ewmqyjyiziayb4qgecbcqwimh0dha6ly93d3cubwfulnbvem5hbi5wbc9w bgdyawqty2ewdqyjkozihvcnaqefbqadggebaivjktpmahzd7nbj6rei4a5wh9q3 jygm81wvdvpwm6eejssw7jyde+guqrptti1wb2xznudl/kpwbcqitvkh+rs2bedu WQa5gbDMRC85dq52//bUEh/J/mkTqfycldQwZ91Dwv2c3W2ZaKCqKB6KJC15ScgS EymahPIR2uIB0Zsgeqsz4vR/kPaNB6vvS270dHY7p1JMiGeuS3jd/FbLbYDCW4sy iz5giwu9omt2uv/pdqu62ct8fbrkgttoyhxaokjg0ckpltketaw67oyggh4y1fnq hf2bs2becar0tx8pbwc2l5rb9dd4pnhipd+xvgnoa7ljuy1rgod49r1lh1o= -----END CERTIFICATE----- ^G Get Help ^O WriteOut ^R Read File ^Y Prev Page ^K Cut Text ^C Cur Pos ^X Exit ^J Justify ^W Where Is ^V Next Page ^U UnCut Txt ^T To Spell wprowadzamy CRTL-X nastepnie y i wciskamy klawisz ENTER

24 Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji cd.8 [bolen@reef ~]$ cert-load plik_tmp.txt Generator certyfikatow x509 na potrzeby EGEE - Prosze 3-krotnie podac nowe, wybrane przez siebie haslo, ktore bedzie zabezpieczac klucz prywatny konieczny do autoryzacji w EGEE. Przypominamy, ze utrata hasla wiaze sie z koniecznoscia powtorzenia calej procedury. Aby przerwac skrypt prosze nacisnac 4x kombinacje klawiszy: ctrl-c Wiecej informacji dot. obliczen EGEE w PCSS znajda Panstwo na stronie: Problemy i zapytania nalezy zglaszac na adres: support-hpc@man.poznan.pl Enter pass phrase for /home/admins/bolen/.globus/userkey.pem: Enter Export Password: Verifying - Enter Export Password: [bolen@reef ~]$

25 Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji cd.9 [bolen@reef ~]$ ls -allh.globus/ total 44K drwxr-xr-x 2 bolen admins 4.0K Jun 22 12:17. drwx bolen admins 12K Jun 22 11:56.. -rw-r--r-- 1 bolen admins 649 Jun 22 11:56 grid-cert-request_log.stderr -rw-r--r-- 1 bolen admins 1.1K Jun 22 11:56 grid-cert-request_log.stdout -rw-r--r-- 1 bolen admins 4.9K Jun 22 12:19 usercert.pem -rw-r--r-- 1 bolen admins 2.2K Jun 22 12:19 usercert.pkcs12 -rw-r--r-- 1 bolen admins 1.3K Jul usercert_request.pem -r bolen admins 963 Jul userkey.pem [bolen@reef ~]$ Proszę zwrócić uwagę na prawa do plików: 400 dla userkey.pem 644 dla reszty plików

26 Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji: VO ładujemy plik pkcs12 do przeglądarki wnioskujemy o przynależności do VO (VOCE) czekamy na a od VO Manager-a (jedna z osób z VOCE Support Team: voce@cesnet.cz) po przyznaniu konta w VO VOCE mozna zlecać zadania

27 Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji: VO cz.1 Jak załadować certyfikat do przeglądarki (konieczne do złożenia wniosku o przynależność do VO)? Należy sciągnąć na dysk maszyny z przeglądarką plik /home/users/user/.globus/usercert.pkcs12 (najlepiej za pomocą scp/sftp) oraz wykonać poniższe kroki: dla Firefox: Edycja - Preferencje - Zaawansowane - Szyfrowanie - Wyświetl certyfikaty - Twoje Certyfikaty - Importuj dla MSIE: Narzędzia - Opcje internetowe - Certyfikaty - Importuj dla Inne przegladarki: users/registration/load-cert.html

28 Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji: VO cz.2

29 Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji: VO cz.3 Aby uzyskać przynależność do jakiejś VO ( lista VO na stronie CIC Portal, zakładka VO ) należy wypełnić formularz z wnioskiem o przynależność do danej VO. Dla VO VOCE formularz znajduje się na stronie Aby móc wypełnić formularz należy wcześniej załadować PODPISANY certyfikat do przeglądarki.

30 Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji: VO VOCE

31 Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji: CIC PORTAL, VO

32 : Przykładowe zadania obliczeniowe : Jak ugryźć ten tort? Prowadzenie obliczeń w EGEE: : w jaki sposób są wykonywane zadania obliczeniowe w EGEE : Job Description Language zadania szeregowe, zadania równoległe i inne zadania

33 : Przykładowe zadania obliczeniowe :

34 : Przykładowe zadania obliczeniowe : : Job Description Language to język służący do opisu zadania obliczeniowego. W plikach zawarte są informacje dla Resource Brokera o tym: jakie to jest zadanie (szeregowe/równoległe) jakie zasoby są konieczne do wykonania tego zadania jakie są pliki wejściowe i wyjściowe gdzie można znaleźć plik wykonywalny W -u można jawnie zdefiniować CE ( klaster ) na którym ma się wykonać zadanie.

35 : Przykładowe zadania obliczeniowe : w skrócie [bolen@reef serial]$ cat plik.jdl [ JobType = "Normal"; # rodzaj zadania (Normal/MPICH) Executable = "/bin/bash"; # plik wykonywalny Arguments = "test-input.sh"; # argumenty dla pliku wykonywalnego StdOutput = "std.out"; # plik w ktorym znajdzie sie strumien STDOUT StdError = "std.err"; # plik w ktorym znajdzie sie stumien STDERR InputSandbox = {"test-input.sh"}; # zawartosc InputSandbox # (lista plikow wysylanych na klaster, pliki w "", oddzielone, ) OutputSandbox = {"std.out","std.err"}; # zawartosc OutputSandbox # (lista plikow traktowanych jako wyjscie zadania, j.w.) Requirements = other.glueceuniqueid == "ce.reef.man.poznan.pl:2119/jobmanager-pbs-voce"; # zadanie ma sie wykonac na klastrze ce.reef.man.poznan.pl ] [bolen@reef serial]$ Staraj sie ograniczyć wielkość InputSandbox i OutputSandbox (max 1 MB). RB ma ograniczone zasoby dyskowe i może odrzucić zbyt duże zadanie.

36 : Przykładowe zadania obliczeniowe : przykłady 1 [bolen@reef serial]$ cat egee_test.jdl [ JobType = "Normal"; Executable = "/bin/bash"; Arguments = "test-input.sh"; StdOutput = "std.out"; StdError = "std.err"; InputSandbox = {"test-input.sh"}; OutputSandbox = {"std.out","std.err"}; ] [bolen@reef serial]$

37 : Przykładowe zadania obliczeniowe : przykłady 2 [bolen@reef mpi]$ cat mpi_egee_test.jdl [ JobType = "MPICH"; CpuNumber = 4 ; Executable = "cpi"; StdOutput = "std.out"; StdError = "std.err"; InputSandbox = {"cpi"}; OutputSandbox = {"std.out","std.err"}; ] [bolen@reef mpi]$

38 : Przykładowe zadania obliczeniowe : Przykłady Schemat postępowania dla obliczeń gridowych na przykładzie VO VOCE: przygotowanie pliku *.jdl, skryptów, plików wykonywalnych (zawartość Input Sandbox) generowanie proxy: voms-proxy-init -voms voce zlecenie zadania: glite-wms-job-submit -a -o jobs.tmp twoj-jdl.jdl zadanie sie liczy (albo nie :) ), sprawdzamy status: glite-wms-job-status -i jobs.tmp lub glite-wms-job-status -v 2 -i jobs.tmp zadanie sie zakonczylo, pobieramy wyniki: glite-wms-job-output dir./outdir -i jobs.tmp

39 : Przykładowe zadania obliczeniowe : generowanie proxy: voms-proxy-init voms-proxy-init -voms voce [-t czas-waznosci-proxy (h)] voms-proxy-init : polecenie -voms voce : generujemy proxy do współpracy z VO VOCE -t czas-waznosci-proxy : w ten sposób określamy czas ważności naszego proxy, domyślnie 12 h Przykład : voms-proxy-init -voms lub voce voms-proxy-init -voms voce -t 24

40 : Przykładowe zadania obliczeniowe : zlecanie zadania glite-wms-job-submit glite-wms-job-submit -a -o jobs.tmp plik.jdl glite-wms-job-submit : polecenie -a : automatycznie użyj DN pobranego z proxy -o jobs.tmp : do pliku jobs.tmp dopisz identyfikator zadania zwrócony przez RB Przykład : plik.jdl : twój plik z opisem zadania glite-wms-job-submit -a -o jobs.tmp egee_test.jdl

41 : Przykładowe zadania obliczeniowe : status zadania glite-wms-job-status glite-wms-job-status [-v 2] -i jobs.tmp glite-wms-job-status : polecenie -v 2 : poziom sczegółowości informacji o statusie zadania -i jobs.tmp : z pliku jobs.tmp przeczytaj indentyfikatory zadań Przykład : glite-wms-job-status -i jobs.tmp lub glite-wms-job-status -v 2 -i jobs.tmp

42 : Przykładowe zadania obliczeniowe : wynik zadania glite-wms-job-output glite-wms-job-output dir./outdir -i jobs.tm glite-wms-job-output : polecenie -dir./outdir : w tym katalogu zostanie umieszczony wynik zadania (OutputSandbox) -i jobs.tmp : z pliku jobs.tmp przeczytaj indentyfikatory zadań Przykład : glite-wms-job-status --dir./outdir -i jobs.tmp

43 : Przykładowe zadania obliczeniowe : lista CE dla VO VOCE Aby wyświetlić listę zasobów dostępnych w ramach danego VO należy wykonać polecenie lcg-infosites. Lista CE dla VO VOCE : [bolen@reef szkolenie]$ lcg-infosites --vo voce ce valor del bdii: bdii.cyf-kr.edu.pl:2170 #CPU Free Total Jobs Running Waiting ComputingElement pearl.amu.edu.pl:2119/jobmanager-lcgpbs-voce hephygr.oeaw.ac.at:2119/jobmanager-lcgpbs-voce eszakigrid66.inf.elte.hu:2119/jobmanager-lcgpbs-voce egee-ce1.gup.uni-linz.ac.at:2119/jobmanager-pbs-voce ce.reef.man.poznan.pl:2119/jobmanager-pbs-voce ce.hpc.iit.bme.hu:2119/jobmanager-lcgpbs-long ce.grid.tuke.sk:2119/jobmanager-pbs-voce egee.irb.hr:2119/jobmanager-lcgpbs-grid grid109.kfki.hu:2119/jobmanager-lcgpbs-voce ce1-egee.fesb.hr:2119/jobmanager-pbs-grid ce.cyf-kr.edu.pl:2119/jobmanager-pbs-voce egee-ce.grid.niif.hu:2119/jobmanager-pbs-voce ce.ui.savba.sk:2119/jobmanager-pbs-voce ce.polgrid.pl:2119/jobmanager-lcgpbs-voce ce1-egee.srce.hr:2119/jobmanager-sge-prod ce2.polgrid.pl:2119/jobmanager-lcgpbs-voce skurut17.cesnet.cz:2119/jobmanager-lcgpbs-egee_voce [bolen@reef szkolenie]$

44 : Przykładowe zadania obliczeniowe : lista SE dla VO VOCE Lista SE dla VO VOCE : [bolen@reef szkolenie]$ lcg-infosites --vo voce se Avail Space(Kb) Used Space(Kb) Type SEs n.a pagaj.fizyka.amu.edu.pl n.a se.reef.man.poznan.pl n.a ce.grid.tuke.sk n.a grid143.kfki.hu n.a dpm.cyf-kr.edu.pl n.a se.polgrid.pl n.a se1-egee.fesb.hr n.a dpm1.egee.cesnet.cz n.a zeus03.cyf-kr.edu.pl n.a n.a se.hpc.iit.bme.hu n.a hephyse.oeaw.ac.at n.a egee-se.grid.niif.hu n.a se1-egee.srce.hr n.a eszakigrid67.inf.elte.hu n.a egee-ce1.gup.uni-linz.ac.at n.a se.ui.savba.sk n.a egee2.irb.hr [bolen@reef szkolenie]$

45 : Przykładowe zadania obliczeniowe : lista CE pasujących do opisu zadania Aby wyświetlić listę CE na których może się wykonać nasze zadanie należy wykonać polecenie glite-wms-job-list-match. Lista CE dla zadania opisanego w serial.jdl: [bolen@reef serial]$ glite-wms-job-list-match -a serial.jdl Connecting to the service ========================================================================== COMPUTING ELEMENT IDs LIST The following CE(s) matching your job requirements have been found: *CEId* - ce.reef.man.poznan.pl:2119/jobmanager-pbs-voce - egee-ce.grid.niif.hu:2119/jobmanager-pbs-voce - eszakigrid66.inf.elte.hu:2119/jobmanager-lcgpbs-voce - ce.grid.tuke.sk:2119/jobmanager-pbs-voce - hephygr.oeaw.ac.at:2119/jobmanager-lcgpbs-voce - ce.cyf-kr.edu.pl:2119/jobmanager-pbs-voce - ce.hpc.iit.bme.hu:2119/jobmanager-lcgpbs-long - egee.irb.hr:2119/jobmanager-lcgpbs-grid - egee-ce1.gup.uni-linz.ac.at:2119/jobmanager-pbs-voce - pearl.amu.edu.pl:2119/jobmanager-lcgpbs-voce - ce1-egee.srce.hr:2119/jobmanager-sge-prod - skurut17.cesnet.cz:2119/jobmanager-lcgpbs-egee_voce - grid109.kfki.hu:2119/jobmanager-lcgpbs-voce ========================================================================== [bolen@reef serial]$

46 : Przykładowe zadania obliczeniowe : zadania szeregowe (serial) Podstawowy typ zadania obliczeniowego. W -u należy podać : InputSandbox (plik wykonywalny lub skrypt) OutputSandbox (zazwyczaj pliki std.out i std.err) Executable (plik wykonywalny) Arguments (argumenty dla pliku wykonywalnego)

47 : Przykładowe zadania obliczeniowe : serial : [bolen@reef serial]$ cat serial.jdl [ JobType = "Normal"; Executable = "/bin/bash"; Arguments = "test-input.sh"; StdOutput = "std.out"; StdError = "std.err"; InputSandbox = {"test-input.sh"}; OutputSandbox = {"std.out","std.err"}; ] [bolen@reef serial]$

48 : Przykładowe zadania obliczeniowe : serial : generujemy proxy [bolen@reef serial]$ voms-proxy-init -voms voce Cannot find file or dir: /home/admins/bolen/.glite/vomses Enter GRID pass phrase: Your identity: /C=PL/O=GRID/O=PSNC/CN=Marcin Pospieszny Creating temporary proxy... Done Contacting skurut19.cesnet.cz:7001 [/DC=cz/DC=cesnet-ca/O=CESNET/CN=skurut19.cesnet.cz] "voce" Done Creating proxy... Done Your proxy is valid until Tue Jun 17 02:30: [bolen@reef serial]$

49 : Przykładowe zadania obliczeniowe : serial : zlecamy zadanie [bolen@reef serial]$ glite-wms-job-submit -a -o jobs.tmp serial.jdl Connecting to the service ====================== glite-wms-job-submit Success ====================== The job has been successfully submitted to the WMProxy Your job identifier is: The job identifier has been saved in the following file: /home/admins/bolen/egee/szkolenie/jobs.tmp ========================================================================== [bolen@reef serial]$

50 : Przykładowe zadania obliczeniowe : serial : status zadania [bolen@reef serial]$ glite-wms-job-status -i jobs.tmp ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : Current Status: Scheduled Status Reason: Job successfully submitted to Globus Destination: ce2.polgrid.pl:2119/jobmanager-lcgpbs-voce Submitted: Mon Jun 16 11:53: CEST ************************************************************* [bolen@reef serial]$ glite-wms-job-status -i jobs.tmp ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : Current Status: Running Status Reason: Job successfully submitted to Globus Destination: ce2.polgrid.pl:2119/jobmanager-lcgpbs-voce Submitted: Mon Jun 16 11:53: CEST *************************************************************

51 : Przykładowe zadania obliczeniowe : serial : status zadania : zakończone [bolen@reef serial]$ glite-wms-job-status -i jobs.tmp ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : Current Status: Done (Success) Logged Reason(s): - - Job terminated successfully Exit code: 0 Status Reason: Job terminated successfully Destination: ce2.polgrid.pl:2119/jobmanager-lcgpbs-voce Submitted: Mon Jun 16 11:53: CEST ************************************************************* [bolen@reef serial]$

52 : Przykładowe zadania obliczeniowe : serial : pobieramy wyniki [bolen@reef serial]$ glite-wms-job-output --dir./1 -i jobs.tmp Connecting to the service ================================================================================ JOB GET OUTPUT OUTCOME Output sandbox files for the job: have been successfully retrieved and stored in the directory: /home/admins/bolen/egee/szkolenie/serial/1 ================================================================================ [bolen@reef serial]$

53 : Przykładowe zadania obliczeniowe : serial : wyniki [bolen@reef serial]$ ls -alllh total 24K drwxr-xr-x 3 bolen admins 4.0K Jun drwxr-xr-x 3 bolen admins 4.0K Jun 16 11:39.. drwxr-xr-x 2 bolen admins 4.0K Jun rw-r--r-- 1 bolen admins 0 Jun 16 11:40 edglog.log -rw-rw-r-- 1 bolen admins 197 Nov serial.jdl -rw-r--r-- 1 bolen admins 82 Jun 16 11:53 jobs.tmp -rwxrwxr-x 1 bolen admins 681 Jan 9 22:54 test-input.sh [bolen@reef serial]$ ls -alllh./1/ total 32K drwxr-xr-x 2 bolen admins 4.0K Jun drwxr-xr-x 3 bolen admins 4.0K Jun rw-r--r-- 1 bolen admins 79 Jun std.err -rw-r--r-- 1 bolen admins 20K Jun std.out [bolen@reef serial]$ cat./1/std.err traceroute to rose.man.poznan.pl ( ), 64 hops max, 38 byte packets [bolen@reef serial]$ tail./1/std.out Zmiena LCG_GFAL_INFOSYS... LCG_GFAL_INFOSYS=bdii.cyf-kr.edu.pl:2170 *********************** ***** K O N I E C ***** ***********************

54 : Przykładowe zadania obliczeniowe : zadanie równoległe (MPI) Zadanie wykorzystujące więcej niż jeden procesor (slot obliczeniowy). W -u należy podać : JobType = MPICH ; InputSandbox (plik wykonywalny lub skrypt) OutputSandbox (zazwyczaj pliki std.out i std.err) Executable (plik wykonywalny : zazwyczaj statycznie skompilowana aplikacja MPI) Arguments (argumenty dla pliku wykonywalnego)

55 : Przykładowe zadania obliczeniowe : MPI : generujemy proxy [bolen@reef mpi]$ voms-proxy-init -voms voce Cannot find file or dir: /home/admins/bolen/.glite/vomses Enter GRID pass phrase: Your identity: /C=PL/O=GRID/O=PSNC/CN=Marcin Pospieszny Creating temporary proxy... Done Contacting skurut19.cesnet.cz:7001 [/DC=cz/DC=cesnet-ca/O=CESNET/CN=skurut19.cesnet.cz] "voce" Done Creating proxy... Done Your proxy is valid until Tue Jun 17 02:30: [bolen@reef mpi]$

56 : Przykładowe zadania obliczeniowe : MPI : zlecamy zadanie [bolen@reef mpi]$ glite-wms-job-submit -a -o mpi_jobs.tmp mpi.jdl Connecting to the service ====================== glite-wms-job-submit Success ====================== The job has been successfully submitted to the WMProxy Your job identifier is: The job identifier has been saved in the following file: /home/admins/bolen/egee/szkolenie/mpi/mpi_jobs.tmp ========================================================================== [bolen@reef mpi]$

57 : Przykładowe zadania obliczeniowe : MPI: status zadania [bolen@reef mpi]$ glite-wms-job-status -i mpi_jobs.tmp ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : Current Status: Running Status Reason: Job successfully submitted to Globus Destination: ce.cyf-kr.edu.pl:2119/jobmanager-pbs-voce Submitted: Mon Jun 16 13:28: CEST ************************************************************* [bolen@reef mpi]$

58 : Przykładowe zadania obliczeniowe : MPI: zakończone [bolen@reef mpi]$ glite-wms-job-status -i mpi_jobs.tmp ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : Current Status: Done (Success) Exit code: 0 Status Reason: Job terminated successfully Destination: ce.cyf-kr.edu.pl:2119/jobmanager-pbs-voce Submitted: Mon Jun 16 13:28: CEST ************************************************************* [bolen@reef mpi]$

59 : Przykładowe zadania obliczeniowe : MPI: pobieramy wyniki [bolen@reef mpi]$ glite-wms-job-output --dir./1 -i mpi_jobs.tmp Connecting to the service ================================================================================ JOB GET OUTPUT OUTCOME Output sandbox files for the job: have been successfully retrieved and stored in the directory: /home/admins/bolen/egee/szkolenie/mpi/1 ================================================================================ [bolen@reef mpi]$