Wykorzystanie zasobów obliczeniowych EGEE czyli jak ugryźć swój kawałek tortu Marcin Pospieszny Poznańskie Centrum Superkomputerowo-Sieciowe 23 czerwca 2008
Treść prezentacji 1 EGEE: Światowy GRID EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509 2 Konto na UI Certyfikat gridowy x509 - jak uzyskać? 3 : Przykładowe zadania obliczeniowe
EGEE EGEE: Światowy GRID EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509 EGEE CE SE UI RB : co to jest? Certyfikat Gridowy ( x509 ) : do czego służy? przebieg obliczen (workflow) w systemach gridowych
EGEE: Enabling Grids for E-sciencE EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509 EGEE (Enabling Grids for E-sciencE) to projekt finansowany przez Komisj Europejską, mający na celu budowę i bieżące utrzymanie zaawansowanej infrastruktury obliczeniowej dostępnej w trybie 24/7/365 dla środowiska naukowego. Wiecej informacji można znaleźć na stronach: http://public.eu-egee.org/ http://www.eu-egee.org/
EGEE: Światowy GRID EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509 EGEE: Enabling Grids for E-sciencE Marcin Pospieszny Wykorzystanie zasobów EGEE, ver. 1.1
EGEE: zasoby EGEE: Światowy GRID EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509 Zasoby udostępniane w ramach projektu EGEE w chwili obecnej to ponad 60 tyś. CPU i ponad 400 PB powierzchni dyskowej. Stan zasobów można zobaczyc na stronach: http://gridmap.cern.ch/ : GridMap: mapa gridowa http://goc.grid.sinica.edu.tw/gstat/ : GSTAT: strona portalu GridStat
EGEE: zasoby cd. GridMap EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509
EGEE: węzły ważne dla użytkownika EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509 CE: Computing Element : klaster obliczeniowy (węzeł dostępowy i węzły robocze) SE: Storage Element : powierzchnia dyskowa dostępna dla użytkowników gridowych UI: User Interface : komputer z zainstalowanym oprogramowanie umożiwiającymcym autoryzowanie sie w gridzie (dla danej VO) i zlecanie zadań obliczeniowych RB: Resource Broker : jeden tzw. Core Services, decyduje (na podstawie opisu zadania, -a) na którym CE będzie wykonywane zlecone zadanie
EGEE: Struktura Central Services EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509
EGEE: Klaster EGEE w PCSS EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509 Klaster EGEE w PCSS : reef.man.poznan.pl : CE zarządzająe klastrem ok. 150 węzłów obliczeniowych ( ok. 1000 procesorów ) wsparcie dla VO : ATLAS ALICE LHCB CMS VOCE gaussian balticgrid SE z dyskami o powierzchni 15 TB UI dostępnee dla użytkowników na tych samych zasadach co każda maszyna obliczeniowa w PCSS
EGEE: Klaster EGEE w PCSS EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509
EGEE: Klaster lokalny vs GRID (EGEE) EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509 Prawie każde polecenie systemowe w UNIX-ie ma swoje odpowiedniki w środowisku gridowym: klaster PC GRID qstat glite-wms-job-status qstat -f glite-wms-job-status -v 2 qsub glite-wms-job-submit qdel glite-wms-job-cancel pbsnodes -a lcg-infosites vo voce ce cp/scp lcg-cr/lcg-cp rm/ssh X rm -rf file lcg-del
Certyfikat X509:Co to jest? EGEE w skrócie Zasoby EGEE Struktura EGEE EGEE w PCSS Porównanie klastra lokalnego z infrastuktruą EGEE Certyfikat gridowy x509 Certyfikat x509 : co to jest i jaka jest jego rola w projektach gridowych: Fizycznie, certyfikat składa się z dwóch plików: usercert.pem oraz userkey.pem. W pierwszym z nich jest klucz publiczny wraz z danymi o jego posiadaczu, w drugim klucz prywatny umożliwiająy i niezbędny do poprawnej identyfikacji z użyciem certyfikatu. Rola certfikatu w systemach gridowych: identyfikacja autoryzacja dostęp do VO (VOCE, gaussian, balticgrid, inne? ) accounting
Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki Konto na UI w PCSS Jak zdobyc certyfikat x509?
Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: konto na User Interface (UI) Jak zdobyć konto na UI: węzeł UI dla EGEE to maszyna reef.man.poznan.pl dostęp tylko za pomocą SSH (OpenSSH lub putty lub TTssh) konta na reef.man.poznan.pl, tak jak na każdej maszynie PCSS: portal http://hpc.man.poznan.pl obecni użytkownicy reef.man.poznan.pl pozostają bez zmian
Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji Opis procedury certyfikacji: zalogować się na UI odpalic polecenie cert-request polecenie zapyta o hasło (trzeba wprowadzić dwa razy) po ok. 3 dniach dostaniecie Państwo e-maila od plgrid-ca at man.poznan.pl, proszę zastosować się do poleceń zawartych w e-mailu poczekać na podpisanie certyfikatu przez CA (do tygodnia) wgrać PODPISANY certyfikat na UI (nano nazwa-pliku, a potem CTRL-C + CTRL-V) odpalić polecenie cert-load nazwa-pliku celem wygenerowania pliku dla przeglądarki ściągnąć plik z certyfikatem dla przeglądarki zapisać się do VO (np. do VOCE)
Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji cd.1 bolen@worker:~$ ssh reef.man.poznan.pl Last login: Fri Jun 20 14:54:40 2008 from sherwood.man.poznan.pl... Klaster obliczeniowy reef.man.poznan.pl.... Poznanskie Centrum Superkomputerowo Sieciowe Informacje: http://reef.man.poznan.pl/ http://www.man.poznan.pl/~mzawadzk/faq ZGLASZANIE PROBLEMOW: support-hpc@man.poznan.pl...... [bolen@reef ~]$
Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji cd.2 [bolen@reef ~]$ cert-request -------------------------------------------------------------------- - Generator certyfikatow x509 na potrzeby EGEE - Prosze 2-krotnie podac nowe, wybrane przez siebie haslo, ktore bedzie zabezpieczac klucz prywatny konieczny do autoryzacji w EGEE. Przypominamy, ze utrata hasla wiaze sie z koniecznoscia powtorzenia calej procedury. Aby przerwac skrypt prosze nacisnac 4x kombinacje klawiszy: ctrl-c Wiecej informacji dot. obliczen EGEE w PCSS znajda Panstwo na stronie: http://hpc.man.poznan.pl/egee Problemy i zapytania nalezy zglaszac na adres: support-hpc@man.poznan.pl -------------------------------------------------------------------- Enter PEM pass phrase: Verifying - Enter PEM pass phrase:
Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji cd.3 -------------------------------------------------------------------- - Generator certyfikatow x509 na potrzeby EGEE - Pliki certyfikacyjne zostaly wygenerowane w katalogu.globus/ i wyslane do podpisu przez centrum autoryzacyjnego (PLGRID-CA). Nastepnie w ciagu 3 dni otrzymaja Panstwo e-mail od osoby zwiazanej z PLGRID-CA z dalszymi instrukcjamui. W ciagu tygodnia otrzymaja Panstwo e-mailem podpisany certyfikat. E-maile z instukcjami i podpisanym certyfikatem zostana wyslane na adres: Marcin Pospieszny <bolen@man.poznan.pl> Otrzymany mailem plik prosze skopiowac do swojego katalogu domowego na reef.man.poznan.pl i wywolac polecenie: cert-load plik Dziekujemy za korzystanie z naszych zasobow. Wiecej informacji dot. obliczen EGEE w PCSS znajda Panstwo na stronie: http://hpc.man.poznan.pl/egee Problemy i zapytania nalezy zglaszac na adres: support-hpc@man.poznan.pl -------------------------------------------------------------------- [bolen@reef ~]$
Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji cd.4 [bolen@reef ~]$ ls -alllh.globus total 32K drwxr-xr-x 2 bolen admins 4.0K Jun 20 16:36. drwx------ 70 bolen admins 12K Jun 20 16:36.. -rw-r--r-- 1 bolen admins 616 Jun 20 16:36 grid-cert-request_log.stderr -rw-r--r-- 1 bolen admins 1.1K Jun 20 16:36 grid-cert-request_log.stdout -rw-r--r-- 1 bolen admins 0 Jun 20 16:36 usercert.pem -rw-r--r-- 1 bolen admins 1.3K Jun 20 16:36 usercert_request.pem -r-------- 1 bolen admins 963 Jun 20 16:36 userkey.pem [bolen@reef ~]$ cert-request ------------------------------------------------ UWAGA :Plik z kluczem publiczym do certyfikatu isnieje. Skontaktuj sie z adminstratorem ------------------------------------------------ ------------------------------------------------ [bolen@reef ~]$
Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji cd.5 Polecenie cert-request wyśle w Państwa imieniu wniosek certyfikacyjny w formie listu e-mail na adres PLGRID-CA plgrid-ca@man.poznan.pl. W ciągu 2-3 dni przedstawiciel PLGRID-CA (jednostki certyfikacyjnej utworzonej na potrzeby certyfikacji użytkowników projektów gridowych w Polsce) prześle na Państwa adres e-mail dalsze instrukcje związane z procesem certyfikacji. Zostaniecie Państwo poproszeni o stawienie się z dokumentem potwierdzającym tożsamość w biurze jedej z osób związanych z PLGRID-CA ( w Poznaniu : Paweł Wolniewicz, PCSS ).
Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji cd.6 [bolen@reef ~]$ nano GNU nano 1.2.4 plik_tmp.txt File: plik_tmp.txt [ New File ] ^G Get Help ^O WriteOut ^R Read File ^Y Prev Page ^K Cut Text ^C Cur Pos ^X Exit ^J Justify ^W Where Is ^V Next Page ^U UnCut Txt ^T To Spell
Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji cd.7 GNU nano 1.2.4 File: plik_tmp.txt Modified UklEMRcwFQYDVQQDEw5Qb2xpc2ggR3JpZCBDQYIBADAOBgNVHQ8BAf8EBAMCBPAw EQYJYIZIAYb4QgEBBAQDAgTQMCIGA1UdEgQbMBmBF3BsZ3JpZC1jYUBtYW4ucG96 bmfulnbsmdsga1udhwq0mdiwmkauocygkmh0dha6ly93d3cubwfulnbvem5hbi5w bc9wbgdyawqty2evy3jslnblbta5bglghkgbhvhcaqmelbyqahr0cdovl3d3dy5t YW4ucG96bmFuLnBsL3BsZ3JpZC1jYS9jcmwucGVtMEAGCWCGSAGG+EIBCAQzFjFo dhrwoi8vd3d3lm1hbi5wb3puyw4ucgwvcgxncmlklwnhl2nhlxbvbgljes5odg1s MDMGCWCGSAGG+EIBDQQmFiRDZXJ0aWZpY2F0ZSBpc3N1ZWQgYnkgUG9saXNoIEdy awqgq0ewmqyjyiziayb4qgecbcqwimh0dha6ly93d3cubwfulnbvem5hbi5wbc9w bgdyawqty2ewdqyjkozihvcnaqefbqadggebaivjktpmahzd7nbj6rei4a5wh9q3 jygm81wvdvpwm6eejssw7jyde+guqrptti1wb2xznudl/kpwbcqitvkh+rs2bedu WQa5gbDMRC85dq52//bUEh/J/mkTqfycldQwZ91Dwv2c3W2ZaKCqKB6KJC15ScgS EymahPIR2uIB0Zsgeqsz4vR/kPaNB6vvS270dHY7p1JMiGeuS3jd/FbLbYDCW4sy iz5giwu9omt2uv/pdqu62ct8fbrkgttoyhxaokjg0ckpltketaw67oyggh4y1fnq hf2bs2becar0tx8pbwc2l5rb9dd4pnhipd+xvgnoa7ljuy1rgod49r1lh1o= -----END CERTIFICATE----- ^G Get Help ^O WriteOut ^R Read File ^Y Prev Page ^K Cut Text ^C Cur Pos ^X Exit ^J Justify ^W Where Is ^V Next Page ^U UnCut Txt ^T To Spell wprowadzamy CRTL-X nastepnie y i wciskamy klawisz ENTER
Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji cd.8 [bolen@reef ~]$ cert-load plik_tmp.txt -------------------------------------------------------------------- - Generator certyfikatow x509 na potrzeby EGEE - Prosze 3-krotnie podac nowe, wybrane przez siebie haslo, ktore bedzie zabezpieczac klucz prywatny konieczny do autoryzacji w EGEE. Przypominamy, ze utrata hasla wiaze sie z koniecznoscia powtorzenia calej procedury. Aby przerwac skrypt prosze nacisnac 4x kombinacje klawiszy: ctrl-c Wiecej informacji dot. obliczen EGEE w PCSS znajda Panstwo na stronie: http://hpc.man.poznan.pl/egee Problemy i zapytania nalezy zglaszac na adres: support-hpc@man.poznan.pl -------------------------------------------------------------------- Enter pass phrase for /home/admins/bolen/.globus/userkey.pem: Enter Export Password: Verifying - Enter Export Password: [bolen@reef ~]$
Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji cd.9 [bolen@reef ~]$ ls -allh.globus/ total 44K drwxr-xr-x 2 bolen admins 4.0K Jun 22 12:17. drwx------ 70 bolen admins 12K Jun 22 11:56.. -rw-r--r-- 1 bolen admins 649 Jun 22 11:56 grid-cert-request_log.stderr -rw-r--r-- 1 bolen admins 1.1K Jun 22 11:56 grid-cert-request_log.stdout -rw-r--r-- 1 bolen admins 4.9K Jun 22 12:19 usercert.pem -rw-r--r-- 1 bolen admins 2.2K Jun 22 12:19 usercert.pkcs12 -rw-r--r-- 1 bolen admins 1.3K Jul 18 2007 usercert_request.pem -r-------- 1 bolen admins 963 Jul 18 2007 userkey.pem [bolen@reef ~]$ Proszę zwrócić uwagę na prawa do plików: 400 dla userkey.pem 644 dla reszty plików
Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji: VO ładujemy plik pkcs12 do przeglądarki wnioskujemy o przynależności do VO (VOCE) czekamy na e-maila od VO Manager-a (jedna z osób z VOCE Support Team: voce@cesnet.cz) po przyznaniu konta w VO VOCE mozna zlecać zadania
Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji: VO cz.1 Jak załadować certyfikat do przeglądarki (konieczne do złożenia wniosku o przynależność do VO)? Należy sciągnąć na dysk maszyny z przeglądarką plik /home/users/user/.globus/usercert.pkcs12 (najlepiej za pomocą scp/sftp) oraz wykonać poniższe kroki: dla Firefox: Edycja - Preferencje - Zaawansowane - Szyfrowanie - Wyświetl certyfikaty - Twoje Certyfikaty - Importuj dla MSIE: Narzędzia - Opcje internetowe - Certyfikaty - Importuj dla Inne przegladarki: http://lcg.web.cern.ch/lcg/ users/registration/load-cert.html
Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji: VO cz.2
Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji: VO cz.3 Aby uzyskać przynależność do jakiejś VO ( lista VO na stronie CIC Portal, http://cic.in2p3.fr/, zakładka VO ) należy wypełnić formularz z wnioskiem o przynależność do danej VO. Dla VO VOCE formularz znajduje się na stronie https://voce-register.farm.particle.cz/voce/. Aby móc wypełnić formularz należy wcześniej załadować PODPISANY certyfikat do przeglądarki.
Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji: VO VOCE
Konto na UI Certyfikat gridowy x509 - jak uzyskać? Pierwsze kroki: Procedura certyfikacji: CIC PORTAL, VO
: Przykładowe zadania obliczeniowe : Jak ugryźć ten tort? Prowadzenie obliczeń w EGEE: : w jaki sposób są wykonywane zadania obliczeniowe w EGEE : Job Description Language zadania szeregowe, zadania równoległe i inne zadania
: Przykładowe zadania obliczeniowe :
: Przykładowe zadania obliczeniowe : : Job Description Language to język służący do opisu zadania obliczeniowego. W plikach zawarte są informacje dla Resource Brokera o tym: jakie to jest zadanie (szeregowe/równoległe) jakie zasoby są konieczne do wykonania tego zadania jakie są pliki wejściowe i wyjściowe gdzie można znaleźć plik wykonywalny W -u można jawnie zdefiniować CE ( klaster ) na którym ma się wykonać zadanie.
: Przykładowe zadania obliczeniowe : w skrócie [bolen@reef serial]$ cat plik.jdl [ JobType = "Normal"; # rodzaj zadania (Normal/MPICH) Executable = "/bin/bash"; # plik wykonywalny Arguments = "test-input.sh"; # argumenty dla pliku wykonywalnego StdOutput = "std.out"; # plik w ktorym znajdzie sie strumien STDOUT StdError = "std.err"; # plik w ktorym znajdzie sie stumien STDERR InputSandbox = {"test-input.sh"}; # zawartosc InputSandbox # (lista plikow wysylanych na klaster, pliki w "", oddzielone, ) OutputSandbox = {"std.out","std.err"}; # zawartosc OutputSandbox # (lista plikow traktowanych jako wyjscie zadania, j.w.) Requirements = other.glueceuniqueid == "ce.reef.man.poznan.pl:2119/jobmanager-pbs-voce"; # zadanie ma sie wykonac na klastrze ce.reef.man.poznan.pl ] [bolen@reef serial]$ Staraj sie ograniczyć wielkość InputSandbox i OutputSandbox (max 1 MB). RB ma ograniczone zasoby dyskowe i może odrzucić zbyt duże zadanie.
: Przykładowe zadania obliczeniowe : przykłady 1 [bolen@reef serial]$ cat egee_test.jdl [ JobType = "Normal"; Executable = "/bin/bash"; Arguments = "test-input.sh"; StdOutput = "std.out"; StdError = "std.err"; InputSandbox = {"test-input.sh"}; OutputSandbox = {"std.out","std.err"}; ] [bolen@reef serial]$
: Przykładowe zadania obliczeniowe : przykłady 2 [bolen@reef mpi]$ cat mpi_egee_test.jdl [ JobType = "MPICH"; CpuNumber = 4 ; Executable = "cpi"; StdOutput = "std.out"; StdError = "std.err"; InputSandbox = {"cpi"}; OutputSandbox = {"std.out","std.err"}; ] [bolen@reef mpi]$
: Przykładowe zadania obliczeniowe : Przykłady Schemat postępowania dla obliczeń gridowych na przykładzie VO VOCE: przygotowanie pliku *.jdl, skryptów, plików wykonywalnych (zawartość Input Sandbox) generowanie proxy: voms-proxy-init -voms voce zlecenie zadania: glite-wms-job-submit -a -o jobs.tmp twoj-jdl.jdl zadanie sie liczy (albo nie :) ), sprawdzamy status: glite-wms-job-status -i jobs.tmp lub glite-wms-job-status -v 2 -i jobs.tmp zadanie sie zakonczylo, pobieramy wyniki: glite-wms-job-output dir./outdir -i jobs.tmp
: Przykładowe zadania obliczeniowe : generowanie proxy: voms-proxy-init voms-proxy-init -voms voce [-t czas-waznosci-proxy (h)] voms-proxy-init : polecenie -voms voce : generujemy proxy do współpracy z VO VOCE -t czas-waznosci-proxy : w ten sposób określamy czas ważności naszego proxy, domyślnie 12 h Przykład : voms-proxy-init -voms lub voce voms-proxy-init -voms voce -t 24
: Przykładowe zadania obliczeniowe : zlecanie zadania glite-wms-job-submit glite-wms-job-submit -a -o jobs.tmp plik.jdl glite-wms-job-submit : polecenie -a : automatycznie użyj DN pobranego z proxy -o jobs.tmp : do pliku jobs.tmp dopisz identyfikator zadania zwrócony przez RB Przykład : plik.jdl : twój plik z opisem zadania glite-wms-job-submit -a -o jobs.tmp egee_test.jdl
: Przykładowe zadania obliczeniowe : status zadania glite-wms-job-status glite-wms-job-status [-v 2] -i jobs.tmp glite-wms-job-status : polecenie -v 2 : poziom sczegółowości informacji o statusie zadania -i jobs.tmp : z pliku jobs.tmp przeczytaj indentyfikatory zadań Przykład : glite-wms-job-status -i jobs.tmp lub glite-wms-job-status -v 2 -i jobs.tmp
: Przykładowe zadania obliczeniowe : wynik zadania glite-wms-job-output glite-wms-job-output dir./outdir -i jobs.tm glite-wms-job-output : polecenie -dir./outdir : w tym katalogu zostanie umieszczony wynik zadania (OutputSandbox) -i jobs.tmp : z pliku jobs.tmp przeczytaj indentyfikatory zadań Przykład : glite-wms-job-status --dir./outdir -i jobs.tmp
: Przykładowe zadania obliczeniowe : lista CE dla VO VOCE Aby wyświetlić listę zasobów dostępnych w ramach danego VO należy wykonać polecenie lcg-infosites. Lista CE dla VO VOCE : [bolen@reef szkolenie]$ lcg-infosites --vo voce ce valor del bdii: bdii.cyf-kr.edu.pl:2170 #CPU Free Total Jobs Running Waiting ComputingElement ---------------------------------------------------------- 22 13 1 0 1 pearl.amu.edu.pl:2119/jobmanager-lcgpbs-voce 160 10 0 0 0 hephygr.oeaw.ac.at:2119/jobmanager-lcgpbs-voce 6 6 0 0 0 eszakigrid66.inf.elte.hu:2119/jobmanager-lcgpbs-voce 8 3 4 2 2 egee-ce1.gup.uni-linz.ac.at:2119/jobmanager-pbs-voce 672 10 10 10 0 ce.reef.man.poznan.pl:2119/jobmanager-pbs-voce 20 2 27 26 1 ce.hpc.iit.bme.hu:2119/jobmanager-lcgpbs-long 15 15 0 0 0 ce.grid.tuke.sk:2119/jobmanager-pbs-voce 24 1 27 23 4 egee.irb.hr:2119/jobmanager-lcgpbs-grid 70 70 0 0 0 grid109.kfki.hu:2119/jobmanager-lcgpbs-voce 24 23 1 1 0 ce1-egee.fesb.hr:2119/jobmanager-pbs-grid 562 203 0 0 0 ce.cyf-kr.edu.pl:2119/jobmanager-pbs-voce 8 3 0 0 0 egee-ce.grid.niif.hu:2119/jobmanager-pbs-voce 41 34 7 7 0 ce.ui.savba.sk:2119/jobmanager-pbs-voce 4 4 0 0 0 ce.polgrid.pl:2119/jobmanager-lcgpbs-voce 24 22 2 2 0 ce1-egee.srce.hr:2119/jobmanager-sge-prod 206 206 0 0 0 ce2.polgrid.pl:2119/jobmanager-lcgpbs-voce 56 33 0 0 0 skurut17.cesnet.cz:2119/jobmanager-lcgpbs-egee_voce [bolen@reef szkolenie]$
: Przykładowe zadania obliczeniowe : lista SE dla VO VOCE Lista SE dla VO VOCE : [bolen@reef szkolenie]$ lcg-infosites --vo voce se Avail Space(Kb) Used Space(Kb) Type SEs ---------------------------------------------------------- 58010000 76246 n.a pagaj.fizyka.amu.edu.pl 4660000000 53846 n.a se.reef.man.poznan.pl 123220000 112853 n.a ce.grid.tuke.sk 3050000000 4 n.a grid143.kfki.hu 7930000000 54040000000 n.a dpm.cyf-kr.edu.pl 1450073900 30270 n.a se.polgrid.pl 468510000 2 n.a se1-egee.fesb.hr 4802600000 186644 n.a dpm1.egee.cesnet.cz 97587460 439152380 n.a zeus03.cyf-kr.edu.pl 149420000 n.a n.a se.hpc.iit.bme.hu 28410000000 76247 n.a hephyse.oeaw.ac.at 2550000000 275824 n.a egee-se.grid.niif.hu 1480000000 82020 n.a se1-egee.srce.hr 7150000000 20974 n.a eszakigrid67.inf.elte.hu 186540000 76256 n.a egee-ce1.gup.uni-linz.ac.at 1890000000 1430894 n.a se.ui.savba.sk 148510000 243749 n.a egee2.irb.hr [bolen@reef szkolenie]$
: Przykładowe zadania obliczeniowe : lista CE pasujących do opisu zadania Aby wyświetlić listę CE na których może się wykonać nasze zadanie należy wykonać polecenie glite-wms-job-list-match. Lista CE dla zadania opisanego w serial.jdl: [bolen@reef serial]$ glite-wms-job-list-match -a serial.jdl Connecting to the service https://rb1.cyf-kr.edu.pl:7443/glite_wms_wmproxy_server ========================================================================== COMPUTING ELEMENT IDs LIST The following CE(s) matching your job requirements have been found: *CEId* - ce.reef.man.poznan.pl:2119/jobmanager-pbs-voce - egee-ce.grid.niif.hu:2119/jobmanager-pbs-voce - eszakigrid66.inf.elte.hu:2119/jobmanager-lcgpbs-voce - ce.grid.tuke.sk:2119/jobmanager-pbs-voce - hephygr.oeaw.ac.at:2119/jobmanager-lcgpbs-voce - ce.cyf-kr.edu.pl:2119/jobmanager-pbs-voce - ce.hpc.iit.bme.hu:2119/jobmanager-lcgpbs-long - egee.irb.hr:2119/jobmanager-lcgpbs-grid - egee-ce1.gup.uni-linz.ac.at:2119/jobmanager-pbs-voce - pearl.amu.edu.pl:2119/jobmanager-lcgpbs-voce - ce1-egee.srce.hr:2119/jobmanager-sge-prod - skurut17.cesnet.cz:2119/jobmanager-lcgpbs-egee_voce - grid109.kfki.hu:2119/jobmanager-lcgpbs-voce ========================================================================== [bolen@reef serial]$
: Przykładowe zadania obliczeniowe : zadania szeregowe (serial) Podstawowy typ zadania obliczeniowego. W -u należy podać : InputSandbox (plik wykonywalny lub skrypt) OutputSandbox (zazwyczaj pliki std.out i std.err) Executable (plik wykonywalny) Arguments (argumenty dla pliku wykonywalnego)
: Przykładowe zadania obliczeniowe : serial : [bolen@reef serial]$ cat serial.jdl [ JobType = "Normal"; Executable = "/bin/bash"; Arguments = "test-input.sh"; StdOutput = "std.out"; StdError = "std.err"; InputSandbox = {"test-input.sh"}; OutputSandbox = {"std.out","std.err"}; ] [bolen@reef serial]$
: Przykładowe zadania obliczeniowe : serial : generujemy proxy [bolen@reef serial]$ voms-proxy-init -voms voce Cannot find file or dir: /home/admins/bolen/.glite/vomses Enter GRID pass phrase: Your identity: /C=PL/O=GRID/O=PSNC/CN=Marcin Pospieszny Creating temporary proxy... Done Contacting skurut19.cesnet.cz:7001 [/DC=cz/DC=cesnet-ca/O=CESNET/CN=skurut19.cesnet.cz] "voce" Done Creating proxy... Done Your proxy is valid until Tue Jun 17 02:30:22 2008 [bolen@reef serial]$
: Przykładowe zadania obliczeniowe : serial : zlecamy zadanie [bolen@reef serial]$ glite-wms-job-submit -a -o jobs.tmp serial.jdl Connecting to the service https://rb1.cyf-kr.edu.pl:7443/glite_wms_wmproxy_server ====================== glite-wms-job-submit Success ====================== The job has been successfully submitted to the WMProxy Your job identifier is: https://lb.grid.cyf-kr.edu.pl:9000/o85isq2ui32nrugwqxdzka The job identifier has been saved in the following file: /home/admins/bolen/egee/szkolenie/jobs.tmp ========================================================================== [bolen@reef serial]$
: Przykładowe zadania obliczeniowe : serial : status zadania [bolen@reef serial]$ glite-wms-job-status -i jobs.tmp ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : https://lb.grid.cyf-kr.edu.pl:9000/w0p8w91rl42gm1uigwzolq Current Status: Scheduled Status Reason: Job successfully submitted to Globus Destination: ce2.polgrid.pl:2119/jobmanager-lcgpbs-voce Submitted: Mon Jun 16 11:53:15 2008 CEST ************************************************************* [bolen@reef serial]$ glite-wms-job-status -i jobs.tmp ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : https://lb.grid.cyf-kr.edu.pl:9000/w0p8w91rl42gm1uigwzolq Current Status: Running Status Reason: Job successfully submitted to Globus Destination: ce2.polgrid.pl:2119/jobmanager-lcgpbs-voce Submitted: Mon Jun 16 11:53:15 2008 CEST *************************************************************
: Przykładowe zadania obliczeniowe : serial : status zadania : zakończone [bolen@reef serial]$ glite-wms-job-status -i jobs.tmp ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : https://lb.grid.cyf-kr.edu.pl:9000/w0p8w91rl42gm1uigwzolq Current Status: Done (Success) Logged Reason(s): - - Job terminated successfully Exit code: 0 Status Reason: Job terminated successfully Destination: ce2.polgrid.pl:2119/jobmanager-lcgpbs-voce Submitted: Mon Jun 16 11:53:15 2008 CEST ************************************************************* [bolen@reef serial]$
: Przykładowe zadania obliczeniowe : serial : pobieramy wyniki [bolen@reef serial]$ glite-wms-job-output --dir./1 -i jobs.tmp Connecting to the service https://149.156.9.29:7443/glite_wms_wmproxy_server ================================================================================ JOB GET OUTPUT OUTCOME Output sandbox files for the job: https://lb.grid.cyf-kr.edu.pl:9000/w0p8w91rl42gm1uigwzolq have been successfully retrieved and stored in the directory: /home/admins/bolen/egee/szkolenie/serial/1 ================================================================================ [bolen@reef serial]$
: Przykładowe zadania obliczeniowe : serial : wyniki [bolen@reef serial]$ ls -alllh total 24K drwxr-xr-x 3 bolen admins 4.0K Jun 16 2008. drwxr-xr-x 3 bolen admins 4.0K Jun 16 11:39.. drwxr-xr-x 2 bolen admins 4.0K Jun 16 2008 1 -rw-r--r-- 1 bolen admins 0 Jun 16 11:40 edglog.log -rw-rw-r-- 1 bolen admins 197 Nov 15 2007 serial.jdl -rw-r--r-- 1 bolen admins 82 Jun 16 11:53 jobs.tmp -rwxrwxr-x 1 bolen admins 681 Jan 9 22:54 test-input.sh [bolen@reef serial]$ ls -alllh./1/ total 32K drwxr-xr-x 2 bolen admins 4.0K Jun 16 2008. drwxr-xr-x 3 bolen admins 4.0K Jun 16 2008.. -rw-r--r-- 1 bolen admins 79 Jun 16 2008 std.err -rw-r--r-- 1 bolen admins 20K Jun 16 2008 std.out [bolen@reef serial]$ cat./1/std.err traceroute to rose.man.poznan.pl (150.254.173.3), 64 hops max, 38 byte packets [bolen@reef serial]$ tail./1/std.out Zmiena LCG_GFAL_INFOSYS... LCG_GFAL_INFOSYS=bdii.cyf-kr.edu.pl:2170 *********************** ***** K O N I E C ***** ***********************
: Przykładowe zadania obliczeniowe : zadanie równoległe (MPI) Zadanie wykorzystujące więcej niż jeden procesor (slot obliczeniowy). W -u należy podać : JobType = MPICH ; InputSandbox (plik wykonywalny lub skrypt) OutputSandbox (zazwyczaj pliki std.out i std.err) Executable (plik wykonywalny : zazwyczaj statycznie skompilowana aplikacja MPI) Arguments (argumenty dla pliku wykonywalnego)
: Przykładowe zadania obliczeniowe : MPI : generujemy proxy [bolen@reef mpi]$ voms-proxy-init -voms voce Cannot find file or dir: /home/admins/bolen/.glite/vomses Enter GRID pass phrase: Your identity: /C=PL/O=GRID/O=PSNC/CN=Marcin Pospieszny Creating temporary proxy... Done Contacting skurut19.cesnet.cz:7001 [/DC=cz/DC=cesnet-ca/O=CESNET/CN=skurut19.cesnet.cz] "voce" Done Creating proxy... Done Your proxy is valid until Tue Jun 17 02:30:22 2008 [bolen@reef mpi]$
: Przykładowe zadania obliczeniowe : MPI : zlecamy zadanie [bolen@reef mpi]$ glite-wms-job-submit -a -o mpi_jobs.tmp mpi.jdl Connecting to the service https://rb1.cyf-kr.edu.pl:7443/glite_wms_wmproxy_server ====================== glite-wms-job-submit Success ====================== The job has been successfully submitted to the WMProxy Your job identifier is: https://lb.grid.cyf-kr.edu.pl:9000/1arnywrjzg2ffkgox7qlow The job identifier has been saved in the following file: /home/admins/bolen/egee/szkolenie/mpi/mpi_jobs.tmp ========================================================================== [bolen@reef mpi]$
: Przykładowe zadania obliczeniowe : MPI: status zadania [bolen@reef mpi]$ glite-wms-job-status -i mpi_jobs.tmp ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : https://lb.grid.cyf-kr.edu.pl:9000/1arnywrjzg2ffkgox7qlow Current Status: Running Status Reason: Job successfully submitted to Globus Destination: ce.cyf-kr.edu.pl:2119/jobmanager-pbs-voce Submitted: Mon Jun 16 13:28:18 2008 CEST ************************************************************* [bolen@reef mpi]$
: Przykładowe zadania obliczeniowe : MPI: zakończone [bolen@reef mpi]$ glite-wms-job-status -i mpi_jobs.tmp ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : https://lb.grid.cyf-kr.edu.pl:9000/1arnywrjzg2ffkgox7qlow Current Status: Done (Success) Exit code: 0 Status Reason: Job terminated successfully Destination: ce.cyf-kr.edu.pl:2119/jobmanager-pbs-voce Submitted: Mon Jun 16 13:28:18 2008 CEST ************************************************************* [bolen@reef mpi]$
: Przykładowe zadania obliczeniowe : MPI: pobieramy wyniki [bolen@reef mpi]$ glite-wms-job-output --dir./1 -i mpi_jobs.tmp Connecting to the service https://149.156.9.29:7443/glite_wms_wmproxy_server ================================================================================ JOB GET OUTPUT OUTCOME Output sandbox files for the job: https://lb.grid.cyf-kr.edu.pl:9000/1arnywrjzg2ffkgox7qlow have been successfully retrieved and stored in the directory: /home/admins/bolen/egee/szkolenie/mpi/1 ================================================================================ [bolen@reef mpi]$