! PL-Grid Idea! ! Projekt PL-Grid! ! Oferta Infrastruktury PL-Grid! ! Użytkownicy i realizowane projekty naukowe! ! Demonstracja!

Transkrypt

1 Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej Plan prezentacji! PL-Grid Przestrze! Badawcza dla e-nauki Mariusz Sterzel ACK Cyfronet AGH helpdesk@plgrid.pl! PL-Grid Idea!! Projekt PL-Grid!! Oferta Infrastruktury PL-Grid!! Użytkownicy i realizowane projekty naukowe!! Demonstracja!! GridSpace Wirtualne laboratorium PL-Grid! Centrum Transferu Technologii, Politechnika Krakowska! Kraków, 30 marca 2011! 2"! Grid to:! Co to jest grid?! " pomysł na połączenie rozproszonych geograficznie zasobów (komputerów, oprogramowania, (baz) danych czy ludzi)," " widzianych przez użytkownika jako jedna wirtualna maszyna" " umożliwiająca dostęp do jej zasobów z dowolnego miejsca na świecie"! Zasoby! " są dzielone wśród użytkowników zrzeszonych w ramach wirtualnych organizacji (VO)," " determinujących automatycznie rodzaj zasobów dostępnych dla użytkownika" " i warunki pod jakimi możliwy jest ten dostęp"... czyli chcemy czegoś na wzór sieci elektrycznej:!! Idea PL-Grid!! PL-Grid to ogólnopolska Infrastruktura gridowa! " Przyjazna i otwarta dla wszystkich ludzi nauki" " Do wykorzystania przez użytkowników w sposób najbardziej dla nich wygodny" " Umożliwiająca integrację zarówno danych doświadczalnych jak i wyników zaawansowanych symulacji komputerowych" " Dostarczająca polskiej społeczności naukowej usług informatycznych opartych na gridowych klastrach komputerowych, służących e-nauce w różnych dziedzinach" " Kompatybilna i interoperatybilna z infrastrukturą europejską" " Dostępna nieodpłatnie dla wszystkich prowadzących działalność naukową"! 3" 4" 1

2 Konsorcjum PL-Grid! Powołane w styczniu 2007 roku" Członkowie:" Akademickie Centrum Komputerowe CYFRONET AGH koordynator! Poznańskie Centrum Superkomputerowo-" Sieciowe (PCSS)" Wrocławskie Centrum Sieciowo-" Superkomputerowe (WCSS)" Centrum Informatyczne Trójmiejskiej" Akademickiej Sieci Komputerowej (TASK)" Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego (ICM)" Organizacja EGI.eu! Powołana do koordynowania działań społeczności gridowych na arenie europejskiej! Bazuje na federacji narodowych inicjatyw gridowych w celu wspierania społeczności międzynarodowych na platformie gridowej! PL-Grid Wsparcie Finansowe przedsięwzięcia: Projekt Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej PL-Grid współfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego w ramach Programu Operacyjnego Innowacyjna Gospodarka" 30 marca 2010, start, jako pierwszej w Europie, w pełni działającej Polskiej Narodowej Infrastruktury Gridowej (Polish NGI, PL-Grid)! Podziękowania: Jacek Kitowski" 5" Oferta Sprzętowa Projektu PL-Grid! Dostępnych prawie rdzeni (ok. 104 TFLOPs)" Ponad 1500 TB pamięci masowych! Klaster Zeus najmocniejszym komputerem w Polsce (Top500 miejsce 84, Listopad 2010, poprzednio miejsce 161)! Projekt PL-Grid docelowo:" Zasoby obliczeniowe Zeus! ACK Cyfronet AGH (obecnie)" 6" Moc obliczeniowa: ok. 215 TFLOPs! Ponad 2500 TB pamięci masowych! Infrastruktura niezbędna do utrzymania zasobów w stanie produkcyjnym 7 dni w tygodniu! Efektywna klimatyzacja zasobów" System zabezpieczeń na wypadek awarii zasilania " " 7" 8" 2

3 Zeus stały monitoring zasobów! Oferta Projektu PL-Grid! Pakiety oprogramowania naukowego (komercyjne i darmowe), narzędzia typu kompilatory, biblioteki numeryczne, MPI, wszystko dostępne w jeden zunifikowany sposób " Zestaw zaawansowanych narzędzi do organizacji eksperymentów obliczeniowych w środowisku rozproszonym (InsilicoLab, GridSpace2, g-eclipse, VINE Toolkit, Migrating Desktop)" Pomoc w zrozumieniu zagadnień związanych z uruchamianiem aplikacji naukowych na rozległych zasobach obliczeniowych" Wsparcie przy projektowaniu własnych aplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid" Systemy: Portal Użytkownika, Helpdesk, Szkolenia w Blackboard" System zarządzania grantami obliczeniowymi (faza wdrożenia)" Bazy danych użytkowników (faza wdrożenia)" 9" 10" Użytkownicy PL-Grid!! Dziedziny nauki najbardziej aktywne:! nauki biologiczne" chemia kwantowa" nanotechnologia i technologia materiałów" Rekordy obliczeń! symulacje działania antybiotyków 165 lat CPU" modelowanie molekularne 21 lat CPU" modelowanie reakcji chemicznych 17 lat CPU" Użytkownicy wykorzystanie zasobów! Badanie własności magnetycznych nanostruktur kobaltu" Badanie przepływu turbulentnego ze spalaniem" Dynamika płynów w ośrodkach porowatych" Rozpoznawanie mowy i badania języka naturalnego" Rentgenowska mikroanaliza fluorescencyjna Przetwarzanie obrazów w!rodowiskach rozproszonych Badania przemian fazowych, m.in. ciek"ych kryszta"ów Badanie zwar# wysokorezystancyjnych w sieciach jednofazowych Problem degeneracji pasm w pó"przewodnikach Ma"e cia"a Uk"adu S"onecznego pochodzenie i dynamika $ to tylko cz%!# zestawienia z ponad 400 realizowanych projektów Trend stale rosnące zainteresowanie obliczeniami w PL-Grid! Podziękowania: Marcin Radecki" 11" 12" 3

4 Chemia kwantowa! Wykorzystanie infrastruktury PL-Grid w przyk!adowych projektach badawczych! Główne zadanie obliczenia struktury elektronowej molekuł" " wykorzystywane do:" badania oddziaływań pomiędzy cząsteczkami" modelowania reakcji i procesów chemicznych oraz katalitycznych" badania materiałów o znaczeniu przemysłowym i poszukiwania nowych o zadanych właściwościach, np. polimerów, materiałów magazynujących energię itp.." " główne dziedziny zastosowania: chemia, fizyka i biologia" Przykład: " obliczenia struktury elektronowej i drgań normalnych cząsteczki fullerenu C60 z atomem miedzi" Obliczenia pakietem Turbomole. Dostępne również ADF, Gaussian i inne ogólnodostępne" 13" 14" Biologia i nauki pokrewne!! Główny użytkownik infrastruktury, zastosowania:" " przewidywanie struktury białek," " poszukiwanie nowych leków," " analiza krótkich sekwencji DNA," " badanie własności enzymatycznych białek," " modelowanie procesu zwijania (foldowania) białek" " badania zjawisk elektrycznych w komórkach serca" " przewidywania własności biopolimerów i ich zastosowania" " opis aktywności komórek nerwowych mózgu i siatkówki oka" " projektowanie i wdrażanie systemów pomiarowych na potrzeby neurobiologii" " badania nad gruźlicą własności inhibitorów primazy i ligazy DNA" " " Biologia i nauki pokrewne cd.!! Najaktywniejszy użytkownik badania aktywności antybiotyków przeciwgrzybiczych (Politechnika Gdańska) ponad 165 lat CPU!! Zastosowanie nowoczesnego interfejsu sieciowego (Infiniband) wraz ze specjalnie przygotowanymi wersjami oprogramowania pozwoliło przyspieszyć obliczenia ponad 5x. Dla innych pakietów oprogramowania podobne usprawnienia są w trakcie wdrożenia" Podziękowania: Jacek Czub, Anna Neumann, PG " 15" 16" 4

5 Fizyka Wysokich Energii! Projektowanie układów scalonych! Wspieramy wszystkie eksperymenty Wielkiego Zderzacza Hadronów, projektu mającego na celu odkrycie boskiej cząstki bozonu Higgs a" Efektywne modelowanie poprawności działania chipu możliwe dzięki wykorzystaniu wielu rdzeni jednocześnie" Przykład: wykorzystanie pakietu komercyjnego Cadence (licencja własna użytkowników)" CERN" Podziękowania: Michał Dwużnik, Krzysztof Świętek, AGH" 17" 18" Astronomia! Cherenkov Telescope Array (CTA)" Inicjatywa mająca na celu budowę sieci nowej generacji naziemnych detektorów promieniowania! pracujących w zakresie 10 GeV do 100 TeV! Projekt został zakwalifikowany jako kluczowy dla nauki w Europie przez ESFRI" Fizyka projekt nedm! Projekt mający na celu bardzo dokładne pomiary momentu dipolowego neutronu o rozdzielczości kilku e#cm" Ponad 12 partnerów " Strategia: ultra-zimne neutrony przechowywane w próżni w temperaturze pokojowej" Obecnie realizacja fazy I i II projektu test komponentów i budowa aparatu pomiarowego" Organizacja wirtualna nedm w PL-Grid umożliwia współpracę i wymianę danych pomiędzy partnerami z Polski i Europy! Wymagane zasoby dyskowe ok. 20 TB"! Obecnie jest w końcowej części fazy rozruchowej " Dane zbierane przez dostępne przyrządy: CANGAROO, H.E.S.S., MAGIC, MILAGRO oraz VERITAS są przechowywane na infrastrukturze PLGrid w ACK Cyfronet AGH i na bieżąco analizowane przez polskich astronomów" Materiały za: G. Lamana, D. Torres, CTA"! 19" 20" 5

6 4 3 Badania sezonowych zmian zawartości komórek somatycznych (SCS) w mleku krów rasy polskiej holsztyńsko-fryzyjskiej!! SCC i SCS (logarytm z SCC) powszechnie używane w hodowli bydła jako wskaźniki stanu zdrowotności wymienia!! Średnia wartość SCC [ml -1 ]! " 1. laktacja do 145 tys." " 2. laktacja do 200 tys." " 3. laktacja do 240 tys." " Ponad 500 tys.: oznaka choroby"! Badania: analiza statystyczna SCS na podstawie ok. 12 mln danych dot. ok krów!! funkcja okresowa (stały okres 12 miesięcy, parametry: średnia, amplituda i przesunięcie fazy)! RESIDUAL SUM OF SQUARES 2,9E+07 2,8E+07 2,7E+07 2,6E+07 2,5E+07 2,4E+07 2,3E+07 2,2E+07 2,1E+07 2,0E+07 1,9E+07 1,8E+07 1,7E+07 1,6E+07 1,5E+07 1,4E+07 1,3E+07 1,2E+07 1,1E+07 1,0E+07 9,0E+06 8,0E+06 7,0E+06 6,0E+06 5,0E+06 4,0E+06 3,0E+06 Wyniki (suma kwadratów błędu) dla przesunięcia o 1,5 miesiąca$ 2,0E+06 1,0E+06 0,0E+00 3,2 3,4 3,6 SCS MEAN 3,8 4,2 4,4-0,2 0,1-0,05 SCS AMPLITUDE Wniosek: Wartość średnia SCS (z wykresu) wynosi ok. 3,5; amplituda ok. 0,1.$ Zaawansowane środowiska pracy! Podziękowania: Ewa Ptak, Maciej Gierdziewicz, WHBZ UR, Kraków" 21" 22" InsilicoLab$! Środowiska pracy dla chemików i biologów, z systemem zintegrowanych narzędzi, które:! " umożliwiają w wygodny sposób zarządzanie procesem obliczeń i wynikami obliczeń," " bez forsowania zmiany sposobu myślenia naukowców," " nie rozpraszają użytkowników wykorzystywaną technologią" " oraz umożliwią łatwą współpracę pomiędzy badaczami pracującymi nad wspólnymi projektami" Podziękowania: Klemens Noga" GridSpace! Motywacja! Złożone aplikacje naukowe uruchamiane na infrastrukturze komputerowej" Dostępność pakietów oprogramowania naukowego" Dostępność źródeł danych" Różne grupy zaangażowane w rozwój eksperci dyscypliny, programiści, końcowi użytkownicy" Aplikacje powstające w sposób eksploracyjny" Społeczności (zespoły naukowe, grupy internetowe) współpracujące przy rozwiązywaniu problemów" Wirtualne Laboratorium PL- Grid - GridSpace! Portal Experiment Workbench!...uruchamiający aplikacje w Experiment Execution Environment"...które wykorzystuje infrastrukturę PL-Grid! Przykładowe aplikacje! Odnajdywanie miejsc wiążących w białkach" Analiza wodnych roztworów aminokwasów" Podziękowania: Eryk Ciepiela" 23" 24" 6

7 Badania naukowe z udziałem studentów!! PL-Grid to przyjazna infrastruktura umożliwiająca poznanie oraz wykorzystanie najnowszych światowych technologii!! Pozwala prowadzić badania naukowe niezbędne do przygotowania pracy magisterskiej czy inżynierskiej!! Dzięki zaawansowanym narzędziom możliwe jest poznawanie tajników danej dziedziny nauki i bezpośrednia weryfikacja rozważanych zagadnień co znacząco skraca proces poznawczy!! Infrastruktura jest wygodnym narzędziem służącym do testowania opracowywanych narzędzi i serwisów! Jak zostać użytkownikiem PL-Grid!! Każda osoba prowadząca działalność naukową, związana z jednostką naukową w rozumieniu ustawy z dnia 8 października 2004r. o zasadach finansowania nauki."! Współpracownicy osoby prowadzącej działalność naukową (doktoranci, studenci, współpracownicy zagraniczni)"! Korzystanie z Infrastruktury jest nieodpłatne!!! Rejestracja:" " Procedura w pełni on-line! " Dostępny system rejestracji i zarzadzania kontem użytkownika PL- Grid " Wymagany aktualny, własny wpis w bazie Ludzie Nauki OPI bądź wpis opiekuna naukowego! Podziękowania: Tomasz Szepieniec, Marcin Radecki" 25" 26"! Pokażemy:! " Procedura rejestracji" " Certyfikaty gridowe" " Szkolenia" " System Helpdesk" Demonstracja!! Motywacja! Grupy Użytkowników w PL-Grid! " Grupa odzwierciedla zespół badawczy istniejący w rzeczywistości" " Samoorganizacja grupy - dynamiczne zarządzanie członkostwem" " Współdzielenie i kontrola dostępu do danych"! Koncepcja! " Zakładanie grup ad hoc! " Rola Szefa Grupy" Automatycznie przydzielana założycielowi" Może być nadana innemu członkowi grupy" Zarządzanie grupą" " Szef może być jedynym członkiem grupy" Podziękowania: Tomasz Szepieniec, Marcin Radecki" 27" 28" 7

8 Granty obliczeniowe PL-Grid!! Motywacja! " Umożliwienie konfiguracji zasobów stosownie do wymagań użytkownika" " Określenie dodatkowych warunków zapewnienia przestrzeni dyskowej, mocy obliczeniowej (wymagania jakościowe)" " Planowanie wykorzystania zasobów"! Koncepcja! " Grant = przydział zasobów + warunki/gwarancje" " Podmiotem grantu jest Grupa" " Grupa może zaproponować własne warunki i gwarancje" " Ilość zasobów i warunki podlegają negocjacji w ośrodkach" " Zasoby mogą pochodzić z kilku ośrodków" " Wykorzystanie zasobów i warunki " dostarczenia są monitorowane celem rozliczenia! Podziękowania: Tomasz Szepieniec, Marcin Radecki"! Motywacja! Usługi bazodanowe! " Umożliwienie użytkownikom korzystania z baz danych (SQL) w swoich aplikacjach" " Bezpieczeństwo danych, efektywne wykonywanie obliczeń na klastrze"! Koncepcja! " Publiczny dostęp do serwera baz danych " " Pełne prawa dla użytkownika w ramach utworzonej bazy danych" " Parametry dostępu konfigurowane w Portalu PL-Grid" " Współdzielenie poprzez bezpieczne przekazanie hasła zaufanej grupie" " Baza danych ulokowana w pobliżu klastra obliczeniowego"! Realizacja! " Wnioskowanie o bazę w Portalu" " MySQL jako baza pilotażowa" " Nazwa użytkownika bazy jak w Portalu" " Silne hasło do bazy generowane przez Portal, inne niż do Portalu, możliwość użycia w skryptach" " Ograniczenie na rozmiar bazy" Podziękowania: Tomasz Szepieniec, Marcin Radecki" 29" 30" Zapraszamy do rejestracji na:! Uwagi i pytania prosimy kierować na! helpdesk@plgrid.pl 31" 8

9 Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej Plan Prezentacji! Motywacja i cel wirtualnego laboratorium! Przyk!adowy problem z "ycia naukowca wzi#ty! Przyk!adowy problem rozwi$zany z pomoc$ GridSpace! Przyk!adowy problem demonstracja (film) Wirtualne Laboratorium w PL-Grid: GridSpace M. Bubak, B. Bali!, T. Barty"ski, E. Ciepiela, W. Funika, T. Guba#a, D. Har$%lak, M. Kasztelnik, J. Kocot, M. Malawski, J. Meizner, P. Nowakowski, and K. Rycerz Akedemickie Centrum Komputerowe Cyfronet AGH Centrum Transferu Technologii Politechniki Krakowskiej Kraków, Motywacje i cel wirtualnego laboratorium! Umo!liwi" naukowcom tworzenie, uruchamianie, zarz$dzanie, dzielenie si# oraz udost#pnianie programów (nazywanych przez nas eksperymentami) z#o!onych z etapów pisanych w ró!nych j$zykach (programowania jak i domenowych), które realizuj$ ca!o%ciowo pewn$ metod# naukow$ prowadz%c% od danych wej&ciowych poprzez preprocessing, symulacje obliczeniowe, analizy, postprocessing a! po wizualizacj$ i opracowanie rezultatów! U#atwi" (e-)naukowcom przeprowadzaj%cym w ramach swych bada' oblicze' z wykorzystywaniem zasobów centrum komputerowego: " Klatry komputerowe (ju! dost$pne) " Pakiety oprogramowania (ju! dost$pne, lub instalowane na bie!%co na!yczenie u!ytkowników) " Inne aktywa, np. licencje na u!ywanie oprogramowania! Zwi$kszy" efektywno&" pracy naukowców i zespo#ów naukowych: " Uwolni" u!ytkowników od powtarzania czynno&ci, które mog% (bez!adnych negatywnych implikacji) zosta" zautomatyzowane " Umo!liwi" bardziej interaktywny sposób wykorzystania klastrów, oprogramowania itp. " Sprawi" by raz napisany program (fragment programu) móg# by" z #atwo&cia wykorzystany w innych programach i/lub przez inne osoby w innym kontek&cie! Zaoferowa" ogólne rozwi%zanie adresowane do szerokiego zakresu domen zastosowa'! Stworzy" jedno #atwo osi%galne i kompleksowe miejsce pracy - portal internetowy Motto! Sprawi", by aplikacje naukowe by#o tak #atwo dost$pne jak strony by uruchamianie aplikacji naukowych by#o tak proste jak u!ywanie stron by tworzenie aplikacji naukowych by#o tak proste jak tworzenie stron od tego jak ogromna i z#o!ona jest infrastruktura komputerowa je uruchamiaj%ca

10 Przyk!adowy problem z "ycia naukowca wzi#ty! Zespó# naukowy z Wydzia#u Chemii Uniwersytetu Jagiello'skiego! Chciano zastosowa" metod$, któr% znaleziono opublikowan% w wiod%cym journalu, ale poza opisem brak programu, który by j% realizowa#! Setki obrazów SEM do przetworzenia: " Identyfikacja porów w nanomateria#ach " Odrzucenie szumów i nieistotnych porów " Obliczenie stopnia regularno&ci struktury (im wi$kszy tym lepszy) " Zapis warto&ci ró!nych miar regularno&ci " Wizualizacja metryk na wykresach i diagramach " Analiza na oko i wybór podzbioru interesuj%cych warto&ci " Bardziej dog#$bna analiza wybranego podzbioru! Jeden komputer PC, brak odpowiedniego oprogramowania! Zespó# 3 naukowców, kilu studentów do pomocy! Zwrócili si$ o pomoc do ACK Cyfronet Przyk!adowy problem rozwi$zany przy pomocy GridSpace! Wybór odpowiednich j$zyków/narz$dzi do odpowiednich zada' (j$zyki general-purpose vs domain-specific) które ju! s% dost$pne na klastrze Zeus w Cyfronecie: " Identyfikacja porów w nanomateria#ach JNano " Odrzucenie szumów i nieistotnych porów Bash/AWK " Obliczenie stopnia regularno&ci struktury Mathematica " Zapis warto&ci ró!nych miar regularno&ci Mathematica " Wizualizacja metryk na wykresach i diagramach GnuPlot " Analiza na oko i wybór podzbioru interesuj%cych warto&ci interakcja z cz#owiekiem " Ekstrakcja wybranych warto&"i Bash " Bardziej dog#$bna analiza wybranego podzbioru GnuPlot! Wej&cie na GridSpace2 Experiment Workbench (portal) i wybór Zeusa jako miejsce gdzie eksperyment zostanie uruchominy (Experiment Host) " Pisanie, uruchamianie, udoskonalanie, uruchamianie itd. kolejnych fragmentów eksperymentu w sposób eksploracyjny a! do osi%gni$cia zadowalaj%cego efektu " Zapisywanie eksperymentu jako zwyk#ego pojedynczego pliku i udost$pnianie go zespo#owi " Eksperyment ma przypisany adres URL wystarczy go przes#a", a adresat b$dzie móg# go uruchomi" 5 6 Przyk!adowy problem demonstracja (film) Zapraszamy do wspó!pracy!! Sta' si$ u!ytkownikiem PL-Grid " Spróbuj demo GridSpace2 (dost$pne dla u!ytkowników PL-Grid) " U!yj GridSpace2 jako oficjalnej us#ugi PL-Grid (dost$pne dla u!ytkowników PL-Grid) " Zasi$gnij pe#nej informacji o technologii GridSpace " Dowiedz si$ wi$cej o naszym zespole, jego dokonaniach, aktualnych przedsi$wzi$ciach i planów na przysz#o&" " Oferujemy pomoc w nauce GridSpace i zastosowywania go do konkretnych problemów 7 8 2