Wykorzystanie infrastruktury chmurowej i platformy GridSpace w obliczeniach naukowych



Podobne dokumenty
Nazwa jednostki Temat pracy (w języku polskim i angielskim) Rodzaj pracy Ilość osób realizujących pracę

Modelling and optimization of mining production in coal mines with use of the OPTiCoalMine calculation service

Skalowalna Platforma dla eksperymentów dużej skali typu Data Farming z wykorzystaniem środowisk organizacyjnie rozproszonych

Proces certyfikowania aplikacji na platformie PureSystems. Rafał Klimczak Lab Services Consultant

Dyrektor ACK Cyfronet AGH. z dnia 2 października 2017 roku w sprawie zmian organizacyjnych

Przetwarzanie danych w chmurze

Virtual Grid Resource Management System with Virtualization Technology

Prace informatyczne dla projektu CTA

Dariusz Brzeziński. Politechnika Poznańska, Instytut Informatyki

Czym jest Java? Rozumiana jako środowisko do uruchamiania programów Platforma software owa

Krótka Historia. Co to jest NetBeans? Historia. NetBeans Platform NetBeans IDE NetBeans Mobility Pack Zintegrowane moduły. Paczki do NetBeans.

Architektury usług internetowych. Tomasz Boiński Mariusz Matuszek

Wprowadzenie do Algo tradingu czyli zaawansowane funkcje platformy MT4. Robert Gawron, , Warszawa

Cyfronet w CTA. Andrzej Oziębło DKDM

LISTA KURSÓW PLANOWANYCH DO URUCHOMIENIA W SEMESTRZE ZIMOWYM 2015/2016

Praktyczne wykorzystanie mechanizmów zabezpieczeń w aplikacjach chmurowych na przykładzie MS Azure

LABORATORIUM WIRTUALNE W DYDAKTYCE I BADANIACH NAUKOWYCH

Technologie dla aplikacji klasy enterprise. Wprowadzenie. Marek Wojciechowski

PLGrid: informatyczne usługi i narzędzia wsparcia w nauce

GRIDY OBLICZENIOWE. Piotr Majkowski

Współczesna problematyka klasyfikacji Informatyki

Nowoczesny dział IT w chmurze

Infrastruktura PLGrid dla młodych naukowców

Lecture Notes in Computer Science 7136

Początki Javy. dr Anna Łazińska, WMiI UŁ Podstawy języka Java 1 / 8

INTERNET - Wrocław Usługi bezpieczeństwa w rozproszonych strukturach obliczeniowych typu grid

Infrastruktura PLGrid dla młodych polskich naukowców

HP Matrix Operating Environment: Infrastructure Administration

Projektowanie, tworzenie aplikacji mobilnych na platformie Android

Infrastruktura PLGrid Nowa jakość usług informatycznych dla Polskiej Nauki

Java jako język programowania

Równoległe aplikacje duŝej skali w środowisku PL-Grid. Kick-off PL-GRID Kraków, kwietnia 2009

Wykład Ćwiczenia Laboratorium Projekt Seminarium

Zasoby i usługi Wrocławskiego Centrum Sieciowo-Superkomputerowego

Tivoli Endpoint Manager jak sprawnie zarządzać systemami

Elastyczna sieć dla rozwiązań Cloud Open vswitch

Tematy dyplomów inżynierskich 2009 Katedra Inżynierii Oprogramowania

Uslugi chmurowe dla nauki na podstawie BonFIRE

Inżynieria Wytwarzania Systemów Wbudowanych

Zagadnienia egzaminacyjne INFORMATYKA. Stacjonarne. I-go stopnia. (INT) Inżynieria internetowa STOPIEŃ STUDIÓW TYP STUDIÓW SPECJALNOŚĆ

Piotr Bubacz Cloud Computing

Infrastruktura PLGrid Nowa jakość usług informatycznych w służbie nauki

Zakres prac implementacja VPLEX i ViPR dla środowiska macierzy VNX 5800

Budowa uniwersalnej architektury dla Laboratorium Wirtualnego

Zastosowanie sztucznej inteligencji w testowaniu oprogramowania

Infrastruktura PLGrid (nie tylko) dla młodych naukowców

Infrastruktura PLGrid Nowa jakość usług informatycznych dla Polskiej Nauki

Przepełnienie bufora. SQL Injection Załączenie zewnętrznego kodu XSS. Nabycie uprawnień innego użytkownika/klienta/administratora

17-18 listopada, Warszawa

Aktualny stan i plany rozwojowe

Wykład V. Rzut okiem na języki programowania. Studia Podyplomowe INFORMATYKA Podstawy Informatyki

Platforma Informatyczna Wdrażania Oprogramowania Dedykowanego w PL-Grid

Elektroniczna Legitymacja Studencka jako narzędzie wielofunkcyjne Oberthur Technologies

EtiNET Projekt platformy internetowej dla studentów kierunku edukacja techniczno-informatyczna

Wirtualizacja. Metody, zastosowania, przykłady

Efektywne wykorzystanie zasobów obliczeniowych KDM w PCSS

Wsparcie migracji obliczeń poprzez wirtualizację zasobów sieciowych

Serwery. Autorzy: Karol Czosnowski Mateusz Kaźmierczak

Spring Framework - wprowadzenie i zagadnienia zaawansowane

1. Opis aplikacji. 2. Przeprowadzanie pomiarów. 3. Tworzenie sprawozdania

VMware vsphere 5.5: Install, Configure, Manage

BMC Control-M Wybrane przypadki zastosowania

Programowanie Komponentowe WebAPI

Szkolenia SAS Cennik i kalendarz 2017

Zdalne zarządzanie systemem RACS 5

Egzamin / zaliczenie na ocenę*

IT Solutions and Hardware Resources extending the National Grid Infrastructure for Polish Science

Oracle Log Analytics Cloud Service

Język JAVA podstawy programowania

Infrastruktura PLGrid Nowa jakość usług informatycznych w służbie nauki

Usługi i narzędzia QCG

CENNIK I TERMINARZ SZKOLEŃ

Programowanie Strukturalne i Obiektowe Słownik podstawowych pojęć 1 z 5 Opracował Jan T. Biernat

Sposób funkcjonowania

Infrastruktura PLGrid Nowa jakość usług informatycznych dla Polskiej Nauki

Krajowy Punkt Dostępowy doświadczenia z realizacji projektu

Pixy - analiza statyczna skryptów PHP

Sprawa numer: BAK.WZP Warszawa, dnia 16 sierpnia 2016 r.

Wirtualizacja Hyper-V: sposoby wykorzystania i najnowsze wyniki badań

Secure Development Lifecycle w chmurze w modelu public i. Aleksander P. Czarnowski AVET Information and Network Security Sp z o.o.

Zastosowanie wirtualizacji w edukacji wybrane przykłady. The Virtualization in Education Selected Examples

Klaster obliczeniowy

Koncepcja wirtualnej pracowni GIS w oparciu o oprogramowanie open source

Open Source w służbie developerom

LANDINGI.COM. Case Study. Klient Landingi.com. Branża IT, marketing i PR. Okres realizacji od grudnia 2013 do chwili obecnej.

Serwery LDAP w środowisku produktów w Oracle

Wprowadzenie do użytkowania infrastruktury PL Grid. Bartosz Bosak Piotr Kopta Tomasz Piontek

Integracja wirtualnego laboratorium z platformą e-learningową

Architektura bezpiecznych aplikacji internetowych na platformie Java Enterprise Edition. Jakub Grabowski Warszawa,

Platformy programistyczne:.net i Java L ABORATORIUM 7,8: HACKATHON - JTTT

Instalacja i konfiguracja SAS PC Files Server

Programowanie obiektowe. Wprowadzenie

27/13 ZAŁĄCZNIK NR 4 DO SIWZ. 1 Serwery przetwarzania danych. 1.1 Serwery. dostawa, rozmieszczenie i zainstalowanie 2. serwerów przetwarzania danych.

Tabela Autoryzowanych Zastosowań IBM dla Maszyn

Wybrane działy Informatyki Stosowanej

Materiały dodatkowe. Raspberry Pi

Załącznik nr 1. Specyfikacja techniczna portalu internetowego Łódź, r.

Hosting WWW Bezpieczeństwo hostingu WWW. Dr Michał Tanaś (

Tworzenie natywnych aplikacji na urządzenia mobilne - PhoneGap Tomasz Margalski

Transkrypt:

1 Wykorzystanie infrastruktury chmurowej i platformy GridSpace w obliczeniach naukowych Daniel Harężlak, Eryk Ciepiela, Jan Meizner i Marian Bubak ACK CYFRONET AGH konferencja i3, Poznań, 16 kwietnia 2013

Plan prezentacji 2 Planowanie wirtualnych eksperymentów GridSpace Struktura eksperymentów Model publikowania Wymagania dla infrastruktur chmurowych Struktura chmurowego eksperymentu Zarządzanie wirtualnymi maszynami Kontrola parametrów środowiska uruchamiania usług Podsumowanie

Planowanie wirtualnego eksperymentu przypadki użycia GridSpace 3 Praca kolaboratywna i wspólna analiza rezultatów pośrednich Potrzeba dzielenia się kodem i danymi z różnymi prawami dostępu Dynamiczna infrastruktura obliczeniowa i zmieniające się środowisko uruchomienia Wykorzystanie rozproszonej infrastruktury obliczeniowej Zadania lokalne, zadania gridowe, dedykowane maszyny obliczeniowe, wykorzystanie różnych middleware Użycie gotowych pakietów oprogramowania, autorskich kodów i bibliotek lub ich kombinacji Testowanie różnych zasobów obliczeniowych i szybkości ich działania (ten sam kod, różne środowiska uruchomienia) Integracja ze współczesnymi systemami wymiany informacji opartych o środowiska webowe (np. strony wiki, blogi, itp.)

GridSpace Struktura eksperymentów 4 Publikowalne w warstwie web elementy wirtualnego eksperymentu Wirtualny eksperyment składający się z wykonywalnych kodów oraz rezultatów pośrednich i końcowych Konfigurowane administracyjnie pakiety aplikacji i interpretery Rozszerzalny system (plugins) dostępu do różnych stosów middleware Zapewniony dostęp do różnych infrastruktur obliczeniowych i pamięci masowej za pomocą jednej zintegrowanej platformy

GridSpace Model publikowania 5 Publikacja wykonywalnych kodów i danych referencyjnych Konfiguracja infrastruktury obliczeniowej zapisana w eksperymencie Możliwość ponownego uruchomienia i weryfikacji opublikowanych treści Dostęp do elementów eksperymentu za pomocą przeglądarki

Wymagania dla infrastruktur chmurowych przypadek usługi porównującej białka 6 Znana ilość wymaganej pamięci operacyjnej w zależności od wielkości problemu Usługa udostępniona za pomocą kontenera Tomcat (Java) Trudna instalacja na dostępnych infrastrukturach obliczeniowych Długość wykonania względnie krótka (dziesiątki sekund) Czas niewspółmierny z czasem oczekiwania w lokalnych lub gridowych kolejkach Udostępnienie usługi na żądanie w trakcie wykonania wirtualnego eksperymentu

Struktura chmurowego eksperymentu Zarządzanie wirtualnymi maszynami 7 Przygotowanie obrazu maszyny wirtualnej Instalacja wymaganego oprogramowania Zapisanie obrazu i udostępnienie w platformie chmurowej PL-Grid PLUS Konfiguracja i uruchomienie z wirtualnego eksperymentu w kontekście konkretnego użytkownika Żądana jest maszyna o wymaganej ilości pamięci operacyjnej Konfigurowane są przekierowania portów w celu udostępnienia maszyny na zewnątrz Wyłączenie instancji wirtualnych maszyn Zapewnione jest poprawne sprzątanie i oszczędność zasobów obliczeniowych

Struktura chmurowego eksperymentu Parametry środowiska uruchomienia 8 Dynamiczna generacja deskryptora opisującego parametry instancji maszyny wirtualnej z poziomu eksperymentu Żądanie określonej ilości pamięci operacyjnej Przygotowanie przekierowań portów z poziomu eksperymentu Udostępnienie usługi na zewnątrz z prywatnej sieci platformy chmurowej Przykład deskryptora: CONTEXT=[ SSH_KEY="..." ] CPU="0.5" DISK=[ IMAGE_ID="7" ] GRAPHICS=[ TYPE="vnc" ] MEMORY="1024" NAME="AUTO7 plgharezlak 1364909661" NIC=[ NETWORK_ID="0" ] OS=[ ARCH="x86_64" ] TEMPLATE_ID="77"

Podsumowanie i podziękowania 9 Najważniejsze atuty platformy GridSpace Skonfigurowane różnorodne infrastruktury obliczeniowe (lokalne kolejki, zadania gridowe, AHE, QCG) Możliwość łatwego rozszerzania poprzez dodatkowe pluginy Model publikowania rozszerzony o wykonywalny kod i dane Łatwa integracja z infrastrukturą chmurową PL-Grid PLUS Planowane prace Usprawniona integracja z systemem uwierzytelniania użytkowników Dedykowany executor chmurowy komunikujący się bezpośrednio z API platformy chmurowej Więcej informacji na następujących stronach http://dice.cyfronet.pl https://gs2.plgrid.pl

Powiązane publikacje 10 E. Ciepiela, D. Harezlak, J. Kocot, T. Bartynski, M. Kasztelnik, P. Nowakowski, T. Gubała, M. Malawski, M. Bubak: Exploratory Programming in the Virtual Laboratory. In: Proceedings of the International Multiconference on Computer Science and Information Technology (2010) P. Nowakowski, E. Ciepiela, D. Harężlak, J. Kocot, M. Kasztelnik, T. Bartyński, J. Meizner, G. Dyk, M. Malawski: The Collage Authoring Environment. In: Proceedings of the International Conference on Computational Science (2011) E. Ciepiela, P. Nowakowski, J. Kocot, D. Harezlak, T. Gubala, J. Meizner, M. Kasztelnik, T. Bartynski, M. Malawski, M. Bubak: Managing Entire Lifecycles of e-science Applications in the GridSpace2 Virtual Laboratory - From Motivation through Idea to Operable Web-Accessible Environment Built ona Top of PL-Grid e-infrastructure. In: M. Bubak, T. Szepieniec, K. Wiatr (Eds) Building a National Distributed e-infrastructure - PL-Grid - Scientific and Technical Achievements, Springer (2012) D. Harezlak, M. Kasztelnik, E. Ciepiela, M. Bubak: Scripting Language Extensions Offered by the GridSpace Experiment Platform. In: M. Bubak, T. Szepieniec, K. Wiatr (Eds) Building a National Distributed e-infrastructure - PL-Grid - Scientific and Technical Achievements, Springer (2012) J. Meizner, E. Ciepiela, P. Nowakowski, J. Kocot, M. Malawski, M. Bubak: Flexible and Extendable Mechanism Enabling Secure Access to e-infrastructures and Storage of Confidential Data for the GridSpace2 Virtual Laboratory. In: M. Bubak, T. Szepieniec, K. Wiatr (Eds) Building a National Distributed e-infrastructure - PL-Grid - Scientific and Technical Achievements, Springer (2012) E. Ciepiela, P. Nowakowski, D. Harężlak, M. Kasztelnik, G. Dyk, J. Meizner, M. Bubak: The Collage Authoring Environment: A Platform for Executable Publications, abstract for Cracow Grid Workshop (2012) E. Ciepiela, D. Harężlak, M. Kasztelnik, J. Meizner, G. Dyk, P. Nowakowski, M. Bubak: The Collage Authoring Environment: from proof-of-concept prototype to an exploitable service. Development and deployment of a web-oriented platform for executable scientific publications, accepted to International Conference on Computational Science (2013) P. Pierzchała: Multiscale Applications in the GridSpace Virtual Laboratory, Master of Science Thesis supervised by Katarzyna Rycerz; AGH University of Science and Technology (2012) B. Bodziechowski, E. Ciepiela, M. Bubak: Assessment of Software Quality with Static Source Code Analysis: GridSpace2 Case Study, abstract for Cracow Grid Workshop (2012)