Skalowalna Platforma dla eksperymentów dużej skali typu Data Farming z wykorzystaniem środowisk organizacyjnie rozproszonych

Transkrypt

1 1 Skalowalna Platforma dla eksperymentów dużej skali typu Data Farming z wykorzystaniem środowisk organizacyjnie rozproszonych D. Król, Ł. Dutka, J. Kitowski ACC Cyfronet AGH

2 Plan prezentacji 2 O nas Wprowadzenie do metodyki Data Farming Opis problemu Propozycja rozwiązania Przykłady zastosowania Kontakt

3 O nas 3 Grupa Systemów Komputerowych AGH Zespół Knowledge in Grids Bliska współpraca z ACK Cyfronet AGH

4 O nas tematyka badawcza 4 Wykorzystanie technologii semantycznych do wsparcia Wirtualnych Organizacji Framework for Intelligent Virtual Organizations Grid Organizational Memory X2R Systemy zarządzania danymi oraz systemy monitorujące wykorzystanie danych Service Level Agreement Monitoring QStorMan Systemy samo-skalowalne Scalarm

5 Metodyka Data Farming 5 1. Experiment objectives definition 2. Simulation scenario building 5. Output data exploration Infromation Store 3. Input space specification 4. Simulation execution

6 Typowy sposób prowadzenia eksperymentów 2. Stacja robocza lub klaster lokalny 3. Środowisko Gridowe 6 1. Komputer osobisty 4. Chmura obliczeniowa

7 Opis problemu 7 A co z tworzeniem przestrzeni parametrów? A co z niezawodnością? 2. Dostęp zdalny 3. Systemy - linia poleceń kolejkowe A co ze zbieraniem wyników? 1. Zintegrowane środowisko programistyczne 4. Dedykowane protokoły dostępu

8 Proponowane rozwiązanie 8 Przygotowanie eksperymentu Wykonanie symulacji

9 Problemy rozwiązywane przez platformę Scalarm 9 Eksploracyjne wykonywanie eksperymentów typu Data Farming Generowanie przestrzeni parametrów z wykorzystaniem metod projektowania eksperymentów, np. próbkowanie przestrzeni parametrów przy pomocy planowania frakcyjnego Wykorzystanie heterogenicznych infrastruktur obliczeniowych, w tym środowisk typu Cloud Efektywne wykorzystywanie zasobów obliczeniowych dzięki samo-skalowalności

10 Koncepcja architektury narzędzia Client part Client... Client Master part Manager... Manager Manager Worker part Worker Worker Worker... Worker Worker Worker Worker Worker Worker Infrastructure A Infrastructure B Infrastructure C

11 Scalarm zarządzanie zasobami Klient Klient Nowy eksperyment Nowy eksperyment Wolne zasoby Wykonywanie eksperymentu Zasoby platformy EM EM SM EM EM SM SM SM SM Zasoby obliczeniowe - worker node EM Experiment Manager SM Storage Manager simulation manager

12 Wsparcie dla środowisk obliczeniowych Infrastruktura prywatna SM EM EM EM EM EM Środowisko Gridowe Chmura obliczeniowa EM EM SM - worker node EM Experiment Manager SM Storage Manager simulation manager

13 Przykład użycia Kompletna platforma dla eksperymentów typu Data Farming 13

14 Schemat działania 14

15 Wykorzystanie metodyki Data Farming 15 Motywacja: Weryfikacja strategii postępowania służb wojskowych przy pomocy symulacji wielo-agentowych w wybranych scenariuszach Cele przeprowadzanych eksperymentów: Identyfikacja zależności pomiędzy parametrami wejściowymi symulacji a rezultatami eksperymentów Porównanie różnych strategii postępowań służb wojskowych Wybór wartości parametrów wejściowych dla sesji treningowych

16 Wykorzystanie platformy Scalarm 16

17 Przykład użycia Simulation-as-a-Service 17 Aplikacja natywna API Wykonywanie symulacji

18 Testy wydajności platformy 18 Cel: zbadanie skalowalności części zarządzającej platformy Wielkość eksperymentów [#symulacji]: , , , , Zasoby obliczeniowe dla części zarządzającej [#serwerów]: 4, 8, 16 #Klientów: 120 * #serwerów Metryka: przepustowość mierzona w wykonanych pustych symulacjach w jednostce czasu

19 Przepustowość [ #symulacji / s ] Rezultat serwery 8 serwerów 16 serwerów Rozmiar eksperymentu [#symulacji * ]

20 Dziękuję za uwagę 20 Kontakt -> Strona platformy ->