1 Skalowalna Platforma dla eksperymentów dużej skali typu Data Farming z wykorzystaniem środowisk organizacyjnie rozproszonych D. Król, Ł. Dutka, J. Kitowski ACC Cyfronet AGH
Plan prezentacji 2 O nas Wprowadzenie do metodyki Data Farming Opis problemu Propozycja rozwiązania Przykłady zastosowania Kontakt
O nas 3 Grupa Systemów Komputerowych AGH http://www.icsr.agh.edu.pl/ Zespół Knowledge in Grids http://www.icsr.agh.edu.pl/index.php/knowledge-in-grids-team Bliska współpraca z ACK Cyfronet AGH
O nas tematyka badawcza 4 Wykorzystanie technologii semantycznych do wsparcia Wirtualnych Organizacji Framework for Intelligent Virtual Organizations Grid Organizational Memory X2R Systemy zarządzania danymi oraz systemy monitorujące wykorzystanie danych Service Level Agreement Monitoring QStorMan Systemy samo-skalowalne Scalarm
Metodyka Data Farming 5 1. Experiment objectives definition 2. Simulation scenario building 5. Output data exploration Infromation Store 3. Input space specification 4. Simulation execution
Typowy sposób prowadzenia eksperymentów 2. Stacja robocza lub klaster lokalny 3. Środowisko Gridowe 6 1. Komputer osobisty 4. Chmura obliczeniowa
Opis problemu 7 A co z tworzeniem przestrzeni parametrów? A co z niezawodnością? 2. Dostęp zdalny 3. Systemy - linia poleceń kolejkowe A co ze zbieraniem wyników? 1. Zintegrowane środowisko programistyczne 4. Dedykowane protokoły dostępu
Proponowane rozwiązanie 8 Przygotowanie eksperymentu Wykonanie symulacji
Problemy rozwiązywane przez platformę Scalarm 9 Eksploracyjne wykonywanie eksperymentów typu Data Farming Generowanie przestrzeni parametrów z wykorzystaniem metod projektowania eksperymentów, np. próbkowanie przestrzeni parametrów przy pomocy planowania frakcyjnego Wykorzystanie heterogenicznych infrastruktur obliczeniowych, w tym środowisk typu Cloud Efektywne wykorzystywanie zasobów obliczeniowych dzięki samo-skalowalności
Koncepcja architektury narzędzia Client part Client... Client Master part Manager... Manager Manager Worker part Worker Worker Worker... Worker Worker Worker Worker Worker Worker Infrastructure A Infrastructure B Infrastructure C
Scalarm zarządzanie zasobami Klient Klient Nowy eksperyment Nowy eksperyment Wolne zasoby Wykonywanie eksperymentu Zasoby platformy EM EM SM EM EM SM SM SM SM Zasoby obliczeniowe - worker node EM Experiment Manager SM Storage Manager simulation manager
Wsparcie dla środowisk obliczeniowych Infrastruktura prywatna SM EM EM EM EM EM Środowisko Gridowe Chmura obliczeniowa EM EM SM - worker node EM Experiment Manager SM Storage Manager simulation manager
Przykład użycia Kompletna platforma dla eksperymentów typu Data Farming 13
Schemat działania 14
Wykorzystanie metodyki Data Farming 15 Motywacja: Weryfikacja strategii postępowania służb wojskowych przy pomocy symulacji wielo-agentowych w wybranych scenariuszach Cele przeprowadzanych eksperymentów: Identyfikacja zależności pomiędzy parametrami wejściowymi symulacji a rezultatami eksperymentów Porównanie różnych strategii postępowań służb wojskowych Wybór wartości parametrów wejściowych dla sesji treningowych
Wykorzystanie platformy Scalarm 16
Przykład użycia Simulation-as-a-Service 17 Aplikacja natywna API Wykonywanie symulacji
Testy wydajności platformy 18 Cel: zbadanie skalowalności części zarządzającej platformy Wielkość eksperymentów [#symulacji]: 100 000, 200 000, 500 000, 1 000 000, 2 000 000 Zasoby obliczeniowe dla części zarządzającej [#serwerów]: 4, 8, 16 #Klientów: 120 * #serwerów Metryka: przepustowość mierzona w wykonanych pustych symulacjach w jednostce czasu
Przepustowość [ #symulacji / s ] Rezultat 19 600 500 4 serwery 8 serwerów 16 serwerów 400 300 200 100 0 1 2 5 10 20 50 Rozmiar eksperymentu [#symulacji * 100 000]
Dziękuję za uwagę 20 Kontakt -> dkrol@agh.edu.pl Strona platformy -> http://www.scalarm.com