HOSPHORUS nowe podejście do problemu automatycznego zarządzania zasobami sieciowymi i obliczeniowymi w heterogenicznym środowisku gridowym Bartosz Belter, Artur Binczewski, Miłosz Przywecki, Maciej Stroiński
Projekt PHOSPHORUS Globalna współpraca wielu partnerów mająca na celu stworzenie zaawansowanych rozwiązań aplikacyjnych oraz technologii do zarządzania i sterowania warstwą sieci Projekt zajął się problemem tworzenia na Ŝądanie połączeń przebiegających przez wiele heterogenicznych domen W projekcie Phosphorus sieć podkładowa traktowana jest jako zasób gridowy Phosphorus zademonstrował rozwiązania w środowisku testowym obejmującym europejskie sieci naukowe (NRENy), sieć GÈANT2, połączenia CBDF oraz sieć GLIF Projekt współfinansowany przez Komisję Europejską w ramach 6 Programu Ramowego
Konsorcjum projektu PHOSPHORUS NRENy CESNET PCSS SURFnet MCNC MSP Nextworks Uniwersytety i jednostki badawcze Communications Research Centre Canada (CRC) Fraunhofer-Gesellschaft Fundació I2CAT Forschungszentrum Jülich Interdisciplinair instituut voor BreedBand Technologie Research Academic Computer Technology Institute Research and Education Society in Information Technology SARA Computing and Networking Services University of Bonn University of Amsterdam University of Essex University of Leeds Producenci sprzętu: ADVA Optical Networking Hitachi Europe Ltd. NORTEL
Architektura Grid middleware UNICORE AAA Trzy systemy NRPS: UCLP/ARGIA DRAC ARGON Dwie odmiany GMPLS standard (Ph 1) Grid-enabled (Ph 2)
Warstwa sterowania
G 2 MPLS punkt startowy Architektura i specyfikacja Architektura i dekompozycja: ASON/GMPLS Recs ITU-T SG15 Protokoły i procedury: IETF CCAMP s RFCs, I-Ds. Interfejsy: OIF IAs UNI, E-NNI Rozszerzenia Grid-GMPLS oraz współpraca z oprogramowaniem grid middleware: działalność w Open Grid Forum, w szczególności: Open Grid Services Architecture WG (ogsa-wg) Job Submission Description Language WG (jsdl-wg) Glue Schema Working Group (glue-wg) Grid High-Performance Networking RG (ghpn-rg) Rozwój oprogramowania QUAGGA routing suite v0.99.7 Na licencji GPL OSPFv2 z rozszerzeniami MPLS-TE
Rozszerzenia do warstwy sterowania GMPLS NRPS G.O-UNI G 2 G 2 G 2 G.I-NNI G 2 Grid site B Grid site A G.E-NNI G 2 MPLS G.O-UNI Grid site C Główne wyzwania Grid-GMPLS (G 2 MPLS) Współistnienie z systemami NRPS (UCLP, DRAC and ARGON) oraz Grid MW Sieciowe interfejsy obsługujące transmisję informacji gridowych (G.OUNI, G.E-NNI, G.I-NNI) Integracja z systemem AAA Innowacja w zakresie jednoczesnego alokowania zasobów sieciowych i gridowych dzięki: Większej dynamice przy ustawianiu usług Jednolitemu interfejsowi do uruchamiania transakcji sieciowych i gridowych
Grid Middleware Interfejsy G 2 MPLS Grid Application G 2 gateway Grid WS NBI G.xNI = Grid-enabled NI NBI G 2 gateway Grid WS G.OUNI-C G.OUNI Centralized Advanced Reservation Service (e.g. PCE based) G.OUNI-C G.OUNI SBI G.OUNI-N G 2 MPLS CP G.I-NNI G 2 MPLS CP SBI G.I-NNI G 2 MPLS CP G.eNNI-U/D SBI G.E-NNI G.eNNI-D/U G 2 MPLS CP SBI G.I-NNI G 2 MPLS CP G.OUNI-N SBI
Przykład bezpośredniego wywołania uŝytkownik G 2 G.OUNI GW G 2 G.OUNI GW G 2 Grid MW G 2 G 2 G 2 G 2 Grid MW G 2 MPLS NCP Zasoby gridowe Zasoby gridowe
Grid user Grid scheduler Index service Grid site A LRMS G.OUNI GW+C site A G.UNI-N site A G 2 MPLS LER G.UNI-N site B G.OUNI GW+C site B LRMS site B Grid App. request Location req. Location resp. WS-AG: Initial AR req. WS-AG: Initial AR req. Negocjacja i rezerwacja WS-AG: Initial AR resp. WS-AG: Commit AR req. WS-AG: Commit AR req. WS-AG: Initial AR resp. WS-AG: Commit AR req. WS-AG: Commit AR resp. G.OUNI: GNS req. G.OUNI: GNS resp. G.OUNI: GNS conf. G.OUNI: GNS notify G.I-NNI/ G.E-NNI req. G.I-NNI/ G.E-NNI resp. G.I-NNI/ G.E-NNI conf. G.I-NNI/ G.E-NNI req. G.I-NNI/ G.E-NNI resp. G.I-NNI/ G.E-NNI conf. G.I-NNI/ G.E-NNI notify G.OUNI: GNS req. G.OUNI: GNS resp. G.OUNI: GNS conf. G.OUNI: GNS notify WS-AG: Initial AR req. WS-AG: Initial AR resp. WS-AG: Commit AR req. WS-AG: Commit AR resp.
Systemy zarządzania zasobami sieciowymi
HARMONY wielodomenowy system zarządzania zasobami sieciowymi, w którym uŝytkownicy i aplikacje gridowe mogą rezerwować w przyszłości scieŝki punkt-punkt oraz inne zasoby sieciowe system umoŝliwiający współpracę niezaleŝnych systemów zarządzania poszczególnymi domenami administracyjnymi poprzez wprowadzenie wielodomenowych protokołów zarządzania Harmony Service Interface (HSI) wspólny język wymiany informacji wspierane przez HARMONY systemy zarządzania domeną: Argia/UCLP ARGON DRAC GMPLS
Architektura HARMONY Kluczowe elementy: Rozproszony lub Hierarchiczny model architektury NSP NSP składa się z niezaleŝnych modułów międzydomenowych (IDB) Harmony Service Interface jest wspólnym interfejsem dla warstwy adaptacji oraz NSP Poszczególne IDB rozsyłają informacje o zarządzanych przez nie domenach administracyjnych HSI: Harmony Service Interface IDB: Interdomain Broker HNA: Harmony NRPS adapter NSP: Network Service Plane NRPS: Net. Resource Provis. System
Interfejs HARMONY Service HSI składa się z trzech modułów (zaimplementowanych w technologii Web Services): Reservation-WS: UmoŜliwia tworzenie, usuwanie oraz odpytywanie rezerwacji przez oprogramowanie middleware Topology-WS: UmoŜliwia przechowywanie, pozyskiwanie, modyfikację oraz usuwanie elementów topologii w zarządzanych domenach administracyjnych Notification-WS: T UmoŜliwia zarządzanie powiadomieniami HSI jest zgodny ze standardem WSRFv1.2
HARMONY główne cechy Pełna integracja z oprogramowaniem typu middleware Wyznaczanie ścieŝek w środowisku jedno- i wielo-domenowym Nowy typ alokacji zasobów w wielodomenowym środowisku sieciowym Topologia sieciowa Integracja z systemami AAI HARMONY gateway do łączenia z innymi systemami BoD
HARMONY usługa Advance reservation bandwidth Elastyczne rezerwacje (ang. malleable reservation) dają moŝliwość uŝytkownikowi wyspecyfikowania jego oczekiwań w kontekście przesłania określonej ilości danych w określonym czasie. Gdy system otrzyma zlecenie tego typu, IDB przeszukuje wszystkie moŝliwe scenariusze biorąc pod uwagę potencjalny czas rozpoczęcia transmisji oraz potrzebne pasmo w celu zlokalizowania zasobów spełniających wymagania uŝytkownika. time earliest start deadline time W kolejnych krokach IDB podejmuje następujące akcje: 1. Wyznaczenie ścieŝki i wybór zakresu min-max dla parametru przepustowość 2. Adaptacja przepustowości 3. Sprawdzenie dostępności zasobów sieciowych na wyznaczonej ścieŝce 4. Zatwierdzenie rezerwacji
Middleware i aplikacje
Middleware i aplikacje Integracja usług umoŝliwiających rezerwację zasobów sieciowych z istniejącym oprogramowaniem middleware dla gridów Usługi dla środowisk sterowanych przez uŝytkownika lub przez aplikacje: Węzły obliczeniowe, systemy wizualizacyjne, systemy składowania danych Zasoby sieciowe z określonym QoS
Middleware i aplikacje Integracja aplikacji: WISDOM: Wide in silicio docking on Malaria KoDaVis: collaborative, distributed visualization of huge data sets TOPS: Streaming of ultra high resolution data sets over lambda networks DDSS: Distributed Data Storage System
Podsumowanie (1) Stan wiedzy w momencie rozpoczęcia projektu Phosphorus Kodavis Wisdom TOPS DDSS Unicore Globus ARGON UCLP DRAC Quagga
Podsumowanie (2) Stan wiedzy po zakończeniu projektu Phosphorus Kodavis Wisdom TOPS DDSS Unicore MSS GAAA-TK Globus Internet2 IDC GN2 AutoBAHN Final release Final release Harmony Final release GAAA-TK GAAA-TK G 2 MPLS G 2 MPLS G 2 MPLS Final Release Final Release Final Release TBS-IP Final Release
Podsumowanie - środowisko testowe
Podsumowanie (4) Udział w ponad 100 konferencjach/wystawach Ponad 20 demonstracji podczas 15 waŝnych konferencji (np.: TNC 2008, ECOC, SC ) 18 artykułów naukowych
Oprogramowanie Następujące oprogramowanie, stworzone w projekcie jest dostępne jest na WWW projektu (http://www.phosphorus.pl/software.php) HARMONY (LGPL) G 2 MPLS (LGPL, GPL) Grid Middleware (BSD) GAAA-TK (Apache License) Token Based Switch (LGPL)
Dziękuję za uwagę http://www.phosphorus.pl