Bartosz Belter, Artur Binczewski, Miłosz Przywecki, Maciej Stroiński

Transkrypt

1 HOSPHORUS nowe podejście do problemu automatycznego zarządzania zasobami sieciowymi i obliczeniowymi w heterogenicznym środowisku gridowym Bartosz Belter, Artur Binczewski, Miłosz Przywecki, Maciej Stroiński

2 Projekt PHOSPHORUS Globalna współpraca wielu partnerów mająca na celu stworzenie zaawansowanych rozwiązań aplikacyjnych oraz technologii do zarządzania i sterowania warstwą sieci Projekt zajął się problemem tworzenia na Ŝądanie połączeń przebiegających przez wiele heterogenicznych domen W projekcie Phosphorus sieć podkładowa traktowana jest jako zasób gridowy Phosphorus zademonstrował rozwiązania w środowisku testowym obejmującym europejskie sieci naukowe (NRENy), sieć GÈANT2, połączenia CBDF oraz sieć GLIF Projekt współfinansowany przez Komisję Europejską w ramach 6 Programu Ramowego

3 Konsorcjum projektu PHOSPHORUS NRENy CESNET PCSS SURFnet MCNC MSP Nextworks Uniwersytety i jednostki badawcze Communications Research Centre Canada (CRC) Fraunhofer-Gesellschaft Fundació I2CAT Forschungszentrum Jülich Interdisciplinair instituut voor BreedBand Technologie Research Academic Computer Technology Institute Research and Education Society in Information Technology SARA Computing and Networking Services University of Bonn University of Amsterdam University of Essex University of Leeds Producenci sprzętu: ADVA Optical Networking Hitachi Europe Ltd. NORTEL

4 Architektura Grid middleware UNICORE AAA Trzy systemy NRPS: UCLP/ARGIA DRAC ARGON Dwie odmiany GMPLS standard (Ph 1) Grid-enabled (Ph 2)

5 Warstwa sterowania

6 G 2 MPLS punkt startowy Architektura i specyfikacja Architektura i dekompozycja: ASON/GMPLS Recs ITU-T SG15 Protokoły i procedury: IETF CCAMP s RFCs, I-Ds. Interfejsy: OIF IAs UNI, E-NNI Rozszerzenia Grid-GMPLS oraz współpraca z oprogramowaniem grid middleware: działalność w Open Grid Forum, w szczególności: Open Grid Services Architecture WG (ogsa-wg) Job Submission Description Language WG (jsdl-wg) Glue Schema Working Group (glue-wg) Grid High-Performance Networking RG (ghpn-rg) Rozwój oprogramowania QUAGGA routing suite v Na licencji GPL OSPFv2 z rozszerzeniami MPLS-TE

7 Rozszerzenia do warstwy sterowania GMPLS NRPS G.O-UNI G 2 G 2 G 2 G.I-NNI G 2 Grid site B Grid site A G.E-NNI G 2 MPLS G.O-UNI Grid site C Główne wyzwania Grid-GMPLS (G 2 MPLS) Współistnienie z systemami NRPS (UCLP, DRAC and ARGON) oraz Grid MW Sieciowe interfejsy obsługujące transmisję informacji gridowych (G.OUNI, G.E-NNI, G.I-NNI) Integracja z systemem AAA Innowacja w zakresie jednoczesnego alokowania zasobów sieciowych i gridowych dzięki: Większej dynamice przy ustawianiu usług Jednolitemu interfejsowi do uruchamiania transakcji sieciowych i gridowych

8 Grid Middleware Interfejsy G 2 MPLS Grid Application G 2 gateway Grid WS NBI G.xNI = Grid-enabled NI NBI G 2 gateway Grid WS G.OUNI-C G.OUNI Centralized Advanced Reservation Service (e.g. PCE based) G.OUNI-C G.OUNI SBI G.OUNI-N G 2 MPLS CP G.I-NNI G 2 MPLS CP SBI G.I-NNI G 2 MPLS CP G.eNNI-U/D SBI G.E-NNI G.eNNI-D/U G 2 MPLS CP SBI G.I-NNI G 2 MPLS CP G.OUNI-N SBI

9 Przykład bezpośredniego wywołania uŝytkownik G 2 G.OUNI GW G 2 G.OUNI GW G 2 Grid MW G 2 G 2 G 2 G 2 Grid MW G 2 MPLS NCP Zasoby gridowe Zasoby gridowe

10 Grid user Grid scheduler Index service Grid site A LRMS G.OUNI GW+C site A G.UNI-N site A G 2 MPLS LER G.UNI-N site B G.OUNI GW+C site B LRMS site B Grid App. request Location req. Location resp. WS-AG: Initial AR req. WS-AG: Initial AR req. Negocjacja i rezerwacja WS-AG: Initial AR resp. WS-AG: Commit AR req. WS-AG: Commit AR req. WS-AG: Initial AR resp. WS-AG: Commit AR req. WS-AG: Commit AR resp. G.OUNI: GNS req. G.OUNI: GNS resp. G.OUNI: GNS conf. G.OUNI: GNS notify G.I-NNI/ G.E-NNI req. G.I-NNI/ G.E-NNI resp. G.I-NNI/ G.E-NNI conf. G.I-NNI/ G.E-NNI req. G.I-NNI/ G.E-NNI resp. G.I-NNI/ G.E-NNI conf. G.I-NNI/ G.E-NNI notify G.OUNI: GNS req. G.OUNI: GNS resp. G.OUNI: GNS conf. G.OUNI: GNS notify WS-AG: Initial AR req. WS-AG: Initial AR resp. WS-AG: Commit AR req. WS-AG: Commit AR resp.

11 Systemy zarządzania zasobami sieciowymi

12 HARMONY wielodomenowy system zarządzania zasobami sieciowymi, w którym uŝytkownicy i aplikacje gridowe mogą rezerwować w przyszłości scieŝki punkt-punkt oraz inne zasoby sieciowe system umoŝliwiający współpracę niezaleŝnych systemów zarządzania poszczególnymi domenami administracyjnymi poprzez wprowadzenie wielodomenowych protokołów zarządzania Harmony Service Interface (HSI) wspólny język wymiany informacji wspierane przez HARMONY systemy zarządzania domeną: Argia/UCLP ARGON DRAC GMPLS

13 Architektura HARMONY Kluczowe elementy: Rozproszony lub Hierarchiczny model architektury NSP NSP składa się z niezaleŝnych modułów międzydomenowych (IDB) Harmony Service Interface jest wspólnym interfejsem dla warstwy adaptacji oraz NSP Poszczególne IDB rozsyłają informacje o zarządzanych przez nie domenach administracyjnych HSI: Harmony Service Interface IDB: Interdomain Broker HNA: Harmony NRPS adapter NSP: Network Service Plane NRPS: Net. Resource Provis. System

14 Interfejs HARMONY Service HSI składa się z trzech modułów (zaimplementowanych w technologii Web Services): Reservation-WS: UmoŜliwia tworzenie, usuwanie oraz odpytywanie rezerwacji przez oprogramowanie middleware Topology-WS: UmoŜliwia przechowywanie, pozyskiwanie, modyfikację oraz usuwanie elementów topologii w zarządzanych domenach administracyjnych Notification-WS: T UmoŜliwia zarządzanie powiadomieniami HSI jest zgodny ze standardem WSRFv1.2

15 HARMONY główne cechy Pełna integracja z oprogramowaniem typu middleware Wyznaczanie ścieŝek w środowisku jedno- i wielo-domenowym Nowy typ alokacji zasobów w wielodomenowym środowisku sieciowym Topologia sieciowa Integracja z systemami AAI HARMONY gateway do łączenia z innymi systemami BoD

16 HARMONY usługa Advance reservation bandwidth Elastyczne rezerwacje (ang. malleable reservation) dają moŝliwość uŝytkownikowi wyspecyfikowania jego oczekiwań w kontekście przesłania określonej ilości danych w określonym czasie. Gdy system otrzyma zlecenie tego typu, IDB przeszukuje wszystkie moŝliwe scenariusze biorąc pod uwagę potencjalny czas rozpoczęcia transmisji oraz potrzebne pasmo w celu zlokalizowania zasobów spełniających wymagania uŝytkownika. time earliest start deadline time W kolejnych krokach IDB podejmuje następujące akcje: 1. Wyznaczenie ścieŝki i wybór zakresu min-max dla parametru przepustowość 2. Adaptacja przepustowości 3. Sprawdzenie dostępności zasobów sieciowych na wyznaczonej ścieŝce 4. Zatwierdzenie rezerwacji

17 Middleware i aplikacje

18 Middleware i aplikacje Integracja usług umoŝliwiających rezerwację zasobów sieciowych z istniejącym oprogramowaniem middleware dla gridów Usługi dla środowisk sterowanych przez uŝytkownika lub przez aplikacje: Węzły obliczeniowe, systemy wizualizacyjne, systemy składowania danych Zasoby sieciowe z określonym QoS

19 Middleware i aplikacje Integracja aplikacji: WISDOM: Wide in silicio docking on Malaria KoDaVis: collaborative, distributed visualization of huge data sets TOPS: Streaming of ultra high resolution data sets over lambda networks DDSS: Distributed Data Storage System

20 Podsumowanie (1) Stan wiedzy w momencie rozpoczęcia projektu Phosphorus Kodavis Wisdom TOPS DDSS Unicore Globus ARGON UCLP DRAC Quagga

21 Podsumowanie (2) Stan wiedzy po zakończeniu projektu Phosphorus Kodavis Wisdom TOPS DDSS Unicore MSS GAAA-TK Globus Internet2 IDC GN2 AutoBAHN Final release Final release Harmony Final release GAAA-TK GAAA-TK G 2 MPLS G 2 MPLS G 2 MPLS Final Release Final Release Final Release TBS-IP Final Release

22 Podsumowanie - środowisko testowe

23 Podsumowanie (4) Udział w ponad 100 konferencjach/wystawach Ponad 20 demonstracji podczas 15 waŝnych konferencji (np.: TNC 2008, ECOC, SC ) 18 artykułów naukowych

24 Oprogramowanie Następujące oprogramowanie, stworzone w projekcie jest dostępne jest na WWW projektu ( HARMONY (LGPL) G 2 MPLS (LGPL, GPL) Grid Middleware (BSD) GAAA-TK (Apache License) Token Based Switch (LGPL)

25 Dziękuję za uwagę