Poznańskie Centrum Superkomputerowo - Sieciowe PROJEKT LDAP Projekt dystrybucji danych między serwerami LDAP, opracowanie powiązań między serwerami : Serwery środowiskowe oraz systemy GRID Jerzy Chochulski Pozna ń 2002
Spis treści 1 WSTĘ P...... 3 2 SERWERY Ś RODOWISKOWE....... 4 2.1 BAZY DANYCH I REPLIKACJA... 4 3 SYSTEMY GRID...... 6 3.1 MDS... 6 3.2 PRZYK AD Ł... 11 4 PODSUMOWANIE...... 15 BIBLIOGRAFIA...... 16 PCSS 2002 2
1 Wstęp Pierwsza cz ęść opracowania (rozdzia ł drugi) dotyczy rozmieszczenia serwerów ś rodowiskowych LDAP w Poznańskim Centrum Superkomputerowo-Sieciowym. Druga cz ęść opracowania dotyczy budowy serwisów informacyjnych w systemach GRID. Architektura serwisu informacyjnego w GRID musi spełnia ć następujące wymagania : 1. serwis informacyjny musi by ć budowany przy założeniu duż ego rozproszenia komponentów systemu informacyjnego, 2. serwis informacyjny musi by ć skalowalny, 3. usterka jakiegokolwiek komponentu systemu informacyjnego nie powinna blokować możliwości otrzymania informacji o innych komponentach, 4. różnorodno ść komponentów serwisu informacyjnego mechanizmy odkrywania i zapytań powinny uwzględnia ć wszelkiego rodzaju zasoby i serwisy. Rozdzia ł trzeci przedstawia oprogramowanie do budowy serwisu informacyjnego GRID, które naszym zdaniem spełnia z powyższe wymaganiami. Przedstawiona będzie takż e metoda rozmieszczania serwerów LDAP w systemach GRID. PCSS 2002 3
2 Serwery środowiskowe. Docelowa instalacja przewiduje postawienie dwóch serwerów LDAP : serwer główny, serwer pomocniczy. 2.1 Bazy danych i replikacja Na serwerze głównym bę dzie umieszczona baza white pages. Na serwerze pomocniczym będzie umieszczona baza wewnętrzna PCSS zawierają ca informacje wykorzystywane przez portale oraz inne udostępniane usługi. Istnieje także możliwo ść postawienia osobnego serwera dla środowiska GRID na serwerze pomocniczym. Baza danych white pages z serwera głównego bę dzie replikowana na serwer pomocniczy (replikacja Single Master dane mog ą by ć edytowane tylko na serwerze gł ównym, na serwerze pomocniczym znajduje si ę replika tylko do odczytu). Baza danych PCSS z serwera pomocniczego będzie replikowana na serwer gł ówny (replikacja Single Master dane mog ą by ć edytowane tylko na serwerze pomocniczym, na serwerze głównym znajduje si ę replika tylko do odczytu). Serwer główny Serwer LDAP Serwer pomocniczy Serwer LDAP Baza white pages (odczyt / zapis) Aktualizacja bazy danych Replika bazy white pages (odczyt) Replika bazy PCSS (odczyt) Aktualizacja bazy danych Baza PCSS (odczyt / zapis) Serwer Baza PCSS 2002 4
W ten sposób serwer pomocniczy oprócz utrzymywania replik baz danych z serwera głównego, peł ni rol ę serwera wydzielonego dla działalności wewnętrznej PCSS. PCSS 2002 5
3 Systemy GRID Najbardziej popularnym i najczęściej obecnie wykorzystywanym oprogramowaniem służą cym do budowy systemów GRID jest Globus Toolkit. Jednym z jego skł adników jest serwis informacyjny MDS (Monitoring and Discovery Service) służą cy do gromadzenia danych o zasobach, ich charakterystyce oraz o ich stanie. Informacja ta jest wykorzystywana przez inne skł adniki systemu GRID oraz przez jego uż ytkowników. Serwis informacyjny MDS wykorzystuje serwer OpenLDAP (darmow ą implementacj ę serwera LDAP) jako baz ę danych do przechowywania i udostę pniania informacji. Dalej w rozdziale zajmowa ć si ę będziemy MDS w wersji 2.1 z Globus Toolkit w wersji 2.0. Najświeższe informacje o Globus Toolkit można znale źć na stronie http://www.globus.org. 3.1 MDS Pakiet Globus Toolkit jest instalowany na każdym komputerze wchodzącym w skł ad systemu GRID. Tak więc na każ dym komputerze istnieje aktywny serwis informacyjny MDS z zainstalowanym i uruchomionym serwerem OpenLDAP. MDS w wersji 2.1 dostarcza następujące komponenty : konfigurowalny komponent dostawcy informacji zwany (Grid Resource Information Service); dostarcza informacji o zasobach pojedynczego komputera (dane statyczne) oraz stanie tych zasobów (dane dynamiczne), na którym jest zainstalowany; konfigurowalny komponent globalnego katalogu zwany (Grid Index Information Service); dostarcza informacji o systemie komputerowym złoż onym z jednego lub wielu komputerów Oba komponenty osadzone s ą na pojedynczym serwerze LDAP (poprzednie wersje MDS-a instalowały dwa serwery LDAP). Oba komponenty mog ą występowa ć pojedynczo lub razem, zależ nie od roli jak ą pełni komputer, na którym s ą zainstalowane : komputer udostępniają cy swoje zasoby zainstalowany lub i (taka jest konfiguracja zaraz po instalacji MDS-a); komputer pełniący rol ę serwera globalnego katalogu zainstalowany. Między komponentami zachodz ą następujące relacje : komponent może by ć zarejestrowany w lokalnym komponencie i/lub w komponencie na innym komputerze; komponent może by ć zarejestrowany w komponencie na innym komputerze. PCSS 2002 6
Powyższe relacje pozwalaj ą na budow ę hierarchicznego drzewa, w którego liś ciach zawsze występuj ą komponenty. Co więcej, komponenty mog ą przynależe ć do więcej ni ż jednego drzewa (komponent sam zarejestrowany jest w więcej ni ż jeden komponentach lub te ż następuje rejestracji nadrzędnego komponentu w innym komponencie należą cym do innego drzewa), w takim przypadku zasoby komputera mog ą by ć prezentowane przez więcej ni ż jedno drzewo.... Rysunek przedstawia hipotetyczne hierarchiczne drzewo. Każda para - oraz każ dy odpowiadaj ą jednemu komputerowi z uruchomionym serwerem OpenLDAP. Zapytania w MDS realizowane s ą za pomoc ą komendy grid-info-search i mog ą by ć skierowane zarówno do serwisu jak i. Parametry komendy - między innymi - określaj ą nazw ę i port serwera MDS, do którego zapytanie jest kierowane. Zapytania kierowane do serwisu w strukturze drzewa pozwalaj ą uzyska ć informacj ę o zasobach komputerowych znajdujących si ę poniż ej w hierarchii drzewa. Możliwości zapyta ń ilustruje poniższy rysunek. Klient 1 Klient 2 Program Klient 1 kieruje zapytanie do serwisu Program Klient 2 kieruje zapytania bezpośrednio do serwisów Komputer 1 zbiera informacje z serwisów Komputer 2 Komputer 3 PCSS 2002 7
W ramach komponentu dostarczane s ą programy dostawców informacji, które uruchomione na komputerze zbieraj ą dane o zasobach i umieszczaj ą je na serwerze OpenLDAP w bazie -a. Zarówno programy dostawców informacji jak i komenda grid-info-search posługuj ą si ę schematem MDS klas i atrybutów. Poniższy rysunek obrazuje przepływ informacji. Komenda grid-info-search Komputer 2 zbiera informacje z serwisów gdy do niego jest kierowane zapytanie (bezpośrednie lub od nadrzędnego -a) Komputer 1 OpenLDAP Dostawcy umieszczają informacj ę o zasobach komputera w bazie LDAP Program dostawcy informacji 1... Program dostawcy informacji n MDS dostarcza dostawców informacji zbierających następujące dane : typ platformy i architektura zbioru instrukcji, nazwa i wersja systemu operacyjnego, informacja o procesorach : typ, ilo ść procesorów, wersja, rozmiar cache a, taktowanie, informacja o pamięci operacyjnej fizycznej i wirtualnej rozmiar, ilo ść wolnej pamięci, informacja o interfejsie sieci, informacja o systemie plików, ilości wolnej przestrzeni na dyskach. Uzyskane dane umieszczane s ą w obiektach zdefiniowanych przez schemat MDS na serwerze OpenLDAP. Komenda grid-info-search jako wynik działania zwraca zbiór obiektów w postaci LDIF. PCSS 2002 8
DN tych obiektów odzwierciedla hierarchi ę drzewa. Korzeniem drzewa jest zawsze o=grid. Każ dy komponent i ma swoj ą nazw ę zapamiętan ą w atrybucie Mds-Vo-name (ze schematu MDS). Komponent zawsze nazywany jest local, natomiast komponent najczęś ciej nazywany jest nazw ą komputera lub pierwszym składnikiem domeny. 2.man.poznan.pl (Mds-Vo-name = MAN) Zapytanie 1 :do serwisu na komputerze 2.man.poznan.pl Zapytanie 2 : do serwisu na komputerze Host1.man.poznan.pl (Mds-Vo-name =Host1) Host1.man.poznan.pl (Mds-Vo-name = local) Zapytanie 3 : do serwisu na komputerze Host1.man.poznan.pl Zapytanie 1 grid-info-search x h 2.man.poznan.pl -p 2135 -b mds-vo-name=man, o=grid s sub (objectclass=*) MdsCpu Rezultat dn : Mds-Host-hn = Host1.man.poznan.pl, Mds-Vo-name=Host1, Mds-Vo-name=man, o=grid [dane obiektu] Zapytanie 2 grid-info-search x h Host1.man.poznan.pl -p 2135 -b mds-vo-name=host1, o=grid s sub (objectclass=*) MdsCpu Rezultat dn : Mds-Host-hn = Host1.man.poznan.pl, Mds-Vo-name=Host1, o=grid [dane obiektu] Zapytanie 3 grid-info-search x h Host1.man.poznan.pl -p 2135 -b mds-vo-name=local, o=grid s sub (objectclass=*) MdsCpu Rezultat dn : Mds-Host-hn = Host1.man.poznan.pl, Mds-Vo-name=local, o=grid [dane obiektu] PCSS 2002 9
MDS jest konfigurowany poprzez wpisy w sześciu plikach konfiguracyjnych : grid-info.conf zawiera ustawienia domyślnych wartości argumentów komendy grid-info-search; grid-info-resource-ldif.conf określa które programy dostawców informacji są aktywne i mog ą wysyła ć dane do serwisów, w których jest zarejestrowany; opisuje programy dostawców informacji dostarczanych w Globusie jak i programy dostawców informacji stworzone przez użytkownika (rozszerzające funkcjonalno ść -a); grid-info-resource-register.conf zawiera list ę serwerów, w których jest zarejestrowany; domyślnie jest zarejestrowany w lokalnym serwerze ; grid-info-site-giis.conf inicjalizuje struktur ę danych wykorzystywan ą przy rejestracji - a na serwerze ; grid-info-site-policy.conf zawiera informacj ę pozwalając ą na akceptowanie komunikatów rejestracji przez serwer ; domyślnie akceptowane s ą tylko komunikaty z lokalnego komputera, z portu 2135; grid-info-slapd.conf okreś la komponenty i jako osobne bazy w OpenLDAP; definiuje bazy danych w OpenLDAP-ie, prawo anonimowego dostępu, okreś la schematy wykorzystywanych klas i atrybutów (w tym schemat MDS-a). PCSS 2002 10
3.2 Przykład Poniższy przykład pokazuje jak skonfigurowa ć MDS na każdym komputerze tworzą cym drzewo hierarchiczne. Rysunek przedstawia drzewo grupują ce komputery z dwóch oddalonych od siebie ośrodków. POZNAŃ KRAKÓW 1.man.poznan.pl (Mds-Vo-name = 2) (Mds-Vo-name =Host1) Host1.man.poznan.pl (Mds-Vo-name = local) 2.man.krakow.pl (Mds-Vo-name = 1) (Mds-Vo-name =Host2) Host2.man.poznan.pl (Mds-Vo-name = local) Host3.man.krakow.pl (Mds-Vo-name = local) Host4.man.krakow.pl (Mds-Vo-name = local) Komputer Host1.man.poznan.pl Plik grid-info-slapd.conf # baza database: ldif suffix: mds-vo-name=local, o=grid # baza database: giis suffix: mds-vo-name= host1, o=grid PCSS 2002 11
Plik grid-info-resource-register.conf # zarejestruj lokalny w 1.man.poznan.pl dn: mds-vo-op-name=register, mds-vo-name=giis1, o=grid reghn: giis1.man.poznan.pl regport: 2135 hn: host1.man.poznan.pl port: 2135 rootdn: mds-vo-name=host1, o=grid # zarejestruj lokalny w lokalnym dn: mds-vo-op-name=register, mds-vo-name=host1, o=grid reghn: host1.man.poznan.pl regport: 2135 hn: host1.man.poznan.pl port: 2135 rootdn: mds-vo-name=local, o=grid Komputer Host2.man.poznan.pl Plik grid-info-slapd.conf # baza database: ldif suffix: mds-vo-name=local, o=grid # baza database: giis suffix: mds-vo-name= host2, o=grid Plik grid-info-resource-register.conf # zarejestruj lokalny w 1.man.poznan.pl dn: mds-vo-op-name=register, mds-vo-name=giis1, o=grid reghn: giis1.man.poznan.pl regport: 2135 hn: host2.man.poznan.pl port: 2135 rootdn: mds-vo-name=host2, o=grid # zarejestruj lokalny w lokalnym dn: mds-vo-op-name=register, mds-vo-name=host2, o=grid reghn: host2.man.poznan.pl regport: 2135 hn: host2.man.poznan.pl port: 2135 rootdn: mds-vo-name=local, o=grid PCSS 2002 12
Komputer 1.man.poznan.pl Plik grid-info-slapd.conf # tylko baza database: giis suffix: mds-vo-name=giis1, o=grid Plik grid-info-site-policy.conf # akceptuj komunikaty rejestrujące z trzech komputerów (&( (mds-service-hn=host1.man.poznan.pl) (mds-service-hn=host2.man.poznan.pl) (mds-service-hn=giis2.man.krakow.pl) (mds-service-port=2135)) Komputer Host3.man.krakow.pl Plik grid-info-slapd.conf # tylko baza database: ldif suffix: mds-vo-name=local, o=grid Plik grid-info-resource-register.conf # zarejestruj host3.man.krakow.pl w 2.man.krakow.pl dn: mds-vo-op-name=register, mds-vo-name=giis2, o=grid reghn: giis2.man.krakow.pl regport: 2135 hn: host3.man.krakow.pl port: 2135 rootdn: mds-vo-name=local, o=grid Komputer Host4.man.krakow.pl Plik grid-info-slapd.conf # tylko baza database: ldif suffix: mds-vo-name=local, o=grid Plik grid-info-resource-register.conf # zarejestruj host4.man.krakow.pl w 2.man.krakow.pl dn: mds-vo-op-name=register, mds-vo-name=giis2, o=grid reghn: giis2.man.krakow.pl regport: 2135 hn: host4.man.krakow.pl port: 2135 rootdn: mds-vo-name=local, o=grid PCSS 2002 13
Komputer 2.man.krakow.pl Plik grid-info-slapd.conf # tylko baza database: giis suffix: mds-vo-name=giis2, o=grid Plik grid-info-resource-register.conf # zarejestruj 2.man.krakow.pl w 1.man.poznan.pl dn: mds-vo-op-name=register, mds-vo-name=giis1, o=grid reghn: giis1.man.poznan.pl regport: 2135 hn: giis2.man.krakow.pl port: 2135 rootdn: mds-vo-name=giis2, o=grid Plik grid-info-site-policy.conf # akceptuj komunikaty rejestrujące z dwóch komputerów (&( (mds-service-hn=host3.man.krakow.pl) (mds-service-hn=host4.man.krakow.pl)) (mds-service-port=2135)) PCSS 2002 14
4 Podsumowanie Projekt lokalizacji serwerów środowiskowych zapewnia bezpieczeństwo dostę pu do danych dzięki replikacji. Oprócz tego równoważy obciążenie obu serwerów. Serwer główny udostę pnia dane na zewnątrz, podczas gdy serwer pomocniczy utrzymuje dane na wewnętrzne potrzeby PCSS. Architektura komponentów i w MDS speł nia pierwsze trzy wymagania przedstawione we wstę pie. Przede wszystkim pozwala na zbudowanie serwisu informacyjnego obejmującego rozproszone ś rodowisko komputerowe. Dodanie nowych elementów do drzewa jest łatwe i nie wpływa na inne ju ż istnieją ce elementy. Usterka i wykluczenie jakiegokolwiek elementu nie wpływa na reszt ę systemu. Czwarte wymaganie odnośnie uwzględnienia różnorodnoś ci zasobów komputerowych i serwisów jest speł nione przy pomocy schematu klas i atrybutów dostarczanego przez MDS, co jest tematem osobnego opracowania. PCSS 2002 15
Bibliografia [ 1 ] Czajkowski, K., Fitzgerald, S., Foster, I. i Kesselman, C. Grid Information Services for Distributed Resource Sharing, 2001 [ 2 ] Fitzgerald, S., Foster, I., Kesselman, C., von Laszewski G., Smith W. i Tuecke S. A Directory Service for Configuring High-Performance Distributed Computations [ 3 ] MDS 2.1 User s Guide, www.globus.org/mds/mdsusersguide.pdf [ 4 ] MDS 2.1 : Creating a Hierarchical, www.globus.org/mds/hierarchical_.pdf [ 5 ] OpenLDAP, www.openldap.org [ 6 ] The Anatomy of the Grid, www.globus.org/research/papers/anatomy.pdf [ 7 ] T.A. Howes, M.C. Smith, G.S. Good Understanding and Deploying LDAP Directory Services, 1999 PCSS 2002 16