Klastry Wysokiej Dost pno±ci i pakiet heartbeat

Transkrypt

1 Klastry Wysokiej Dost pno±ci i pakiet heartbeat Paweª Topa Dariusz bik Remigiusz Górecki 24 pa¹dziernika Wprowadzenie Najwy»sz dost pno± systemu komputerowego uzyskuje si poprzez redundancj caªego komputera, interfejsów sieciowych oraz sieci komputerowej, tworz c konguracj tzw. klastra wysokiej dost pno±ci (patrz rys. 1). Komputery wchodz ce w skªad klastra nie musz by identyczne cz sto w zeª zapasowy ma mniejsz wydajno± od w zªa gªównego. Powszechne jest stosowanie rozproszenia geogracznego klastra poszczególne w zªy mog znajdowa si w innych pomieszczeniach, budynkach lub nawet na innych kontynentach (!). System jest wówczas bardziej odporny na ró»nego rodzaju katastrofy wynikaj ce z przyczyn naturalnych lub spowodowane przez czªowieka np. po»ar, powód¹, trz sienie ziemi, atak terrorystyczny itp. Wykrycie awarii komputera wchodz cego w skªad klastra, wymaga zapewnienia staªej komunikacji mi dzy w zªami. Poª czenie to, zwykle tak»e redundantne, przyj ªo si nazywa heartbeat czyli dosªownie uderzenia serca w zªy informuj si nawzajem,»e»yj. Je»eli który± z w zªów przestaje odpowiada, pozostaªe przejmuj jego funkcje do czasu usuni cia usterki (patrz rys. 2). Zale»nie od konguracji, w trakcie normalnej pracy klastra, procesy wykonywane s na gªównej maszynie, a w zeª zapasowy oczekuje na awarie lub procesy rozkªadane s równomierne pomi dzy wszystkie w zªy. W najbardziej wyra- nowanych rozwi zaniach, stan gªównego w zªa mo»e by caªy czas odzwierciedlany ( mirroring) na w ¹le zapasowym. Rozwi zania takie, jakkolwiek bardzo kosztowne, zapewnia bªyskawiczne przej cie zada«przez w zeª zapasowy w razie wyst pienia awarii. Zdublowanie caªych systemów komputerowych pozwala, w przypadku wyst pienia awarii, na szybkie i bezproblemowe przywrócenie (failover) wykonywanych zada«i usªug na sprawnym w ¹le. W najprostszych rozwi zaniach mo»liwe jest tylko automatyczne przywrócenie samej usªugi (bez jej stanu w chwili awarii). Takie podej±cie jest wystarczaj ce w przypadku usªug, w których zachowanie aktualnego stanu serwisu nie jest wymogiem krytycznym np. http. Rozwi zanie to nie jest wystarczaj ce w przypadku usªug nawi zuj cych sesje np. ftp. Mo»liwo± przywracania usªug i procesów wraz z ich stanem w chwili awarii posiadaj niektóre pakiety komercyjne przeznaczone do zarz dzania klastrami wysokiej dost pno±ci np. MC/ServiceGuard rmy HP lub HACMP rmy IBM. Ich zadaniem, oprócz monitorowania pracy systemu, jest przede wszystkim zarz dzanie procesami wykonywanymi przez serwer. W momencie awarii w zªa, procesy na nim wykonywane mog by r cznie lub automatycznie przeniesione na inne w zªy klastra. Dla u»ytkownika, awaria jest praktycznie niezauwa»alna. Dodatkow funkcj oprogramowania zarz dzaj cego jest równowa»enie obci»enia (load-balancing) w zªów w klastrze. Z uwagi na rozproszony charakter architektury klastrowej, istotnym problemem jest zarz dzanie skªadowaniem danych (data storage). Pod tym wzgl dem klastry mo»emy podzieli na shared data i share nothing. W modelu data shared ka»dy z w zªów posiada dost p do caªego zasobu dyskowego klastra. Konieczne jest zatem zastosowanie mechanizmów synchronizacji i szeregowanie odwoªa«do dysków, w celu zachowania integralno±ci danych. W modelu share nothing ka»dy w zeª ma dost p tylko do pewnego fragmentu zasobów dyskowych»aden inny w zeª nie mo»e odwoªywa si do tego fragmentu. Konieczne jest u»ycie mechanizmów zapewniaj cych synchronizacj danych pomi dzy zasobami ró»nych w zªów. 2 Pakiet heartbeat Pakiet heartbeat, prowadzony przez Alana Robertsona, jest poblicznie dost pnym oprogramowaniem udost pniaj cym podstawow funkcjonalno± pozwalaj c tworzy i zarz dza klastrami wysokiej dost pno±ci w systemie Linux. Gªównym zadaniami realizowanymi przez to oprogramowanie s : 1. monitorowanie dost pno±ci poszczególnych w zªów klastra, 2. uruchamianie i zatrzymywanie usªug pracuj cych w re»imie wysokiej dost pno±ci, 3. zarz dzanie zasobami dzielonymi w obr bie klastra np. adres IP, zasoby dyskowe. Aktualnie pakiet dost pny jest w stabilnej wersji na platform Linux; dost pne s tak»e archiwa ¹ródªowe, binarne oraz pakiety dla wa»niejszych dystrybucji Linuksa. Obszerna dokumentacja znajduje si na stronie 1

2 Rysunek 1: Klaster wysokiej dost pno±ci. Rysunek 2: Zachowanie systemy w przypadku awarii jednego z w zªów. 2

3 Pakiet heartbeat jest oprogramowanie darmowym, ale nale»y wyra¹nie podkre±li,»e swoimi mo»liwo±ciami pozostaje bardzo daleko z rozwi zaniami komercyjnymi. Stanowi on realizacj najprostszej strategii dziaªania klastra wysokiej dost pno±ci. Jeden z komputerów peªni rol w zªa gªównego serwuj c usªugi pewne pod ustalonym adresem IP. Drugi z komputerów w zeª zapasowy oczekuje bezczynnie na awari w zªa gªównego. Je±li zajdzie takie zdarzenie przejmuje on funkcje w zªa gªównego, uruchamiaj c wszystkie te usªugi, które udost pniaª w zeª gªówny. Oprogramowanie hearbeat nie potra przenosi usªug i aplikacji mi dzy w zªami wraz z ich stanem potra jedynie wykry awari jednego z w zªów, przenie± pewne zasoby na w zeª zapasowy i na nim od nowa uruchomi usªugi zatrzymane w wyniku awarii. Dla prostych instalacji np. serwerów http jest to jednak caªkowicie wystarczaj ca funkcjonalno±. Gªówn cz ± oprogramowania heartbeat stanowi podsystem demon monitoruj cy prac w zªów klastra oraz zarz dzaj cy zasobami udost pnianymi w re»imie wysokiej dost pno±ci. Demon uruchamiany jest na wszystkich w zªach klastra brak pracuj cego demona na jednym z w zªów jest równoznaczny z sytuacj awarii tego w zªa. Demony wymieniaj si ze sob informacj, sprawdzaj c swoj dost pno±. W przypadku awarii w zªa gªównego, demon na w ¹le stwierdza brak odpowiedzi na ª czu heartbeat i rozpoczyna procedur przej cia zasobów wspólnych klastra i uruchomienia usªug udost pnianych w trybie wysokiej dost pno±ci. Najwa»niejszym zasobem jaki musi przej w zeª zapasowy po awarii w zªa gªównego jest adres IP klastra. Ka»dy z w zªów klastra posiada swój wªasny adres IP w podsieci w której wª czony jest klaster, jednak jest on wykorzystywany raczej w celach administracyjnych. Potrzebny jest dodatkowy wolny adres IP, który zostanie przypisany klastrowi jako caªo±ci i pod którym serwowane b d wszystkie usªugi udostepniane w re»imie wysokiej dost pno±ci. Wewn trzna struktura klastra zostaje ukryta pod jednym adresem IP, który w razie potrzeby b dzie przenoszony pomi dzy w zªami klastra. W danej chwili adres ten mo»e by przypisany tylko jednemu w zªowi. Je±li buduj c klaster zdecydujemy si na model shared data, kolejnym zasobem, który b dzie przekazywany mi dzy w zªami s urz dzenia pami ci masowej. Jednym z klasycznych rozwi za«jest podª czenie zewn trznego dysku SCSI w tzw. ukªad V czyli do jednej magistrali wraz z dyskiem podpi te b d dwa host-adapter 'y w zªów klastra. W zªy b d mie zatem zyczny dost p do urz dzenia dyskowego, zadaniem oprogramowania jest zadba o to aby w danej chwili byªy one wykorzystywane przez tylko jedn maszyn. W klastrze opartym o model share nothing konieczna jest implementacja mechanizów replikacji danych pomi dzy w zªami. W tym celu nale»y skorzysta z cron'a i polecenia rsync, które okresowo b dzie synchronizowaªo dane pomi dzy w zªami. Podej±cie takie jest maªo praktyczne w przypadku gdy synchronizujemy archiwa o pojemno±ciach wieluset megabajtów. Proces taki mo»e by zbyt czasochªonny i zanadto obci»aj cy sie. Z tego te» wzgl du nie b dziemy szerzej omawia tej techniki w niniejszym opracowaniu. Jej dokªadny opis wraz z kilkoma u»ytecznymi skryptami znajduje si w dokumentacji dostarczonej wraz z oprogramowaniem. 2.1 Konguracja klastra w oparciu o pakiet heartbeat ver. 1 Aby zbudowa jakikolwiek klaster potrzebujemy przynajmniej dwóch komputerów. Nie jest wymagane aby ich konguracja sprz towa byªa identyczna. Klaster wysokiej dost pno±ci, jak ju» wcze±niej wspomniano, wymaga dodatkowego poª czenie mi dzy w zªami zwanego heartbeat. Poªaczenie to sªu»y w zªom do wzajemnego informowania si,»e pracuj poprawnie. Zasada bez pojedynczego punktu awarii"( no single point of failure) wymaga aby tak»e to poª czenie byªo reduntantne. heartbeat mo»e wykorzystywa w tym celu port szeregowy (poª czenie przy pomocy kabla szeregowego z przeplotem null-modem) lub interfejs sieciowy ethernet. Wykorzystanie tego drugiego medium ª czy si oczywi±cie z konieczno±ci zainstalowania dodatkowej karty sieciowej w ka»dym z w zªów budowanego klastra. Nale»y równie» pami ta o tym,»e bezpo±rednie poª czenie: karta sieciowa karta sieciowa mo»e by zrealizowana tylko przy pomocy tzw. skrosowanej skr tki crossover cable. Po zestawieniu sprz tu i poª cze«, instalacji systemów operacyjnych i wymaganych cz ±ci oprogramowania heartbeat, nale»y przetestowa poprawno± poª cze«. W przypadku poª czenia poprzez porty szeregowe wystarczy na jednym z w zªów (peªni cym rol odbiorcy) wyda polecenie: node1# cat < /dev/ttys0 podczas gdy na drugim z w zªównadawcy: node2# echo hello > /dev/ttys0 Z jednej strony jest to odczyt z portu szeregowego, za± z drugie strony bezpo±rednie zapisywanie do portu szeregowego. Je±li wpisany tekst pojawi si po stronie odbiorcy poª czenie jest poprawne i caª operacj nale»y powtórzy zamieniaj c rolami w zªy. Je±li poª czenie nie dziaªa poprawnie nale»y w pierwszej kolejno±ci sprawdzi kabel ª cz cy. Innym powodem problemów mo»e by wybór nieprawidªowego pliku urz dzenia /dev/ttys*. Najlepszym ¹ródªem informacji na temat portów szeregowych i komunikacji z ich u»yciem jest stosowny dokument HOWTO [10]. Aby zrealizowa poª czenie heartbeat w oparciu o sie ethernet nale»y skongurowa odpowiednie interfejsy sieciowe. Zakªadaj c,»e w ka»dym w ¹le znajduje si dwie karty sieciowe, jedn z nich kongurujemy do normalnej komunikacji w obr bie podsieci w której znajduje si klaster. Druga z kart kongurowana jest na potrzeby prywatnej (zazwyczaj odci tej od ±wiata) sieci pomi dzy w zªami klastra. Opis konguracji interfejsu sieciowego i ewentualnie pojawi j cych si problemów wyja±nia wiele dokumentów dost pnych w sieci np. [11]. 3

4 Dobrym pomysªem jest przyznanie interfejsom realizuj cym poª czenie heartbeat adresów z podsieci z nierutowalnych podsieci np.: , Wi kszo± instalatorów dostarczanych z ró»nymi dystrybucjami Linuksa pozwala ustali stosowne adresy podczas instalacji systemu operacyjnego. Standardowym wyposa»eniem ka»dego Linuksa jest polecenie ifconfig umo»liwiaj cy zarz dzanie zainstalowanymi interfejsami sieciowymi czyli przede wszystkim ustalenie nowego adresu sieciowego np.: node1# /sbin/ifconfig eth netmask Konguracja karty sieciowej ustalona przy pomocy polecenia ifconfig nie jest trwale zapami tywana i znika przy restarcie systemu. Permanentne ustalenie adresu kart sieciowej wymaga odpowiedniego wpisu do pliku konguracyjnego. W dystrybucji RedHat jest to plik: /etc/sysconfig/network-scripts/ifcfg-eth0. Mo»na tak»e wstawi wywoªania polecenia ifconfig do skryptu /etc/rc.local Aby uruchmi klaster wysokiej dost pno±ci pod kontrol oprogramowania heartbeat nale»y weedytowa trzy pliki konguracyjne: ha.cf, haresources, authkeys. Wszystkie one musz znale¹ si w katalogu /etc/ha.d/ który powstaje podczas instalacji pakietu. Przykªadowe pliki konguracyjne wraz z obszernym komentarzem ka»dej z opcji mo»na znale¹ w katalogu /usr/share/doc/heartbeat Omówienie wa»niejszych opcji mo»na tak»e znale¹ w dokumencie Getting Started with Linux-HA [12]. W niniejszym opracowaniu ograniczymy si tylko do opcji niezb dnych do uruchomienia klastra. 2.2 Pliki konguracyjne klastra Plik ha.cf zawiera ogólne opcje konguracyjne klastra tzn. adresy maszyn, które wchodz w jego skªad, medium poª czenia heartbeat itp. Rejestracja komunikatów o pracy demonów heartbeat jest u»yteczna nie tylko w fazie uruchamiania klastra: # plik dziennika debugger'a debugfile /var/log/ha-debug # plik dziennika logfile /var/log/ha-log # kategoria komunikatów, która pojawia si w dzienniku systemowym # patrz plik konfiguracyjny /etc/syslog.conf logfacility local0 Dostrojenie pracy klastra wymaga okre±lenia pewnych opó¹nie«mi dzu zachodz cymi zdarzeniami i reakcj systemu: # czas pomi dzu kolejnymi,,uderzeniami serca'' pomi dzy w zªami w sek. keepalive 2 # ile trzeba czeka na potwierdzenie,,uderzenia serca'' zanim # stwierdzimy,,zgon'' w zªa deadtime 30 # czas do pierwszego komunikatu w logach o opó¹nianiu si potwierdzenia warntime 10 # w przypadku niektórych systemów operacyjnych, uruchomienie sieci po # restarcie systemi trwa do± dªugo. Potrzebny jest zatem osobna warto± # opó¹nia w takiej sytuacji initdead 120 Wybór medium i parametrów poª czenia hearbeat porty szeregowe via null-modem: # szybko± transmisji baud # urz dzenie powi zane z portem szergowym serial /dev/ttys0 # Linux #serial /dev/cuaa0 # FreeBSD #serial /dev/cua/a # Solaris sie ethernet # numer port poprzez który realizowana b dzie komunikacja,,heartbeat'' udpport 694 # na którym interfejsie sieciowym i w jaki sposób # ma by rozgªaszany,,heartbeat'' bcast eth0 # Linux 4

5 #bcast eth1 eth2 # Linux #bcast le0 # Solaris #bcast le1 le2 # Solaris Nie da si ukry,»e jedn z najwa»niejszych informacji potrzebnych do uruchomienia klastra s nazwy w zªów skªadowych: node node1.mojklaster.org node node2.mojklaster.org Nazwy w zªów uzyskujemy komend uname -n. 2.3 Konguracja usªug W pliku haresources okreslamy mi dzy innymi: nazw komputera peªni cego rol gªównego w zªa klastra, adres IP, mask podsieci i adres rozgªoszeniowy (broadcast) klastra, list usªug udost pnianych w trybie wysokiej dost pno±ci, je±li klaster pracuje w architekturze shared data, mo»emy okre±li jakie urz dzenie blokowe jest wspóªdzielone pomi dzy w zªami klastra, jaki system plików si na nim znajduje i gdzie nale»y go montowa w drzewie katalogów. Plik haresources musi by identyczny na obu w zªach klastra! Kilka przykªadów konguracji wraz z komentarzem Najprostsza konguracja w której okre±lono jedynie nazw komputera peªni cego rol wezªa gªównego ( node1.mojklaster.org i adres IP klastra. Maska podsieci i adres rozgªoszeniowy jest domy±lny. Klaster nie udost pnia»adnych usªug. node1.mojklaster.org W powy»szym przykªadzie nie jest okre±lna nazwa interfejsu, któremu zostanie przypisany wirtualny adres klastra. Nie jest to problemem w przypadku maszyn z pojedyncz kart sieciow. Wybór interfejsu sieciowego w systemie z wieloma kartami, dokonywany jest na podstawie tablicy routingu. Heartbeat stara si znale¹ najkrótsz ±cie»k do adresu, który przejmuje. Dla wi kszo±ci systemów jest to pierwsza pozycja w tabeli. Podobnie jak poprzednio, ale klaster ju» serwuje wysoko dost pn usªug WWW: node1.mojklaster.org httpd Nazwa usªugi podana na ko«cu linii jest w zasadzie niczym innym jak nazw skryptu uruchamiaj cego serwer http. heartbeat w poszukiwaniu tego skryptu sprawdza kolejno ±cie»ki: /etc/ha.d/resource.d i /etc/rc.d/init.d. Z punktu widzanie heartbeat'a bez znaczenia jest co dany skrypt robi, istotne jest jedynie aby poprawne byªy wywoªania: scriptname start i scriptname stop, wykonywane odpowiednio podczas startu i zatrzymaywania usªugi. Je»eli chcemy przekaza do skryptu argumenty nale»y je poda po jego nazwie oddzielaj ce :: np. node1.mojklaster.org my_script::arg1::arg2 Przykªad bardziej zªo»ony: klaster jest dost pny pod trzema adresami i udost pnia dwie usªugi. node1.mojklaster.org httpd smb Peªnia precyzji w deniowaniu interfejsu sieciowego: adres, maska podsieci, interfejs sieciowy i adres rozgªoszeniowy. node1.mojklaster.org /28/eth0/ httpd Wykorzystanie wspóªdzielonego zasobu dyskowego. Dysk SCSI reprezentowany przez urz dzenie /dev/sda1 b dzie widoczny w katalogu /data1, zapisany jest w systemie plików ext2. node1.mojklaster.org Filesystem::/dev/sda1::/data1::ext2 W momencie awarii w zªa gªównego, skrypt Filesystem (dostarczany wraz z pakietem heartbeat, znajduje si w katalogu /etc/ha.d/resource.d) uruchomiony przez demona na w ¹le zapasowym zamontuje urz dzanie /dev/sda1 w katalogu /data1. Niestety korzystanie z dzielonego zasobu wi»e si z ryzykiem,»e nie do ko«ca martwy w zeª gªówny zachowa sobie dost p do dzielonego zasobu. 5

6 2.4 Autentykacja poª czenia Ostatnim plikiem, którego modykacje nale»y przeprowadzi przed uruchomieniem klastra, jest authkeys. Zawiera on informacji o sposobie autentykacji wzajemnych potwierdze«przesyªanych poª czeniem heartbeat. W chwili obecnej dost pne s trzy metody: crc, md5 i sha1. Je±li poª czenie heartbeat jest zycznie odizolowane od ±wiata najprostsza metoda crc, zapewniaj ce jedynie korekcj bª dów transmisji, b dzie wystarczaj ca. Je±li poª czenie jest realizowane poprzez ogólnie dost pn sie nale»y wybra jedn z metod szyfrowanych tj. md5 lub sha1, przy czym sha1 jest nieco trudniejsza do zªamania. Ogólny format pliku jest nast puj cy: auth <numer> <numer> <metoda> [<klucz>] Przykªadowo dla crc: auth 1 1 crc i dla sha1 (md5 ): auth 2 2 sha1 dowolny-klucz-dla-szyfrowania-sha1 Plik authkeys powinien mie ustawione prawa do odczytu dla root'a, pozostali u»ytkownicy nie powinni mie»adnych praw dost pu do tego pliku (u»ywaj konwencji liczbowej takie prawa oznaczamy warto±ci 600). 2.5 Uruchamianie klastra wysokiej dostepno±ci Po prawidªowej konguracji uruchomienie klastra sprowadza si do wystartowania demonów heartbeat na wszystkich w zªach. Wykonuje si to analogicznie jak w przypadku wszystkich usªug w systemach Unix zgodnych z System V tzn. przy pomocy skrytpu z katalogu /etc/init.d czyli. node1#/etc/init.d/heartbeat start W przypadku dystrybucji Linuksa wykorzystuj ce zarz dcy pakietów rpm (RedHat, Suse i Mandrake), b d mie stosowany skrypt we wªa±ciwym miejscu i skongurowany do uruchamiania podczas startu systemu. Aby wª czy start demona heartbeat w trakcie ªadowania systemu nale»y u»y polecenie chkconfig np.: node1# /sbin/chkonfig heartbeat on Wyª czamy tym samym poleceniem, ale z argumentem off. Aby przekona si czy wszystko dziaªa poprawnie nale»y przejrze logi demonów w pliku, którego nazw i ±cie»k umie±cili±my w pliku konguracyjnym ha.cf. Posta tych logów mo»e by ró»na dla ró»nych dystrybucji. Jest ich zazwyczaj caªkiejm sporo, dlatego pominiemy w nieniejszym opracowaniu podawanie ich peªnej postaci. Nale»y bardzo dokªadnie przyjrz si wszystkim liniom zawieraj cym sªowo: error. Zawieraj one informacje o tym co poszªo nie tak oraz w wi kszo±ci wypadków tak»e informacj dlaczego. Je±li logi demonów heartbeat na obu w zªach nie zawieraj nieczego niepokoj cego nale»y przetestowa klaster w warunkach bojowych tzn. spróbowa wyegzekwowa od niego oczekiwan usªug jest ona dost pna pod adresem wpisanym do pliku haresources. Je±li wszystko dziaªa poprawnie nale»y przeprowadzi symulacj awarii poszczególnych w zªów, przy czym najlepiej zaczyna od maszyny, którego przeznaczyli±my na w zeª gªówny klastra. W tym celu wystarczy doprowadzi do sytuacji w której demon heartbeat nie dziaªa na tym w ¹le. Nie nale»y (przynajmniej na razie) zrywa poª czenie heartbeat mi dzy w zªami. Praktycznie rzecz bior najciekawsze zachowanie systemu obserwujemy podczas awarii w zªa gªównego, kiedy jego funkcje przejmowane s przez w zeª zapasowy. Symulaj c awari poszczególnych w zªów nale»y sprawdza dost pno± usªug oraz komunikaty generowane przez demony. W klastrach zªo»ponych z wi kszej ilo±ci w zªów nale»y tak»e sprawdza zachowanie systemu w przypadku awarii wi kszej ilo±ci w zªów. 2.6 Przejmowanie adresu IP Przeª czanie wspólnego adresu IP pomi dzy ró»nymi w zªami klastra realizowane jest przy pomocy techniki zwanej IP aliasingiem. Funkcja ta obecna jest w ró»nych realizacja w j drze Linuksa od wersji 2.0.x 1. Nie wnikaj c w szczegóªy IP aliasing pozwala na tworzenie wirtualnych interfejsów sieciowych o ró»nych adresach IP, korzystaj cych z jednej karty sieciowej. 1 J dro musi by skompilowane z opcj IP aliasingu. J dra pochodz ce z dystrubucji zazwyczaj ju» maj wª czon t opcj 6

7 node1# /sbin/ifconfig eth0: node1# /sbin/ifconfig eth0 Link encap:ethernet HWaddr 00:04:DE:ED:BE:EF inet addr: Bcast: Mask: UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets: errors:0 dropped:0 overruns:0 frame:0 TX packets: errors:0 dropped:0 overruns:0 carrier:5 collisions: txqueuelen:100 RX bytes: (511.2 Mb) TX bytes: ( Mb) Interrupt:9 Base address:0xd800 eth0:0 Link encap:ethernet HWaddr 00:04:DE:ED:BE:EF inet addr: Bcast: Mask: UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 Interrupt:9 Base address:0xd800 Jak wida w powy»szym przykªadzie mamy dwa interfejsy sieciowe o ró»nych adresach IP, ale tym samym adresie MAC co oznacza,»e jest to jedna i ta sama karta sieciowa. W przypadku w systemu pracuj cego w peªni poprawnie, adres IP klastra przypisany jest wirtualnemu interfejsowi skongurowanemu na w ¹le gªównym w zeª zapasowy w tym czasie posiada nie posiada takiego interfejsu. W momencie stwierdzania awarii w zªa gªównego, demon heartbeat'a na w ¹le zapasowym uruchamia wirtualny interfejs przypisuj c mu adres IP klastra. Od tej chwili ten w zeª b dzie udost pnial usªugi caªego klastra. Przeª czanie adresu IP w sieci ethernet wi»e si jednak z pewnymi problemami maj cymi swoje ¹ródªo w sposobie dziaªania sieci ethernet oraz protokoªu ARP. Ramki danych w sieci ethernet rozgªaszane s po caªej podsieci. Zadaniem kart sieciowych jest przyj cie tylko tych ramek których docelowy adres MAC jest zgodny z ich wªasnym adresem. Powi zanie adresu IP z adresem MAC jest zadaniem protokoªu ARP, który na podstawie odpowiedzi na okresowo rozsyªane zapytania (ARP requests) ustala te relacje i zapisuje je w cache'u. W przypadku przeª czenia adresu klastra mi dzy w zªami, tablice ARP w innych komputerów w sieci (oraz routera) dezauktalizuj si. Oczywi±cie po pewnym czasie ponowione zostan zapytania ARP i dane w tablicach stan si poprawne, ale mo»e to potrwa nawet 2 min. Mo»e si tak»e zdarzy,»e uszkodzony w zeª b dzie jeszcze na tyle sprawny,»eby odpowiada na zapytania ARP. Taka sytuacja niechybnie doprowadzi do zamieszania w tablicach ARP innych komputerów i routera. Klaster mo»e by w dalszym ci gu niedost pny. Aby zapobiec temu zjawisku stosuje si technik zwan... gratuitous ARP. Polega ona na wysyªaniu odpowiedzi ARP nie czekaj c na zapytania. W ten sposób zmiana adresu MAC w zªa serwuj cego usªugi klastra jest szybko rozgªaszana w caªej podsieci. 2.7 Awaria poª czenia Przerwanie poª czenia heartbeat wi»e si z pojawieniem istotnych zakªóce«w pracy caªego klastra. Brak komunikacji mi dzy demonami prowadzi do sytuacji w której ka»dy z nich stwierdza,»e drugi w zeª ulegª awarii. W zeª gªówny, w takiej sytuacji nie b dzie robiª nic poza zarejestrowaniem tego faktu, ale w zeª zapasowy spróbuje przej zasoby klastra i rozgªosi si jako wªa±ciwy serwer, co ma oczywi±cie katastrofalne skutki. Zastosowanie STONITH mo»e zabezpieczy caªo± przed uszkodzeniami danych, ale nie zapewni dost pno±ci klastra. W powa»nych zastosowaniach absolutnie niezb dne jest u»ycie redundantnego poª czenia heartbeat, najlepiej wykorzystuj cego ró»ne media. Poª czenie wykorzystuj ce porty szeregowe jest nieco bardziej niezawodne, ale nie tak elastyczne jak poª czenie oparte o ethernet. 3 Plan wiczenie 3.1 Przygotowanie do wiczenia Zapoznaj si z nast puj cymi zagadnieniami (¹ródªa: [9, 7, 8, 6, 2]: Koncepcja i architektura klastrów wysokiej dost pno±ci [1, 5]. Konguracja interfejsu sieciowego w systemie Linux, ze szczególnym uwzgl dnieniem skryptów startowych w dystrybucji RedHat. Zarz dzanie usªugami w systemie Linux skrypty System'u V(kalatog /etc/init.d/) Pakiet heartbeat [4] dokument Getting Started Guide [3]. Zapoznaj si z nast puj cymi poleceniami systemu Linux: 7

8 1. tail wy±wietlenie zawarto±ci ko«ca pliku, 2. ifconfig konguracja interfejsu sieciowego, 3. uruchamianie i zatrzymywanie usªug w systemie Linux skrypty w katalogu /etc/init.d 4. rsync synchronizacja plików. 5. rpm instalacja pakietów w systemie Linux RedHat 3.2 Sprz t Do wykonania wiczenie niezb dne s nast puj ce komponenty i oprogramowanie: 2 komputery klasy IBM PC pracuj cy pod kontrol systemu operacyjnego Linux RedHat 7.3 wyposa»one w podwójne interfejsy sieciowe. 1 komputer klasy IBM PC peªni cy rol stanowiska klienckiego. kabel szeregowy, skr tka nieekranowana cross-over. 3.3 Plan wiczenia 1. Konguracja poª czenia hearbeat z wykorzystaniem ª cza szeregowego i sieci ethernet. 2. Udost pnienie serwisów wysokiej dost pno±ci 3. Testy zachowania systemu w warunkach symulowanej awarii jednego z wezªów, zerwania poª czenia heartbeat itp. 4. Dyskusja i próba realizacji metod synchronizacji plików udost pnianych przez serwis ftp na obu w zªach. 5. Przygotowanie sprawozdania z wiczenia. Literatura [1] Wspóªczesne systemy komputerowe, Jacek Kitowski, Wyd. CCNS, Kraków [2] [3] [4] [5] [6] The Linux System Administrators' Guide: [7] Laboratorium systemu operacyjnego Linux: [8] (Prawie) wszystko o Linuxie: [9] Strony manuala na serwerze artemis.wszib.edu.pl [10] [11] [12] 8