Zarządzanie farmami serwerów Linux

Transkrypt

1 Zarządzanie farmami serwerów Linux PLNOG Conference 2010 Piotr Siwczak Administrator Systemów Allegro.pl

2 Grupa Allegro ---Farmy serwerów Strategia zarządzania farmami Farmy serwerów w Allegro ---Pytania Serwisy Grupy Allegro PLNOG Conference Warszawa 2

3 Serwisy Grupy Allegro 3

4 Infrastruktura grupy allegro 15 serwisów 2 serwerownie w różnych lokalizacjach 3 środowiska: produkcja, backup, testy Liczba serwerów PC: ~2000 Kilkanaście typów maszyn: m.in. www, cache, fileserver, daemon, database Architektury procesorów: x86_64, i386, power5, itanium Systemy operacyjne: Linux, OpenSolaris, Vmware, Windows 4

5 Datacenter db cache www nfs processing 5

6 Farmy serwerów - zastosowania Load balancing Failover Skalowanie aplikacji Zrównoleglanie obliczeń Hosting 6

7 Load balancing & fault tolerance Wykorzystanie load balancera sprzętowego lub softwarowego Round robin DNS URL Hashing 7

8 Zrównoleglanie obliczeń scheduler job1 job2 job3 job1 job8 job4 MPI Job1 Job2 Job3... JobN ~ NUMA Z wykorzystaniem API do obliczeń rozproszonych: MPI, PVM Systemy kolejkowe Interconnect vs. NUMA Klaster PC vs. SMP - cena 8

9 Farmy serwerów wirtualnych (hosting & cloud computing) Storage Live migration Równomierne obciążenie serwerów API 9

10 Wyzwania dla administratora Różnorodność systemów i producentów Każda farma ma swoje specyficzne wymagania Pecety = brak zarządzania Dużo maszyn = dużo informacji do przechowania Problemy skali 10

11 Każdy system ulega rozkładowi Głównym źródłem rozkładu są zmiany Autoryzowane (wymagają czasu) Nieautoryzowane (tzw. na szybko lub tymczasowo ) 11

12 Zasady administrowania Główna rola administratora utrzymanie porządku Prostota Metodyka wprowadzania zmian w konfiguracji (spójność) Skalowalne metody konfiguracji Utrzymanie spójnej konfiguracji w czasie Automatyczna ewidencja serwerów 12

13 KISS Jak najprostsze narzędzia do zarządzania Jak najprostsze procedury konfiguracji Jak najprostsze systemy Jak najbardziej uniwersalne (niezależne od sprzętu) Szybki i prosty deployment maszyn 13

14 Wprowadzanie zmian Jedno źródło zmian Kontrolowanie propagacji zmian Changelog = wersjonowanie vi /etc/httpd/conf/httpd.conf /etc/httpd/conf/httpd.conf /etc/httpd/conf/httpd.conf 14

15 Skalowalne sposoby zarządzania 15

16 Konfiguracja spójna w czasie ~# userdel apache ~# useradd apache ~# userdel apache ~# useradd apache wwwserver1 16

17 Automatyczna ewidencja INVENTORY 17

18 Toolbox UNIX WAY małe narzędzia połączone w większe 18

19 PUPPET & NAGIOS spójna konfiguracja

20 20

21 Systemimager - imaging Wykorzystywany w narzędziach komercyjnych Deployment serwerów bazujący na PXE/rsync/torrent Kickstart Klonowanie serwerów bez przerywania ich pracy Dystrybucja zmian w filesystemie poprzez rsync Shell do uruchamiania komend na wielu maszynach Tylko linux i windows 21

22 22

23 Inventory, zarządzanie adresami Ostatnia wersja z 2010 wydana po... 5 latach ;-) Config dns (bind) Config dhcp (isc dhcpd) Informacje o lokalizacji i roli serwerów (tagi) Postgres pod spodem łatwość skryptowania GUI + cmdline = łatwość używania i administrowania 23

24 FreeIPA - autoryzacja Single sign-on Centralne repozytorium grup i użytkowników 24

25 Wersjonowanie Rpm/Apt Zarządzanie wersjami oprogramowania Metapakiety z bundle'ami softwarowymi (np. paczka meta-allegro-www instaluje wszystkie pakiety potrzebne do stworzenia serwera www obsługującego allegro) Svn: Repozytorium konfiguracji daemonów ściągane przez skrypty startowe 25

26 Cykl życia serwera Sauron: adres,pxe entry,info Systemimager: deployment Puppet: konfiguracja/zmiany IPA: dostęp, userzy Nagios: kontrola konfiguracji 26

27 Dlaczego OpenSource Doświadczenia z rozwiązaniami komercyjnymi Zamknięte niemożliwe jest łączenie z innymi narzędziami Koszt agentów w dobie wirtualizacji Problem zarządzania datacenter jest zbyt złożony aby być rozwiązanym przez jedno narzędzie 27

28 Q&A 28