Automatyzacja infrastruktury Gadu-Gadu

Transkrypt

1 Automatyzacja infrastruktury Gadu-Gadu Michał Gruchała 08/06/2010

2 Specyfika / Zasady Platforma/Wirtualizacja DNS Konfigurator Nagios collectd Podsumowanie 2

3 Na przebudzenie 3

4 Statystyki 2700 systemów 3000 core, 1500 dysków, 10TB pamięci ~20 TB danych wysłanych w ciągu dnia W szczycie 30 tysięcy requestów HTTP/s 2 miliony pakietów w warstwie access 2.5 miliona sesji TCP 3x9 tyś insert, 28 tyś select (MySQL) ~40 projektów 4

5 Specyfika / Zasady 5

6 Specyfika/Zasady KISS/Brzytwa Okchama Tak prosto jak sie da Proste struktury shardowanie danych Skalowalność Redundancja Wirtualne maszyny są tanie Awaria węzła nie stanowi problemu Master-Master 6

7 Specyfika/Zasady Dużo projektów/funkcjonalności Codename vlan prefix maszyn grupy dostępowe Każdy projekt ma swój vlan ( ~60) Każdy projekt ma swoje maszyny każda ma swoją (jedną) rolę Separacja projektów komunikacja przez API 7

8 Specyfika/Zasady Typowy projekt www LB (haproxy/varnish) Cache (memcached) Workery (lighttpd, PHP5 fcgi) Storage MogileFS lub NFS+DRDB Sphinx Bazy (MySQL 5.x) Master - Master slave HA zapewnia wackamole, pacemaker 8

9 Wirtualizacja 9

10 Platforma/Wirtualizacja Typowy serwer 1U 8-12 core (2-2.5GHz) GB RAM 4 dyski (SATA, SAS, SSD) 2 x 1Ge intefejs (WAN, LAN) 2 x Raid1 troche lepszy PC 10

11 Platforma/Wirtualizacja Xen (dom0) Maszyna fizyczna Overbooking CPU... i tak w szczycie ¼ core'ów nic nie robi vlany (bridge) dodawane z automatu Storage lokalnie Guest (domu) Maszyna wirtualna / swap /var jako partycje LVM na xenie 11

12 Platforma/Wirtualizacja Problemy Narzut wirtualizacji? Obawy developerów Szkiełko I oko Obserwuj steal Rysuj wszystko (naucz czytania wykresów) Rozłożenie guestów Charakterysytka (CPU, dysk, pamięć) i tak wąskim gardłem są dyski Padł xen nic się nie stało 12

13 Platforma/Wirtualizacja Dane 05/2010 około 2700 systemów ~350 xenów ~2300 guestów Systemy Debian 99.5% Plany CentOS 0.4 % (z reguły fizyczne) Windows 2 sztuki (wirtualne) PXE, iscsi, dm-cache/flashcache 13

14 konfigurator 14

15 konfigurator Konfiguracja aplikacji Oparty o repozytorium subversion Historia zmian Blokowanie update/selektywny upgrade Profil konfiguracja aplikacji X dla grupy maszyn Y w ramach projektu Z PROJEKT.FUNKCJA.APP.(PROD TEST DEV) Pliki, katalogi względem / Skrypty preinstall postinstall 15

16 konfigurator Profile Podstawowe Dodawane do każdej maszyny Obejmują dużo maszyn Domyślnie ~20 profili per maszyna Specyficzne syslog-ng,monit, ssh-server collectd, nrpe, dns-client Obejmują wąskie grupy maszyn Dodawane do maszyn z rolą Na przykład ggportal.web.lighttpd.prod 16

17 konfigurator Propagacja zmian User commit Serwer SVN hooks/post-commit Maszyna kliencka webservice rsync do $tmp ᴐ Podmiana zmiennych Preinstall, cp $tmp /, Postinstall 17

18 konfigurator Przykładowy profil Obsługa sysctl sysctl.client.prod/.scripts/konfigurator postinstall.sh sysctl.client.prod/etc/rcs.d/s31sysctl.sh sysctl.client.prod/etc/init.d/sysctl.sh sysctl.client.prod/etc/sysctl.d/00 default.conf Ustawienia dla konkretnych aplikacji ggportal.web.lighttpd.prod/etc/sysctl.d/10 lighttpd.conf 18

19 konfigurator Dane Plany Stała w czasie propagacja (2-3 minuty) ~ 1300 profili Rozproszenie serwera subversion Profile stabilne upgrade aplikacji 19

20 # host in addr.arpa domain name pointer ip gadu gadu.pl. $TTL 1200 $ORIGIN IN SOA ns1.gadu gadu.pl. root.gadu gadu.pl. ( $GG_KONFIGURATOR_TIMESTAMP IN MX 10 mx IN MX 10 mx 2 IN NS ns1.gadu gadu.pl. IN NS ns2.gadu gadu.pl. IN TXT "v=spf1 ip4: /26 mx all" # host gadu gadu.pl gadu gadu.pl has address gadu gadu.pl has address gadu gadu.pl mail is handled by 5 mail.gadu gadu.pl. 20

21 DNS WAN Domeny typu gadu-gadu.pl 2 x Master (bind) View internal/external Dodawane z konfiguratora Serial podbija konfigurator (zmienne) LAN Domeny wewnętrzne 2 x Master (powerdns) 2 x Slave (bind) 21

22 DNS TLD wewnętrzne Atm serwery, guesty, switche (wszystko co jest w sieci ) Cat powiązanie maszyna-switch Xen powiązanie guest-xen... Rekordy dodawane automatycznie Usuwane automatycznie 22

23 DNS Gdzie jest lb portalu gadu-gadu.pl? $ host gadu gadu.pl gadu gadu.pl has address $ host in addr.arpa domain name pointer ggportal lb 2 eth0 1.atm. $ host ggportal lb 2.xen ggportal lb 2.xen is an alias for xen 8.atm. $ host ggportal lb 2.cat ggportal lb 2.cat is an alias for switch2 szafa9 kolokacja1.atm.... kolokacja1, szafa9, switch9, xen-8 23

24 DNS Dane LAN WAN 8k zapytań/s 10k wpisów 500 domen 800 zapytań/s 24

25 nagios 25

26 nagios Rozproszony Mastery (front) Workery Maszyny dodaje na podstawie DNS Testy Podstawowe CPU, Load, Disk Util, RAM Specyficzne na podstawie profili If profil ~= lighttpd.prod then check_http 26

27 nagios Dane 30k testów Plany Co minutę wykonywanych jest 10k testów Waga testów Własny interfejs Jako front do API nagiosa Powiązanie z CMDB 27

28 collectd 28

29 collectd Maszyny zgłaszają się same Przesyłają dane co 30 sekund Podstawowe wykresy (około 30) CPU, RAM, Load, Procesy, Sieć, TCP HDD: zajętość, obciążenie (io, util, svctm,..) Wykresy specyficzne Konfiguracja w profilach Najczęściej jako plugin exec Mapowanie maszyna collectd-server-* 29

30 collectd Dane 2 maszyny (oczywiście wirtualne) Plany Dyski SSD 3000 IO/s na maszynę 80GB danych (rrd) 300k źródeł danych, 100k wykresów Własny panel Agregacja wykresów 30

31 1:52:54 bozar kernel: [ ] Console: switching to colour frame buffer device 160x50 1:52:54 bozar kernel: [ ] REISERFS (device sda6): found reiserfs format "3.6" with s 1:52:54 bozar kernel: [ ] REISERFS (device sda6): using ordered data mode 1:52:54 bozar kernel: [ ] REISERFS (device sda6): journal params: device sda6, size 1:52:54 bozar kernel: [ ] REISERFS (device sda6): checking transaction log (sda6) 1:52:54 bozar kernel: [ ] REISERFS (device sda6): Using r5 hash to sort names 1:52:54 bozar kernel: [ ] Adding k swap on /dev/sda1. Priority: 1 extents:1 a 1:52:54 bozar kernel: [ ] udev: starting version 151 1:52:54 bozar kernel: [ ] lp: driver loaded but no devices found 1:52:54 bozar kernel: [ ] Linux video capture interface: v2.00 2:03:34 bozar su[1926]: + /dev/console root:michal 2:03:34 bozar su[1926]: pam_unix(su:session): session opened for user michal by (uid=0) 2:03:34 bozar su[1926]: pam_unix(su:session): session closed for user michal 2:04:02 bozar su[1689]: pam_unix(su:session): session closed for user root 2:39:03 bozar kernel: [ ] wlan0: authenticated 2:39:03 bozar kernel: [ ] wlan0: associate with AP 00:0f:61:88:a7:41 (try 1) 2:39:03 bozar kernel: [ ] wlan0: RX AssocResp from 00:0f:61:88:a7:41 (capab=0x431 st 2:39:03 bozar kernel: [ ] wlan0: syslog associated 2:43:03 bozar kernel: [ ] wlan0: direct probe to AP 00:0f:61:89:84:e1 (try 1) 2:43:03 bozar kernel: [ ] wlan0: direct probe responded 2:57:05 bozar NetworkManager: <info> (wlan0): supplicant connection state: group handshake > 2:57:12 bozar sudo: pam_sm_authenticate: Called 2:57:12 bozar sudo: pam_sm_authenticate: username = [michal] 2:57:12 bozar sudo: pam_sm_authenticate: /home/michal is already mounted 2:03:34 bozar su[1926]: + /dev/console root:michal 2:03:34 bozar su[1926]: pam_unix(su:session): session opened for user michal by (uid=0) 2:03:34 bozar su[1926]: pam_unix(su:session): session closed for user michal 2:04:02 bozar su[1689]: pam_unix(su:session): session closed for user root 2:39:03 bozar kernel: [ ] wlan0: authenticated 2:39:03 bozar kernel: [ ] wlan0: associate with AP 00:0f:61:88:a7:41 (try 1) 2:39:03 bozar kernel: [ ] wlan0: RX AssocResp from 00:0f:61:88:a7:41 (capab=0x431 st 2:39:03 bozar kernel: [ ] wlan0: associated 2:43:03 bozar kernel: [ ] wlan0: direct probe to AP 00:0f:61:89:84:e1 (try 1) 2:43:03 bozar kernel: [ ] wlan0: direct probe responded 31 2:57:05 bozar NetworkManager: <info> (wlan0): supplicant connection state: group handshake >

32 syslog Maszyny Serwerowe - rsyslog Klienckie syslog-ng (migracja na rsyslog) Konfiguracja Wstępna w profilu syslog.client.syslog-ng.prod podstawowe ustawienia szczegółowa w profilach aplikacji Mapowanie klient-serwer 32

33 syslog Dane syslog-server-* logi z aktualnego dnia 4 guesty, SAS, raid0 Dziennie (razem) 250GB logów syslog-storage-* Logi archive 2 guesty, SATA storage DRDB Miesięcznie ~ 1TB logów Starsze niż zgrywane na dyski ;/ 33

34 Podsumowanie 34

35 Podsumowanie Automatyzuj Powtarzalność czynności = nuda = błędy Wirtualizuj Kontrola automatów (człowiek) Tworzenie guesta ( odpal i zapomnij ) pojawi się w DNS, nagios Pojawią się wykresy Gotowy do specjalizacji (rola) Optymalne wykorzystanie zasobów Nie naprawiaj, stawiaj od nowa 35

36 Podsumowanie Typowy dzień Nie: Tak: oglądamy logów oglądamy wykresów logujemy się na maszyny Zaglądamy do nagiosa na bieżąco raporty Pomaga nam collectd Raporty na podstawie rrd 36

37 Dziękuję za uwagę 37