Nieustanny rozwój. Tomasz Leśniewski

Transkrypt

1 Nieustanny rozwój Tomasz Leśniewski

2 Poczta w chmurze? Czy nazwa.pl ma pocztę w chmurze? Biorąc pod uwagę poniższe kryteria, tak: Dla końcowego użytkownika dostępna jest pełnowartościowa usługa z której może korzystać zarówno przez dostarczaną przez nas aplikacje, jak i swojego klienta jak z czarnej skrzynki, nie interesuje go co jest poniżej i jak to działa Skalowalność i wydajność rozwiązania wystarczy dołożyć klocek do układanki Współdzielenie infrastruktury przez wielu klientów

3 Statystyki Użytkownicy: Ponad 1 milion użytkowników korzystających z poczty w nazwa.pl Ilość danych jaką generują użytkownicy: Około 4-5 milionów wiadomości dziennie średnio 2,2TB dziennie (to prawie 300Mb/s) Średnia wielkość wiadomości: 200kB

4 Statystyki

5 Statystyki Spam: Średnio 30% wiadomości jest odrzucanych przez nasz system antyspamowy Około połowa spamu jaki otrzymujemy, zatrzymywana jest już podczas odpytywania list RBL Pozostałe wiadomości są zatrzymywane przez pozostałe elementy systemu wszelkiego rodzaju miltery, skanery treści, antywirusy

6 System pocztowy nazwa.pl Jak nasz system wyglądał kilka lat temu: Wszystkie usługi dostępne dla klienta utrzymywane na tych samych maszynach Problemy z wydajnością przy większej ilości klientów Duża ilość pracy administratora Jak się rozwijał: Wyniesienie usług na całkowicie oddzielne maszyny Centralna baza użytkowników Podział na funkcjonalne klocki W efekcie znaczne zwiększenie wydajność systemu pocztowego i umożliwienie dalszego rozwoju

7 Schemat poczty w nazwa.pl

8 Schemat poczty w nazwa.pl Bezpośrednim stykiem całego systemu z internetem jest nginx działający jako proxy: Proksuje wszystkie protokoły pocztowe (smtp, pop3, imap) Przeprowadza autoryzację użytkowników w webservice Przekazuje połączenie do wskazanego przez webservice smarthosta lub mailstore

9 Schemat poczty w nazwa.pl Wyodrębnione grupy serwerów pełniących te same funkcje Każdy z serwerów może połączyć się do dowolnego z serwerów z danej grupy do przekazania wiadomości, odpytania bazy użytkowników itp. (wyjątkiem są serwery mailstore) Łatwe zwiększenie wydajności wystarczy dołożyć kolejną maszynę. Duży stopień niezawodności usługi przy dużej liczbie maszyn, awaria jednej nie powoduje problemu

10 Smarthost

11 Smarthost Smarthost: Wieloprocesorowe maszyny Odpowiednio skonfigurowany postfix Webservice odpowiedzialny za autoryzację użytkowników oraz rozdzielanie poczty pomiędzy poszczególne serwery

12 Antyspam

13 Antyspam System antyspamowy zbudowany jest min. w oparciu o powszechnie znane rozwiązania: Listy RBL Amavis Spamassassin Clamav Oraz autorskie mechanizmy: Definiowane przez użytkowników listy

14 LDAP

15 LDAP Jako centralna baza użytkowników działa LDAP. Rozwiązanie to zapewnia: Łatwość wyciągania danych dzięki drzewiastej strukturze (unikamy skomplikowanych zapytań z wieloma złączeniami tabel, które miały by miejsce w relacyjnych bazach) Bezpieczeństwo danych (replikacja, złożone ACLki)

16 LDAP Zwiększenie wydajności oraz bezpieczeństwa przez kaskadową replikację danych: Przy jednej instancji LDAPa na każdy serwer smarthost, widoczne były braki w wydajności Utworzenie hierarchicznej struktury dało możliwość lepszego wykorzystania sprzęt i łatwiejszej rozbudowy Duża wydajność - kilkanaście replik bazy danych dostępnych dla każdego z serwerów

17 Mailstore

18 Mailstore Mailstore: Kilka instancji dovecota na każdym z serwerów Duża ilość pamięci RAM Wydajny podsystem dyskowy DAS

19 Webmail

20 Webmail Webmail: Stara aplikacja GroupOffice została zastąpiona nowym rozwiązaniem OpenXchange Skalowalność Zwiększenie funkcjonalności Nowe możliwości

21 Spam a hosting Duża skala problemu Ilość użytkowników Specyficzne problemy w walce ze spamem w środowisku hostingowym: Konieczność zabezpieczania zarówno naszych klientów przed spamem przychodzącym z zewnątrz, jak i pozostałych użytkowników Internetu, przed spamem wychodzącym z naszych serwerów.

22 Jak walczymy ze spamem Zestaw mechanizmów antyspamowych: Listy adresów IP (DNSBL, RBL) Filtry (amavis, spamassassin) Własne mechanizmy - definiowane przez użytkowników listy Kolejki pocztowe dla poczty nieuwierzytelnionej oraz uwierzytelnionej Rygorystyczne polityka antyspamowa w stosunku do użytkowników rozsyłających spam J.A.C.E.K

23 A tego nie używamy SPF niestety, nie jest lekiem na całe zło Brak zgodności z RFC Problem z aliasami do innych providerów definiowanymi przez użytkowników Nie powinien być rozpatrywany jako mechanizm antyspamowy Greylisting Wprowadza znaczne opóźnienia w dostarczaniu wiadomości do użytkowników Został odrzucony jako świadoma decyzja biznesowa

24 Co się wydarzyło w styczniu? Styczniowa awaria poczty w nazwa.pl Co się stało: Podczas rozszerzania schematu bazy LDAP, zmieniło się zachowanie zapytań do elementów wyszukiwania doszły nowe, nieindeksowane atrybuty Mimo wielu testów poza środowiskiem produkcyjnym, zmiana zachowania nie ujawniła się ze względu na skalę środowiska Problem objawił się dopiero pod koniec prac na produkcyjnym systemie (rozszerzenie schematu + uzupełnienie nowymi danymi)

25 Co się wydarzyło w styczniu? W efekcie: Rozwiązywanie map trwało znacznie dłużej z ~15ms do kilku sekund Wystąpiły problemy z autoryzacją użytkowników zapytania do bazy trwały znacznie dłużej, przez co występowały timeouty Kolejka maili urosła do ponad 1,5 miliona Przez kilka porannych godzin klienci mieli problemy z dostępem do swoich skrzynek oraz wysyłaniem poczty Kilka kolejnych godzin trwało dostarczanie zaległych wiadomości

26 Co się wydarzyło w styczniu? Jak działaliśmy: Problem został rozpoznany w ciągu kilkunastu minut Chwilę później zostały założone odpowiednie indeksy w bazie danych na nowych atrybutach Niestety, reindeksacja musi być wykonana na wszystkich instancjach LDAPa, a taka operacja na obciążonych serwerach trwa bardzo długo Następnie trzeba poczekać na dostarczenie wszystkich zaległych wiadomości

27 Jakie wnioski? Co zmieniliśmy: Mimo i tak wielkiej wagi przykładanej do testów, staramy się jeszcze zwiększyć ich ilość Wydzieliliśmy dedykowane maszyny pod bazę LDAP Utworzyliśmy nową strukturę replikacji LDAP, posiadającą o wiele większą wydajność Zapewnienie w każdym momencie prac punktu powrotu

28 Co dalej Dalszy rozwój infrastruktury aby zapewni odpowiednią niezawodność oraz wydajność przy ciągłym wzroście ilości użytkowników korzystających z poczty w nazwa.pl Wdrażanie oraz rozwijanie nowych rozwiązań pozwalających zwiększyć funkcjonalność naszego systemu Jak najmniej awarii ;)

29 Dziękuję za uwagę Tomasz Leśniewski