Ale o co chodzi? Dobry antyspam. Bezpieczna poczta elektroniczna strona 1

Transkrypt

1 Bezpieczna poczta elektroniczna strona 1 Ale o co chodzi? Spam jest zły Dopóki było go 10, 20 sztuk dziennie per skrzynka - dawało się przeżyć Przy 100+ to już poważne zmęczenie czytelnika i strata czasu Różne systemy antyspamowe, lepsze lub gorsze Zwykle oznaczają (tagują) wiadomości które wydaje się, że są spamem Tagowanie jest miłe, ale i tak trzeba (warto) przeglądać otagowane wiadomości NA WSZELKI WYPADEK... Jedna kwestia, to możliwie jak najlepiej tagować (tym też się zajmiemy) Ciekawsza sprawa: a czy nie da rady skutecznie zrobić jakoś tak, żeby tych wiadomości NIE BYŁO? Dobry antyspam Proste, często stosowane przez administratorów podejście wygląda tak: 1 Filtr antyspamowy jest uruchamiany na końcu procesu dostarczania poczty (wiadomości już są w kolejce). Spamy przechodzą. Użytkownik dostaje tony wiadomości (być może otagowanych) Dużo administratorów nie zadaje sobie trudu dokonfigurowania filtra 1 ACL-e to mechanizm wbudowany w serwer poczty, weryfikuje adresy, sprawdza zgodność z RFC, zezwala na wysyłanie tylko autoryzowanym użytkownikom itp. (zazwyczaj jest już dobrze skonfigurowany przez twórców dystrybucji).

2 Bezpieczna poczta elektroniczna strona 2 Ku lepszemu - technika greylistingu Idea działania Maszynki spamowe wysyłają po milion spamów w milion miejsc na ślepo W ogóle nie patrzą na odpowiedzi serwerów przy poszczególnych mailach (to zajmuje dużo czasu i normalnie niewiele im daje maile albo dochodzą, albo nie; dokładne analizowanie każdego przypadku spamerowi się nie opłaca Protokół SMTP ma możliwość odpowiedzi komunikatem klasy błąd tymczasowy (4xx) po takim błędzie serwer nadawcy powinien ponowić próbę wysyłki po chwili Greylisting: odpowiadaj 4xx na wszystkie przychodzące maile; przepuszczaj przy drugiej próbie problem: wszystkie maile (również te dobre) będą dochodziły z opóźnieniem (problem 2: część starych / nie spełniających standardów serwerów może źle rozumieć 4xx) Rozwiązanie problemu 1 przeskanuj programem antyspamowym każdy przychodzący mail od razu (przed przyjęciem) uzależnij dalszą akcję (przyjmij, odrzuć permanentnie, odrzuć jako błąd tymczasowy ) od wyniku programu antyspamowego (prawdopodobieństwa, czy spam) konieczna ciasna integracja programu antyspamowego z serwerem SMTP, umożliwiająca manipulację nagłówkami na wczesnym etapie przetwarzania - reagowanie na spam wcześnie nasza implementacja: exim + sa-exim Jeszcze raz, ważne w tym rozwiązaniu nie spowalniamy doręczania dobrych maili zostaje tak, jak było zwykle większość maili rozpoznanych jako spam nie dojdzie w ogóle (nie będzie drugiej próby) jeśli mail wydał się nam spamem, ale był dobry, to dojdzie, tylko z opóźnieniem (druga próba) cena jaką płacimy opóźnienie małej części maili wydaje się być niska. Chyba warto

3 Bezpieczna poczta elektroniczna strona 3 Spamassassin SA to jeden z największych i najbardziej dojrzałych projektów filtra antyspamowego. Większość konkurencyjnych rozwiązań bądź skupia się tylko na jednym aspekcie (np. sprawdzanie nadawcy w rozproszonej bazie spamerów), bądź jest skomplikowana w utrzymaniu (np. wtyczki do klientów pocztowych). zalety - wiele różnych testów: od analizy treści, przez analizę statystyczną, do testów sieciowych (wymagających połączenia z bazą w sieci). - mimo wielkości i skomplikowania projektu deweloperzy dość szybko reagują na nowe trendy wady - najbardziej znany więc z pewnością używany też przez spamerów :-) Standardowa instalacja dostarcza polecenia spamassassin, które na standardowe wejście przyjmuje wiadomość. Nie nadaje się ono jednak do analizowania większych ilości maili, z powodu konieczności każdorazowego ładowania do pamięci interpretera perla i zestawu testów. Spamd to wersja działająca jako usługa systemowa (interpreter i testy załadowane tylko raz). Do przekazywania wiadomości do działającego daemona służy napisany w C prosty program spamc. Spamassassin działanie. Każda wiadomość pocztowa przechodzi przez zestaw testów (w aktualnej wersji ponad 780 reguł) stosowanych do różnych części maila. Przykłady: testow ana część wiado mości body język wiadomo ści (locale) wszystki e opis nazwa wynik testu (lokalny/sieciowy/włączo ne algorytmy statystyczne/włączone algorytmy statystyczne i sieć) Puste linie stanowią od 70% do 80% wiadomości BLANK_LINES_70_ body pl Treść zawiera 'oferta' PL_OFERTA 0.4 header wszystki Wiadomość przesłana ALL_TRUSTED e przez zaufany host Pełna lista dostępna jest w dokumentacji programu, lub w jego kodzie (w Fedorze i w Debianie reguły i punktacje są w pliku /usr/share/spamassassin/50_scores.cf) Wyniki testów, dobrane doświadczalnie przez twórców programu, są następnie sumowane (gdy

4 Bezpieczna poczta elektroniczna strona 4 wiadomość nie przejdzie testu, przyjmowany jest wynik równy 0). Jeżeli suma jest większa, bądź równa wartości zdefiniowanej w pliku konfiguracyjnym (domyślnie 5) wiadomość zostaje oznaczona jako spam. Testy mogą sprawdzać treść wiadomości na występowanie określonych słów, analizować poprawność nagłówków wiadomości lub porównywać adresy hosta, nadawcy, czy sumy kontrolne z ogólnodostępnymi bazami antyspamowymi. Osobną grupę testów stanowią metody oparte na analizie statycznej. Algorytm taki buduje funkcję, która stwierdza, z jakim prawdopodobieństwem wiadomość jest spamem na podstawie wcześniej zdefiniowanej 'bazy' maili. To znaczy, że przed użyciem program musi zostać 'nauczony' co jest spamem, a co nie potrzebna jest próbka spamu i zwykłych maili, które dotarły do danego systemu. Przykład konfiguracji, zazwyczaj jest to plik /etc/spamassassin/local.cf (lub /etc/mail/spamassassin/local.cf). # Pzepisywanie tematu maila. Jeżeli wiadomość została uznana za niechcianą do tematu dopisywane jest słowo z ostatniej pozycji. Jest to przydatne do późniejszego filtrowania poczty. # rewrite_header Subject *****SPAM***** rewrite_header Subject [SPAM] # Ustawienie 1 włącza drastyczne przepisywanie treści wiadomości (do odbiorcy wysyłany jest komunikat o spamie, z oryginalną wiadomością w załączniku). report_safe 0 # Zaufane sieci i hosty tzw. whitelist, poczta z tych komputerów/adresów otrzyma bardzo niski wynik. # trusted_networks #Ilość punktów wymagana do uznania wiadomości za spam. required_score 5 #Włączenie algorytmów statystycznych (analiza Bayes'owska). I automatycznego uczenia się (dodawania nowych wiadomości do bazy, jeżeli inne testy dają jednoznaczny wynik, czy mail jest spamem, czy nie). use_bayes 1 bayes_auto_learn 1 #... i wszystkie inne jezyki dostaja karę; mozna tez: en pl, ale my agresywnie - dajemy kare tez angielskiemu. ok_languages pl #Ręczna modyfikacja wyników testów #Przykład: Otrzymujemy zbyt wiele niechcianych ofert, ustawiamy 'score PL_OFERTA 2.0' (wynik = 2), lub 'score PL_OFERTA (2)' (wynik = 2+wynik_domyślny). #Można podać cztery liczby - wyniki w zależności od włączonych typów testów: #składnia: bayes=0&net=0, bayes=0&net=1, bayes=2&net=0, bayes=1&net=1 score BAYES_00 (1) score BAYES_05 (0.5) score BAYES_20 (1)

5 score BAYES_40 (1) score BAYES_50 (1) score BAYES_60 (0.5) score BAYES_99 (0.5) score DRUGS_ERECTILE (1) Bezpieczna poczta elektroniczna strona 5 #Domyślna wartość to (2.8) jest zbyt restrykcyjna, jeżeli blokujemy w ten sposób też język angielski score UNWANTED_LANGUAGE_BODY 1.5 #ALL_TRUSTED za często udaje sie go dostać go spamom. (SA przyjmuje, że zaufana jest cała podsieć serwera, tzn.: wszystkie adresy z ip_serwera/24) score ALL_TRUSTED -0.5 Kłopoty z SA Problem testów wbudowanych na stałe: zabawa w policjantów i złodziei: spamer wysyła VIAGRA -> filtr na słowo VIAGRA -> spamer wysyła V1AGRA nowa wersja programu antyspamowego zna V1AGRA -> spamer wymyśla V1 A G RA etc. Odpowiedź 1: filtry sieciowe (rozmaite bazy: adresów IP, podejrzanych nagłówków, treści...) Odpowiedź 2: mechanizmy uczące się Działanie, konfiguracja i 'uczenie' filtru statystycznego (Bayes'owskiego). Filtr Bayes musi zostać ręcznie nauczony pewnej (możliwie dużej) ilości spamów i hamów! Wprawdzie filtr ten w SA posiada również mechanizm autolearn ALE autolearn działa tylko na podstawie punktacji z testów wbudowanych (nie ma możliwości uczyć się z czego innego!) nieznane wbudowanym testom spamy mogą czasem dostać bardzo niskie punktacje to grozi nauczeniem się przez filtr spamu jako ham (!) używaj autolearn tylko gdy masz dobrze nauczony filtr i tylko gdy NAPRAWDĘ jesteś pewny swojej oceny

6 Bezpieczna poczta elektroniczna strona 6 Działanie mechanizmu autolearn poczta z wynikiem mniejszym, lub równym 0,1 - jest traktowana jako ham i włączana do nauki (nagłówek autolearn=ham w treści listu) poczta z wynikiem większym, lub równym 12 jest traktowana jako spam i włączana do nauki ( autolearn=spam) cała reszta maili nie jest wykorzystywana, jako nie dająca się jednoznacznie rozpoznać (autolearn=no) Jak widać program pomija, jako przypadki wątpliwe, większość maili (a w takich przypadkach najczęściej zdarzają się pomyłki!). Do zakwalifikowania maila jako spam przyjmuje wartość AŻ 12. Praktyka Filtry statystyczne stają się aktywne dopiero, jeżeli program nauczy się co najmniej 200 ham-ów i co najmniej 200 spam-ów. Aktualny stan bazy programu (ilość przeanalizowanych spam-ów i ham-ów) można sprawdzić wydając polecenie: [~]$ sa-learn --dump magic non-token data: bayes db version non-token data: nspam non-token data: nham non-token data: ntokens non-token data: oldest atime non-token data: newest atime non-token data: last journal sync atime non-token data: last expiry atime non-token data: last expire atime delta non-token data: last expire reduction count W tym przypadku program 'nauczył się' odpowiednio 7423 spam-ów i ham-ów.

7 Przygotowanie próbki. Do nauczenia filtrów potrzebne są maile które spełniają następujące warunki: Bezpieczna poczta elektroniczna strona 7 najlepiej, jeżeli przyszły na system, na którym chcemy skonfigurować spamassassina (często jest to niemożliwe, bo wymagałoby na przykład ingerencji w prywatność użytkowników) są mniejsze niż 250kb (domyślnie większe są pomijane) jeżeli mieliśmy już działający filtr antyspamowy (na przykład SA), to mogły być błędnie rozpoznane, błednie wrzucone do autolearn maile. Szczególnie często mylone są maile z grup dyskusyjnych oraz wszelkiego rodzaju mailingi, na przykład ze sklepów internetowych lub serwisów aukcyjnych. Niestety konieczne jest ręczne posortowanie maili na spamy i hamy. Wiadomości umieszczamy w dwóch katalogach. Logujemy się na konto użytkownika, jako który działa exim. (W Debianie jest to Debian-exim, przed zalogowaniem za pomocą su Debian-exim należy za pomocą vipw zmienić mu powłokę z /bin/false, na /bin/bash). Należy pamiętać o skasowaniu najpierw starej bazy (ryzyko błędnych wyników autolearna). rm -r.spamassassin Następnie wydajemy polecenie (w katalogu domowym): sa-learn -ham --progress mail_ham/cur sa-learn -spam -progress mail_spam/cur Opcja --progress (zależnie od wersji/dystrybucji czasem showdots) wyświetla pasek postępu. Przy okazji: kwestia poufności danych. Sa-learn nie pamięta treści całych maili. Uczenie go nawet rozliczeniami prezesa jest bezpieczne. Docelowo nasz spamassassin uruchamiany będzie przez serwer pocztowy, zaraz po odebraniu wiadomości (jako użytkownik Debian-exim). Trzeba pamiętać, że SA musi być uruchamiany zawsze jako jeden użytkownik, lub zawsze używając tej samej bazy (w przeciwnym razie każdy użytkownik musiałby utrzymywać i uczyć swoją bazę). Więcej o greylistingu Koncepcja greylistingu pojawiła się w roku 2003 w odpowiedzi na malejącą skuteczność metod takich jak blacklisting (czyli utrzymywane na serwerach w internecie bazy adresów spamerów, z którymi porównywane były adresy w przychodzących wiadomościach). Główną zaletą greylisting-u jest automatyczne zarządzanie listą blokowanych adresów. Większość współczesnych implementacji opiera się na następujących zasadach: Pod uwagę brane są trzy informacje: adres ip hosta, który próbuje wysłać maila adres nadawcy (MAIL FROM:)

8 adres odbiorcy (RCPT TO:) Bezpieczna poczta elektroniczna strona 8 Konieczne jest ich pamiętanie w jakiejś formie bazy danych wraz z czasem pojawienia się. Stosowana jest reguła: Jeżeli wcześniej nie doszedł do nas taki mail, to nie pozwól go dostarczyć (ani żadnego innego takiego samego) przed upływem ustalonego czasu. Jak już wspomnieliśmy na początku, specyfikacja protokołu SMTP przewiduje odpowiedź serwera: Temporary Failture, po otrzymaniu której program wysyłający wiadomość powinien umieścić ją w swojej kolejce i próbować wysłać ponownie po pewnym czasie. Czas blokowania to zazwyczaj od kilku minut do godziny. Po upływie od kilku godzin do kilku dni wpis jest kasowany z bazy danych (czyli znowu poczta będzie blokowana). Przy greylistingu może wystąpić problem w przypadku serwerów pocztowych niezgodnych ze standardem RFC, które błędnie traktują 451: Temporary Failture, jako błąd krytyczny i informują użytkownika o niemożliwości wysłania maila. Ale nawet w tej sytuacji maile nie giną nadawca dostaje komunikat błędu. W sytuacji, gdy dla danej domeny istnieje kilka zapasowych serwerów pocztowych konieczne jest skonfigurowanie greylisting-u na każdym z nich. W przeciwnym wypadku: poczta jest odbijana z serwera głównego na zapasowe (na których kolejki szybko rosną) w przypadku skonfigurowania odpowiednich reguł (przepuszczanie maili z zapasowych MXów), spamer może po prostu wysyłać przez nie. Nawet jeżeli greylisting działa na wszystkich serwerach, powoduje to dodatkowe opóźnienia w dostarczaniu poczty (pewną alternatywą jest utrzymywanie wspólnej bazy, ale jest to niepraktyczne i nieodporne na błędy). HOWTO exim Sa-exim implementuje połączenie SA i techniki greylistingu. Na początku procesu przetwarzania, odebrane i zweryfikowane wiadomości są sprawdzane spamassassin-em. Sa-exim dostępny jest jako pakiet w większości nowoczesnych dystrybucji. Instalacja w Debianie: apt-get install sa-exim, w Fedorze: yum install exim-sa.

9 Bezpieczna poczta elektroniczna strona 9 Działanie: Konfiguracja sa-exim Plik konfiguracyjny: /etc/exim4/sa-exim.conf składa się z wpisów indentyfikator: wartość. Wymagane jest ustawienie wymienionych wyżej parametrów: #odrzucana definitywnie SApermreject: 12.0

10 #wynik: poniżej przepuszczaj, powyżej - greylisting SAtempreject: 3.0 Bezpieczna poczta elektroniczna strona 10 #tymczasowe zwiększenie limitu dla wiadomości, które przechodzą greylisting, ale mogą być spamem SAgreylistraisetempreject: 3.0 Oprócz tego możemy zdefiniować ilość komunikatów umieszczanych w logach, sposób uruchamiania spamassassina, ilość danych wiadomości przekazywanych do niego (domyślnie początkowe 250kb), oraz czy odrzucane wiadomości mają być zapisywane (sa-exim ma wbudowane rotowanie po osiągnięciu ustalonego limitu wielkości zajmowanego miejsca stare maile są kasowane). Zachowaniem sa-exima można też sterować za pomocą wpisów SAEximRunCond. W poniższym przykładzie: sa-exim nie odrzuci wiadomości (a nawet nie uruchomi się), jeżeli ma ona nagłówki spamassassina i nie zostały one dodane przez nas. # Exim configuration string to run before running SA against the message This decides whether SA gets run against the message or not. This default will not reject messages if the message had SA headers but they weren't added by us. SAEximRunCond: ${if and {{def:sender_host_address} {!eq {$sender_host_address}{ }} {!eq {$h_x-sa-do-not-run:}{yes}} } {1}{0}} Dokładne informacje o składni filtrów exima można znaleźć w dokumentacji (na stronie: Sa-exim nie zadziała bez modyfikacji następującego parametru: # Remove or comment out the following line and set it to 1 to enable sa-exim SAEximRunCond: 0 Powyższą linię należy usunąć, ustawić na 1 lub zakomentować. Na etapie testowania całości warto włączyć jeszcze opcję SAEximDebug. Dzięki niej pojawiają się dodatkowe informacje w logach. Konfiguracja exim-a Sa-exim działa jako wtyczka do exim-a w wersji 4.x. Włączenia wtyczki do procesu przetwarzania wiadomości dokonuje się w pliku konfiguracyjnym: /etc/exim4/exim4.conf local_scan_path = /usr/lib/exim4/local_scan/sa-exim.so w Debianie, lub w Fedorze: local_scan_path = /usr/libexec/exim/sa-exim.so Na koniec: Pozostało tylko zrestartować spamassassin-a i exim-a, upewnić się, że wszystko działa (w logach exim'a). I osiągnęliśmy zamierzony efekt, którym jest: mniej spamu!

11 Bezpieczna poczta elektroniczna strona 11 FAQ Q: Dlaczego nie można czegoś takiego robić amavisem? Amavis przecież może być zintegrowany z SA? A: Amavis, tak, może oprócz antywirusów przepuszczać maile również przez SA i faktycznie może działać jeszcze przed doręczeniem. I wyrzuca złe maile na tym etapie. Ale: może tylko albo maila wyrzucić, albo puścić. Nie ma greylistingu, na którym nam tak mocno zależy. Q: Jak jest z blokowaniem wirusow? Omówione rozwiązanie chyba ich nie wykrywa? A: Zgadza się, sa-exim (czy ścislej SA) wykrywa spam, a nie wirusy (no chyba, że wyglądają też jak spam...) więc blokowanie wirusów trzeba robić inną (niezależną) metodą. Q: Czy nie można sobie samemu porobić regułek (ACLi) eximowych realizujących coś podobnego? A: Na upartego zapewne by się i dało napisać podobną funkcjonalność od zera (w ogóle na upartego dużo i różnymi metodami można zrobić od zera), ale generalnie chodzi właśnie o to, że sa-exim po to jest, żeby był takim gotowym zestawem, w postaci wtyczki dla exima, że go włączamy i działa.