Filtr protokoªu SMTP. Praca in»ynierska. Zbigniew Artemiuk 14 lipca 2008

Transkrypt

1 Filtr protokoªu SMTP Praca in»ynierska Zbigniew Artemiuk 14 lipca

2 SPIS TRE CI Spis tre±ci 1 Wst p 3 2 Cel i zakres pracy 4 3 Protokóª SMTP Historia powstania ARPANET czyli pocz tki Internetu Piersze wiadomo±ci w ARPANETcie Szczegóªy protokoªu Komunikacja klient-serwer Konstrukcja wiadomo±ci Obecne wykorzystanie protokoªu i jego forma Dzisiejsze narz dzia do ltracji protokoªu SMTP Konieczno± wprowadzenia ltracji Produkty komercyjne Clearswift Aladdin esafe Surfcontrol Filter Produkty open-source Wªasny projekt do ltracji poczty Zaªo»enia projektu Moduªy projektu Parser wiadomo±ci Parser reguª Analizator wiadomo±ci Kolejka Kompilacja, konguracja i uruchomienie projektu Testy wydajno±ciowe Spostrze»enia, wnioski 10 2

3 1 WST P 1 Wst p W dobie obecnego Internetu, pomimo szeregu rozwijaj cych si form komunikacji, chocia»by technologii takich jak tekstowa komunikacja czasu rzeczywistego (czyli IM - instant messaging i popularne chaty) czy te» jeszcze bardziej zaawansowanych technologii, które umo»liwiaj przesyªanie gªosu oraz wideo (chocia»by Skype), pospolite maile caªy czas jednak znajduj zastosowanie. U»ywamy ich chyba obecnie najcze±ciej do kontaktów biznesowych, rodzinnych, przyjacielskich, gªównie w celach informacyjnych (czyli sam tekst), jak równie» do przekazywania niewielkich plików. Chyba ka»dy obecny internauta legitymuje si przynajmniej jedn skrzynk mailow (a czasami jest ich znacznie wi cej). Ka»dy te» internauta spotkaª si tak»e z niechcian poczt (niechcianymi mailami), nazywan bardzo ogólnym okre±leniem Spam, i narz dziami (chocia»by tymi wbudowanymi w klientów pocztowych dost pnych z poziomu przegl darki internetowej), które umo»liwiaj odseparowanie takiej poczty, od tej która niesie interesuj c nas zawarto± merytoryczn. Separacja ta to tzw. ltrowanie ze wzgl du na obiekt ltracji zwane ltracja poczty. Dokonanie ltracji wymaga jednak poznania dokªadnie w jaki sposób transportowane s nasze maile, a to wszystko zawarte jest w protokole Simple Mail Transfer Protocol (w skrócie SMTP). 3

4 2 CEL I ZAKRES PRACY 2 Cel i zakres pracy Celem pracy jest zaprojektowanie systemu w j zyku Java, który umo»liwiaªbym przy pomocy dosy prostej konguracji w postaci pliku tekstowego, jego uruchomienie oraz dokonywaªby ltracji, na podstawie reguª zawartych w konguracji, przesªanych do niego protokoªem SMTP wiadomo±ci. 4

5 3 PROTOKÓŠ SMTP 3 Protokóª SMTP 3.1 Historia powstania ARPANET czyli pocz tki Internetu Historia powstania protokoªu SMTP jest ±ci±le zwi zana z pocz tkami Internetu. Internet za± i jego kreowanie zwi zane jest bezpo±rednio ze swoim przodkiem czyli ARPANETEm. ARPANET (Advanced Research Projects Agency Network) zostaª stworzony przez przez jedn z agencji United States Department of Defense (departament bezpiecze«stwa Stanów Zdjednoczonych) o nazwie ARPA (Advanced Research Projects Agency). Nazwa agencji zostaªa pó¹niej przeksztaªcona na DARPA (D od Defence). Agencja ta miaªa zaj c si rozwojem nowych technologii na potrzeb ameryka«skiego wojska. W miar wchodzenia w»ycie komputerów wykorzystywanych w ramach agencji powstaªa idea stworzenia sieci pomi dzy nimi, która to umo»liwiªaby komunikacje pomi dzy ich u»ytkownikami. Idea ta zostaªa po raz pierwszy zaproponowana przez Josepha Carla Robnetta Licklidera z rmy Bolt, Beranek and Newman (obecnie BBN Technologies) w sierpniu 1962 w serii notatek na temat koncepcji Mi dzygalaktycznej Sieci Komputerowej. Zawieraªa ona prawie wszystko czego mo»emy do±wiadczy w dzisiejszym Internecie. W pa¹dzierniku 1963 roku Licklider zostaª mianowany szefem programu Behavioral Sciences and Command and Control w ARPA. Przekonaª on wtedy Ivana Sutherlanda i Boba Taylora,»e jego wizja jest czym± naprawd istotnym. Sam Licklider nie doczekaª jednak»adnych konkretnych prac w kierunku jej urzeczywistnienia, gdy» opu±ciª ARPA. ARPA i Taylor caªy czas byli zainteresowanie stworzeniem sieci komputerowej, a»eby zapewni naukowcom pracuj cym w ramach ARPA w ró»nych lokalizacjach, dost p do innych komputerów, które rma oferowaªa. Istotne byªo tak»e, aby nowe oprogramowanie i rezultaty bada«byªy jak najszybciej widoczne dla ka»dego u»ytkownika sieci. Sam Taylor posiadaª 3 ró»ne terminale, które dawaªy mu podª czenie do 3 ró»nych komputerów - jeden do SDC Q-32 w Santa Monica, drugi w ramach projektu Project Genie do komputera na Uniwersytecie w Kalifornii (Berkley) i ostatni do komputera z Multicsem w MIT (The Massachusetts Institute of Technology). Taylor w taki sposób opowiadaª od podª czeniu do tych komputerów: Dla ka»dego z tych terminali miaªem inny zestaw polece«. Dlatego te» kiedy rozmawiaªem z kim± z Santa Monica, a po¹niej chciaªem ten sam temat skonsultowa z kim± z Berkley albo MIT, musiaªem przesi ± si do innego terminala. Oczywistym wtedy wydaªo mi si,»e musi by 1 terminal, który obsªu»y te 3 poª czenia. Idea ta to wªa±nie ARPANET Do poªowy 1968 roku kompletny plan sieci zostaª stworzony i po zatwierdzeniu przez ARPA, zapytanie ofertowe RFQ (Request For Quotation) zostaªo posªane do 140 potencjalnych wykonawców. Wi kszo± potraktowaªa propozycj jako dziwaczn. Tylko 12 rm zªo»yªo oferty z czego 4 zostaªy uznane za najwa»niejsze. Do ko«ca roku wyªoniono 2 rmy, z których ostatecznie 7 kwietnia 1969 roku zostaªa wybrana rma BBN. Propozycja BBN byªa najbli»sza planom ARPA. Pomysªem ich byªo stworzenie sieci z maªy komputerów zwanych Interface Message Processors (bardziej 5

6 3 PROTOKÓŠ SMTP znanych jako IMPs), które to obecnie nazywamy routerami. IMPsy z ka»dej strony zapewniaªy funkcje przechowywania i przekazywania pakietów, a poª - czone byªy mi dzy sob przy u»yciu modemów podpi tych do ª czy dzier»awionych (o przepustowo±ci 50 kbit/sekund ). Komputery podª czone byªy do IMPsów poprzez specjalny bitowy interfejs. W ten sposób stawaªy si one cz - ±ci sieci ARPANET. Do zbudowania pierwszej generacji IMPsów BBN wykorzystaªa komputer Honeywell DDP-516. Zostaª on wyposa»ony w 24kB pami ci rdzenia (z mo»liwo±ci rozszerzenia) oraz 16 kanaªów Direct Multiplex Control (DMC) do bezpo±redniogo dost pu do tej pami ci. Poprzez DMC podª czane byªy komputery u»ytkowników (hosty) i modemy. Dodatkowo 516 otrzymaª ezstaw 24 lamp, które pokazywaªy status kanaªów komunikacyjnych IMPa. Do ka»dego IMPa mo»na byªo podª czy do czterech hostów i mógª si on komunikowa z 6 zdalnymi IMPami poprzez wspóªdzielone ª cza. Zespóª z BBN (pocz tkowo 7 osób) szybko stworzyª pierwsze dziaªaj ce jednoski (IMPy). Caªy system, który zawieraª zarówno sprz t jak i pierwsze oprogramowania zarz dzaj ce pakietami, zostaª zaprojektowany i zainstalowany w ci gu 9 miesi cy. Pocz tkowo ARPANET skªadaª si z 4 IMPów. Zostaªy one zainstalowane w: UCLA (University of California, Los Angeles), gdzie Leonard Kleinrock zaªo»yª centrum pomiaru sieci (Network Measurment Center) The Stanford Research Institute's Augmentation Research Center, gdzie Douglas Engelbert stworzyª system NLS, który mi dzy innymi wprowadziª poj cie hypertextu UC Santa Barbara The University of Utah's Graphics Department, gdzie przebywaª ówcze±nie Ivan Sutherland Piersze wiadomo±ci w ARPANETcie Pierwsza komunikacja host-host w sieci ARPANET wykorzystywaªa protokóª 1822, który deniowaª sposób w jakis host przesyªaª wiadomo± do IMPa. Format wiadomo±ci byª tak zaprojektowany,»eby bez problemu mógª pracowa z szerokim zakresem architektur. Zasadniczo wiadomo± skªadaªa si z: typu wiadomo±ci adresu hosta pola z danymi W celu wysªania wiadomo±ci do innego hosta, host wysyªaj cy powinien sformatowa wiadomo± tak, aby ta zawieraªa adres hosta docelowego oraz dane, a nast pnie dokona transmisji wiadomo±ci przez interfejs sprz towy IMP dostrze»e dostarczenie wiadomo±ci albo poprzez dostarczenie jej bezpo±rednio do hosta docelowego albo poprzez przekazanie jej do kolejnego IMPa. Kiedy wiadomo± zostaªa odebrana przez docelowego hosta, IMP do którego host byª 6

7 3 PROTOKÓŠ SMTP podª czony wysyªa potwierdzenie odbioru (zwane Ready for Next Message or RFNM) do hosta wysyªaj cego. W przeciwie«stwie do obecnych protokoªów datagramowych w Interecie (takich jak no IP), ARPANETowy porotokóª 1822 zapewniaª niezawodno± w taki sposób,»e informowaª o niedostarczonej wiadomo±ci. Niemniej protokóª 1822 nie byª odpowiedni do»onglowania wieloma poª czeniami w ró»nych aplikacjach uruchomionych na pojedynczym ho±cie. Problem ten zostaª rozwi zany dzi ki wprowadzeniu na hostach Network Control Program (NCP), dzi ki któremu mo»liwe byªo niezawodne, z kontroª przepªywu, dwukierunkowe poª czenia pomi dzy ró»nymi procesami na ró»nych hostach. NCP implementowaª kolejn warstw znajduj c si na górze stosu protokoªów. Dzi ki niemu aplikacje, które miaªy mie ju» jak ± konkretn funkcjonalno±, mogªy wykorzystywa spójny interfejs i korzysta swobodnie z dobrodziejstw ARPANETu czyli wykonywa poª czenia do innych aplikacji przez sie. Ju» niedªugo, bo na pocz tku roku 1970, powstaª pierwszy program (a w zasadzie 2 oddzielne) do wysyªania i odbierania wiadomo±ci. Zaimplementowaª go Ray Tomlinson podczas pracy w niewielkiej grupie nad systemem operacyjnym TENEX. Programy te to SNDMSG i READMAIL. Pierwsza wersja tych programów sªu»yªa jednak do wymiany informacji mi dzy u»ytkownikami jednej maszyny. Ju» jednak w 1971 Tomlinson stworzyª pierwsz aplikacj ARPANE- Tow, która umo»liwiaªa wysyªanie wiadomo±ci do dowolnych hostów. Tomlinson dokonaª usprawnie«w programie SNDMSG przy okazji 3.2 Szczegóªy protokoªu Szczegóªy protokoªu Komunikacja klient-serwer Komunikacja Konstrukcja wiadomo±ci Konstrukcja 3.3 Obecne wykorzystanie protokoªu i jego forma Obecne wykorzystanie 7

8 4 DZISIEJSZE NARZ DZIA DO FILTRACJI PROTOKOŠU SMTP 4 Dzisiejsze narz dzia do ltracji protokoªu SMTP Dzisiejsze 4.1 Konieczno± wprowadzenia ltracji Konieczno± 4.2 Produkty komercyjne Produkty komercyjne Clearswift Clearswift Aladdin esafe Aladdin esafe Surfcontrol Filter Surfcontrol Filter 4.3 Produkty open-source 8

9 5 WŠASNY PROJEKT DO FILTRACJI POCZTY 5 Wªasny projekt do ltracji poczty 5.1 Zaªo»enia projektu 5.2 Moduªy projektu Parser wiadomo±ci Parser reguª Analizator wiadomo±ci Kolejka 5.3 Kompilacja, konguracja i uruchomienie projektu 5.4 Testy wydajno±ciowe 9

10 6 SPOSTRZE ENIA, WNIOSKI 6 Spostrze»enia, wnioski 10

11 LITERATURA Literatura [Cro82] David H. Crocker. RFC822 - STANDARD FOR THE FORMAT OF ARPA INTERNET TEXT MESSAGES