Efektywne wyszukiwanie wzorców w systemach automatycznej generacji sygnatur ataków sieciowych



Podobne dokumenty
EKSPLORACJA ZASOBÓW INTERNETU - MIŁOSZ KADZIŃSKI LABORATORIUM VI INDEKSOWANIE + LUCENE

Algorytmy i struktury danych. wykład 8

Algorytmy i struktury danych. Drzewa: BST, kopce. Letnie Warsztaty Matematyczno-Informatyczne

Algorytmy Komunikacyjne dla Trójwymiarowych Sieci Opartych na Plastrze Miodu. Ireneusz Szcześniak. Politechnika Śląska 20 czerwca 2002 r.

WYKŁAD nr Ekstrema funkcji jednej zmiennej o ciągłych pochodnych. xˆ ( ) 0

Efektywne wyszukiwanie wzorców w systemach automatycznej generacji sygnatur ataków sieciowych

Modelowanie motywów łańcuchami Markowa wyższego rzędu

PROJEKT ARAKIS DOŚWIADCZENIA Z OBSERWACJI ZAGROŻEŃ W SIECI Tomasz Grudziecki (CERT Polska / NASK)

Algorytmy równoległe: ocena efektywności prostych algorytmów dla systemów wielokomputerowych

Porównanie czasów działania algorytmów sortowania przez wstawianie i scalanie

Wykład 3. Złożoność i realizowalność algorytmów Elementarne struktury danych: stosy, kolejki, listy

Twój wynik: 4 punktów na 6 możliwych do uzyskania (66,67 %).

Wykorzystanie układów FPGA w implementacji systemów bezpieczeństwa sieciowego typu Firewall

Zaawansowane metody pomiarów i diagnostyki w rozległych sieciach teleinformatycznych Pomiary w sieciach pakietowych. Tomasz Szewczyk PCSS

Zarządzanie informacją i wiedzą w usługach o podwyŝszonym poziomie bezpieczeństwa. Maciej Stroiński stroins@man.poznan.pl

Alicja Marszałek Różne rodzaje baz danych

Wykład X. Programowanie. dr inż. Janusz Słupik. Gliwice, Wydział Matematyki Stosowanej Politechniki Śląskiej. c Copyright 2016 Janusz Słupik

Algorytmy równoległe: ocena efektywności prostych algorytmów dla systemów wielokomputerowych

Data Mining podstawy analizy danych Część druga

UNIWESRYTET EKONOMICZNY WE WROCŁAWIU HOSSA ProCAPITAL WYCENA OPCJI. Sebastian Gajęcki WYDZIAŁ NAUK EKONOMICZNYCH

Sprzętowo wspomagane metody klasyfikacji danych

Algorytmy i struktury danych

Wybrane działy Informatyki Stosowanej

XQTav - reprezentacja diagramów przepływu prac w formacie SCUFL przy pomocy XQuery

Pojęcie bazy danych. Funkcje i możliwości.

Zagrożenia warstwy drugiej modelu OSI - metody zabezpieczania i przeciwdziałania Autor: Miłosz Tomaszewski Opiekun: Dr inż. Łukasz Sturgulewski

Algorytmy i. Wykład 5: Drzewa. Dr inż. Paweł Kasprowski

Struktury danych i złożoność obliczeniowa Wykład 7. Prof. dr hab. inż. Jan Magott

1 TEMAT LEKCJI: 2 CELE LEKCJI: 3 METODY NAUCZANIA. Scenariusz lekcji. 2.1 Wiadomości: 2.2 Umiejętności: Scenariusz lekcji

Algorytmy klasyfikacji

Wykład 1. Wprowadzenie do teorii grafów

Zaawansowane algorytmy i struktury danych

SZTUCZNA INTELIGENCJA

Honey Spider Network 2.0

Problem eliminacji nieprzystających elementów w zadaniu rozpoznania wzorca Marcin Luckner

Część I. Uwaga: Akceptowane są wszystkie odpowiedzi merytorycznie poprawne i spełniające warunki zadania. Zadanie 1.1. (0 3)

Przykładowe B+ drzewo

Każdy węzeł w drzewie posiada 3 pola: klucz, adres prawego potomka i adres lewego potomka. Pola zawierające adresy mogą być puste.

Rozdział ten zawiera informacje na temat zarządzania Modułem Modbus TCP oraz jego konfiguracji.

prof. dr hab. inż. Marta Kasprzak Instytut Informatyki, Politechnika Poznańska

ANALIZA BEZPIECZEŃSTWA SIECI MPLS VPN. Łukasz Polak Opiekun: prof. Zbigniew Kotulski

Drzewa poszukiwań binarnych

4. Podstawowa konfiguracja

Zdalne wywoływanie procedur RPC. Dariusz Wawrzyniak 1

Backend Administratora

Systemy uczące się wykład 2

Wykład I. Wprowadzenie do baz danych

EGZAMIN MATURALNY W ROKU SZKOLNYM 2017/2018 INFORMATYKA

Temat: Algorytmy wyszukiwania wzorca w tekście

Zdalne wywoływanie procedur RPC

Wstęp [2/2] Wbrew częstemu przekonaniu, nie są one gotowymi rozwiązaniami, to tylko półprodukty rozwiązania.

Zdalne wywoływanie procedur RPC

Zadanie 1: rozproszona wiedza SKJ (2016)

MODEL WARSTWOWY PROTOKOŁY TCP/IP

Analiza semantyczna. Gramatyka atrybutywna

Definicja sieci. Sieć Petriego jest czwórką C = ( P, T, I, O ), gdzie: P = { p 1, p 2,, p n } T = { t 1, t 2,, t m }

Sieci komputerowe - Wstęp do intersieci, protokół IPv4

PRÓBNY EGZAMIN MATURALNY Z INFORMATYKI 2016 ROK

Wstęp do programowania. Drzewa. Piotr Chrząstowski-Wachtel

1. Podstawowe pojęcia dotyczące przetwarzania tekstów 2. Podstawowe operacje na łańcuchach znakowych 3. Naiwne wyszukiwanie wzorca w tekście 4.

Algorytmy decyzyjne będące alternatywą dla sieci neuronowych

Indukowane Reguły Decyzyjne I. Wykład 3

operacje porównania, a jeśli jest to konieczne ze względu na złe uporządkowanie porównywanych liczb zmieniamy ich kolejność, czyli przestawiamy je.

Tadeusz Pankowski

Wysokość drzewa Głębokość węzła

Wybrane metody obrony przed atakami Denial of Service Synflood. Przemysław Kukiełka

SAS wybrane elementy. DATA MINING Część III. Seweryn Kowalski 2006

Algorytmy i str ruktury danych. Metody algorytmiczne. Bartman Jacek

Algorytmy i struktury danych. wykład 5

xx + x = 1, to y = Jeśli x = 0, to y = 0 Przykładowy układ Funkcja przykładowego układu Metody poszukiwania testów Porównanie tabel prawdy

n6: otwarta wymiana danych

System wizyjny OMRON Xpectia FZx

Uwaga! Upadek! Opis zadania konkursowego

Analiza efektywności przetwarzania współbieżnego. Wykład: Przetwarzanie Równoległe Politechnika Poznańska Rafał Walkowiak Grudzień 2015

Uniwersytet Zielonogórski Instytut Sterowania i Systemów Informatycznych. Algorytmy i struktury danych Laboratorium 7. 2 Drzewa poszukiwań binarnych

SYSTEMY UCZĄCE SIĘ WYKŁAD 4. DRZEWA REGRESYJNE, INDUKCJA REGUŁ. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska

Przydatne sztuczki - sql. Na przykładzie postgres a.

Algorytmy równoległe. Rafał Walkowiak Politechnika Poznańska Studia inżynierskie Informatyka 2010

Wykład 6. Wyszukiwanie wzorca w tekście

Jak efektywnie wykrywać podatności bezpieczeństwa w aplikacjach? OWASP The OWASP Foundation

Przypomnij sobie krótki wstęp do teorii grafów przedstawiony na początku semestru.

Metody numeryczne w przykładach

Systemy uczące się Lab 4

INFORMATYKA POZIOM ROZSZERZONY

Na podstawie: Kirch O., Dawson T. 2000: LINUX podręcznik administratora sieci. Wydawnictwo RM, Warszawa. FILTROWANIE IP

Michał Sobiegraj, TCP i UDP

Wykład 3 Filtracja i modyfikacja pakietów za pomocą iptables.

Serwer SSH. Wprowadzenie do serwera SSH Instalacja i konfiguracja Zarządzanie kluczami

Wykład 2. Drzewa zbalansowane AVL i 2-3-4

Porównanie systemów zarządzania relacyjnymi bazami danych

Analiza efektywności przetwarzania współbieżnego

Elementy modelowania matematycznego

prowadzący dr ADRIAN HORZYK /~horzyk tel.: Konsultacje paw. D-13/325

INFORMATYKA Pytania ogólne na egzamin dyplomowy

Kompresja bezstratna. Entropia. Kod Huffmana

Technologie Informacyjne

AUTOMATYKA INFORMATYKA

Wprowadzenie do zagadnień związanych z firewallingiem

Transkrypt:

Efektywne wyszukiwanie wzorców w systemach automatycznej generacji sygnatur ataków sieciowych Tomasz Joran Kruk NASK Dział Naukowy Cezary Rzewuski Politechnika Warszawska NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 1

Agena 1. Sygnatury w systemach IDS 2. Architektura systemu automatycznej generacji sygnatur 3. Generacja sygnatur prolemy algorytmiczne 4. Bilioteka lilcs NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 2

Definiowanie nowych ataków 1. klasyfikacja analizowanego ruchu sieciowego, ruch poprawny czy anomalia, 2. porównanie z własnymi i zewnętrznymi azami wiezy, czy ruch zientyfikowany jako już znane zagrożenie, 3. la ruchu nieznanego - próa generacji sygnatury ataku sieciowego, 4. weryfikacja wytworzonej sygnatury wzglęem próek ruchu sieciowego - miara jakości sygnatury, 5. klasyfikacja sygnatury na postawie analizy pooieństwa z uprzenio wytworzonymi sygnaturami. NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 3

Sygnatury la systemów IDS Sygnatura - zespół cech charakterystycznych la anego zagrożenia. xjesrkfiupkvlcm.exexyzzseralortu połączenie na port 110 protokołu TCP TCP 110 cm.exe Elementy sygnatury ataku sieciowego: rozaj usługi (port przeznaczenia), charakterystyczny ciąg ajtów, specyficzne ustawienia w nagłówkach protokołu. NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 4

Cechy orej sygnatury ataku Dora sygnatura ataku sieciowego powinna: wykrywać jak największy procent rzeczywistych ataków (prolem false negative), nie pasować o prawiłowego ruchu sieciowego (prolem false positive). Sygnatura oparta o łaunek (ang. payloa) wykorzystująca koncepcję najłuższego wspólnego pociągu (ang. LCS) jaka jest jakość sygnatury z minionego przykłau (cm.exe)? co roić w przypaku krótkich wspólnych pociągów? NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 5

Śroowisko pracy - systemy honeypot Systemy honeypot/ honeynet: wykorzystanie nieużywanych aresów IP w celu emulacji hostów z uruchomionymi popularnymi usługami, Dwie kategorie połączeń o systemów honeypot: niegroźne połączenia zainicjowane pomyłkowo (rzakość), połączenia o roaków skanujących sieć w poszukiwaniu nowych ofiar (uże prawopooieństwo). Połączenia o systemów honeypot z założenia nie są ruchem poprawnym - ore śroowisko pracy la systemów generacji sygnatur. NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 6

Honeycom prekursor generacji Honeycom prekursor generacji sygnatur ataków sieciowych: system automatycznej generacji sygnatur ataków sieciowych, prowizorycznie rozszerzona wersja systemu honeypot honey, wykorzystanie koncepcji LCS (ang. longest common susequence), realizacja wyszukiwania LCS z wykorzystaniem tzw. rzew sufiksowych zaimplementowanych w postaci zewnętrznej ilioteki listree. NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 7

Architektura systemu generacji sygnatur Propozycja własnej alternatywnej architektury: honeypot emulacja serwisów TCP, interakcja z intruzem. is + rozszerzenia skłaanie strumieni połączeń TCP, generacja sygnatur. arp spoof osługa zapytań arp. NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 8

Automatyczna generacja sygnatur Elementy systemu automatycznej generacji sygnatur is (Snort + SigSearch) honeypot (honey) połączenia TCP zapytanie arp arp spoof (arp) NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 9

LCS a zaganienia wyajności wielomianowa złożoność prostych algorytmów wyznaczania LCS la wóch ciągów ajtów, wymóg liniowego czasu przetwarzania anych wejściowych w celu generacji sygnatur w tryie on-line, reprezentacja jenego z łańcuchów w postaci rzewa sufiksowego możliwością wyznaczenia LCS z liniową złożonością oliczeniową, NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 10

Koncepcja rzewa sufiksowego n-ty prefiks prefiks skłaający się z n pierwszych znaków, n-ty sufiks sufiks rozpoczynający się na pozycji n, (trzeci sufiks California to ciąg lifornia). Drzewo sufiksowe graf reprezentujący ciąg znaków w postaci opowieniej konkatenacji jego sufiksów. NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 11

Struktura rzewa sufiksowego 1 a c 4 a 5 c 6 a c a 2 3 ciąg a c a licza liści równa ługości ciągu, każemu sufiksowi opowiaa jena ścieżka o korzenia o liścia. NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 12

Wstęp wyszukiwanie wzorca w ciągu Drzewa sufiksowe jako reprezentacja anych umożliwiająca realizację okłanego opasowania (ang. exact string matching): niech P, ciąg krótszy (wzorzec), a S, ciąg łuższy, zaanie: wskazanie pozycji w ciągu S, na których występuje wzorzec P, uowa rzewa sufiksowego T ciągu S, opasowywanie znaków począwszy o korzenia, opasowywanie zakończone, gy wykorzystano wszystkie znaki wzorca P alo niemożliwe jest alsze opasowywanie, złożoność wyszukiwania: O( S + P ). NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 13

Algorytm wyznaczenia wspólnego pociągu wóch łańcuchów 1. Buowa rzewa sufiksowego pierwszego łańcucha, 2. Znalezienie jak najłuższego opasowania sufiksów rugiego łańcucha na zuowanym rzewie, 3. Zwrot pasującego fragmentu sufiksu rugiego ciągu, którego opasowanie yło najłuższe. NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 14

Wyznaczenie wspólnego pociągu - przykła a c a c a c a Talica trafień: a c 3 2 1 1 opasowanie pierwszego sufiksu rozpoczyna się w korzeniu rzewa, o przejść pomięzy kolejnymi operacjami opasowania wykorzystywane są łączniki sufiksowe. NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 15

Wyznaczanie wspólnego pociągu - wyajność Na złożoność oliczeniową wyznaczania wspólnego pociągu wpływ mają wa elementy: złożoność oliczeniowa stworzenia rzewa sufiksowego, złożoność oliczeniowa wyszukiwania wspólnego pociągu. W przypaku algorytmów naiwnych: stworzenie rzewa - O(n 2 ), wyszukiwanie wspólnego pociągu - O(n). Do przetwarzania on-line niezęna złożoność liniowa. NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 16

Algorytm naiwny (uowa rzewa sufiksowego) a c a c a c a a c a czas wykonania O(n 2 ), nowy sufiks oawany n razy, oanie sufiksu wymaga co najwyżej n porównań, NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 17

Łącznik sufiksowy Niech xa to pewien ciąg, gzie x oznacza jeen znak, a a pociąg o nieokreślonej ługości (w tym pusty). Jeżeli xa jest ścieżką o korzenia o węzła wewnętrznego v i istnieje innych węzeł s(v) o ścieżce a, to s(v) jest la v łącznikiem sufiksowym. Przy wyznaczaniu wspólnych pociągów łańcuchów: zamiast okonywać kosztownego przejścia o korzenia o każego pociągu, nożna przechozić o kolejnej gałęzi poprzez łączniki sufiksowe, poprzez wykorzystanie łączników złożoność wyznaczania wspólnych pociągów zreukowana o O(n). NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 18

Algorytm Ukkonen'a (uowa rzewa sufiksowego) a c a c a c a a c a uowa rzewa w czasie liniowym, jeno przejście ciągu wejściowego w trakcie przeiegu algorytmu, o rzewa oawane łączniki sufiksowe, łączące węzły o ścieżkach xα i α NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 19

Bilioteka listree szeroko stosowana implementacja algorytmu Ukkonen'a, ostępna na licencji BSD, wykorzystywana w ioinformatyce, wykorzystywana przez honeycom, elementami rzewa mogą yć owolne struktury anych (przykła: poszukiwanie wspólnych fragmentów orazów, uzywając wartości RGB jako elementów łańcucha), ograniczone możliwości optymalizacji, elastyczność kosztem wyajności. NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 20

Bilioteka lilcs uowa rzewa sufiksowego algorytmem Ukkonen a, arzo wyajny mechanizm wyznaczania LCS przy porównywaniu jenego ciągu z wieloma innymi wystarczy uowa jenego rzewa, zoptymalizowana po kątem pracy z ciągami struktur jenoajtowych. NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 21

Bilioteki listree i lilcs - porównanie listree lilcs uowa rzewa algorytmem Ukkonen a, anymi wejściowymi mogą yć łańcuchy owolnych struktur anych, wspólny pociąg wyznaczany za pomocą uogólnionego rzewa sufiksowego, możliwość wyznaczenia LCS wielu ciągów jenocześnie. uowa rzewa algorytmem Ukkonen a anymi wejściowymi mogą yć tylko łańcuchy ajtów wspólny pociąg wyznaczany za pomocą talicy trafień wyznacza LCS wóch łańcuchów NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 22

lilcs, listree porównanie wyajności Długość ciągu wejściowego 10000 10000 1000000 1000000 lilcs 10000 20000 7,1 mln 7,9 mln listree 390000 400000 86,5 mln 96,7 mln la ciągów ajtów ługości 10000 znaków lilcs wyznacza LCS 20 o 40 razy szyciej, przy ługościach rzęu 1000000 lilcs zwraca wynik 12 o 14 razy szyciej. NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 23

Posumowanie sygnatury generowane są na postawie wspólnych pociągów strumieni połączeń, wyznaczanie sygnatur połączeń wymaga algorytmów o złożoności O(n), znalezienie LCS w czasie liniowym możliwe zięki przekształceniu jenego argumentu o postaci rzewa sufiksowego, ilioteka lilcs pozwala na efektywne wyznaczanie wzorców wóch ciągów ajtów. NASK/ PW Konferencja SECURE 2006, 17-18 paźziernika 2006 r. 24