Monitoring ruchu sieciowego w nk.pl w oparciu o protokół netflow oraz rozwiązania opensource

Transkrypt

1 Monitoring ruchu sieciowego w nk.pl w oparciu o protokół netflow oraz rozwiązania opensource Marcin Szukała PLNOG 2013 Warszawa marcin@szukala.org

2 Agenda Problemy czyli po co nam to? Dlaczego nie hardware? Rozwiązania opensource: nprobe, pf_ring nfsen, nfdump zabbix perl i python Wydajność systemu Case studies Pytania?

3 Problemy Tylko statystyki ruchu z interfejsów zbierane po SNMP Brak informacji o ruchu od operatorów ISP (źródłowe sieci IP, AS-y itp.) Brak informacji o ruchu przychodzącym od uczestników IX-ów Brak możliwości analizy ruchu i wykrywania anomalii (skanowanie portów, DDoS itp.) Brak szczegółowej historii ruchu

4 Problem z RSP720-3CXL NetFlow Table Size - 256K Problem z TCAM table overflow Brak flag TCP w eksportowanych flow-ach com/blog/2009/12/netflow-overflow-with-tcamtables-by-michael-patterson.html netflow-problems/

5 nprobe Sonda generująca NetFlow v5/v9/ipfix Aplikacja dla Linux/Unix i Windows Na zwykłym sprzęcie można osiągnąć bardzo dużo Wire speed dla intefejsów 1/10Gbps (z pf_ring i DNA) Informacje o AS-ach z pliku lub sesji BGP Generowanie ID interfejsów wej/wyj na podstawie adresu MAC

6 pf_ring Moduł jądra Umożliwia przechwytywanie pakietów z prędkością wire rate dla interfejsów 1/10Gbps (1488 Kpps/14.8 Mpps) Dedykowane sterowniki e1000, e1000e, igb, ixgbe

7 nfsen, nfdump Webowy front-end dla narzędzi nfdump Szybki podgląd podstawowych informacji o ruchu, wykresy fps, pps, bps Dostęp do szczegółowych danych (list flows), generowanie statystyk (per src/dst IP, per src/dst AS, id interfejsu i inne) Brak rozróżnienia ruch wchodzący/wychodzący Wolny przy przetwarzaniu dużej ilości danych (proces jednowątkowy)

8 nfsen, nfdump nfcapd - obsługuje netflow w wersji 5/7/9 i zapisuje na dysku (rotuje domyślnie co 5 minut) nfdump - przetwarza dane zapisane na dysku przez nfcapd. Wyświetla poszczególne flow-y jak również generuje statystyki TopN per src/dst IP, per src/dst AS, id interfejsu i inne. Fitrowanie danych - składnia podobna do tcpdump

9 nfsen, nfdump

10 nfsen, nfdump

11 zabbix Aplikacja opensource do monitorowania urządzeń sieciowych, serwerów, aplikacji, procesów, baz danych itd. Tworzenie wykresów, alarmów (trigger), powiadamianie via , sms, XMPP Pobieranie danych po SNMP, przy użyciu zabbix_agent i zabbix_sender API pozwalające w pełni kontrolować zabbixa (tworzenie, usuwanie, modyfikowanie itemów, triggerów, wykresów, screenów itd.)

12 perl i python Problem z identyfikacją interfejsów wejściowych/wyjściowych Problem z rozdzieleniem ruchu wchodzącego/wychodzącego Generowanie statystyk ruchu dla ISP i IX-ów Generowanie statystyk ruchu dla wybranych AS-ów źródłowych Generowanie danych dla detektora syn_flood

13 perl i python Problem z identyfikacją interfejsów wejściowych/wyjściowych nprobe tworzy id interfejsu na postawie 3 ostatnich bajtów MAC-a dla naszych urządzeń sprawa prosta dla urządzeń ISP sprawa prosta dla urządzeń w IX-ach jest problem

14 perl i python Problem z rozdzieleniem ruchu wchodzącego/wychodzącego nprobe nie wie który ruch jest wchodzący/wychodzący można użyć opcji --local-networks i --local-trafficdirection, nam to jednak nie zadziałało problem rozwiązany poprzez odpowiednie zastosowanie filtrów nfdump "in if or in if or in if or in if 35200" #ruch wychodzący od naszych urządzeń out if or out if or out if or out if 35200" #ruch przychodzący do naszych urządzeń

15 perl i python Problem z rozdzieleniem ruchu wchodzącego/wychodzącego nprobe nie wie który ruch jest wchodzący/wychodzący można użyć opcji --local-networks i --local-trafficdirection, nam to jednak nie zadziałało problem rozwiązany poprzez odpowiednie zastosowanie filtrów nfdump "in if or in if or in if or in if 35200" #ruch wychodzący od naszych urządzeń out if or out if or out if or out if 35200" #ruch przychodzący do naszych urządzeń

16 perl i python Generowanie statystyk ruchu dla ISP i IX-ów Mamy id wszystkich interfejsów, można generować statystki z nfdump i wysyłać do zabbixa

17 perl i python Generowanie statystyk ruchu dla ISP i IX-ów Mamy id wszystkich interfejsów, można generować statystki z nfdump i wysyłać do zabbixa

18 perl i python Generowanie statystyk ruchu dla wybranych AS-ów źródłowych -s dstas/flows, filtr "src as 43447" -s srcas/flows, filtr "dst as 43447"

19 perl i python Generowanie statystyk ruchu dla wybranych AS-ów źródłowych -s dstas/flows, filtr "src as 43447" -s srcas/flows, filtr "dst as 43447"

20 perl i python Generowanie danych dla detektora syn_flood Ilość flow TCP z flagą S (inne nieistotne) Ilość flow TCP z flagą SRF (inne nieistotne) Ilość flow TCP z flagą SF bez R (inne nieistotne) Ilość flow TCP z flagą SR bez F (inne nieistotne) Ilość flow TCP z flagą S bez AFRPU - syn flood filtry nfdump: proto tcp and flags S proto tcp and flags SF and not flags R proto tcp and flags SR and not flags F proto tcp and flags SRF proto tcp and flags S and not flags AFRPU

21 perl i python Generowanie danych dla detektora syn_flood Item w zabbixie który oblicza stosunek ilości flow z poprawnymi flagami (+SRF, +SR -F, +SF -R) do ilości wszystkich flow z flagą S (ilość flow z flagami +S -AFRPU nie jest brany pod uwagę) Przy normalnym ruchu ww. stosunek oscyluje w okolicach W przypadku wystąpienia anomalii, tj. pojawienia się dużej ilości flow z flagami +S -AFRPU stosunek dąży do zera Trigger powiązany z tym item-em informuje o wystąpieniu anomalii

22 perl i python Generowanie danych dla detektora syn_flood

23 perl i python Generowanie danych dla detektora syn_flood

24 Wydajność systemu Sondy zbierają w szczycie łącznie ruch na poziomie 4.5Gbps, 1Mpps i eksportują około 140kfps 4 sondy nprobe w punktach styku z ISP i IX Ruch z sond do kolektora w szycie dochodzi do 100Mbps 1 kolektor nfsen z 10Tb dyskiem zapewniającym dostęp do danych historycznych z z ponad 2 miesięcy

25 Wydajność systemu Obciążenie kolektora procesami nfsen i przetwarzaniem danych przez skrypty

26 Wydajność systemu Obciążenie sondy przetwarzającej najwięcej ruchu - sonda-plix

27 Wydajność systemu Obciążenie sondy przetwarzającej najwięcej ruchu - sonda-plix

28 Case studies Redundantne połączenia w IX-ach

29 Case studies Redundantne połączenia w IX-ach

30 Case studies Redundantne połączenia w IX-ach

31 Case studies Redundantne połączenia w IX-ach

32 Case studies Redundantne połączenia w IX-ach

33 Case studies Redundantne połączenia w IX-ach

34 Case studies Redundantne połączenia w IX-ach

35 Pytania?

36 Dziękuję za uwagę