Piotr Jabłoński, Łukasz Bromirski

Ochrona sieci wewnętrznej Bezpieczeństwo warstwy kontrolnej Ochrona płaszczyzny zarządzania Ochrona płaszczyzny danych Walka z atakami Wykrywanie jak? Ataki pasmem Ataki na stan 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 2

Bezpieczeństwo samej warstwy kontroli: Zmninimalizować ilość usług na węźle Odfiltrować ruch do RP węzła (iacl/racl) Control Plane Policing i Rate-Limiting (CoPP) Local Packet Transport Services (LPTS) Bezpieczeństwo protokołów routingu: Uwierzytelnianie sąsiadów (TCP-AO, MD5) Generalized TTL Security Mechanism (GTSH) Selective Packet Discard (SPD) Secure InterDomain Routing (SIDR) Bezpieczeństwo innych protokołów: Label Distribution Protocol (LDP) Resource Reservation Protocol (RSVP) 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 4

Dowolny AS może rozgłosić dowolny prefiks zwykle przez pomyłkę złośliwie Tak czy inaczej, AS porywa przestrzeń rozgłoszoną i zaczyna otrzymywać, który powinien był docierać do kogoś innego Na straży stoją tutaj filtry prefiksów generowane z baz RIRów... Przykłady (YouTube i Pakistan Telecom) pokazują, że nie zawsze działa to dobrze http://www.networkworld.com/news/2009/011509-bgp-attacks.html SIDR to pomysł na uwierzytelnienie rozgłoszeń i kontrolę tych rozgłoszeń 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 8

BGP Peer ebgp CA Podległe CA Protokół wymiany informacji Protokół publikacji Protokół publikacji Operator repozytorium Operator repozytorium rsync rsync Protokół RPKI Walidator i cache RPKI Router peeringowy ibgp + communities Protokół RPKI Router peeringowy Infrastruktura ISP Infrastruktura RPKI ebgp BGP Peer 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 9

Baza RPKI to zestaw obiektów ROA zagregowanych z różnych pamięci podręcznych RPKI do których łączy się router Obiekty ROA zapewniają mapowanie pomiędzy prefiksem BGP i numerem AS Cache RPKI może wysłać dowolną ilość ROA do routera dla wszystkich prefiksów lub tylko ich części ROA 172.25.0.0/16-24 12343 Block ROA prefix-block obejmuje prefiks 172.25.0.0 z minimalną długością maski 16 i maksymalną 24 ROA pokrywa zatem 172.25.100.0/24 ROA nie pokrywa 172.25.100.5/32 Tylko AS12343 jest autoryzowany do rozgłaszania tego prefiksu 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 10

BGP Prefix / Origin-AS RPKI Database ROAs 10.0.1/24 AS 300 10/8-20 AS 100 Nie pokrywa prefiksu valid 10.0/16-24 AS 200 10.0/16-32 AS 300 Pokrywa prefiks Pokrywa prefiks / Origin AS pasuje BGP Prefix / Origin-AS RPKI Database ROAs 10.0.1/24 AS 400 10/8-20 AS 100 Nie pokrywa prefiksu invalid 10.0/16-24 AS 200 10.0/16-32 AS 300 Pokrywa prefiks Pokrywa prefiks BGP Prefix / Origin-AS RPKI Database ROAs 20.0.1/24 AS 500 10/8-20 AS 100 Nie pokrywa prefiksu unknown 10.0/16-24 AS 200 Nie pokrywa prefiksu 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 11

router#show bgp origin-as validity [snip] RPKI validation codes: V valid, I invalid, U unknown, d disabled, n not-applicable Network Next Hop Origin-AS Validity Path *> 110.1.1.1/32 10.1.1.2 valid 5001? * 10.1.1.110 invalid 5555? *> 110.1.1.2/32 10.1.1.2 valid 5001? * 10.1.1.110 invalid 5555? *> 110.1.1.3/32 10.1.1.2 valid 5001? * 10.1.1.110 invalid 5555? *> 110.11.1.1/32 10.1.1.12 unknown 5011 i * 10.1.1.110 unknown 5555 i 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 12

Proces walidowania prefiksów BGP w pamięci podręcznej RPKI kończy się określeniem stanu prefiksu Domyślnie, prefiksy oznaczone jako invalid nie mogą stać się najlepszymi ścieżkami dla BGP Można to odwrócić poleceniem rpki bestpath origin-as allow invalid Oczywiście, zachowanie per-stan można skonfigurować posługując się odpowiednią polityką route-policy validity-1 if validation-state is valid then set local-preference 150 else pass endif 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 13

ASBR1#show bgp 110.1.1.1/32 Mon May 16 02:07:31.702 PDT BGP routing table entry for 110.1.1.1/32 Versions: Process brib/rib SendTblVer Speaker 23 23 Last Modified: Jan 13 10:59:49.136 for 00:07:12 Paths: (2 available, best #1) Path #1: Received by speaker 0 5001 10.1.1.2 from 10.1.1.2 (10.1.1.2) Origin incomplete, localpref 150, valid, external, best, group-best Received Path ID 0, Local Path ID 1, version 697493 Origin-AS validity: valid Path #2: Received by speaker 0 Not advertised to any peer 5555 10.1.1.110 from 10.1.1.110 (10.1.1.110) Origin incomplete, localpref 100, valid, external, group-best Received Path ID 0, Local Path ID 0, version 0 Origin-AS validity: invalid 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 14

AAA TACACS+, RADIUS, konta lokalne (także jako zapas przy awarii!) Bezpieczeństwo węzła Informacje przy logowaniu Mechanizm RBAC IOS/IOS-XE/IOS-XR/NX-OS i mechanizm widoków Bezpieczny system plików Podpisane kryptograficznie pliki binarne Zarządzanie węzłem SNMP, EEM, SYSLOG, Telnet, SSH, SCP, FTP, TFTP Zarządzanie OoB Telemetria sieciowa NetFlow v9 / Flexible NetFlow Zliczanie ruchu IPv4/IPv6 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 15

Adres docelowy i źródłowy (IPv4/IPv6) Port docelowy i źródłowy Numer protokołu DSCP Interfejs wejściowy Pole next-hop z BGP Informacje z etykiety MPLS Informacje o multicaście Informacje z L2 (tag 802.1q, pole CoS, etc) 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 17

Narzędzie do zbierania informacji o ruchu w sieci IP w ujęciu sesji danych (jednocześnie protokół eksportowy) NetFlow v5 i v9 Coraz doskonalsze narzędzia opierające się o NetFlow połączony z dodatkowymi algorytmami klasyfikacji aplikacji (NBAR/NBAR2/AVC) pozwalają na szczegółowe rozliczanie i monitoring dla wielu równoczesnych odbiorców np. dział bezpieczeństwa zbiera informacje o dużej ilości krótkich sesji np. dział monitoringu zbiera informacje o skuteczności inżynierii ruchowej w sieci np. dział biznesowy otrzymuje informacje o krytycznych danych nowej aplikacji działającej dla pewnej grupy klientów 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 18

Pola kluczowe Pakiet 1 Źródłowe IP 1.1.1.1 Docelowe IP 2.2.2.2 Port źródłowy 23 Port docelowy 22078 Protokół L3 TCP - 6 Bajt ToS 0 Inne pola 2 1 2 1 Długość 1250 Netflow Cache After Packet 1 SRC IP DST IP IF Protokół ToS Pkts Pola kluczowe są unikalne dla danej sesji Pola nie będące kluczowymi są atrybutami danej sesji Jeśli pola kluczowe są unikalne (nie istnieją do tej pory w pamięci podręcznej) tworzony jest nowy flow czyli sesja Pola kluczowe Pakiet 2 Źródłowe IP 3.3.3.3 Docelowe IP 4.4.4.4 Port źródłowy 80 Port docelowy 22079 Protokół L3 TCP - 6 Bajt ToS 0 Inne pola Długość 519 Netflow Cache After Packet 2 SRC IP DST IP IF Protokół ToS Pkts 3.3.3.3 4.4.4.4 GE2/1 6 0 50 1.1.1.1 2.2.2.2 GE1/0 6 0 11000 1.1.1.1 2.2.2.2 GE1/1 6 0 11000 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 19

Nowe urządzenie Registrar Zarządzanie Włączenie nowego urządzenia Uruchomienie zero-touch: identyfikacja urządzenia poprzez UDI Jeżeli urządzenie jest na liście, to nie jest potrzebna interwencja operatora Jeżeli urządzenie nie jest na liście, wówczas konieczna jest ręczna akceptacja urządzenia na bazie UDI. 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 22

Nowe urządzenie Registrar Zarządzanie Urządzenie otrzymuje swój domenowy certyfikat Log: Device <udi> joined on device <udi> port <x> with IPv6 address xxx Uruchomienie zero-touch: identyfikacja urządzenia poprzez UDI Jeżeli urządzenie jest na liście, to nie jest potrzebna interwencja operatora Jeżeli urządzenie nie jest na liście, wówczas konieczna jest ręczna akceptacja urządzenia na bazie UDI. 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 23

Nowe urządzenie Router domenowy Registrar Zarządzanie Włączenie nowego urządzenia Log: Device <udi> joined on device <udi> port <x> with IPv6 address xxx Uruchomienie zero-touch: identyfikacja urządzenia poprzez UDI Jeżeli urządzenie jest na liście, to nie jest potrzebna interwencja operatora Jeżeli urządzenie nie jest na liście, wówczas konieczna jest ręczna akceptacja urządzenia na bazie UDI. 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 24

Nowe urządzenie Router domenowy Registrar Zarządzanie Urządzenie otrzymuje swój domenowy certyfikat Log: Device <udi> joined on device <udi> port <x> with IPv6 address xxx Device <udi> joined on device <udi> port <x> with IPv6 address xxx Uruchomienie zero-touch: identyfikacja urządzenia poprzez UDI Jeżeli urządzenie jest na liście, to nie jest potrzebna interwencja operatora Jeżeli urządzenie nie jest na liście, wówczas konieczna jest ręczna akceptacja urządzenia na bazie UDI. 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 25

loopback VRF Tunel szyfrowany loopback VRF IPv6 link local IPv6 link local Budowany i zarządzany samoczynnie Zgodny z topologią sieci Niezależny od konfiguracji lub tablicy routingu 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 26

ombies: Spoofing adresów Zwalidowane protokoły Rozproszone Różnorodność ataków Infrastruktura operatorska Linia dostępowa Data Center Routery, serwery usługowe WWW, DNS, etc. 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 28

Mechanizm przekazuje pakiety do nicości...czyli na interfejs Null0 Działa tylko dla wskazanych adresów docelowych tak jak typowy mechanizm routingu Ponieważ jest zintegrowany z logiką routingu układy ASIC odpowiedzialne za ten proces mogą filtrować ruch z wydajnością taką, z jaką wykonują routing Mechanizm nie jest jednak idealny w typowym zastosowaniu odrzucany jest cały ruch, a zatem klient zostaje skutecznie zddosowany 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 29

Router brzegowy z trasą na Null0 IXP-W Peer A Router brzegowy z trasą na Null0 Peer B IXP-E ISP A ISP A ISP B ISP B 171.68.19.0/24 Cel 172.19.61.1 POP Router brzegowy z trasą na Null0 G NOC 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 30

Prefiks z BGP 172.19.61.1 next-hop = 192.0.2.1 Trasa statyczna na routerze brzegowym 192.0.2.1 = Null0 172.19.61.1= 192.0.2.1 = Null0 Ruch do adresu 172.19.61.1 jest routowany do Null0 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 31

Routery kierują ruch do prefiksu oznaczonego community przez interfejs GRE lub MPLS Router rozgłasza 192.168.20.1/32 sinkhole klienci klienci Cel ataku 192.168.20.0/24 atakowana sieć Host 192.168.20.1 jest celem klienci 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 33

Możliwość dystrybucji polityki QoS na wiele routerów jednocześnie i sterowania nią za pomocą wartości community Ruch trafiający do naszej sieci klasyfikujemy zostaje mu przypisana wartość community Na routerach brzegowych wartość community prefiksu powoduje zakwalifikowanie ruchu do/z niego do określonej QoS-group QoS group można wykorzystać w polityce ruchowej interfejsu do np. ograniczenia pasma, realizowania kolejkowania, reklasyfikacji, etc. 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 34

NOC klienci klienci klienci Cel ataku Host 192.168.20.1 zbiera ruch dziwny z sieci, przekracza on wartości uznane za bezpieczne choć nie jest jeszcze atakiem DDoS 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 35

Router rozgłasza prefiksy atakujących (lub ich ASNy) z dodatkowym community np. AS 100:5000 (od 5Mbit/s) NOC klienci klienci klienci Cel ataku Host 192.168.20.1 zbiera ruch dziwny z sieci, przekracza on wartości uznane za bezpieczne choć nie jest jeszcze atakiem DDoS 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 36

Routery autonomicznie wykonują policing ruchu wejściowego z danego prefiksu bądź AS do ofiary do zadanej wartości NOC klienci klienci klienci Cel ataku Host 192.168.20.1 zbiera ruch dziwny z sieci, przekracza on wartości uznane za bezpieczne choć nie jest jeszcze atakiem DDoS 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 37

W porównaniu do innych rozwiązań PBR staje się nagle dynamicznym rozwiązaniem Pozwala propagować reguły PBR Używamy istniejącego kanału komunikacji Jak? Stosujemy dobrze znany MP-BGP 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 38

Klient IP=1.2.3.4 WWW Operator Tranzyt1 UDP DDoS CE BGP : 1.2.3.0/24 PE Internet UDP DDoS Traffic IP Destination: 1.2.3.4/32 IP Protocol 17 (UDP) PacketSize <=28 Rate-limit 10M Tranzyt2 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 41

Klient IP=1.2.3.4 WWW Operator Tranzyt1 UDP DDoS CE BGP : 1.2.3.0/24 PE Internet IP Destination: 1.2.3.4/32 IP Protocol 17 (UDP) PacketSize <=28 Rate-limit 10M Tranzyt2 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 42

Klient IP=1.2.3.4 WWW Operator Tranzyt1 UDP DDoS CE BGP : 1.2.3.0/24 PE Internet IP Destination: 1.2.3.4/32 IP Protocol 17 (UDP) PacketSize <=28 Rate-limit 10M Tranzyt2 Prawidłowy ruch TCP 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 43

Tak naprawdę, takiej architektury nikt nie używa Operator NIE UFA swoim Klientom Wymaga to wsparcia dla kombinacji BGP AFI/SAFI pomiędzy urządzeniami Klienta i Operatora To w takim razie czego się używa? Operatorzy mogą używać centralnego routera z obsługą FlowSpec (to nie musi być router sprzętowy!) Router ten nawiązuje pełną siatkę połączeń z innymi routerami BGP Tylko ten jeden router może rozgłaszać reguły FlowSpec 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 44

Klient Usługa Anty-DDoS za pomocą FlowSpec Operator IP=1.2.3.4 WWW Tranzyt1 UDP DDoS CE BGP : 1.2.3.0/24 PE Internet Prawidłowy ruch TCP Tranzyt2 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 45

DNS Reflection Wykorzystuje możliwość spoofowania ruchu źródłowego (BCP38!) urpf Wykorzystuje otwarte resolvery DNS http://openresolverproject.org/ dig ANY isc.org @x.x.x.x +edns=0 ; <<>> DiG 9.7.3 <<>> ANY isc.org @x.x.x.x ;; global options: +cmd ;; Got answer: ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 5147 ;; flags: qr rd ra; QUERY: 1, ANSWER: 27, AUTHORITY: 4, ADDITIONAL: 5 ;; QUESTION SECTION: ;isc.org. IN ANY ;; ANSWER SECTION: isc.org. 4084 IN SOA ns-int.isc.org. hostmaster.isc.org. [...] ;; MSG SIZE rcvd: 3223 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 46

Mechanizm routingu wybierze drogę o najmniejszym koszcie pomiędzy klientem a serwerem Każdy z hostów zostanie skierowany do "najbliższej" instancji usługi Należy zadbać o usuwanie niedziałających instancji Działa dla IP, MPLS/IP i dowolnego protokołu routingu R5 1.1.1.1/32 R3 R1 R7 1.1.1.1/32 R1> show ip route I 1.1.1.1/32 [115/10] via 192.168.11.6 R3> show ip route I 1.1.1.1/32 [115/20] via 192.168.73.7 R7> show ip route I 1.1.1.1/32 [115/10] via 192.168.77.6 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 54

Automatyczne rozkładanie obciążenia w L3/L4 Uwaga na usługi TCP oraz ogólnie, na usługi utrzymujące dłuższe połączenia Warto zastosować rozwiązanie realizujące hash dla równoważenia obciążenia w oparciu o jednocześnie L3 i L4 R5 1.1.1.1/32 R3 R1 R7 1.1.1.1/32 R3> show ip route I 1.1.1.1/32 [115/20] via 192.168.13.1 via 192.168.37.7 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 55

Prosty, efektywny, szeroko używany Niezależny od warstwy trzeciej zarówno IPv4 jak i IPv6 działają po prostu RFC mówi o specjalnych adresach anycast ale większość technik skalowania, w tym te najpowszechniejsze wykorzystują podejście 'shared unicast Może być wykorzystywany zamiast lub równocześnie z: równoważeniem obciążenia w L3/L4 dodawaniem usług IP w sposób tradycyjny W przeciwieństwie do powszechnego przekonania, IP Anycast może być również używany do skalowania usług TCP* 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 56

Większość ruchu w dzisiejszym internecie bazuje na połączeniach Prawdziwe zarówno dla TCP jak i dla teoretycznie bezstanowego UDP Połączenia muszą zostać nawiązane Nawiązanie połączenia oznacza stworzenie stanu urządzenia stanowe takie jak np. firewalle, muszą korzystać z tablicy w której sprawdzają istnienie poprawnych połączeń i odrzucają złe połączenia (najczęściej nieistniejące, ale nie tylko) Istnienie tablicy stanów oznacza pewien skończony zasób (pamięć, procesor, procesor sieciowy) który musi tą informację gdzieś przechowywać 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 58

Do obsługi coraz większej ilości nadchodzących połączeń, serwery skalujemy w górę dodając: Pamięci (zawsze- czym więcej tym lepiej ) Szybsze HDD (ATA, SATA, SCSI, SSD...) CPU ( więcej CPUs, więcej rdzeni, hyperthreading ) Next 10 connections Pierwsze 10 połączeń Next 10 connections Serwer 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 59

Gdy jeden serwer nie może już obsłużyć ruchu, dodajemy kolejne Aby zdjąć obciążenie z serwera głównego, lub Obsługiwać tą samą aplikację Next 10 connections First 10 connections Next 10 connections Pierwszy serwer Next 10 connections Next 10 connections Next 10 connections Drugi serwer 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 60

Gdy skalowalnie horyzontalne już nie wystarcza, można użyć dodatkowych dedykowanych urządzeń lub oprogramowania...a jeszcze wcześniej, odwrotnych proxy rozkładających ruch przychodzący Pierwszy serwer Drugi serwer * Oczywiście można też wdrożyć IP Anycast o czym mówiliśmy już wcześniej 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 61

Stosuj dostępne funkcjonalności przetwarzane w sprzęcie, mogące ograniczyć ilość stanów zanim ruch trafi na urządzenie, które musi przetwarzać stany Bezstanowe ACLs unicast Reverse Path Filtering Polityki QoS Source/Destination-Based Remote Triggered Blackholing Monitoring NetFlow (NetFlow utrzymuje tablicę, ale jest to pamięć podręczna a nie blokująca tablica stanów) 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 62

Automatyzacja wspomaga bezpieczeństwo: Autonomic Networking/SDN w sieciach operatorskich, ACI/ISE/SGT w sieciach Enterprise. Ochrona przed atakami DDoS we własnej sieci oraz przy współpracy z operatorami np. BGP Blackholing, serwisy anty- DDoS. Stosowanie mechanizmów Anycast oraz bezstanowych np. ASA Clustering. 2010 Cisco and/or its affiliates. All rights reserved. Cisco Public 63

Thank you.