12-3-29 Data Center Allegro 1
Data Center Allegro wyboista droga L2 do autostrady L3 Przemysław Grygiel CCIE #15278 12-3-29 Data Center Allegro 2
Agenda Data Center >3 lata temu Core Upgrade Racki i moduły L3 IPv6 Nasz sposób na Data Center 12-3-29 Data Center Allegro 3
Infrastruktura sieciowa DC Grupy Allegro ~500 urządzeń sieciowych 2 główne DC Kilka tysięcy serwerów 100Gb/s ruchu w rdzeniu sieci Liczba racków podwaja się co 2-3 lata 12-3-29 Data Center Allegro 4
Data Center >3 lata temu Kilkadziesiąt szaf rack Klasyczna sieć L2 RPVST Centralny firewall (FWSM) Load Balancery F5 Firewall Core STP Root FWSM Si F5 Si 6500 6500 Load Balancer L3 L2 Wygodnie Distribution (rack) Access (blade) 12-3-29 Data Center Allegro 5
L2 Data Center jest wygodne ale Sztormy broadcastowe Dużo TCN (Topology Change Notification) wiedz, że coś dzieje Diagnostyka #sh mac address-table address 0021.5ee2.2e36 12-3-29 L2 6
L2 Data Center >100 VLANów - wszędzie i na każdym trunku Zapomniane linki pomiędzy szafami takie na chwile Mało odporne na czynnik ludzki Pętle 12-3-29 L2 7
Core upgrade - 2010 Wymiana 6509 na Nexusy 7010 Wymiana FWSMów na N par dużych ASA Dlaczego? Brak wolnych portów na 6500 Migracja do 10G Wydajność Uproszczenie topologii STP Docelowo migracja sieci do L3 Wirtualizacja 12-3-29 Core upgrade 8
Nasze wdrożenie Nexusów w liczbach W szczycie blisko 100 virtual Port Channels (vpc) 3 wirtualne switche - Virtual Device Contexts (VDC) Kilka przestrzeni routingowych (VRF) IP Dual Stack IPv4/IPv6 Wsparcie dla multicastów Private VLANs Ale też: 2 nowe bugi (nie krytyczne) Kilkanaście case ów w TAC 12-3-29 Nexus 7000 9
VDC (Virtual Device Contexts) Po co nam VDC? Efektywne wykorzystanie mocy obliczeniowej Separacja Administracja per VDC Lab Nexus 7010 Max 4 VDC Virtual switch Production Virtual switch Hosting Virtual switch Lab 12-3-29 VDC 10
vpc upraszczamy topologię STP 12-3-29 vpc 11
vpc upraszczamy topologię STP 12-3-29 vpc 12
vpc - o czym warto pamiętać Zalecane konfiguracja vpc peer-link (2x10G) We recommend that you configure the vpc peer links on dedicated ports of different N7K M132XP-12 modules to reduce the possibility of a failure. For the best resiliency scenario, use at least two N7K-M132XP-12 modules. Dedicated mode vpc keepalive-link (2x1G) Każde VDC musi mieć własny peer-link i keepalive-link 12-3-29 vpc 13
vpc - o czym warto pamiętać Unikalna domena vpc dla każdej pary urządzeń In-Service Software Upgrade (ISSU) Peer link loop-avoidance logic vpc i L3 12-3-29 vpc 14
vpc i L3 Problem: Chcemy podłączyć parę ASA do Nexusów i zestawić sesję OSPFa pomiędzy nimi. 12-3-29 vpc 15
vpc i L3 Rozwiązanie: Wydzielony Port-Channel z VLANnem połączeniowym L3 umiejscowionym poza vpc peer link 12-3-29 vpc 16
vpc i L3 12-3-29 vpc 17
vpc rozwiązuje nam problem z STP ale inne problemy sieci L2 pozostają: TCNy Sztormy broadcastowe Diagnostyka To może jednak L3? 12-3-29 L3 18
Rack jako węzeł L3 Korzyści: Ograniczenie domeny broadcastowej Eliminacja STP w rdzeniu Wysoka skalowalność Poprawa czasu konwergencji Efektywne wykorzystywanie linków ECMP Mniej broadcastów - mniejsze obciążenie CPU serwerów TTL 12-3-29 L3 19
L3 do racka To również wyzwania: Organizacja polityk bezpieczeństwa Separacja stref na poziomie VRFów Zarządzanie adresacją Konfiguracja routingu Koszty? 12-3-29 L3 20
Moduły L3 Wiele racków = jeden węzeł L3 i jedna funkcja Cała potrzebna infrastruktura w jednym miejscu: Serwery Macierze Switche (routery) Load Balancery Firewalle 12-3-29 Moduł L3 21
Moduł kontra racki L3 Zalety: Kompromis pomiędzy L2 a L3 Mniej ruchu w rdzeniu Prosta konfiguracja Wady: Efektywność wykorzystania sprzętu Elastyczność Brak rozproszenia 12-3-29 Moduł L3 22
Firewalle w Data Center Jeden duży firewall to zawsze za mało Centralny firewall przy atakach DDoS staje się SPoFem A może rozproszyć firewalle na wiele mniejszych? Czy wszędzie potrzebujemy firewalle stanowe? Co z zarządzaniem wieloma? 12-3-29 DC Firewall 23
VRF (Virtual Routing and Forwarding) Data Center L3 Interconnect 12-3-29 DC Interconnect 24
rt1.dc1 interface TenGigabitEthernet2/3 rt1.dc2 interface TenGigabitEthernet2/3 interface TenGigabitEthernet2/3.3001 ip vrf forwarding vrfa encapsulation dot1q 3001 ip address 10.1.1.1 255.255.255.252 interface TenGigabitEthernet2/3.3002 ip vrf forwarding vrfb encapsulation dot1q 3002 ip address 10.2.1.1 255.255.255.252 interface TenGigabitEthernet2/3.3003 12-3-29 DC Interconnect 25 ip vrf forwarding vrfc interface TenGigabitEthernet2/3.3001 ip vrf forwarding vrfa encapsulation dot1q 3001 ip address 10.1.1.2 255.255.255.252 interface TenGigabitEthernet2/3.3002 ip vrf forwarding vrfb encapsulation dot1q 3002 ip address 10.2.1.2 255.255.255.252 interface TenGigabitEthernet2/3.3003 ip vrf forwarding vrfc encapsulation dot1q 3003 ip address 10.3.1.2 255.255.255.252
Data Center L3 Interconnect EoMPLS/VPLS 12-3-29 DC Interconnect 26
IPv6 co mamy Uruchomiony peering IPv6 z: Sieć DC skonfigurowana i przygotowana pod IPv6 Serwisy dostępne po IPv6: www.citeam.pl Obrazki allegro 12-3-29 IPv6 27
IPv6 - spostrzeżenia Dynamiczne protokoły routingu IPv6 na Cisco ASA ACLe IPv6 Adresacja serwerów statyczna czy dynamiczna? F5 prosty sposób na dodawanie nowych VIPów IPv6 F5 translacja IPv6 <-> IPv4 12-3-29 IPv6 28
Nasza recepta na Data Center Pojedyncze racki to węzły L3 Przewidywalne w rozmiarze usługi zamykamy w modułach L3 Pozostałe węzły L2 podłączamy tak, aby Spanning tree miał tylko jedną ścieżkę do roota: vpc vpc vpc Multi Chassis Etherchannel Połączenia pomiędzy DC tylko L3 12-3-29 DC 29
Nasza recepta na Data Center Decentralizacja, decentralizacja i jeszcze raz decentralizacja Automatyzacja konfiguracji i zarządzania Cloud część zadań przenosimy administracyjnych na developerów Out of Band Management dla > 1000 urządzeń 12-3-29 DC 30
Pytania? 12-3-29 31
Dziękuje za uwagę 12-3-29 32