Data Center Allegro 1

Transkrypt

1 Data Center Allegro 1

2 Data Center Allegro wyboista droga L2 do autostrady L3 Przemysław Grygiel CCIE # Data Center Allegro 2

3 Agenda Data Center >3 lata temu Core Upgrade Racki i moduły L3 IPv6 Nasz sposób na Data Center Data Center Allegro 3

4 Infrastruktura sieciowa DC Grupy Allegro ~500 urządzeń sieciowych 2 główne DC Kilka tysięcy serwerów 100Gb/s ruchu w rdzeniu sieci Liczba racków podwaja się co 2-3 lata Data Center Allegro 4

5 Data Center >3 lata temu Kilkadziesiąt szaf rack Klasyczna sieć L2 RPVST Centralny firewall (FWSM) Load Balancery F5 Firewall Core STP Root FWSM Si F5 Si Load Balancer L3 L2 Wygodnie Distribution (rack) Access (blade) Data Center Allegro 5

6 L2 Data Center jest wygodne ale Sztormy broadcastowe Dużo TCN (Topology Change Notification) wiedz, że coś dzieje Diagnostyka #sh mac address-table address ee2.2e L2 6

7 L2 Data Center >100 VLANów - wszędzie i na każdym trunku Zapomniane linki pomiędzy szafami takie na chwile Mało odporne na czynnik ludzki Pętle L2 7

8 Core upgrade Wymiana 6509 na Nexusy 7010 Wymiana FWSMów na N par dużych ASA Dlaczego? Brak wolnych portów na 6500 Migracja do 10G Wydajność Uproszczenie topologii STP Docelowo migracja sieci do L3 Wirtualizacja Core upgrade 8

9 Nasze wdrożenie Nexusów w liczbach W szczycie blisko 100 virtual Port Channels (vpc) 3 wirtualne switche - Virtual Device Contexts (VDC) Kilka przestrzeni routingowych (VRF) IP Dual Stack IPv4/IPv6 Wsparcie dla multicastów Private VLANs Ale też: 2 nowe bugi (nie krytyczne) Kilkanaście case ów w TAC Nexus

10 VDC (Virtual Device Contexts) Po co nam VDC? Efektywne wykorzystanie mocy obliczeniowej Separacja Administracja per VDC Lab Nexus 7010 Max 4 VDC Virtual switch Production Virtual switch Hosting Virtual switch Lab VDC 10

11 vpc upraszczamy topologię STP vpc 11

12 vpc upraszczamy topologię STP vpc 12

13 vpc - o czym warto pamiętać Zalecane konfiguracja vpc peer-link (2x10G) We recommend that you configure the vpc peer links on dedicated ports of different N7K M132XP-12 modules to reduce the possibility of a failure. For the best resiliency scenario, use at least two N7K-M132XP-12 modules. Dedicated mode vpc keepalive-link (2x1G) Każde VDC musi mieć własny peer-link i keepalive-link vpc 13

14 vpc - o czym warto pamiętać Unikalna domena vpc dla każdej pary urządzeń In-Service Software Upgrade (ISSU) Peer link loop-avoidance logic vpc i L vpc 14

15 vpc i L3 Problem: Chcemy podłączyć parę ASA do Nexusów i zestawić sesję OSPFa pomiędzy nimi vpc 15

16 vpc i L3 Rozwiązanie: Wydzielony Port-Channel z VLANnem połączeniowym L3 umiejscowionym poza vpc peer link vpc 16

17 vpc i L vpc 17

18 vpc rozwiązuje nam problem z STP ale inne problemy sieci L2 pozostają: TCNy Sztormy broadcastowe Diagnostyka To może jednak L3? L3 18

19 Rack jako węzeł L3 Korzyści: Ograniczenie domeny broadcastowej Eliminacja STP w rdzeniu Wysoka skalowalność Poprawa czasu konwergencji Efektywne wykorzystywanie linków ECMP Mniej broadcastów - mniejsze obciążenie CPU serwerów TTL L3 19

20 L3 do racka To również wyzwania: Organizacja polityk bezpieczeństwa Separacja stref na poziomie VRFów Zarządzanie adresacją Konfiguracja routingu Koszty? L3 20

21 Moduły L3 Wiele racków = jeden węzeł L3 i jedna funkcja Cała potrzebna infrastruktura w jednym miejscu: Serwery Macierze Switche (routery) Load Balancery Firewalle Moduł L3 21

22 Moduł kontra racki L3 Zalety: Kompromis pomiędzy L2 a L3 Mniej ruchu w rdzeniu Prosta konfiguracja Wady: Efektywność wykorzystania sprzętu Elastyczność Brak rozproszenia Moduł L3 22

23 Firewalle w Data Center Jeden duży firewall to zawsze za mało Centralny firewall przy atakach DDoS staje się SPoFem A może rozproszyć firewalle na wiele mniejszych? Czy wszędzie potrzebujemy firewalle stanowe? Co z zarządzaniem wieloma? DC Firewall 23

24 VRF (Virtual Routing and Forwarding) Data Center L3 Interconnect DC Interconnect 24

25 rt1.dc1 interface TenGigabitEthernet2/3 rt1.dc2 interface TenGigabitEthernet2/3 interface TenGigabitEthernet2/ ip vrf forwarding vrfa encapsulation dot1q 3001 ip address interface TenGigabitEthernet2/ ip vrf forwarding vrfb encapsulation dot1q 3002 ip address interface TenGigabitEthernet2/ DC Interconnect 25 ip vrf forwarding vrfc interface TenGigabitEthernet2/ ip vrf forwarding vrfa encapsulation dot1q 3001 ip address interface TenGigabitEthernet2/ ip vrf forwarding vrfb encapsulation dot1q 3002 ip address interface TenGigabitEthernet2/ ip vrf forwarding vrfc encapsulation dot1q 3003 ip address

26 Data Center L3 Interconnect EoMPLS/VPLS DC Interconnect 26

27 IPv6 co mamy Uruchomiony peering IPv6 z: Sieć DC skonfigurowana i przygotowana pod IPv6 Serwisy dostępne po IPv6: Obrazki allegro IPv6 27

28 IPv6 - spostrzeżenia Dynamiczne protokoły routingu IPv6 na Cisco ASA ACLe IPv6 Adresacja serwerów statyczna czy dynamiczna? F5 prosty sposób na dodawanie nowych VIPów IPv6 F5 translacja IPv6 <-> IPv IPv6 28

29 Nasza recepta na Data Center Pojedyncze racki to węzły L3 Przewidywalne w rozmiarze usługi zamykamy w modułach L3 Pozostałe węzły L2 podłączamy tak, aby Spanning tree miał tylko jedną ścieżkę do roota: vpc vpc vpc Multi Chassis Etherchannel Połączenia pomiędzy DC tylko L DC 29

30 Nasza recepta na Data Center Decentralizacja, decentralizacja i jeszcze raz decentralizacja Automatyzacja konfiguracji i zarządzania Cloud część zadań przenosimy administracyjnych na developerów Out of Band Management dla > 1000 urządzeń DC 30

31 Pytania?

32 Dziękuje za uwagę