Rozwiązania FlexFabric Pełna konwergencja środowisk Ethernet i Fibre Channel w HP Networking Robert Miros, 23 kwiecień 2014
Wstęp
Sieci klasyczne w dniu dzisiejszym Dużo urządzeń, różne media 3
Sieci klasyczne obsługa manualna Czasochłonna administracja, ograniczona elastyczność 4
Wyzwania - przyszłość Ośrodków Przetwarzania Danych Prostota Integracja Automatyzacja Uniwersalne porty i optyka Wire-once IP, FCoE Jedno Medium OpenFlow, VEPA, IMC VAN i SDN 5
Prostota warstwy fizycznej wire-once
Różne potrzeby różne sieci, różne media Po co nam wire-once? FCoE Storage LAN iscsi lub NAS Storage Serwery z kartami Ethernet i FC HBA SAN Fabric Sieć FC Sieć Ethernet FC Storage 7
Porty konwergentne Wszechstronne możliwości połączeń Ethernet/FCoE/FC 1/10GbE LAN FC SAN FC Storage Wszystkie porty typu converged Połączenia do sieci LAN i SAN Optyka typu wire-ones Brak licencji dla portów i funkcji iscsi lub NAS storage Converged Ports Converged Optics FCoE Storage 8
Konwergentne wkładki optyczne SFP+ 16GbFC/10GbE ujednolicona optyka Pojedynczy transceiver optyczny wspiera jednocześnie komunikację 8/16Gb FC i 10GbE Ethernet w zależności od konfiguracji i ustawień eeprom. Zalety: Pozwala na elastyczne wykorzystanie wkładek w zależności bez konieczności ich wymiany Ogranicza koszty i podnosi zwrot z inwestycji Kup raz i okabluj raz Ogranicza przestoje i obsługę fizyczną. Klienci nie chcą stosować wielu typów wkładek Podnosi niezawodność zmniejszona obsługa (brak konieczności wyjmowania, łączenia i układania przewodów) 9
Sieć kowergentne DCB & FCoE
Zalety zastosowanie sieci konwergentnych z FCoE Obniżenie CapEx i OpEx przez konsolidację I/O Konsolidacja i uproszczenie połączeń serwerów do sieci LAN i SAN Redukcja: kart i adapterów w serwerach, okablowanie, przełączników, portów, mocy zasilania i wymaganego chłodzenia Obniżenie CapEx i OpEx w środowisku Centrum Przetwarzania Danych FC HBA FC HBA NIC NIC FC Traffic Ruch FC Ruch Ethernet Ruch Ethernet CNA CNA Porty I/O typu Converged 11
Co znaczy sieć konwergentna? Sieć konwergentna jest zdefinowana przez DCB i FCoE: Sieci Ethernet wspierające standardy Data Center Bridging (DCB) IEEE 802.1Qaz IEEE 802.1Qbb IEEE 802.1Qau Enhanced Transmission Selection (ETS) & DCB Capabilities Exchange Protocol (DCBX) Priority-based Flow Control (PFC) Congestion Notification (QCN) 2 Hops FC SAN LAN Przełączniki ze wsparciem dla DCB/FCoE 1 Hop Sieci Ethernet które mogą transmitować bezpiecznie dane dyskowe w oparciu o technologię FCoE INCITS 462:2010 Fibre Channel over Ethernet (FCoE) Converged link (FCoE) Native FC link Legacy Ethernet link FCoE Storage Native FC Storage 12
802.1Qaz ETS Enhanced Transmission Selection Możliwość zastosowania zróżnicowanego traktowania ruchu w tej samej klasie dzięki ETS Virtual Lanes IPC 0 VoIP 1 FCoE 2 3 4 LAN 5 6 7 Group 7 Group 6 Group 0 802.1Qaz ETS 10% 60% 30% 13 Negocjacja dla połączeń P-P: DCB Capabilities Exchange Protocol (DCBX)
802.1Qbb PFC Priority-based Flow Control W przypadku zatorów na łączu: Pomaga zapewnić dostarczenie danych krytycznych bez utraty danych Ruch wrażliwy na opóźnienie jest dostarczany zgodnie z zapotrzebowaniem Transmit Queues Receive Buffers 8 Virtual Lanes 0 1 2 3 4 5 6 7 14 Negocjacja dla połączeń P-P: DCB Capabilities Exchange Protocol (DCBX)
Quantized Congestion Notification (QCN) Kontrola na całej długości trasy Pewny, deterministyczny mechanizm umożliwiający pracę z oversubskrypcją łącza Congestion Points Reaction Points Storage Storage Data Flow Congestion Notification Messages 15
Co jest potrzebne do konsolidacji I/O? Protokoły DCB FCoE FC-4 FC-3 FC-2V FCoE LEP 2 - MAC 1 - Physical IEEE 802.1Qbb, 802.1Qaz, 802.1Qau INCITS/ANSI T11.3 FC-BB-5 16
Ethernet Header FCoE Header FC Header CRC EOF FCS Fibre Channel over Ethernet Tunelowanie ramek FC w protokole warstwy L2 jakim jest Ethernet Bez narzutu TCP/UDP i IP (bez routingu IP) Zależny od protokołów DCB zapewniających środowisko bezstratne FC pracuje w oparciu o mechanizmy buffer-to-buffer credit FCoE pracuje w oparciu o mechanizmy DCB (np. PFC) Ramka FC jest niemodyfikowana Ramki Ethernet muszą być większe niż 1,5KB Tradycyjny Ethernet Ruch IP Ramka Ethernet, Ethertype = FCoE=8906h Taka jak fizyczna ramka FC DCB Ruch FC Ruch IP FC Payload 17 Informacja kontrolna: wersja, kolejność (SOF, EOF)
Tryby pracy przełączników FCoE Przełączniki FCoE (Ethernet i FC) mogą pracować w 4 trybach FCF FC Switch Mode Pełny stos FC podobnie jak w przełącznikach SAN łączących źródła i klientów NPV Gateway FC Gateway Mode LAN/SAN agregacja portów dostępowych sieci FCoE FSB - FC Transit Mode FIP Snooping Bridge zapewniający połączenia LAN pomiędzy urządzeniami FCoE Generic Ethernet switch Typowa funkcjonalność L2/L3, MPLS, IRF, VPLS 18
Fibre Channel Forwarder (FCF) FC/FCoE Terminologia Switch Mode FIP Serwer Sieć Lossless Ethernet VF_Port FCF Sieć Lossless Ethernet FCF VF_Port FCoE storage VN_Port E_Port VE_Port VE_Port VN_Port E_Port F_Port FC storage Czysty FC Czysty Ethernet FCoE FCF N_Port FCF może komunikować się z macierzami i klientami FC bezpośrednio Sieć oparta o FCF może posiadać wiele przeskoków i współpracować z przełącznikami pracującymi w trybie FSB i NPV 19
FC/FCoE NPV FC/FCoE Terminologia Gateway Mode FIP Serwer Sieć Lossless Ethernet VF_Port VF_Port FCF Sieć Lossless Ethernet FCF VF_Port FCoE storage VN_Port FC gateway (NPV) VNP_Port E_Port VE_Port VE_Port VN_Port E_Port F_Port FC storage Czysty FC Czysty Ethernet FCoE FCF N_Port Tryb NPV(N-Port Virtualization) Stosowany gdy domena FC ma limitowane zasoby; NP-Port łączy się z portem typu F-Port i pracuje w trybie proxy dla innych portów typu N-Ports na przełączniku typu NPV 20
FIP Snooping Bridge (FSB) FC/FCoE Terminologia Transit Mode Serwer Sieć Lossless Ethernet VF_Port F_Port Storage VN_Port FIP Snooping Switch FCF N_Port Czysty FC Czysty Ethernet FCoE Przełącznik pracujący w trybie FSB potrzebuje przełącznika FCF zgodnie z FC-BB-5 by możliwa była komunikacja FC z innymi urządzeniami w sieci FC/FCoE 21
HP FlexFabric scenariusz 1 Jeden przeskok VF_Port IRF (Opcja) Przełącznik (FCF) F_Port FCoE Storage VN_Port N_Port FC Storage iscsi lub NAS Storage Serwery z CNA lub FC HBA Czysty FC Czysty Ethernet FCoE 22
HP FlexFabric scenariusz 2 Dwa przeskoki F_Port SAN-A SAN-B N_Port N_Port FC Storage Przełącznik (NPV) NP_Port IRF (Opcja) NP_Port F_Port Czysty FC Czysty Ethernet FCoE 23 Serwery Blade FCoE (NPV) Serwery Blade Serwer HBA Serwer CNA
Co myślę o FCoE To jest prawdopodobnie typowe rozumienie dla każdego z nas FCoE to Fibre Channel, spełniający zasady i regulacje sieci Fibre Channel FCoE powstał by pracować w sieci Layer 2 Ethernet Jeśli próbujemy myśleć o FCoE jak o sieci Ethernet -> Zaprowadzi to nas do niewłaściwych wniosków, nawet jeśli wiemy, że FCoE jest obecny na rynku od kilku lat. Myślmy o FCoE jak o protokole Fibre Channel pracującym na innym medium Często FC Fabrics musi pracować w ramach jednego dostawcy sprzętu Nawet jeśli przełącznik dostępowy wpiera połączenia z kart NIC nazywanych CNA wspierających podwójny stos z Fibre Channel Załóżmy, że konfiguracja nie będzie działa, chyba, że jest na liście konfiguracji wspieranej Wsparcie jest określane na podstawie testów Interoperability, a nie zgodności ze standardami 24
Ewolucja FCoE: FC-BB-5, FC-BB-6 FC-BB-6 jest następną generacją specyfikacji protokołu Fibre Channel FC-BB-6 jest już na etapie finalnej standaryzacji i powinna pojawić się oficjalnie z najbliższym czasie Intencją standardu jest poszerzenie funkcjonalności FCoE by sieci te zachowywały się poprawnie we wszystkich przypadkach implementacji Przestaniemy myśleć, że przełącznik FCF jest pomostem pomiędzy światem FCoE i FC Zacznijmy myśleć, że przełącznik FCF jest przełącznikiem, który rozumie i wspiera pełny stos Fibre Channel Nie myślmy, że przełączniki non-fcf Ethernet pracują w środowisku FCoE autonomicznie Nazwiemy przełączniki non-fcf Ethernet jako FDF (FCoE Data Plane Forwarder) 25
Ewolucja FCoE: FC-BB-6 FC-BB-6 zezwoli by FDF przesyłał pakiety bezpośrednio do innego FDF Pod kontrolą wspólnego systemu pełniącego rolę FCF Jeśli pomyśleliście teraz, że to wygląda jak SDN to macie racje Takie rozwiązania już się pojawiają: sieć oparta jest o centralny FCF i dołączone przełączniki dostępowe typu FDF 26
Automatyzacja SDN
Praca w środowisku OpenFlow Centralny Kontroler jest pojedynczym punktem nadzoru sieci OpenFlow Kontroler Protokół OpenFlow jest używany do komunikacji pomiędzy przełącznikami i kontrolerem Klienckie usługi sieciowe są definiowane przez kontroler dla każdego połączenia logicznego osobno (oper-flow basis) Zmiany dokonywane na kontrolerze wpływają na konfigurację usług i pracę całej sieci Przełącznik OpenFlow Tablica OpenFlow Przełącznik OpenFlow Flow Table Przełącznik OpenFlow Flow Table 28
Wymiana tradycyjnej architektury przełącznika Podejmowanie decyzji Kontroler PC PC Control Plane (Software) OpenFlow Agent Data Flow Plane Table (Hardware) Forwarding Engine 29
Wymiana tradycyjnej architektury przełącznika Decision Podejmowanie making (intelligence) decyzji Kontroler PC PC Agent OpenFlow Data Flow Plane Table (Hardware) Forwarding Engine 30
OpenFlow - Reguły, akcje, statystyki Reguły Akcje Statystyki Pakiet + Liczniki Bajtów 1. Prześlij pakiet do portu/ów lub usuń 2. Zmodyfikuj pola 3. Tuneluj do kontrolera 4. Wyślij do standardowego procesu L2/L3 Switch Port VLAN ID VLAN pcp MAC src MAC dst Eth type IP Src IP Dst IP ToS IP Prot L4 sport L4 dport 31 + Maska dla pola reguły
CTL CRC Version SOF EOF Reserved CRC EOF FCS FCoE Framing Ethernet Header FCoE Header FC Header FC Payload Dwa protokoły są zdefiniowane w standardzie: FCoE : Protokół Data Plane FIP: Protokół Control Plane Ethertypes: FCoE: 0x8906 FIP: 0x8914 Nagłówek Ethernet 8 Bytes 6 Bytes 6 Bytes 2 Bytes 46-2148 Bytes 4 Bytes Frame Preamble Destination Source Dot1Q FCoE Frame Check /SFD MAC Address MAC Address Sequence Nagłówek FCoE Nagłówek FC EtherTyp Dest FC:ID 2 Bytes 3 Bytes 3 Bytes Source FC:ID Reserved Type, Seq_Cnt, etc. FC Frame FC Data Cała niezmodyfikowana ramka FC jest wpisana w pojedynczą ramkę Ethernet; bez fragmentacji. 32
Dlaczego HP Networking wspiera innowacje SDN Przygotuj sieć zgodnie z wymaganiami firmy 33
HP FF 5900CP wszystko w jednym
HP FlexFabric 5900CP - pozycjonowanie produktu Comware V7 Modular OS Rdzeń i Agregacja HP 12910 HP 12916 HP 12500 HP 11900 Dostęp (ToR) HP 5920AF HP 5900CP HP 5930 HP 5900AF HP 58X0 AF 35
HP Flex Fabric Top Of Rack Przełącznik 5900CP-48XG-4QSFP+ ( Converged Ports ) HP FF 5900CP Model przełącznika z portami 10G Ethernet/10G FCoE i portami 4/8 FC (fiber channel) Dlaczego jest taki interesujący? 36 o Wsparcie dla różnych portów typu Fiber Channel (bez wsparcia dla portów 16G) 48 1G/10G SFP+ portów converged, wsparcie dla 1/10Gb Ethernet i 4/8Gbps FC 4 porty 40GbE QSFP o System operacyjny Comware v7 jak w całej serii 5900 o Stos FC/FCoE jest częścią systemu Comware bez dodatkowych wymagań sprzętowych Certyfikacja z systemami HP storage Brak dodatkowych licencji o Zasilacze i wentylatory z serii 5900 (F/B & B/F)
HP Flex Fabric Top Of Rack Przełącznik 5900CP-48XG-4QSFP+ ( Converged Ports ) 10 GbE Opóźnienie < 1.5 µs (dla pakietów 64 B) 1.28 Tbps - przepustowość przełącznika 952.32 Million PPS wydajność Stos IRF z 4 urządzeń Bezpośrednie połączenie do zasobów FC Praca jako FC Forwarder (FCF) (Switch Mode) Wsparcie dla FCoE NP/NPV (Gateway Mode) Snoop FCoE Initialization Protocol (FIP) (Transit Mode) Wsparcie dla iscsi Praca w chmurze SDN (OpenFlow 1.3.1) 37
Dziękuję