Imagine Virtually Anything Cisco Data Center 3.0 FibreChannel over Ethernet i Unified Computing System Warszawa, 18 maja 2010 Hotel Intercontinental 2009 VMware Cisco EMC. All rights reserved. 2009 VMware Cisco EMC. All rights reserved. 1
Krzysztof Banel odpowiadam za technologie Cisco Data Center w Polsce, projektowanie i optymalizacja ośrodków przetwarzania danych, Fibre Channel i konwergentne sieci Ethernet, systemy składowania i przetwarzania danych, środowiska typu storage/compute grid, wydajny transport w sieciach lokalnych i rozległych, CCIE #9341 kontakt: kbanel@cisco.com
Imagine Virtually Anything Agenda Ewolucja architektur sieciowych w DC Wirtualizacja serwerów Cisco Unified Computing System ( UCS) Podsumowanie 2009 VMware Cisco EMC. All rights reserved. 3
Imagine Virtually Anything Ewolucja architektur sieciowych w DC 2009 VMware Cisco EMC. All rights reserved. 2009 VMware Cisco EMC. All rights reserved. 4
Transformacja Data Center Data Center 3.0 Strategia Cisco Znaczenie działu IT i jegp wpływ Data Center 1.0 Data Center 2.0 Data Center 3.0 Mainframe Client-Server Computing Recentralizacja & i Web 2.0 WAN Centralizacja Decentralizacja Wirtualizacja Ewolucja architektur
Data Center 3.0 ścieżka ewolucji Wirtualizacja spowodowała transformację rynkową. Serwery stają się płynnymi obiektami w sieci. Data Center musi ewoluować aby móc rosnąć. Cisco oferuje nową alternatywę wobec tradycyjnych metod budowy zwirtualizowanego Data Center. Location Freedom Unified Computing HW Freedom Provisioning Freedom Konsolidacja Wirtualizacja Automatyzacja Organizacja Rynek Inter-Cloud Private Clouds Unified Computing Unified Fabric Data Center Networking
Od silosów do usług Do Data Center 3.0 poprzez sieć Konsolidacja Wirtualizacja Automatyzacja App1 App2 App3 Svr Nwk Svr Nwk Svr Nwk App1 App2 App3 Virtual Server Pool Virtualized Network Application Services Infrastructure Services SAN SAN SAN Virtual Storage Pool Unified Fabric Odzyskanie kontroli Redukcja wydatków Zwiększenie utylizacji Zasoby dołączone do sieci Większa elastyczność Szybsza konfiguracja Wydajność Usługi hostowane przez sieć Udostępnianie Usług Automatyzacja wdrożeń Kompatybilnosć Usługi organizowane przez sieć
Obiecywano że wirtualizacja rozwiąże wszystkie problemy. Jednakże, dotychczas oferowane w tym zakresie rozwiązania adresują tylko częśc problemu jednocześnie powiększając nakłady, zwiększając skomplikowanie infrastruktury i ryzyko. Wirtualizacja w Data Center Platforma wirtualizacyjna Wysoka Złożoność Zaawansowana obsługa Platforma serwerowa Platforma sieciowa Koszt Koszt Chłodzenie Zasilanie Budynek Koszt Koszt Storage Sieć Software Serwer Koszt Koszt Złożoność Administracja Koordynacja
Innowacje w Data Center Ścieżka ewolucji Data Center 3.0 doprowadziła do szeregu innowacji umożliwiających Unifikację Dostępu, Automatyzację Przetwarzania, Uproszczenie Data Center, i Zwiększenie Korzyści Biznesowych. Nexus 7000 Lossless Fabric Nexus 5000 10GbE DCB & FCoE Nexus 2000 Fabric Extender Nexus 1000V VM-Aware Networking Cisco UCS Integrated Compute Platform 8GB FC NX- OS 2008 Cisco MDS VM-Aware Storage 4.1 2009 4.2
Unifikacja VN-Link Zwirtualizowana warstwa dostępowa Kompatybilność z infrastrukturą przełączającą Interakcja między maszyną wirtualną (VM) i fizyczną siecią Oparcie o standardy Unified Fabric Przełączniki klasy Enterprise Dla dostępu serwerów Małe opóźnienie i bezstratność Konsolidacja I/O wokoł Ethernetu Oparcie o standardy Unified Computing Platforma dla elastycznego przetwarzania i wirtualizacji Architektura Multi-rack Dowolna forma Architektura x86 Oparcie o standardy
Nexus 7000 Primer Platforma zbudowana i przeznaczona dla Data Center Przełączniki Nexus 7000 and NX-OS 10 & 18 Slot versions 15+ Terabit System Optimized for 1/10/40/100 Gbps Multi-protocol (L2/L3, DCB, FCoE) Modern, Modular OS Device Virtualization Continuous Operations HW Based Cisco TrustSec Support Operationally Focused Design Moduły Supervisor 10G Ethernet 32 Port SFP+ 10G 8 Port X2 10G - XL (Future) 32 Port SFP+ - XL (Future) 1G Ethernet 48 Port 1G-TX, SFP 48 Port XL (Future) 10G DCE 32 Port SFP+ 10G DCB (Future) Cisco Data Center Network Manager Cisco NX-OS Multi-protocol Operating System Data Center Network Manager (DCNM)
Nexus 7000 VDC - Virtual Device Contexts Wirtualizacja chassis - Nexus 7000 Do 4 wirtualnych chassis ze wspólnym modułem supervisor Oddzielne instancje control plane oraz zazrądzanie/cli dla każdego wirtualnego przełącznika Dany interfejs należy wyłącznie do pojedynczego VDC w chassis, dla łączenia VDC wymagane dedykowane fizyczne połączenie między portami tego samego fizycznego urządzenia Projektowanie z VDC Projektowanie z VDC W ramach topologii sieci VDC służą w tej samej roli co fizyczne przełączniki: szkielet, agregacja lub dostęp Wiele przykładowych topologii zostało opracowanych przez zespoły Cisco rekomendujące arbitektury sieciowe (ESE) Dwa VDC na tym samym fizycznym urządzeniu NIE powinny być używane do budowy redundantnego rozwiązania w warstwie sieciowej wskazana fizyczna redundancja
Definicje Architektura warstwowa Szkielet Data Center Dedykowana routowana warstwa która w sposób istotny różni się od rdzenia ogólnego przeznaczenia Zapewnia skalowalność poprzez dodawanie kolejnych bloków agregacyjnych. Warstwa agregacyjna Zapewnia rozgraniczenie między routingiem w warstwie 3 i przełączaniem w warstwie 2 Mejsce dołączenia urzadzeń usługowych (firewall, SLB, itd.) Warstwa dostępowa Zapewnia dołączenie serwerów i współdzielonych zasobów Zwykle przełączanie w warstwie 2 Warstwa SAN Dołączenie do pamięci masowej, zwykle poprzez Fibre Channel Szkielet DC Agregacja Dostęp Enterprise Network Layer 3 Links Layer 2 Trunks
Fibre Channel over Ethernet (FCoE ) Rozszerzenie technologii Fibre Channel na bezstratną sieć Ethernet Specyfikacja standardu FCoE w ANSI INCITS FC T11.3 On Wednesday June 3rd, 2009, the FC-BB- 5 working group of T11 completed the development of the draft standard and unanimously approved it as the final standard. The following day the plenary session of T11 approved forwarding the FC- BB-5 standard to INCITS for the publication process as an ANSI standard http://www.t11.org/ftp/t11/pub/fc/bb-5/09-056v5.pdf FCoE Frame Format Bit 0 Bit 31 IEEE 802.1Q Tag Destination MAC Address Source MAC Address ET = FCoE Ver Reserved Reserved Reserved Reserved Encapsulated Fibre Channel Frame (Including FC-CRC) EOF FCS Ethernet Header FCoE Header Reserved FC Header SOF Byte 0 Byte 2197 Fibre Channel Payload CRC EOF FCS
IEEE DCB Data Center Bridging - standaryzacja Technologie DCB pozwalają na pracę sieci Ethernet w trybie bez strat oraz na podział pasma pomiędzy SAN i LAN Feature / Standard IEEE 802.1Qbb Priority Flow Control (PFC) Enable multiple traffic types to share a common Ethernet link without interfering with each other Standards Status PAR approved Draft 1.0 published, expected WG ballot in 11/09 IEEE 802.1Qaz Bandwidth Management (ETS) Enable consistent management of QoS at the network level by providing consistent scheduling PAR approved Draft 0.2 published, expected WG ballot in 11/09 Data Center Bridging Exchange Protocol (DCBX) Management protocol for enhanced Ethernet capabilities This is part of IEEE 802.1Qaz
Fibre Channel over Ethernet (FCoE ) Mniej kart - CNA (Converged Network Adapter) zamiast wielu kart NIC, HBA itp Mniejsza ilość interfejsów dla serwerów blade FC HBA FC Traffic FC HBA NIC NIC FC Traffic LAN Traffic LAN Traffic CNA CNA All traffic goes over 10GE NIC Mgmt Traffic NIC Backup Traffic HCA IPC Traffic
Imagine Virtually Anything FCoE: Dzisiaj technologia warstwy dostępowej Pierwszym krokiem jest konsolidacja dostępu : zapewnia uproszczenie i obniżenie kosztów przy zachowaniu architektury całości SAN A SAN B 10GE Backbone VF_Ports VN_Ports 2009 VMware Cisco EMC. All rights reserved. 17
Imagine Virtually Anything FCoE wkrótce Multi-Tier SAN A SAN B Cele: Migracja rdzenia sieci FC do FCoE Wsparcie dla FCoE w wiodących systemach macierzowych Backbone VE_Ports Macierz z interfejsem FCoE 2009 VMware Cisco EMC. All rights reserved. 18
Konsolidacja I/O Dzisiaj Konsolidacja I/O z FCoE LAN SAN A SAN B LAN SAN A SAN B Ethernet FC FC Ethernet FC Ethernet FC Enhanced Ethernet and FCoE
Imagine Virtually Anything QLE8152 - karta CNA Dwa porty10gb Ethernet PCI Express Gen2 Zintegrowany ASIC z pełnymfcoe offload Niweielki rozmiar Niweielki pobór mocy Nominalnie 11W dla dwuportowego adaptera Wydajność line rate (10GbE) dla i ruchu sieciowego Significant performance improvement over 1 st generation CNA Wsparcie dla kabli miedzianych SFP+ twin-ax 2009 VMware Cisco EMC. All rights reserved. 20
Zintegrowana infrastruktura Cisco Unified Data Center Fabric Primary Network Unified Fabric Secondary Network Złożona infrastruktura, Zwiększone koszty operacyjne, Utrudnione zarządzanie Uniwersalne I/O Jednolita infrastruktura
Migracja do Unified Fabric w warstwie dostępowej zapewnia integrację LAN i SAN Przełączniki Nexus 5000 zapewniają integrację zarówno danych (IP) jak i ruchu FibreChannel na bazie wspólnego interfejsu Ethernet w warstwie dostępowej Ruch FCoE może być wydzielony na standardowych interfejsach FC Nexusa 5000 i dołączony do sieci SAN (Storage Area Network) Serwery wymagają kart CNA (Converged Network Adapters) do konsolidacji ruchu na interfejsie, zmniejszając liczbę kart, kabli i zużywanej mocy LAN SAN IP Data and Storage Aggregation Server Access Ethernet Fibre Channel Ethernet plus FCoE
Rodzina przełączników Nexus 5000 28-Port L2 Switch 56-Port L2 Switch 40 fixed ports 10GE/FCoE/ Data Center Ethernet 16x1GE 2 Expansion Modules Nexus 5020 20 fixed ports 10GE/FCoE/ Data Center Ethernet 8x1GE 1 Expansion Module Nexus 5010 Ethernet Ethernet + FC Fibre Channel 6 ports 10 Gigabit Ethernet/ FCoE/DataCenterEthernet 4 Ports 10 Gigabit Ethernet/ FCoE/DataCenterEthernet 4 ports 1/2/4G FC 8 ports 1/2/4G FC Nexus 2148 Nexus 2140-10G 1RU Fabric Extender ( FEX ) 48x1GE + 4x10GE (2148) 40x10GE
Nexus 2000 Fabric Extender Wirtualne Chassis Nexus 5000 Zwirtualizowane chassis Nexus 5000 + = Nexus 2000 Fabric Extender The Nexus 2000 Fabric Extender (FEX) działa jak zdalna karta liniowa centralnego przełącznika Nexus 5000, który utrzymuje całość zarządzania i konfiguracji - Wirtualne Chassis
Unified Fabric oraz Fabric Extender Zdalna Karta linowa Typowe wdrożenie EoR Fabric Extender Wiele punktów zarządzania FC Ethernet Blade switches Rozbudowane okablowanie Unified Fabric oraz Fabric Extender Jeden punkt zarządzania Zmniejszenie liczby kabli Swiatłowód między szafami Miedź w szafach
Cisco Unified Computing System (UCS) Kompletny system zawierający zwirtualizowaną warstwę dostępową (warstwa 2) konsolidującą ruch (unified fabric) i zapewniający centralne zarządzania i alokowanie zasobów Zoptymalizowany aby zmaksymalizować elastyczność i szybkosć wdrwązana nowych jednostek serwerowych w zwirtualizowanym środowisku W kontekście topologii, podobnie do rozwiazania Nexus 5000/Nexus 2000 LAN SAN IP Data Aggregation Dual SAN Fabrics Ethernet Fibre Channel UCS FEX Uplinks Unified Computing Virtual Access UCS 6100 Series Fabric Interconnects UCS 5100 Enclosure UCS B-Series Servers UCS 2100 Fabric Extenders UCS I/O Adapters
Imagine Virtually Anything Wirtualizacja serwerów 2009 VMware Cisco EMC. All rights reserved. 2009 VMware Cisco EMC. All rights reserved. 27
Serwery X86 dzisiejsza architektura Switch Switch Switch Server Server Server Server Server Server
Serwery X86 - dzisiejsza wirtualizacja Switch Hypervisor Soft Switch Hypervisor Soft Switch Virtual Machine Virtual Machine Virtual Machine Virtual Machine Virtual Machine Virtual Machine Presentation_ID 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 29
VN-Link Nexus 1000V Cisco Nexus 1000C w ramach VMware vsphere 4.0 Utrzymanie istniejących metod zarządzania i monitorowania sieci i serwerów Soft Switch Zwiększone możliwości w zakresie diagnostyki i monitorowania Dostęp do poziomu VM Management VMware ESX VMware ESX Virtual Machine Virtual Machine Virtual Machine Virtual Machine Virtual Machine Virtual Machine Presentation_ID 2009 Cisco Systems, Inc. All rights reserved. Cisco Confidential 30
Cisco Nexus 1000V z VN-Link Cisco Nexus 1000V Rozwiązanie Software V M V M V M V M Pierwsze rozwiązanie sieciowe typu vnetwork Distributed Switch dla VMware vsphere Nexus 1000V Zbudowane w oparciu o Cisco NX- OS vsphere Kompatybilne ze wszystkimi fizycznymi przełącznikami Cisco Zachowuje rolę vcenter w zarządzaniu serwerami oraz administrację poprzez konsolę Cisco NX-OS CLI Dołączanie maszyn VM w oparciu o profile sieciowe Mobilność interfejsu sieciowego i jego konfiguracji Redundancja i niezawodność
Architektura Cisco Nexus 1000V vnic VM #1 VM #2 Server 1 Server 2 Server 3 VM #3 VM #4 VM #5 VM #6 VM #7 VM #8 VM #9 VM #10 VM #11 VM #12 VEM VEM VEM VMW VMW VMW veth Virtual Supervisor Module (VSM) Virtual Virtual Ethernet or Physical Module appliance (VEM) running Cisco OS (supports HA) Enables advanced networking Performs capability management, on the hypervisor monitoring, & configuration Hypervisor dependent code Tight integration with VMware Virtual Center Provides each VM with dedicated switch port Collection of VEMs = 1 Distributed Switch Nexus 1000V VSM Virtual Center
Budowanie warstwy dostępowej z wykorzystaniem wirtualizacji Wirtualna warstwa dostępowa Logicznie ciągle pojedyncza przełączana L2 warstwa Wspólne sterowanie i zarządzanie wieloma sprzętowymi modułami I/O Cisco Nexus 2000 Moduł Fabric Extendera Funkcjonuje jako wirtualny moduł I/O kontrolowany przez Nexusa 5000 Nexus 1000v Programowy przełącznik (DVS (Rozproszony wirtualny przełącznik) do budowy zwirtualizowanych środowisk serwerowych. Access Virtual- Access Data Center Core Aggregation Layer 3 Links Layer 2 Trunks CBS 3100 Nexus 2000 VMs Nexus 1000v
Imagine Virtually Anything Cisco Unified Computing System ( UCS ) 2009 VMware Cisco EMC. All rights reserved. 2009 VMware Cisco EMC. All rights reserved. 34
Transformacja Data Center Unified Computing System Pojedynczy system ujednolicający: Serwer: Sieć: Standard przemysłowy x86 Jednolity dostęp Wirtualizacja: Dostęp kontrola, skala, wydajnosć do Storage: jeden interfejs do SAN, NAS, iscsi Wbudowane zarządzanie Zwiększenie skali bez zwiększenia skomplikowania Dynamiczna alokacja zasobów Mozliwość intergacji z szerokim ekosystemem partnerskim Sprawność energetyczna Mniej serwerów, przełączników, adapterów, kabli Mniejsze wymagania na zasilanie i chłodzenie Zwiększenie wydajności przetwarzania poprzez usunięcie zatorów dla I/O i pamięci Presentation_ID 2008 Cisco Systems, Inc. All rights reserved. Cisco Confidential 35
Cisco Unified Computing System Unified Fabric: Sieć + Serwer + Storage Ethernet LAN SAN Fibre Channel Storage Fabric Interconnect FCoE Server + OS
Unified Computing System Fizyczne elementy i ich powiązanie Zarzadzanie, GUI oraz interfejsy API Zarządzanie rezyduje w przełączniku FI Konsola i interfejsy komunikują się z przełącznikiem FI Fabric Interconnect Fabric Extender logicznie częścią przełącznika FI Fabric Extender Instalowany w chassis Chassis logicznie częścią Fabric Extendera Chassis Serwer instalowany w chassis Serwery logicznie częścią chassis Serwery blade Standardowe i rozszerzone Adaptery są logicznie częścią serwera Adaptery sieciowe CNA Cisco, QLogic, Emulex
Topologia systemu UCS Mgmt LAN SAN A SAN B
System modularny UCS : wewnętrzne połączenia SAN LAN MGMT SAN G G G Fabric A Switch G G Fabric R Extender I S Uplink Fabric S Compute Chassis C C G Fabric A Switch G G G G Fabric I R Extender UCS 6100 Fabric Interconnect UCS 5100 Blade Server Chassis UCS 2100 Fabric Extender M Adapter B P Adapter B P Adapter Adapter Mezzanine X X X X X X x86 Computer x86 Computer Compute Blade (Half slot) Compute Blade (Full slot) Serwer blade UCS B-Series
UCS 5108 Blade Chassis 6 x RU Chassis : Do 8 zwykłych serwerów blade Do 4 serwerów z rozszerzoną pamięcią 4 x zasilacze; tryby: non-redundant, N+1 and N+N grid redundant 8 x wentylator (tył chassis) 2 x UCS 2104 Fabric Extender (tył chassis) Wszystkie moduły hot-pluggable Do 12 chassis w systemie UCS, plany na 40
Serwery Standardowy blade Elementy wspólne 2 x Intel Nehalem-EP CPU 4x pamięć Poszerzony blade 2 x SAS HDD (opcjonalnie) Kontroler BMC (Board Mgmt Ctlr) Hot plug dla serwerów i HDD Dynamiczne profile Adaptery 10Gb CNA Rożnice 4x memory Standardowy 12 x DIMM 1 x dual port adapter 2x pasmo I/O Poszerzony 48 x DIMM slots 2 x dual port adapter
Serwer UCS B200 M1
ERROR: ioerror OFFENDING COMMAND: image STACK: