IBM Storage Sales Team Rodzina Storwize V5000 nowość w ofecie Storage Flash System kolejny krok w rozwoju Andrzej Jachymczak - Senior Storage Consultant
Klika pytań do nas Ile wpisów dziennie jest na portalu Twitter? 200 milionów Ile wiadomości email jest wysyłanych dziennie? 300 miliardów Ile wiadomości sms jest wysyłanych dziennie? Blisko bilion Ile danych będzie w moim środowisku za 5 lat???? 2
Smarter Systems = eksplozja informacji Zettabajty 1000 X Exabajty 1000 X Petabajty 1000 X Terabajty Codziennie powstaje 15 petabajtów nowej informacji: 8x więcej niż zgromadzono we wszystkich bibliotekach USA Data Center Internet, Web 2.0 Przetwarzanie rozproszone Internet of Things Walka ze skalą # użytkowników wielkość obiektów czas retencji 1000 X Gigabajty Budżety storage w 2011 wzrosły o 1-5% 1980 1990 2000 2010
Jak to ograniczyć Oszczędzaj miejsce Mądrze rozmieszczaj dane Wykorzystuj optymalnie zasoby
Jak to ograniczyć Oszczędzaj miejsce kompresja danych deduplikacja Mądrze rozmieszczaj dane automatyczny tiering automatyczna migracja Wykorzystuj optymalnie zasoby wirtualizacja nadalokacja - Thin Provisioning
V700 0 Unifi ed V700 0 Unifi ed IBM System Storage IBM System Storage Portfolio Rozwiązania zintegrowane Virtual Storage Center IBM Smart Analytics Solutions (ISAS) Oprogramowanie zarządzające Wbudowana innowacja Storage Virtualization SW and SVC Easy Tier Real-time Compression Zoptymalizowane pamięci masowe Rozwiązania klasy Enterprise FlashSystem DS8870 SONAS XIV Rozwiązania klasymidrange Tivoli Storage Productivity Center Tivoli Key Lifecycle Manager IBM Active Cloud Engine TM Deduplication StorwizeV7000 Unified Storwize V7000/5000 Ochrona i retencja danych N series DCS3700 Storwize V3700 DS3500 Tivoli Storage FlashCopy Manager Linear Tape File System (LTFS) ProtecTIER TS7620/50G Napędy LTO 4 i5, 6 Tape Library TS3310 Tape Automation TS3500 Tape Virtualization TS7740 Tivoli Storage Manager
Rodzina IBM Storwize
Rodzina Storwize Wspólna platforma programowa (kod) Spójny zestaw funkcjonalności Zunifikowane zarządzanie (GUI i konsola) SAN Volume Controller Storwize V7000 Unified Flex System V7000 New! Storwize V7000 Storwize V5000 Storwize V3700 Storwize V3500 (China only) IBM Storage Meeting
Rodzina Storwize Październik 2010 Nowy Standard dla Midrange Storage Storwize V7000 Październik 2011 Unified Storage Active Cloud Engine Storwize V7000 Unified Listopad 2012 Storwize V3700 Flex System V7000 Październik 2013 IP replication Integrated SANSlide Mobile dashboard Storwize V5000 2010 2011 2012 2013 Maj 2011 Clustering VMware APIs 10Gb iscsi Kwiecień 2012 Real-time Compression FCoE Czeriec 2013 Storwize V3700 nowe funkcjonalności Compression performance Easy Tier and compression Capacity and VM scalability Global Active Cloud Engine 9
IBM Storwize V7000 = unikalna macierz klasy średniej Funkcjonalność SVC GUI jak w XIV DS8000 RAID Najnowsza technologia SAS
IBM Storwize V7000 = unikalna macierz klasy średniej Wirtualizacja Replikacja danych SAN/NAS Kompresja danych Easy Tier SSD,SAS,NLSAS FlashCopy Thin Privisioning
Funkcjonalność Storwize V7000 IBM System Storage Cache partitioning Prosty GUI statystyki wydajnościowe Wbudowany agent SMI-S E-mail, SNMP trap & Syslog error event logging Uwierzytelnianie Wirtualizacja danych bez ich utraty Zewnętrzna wirtualizacja (opcja) Zmiana wielkości woluminów on-line Nadalokacja Odzyskiwanie przestrzeni Migracje thick to thin, thin to thick & thin to thin Migracje woluminów on-line Volume Mirroring Volume copy 1 EasyTier: automatyczna relokacja fragmentów woluminów Hot-spots Automatic Relocation Volume Storwize V7000 Volume copy 2 MDisk Source SSDs HDDs SSDs HDDs Volume Storwize V7000 Optymalizacja wydajności MDisk Target Snapshot-FlashCopy (Point-In-Time copy) Do 256 kopii na źródło Pełne (kopia w tle = klon) Snapshot Inkrementalne Kaskadowe Grupy spójności Reverse Kompresja danych Vol0 Source Microsoft Virtual Disk Service & Volume Shadow Copy Services hardware provider Zdalna replikacja (opcja) Synchroniczna & asynchroniczna z grupami spójności Asynchroniczna z niskim użyciem pasma Vol1 Vol2 FlashCopy FlashCopy target of Vol0 target of Vol1 Map 1 Map 2 Vol3 FlashCopy target of Vol1 VMware Storage Replication Adaptor for Site Recovery Manager Storwize V7000 VAAI support & vcenter Server management plug-in Map 3 Storwize V7000 MM or GM Relationship Storwize V7000 Map 4 Consolidated DR Site Vol4 FlashCopy target of Vol3 Storwize V7000 MM or GM Relationship Up to 256 MM or GM Relationship
IBM System Storage Storwize V7000: modularna skalowalność Startujemy z pojedynczą półką z kontrolerami (jedna para kontrolerów) I dodajemy do 9 półek rozszerzeń Można mieszać półki na dyski 2.5 & 3.5 Można mieszać typy i wielkości dysków w półce Dodajemy kolejne półki z kontrolerami niezależnie od rozszerzeń Budując klaster par kontrolerów Dodając półki rozszerzeń dla wymaganej pojemności i wydajności Control Enclosures Expansion Enclosures 13 13
V7000 - wirtualizacja IBM z/vse z/vm z/linux Novell NetWare OES2 VMware ESX 3.5, vsphere 4, 5 Microsoft Windows Hyper-V IBM Power7 IBM AIX IBM i 6.1 (VIOS) Sun Solaris 8/9/10 HP-UX 11i Tru64 OpenVMS SGI IRIX Linux (Intel/Power/z) RHEL 4/5/6 SUSE 9/10/11 Apple Mac OS IBM TS7650G ProtecTIER Gateway Citrix Xen Server IBM BladeCenter 1024 Hosts Point-in-time Copy Full volume, Copy on write 256 targets, Incremental, Cascaded, Reverse, Space-Efficient, FlashCopy Mgr SSD/SAS/NL-SAS iscsi 1Gb or 10Gb Storwize V7000 8Gbps SAN fabric Continuous Copy Metro/Global Mirror Multiple Cluster Mirror Storage EasyTier Thin-Provisioned Volumes SAN Storwize V7000 Volume Mirroring Compellent IBM 5.2.3 DS DS3000, DS4000 DS5000, DS6000 DS8000 14 IBM XIV Gen 3 DCS9XXX IBM N series Storwize V7000 Hitachi Lightning Thunder TagmaStore AMS, WMS, USP, USP-V VSP HP MA, EMA MSA, EVA, XP, P9500, 3Par EMC CLARiiON CX4, Symmetrix, DMX, VMAX, VNX, VNXe Sun StorageTek StorEdge NetApp FAS XioTech Emprise NEC istorage Bull Storeway 1500, 2000, 3000 Fujitsu Eternus DX80 S2, DX90 S2, DX410 S2, DX440 S2 NexSAN TMS RamSAN 440 Violin 3140, 3200 SATABeast
Wprowadzamy nową macierz w rodzinie IBM Storwize IBM Storwize V5000 15 September 25, 2013
Storwize V5000: Cechy sprzętowe Obudowa dwa typy: do dwunastu dysków LFF (3.5 ) lub dwudziestu czterech dysków SFF (2.5 ) tylko w 2U Obudowa macierzy: podwójny kontroler active-active oraz miejsce na dyski 16GB Cache (8GB per controller) standard, 32 GB Cache with two-way clustered systems 4 x 1Gb iscsi, 8 x 8Gb FC lub opcja 4 x 10 Gb iscsi, 4 x SAS host ports standard Moduły rozszerzeń: Do 6 półek rozszerzeń Do 168 dysków 2,5 SFF lub do 84 dysków 3,5 LFF co daje do 336TB pojemności Do 672 TB pojemności w przypadku klastra RAID levels 0, 1, 5, 6, and 10 Redundant, hot-swappable dla wszystkich komponentów (np., zasilacze i wentylatory) Opcjonalne oprogramowanie: Easy Tier, External Virtualization, Remote Mirroring i FlashCopy Modele Storwize V5000 są dostępne w 2 rodzajach; jeden lub trzy lata gwarancji:
Storwize V5000 system - wprowadzenie Elastyczna, łatwa w obsłudze i wydajna macierz klasy midrange Standardowe funkcje oprogramowania pomagają zarządzać, wdrażać i administrować środowiskiem informatycznym Easy-to-use graficzny interfejs do zarządzania Dual clustering umożliwia elastyczną rozbudowę Thin provisioning używasz tyle przestrzeni ile to konieczne Non-disruptive migration pomaga w przyśpieszeniu implementacji, minimalizacja czasu przestoju Multi-protocol support zapewniona elastyczność Full interoperability: pełane wsparcie z Microsoft i VMware
IBM Storwize Family Industry-Leading User Interface managing an IBM Storwize [family] system with its management interface is 47 percent less time-consuming and 31 percent less complex than managing an EMC VNX system using the Unisphere software interface. Source: Edison Group, Competitive Management Cost Study: IBM Storwize V7000 vs. EMC VNX5500 Storage Systems
Opcje dysków Small form factor 2.5-inch disk drives: 146 GB, 300 GB @ 15k rpm 600 GB, 900 GB, 1.2 TB @ 10k rpm 1 TB @ 7.2k rpm SAS nearline Large form factor 3.5-inch disk drives: 300 GB @ 15k rpm, SAS 3.5-inch 900 GB, 1.2 TB @ 10k rpm, SAS 3.5-inch 2 TB, 3 TB, 4 TB @ 7.2k rpm SSD 2.5-inch drives: 200 GB and 400 GB Możliwośc dowolnego mieszania różnych typów dysków w jednej obudowie (SAS, NL-SAS i SSD) 19
Porównanie Storwize V3700, Storwize V5000 and Storwize V7000 Storwize V3700 Storwize V5000 Storwize V7000 Typical customer storage budget Management SW Capacity Standard Host Ports $10,000 - $ 15,000 Dlls $15,000 - $ 40,000 Dlls $40,000 - $ 100,000 Dlls Storwize V3700 machine code Up to 120 drives per control enclosure (up to 4 expansions) 1Gb iscsi, 6Gb SAS IBM Storwize Family Software for Storwize V5000 Up to 168 drives per control enclosure (up to 6 expansions); 336 per clustered system (two-way clustering) 1Gb iscsi, 6Gb SAS, 8Gb FC or 10Gb iscsi/fcoe IBM Storwize Family Software for Storwize V7000 Up to 240 drives per control enclosure; 960 per clustered system (four clusters) 1Gb iscsi, 8Gb FC Optional Host Ports iscsi 10Gbps, FC, FCoE N/A iscsi 10Gbps, FCoE Cache (dual ctl) Integrated Features 8GB upgradeable to 16GB FlashCopy (64 images per system), Internal virtualization, Thin provisioning, Data Migration 16GB per dual controller, to 32GB per clustered system (two-way clustered) Internal virtualization, Thin Provisioning, Data Migration, System Clustering 16GB per dual controller, up to 64GB per clustered system (four clusters) FlashCopy (4,096 images), Internal virtualization, Thin provisioning, Data Migration, Easy Tier, System Clustering Optional Features FlashCopy (2040 images) Remote Mirroring, Easy Tier, Turbo Performance FlashCopy (4,096 images) Easy Tier, Remote Mirroring, External Virtualization Remote Mirroring, Real Time Compression, External Virtualization External Virtualization No Yes, Optional Yes, Optional Unified Support No No NAS connectivity with Storwize V7000 Unified; IBM Active Cloud Engine integrated 20
IBM Storage Sales Team 26 listopada 2013 Flash System kolejny krok w rozwoju Andrzej Jachymczak - Senior Storage Consultant
Perspektywy technologiczne Myślę, że światowy rynek potrzebuje być może co najwyżej pięciu komputerów. Thomas Watson, chairman of IBM, 1943 Komputery w przyszłości nie będą ważyły więcej niż 1,5 tony Popular Mechanics, 1949 Nie ma powodu dla którego ktokolwiek chciałby miećkomputer w domu Ken Olsen, założyciel DEC, 1977 640K powinno wystarczyćdla każdego. Bill Gates, 1981 Bardzo trudno jest przewidywać, szczególnie jeżeli chodzi o przyszłość ść Yogi Berra
Rynek pamięci masowych flash
Gdzie jest wąskie gardło? W ciągu ostatnich 10 lat: Szybkość Szybkość ść CPU wzrosła 8-10x ść DRAM 7-9x Szybkość sieci 100x Szybkość magistrali 20x Szybkość dysku 1.2X i wszystko musi czekać Źródło: IBM and Industry Estimates
Rynek pamięci masowych flash szybko rośnie IDC przewiduje, że obrót pamięciami masowymi wzrośnie z $1,7 mld w 2011 do $5,6 mld w 2016, co oznacza 26.8% CAGR od 2011 do 2016. IDC oczekuje, że dostawy pamięci masowych opartych na technologii NAND wzrosną 20x, osiągając poziom 2.9EB rocznie do 2016. Źródło: Taking Enterprise Storage to Another Level: A Look at Flash Adoption in the Enterprise, August 2012, IDC 2013 2012 IBM IBM Corporation
Podstawowe zastosowania Bazy danych OLTP Finanse, gry, real-time billing, handel, monitorowanie w czasie rzeczywistym, przyspieszenie zapytań (DB2/Oracle), etc. Aplikacje analityczne (OLAP) Business intelligence, przetwarzanie wsadowe, systemy ERP, raportowanie, masywne zasilania danymi, etc. Środowiska wirtualne VDI, konsolidacja środowisk wirtualnych, profile użytkowników, etc. Aplikacje obliczeniowe/hpc Symulacje, modelowanie, rendering, metadane systemów plików, przestrzeń tymczasowa, wideo nażądanie, aplikacje z małą liczbą wątków, etc. Infrastruktura typu Cloud Infrastruktura typu Cloud Obliczenia na żądanie, dystrybcja treści, web, caching, GPFS: metadane, aktywne zarządzanie plikami, etc.
Podstawy technologii flash
Jakość pamięci flash ma znaczenie! Typ pamięci flash odpowiedni do obciążenia Liczba możliwych cykli P/E zależy od technologii MLC: produkty konsumenckie emlc: klasa enterprise 10x większa żywotność od MLC. SLC: jeden bit na komórkę 33x większa żywotność od MLC. emlc jest wystarczająca dla większości zastosowań. Techniki zastosowane przez IBM, takie jak Variable Stripe RAID, znacząco wydłużają czas życia zarówno emlc jak i SLC.
Korzyści z technologii flash I/O obsługiwane przez dysk 1. Wysłanie żądania I/O (~ 100 μs) 2. Oczekiwanie na obsługę I/O (~ 5,000 μs) 3. Przetwarzanie I/O (~ 100 μs) W tym czasie procesor 3 GHz wykonuje ~9 mln instrukcji Całkowity czas obsługi1 żądania I/O = 200 μs+ 5,000 μs= 5,200 μs Wykorzystanie CPU = Czas oczekiwania/ Całk.czasobsługi= 200 / 5,200 = ~4% ~100µs Przetwarzanie ~100µs Stan CPU Oczekiwanie ~5000 µs Czas 1 żądanie I/O
Korzyści z technologii flash I/O obsługiwane przez pamięć flash 1. Wysłanie żądania I/O (~ 100 μs) 2. Oczekiwanie na obsługę I/O (~ 200 μs) 3. Przetwarzanie I/O (~ 100 μs) Całkowity czas obsługi1 żądania I/O = 200 μs+ 200 μs= 400 μs Wykorzystanie CPU = Czas oczekiwania/ Całk.czasobsługi= 200 / 400 = ~50% ~100µs Przetwarzanie Stan CPU Oczekiwanie ~200 µs ~100µs Nawet12Xprzyspieszenie aplikacjijedynie poprzez zmianęczasu odpowiedzi macierzy! Czas 1 żądanie I/O
Ekonomiczne znaczenie czasu odpowiedzi W sektorze finansowym, który wykorzystuje sieci o ultra niskiej latencji przy przetwarzaniu transakcji o dużym woluminie wyliczono, że pojedyncza milisekunda przewagi może wygenerować w skali roku 100 milionów USD Największy internetowy sprzedawca detaliczny szacuje, że każda milisekunda opóźnienia w serwisach online kosztuje grupę 4,8 miliona USD w utraconych transakcjach. Źródło: Richard Irving Capacity Magazine
Macierze FlashSystem Portfolio
V700 0 Unifi ed V700 0 Unifi ed IBM System Storage IBM System Storage macierze dyskowe DS8870 Prawdziwa architektura Enterprise EasyTier 5 Gen Wewnętrzna wirtualizacja HyperSwap SVC Storwize XIV SONAS StorwizeV7000 Unified Wirtualizacja wewnętrzna/zewnętrzna EasyTier Real-Time Compression Synergia z FlashSystem Architektura wewnętrzna cloud (scale-out) Rozproszona ochrona danych Samonaprawianie Konsumenckie podzespoły Architektura wewnętrzna cloud (SONAS) Active Cloud Engine: ILM/HSM WAN Caching DCS3700 DS3500 N series RAID-DP SnapShot Kompresja, deduplikacja FlashCache, FlashPool Scale-out (cdot) Dynamic Disk Pool SSD Caching FlashSystem Ekstremalna szybkość (~100 us) 2D Flash RAID Variable Stripe RAID (samonaprawianie)
Historia Texas Memory Systems RamSan-720: 5/10 TB SLC Flash, 4 FC (8 Gb)/IB RamSan-710: 5 TB SLC Flash, 4 FC (8 Gb)/IB (QDR) RamSan-640: 8 TB SLC Flash, 10 FC (8 Gb)/IB (QDR) RamSan-620: 5 TB SLC Flash, 8 FC (4 Gb) RamSan-440: 512 GB RAM, 8 FC (4 Gb) RamSan-400: 128 GB RAM, 8 FC (4 Gb), 4 IB (4x) SAM 500: DSP/SSD, 64 GB RAM, 15 FC (1 Gb) SAM-2000: DSP system Firma założona przez Holly Frost 2012 2011 2010 2009 2008 2007 2006 2005 2004 2003 2002 1997 1990 1978 RamSan-820: 12-24 TB emlc Flash, 4 FC (8 Gb)/IB RamSan-810: 10 TB emlc Flash, 4 FC (8 Gb)/IB (QDR) RamSan-70: 900 GB SLC Flash, PCIe x8 2.0 RamSan-630: 10 TB SLC Flash, 10 FC (8 Gb)/IB (QDR) RamSan-20: 450 GB SLC Flash, PCIe x4 RamSan-500: 2 TB SLC Flash, 64 GB RAM, 8 FC (4 Gb) RamSan-320: 64 GB RAM, 8 FC (2 Gb) RamSan-210/220: 32 GB RAM, 4 FC (2 Gb) SAM-350/SAM-450: DSP system Dedykowane systemy dla badań sejsmicznych CMPS: dedykowane rozwiązanie SSD dla Gulf Oil
Rodzina IBM FlashSystem SLC emlc Model 710 720 810 820 Pojemność 1-5 TB 5 lub 10 TB 2-10 TB 10 lub 20 TB Opóźnienie (R/W) 100/60 µs 100/25 µs 110/60 µs 110/25 µs Wydajność (IO/s) 450K 500K 400K 450K Przepustowość 4GB/s 5GB/s 4GB/s 4GB/s Interfejs 4-portowy FC 8Gb/s albo IB 40Gb/s FC 8Gb/s albo IB 40Gb/s Ochrona danych VSR 2D Flash RAID + VSR VSR 2D Flash RAID + VSR Wszystkie urządzenia 1U, moc poniżej 500 W
1 PB, 1 rack porównanie Alternatywne 22 mln IO/s 1 Petabyte: 1 płytka podłogowa Czas odpowiedzi 100 µs 22 mln IO/s 210 GB/s Moc 12,6 KW Mniej niż typowa macierz 200TB 1 rack
Pozycjonowanie macierzy FlashSystem ns Najkrótszy czas odpowiedzi Bardzo kosztowne us Stała wydajność Niski czas odpowiedzi Flash w serwerach / Sprzętowe macierze flash Software owe macierze flash ms Dobry czas odpowiedzi Kosztowne HDD Niezrównoważona wydajność Macierze hybrydowe (SSD) Macierze dyskowe sek Najniższa wydajność Najniższy koszt
Synergia z SAN Volume Controller SVC+FlashSystem=?
Rozwiązania IBM all flash Wg taksonomii IDC Absolutna wydajność Zapotrzebowanie na ekstremalną wydajność mierzoną w czasie odpowiedzi, IO/s i przepustowością. Do 525k IO/s ekstremalnej wydajności Niezawodność klasy Enterprise z High Availability Opóźnienie 100µs (IBM MicroLatency ) IBM FlashSystem Funkcjonalność klasy Enterprise Istotna jest akceleracja wydajności aplikacji; bogata funkcjonalność dodatkowa zapewnia ochronę danych. Rozwiązanie IBM FlashSystem 400k IO/s skalowalne do 1,5mln Niezawodność klasy Enterprise i wysoka dostępność Ciągłość biznesowa dzięki funkcjom kopiującym Flash Copy wspomagające backu i optymalizujące dostępność Doskonały $/TB dzięki Thin Provisioning & Real Time Compression Optymalne wykorzystanie zasobów dzięki Easy Tier
Rozwiązania IBM FlashSystem Synergia IBM SVC & IBM FlashSystem Korzyści dla Klienta Ekstremalna wydajność IBM FlashSystem dzięki IBM MicroLatency Zaawansowana funkcjonalność IBM SVC Thin Provisioning alokacja zasobów just in time Easy Tier efektywność wykorzystania FlashCopy kopie point in time Funkcje Mirroring/Copy replikacja i ochrona danych Real-Time Compression nawet 5x więcej danych w tej samej przestrzeni fizycznej Szybkie wdrożenie ekonomicznego rozwiązania i natychmiastowe rezultaty 41
Macierze FlashSystem vs SSD Cecha FlashSystem Macierz SSD Optymalne obciąż ążenie Typowe czasy odpowiedzi losowe odczyty i zapisy sekwencyjne odczyty i zapisy 100 200 µs losowe odczyty 0,8 1,0 ms Architektura / typ flash FPGA / emlc, SLC CPU / MLC Gęstość upakowania 24TB / 1 U 10 TB / 1U Masa [kg] 12,7 kg 29 kg
2D Flash RAID (FlashSystem-720/820) Zewnętrzne interfejsy (FC, IB) Kontrolery RAID VSR w obrębie modułów flash (9 dane + 1 parz.) FlashSystem 2D Flash RAID RAID5 pomiędzy modułami flash (10 dane + 1 parz. + 1 hot spare)
Variable Stripe RAID (VSR) Opatentowane rozwiązanie VSR pozwala na zaadaptowanie długości elementów RAID do potrzeb. W przypadku awarii jednej z płytek w obrębie układu pamięci, jest ona pomijana i dane są redystrybuowane między pozostałe, sprawne układy. VSR znacząco wydłuża czas między naprawami spowodowanymi awariami układów flash 10 Chips 16 Planes FAIL
DZIĘKUJĘ