Tomasz Janiec (tomasz.janiec@pl.ibm.com) Storage Client Technical Specialist, STG, IBM Polska IBM FlashSystem czy dyski SSD? Teoria i praktyczne zastosowania Common, 2013-11-19
Portfolio pamięci masowych IBM
V700 0 Unifi ed V700 0 Unifi ed IBM System Storage Macierze FlashSystem IBM System Storage Portfolio Rozwiązania zintegrowane Virtual Storage Center IBM Smart Analytics Solutions (ISAS) Oprogramowanie zarządzające Wbudowana innowacja Storage Virtualization SW and SVC Easy Tier Real-time Compression Zoptymalizowane pamięci masowe Rozwiązania klasy Enterprise FlashSystem DS8870 SONAS XIV Rozwiązania klasymidrange Tivoli Storage Productivity Center Tivoli Key Lifecycle Manager IBM Active Cloud Engine TM Deduplication StorwizeV7000 Unified Rodzina Storwize Ochrona i retencja danych N series DCS3700 DS3500 Tivoli Storage FlashCopy Manager Linear Tape File System (LTFS) ProtecTIER TS7620/50G Napędy LTO 4 i5, 6 Tape Library TS3310 Tape Automation TS3500 Tape Virtualization TS7740 Tivoli Storage Manager
Rynek pamięci masowych flash
Gdzie jest wąskie gardło? W ciągu ostatnich 10 lat: Szybkość Szybkość ść CPU wzrosła 8-10x ść DRAM 7-9x Szybkość sieci 100x Szybkość magistrali 20x Szybkość dysku 1.2X i wszystko musi czekać Źródło: IBM and Industry Estimates
IBM RAMAC (1956) vs HDD (2013)
Wydajność dysków rotacyjnych a pojemność 1000 100 <=7200 RPM Ciągła wydajność HDD na GB 10 1 0.1 Desktop 5400 i7200 RPM 15K RPM 10K RPM 3TB SATA 0.01 1990 1995 2000 2005 2010 Rok
Pozycjonowanie macierzy FlashSystem ns Najkrótszy czas odpowiedzi Bardzo kosztowne us Stała wydajność Niski czas odpowiedzi Flash w serwerach / Sprzętowe macierze flash Software owe macierze flash ms Dobry czas odpowiedzi Kosztowne HDD Niezrównoważona wydajność Macierze hybrydowe (SSD) Macierze dyskowe sek Najniższa wydajność Najniższy koszt
Podstawy technologii flash
Podstawy fizyczne pamięci flash typu NAND SLC 1 bit na komórkę MLC 2 bity na komórkę
Jakość pamięci flash ma znaczenie! Typ pamięci flash odpowiednia do obciążenia Liczba możliwych cykli P/E zależy od technologii MLC: produkty konsumenckie emlc: klasa enterprise 10x większa żywotność od MLC. SLC: jeden bit na komórkę 33x większa żywotność od MLC. emlc jest wystarczająca dla większości zastosowań. Techniki zastosowane przez IBM, takie jak Variable Stripe RAID, znacząco wydłużają czas życia zarówno emlc jak i SLC.
Czas życia
Korzyści z technologii flash I/O obsługiwane przez dysk 1. Wysłanie żądania I/O (~ 100 μs) 2. Oczekiwanie na obsługę I/O (~ 5,000 μs) 3. Przetwarzanie I/O (~ 100 μs) Całkowity czas obsługi1 żądania I/O = 200 μs+ 5,000 μs= 5,200 μs Wykorzystanie CPU = Czas oczekiwania/ Całk.czasobsługi= 200 / 5,200 = ~4% ~100µs Przetwarzanie ~100µs Stan CPU Oczekiwanie ~5000 µs Czas 1 żądanie I/O
Korzyści z technologii flash I/O obsługiwane przez pamięć flash 1. Wysłanie żądania I/O (~ 100 μs) 2. Oczekiwanie na obsługę I/O (~ 200 μs) 3. Przetwarzanie I/O (~ 100 μs) Całkowity czas obsługi1 żądania I/O = 200 μs+ 200 μs= 400 μs Wykorzystanie CPU = Czas oczekiwania/ Całk.czasobsługi= 200 / 400 = ~50% ~100µs Przetwarzanie Stan CPU Oczekiwanie ~200 µs ~100µs Nawet12Xprzyspieszenie aplikacjijedynie poprzez zmianęczasu odpowiedzi macierzy! Czas 1 żądanie I/O
Czy liczy się tylko średni czas odpowiedzi? macierze dyskowe z SSD sprzętowe macierze flash
Środowisko bazodanowe na przykładzie Oracle Dysk (13 ms na odczyt): 9-10X lepiej! Flash System (<1 ms na odczyt): 9-10X więcej przetwarzania! 1/3 czasu!
Macierze FlashSystem Portfolio
Historia Texas Memory Systems RamSan-720: 5/10 TB SLC Flash, 4 FC (8 Gb)/IB RamSan-710: 5 TB SLC Flash, 4 FC (8 Gb)/IB (QDR) RamSan-640: 8 TB SLC Flash, 10 FC (8 Gb)/IB (QDR) RamSan-620: 5 TB SLC Flash, 8 FC (4 Gb) RamSan-440: 512 GB RAM, 8 FC (4 Gb) RamSan-400: 128 GB RAM, 8 FC (4 Gb), 4 IB (4x) SAM 500: DSP/SSD, 64 GB RAM, 15 FC (1 Gb) SAM-2000: DSP system Firma założona przez Holly Frost 2012 2011 2010 2009 2008 2007 2006 2005 2004 2003 2002 1997 1990 1978 RamSan-820: 12-24 TB emlc Flash, 4 FC (8 Gb)/IB RamSan-810: 10 TB emlc Flash, 4 FC (8 Gb)/IB (QDR) RamSan-70: 900 GB SLC Flash, PCIe x8 2.0 RamSan-630: 10 TB SLC Flash, 10 FC (8 Gb)/IB (QDR) RamSan-20: 450 GB SLC Flash, PCIe x4 RamSan-500: 2 TB SLC Flash, 64 GB RAM, 8 FC (4 Gb) RamSan-320: 64 GB RAM, 8 FC (2 Gb) RamSan-210/220: 32 GB RAM, 4 FC (2 Gb) SAM-350/SAM-450: DSP system Dedykowane systemy dla badań sejsmicznych CMPS: dedykowane rozwiązanie SSD dla Gulf Oil
Rodzina IBM FlashSystem SLC emlc Model 710 720 810 820 Pojemność 1-5 TB 5 lub 10 TB 2-10 TB 10 lub 20 TB Opóźnienie (R/W) 100/60 µs 100/25 µs 110/60 µs 110/25 µs Wydajność (IO/s) 450K 500K 400K 450K Przepustowość 4GB/s 5GB/s 4GB/s 4GB/s Interfejs 4-portowy FC 8Gb/s albo IB 40Gb/s FC 8Gb/s albo IB 40Gb/s Ochrona danych VSR 2D Flash RAID + VSR VSR 2D Flash RAID + VSR Wszystkie urządzenia 1U, moc poniżej 500 W
1 PB, 1 rack porównanie Alternatywne 22 mln IO/s 1 Petabyte: 1 płytka podłogowa Czas odpowiedzi 100 µs 22 mln IO/s 210 GB/s Moc 12,6 KW Mniej niż typowa macierz 200TB 1 rack
Macierze FlashSystem Architektura
Jak zrobić najszybszą macierz na świecie? 16 PPC CPUs Sprzętowa ścieżka danych o BARDZO NISKIM opoźnieniu bazująca na układach FPGA specjalnie zaprojektowane interfejsy zewnętrzne Opóźnienie w sieci SAN porówywalne do DAS (PCIe) Wszystkie zalety współdzielonej pamięci masowej bez negatywnego wpływu na czas odpowiedzi Rozproszone przetwarzanie CPU poza ścieżką danych Moduły IO Kontrolery RAID Moduły flash 12x
Macierze FlashSystem vs SSD Cecha FlashSystem Macierz SSD Optymalne obciąż ążenie Typowe czasy odpowiedzi losowe odczyty i zapisy sekwencyjne odczyty i zapisy 100 200 µs losowe odczyty 0,8 1,0 ms Architektura / typ flash FPGA / emlc, SLC CPU / MLC, emlc Gęstość upakowania 24TB / 1 U 10 TB / 1U Masa [kg] 12,7 kg 29 kg
Macierze FlashSystem vs SSD
IOPs vs Block Size
Throughput vs. Block size
Latency vs. Block Size
Optymalne wykorzystanie technologii flash PROBLEM Ograniczona żywotność komórki Błędy bitów ROZWIĄZANIE Rozkładanie zapisów (wear leveling) ECC Awarie sprzętowe Zakłócenia Czasy kasowania i wielkość bloku Przekierowywanie bloków RAID / 2D Flash RAID Variable Stripe RAID (VSR) Dopasowanie napięć i przebiegów czasowych Dodatkowa przestrzeń
Architektura FlashSystem 720/820 Dwa dwuportowe interfejsy FC 8Gb/s albo 40 Gb/s QDR IB Nadmiarowe kontrolery zarządzające Nadmiarowe zasilacze Baterie N+1 Nadmiarowe kontrolery RAID 12 modułów flash (10+1+1) Chassis 1U Nadmiarowe wentylatory
Budowa modułu flash (820) Główna płyta flash 1TB emlc Dodatkowa płytaflash 1TB emlc Series-7 Flash Controller 2 na płytkę 4 na moduł Układy flash emlc 20 na kontroler flash 40 napłytkę, 80 na moduł Interface Processor Dwa połączenia z backplane
2D Flash RAID (FlashSystem-720/820) Zewnętrzne interfejsy (FC, IB) Kontrolery RAID VSR w obrębie modułów flash (9 dane + 1 parz.) FlashSystem 2D Flash RAID RAID5 pomiędzy modułami flash (10 dane + 1 parz. + 1 hot spare)
Variable Stripe RAID (VSR) Opatentowane rozwiązanie VSR pozwala na zaadaptowanie długości elementów RAID do potrzeb. W przypadku awarii jednej z płytek w obrębie układu pamięci, jest ona pomijana i dane są redystrybuowane między pozostałe, sprawne układy. VSR znacząco wydłuża czas między naprawami spowodowanymi awariami układów flash 10 Chips 16 Planes FAIL
Przykłady zastosowań
Rozwiązania według prostoty implementacji Easy Tier (SVC/V7000) Przezroczystość, automatyzacja Przyspieszenie dla każdego typu ruchu Brak dodatkowych licencji Preferowana ścieżka (Preffered Read) Na bazie aplikacji Na bazie systemu operacyjnego Volume Mirroring w SVC/Storwize Rozwiązania zania konfigurowane manualnie Monitorowanie logów Ręczne zarządzenie Utrzymywanie indeksów/tablic zmian
Easy Tier
Jak działa Easy Tier? SVC / V7000 Hot spot powstaje, gdy aplikacja często używa tego samego obszaru dysku. vdisk Easy Tier Management Code IOM DPA DMP DM IO Monitor generuje statystyki użycia i wysyła je do Data Placement Advisora Data Placement Advisor identyfikuje hot spoty i wysyła wynik analizy do Data Migration Planner Data Migration Planner decyduje o migracjach oraz ich charakterystykach pomiędzy dyskami Data Migratory używają zaawansowanych mechanizmów migracji, aby przenieść pomiędzy dyskami dane bez przerwy w dostępie do nich HDD Flash
Preferowana ścieżka (Preferred Read) Idealna do obciążeń z przewagą odczytów Implementacja FlashSystem w parze zwierciadlanej z tradycyjną macierzą dyskową Minimalna ingerencja w środowisko Wiele opcji implementacyjnych Zwiększenie redundancji Zwiększa efektywność inwestycji w infrastrukturę Natychmiastowe efekty po stronie aplikacji
Przykładowe implementacje preferowanejścieżki Na poziomie SAN SVC / V7000: główna kopia volume mirror Na poziomie Volume Manager AIX LVM (native least queue read) Veritas (Preferred Read Plex) Solaris SVM Na poziomie aplikacji Oracle ASM Oracle DataGuard Standby/Reporting Instance SQL AlwaysOn
Preferowana ścieżka implementacja z Oracle ASM IBM System Storage Macierze FlashSystem Lepsza wydajność Lepsza redundancja - bez zakłóceń - bez ryzyka - bez utraty funkcjonalności ODCZYT ASM ZAPIS SAN SAN Serwery DB SAN SAN ASM FG2 IBM Flash System ASM FG1 DANE AKTYWNE DANE AKTYWNE 20 TB Mirror 20 TB 100 TB DANE ARCHIWALNE 39 TRANSITIONAL DATA5 TB TRANSITIONAL DATA 5 TB
Rozwiązania konfigurowane manualnie Jednolita wydajność Największa szybkość zapisów Proste planowanie i zarządzanie
Przykład wdrożenia w środowisku SAP 41
Synergia z SVC
Rozwiązania IBM all flash Wg taksonomii IDC Absolutna wydajność Zapotrzebowanie na ekstremalną wydajność mierzoną w czasie odpowiedzi, IO/s i przepustowością. Do 525k IO/s ekstremalnej wydajności Niezawodność klasy Enterprise z High Availability Opóźnienie 100µs (IBM MicroLatency ) IBM FlashSystem Funkcjonalność klasy Enterprise Istotna jest akceleracja wydajności aplikacji; bogata funkcjonalność dodatkowa zapewnia ochronę danych. Rozwiązanie IBM FlashSystem 400k IO/s skalowalne do 1,5mln Niezawodność klasy Enterprise i wysoka dostępność Ciągłość biznesowa dzięki funkcjom kopiującym Flash Copy wspomagające backu i optymalizujące dostępność Doskonały $/TB dzięki Thin Provisioning & Real Time Compression Optymalne wykorzystanie zasobów dzięki Easy Tier
Preferowana ścieżka implementacja z SVC/V7000 Zapis IO do obu kopii Odczyt IO z FlashSystem (opóźnienie µs) SAN SAN Serwery DB SAN Volume Controller SAN SAN Lepsza wydajność Lepsza redundancja - bez zakłóceń - bez ryzyka - bez utraty funkcjonalności ODCZYT ODCZYT Vdisk Mirror 2 ZAPIS Vdisk Mirror 1 IBM FlashSystem AKTYWNE DANE ZAPIS AKTYWNE DANE 20 TB 20 TB TRANSITIONAL DATA5 TB Mirror TRANSITIONAL DATA 5 TB 44
Podsumowanie
Podsumowanie Redukcja licencji per core Zwiększenie efektywności aplikacji Zwiększenie efektywności serwerów Zwiększenie efektywności operacyjnej pamięci masowej Najkrótsze czasy odpowiedzi MicroLatency
Hindi Hebrew Russian Arabic Grazie Italian Thank You English Korean Simplified Chinese Polish Gracias Spanish Obrigado Danke German Brazilian Portuguese Merci French Tamil Japanese Traditional Chinese Thai