Jakub Bałchan, Maciej Przepiórka Życie w blasku. Co to jest Flash i dlaczego ma takie znaczenie? 1
Co to jest Flash 2
Wydajność a prowo Moore a MOORE S LAW: 100X PER DECADE FLASH Closes The CPU To Storage Gap FLASH Follows Moore s Law And Can Keep Up With CPU Developments CONSTANT 100X IMPROVED FLASH 10,000X IMPROVED 2000 2010 2020 3
Wydajność = 1 / czas dostępu 111 godz 1 s 14 s 30 s 3,5 min 231 dni 4
Porównanie kosztów nośnika Koszt IOPS jest dużo niższy dla Flash Ale koszt GB jest wciąż wyższy niż dla HDD Koszty utrzymania (zasilanie, chłodzenie) są dużo niższe dla Flash 5
Wydajność Flash zależy od typu IO Odczyt/zapis na dyskach HDD trwa tyle samo (można nadpisywać) Na SSD jest inaczej nie ma możliwości bezpośredniego nadpisywania danych Dlatego musimy korzystać z Flash w inny sposób HDD MLC Odczyt 5000 µs 50 µs Zapis 5000 µs 600 900 µs Kasowanie - 3000 µs 6
FLASH działa inaczej niż HDD Przykładowy dysk SSD w uproszczeniu: wielkość strony: 4 kb ilość stron: 5 (+ 2 nadmiarowe) pojemność użytkowa: 20 kb 7
Zapis w puste miejsce Zapisujemy plik DOC o wielkości 4kB 8
Zapis w puste miejsce Zapisujemy plik JPG o wielkości 20kB 9
Usunięcie pliku Kasujemy plik DOC Operacja kasowania nie zamazuje danych, a jedynie usuwa informacje o metadanych pliku 10
Nadpisywanie starych danych Zapisujemy PPT o wielkości 4kB. Dysk SSD musi przygotować miejsce pod plik: wyzerować stronę 11
Zapisywanie danych na nowy dysk SSD 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 12
Jak wygląda struktura Flash później? Q ^ 0 5 J e & 0 k W 0d 4 p n0 C 2 r H % Y c R # t! 0, I f w 0 ; 7 ) _ 06 b B u D0 Z m k 3 ^ - 0? e 0 X G 0 0< y @ v 0r D 5 2 0b j g p. s G 0 n B 9 4 + z 0 = } / h : 2 g X V 8 N 0- * F t S 0 [ H K0 m L U 0 { 7 \ Wciąż dużo wolnych stron Puste strony losowo porozrzucane po powierzchni Brak możliwości nadpisywania 0 Pusta strona Oczekująca na kasowanie 13
Jak skasować strony Flash? Q ^ 0 5 J e & 0 k W 0d 4 p n0 C 2 r H % Y c R # t! 0, I f w 0 ; 7 ) _ 06 b B u D0 Z m k 3 ^ - 0? e 0 X G 0 0< y @ v 0r D 5 2 0b j g p. 0 s G 0 n B 9 4 + z 0 = } / h : 2 g X V 8 N 0- * F t S 0 [ H K0 m L U 0 { 7 \ Zerowany blok Zerowanie odbywa się wyększym blokiem niż rozmiar strony Dopiero później można zapisywać dane 14
Garbage Collection na poziomie macierzy Flash Array Controller Duży narzut na operacje I/O back-end Brak możliwości opóźniania procesu zerowania w nieskończoność Znaczne obciążenie kontrolerów kosztem wydajności aplikacji 15
Proces zerowania bloków Zmiana z na taką postać 16
Jak wygląda Strategia Flash w wydaniu EMC? 17
Cztery modele architektury storage. Clustered Scale Up & Down TYPE 1 Tightly Coupled Scale Out TYPE 2 Loosely Coupled Scale Out TYPE 3 Distributed Share Nothing TYPE 4 Dwa kontrolery Współdzielone metadane Wielokontrolerowy grid Współdzielone metadane Niezależne kontrolery Rozproszone metadane Wielkie repozytoria danych Niezależne kontrolery Rozproszone metadane Potwierdzenia nietransakcyjne 18
Cztery modele architektury storage. Clustered Scale Up & Down TYPE 1 Tightly Coupled Scale Out TYPE 2 Loosely Coupled Scale Out TYPE 3 Distributed Share Nothing TYPE 4 Dwa kontrolery Współdzielone metadane Wielokontrolerowy grid Współdzielone metadane Niezależne kontrolery Rozproszone metadane Wielkie repozytoria danych Niezależne kontrolery Rozproszone metadane Potwierdzenia nietransakcyjne 19
W jaki sposób przedstawione architektury zoptymalizują aplikacje? 20
Portfolio Flash na każde potrzeby. Server Flash Most Extreme Performance Highest Possible IO Lowest Possible Latency PROSTE USŁUGI DANYCH 100μS SDS 500μS Block Capacity Pooling Advanced Availability Elastic Scale 1mS 5mS Software Purpose Built All Flash Array Software Defined Flash Optimized Data Services Inherent Balance All Flash Array Consistent Performance Hybrid Storage Array Balance Cost and Performance Changing IO Patterns Flash Optimized Hybrid Array Higher Perf/Lower Latency File & Block Workloads Large Data Sets Competing Workloads ZAAWANSOWANE USŁUGI DANYCH 21
Każda architektura skorzysta z Flash. 100μS 500μS 1mS Server Flash Most Extreme Performance Highest Possible IO Lowest Possible Latency SDS Block Capacity Pooling Advanced Availability Elastic Scale Purpose Built All Built Flash Array Purpose All Flash Software Software Defined Flash Optimized Data Services Array Inherent Balance All Flash Array Consistent Performance Flash Optimized Hybrid Array Higher Perf/Lower Latency File & Block Workloads 5mS Hybrid Storage Array Balance Cost and Performance Changing IO Patterns Large Data Sets Competing Workloads PROSTE USŁUGI DANYCH ZAAWANSOWANE USŁUGI DANYCH 22
Każda architektura skorzysta z Flash. 100μS 500μS 1mS Server Flash ost Extreme Performance Highest Possible IO Lowest Possible Latency XtremSF SDS Block Capacity Pooling Advanced Availability Elastic Scale Software Purpose Built All Built Flash Array Purpose XtremIO All Flash Software Defined Flash Optimized Data Services Array Inherent Balance All Flash Array Consistent Performance Xtrem Cache Flash Optimized Hybrid Array Higher Perf/Lower Latency File & Block Workloads FAST Suite 5mS Hybrid Storage Array Balance Cost and Performance VNX Large Data Sets Isilon VMAX Changing IO Patterns Competing Workloads VNXe PROSTE USŁUGI DANYCH ZAAWANSOWANE USŁUGI DANYCH 23
Doświadczenie EMC w produktach Flash 180 160 140 120 EMC First to embrace Flash FAST Isilon Flash All- Flash VMAX All- Flash VNX EMC Server Flash Next-Gen VNX XtremIO Acquisition XtremIO GA 100 80 60 VMAX Flash VNX Flash FAST Cache ScaleIO Acquisition 40 20 0 24
WSZYSTKIE NAPISANE DZIEŁA LUDZKOŚCI W HISTORII WE WSZYSTKICH JĘZYKACH ŚWIATA 50 PETABYTES ILOŚĆ FLASH DOSTARCZONA W CIĄGU OSTATNIEGO ROKU W PRODUKTACH EMC 73 PETABYTES 25
Każda architektura skorzysta z Flash. Server Flash ost Extreme Performance Highest Possible IO Lowest Possible Latency XtremSF SDS Block Capacity Pooling Advanced Availability Elastic Scale Software Purpose Built All Built Flash Array Purpose XtremIO All Flash Software Defined Flash Optimized Data Services Array Inherent Balance All Flash Array Consistent Performance Xtrem Cache Flash Optimized Hybrid Array Higher Perf/Lower Latency File & Block Workloads Hybrid Storage Array Balance Cost and Performance VNX Large Data Sets Changing Isilon IO Patterns Competing Workloads VMAX VNXe FAST Suite 26
EMC ScaleIO Sieć SAN na bazie serwerów Software który tworzy sieć SAN w oparciu o dyski lokalne w serwerach i udostępnia je w modelu Performance And Capacity On Demand Tworzy wirtualne pule z różnych warstw wydajnościowych Wykorzystywane media: każdy tradycyjny dysk lokalny, SSD, karty PCIe Flash Instalowane na dotychczasowych serwerach fizycznych i wirtualnych 27
Model ScaleIO tradycyjny 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 20K IOPS 100 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 40K IOPS 200 TB 28
ScaleIO Nie tylko wydajność, ale też dodatkowe funkcje ZAPISYWALNE SNAPSHOTY MULTI-TENANCY MULTI-TIERING QUALITY OF SERVICE Natychmiastowe wydajne kopie Segmentacja dostępu do danych PCIe, SSD i HDD Auto Rebalancing Limity IOPS per aplikacja 29
Każda architektura skorzysta z Flash. Server Flash ost Extreme Performance Highest Possible IO Lowest Possible Latency XtremSF SDS Block Capacity Pooling Advanced Availability Elastic Scale Software Purpose Built All Built Flash Array Purpose XtremIO All Flash Software Defined Flash Optimized Data Services Array Inherent Balance All Flash Array Consistent Performance Xtrem Cache Flash Optimized Hybrid Array Higher Perf/Lower Latency File & Block Workloads Hybrid Storage Array Balance Cost and Performance VNX Large Data Sets Changing Isilon IO Patterns Competing Workloads VMAX VNXe FAST Suite 30
Przykładowe wykresy SKEW Rozkład danych na macierzach hybrydowych Long Tail Skew Mixed Skew Shallow Skew Większość danych jest mało aktywna Typowy rozkład temperatury danych około 5% aktywne Równomierny rozkład (np. hurtownia danych) 31
Mapa odwołań do bloków danych 32
Przykład macierzy hybrydowej 32 TB netto. Wzrost 50% R/R. Dane aktywne przez 60 dni. 210 Dysków 15K VNX 33
Przykład macierzy hybrydowej 32 TB netto. Wzrost 50% R/R. Dane aktywne przez 60 dni. 210 63 Dysków Dyski 15K VNX FAST Cache & FAST VP VNX 24 200GB SSDs 15 600GB 15K SAS 24 3TB NL-SAS 34
Przykład macierzy hybrydowej 32 TB netto. Wzrost 50% Y/Y. Dane aktywne przez 60 dni. Footprint Power IOPS 45RU 63 3,938W Dyski VNX74K 18RU 24 200GB SSDs FAST Cache & FAST VP 990W 15 600GB 15K SAS 24 3TB NL-SAS 33K 75% 60% 125% 35
Każda architektura skorzysta z Flash. Server Flash ost Extreme Performance Highest Possible IO Lowest Possible Latency XtremSF SDS Block Capacity Pooling Advanced Availability Elastic Scale Software Purpose Built All Built Flash Array Purpose XtremIO All Flash Software Defined Flash Optimized Data Services Array Inherent Balance All Flash Array Consistent Performance Xtrem Cache Flash Optimized Hybrid Array Higher Perf/Lower Latency File & Block Workloads Hybrid Storage Array Balance Cost and Performance VNX Large Data Sets Changing Isilon IO Patterns Competing Workloads VMAX VNXe FAST Suite 36
Zastosowania XtremCache Serwery baz danych. XtremCache 2.0 31% WIĘCEJ IOPS 65% MNIEJSZY R.T. 37
XtremCache & XtremSF dwa w jednym Cache Dysk lokalny Data 1 Data 2 Temp DB 38
Każda architektura skorzysta z Flash. Server Flash ost Extreme Performance Highest Possible IO Lowest Possible Latency XtremSF SDS Block Capacity Pooling Advanced Availability Elastic Scale Software Purpose Built All Built Flash Array Purpose XtremIO All Flash Software Defined Flash Optimized Data Services Array Inherent Balance All Flash Array Consistent Performance Xtrem Cache Flash Optimized Hybrid Array Higher Perf/Lower Latency File & Block Workloads Hybrid Storage Array Balance Cost and Performance VNX Large Data Sets Changing Isilon IO Patterns Competing Workloads VMAX VNXe FAST Suite 39
EMC XtremIO : #1 All Flash Array Stałe i przewidywalne IOPS i opóźnienia Architektura Scale-Out Usługi danych stale włączone Efektywność Kompresja, deduplikacja, kopie migawkowe Łatwa obsługa Bez strojenia wydajności 40
Liniowa skalowalność XtremIO 900K MIXED IOPS 1.5M READ IOPS <1MS Latency 150K MIXED IOPS 250K READ IOPS <1MS Latency SCALE-OUT 5 120 TB based on 10 & 20 TB X-Bricks CZAS ODPOWIEDZI <1MS. ZAAWANSOWANE USŁUGI DANYCH. BEZ STROJENIA. 41
Niezatrzymywalne usługi danych XtremIO Globalne, bez wpływu na wydajność, za darmo ZAWSZE WŁĄCZONY THIN PROVISIONING DEDUPLIKACJA INLINE KOMPRESJA INLINE XTREMIO DATA PROTECTION SZYFROWANIE DANYCH INLINE ELASTYCZNE, ZAPISYWALNE SNAPSHOTY 42
Nowy wymiar konsolidacji SCALE-OUT DOSTARCZA IOPS Z ZAPASEM DARMOWE, SZYBKIE DEV/TEST DEV INST 1 DEV INST 1 DEV INST 1 DEV INST 1 DEV INST 1 DEV INST 1 DEV INST 2 DEV INST 2 DEV INST 2 DEV INST 2 DEV INST 2 DEV INST 2 DEV INST 1 DEV INST 1 DEV INST 1 DEV INST 1 DEV INST 2 DEV INST 2 DEV INST 2 DEV INST 2 BARDZO WYDAJNA PRODUKCJA DARMOWA, WYDAJNA ANALITYKA FIN COPY FIN COPY OPS COPY OPS COPY FIN COPY FIN COPY OPS COPY OPS COPY REPORTS REPORTS ANALYTICS ANALYTICS WSZYSTKIE APLIKACJE NA XTREMIO WIĘKSZA PRODUKTYWNOŚĆ BIZNESOWA DEV INST 3 DEV INST 3 DEV INST 3 DEV INST 3 DEV INST 3 DEV INST 3 DEV INST 3 DEV INST 3 KOPIE TEST/DEV DEV INST 3 DEV INST 3 SALES COPY SALES COPY TRENDS SALES COPY SALES COPY TRENDS KOPIE DATAMART SZYBSZY ROZWÓJ APLIKACJI x 1 0 INSTANCJI BAZY 1 KLASTER XTREMIO 0 TRADYCYJNYCH KOPII 43
TO APLIKACJE OKREŚLAJĄ ARCHITEKTURĘ NIE ODWROTNIE 44
Zaczynamy od aplikacji Która architektura pasuje do TWOICH systemów? Jedna wspólna platforma danych czy może różne podejścia? EMC jest liderem technologicznym we wszystkich architekturach 45