Jakub Bałchan, Maciej Przepiórka. Życie w blasku. Co to jest Flash i dlaczego ma takie znaczenie?

Transkrypt

1 Jakub Bałchan, Maciej Przepiórka Życie w blasku. Co to jest Flash i dlaczego ma takie znaczenie? 1

2 Co to jest Flash 2

3 Wydajność a prowo Moore a MOORE S LAW: 100X PER DECADE FLASH Closes The CPU To Storage Gap FLASH Follows Moore s Law And Can Keep Up With CPU Developments CONSTANT 100X IMPROVED FLASH 10,000X IMPROVED

4 Wydajność = 1 / czas dostępu 111 godz 1 s 14 s 30 s 3,5 min 231 dni 4

5 Porównanie kosztów nośnika Koszt IOPS jest dużo niższy dla Flash Ale koszt GB jest wciąż wyższy niż dla HDD Koszty utrzymania (zasilanie, chłodzenie) są dużo niższe dla Flash 5

6 Wydajność Flash zależy od typu IO Odczyt/zapis na dyskach HDD trwa tyle samo (można nadpisywać) Na SSD jest inaczej nie ma możliwości bezpośredniego nadpisywania danych Dlatego musimy korzystać z Flash w inny sposób HDD MLC Odczyt 5000 µs 50 µs Zapis 5000 µs µs Kasowanie µs 6

7 FLASH działa inaczej niż HDD Przykładowy dysk SSD w uproszczeniu: wielkość strony: 4 kb ilość stron: 5 (+ 2 nadmiarowe) pojemność użytkowa: 20 kb 7

8 Zapis w puste miejsce Zapisujemy plik DOC o wielkości 4kB 8

9 Zapis w puste miejsce Zapisujemy plik JPG o wielkości 20kB 9

10 Usunięcie pliku Kasujemy plik DOC Operacja kasowania nie zamazuje danych, a jedynie usuwa informacje o metadanych pliku 10

11 Nadpisywanie starych danych Zapisujemy PPT o wielkości 4kB. Dysk SSD musi przygotować miejsce pod plik: wyzerować stronę 11

12 Zapisywanie danych na nowy dysk SSD

13 Jak wygląda struktura Flash później? Q ^ 0 5 J e & 0 k W 0d 4 p n0 C 2 r H % Y c R # t! 0, I f w 0 ; 7 ) _ 06 b B u D0 Z m k 3 ^ - 0? e 0 X G 0 0< v 0r D 5 2 0b j g p. s G 0 n B z 0 = } / h : 2 g X V 8 N 0- * F t S 0 [ H K0 m L U 0 { 7 \ Wciąż dużo wolnych stron Puste strony losowo porozrzucane po powierzchni Brak możliwości nadpisywania 0 Pusta strona Oczekująca na kasowanie 13

14 Jak skasować strony Flash? Q ^ 0 5 J e & 0 k W 0d 4 p n0 C 2 r H % Y c R # t! 0, I f w 0 ; 7 ) _ 06 b B u D0 Z m k 3 ^ - 0? e 0 X G 0 0< v 0r D 5 2 0b j g p. 0 s G 0 n B z 0 = } / h : 2 g X V 8 N 0- * F t S 0 [ H K0 m L U 0 { 7 \ Zerowany blok Zerowanie odbywa się wyększym blokiem niż rozmiar strony Dopiero później można zapisywać dane 14

15 Garbage Collection na poziomie macierzy Flash Array Controller Duży narzut na operacje I/O back-end Brak możliwości opóźniania procesu zerowania w nieskończoność Znaczne obciążenie kontrolerów kosztem wydajności aplikacji 15

16 Proces zerowania bloków Zmiana z na taką postać 16

17 Jak wygląda Strategia Flash w wydaniu EMC? 17

18 Cztery modele architektury storage. Clustered Scale Up & Down TYPE 1 Tightly Coupled Scale Out TYPE 2 Loosely Coupled Scale Out TYPE 3 Distributed Share Nothing TYPE 4 Dwa kontrolery Współdzielone metadane Wielokontrolerowy grid Współdzielone metadane Niezależne kontrolery Rozproszone metadane Wielkie repozytoria danych Niezależne kontrolery Rozproszone metadane Potwierdzenia nietransakcyjne 18

19 Cztery modele architektury storage. Clustered Scale Up & Down TYPE 1 Tightly Coupled Scale Out TYPE 2 Loosely Coupled Scale Out TYPE 3 Distributed Share Nothing TYPE 4 Dwa kontrolery Współdzielone metadane Wielokontrolerowy grid Współdzielone metadane Niezależne kontrolery Rozproszone metadane Wielkie repozytoria danych Niezależne kontrolery Rozproszone metadane Potwierdzenia nietransakcyjne 19

20 W jaki sposób przedstawione architektury zoptymalizują aplikacje? 20

21 Portfolio Flash na każde potrzeby. Server Flash Most Extreme Performance Highest Possible IO Lowest Possible Latency PROSTE USŁUGI DANYCH 100μS SDS 500μS Block Capacity Pooling Advanced Availability Elastic Scale 1mS 5mS Software Purpose Built All Flash Array Software Defined Flash Optimized Data Services Inherent Balance All Flash Array Consistent Performance Hybrid Storage Array Balance Cost and Performance Changing IO Patterns Flash Optimized Hybrid Array Higher Perf/Lower Latency File & Block Workloads Large Data Sets Competing Workloads ZAAWANSOWANE USŁUGI DANYCH 21

22 Każda architektura skorzysta z Flash. 100μS 500μS 1mS Server Flash Most Extreme Performance Highest Possible IO Lowest Possible Latency SDS Block Capacity Pooling Advanced Availability Elastic Scale Purpose Built All Built Flash Array Purpose All Flash Software Software Defined Flash Optimized Data Services Array Inherent Balance All Flash Array Consistent Performance Flash Optimized Hybrid Array Higher Perf/Lower Latency File & Block Workloads 5mS Hybrid Storage Array Balance Cost and Performance Changing IO Patterns Large Data Sets Competing Workloads PROSTE USŁUGI DANYCH ZAAWANSOWANE USŁUGI DANYCH 22

23 Każda architektura skorzysta z Flash. 100μS 500μS 1mS Server Flash ost Extreme Performance Highest Possible IO Lowest Possible Latency XtremSF SDS Block Capacity Pooling Advanced Availability Elastic Scale Software Purpose Built All Built Flash Array Purpose XtremIO All Flash Software Defined Flash Optimized Data Services Array Inherent Balance All Flash Array Consistent Performance Xtrem Cache Flash Optimized Hybrid Array Higher Perf/Lower Latency File & Block Workloads FAST Suite 5mS Hybrid Storage Array Balance Cost and Performance VNX Large Data Sets Isilon VMAX Changing IO Patterns Competing Workloads VNXe PROSTE USŁUGI DANYCH ZAAWANSOWANE USŁUGI DANYCH 23

24 Doświadczenie EMC w produktach Flash EMC First to embrace Flash FAST Isilon Flash All- Flash VMAX All- Flash VNX EMC Server Flash Next-Gen VNX XtremIO Acquisition XtremIO GA VMAX Flash VNX Flash FAST Cache ScaleIO Acquisition

25 WSZYSTKIE NAPISANE DZIEŁA LUDZKOŚCI W HISTORII WE WSZYSTKICH JĘZYKACH ŚWIATA 50 PETABYTES ILOŚĆ FLASH DOSTARCZONA W CIĄGU OSTATNIEGO ROKU W PRODUKTACH EMC 73 PETABYTES 25

26 Każda architektura skorzysta z Flash. Server Flash ost Extreme Performance Highest Possible IO Lowest Possible Latency XtremSF SDS Block Capacity Pooling Advanced Availability Elastic Scale Software Purpose Built All Built Flash Array Purpose XtremIO All Flash Software Defined Flash Optimized Data Services Array Inherent Balance All Flash Array Consistent Performance Xtrem Cache Flash Optimized Hybrid Array Higher Perf/Lower Latency File & Block Workloads Hybrid Storage Array Balance Cost and Performance VNX Large Data Sets Changing Isilon IO Patterns Competing Workloads VMAX VNXe FAST Suite 26

27 EMC ScaleIO Sieć SAN na bazie serwerów Software który tworzy sieć SAN w oparciu o dyski lokalne w serwerach i udostępnia je w modelu Performance And Capacity On Demand Tworzy wirtualne pule z różnych warstw wydajnościowych Wykorzystywane media: każdy tradycyjny dysk lokalny, SSD, karty PCIe Flash Instalowane na dotychczasowych serwerach fizycznych i wirtualnych 27

28 Model ScaleIO tradycyjny 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 20K IOPS 100 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 2K IOPS 10 TB 40K IOPS 200 TB 28

29 ScaleIO Nie tylko wydajność, ale też dodatkowe funkcje ZAPISYWALNE SNAPSHOTY MULTI-TENANCY MULTI-TIERING QUALITY OF SERVICE Natychmiastowe wydajne kopie Segmentacja dostępu do danych PCIe, SSD i HDD Auto Rebalancing Limity IOPS per aplikacja 29

31 Przykładowe wykresy SKEW Rozkład danych na macierzach hybrydowych Long Tail Skew Mixed Skew Shallow Skew Większość danych jest mało aktywna Typowy rozkład temperatury danych około 5% aktywne Równomierny rozkład (np. hurtownia danych) 31

32 Mapa odwołań do bloków danych 32

33 Przykład macierzy hybrydowej 32 TB netto. Wzrost 50% R/R. Dane aktywne przez 60 dni. 210 Dysków 15K VNX 33

34 Przykład macierzy hybrydowej 32 TB netto. Wzrost 50% R/R. Dane aktywne przez 60 dni Dysków Dyski 15K VNX FAST Cache & FAST VP VNX GB SSDs GB 15K SAS 24 3TB NL-SAS 34

35 Przykład macierzy hybrydowej 32 TB netto. Wzrost 50% Y/Y. Dane aktywne przez 60 dni. Footprint Power IOPS 45RU 63 3,938W Dyski VNX74K 18RU GB SSDs FAST Cache & FAST VP 990W GB 15K SAS 24 3TB NL-SAS 33K 75% 60% 125% 35

37 Zastosowania XtremCache Serwery baz danych. XtremCache % WIĘCEJ IOPS 65% MNIEJSZY R.T. 37

38 XtremCache & XtremSF dwa w jednym Cache Dysk lokalny Data 1 Data 2 Temp DB 38

40 EMC XtremIO : #1 All Flash Array Stałe i przewidywalne IOPS i opóźnienia Architektura Scale-Out Usługi danych stale włączone Efektywność Kompresja, deduplikacja, kopie migawkowe Łatwa obsługa Bez strojenia wydajności 40

41 Liniowa skalowalność XtremIO 900K MIXED IOPS 1.5M READ IOPS <1MS Latency 150K MIXED IOPS 250K READ IOPS <1MS Latency SCALE-OUT TB based on 10 & 20 TB X-Bricks CZAS ODPOWIEDZI <1MS. ZAAWANSOWANE USŁUGI DANYCH. BEZ STROJENIA. 41

42 Niezatrzymywalne usługi danych XtremIO Globalne, bez wpływu na wydajność, za darmo ZAWSZE WŁĄCZONY THIN PROVISIONING DEDUPLIKACJA INLINE KOMPRESJA INLINE XTREMIO DATA PROTECTION SZYFROWANIE DANYCH INLINE ELASTYCZNE, ZAPISYWALNE SNAPSHOTY 42

43 Nowy wymiar konsolidacji SCALE-OUT DOSTARCZA IOPS Z ZAPASEM DARMOWE, SZYBKIE DEV/TEST DEV INST 1 DEV INST 1 DEV INST 1 DEV INST 1 DEV INST 1 DEV INST 1 DEV INST 2 DEV INST 2 DEV INST 2 DEV INST 2 DEV INST 2 DEV INST 2 DEV INST 1 DEV INST 1 DEV INST 1 DEV INST 1 DEV INST 2 DEV INST 2 DEV INST 2 DEV INST 2 BARDZO WYDAJNA PRODUKCJA DARMOWA, WYDAJNA ANALITYKA FIN COPY FIN COPY OPS COPY OPS COPY FIN COPY FIN COPY OPS COPY OPS COPY REPORTS REPORTS ANALYTICS ANALYTICS WSZYSTKIE APLIKACJE NA XTREMIO WIĘKSZA PRODUKTYWNOŚĆ BIZNESOWA DEV INST 3 DEV INST 3 DEV INST 3 DEV INST 3 DEV INST 3 DEV INST 3 DEV INST 3 DEV INST 3 KOPIE TEST/DEV DEV INST 3 DEV INST 3 SALES COPY SALES COPY TRENDS SALES COPY SALES COPY TRENDS KOPIE DATAMART SZYBSZY ROZWÓJ APLIKACJI x 1 0 INSTANCJI BAZY 1 KLASTER XTREMIO 0 TRADYCYJNYCH KOPII 43

44 TO APLIKACJE OKREŚLAJĄ ARCHITEKTURĘ NIE ODWROTNIE 44

45 Zaczynamy od aplikacji Która architektura pasuje do TWOICH systemów? Jedna wspólna platforma danych czy może różne podejścia? EMC jest liderem technologicznym we wszystkich architekturach 45

46