HYDRAstor skalowalny system do backupu i archiwum Bezpieczna przestrzeń na dane firmowe. Michał Kaczmarczyk

Transkrypt

1 HYDRAstor skalowalny system do backupu i archiwum Bezpieczna przestrzeń na dane firmowe Michał Kaczmarczyk

2 O HYDRAstor System do przechowywania danych backupowych i archiwalnych Najbardziej skalowalny i najszybszy na świecie! Sprzedawany przez NEC od 2007 roku w USA i Japonii od 2014 roku również w Polsce Dostępna już czwarta generacja systemu 2

3 O 9LivesData Polska firma założona w 2008 roku przez dra Cezarego Dubnickiego (głównego pomysłodawcę systemu HYDRAstor) Strategiczny partner w rozwoju HYDRAstor Tworzenie i rozbudowa kluczowych komponentów systemu Badania, patenty i publikacje naukowe Wsparcie techniczne wyższego poziomu dla klientów z całego świata Wyłączny dystrybutor HYDRAstor na Polskę Autoryzacja NEC Japan Dopasowanie systemu do potrzeb klienta Pełne wsparcie techniczne (także w języku polskim) 3

4 Czym jest? 4

5 HYDRAstor: Przestrzeń na dane Aplikacja backupowa: NFS / CIFS / OST... Ethernet 1GbE / 10GbE Sieć inteligentnych węzłów działających jako całość 5

6 HYDRAstor: Skalowanie przy pomocy węzłów Wysokiej klasy serwery Węzły pojemnościowe Elastyczna konfiguracja przy użyciu dwóch typów węzłów SKALOWANIE POJEMNOŚCI Możliwe łączenie różnych generacji sprzętu w jednej sieci Węzły hybrydowe SKALOWANIE WYDAJNOŚCI I POJEMNOŚCI 6

7 HYDRAstor: Inteligentne oprogramowanie Całkowicie rozproszone (brak SPOF) Odpowiada za najważniejsze cechy systemu Dostarcza usługi zarządzające danymi Węzły hybrydowe = + Węzły pojemnościowe 7

8 Problemy z backupem i system HYDRAstor jako ich rozwiązanie 8

9 Problem z architekturą backupów: Ograniczone skalowanie 9

10 Nieefektywne użycie zasobów Istniejące systemy skalują się do niewielkich rozmiarów Clients Ograniczone możliwości wraz ze zwiększającą się ilością danych do backupu Konieczność zakupu dużego systemu lub częstej wymiany Wiele produktów z różnymi architekturami do zarządzania Throughput Capacity Appliance Appliance Appliance 10

11 Rozwiązanie : Skalowanie wydajności i pojemności 11

12 Skalowalność jako rozwiązanie istniejących problemów Skalowalność przez dodawanie węzłów Clients Jeden system / pula zasobów do zarządzania DynamicStorTM dynamiczne przydzielanie zasobów Wydajność 4156 TB/godz. 4,9TB/godz. 48TB (efektywnie 624TB) Pojemność 7920TB (efektywnie 103PB) 12

13 Skalowalność we wszystkich aspektach Rozproszona architektura wszystkich rodzajów zadań usuwanie replikacja odbudowa zapis / deduplikacja szyfrowanie Konkurencyjne rozwiązanie HYDRAstor Wiele kontrolerów Jeden kontroler Każdy węzeł wykonuje zadania tylko dla przydzielonej do niego pojemności. Jeden kontroler wykonuje pracę dla całej pojemności systemu. 13

14 Przestrzeń backupowa na długie lata Rozbudowa/aktualizacja online także z węzłami z różnych generacji Rozbudowa/aktualizacja podczas działania Usunięcie więzła podczas działania V2 + V3 + V4 + Vx = 1 System Wydajniejsze komponenty oraz większa gęstość danych z nową generacją Aktualizacja oprogramowania w miejscu bez migracji danych Ciągła dostępność danych Skalowanie bez przerw w działaniu systemu i rezerwacji miejsca 14

15 Problem z ochroną danych: Niewystarczająca odporność na awarie 15

16 Ochrona RAID Czynniki zewnętrzne Ta sama temperatura i warunki działania Udowodniona awaryjność grupowa* * Disk failures in the real world... Carnegie Mellon University (Najlepszy artykuł na FAST'07) Liczba awarii w tygodniu następnym Umiejscowienie w jednym serwerze Ryzyko awarii sewera i braku dostępu do danych Błędne działanie komponentów może spowodować awarię wielu dysków (m.in. płyta główna, zasilacz) Liczba awarii w tygodniu poprzednim 16

17 Powolna odbudowa po awarii Niska wydajność odbudowy w macierzy RAID-6 Odbudowa całego wolumenu Dane rekonstruowane na jednym dysku RAID-6 RAID-6 X Jeden dysk wąskim gardłem odbudowy Legenda: dysk z danymi dysk zapewniający odporność na awarie dysk zapasowy 17

18 Powolna odbudowa po awarii ym n o Niska wydajność odbudowy w macierzy RAID-6 ksz ie ę i zw ństw! e i Odbudowa całego wolumenu czn dobie dysku a n y z dopo nego Dane rekonstruowane na jednym dysku z r P j w pra y kole at utr RAID-6 RAID-6 X Jeden dysk wąskim gardłem odbudowy Legenda: dysk z danymi dysk zapewniający odporność na awarie dysk zapasowy 18

19 Rozwiązanie : Wielopoziomowa odporność i Wydajna odbudowa danych 19

20 Distributed Resilient DataTM 20

21 Distributed Resilient DataTM Konfigurowalny poziom ochrony danych Wiele, dostępnych jednocześnie, poziomów odporności w jednym systemie (1-6) Dynamicznie przydzielany poziom ochrony danych dla różnych aplikacji i backupów Typowy RAID 6 HYDRAstor DRDTM 1) Lepsza ochrona, ten sam koszt 2) Domyślna ochrona przeciwko trzem równoczesnym awariom dysków (1.5x lepsza ochrona niż typowy RAID 6) Brak dysków zapasowych Legenda: dysk z danymi dysk zapewniający odporność na awarie 3) 4) 5) dysk zapasowy 6) 21

22 DRDTM vs RAID-6 odbudowa po awarii Wydajny, samouzdrawiający się system Odbudowa tylko danych, zamiast całego dysku Dane są rekonstruowane równomiernie na wielu dyskach RAID-6 HYDRAstor DRDTM X Jeden dysk wąskim gardłem odbudowy Odbudowa z wielu na wiele dysków 22

23 RepliGridTM zoptymalizowana replikacja Replikacja wiele do jednego Replikacja wiele do wielu Zoptymalizowana do sieci rozległej Deduplikacja pomiędzy wszystkimi replikowanymi gridami Minimalizuje wymagania na przepustowość sieci (przesyłanie tylko nowych bloków) Minimalizuje wymagania na pojemność zdalnego systemu Szyfrowanie danych w locie 23

24 Problem: Nieefektywne użycie przestrzeni 24

25 Lokalność deduplikacji Plik_A AA Plik_B AA BB CC Plik_C CC BB BB DD DD AA DD CC Deduplikacja Plik_A AA CC Plik_B DD AA BB CC Plik_C DD BB CC DD Te same bloki na różnych systemach 25

26 Rozwiązanie : Globalna deduplikacja 26

27 DataRedux - globalna deduplikacja Plik_A AA Plik_B AA BB CC Plik_C CC BB BB DD DD AA DD CC Deduplikacja Plik_A Plik_B AA BB CC Plik_C DD Tylko jedna kopia każdego bloku 27

28 Sprawdzona i nagradzana technologia 28

29 Wyróżnienia rynkowe Best Storage Solution Product Award Winner (2014 Hot Companies and Best Products Awards by Network Products Guide) Best in class (w tym trzy pierwsze miejsca) w przewodniku rozwiązań do backupu dla klientów średniej wielkości (DCIG 2013) Najbardziej skalowalny i najszybszy system z deduplikacją na świecie (2010 niezależny analityk rynku Curtis W. Preston) The big winner here is NEC, coming in more than three times as fast as their closest competitor. W. Curtis Preston ( ) Product Innovation Award Winner (2008 Network Products Guide) Produkt Roku w kategorii Backup and Disaster Recovery Hardware ( Storage Magazine and SearchStorage.com) 29

30 Prace badawcze fundament produktu "Fuzzy adaptive control for heterogeneous tasks in high-performance storage systems" SYSTOR'13, Haifa, Izrael "Concurrent Deletion in a Distributed Content - Addressable Storage System with Global Deduplication" FAST'13, San Jose, USA "Reducing Impact of Data Fragmentation Caused By In-Line Deduplication" SYSTOR'12, Haifa, Izrael "Anchor-driven subchunk deduplication" SYSTOR'11, Haifa, Izrael "Bimodal Content Defined Chunking for Backup Streams" FAST'10, San Jose, USA "HydraFS: A High-Throughput File System for the HYDRAstor ContentAddressable Storage System" FAST'10, San Jose, USA "HYDRAstor: a Scalable Secondary Storage" FAST'09, San Francisco, USA "FPN: A Distributed Hash Table for Commercial Applications" HPDC'04, Honolulu, USA patentów przyznanych i 25 oczekujących (w USA i Japonii) 30

31 Prace badawcze fundament produktu "Fuzzy adaptive control for heterogeneous tasks in high-performance storage systems" SYSTOR'13, Haifa, Izrael "Concurrent Deletion in a Distributed Content - Addressable Storage System with Global Deduplication" FAST'13, San Jose, USA "Reducing Impact of Data Fragmentation Caused By In-Line Deduplication" SYSTOR'12, Haifa, Izrael "Anchor-driven subchunk deduplication" SYSTOR'11, Haifa, Izrael "Bimodal Content Defined Chunking for Backup Streams" FAST'10, San Jose, USA "HydraFS: A High-Throughput File System for the HYDRAstor ContentAddressable Storage System" FAST'10, San Jose, USA "HYDRAstor: a Scalable Secondary Storage" FAST'09, San Francisco, USA "FPN: A Distributed Hash Table for Commercial Applications" HPDC'04, Honolulu, USA patentów przyznanych i 25 oczekujących (w USA i Japonii) 31

32 Dostępne konfiguracje 32

33 HS3-410 węzeł typu mini (nierozszerzalny) Najmniejszy rozmiar systemu HYDRAstor Dla zastosowań, w których skalowalność nie jest wymagana HS3-410 Przepustowość (Deduped TransferTM) 19.8 TB/godz. Przepustowość (standard) 3.2 TB/godz. Fizyczna pojemność 24 TB Efektywna pojemność 312 TB Porty NIC 6 x 1GbE lub 2/4 10GbE + 4/2 x 1GbE 33

34 HS węzeł hybrydowy Węzeł hybrydowy (HN) Powiększa wydajność i pojemność systemu HYDRAstor HS HN Przepustowość (Deduped TransferTM) 40 TB/godz. Przepustowość (standard) 4.9 TB/godz. Fizyczna pojemność 48 TB Efektywna pojemność 624 TB Porty NIC 6 x 1GbE lub 2/4 10GbE + 2 x 1GbE 34

35 HS węzeł pojemnościowy Węzeł pojemnościowy (SN) Powiększa pojemność systemu HYDRAstor HS SN Fizyczna pojemność 48 TB Efektywna pojemność 624 TB 35

36 HYDRAstor 4-tej generacji Wydajność Model rozszerzalny HS HS HS TB/godz. 96TB (Efektywna 1.2PB) Model nierozszerzalny 80 TB/godz. 192TB (Efektywna 2.5PB) 4158 TB/godz. 7,920TB (Efektywna 103PB) HS TB/godz. 720TB (Efektywna 9.4PB) HS HS TB/godz. 24TB (Efektywna 312TB) Rodzaje węzłów 25.2 TB/godz TB (Efektywna TB) Hybrydowy HS Pojemnościowy 40TB/godz. 96TB (Efektywna 1.2PB) Pojemność 36

37 Porównanie z konkurencją 37

38 Skalowalność Wydajność (TB/h) Konkurencja 2 4 Pojemność (PB) 6 8 Wydajność z protokołem OST i funkcją Deduped Transfer 38

39 Porównanie HYDRAstor Popularny konkurencyjny system Tak Tak Skalowalność wydajności Liniowa (do 4158 TB/godz) Brak (stała wydajność 31 TB/godz.) Skalowalność pojemności Liniowa (od 48TB do 8PB) Ograniczony przedział (np.: od 0.5PB do 2PB) Rozbudowa Podczas działania Po wyłączeniu Deduplikacja (przez dodanie węzłów) (przez dodanie dysków lub wymianę systemu) Aktualizacja Podczas działania Po zatrzymaniu Odporność na awarie 1-6 dysków (DRD) 2 dyski (RAID-6) Odbudowa po awarii Minuty / Godziny Godziny / Dni Replikacja Zoptymalizowana Zoptymalizowana 39

40 Archiwum 40

41 Dostosowana fukcjonalność Skalowalność Ochrona danych Rozbudowa (w trakcie działania) Kompresja i deduplikacja TM (DRD, WORM, weryfikacja ) AA CC DD AA AABBCC DD AA BB CC DD BBBBDD CC Szyfrowanie Kompresja obrazów StarPixel Replikacja 41

42 Podsumowanie 42

43 Technologia dostępna w wersji do BACKUPU i ARCHIWUM Model rozszeszalny (HS8-4000) Wydajność Szybki backup Archiwum (HS6-4000A) Model nierozszerzalny (HS3-410) Archiwum dla dużych danych Pojemność 43

44 Przypadki użycia u klientów 44

45 Duży szpital (Japonia) wymagania Zastąpienie kosztownego i pracochłonnego transportowania taśm z repliką danych backupowych Umożliwienie przeprowadzania backupu każdego dnia 45

46 Duży szpital (Japonia) rozwiązanie HYDRAstor Automatyzacja replikacji i łatwa jej weryfikacja Wysoka wydajność zmniejszająca okno backupu danych (umożliwienie codziennego backupu) 46

47 Duża korporacja (USA) wymagania Zaproponowanie rozwiązania do wydajnego backupu dla całej organizacji 5 oddziałów: Filipiny, Kanada, Wielka Brytania, 2x USA 3 centra danych 47

48 Duża korporacja (USA) rozwiązanie HYDRAstor Filipiny Kanada USA Replikacja 3AN+9SN HYDRA2 / HYDRA3 USA UK Replikacja 3HN+46SN Rozszerzony z AN+21SN HYDRA2 / HYDRA3 HYDRA2 / HYDRA3 / HYDRA4 48

49 Wybrane obszary zastosowań Spółka gazowa (Japonia) Korporacja finansowa (USA) Opieka zdrowotna (Japonia) Nadawca telewizyjny (Japonia) Korporacja obsługująca karty kredytowe (Korporacja globalna) Agencja rządowa Producent samochodów (USA) (Japonia) 49

50 Zapraszamy do współpracy! Razem z dystrybutorami oferujemy kompletne rozwiązanie backupowe Zapraszamy do kontaktu i pozostawienia wizytówki (chętnie prześlemy prezentację) System można obejrzeć na naszym stoisku Biuro: ul. Niedźwiedzia 8b, Warszawa hydrastor@9livesdata.com 50