HYDRAstor skalowalny system do backupu i archiwum Bezpieczna przestrzeń na dane firmowe Michał Kaczmarczyk
O HYDRAstor System do przechowywania danych backupowych i archiwalnych Najbardziej skalowalny i najszybszy na świecie! Sprzedawany przez NEC od 2007 roku w USA i Japonii od 2014 roku również w Polsce Dostępna już czwarta generacja systemu 2
O 9LivesData Polska firma założona w 2008 roku przez dra Cezarego Dubnickiego (głównego pomysłodawcę systemu HYDRAstor) Strategiczny partner w rozwoju HYDRAstor Tworzenie i rozbudowa kluczowych komponentów systemu Badania, patenty i publikacje naukowe Wsparcie techniczne wyższego poziomu dla klientów z całego świata Wyłączny dystrybutor HYDRAstor na Polskę Autoryzacja NEC Japan Dopasowanie systemu do potrzeb klienta Pełne wsparcie techniczne (także w języku polskim) 3
Czym jest? 4
HYDRAstor: Przestrzeń na dane Aplikacja backupowa: NFS / CIFS / OST... Ethernet 1GbE / 10GbE Sieć inteligentnych węzłów działających jako całość 5
HYDRAstor: Skalowanie przy pomocy węzłów Wysokiej klasy serwery Węzły pojemnościowe Elastyczna konfiguracja przy użyciu dwóch typów węzłów SKALOWANIE POJEMNOŚCI Możliwe łączenie różnych generacji sprzętu w jednej sieci Węzły hybrydowe SKALOWANIE WYDAJNOŚCI I POJEMNOŚCI 6
HYDRAstor: Inteligentne oprogramowanie Całkowicie rozproszone (brak SPOF) Odpowiada za najważniejsze cechy systemu Dostarcza usługi zarządzające danymi Węzły hybrydowe = + Węzły pojemnościowe 7
Problemy z backupem i system HYDRAstor jako ich rozwiązanie 8
Problem z architekturą backupów: Ograniczone skalowanie 9
Nieefektywne użycie zasobów Istniejące systemy skalują się do niewielkich rozmiarów Clients Ograniczone możliwości wraz ze zwiększającą się ilością danych do backupu Konieczność zakupu dużego systemu lub częstej wymiany Wiele produktów z różnymi architekturami do zarządzania Throughput Capacity Appliance Appliance Appliance 10
Rozwiązanie : Skalowanie wydajności i pojemności 11
Skalowalność jako rozwiązanie istniejących problemów Skalowalność przez dodawanie węzłów Clients Jeden system / pula zasobów do zarządzania DynamicStorTM dynamiczne przydzielanie zasobów Wydajność 4156 TB/godz. 4,9TB/godz. 48TB (efektywnie 624TB) Pojemność 7920TB (efektywnie 103PB) 12
Skalowalność we wszystkich aspektach Rozproszona architektura wszystkich rodzajów zadań usuwanie replikacja odbudowa zapis / deduplikacja szyfrowanie Konkurencyjne rozwiązanie HYDRAstor Wiele kontrolerów Jeden kontroler Każdy węzeł wykonuje zadania tylko dla przydzielonej do niego pojemności. Jeden kontroler wykonuje pracę dla całej pojemności systemu. 13
Przestrzeń backupowa na długie lata Rozbudowa/aktualizacja online także z węzłami z różnych generacji Rozbudowa/aktualizacja podczas działania Usunięcie więzła podczas działania V2 + V3 + V4 + Vx = 1 System Wydajniejsze komponenty oraz większa gęstość danych z nową generacją Aktualizacja oprogramowania w miejscu bez migracji danych Ciągła dostępność danych Skalowanie bez przerw w działaniu systemu i rezerwacji miejsca 14
Problem z ochroną danych: Niewystarczająca odporność na awarie 15
Ochrona RAID Czynniki zewnętrzne Ta sama temperatura i warunki działania Udowodniona awaryjność grupowa* * Disk failures in the real world... Carnegie Mellon University (Najlepszy artykuł na FAST'07) Liczba awarii w tygodniu następnym Umiejscowienie w jednym serwerze Ryzyko awarii sewera i braku dostępu do danych Błędne działanie komponentów może spowodować awarię wielu dysków (m.in. płyta główna, zasilacz) Liczba awarii w tygodniu poprzednim 16
Powolna odbudowa po awarii Niska wydajność odbudowy w macierzy RAID-6 Odbudowa całego wolumenu Dane rekonstruowane na jednym dysku RAID-6 RAID-6 X Jeden dysk wąskim gardłem odbudowy Legenda: dysk z danymi dysk zapewniający odporność na awarie dysk zapasowy 17
Powolna odbudowa po awarii ym n o Niska wydajność odbudowy w macierzy RAID-6 ksz ie ę i zw ństw! e i Odbudowa całego wolumenu czn dobie dysku a n y z dopo nego Dane rekonstruowane na jednym dysku z r P j w pra y kole at utr RAID-6 RAID-6 X Jeden dysk wąskim gardłem odbudowy Legenda: dysk z danymi dysk zapewniający odporność na awarie dysk zapasowy 18
Rozwiązanie : Wielopoziomowa odporność i Wydajna odbudowa danych 19
Distributed Resilient DataTM 20
Distributed Resilient DataTM Konfigurowalny poziom ochrony danych Wiele, dostępnych jednocześnie, poziomów odporności w jednym systemie (1-6) Dynamicznie przydzielany poziom ochrony danych dla różnych aplikacji i backupów Typowy RAID 6 HYDRAstor DRDTM 1) Lepsza ochrona, ten sam koszt 2) Domyślna ochrona przeciwko trzem równoczesnym awariom dysków (1.5x lepsza ochrona niż typowy RAID 6) Brak dysków zapasowych Legenda: dysk z danymi dysk zapewniający odporność na awarie 3) 4) 5) dysk zapasowy 6) 21
DRDTM vs RAID-6 odbudowa po awarii Wydajny, samouzdrawiający się system Odbudowa tylko danych, zamiast całego dysku Dane są rekonstruowane równomiernie na wielu dyskach RAID-6 HYDRAstor DRDTM X Jeden dysk wąskim gardłem odbudowy Odbudowa z wielu na wiele dysków 22
RepliGridTM zoptymalizowana replikacja Replikacja wiele do jednego Replikacja wiele do wielu Zoptymalizowana do sieci rozległej Deduplikacja pomiędzy wszystkimi replikowanymi gridami Minimalizuje wymagania na przepustowość sieci (przesyłanie tylko nowych bloków) Minimalizuje wymagania na pojemność zdalnego systemu Szyfrowanie danych w locie 23
Problem: Nieefektywne użycie przestrzeni 24
Lokalność deduplikacji Plik_A AA Plik_B AA BB CC Plik_C CC BB BB DD DD AA DD CC Deduplikacja Plik_A AA CC Plik_B DD AA BB CC Plik_C DD BB CC DD Te same bloki na różnych systemach 25
Rozwiązanie : Globalna deduplikacja 26
DataRedux - globalna deduplikacja Plik_A AA Plik_B AA BB CC Plik_C CC BB BB DD DD AA DD CC Deduplikacja Plik_A Plik_B AA BB CC Plik_C DD Tylko jedna kopia każdego bloku 27
Sprawdzona i nagradzana technologia 28
Wyróżnienia rynkowe Best Storage Solution Product Award Winner (2014 Hot Companies and Best Products Awards by Network Products Guide) Best in class (w tym trzy pierwsze miejsca) w przewodniku rozwiązań do backupu dla klientów średniej wielkości (DCIG 2013) Najbardziej skalowalny i najszybszy system z deduplikacją na świecie (2010 niezależny analityk rynku Curtis W. Preston) The big winner here is NEC, coming in more than three times as fast as their closest competitor. W. Curtis Preston (28.10.2010) Product Innovation Award Winner (2008 Network Products Guide) Produkt Roku w kategorii Backup and Disaster Recovery Hardware (2007 - Storage Magazine and SearchStorage.com) 29
Prace badawcze fundament produktu "Fuzzy adaptive control for heterogeneous tasks in high-performance storage systems" SYSTOR'13, Haifa, Izrael "Concurrent Deletion in a Distributed Content - Addressable Storage System with Global Deduplication" FAST'13, San Jose, USA "Reducing Impact of Data Fragmentation Caused By In-Line Deduplication" SYSTOR'12, Haifa, Izrael "Anchor-driven subchunk deduplication" SYSTOR'11, Haifa, Izrael "Bimodal Content Defined Chunking for Backup Streams" FAST'10, San Jose, USA "HydraFS: A High-Throughput File System for the HYDRAstor ContentAddressable Storage System" FAST'10, San Jose, USA "HYDRAstor: a Scalable Secondary Storage" FAST'09, San Francisco, USA "FPN: A Distributed Hash Table for Commercial Applications" HPDC'04, Honolulu, USA... + 19 patentów przyznanych i 25 oczekujących (w USA i Japonii) 30
Prace badawcze fundament produktu "Fuzzy adaptive control for heterogeneous tasks in high-performance storage systems" SYSTOR'13, Haifa, Izrael "Concurrent Deletion in a Distributed Content - Addressable Storage System with Global Deduplication" FAST'13, San Jose, USA "Reducing Impact of Data Fragmentation Caused By In-Line Deduplication" SYSTOR'12, Haifa, Izrael "Anchor-driven subchunk deduplication" SYSTOR'11, Haifa, Izrael "Bimodal Content Defined Chunking for Backup Streams" FAST'10, San Jose, USA "HydraFS: A High-Throughput File System for the HYDRAstor ContentAddressable Storage System" FAST'10, San Jose, USA "HYDRAstor: a Scalable Secondary Storage" FAST'09, San Francisco, USA "FPN: A Distributed Hash Table for Commercial Applications" HPDC'04, Honolulu, USA... + 19 patentów przyznanych i 25 oczekujących (w USA i Japonii) 31
Dostępne konfiguracje 32
HS3-410 węzeł typu mini (nierozszerzalny) Najmniejszy rozmiar systemu HYDRAstor Dla zastosowań, w których skalowalność nie jest wymagana HS3-410 Przepustowość (Deduped TransferTM) 19.8 TB/godz. Przepustowość (standard) 3.2 TB/godz. Fizyczna pojemność 24 TB Efektywna pojemność 312 TB Porty NIC 6 x 1GbE lub 2/4 10GbE + 4/2 x 1GbE 33
HS8-4000 węzeł hybrydowy Węzeł hybrydowy (HN) Powiększa wydajność i pojemność systemu HYDRAstor HS8-4000 HN Przepustowość (Deduped TransferTM) 40 TB/godz. Przepustowość (standard) 4.9 TB/godz. Fizyczna pojemność 48 TB Efektywna pojemność 624 TB Porty NIC 6 x 1GbE lub 2/4 10GbE + 2 x 1GbE 34
HS8-4000 węzeł pojemnościowy Węzeł pojemnościowy (SN) Powiększa pojemność systemu HYDRAstor HS8-4000 SN Fizyczna pojemność 48 TB Efektywna pojemność 624 TB 35
HYDRAstor 4-tej generacji Wydajność Model rozszerzalny HS8-4165-7920 HS8-4002-192 HS8-4002-96 50 TB/godz. 96TB (Efektywna 1.2PB) Model nierozszerzalny 80 TB/godz. 192TB (Efektywna 2.5PB) 4158 TB/godz. 7,920TB (Efektywna 103PB) HS8-4010-720 378 TB/godz. 720TB (Efektywna 9.4PB) HS8-4001 HS3-410 19.8 TB/godz. 24TB (Efektywna 312TB) Rodzaje węzłów 25.2 TB/godz. 12-48TB (Efektywna 156-624TB) Hybrydowy HS8-4001-96 Pojemnościowy 40TB/godz. 96TB (Efektywna 1.2PB) Pojemność 36
Porównanie z konkurencją 37
Skalowalność Wydajność (TB/h) 4000 2000 Konkurencja 2 4 Pojemność (PB) 6 8 Wydajność z protokołem OST i funkcją Deduped Transfer 38
Porównanie HYDRAstor Popularny konkurencyjny system Tak Tak Skalowalność wydajności Liniowa (do 4158 TB/godz) Brak (stała wydajność 31 TB/godz.) Skalowalność pojemności Liniowa (od 48TB do 8PB) Ograniczony przedział (np.: od 0.5PB do 2PB) Rozbudowa Podczas działania Po wyłączeniu Deduplikacja (przez dodanie węzłów) (przez dodanie dysków lub wymianę systemu) Aktualizacja Podczas działania Po zatrzymaniu Odporność na awarie 1-6 dysków (DRD) 2 dyski (RAID-6) Odbudowa po awarii Minuty / Godziny Godziny / Dni Replikacja Zoptymalizowana Zoptymalizowana 39
Archiwum 40
Dostosowana fukcjonalność Skalowalność Ochrona danych Rozbudowa (w trakcie działania) Kompresja i deduplikacja TM (DRD, WORM, weryfikacja ) AA CC DD AA AABBCC DD AA BB CC DD BBBBDD CC Szyfrowanie Kompresja obrazów StarPixel Replikacja 41
Podsumowanie 42
Technologia dostępna w wersji do BACKUPU i ARCHIWUM Model rozszeszalny (HS8-4000) Wydajność Szybki backup Archiwum (HS6-4000A) Model nierozszerzalny (HS3-410) Archiwum dla dużych danych Pojemność 43
Przypadki użycia u klientów 44
Duży szpital (Japonia) wymagania Zastąpienie kosztownego i pracochłonnego transportowania taśm z repliką danych backupowych Umożliwienie przeprowadzania backupu każdego dnia 45
Duży szpital (Japonia) rozwiązanie HYDRAstor Automatyzacja replikacji i łatwa jej weryfikacja Wysoka wydajność zmniejszająca okno backupu danych (umożliwienie codziennego backupu) 46
Duża korporacja (USA) wymagania Zaproponowanie rozwiązania do wydajnego backupu dla całej organizacji 5 oddziałów: Filipiny, Kanada, Wielka Brytania, 2x USA 3 centra danych 47
Duża korporacja (USA) rozwiązanie HYDRAstor Filipiny Kanada USA Replikacja 3AN+9SN HYDRA2 / HYDRA3 USA UK Replikacja 3HN+46SN Rozszerzony z 3+12 2AN+21SN HYDRA2 / HYDRA3 HYDRA2 / HYDRA3 / HYDRA4 48
Wybrane obszary zastosowań Spółka gazowa (Japonia) Korporacja finansowa (USA) Opieka zdrowotna (Japonia) Nadawca telewizyjny (Japonia) Korporacja obsługująca karty kredytowe (Korporacja globalna) Agencja rządowa Producent samochodów (USA) (Japonia) 49
Zapraszamy do współpracy! Razem z dystrybutorami oferujemy kompletne rozwiązanie backupowe Zapraszamy do kontaktu i pozostawienia wizytówki (chętnie prześlemy prezentację) System można obejrzeć na naszym stoisku Biuro: ul. Niedźwiedzia 8b, Warszawa hydrastor@9livesdata.com 50