Zaawansowane R&D w systemach pamięci masowej

Transkrypt

1 Zaawansowane R&D w systemach pamięci masowej Cezary Dubnicki prokurent, 9LivesData sp. z o.o. sp.k. EXPOzycja polskich firm teleinformatycznych 17/03/2011

2 Geneza nazwy 9LivesData Cats have 9 lives koty mają 9 żyć (w USA, w Europie płd. tylko 7) X X X Dane powinny mieć co najmniej podobną odporność X X X Zaawansowane R&D w systemach pamięci masowej 2 z 13

3 Geneza 9LivesData Firma założona przez Cezarego Dubnickiego w 2008 Przed 2008 Dyrektor Wydziału Pamięci Masowych, NEC Laboratories, Princeton, USA R&D rozwój produktu HYDRAstor dla NEC Skalowalny, deduplikujący system do backupów Cezary zapoczątkował HYDRAstor w NEC w 2002 Zespół polskich konsultantów od 2002 Zaawansowane R&D w systemach pamięci masowej 3 z 13

4 Najwieksza japońska firma IT $43 mld. sprzedaży rocznie 143,000 pracowników Właściciel produktu i IP, Sprzedaż i marketing, Rozwój produktu Polska firma w Warszawie 50 inżynierów i naukowców R&D krytycznego składnika (backend), Publikacje, patenty Produkt Sprzedaż w USA i Japonii od 2007 roku 2007: Produkt roku w USA wg SearchStorage.com 2008: Nagroda za innowacje Network Products Guide : 3 publikacje na konferencji USENIX FAST 2010: Najszybszy na świecie system deduplikujący Zaawansowane R&D w systemach pamięci masowej 4 z 13

5 Produkt Skalowalny system do backupów jedna pula dyskowa dla wszystkich danych może trzymać wszystkie backupy wielkiej firmy Deduplikuje dane globalnie Odporny na wiele błędów Zaawansowane R&D w systemach pamięci masowej 5 z 13

6 Architektura HYDRAstor Skalowalny klaster rozszerzalny on-line Dostęp przez standardowe protokoły NFS/CIFS/OST NFS / CIFS / OST na Ethernecie Sieć wewnętrzna Rozszerzalność on-line Zaawansowane R&D w systemach pamięci masowej 6 z 13

7 Deduplikacja Wykryj powtarzające się bloki danych, Zachowaj tylko jeden, ale za to z dużą odpornością (RAID, erasure codes) Pliki P1 Bloki A B C Zapisane bloki P2 A D E Deduplikacja A B C D E P3 A B C Dla backupów: 10x 20x redukcja przestrzeni dyskowej Zaawansowane R&D w systemach pamięci masowej 7 z 13

8 Deduplikacja globalna vs. lokalna Globalna w całym systemie jedna kopia bloku Lokalna w obrębie danego węzła może być tyle kopii ile wezłów wymagana pojemność Porównanie efektywności deduplikacji bez deduplikacji lokalna globalna rozmiar danych HYDRAstor jedyny system z globalną deduplikacją Zaawansowane R&D w systemach pamięci masowej 8 z 13

9 Skalowalność HYDRAstor System Pojemność dysków Pojemosc po deduplikacji* Szybkość zapisu Mini HYDRA 6 węzłow 60 węzłów 12 TB 240 TB 1.3 TB/h 48TB 960 TB 3.6 TB/h 480 TB 9600 TB 36 TB/h * - zakładając deduplikację 20x HYDRAstor 60 węzłow, konkurencja max. 12 węzłów Zaawansowane R&D w systemach pamięci masowej 9 z 13

10 9LivesData dzisiaj Produkcja zaawansowanego oprogramowania tolerancja błędów sprzętowych i software'owych systemy współbieżne, rozproszone systemy samoorganizujące się Działalność naukowa - badania nowych rozwiązań pamięć masowa (np. SSD), nowe algorytmy doktoraty we współpracy z MIM UW publikacje m.in. USENIX FAST najlepsza na świecie konferencja pamięci masowej Patenty (głównie w USA) Zaawansowane R&D w systemach pamięci masowej 10 z 13

11 Mocne strony 9LivesData Bogate doświadczenie 1 mln linii kodu C++ klasy enterprise Innowacyjność poparta szeroką wiedzą Zaawansowany system rozwoju oprogramowania nacisk na wysoką jakość i niezawodność własna metodologia w oparciu o Scrum/Kaizen 改 善 automatyzacja procesu i testów współpraca z zespołami w 4 strefach czasowych Zaawansowane R&D w systemach pamięci masowej 11 z 13

12 Dlaczego nie całkowicie w Polsce/Europie? Wystarczające umiejętności, ale brak ekosystemu wspierającego rozwój nowych technologii Czy można byłoby współfinansować podobny projekt funduszami z Unii Europejskiej? NIE, ponieważ łatwiej dostać $$$ na zakup technologii niż na jej rozwój preferencje dla małych projektów i nowych firm Mamy kilka pomysłów kalibru HYDRAstor Niekoniecznie tylko w pamięci masowej Zapraszamy do współpracy Zaawansowane R&D w systemach pamięci masowej 12 z 13

13 Pytania? Kontakt: Zaawansowane R&D w systemach pamięci masowej 13 z 13