Big Data. Czym jest Big Data?

Transkrypt

1

2 Big Data Czym jest Big Data? Volume rozmiar danych giga/tera/petabajty Variety różnorodność, często bez struktury np. maile, zdjęcia, Tweety Velocity szybkość przyrastania danych 2

3 Big Data Jakie możliwości daje efektywne przetwarzanie takich danych? Postęp w ochronie zdrowia (testy DNA, smartwatch, informacje z Tweet ów) Optymalizacja procesów produkcji (dane z linii produkcyjnej i czujników użytkowanych produktów) Dynamiczne dopasowanie reklamy i cen oferowanych produktów (Target, Red Roof Inn) 3

4 Infrastruktura pod Big Data - wybór Możliwe dwa podejścia Commodity hardware, tradycyjne Data Center Niskie koszty Apache Hadoop tworzony z myślą o commodity hardware Maszyny wirtualne, sprzęt klasy enterprise, wsparcie producenta Wyższe koszty początkowe Wysoka jakość świadczonych usług Duża elastyczność środowiska i możliwość rozbudowy 4

5 (Very) Low End 5

6 Hardware Infrastruktura konwergentna Różne elementy infrastruktury IT (serwery, urządzenia sieciowe, macierze dyskowe, wirtualizacja) zarządzane jako jeden moduł, dobrane pod kątem wydajności i kompatybilności. Problemy w tradycyjnym Data Center: Kompatybilność Wsparcie i troubleshooting Rozbudowa i wykorzystanie zasobów 6

7 Hardware VCE vblock VCE początkowo spółka joint venture VMware, Cisco, EMC. Obecnie część EMC. Serwery Cisco Storage EMC Urządzenia sieciowe Cisco Wirtualizacja VMware Wspólny support Wersjonowanie jak jeden produkt Kompatybilność komponentów 7

8 vblock Support i wersjonowanie Pomimo różnych producentów komponentów wsparcie jak dla jednego produktu ze strony VCE. Kompatybilność aktualizacji firmware i software wszystkich komponentów testowana pod kątem całego vblocka. RCM Release Certification Matrix Najnowsza wersja wspierana przez producenta (np ESXi) wsparcie VCE dla vblock Status całego vblocka oraz zgodność z RCM monitorowane przez VCE Vision Intelligent Operations 8

9 vblock - wersjonowanie 9

10 Storage dla Big Data Macierz w vblocku nie wystarczająca na potrzeby BigData EMC Isilon Budowa modułowa Duża wydajność Łatwy w rozbudowie ( scale-out ) EMC Wieloprotokołowy (HDFS) 10

11 Isilon - Parametry Max 144 moduły w klastrze Max 50PB Max > 3M IOPS Elastyczna rozbudowa zgodnie z potrzebami dzięki kilku seriom modułów S High Performance X High Versatility NL duża przestrzeń dyskowa, wersja ekonomiczna HD High Density, duża przestrzeń dyskowa, gęsto upakowana (3PB/rack) 11

12 Silnik Big Data Hortonworks Hadoop 12

13 vblock Komponenty Osobna infrastruktura produkcyjna i zarządzająca Produkcja: 16x Cisco Blade B200 M3 Intel(R) Xeon(R) CPU 2.20GHz 20 cores 512 gb RAM Macierz VNX TB Urządzenia sieciowe Cisco Nexus 5k Nexus 1000v (Virtual Appliance) Management: 3x Serwery Rack Cisco Macierz EMC VNXe Cisco Nexus 3k 13

14 Architektura - vblock 14

15 Klaster EMC Isilon Komponenty 7x moduły X410: Storage Processor: Intel Xeon Processor Dual, 8-core Pamięć: 128GB Dyski SSD: 1,6TB (L3 cache) Dyski HDD: 102TB Front-End: 2x Nexus 5K, 10Gb Back-End: 2x Infiniband Switch, 40Gb Całkowita przestrzeń dyskowa klastra: 644TB (protekcja 1 node lub 2 dyski) 15

16 Architektura vblock z Isilon 16

17 Vmware vsphere ESXi Vitual Distributed Switch HA DRS SDRS vrealize Automation 17

18 Vmware vrealize Automation 18

19 Vmware vrealize Automation 19

20 Rezultat widok vcenter 20

21 Rezultat Przejrzysta infrastruktura Łatwa w rozbudowie Dopasowana do potrzeb Big Data Efektywne wykorzystanie dużych zasobów Czołowi producenci sprzętu Prosty model wsparcia Wirtualizacja i automatyzacja Infrastruktura gotowa do szybkiego dostarczania wymagających środowisk Business Data Lake zgodnie z oczekiwaniami klienta oraz łatwa w utrzymaniu i rozbudowie wraz z rosnącym zapotrzebowaniem na zasoby. 21

22 Co dalej? Bliźniacza infrastruktura w drugim datacenter (replikacja, DRP) Wirtualizacja warstwy sieciowej Vmware NSX, VCE VxBlock Dalsza automatyzacja 22

23 About Capgemini With more than 120,000 people in 40 countries, Capgemini is one of the world's foremost providers of consulting, technology and outsourcing services. The Group reported 2011 global revenues of EUR 9.7 billion. Together with its clients, Capgemini creates and delivers business and technology solutions that fit their needs and drive the results they want. A deeply multicultural organization, Capgemini has developed its own way of working, the Collaborative Business Experience TM, and draws on Rightshore, its worldwide delivery model. Rightshore is a trademark belonging to Capgemini The information contained in this presentation is proprietary Capgemini. All rights reserved.