Architecture Best Practices for Big Data Deployments

Transkrypt

1 GLOBAL SPONSORS

2 Architecture Best Practices for Big Data Deployments Kajetan Mroczek Systems Engineer GLOBAL SPONSORS

3 Rozwój analityki biznesowej EKSPLORACJA DANYCH UCZENIE MASZYNOWE SZTUCZNA INTELIGENCJA STATYSTYKI OPISOWE PRZEWIDYWANIE WYKONYWALNE REKOMENDACJE OGÓLNA INTELIGENCJA Co się stało? Co się stanie? Co zrobić 3

4 Gdzie najczęściej korzystamy z Big Data Optymalizacja EDW Analiza zachowań rynku i klientów przez media społecznościowe Clickstream Wykrywanie oszustw i zagrożeń ML uczenie maszynowe IOT * 2016 Big Data Analytics Market Study Wisdom of Crowds Series 4

5 Porównanie strategii budowy architektury dla Big Data 5

6 6

7 KUPUJ BUDUJ 7

8 KUPUJ 8

9 KUPUJ Szybsze wdrożenie Typowe zastosowania Dojrzałe technologie Rozbudowa środowiska Doświadczenie zespołu Ograniczona ilość źródeł danych 9

10 BUDUJ 10

11 Unikalny pomysł lub typ danych Przypadek kuli śniegowej Tanie = Złożone Obniżanie kosztów zakupów Kultura DevOps i własne zasoby Rozmaitość danych i skala BUDUJ 11

12 12

13 PACZKI STRUMIEŃ 13

14 PACZKI 14

15 PACZKI Opisywanie rzeczywistości Wiarygodność danych Duże rozmiary danych Przestrzeń dla Data Science Czas nie jest kluczowy Możliwość planowania 15

16 STRUMIEŃ 16

17 Możliwość przewidywania Szybkość przed wiarygodnością Przetwarzanie równoległe Wykorzystanie odkrytych reguł Doświadczenie & DevOps Wielka ilość i rozmaitość żródeł STRUMIEŃ 17

18 18

19 PUBLICZNE PRYWATNE 19

20 PUBLICZNE 20

21 PUBLICZNE Dane pochodzą z chmury Przyciąganie danych Bezpieczeństwo / uregulowania Elastyczna konsumpcja Ekonomia Doświadczenie zespołu 21

22 Ready systems Blocks Ready bundles Ready nodes Racks Appliances Enterprise Hybrid Cloud Native Hybrid Cloud 22PRYWATNE

23 Dane zlokalizowane Przyciąganie danych Bezpieczeństwo / uregulowania Sposób zakupu Ekonomia Doświadczenie zespołu PRYWATNE

24 24

25 IRTUALNE FIZYCZNE 25

26 26

27 DAS NAS 27

28 COMBO PORTS Stack No. 25 SFP Stack-ID Stack-ID Stack ID Stack ID COMBO PORTS Stack No. 25 SFP Stack-ID Stack-ID Stack ID Stack ID COMBO PORTS Stack No. 25 SFP Stack-ID Stack-ID Stack ID Stack ID COMBO PORTS Stack No. 25 SFP Stack-ID Stack-ID Stack ID Stack ID COMBO PORTS Stack No. 25 SFP Stack-ID Stack-ID Stack ID Stack ID COMBO PORTS Stack No. 25 SFP Stack-ID Stack-ID Stack ID Stack ID COMBO PORTS Stack No. 25 SFP Stack-ID Stack-ID Stack ID Stack ID COMBO PORTS Stack No. 25 SFP Stack-ID Stack-ID Stack ID Stack ID DAS 28

29 DAS Na początek Software-defined Wydajność = pojemność Najwyższa wydajność Integracja z platformą Wykorzystanie zasobów 29

30 NAS 30

31 Isilon był wcześniej Dostęp wieloprotokołowy Pojemność > wydajność Efektywność Bezpieczeństwo Zgodność z normami NAS 31

32 32

33 TRWAŁE CHWILOWE 33

34 TRWAŁE Data lake Hadoop stanowi archiwum Przetwarzanie wyników historycznych 34

35 Test/Dev Strumień danych Przetwarzanie in-memory 35CHWILOWE

36 KUPUJ czy BUDUJ? PACZKI czy STRUMIEŃ? PUBLICZNE czy PRYWATNE? WIRTUALNE czy FIZYCZNE? DAS czy NAS? TRWAŁE czy CHWILOWE?

37 JAK UPROŚCIĆ TĘ DROGĘ?

38 Koncepcja gotowych rozwiązań Portfolio Dell EMC Priorytety Compute Deploy Ready Nodes Ready Bundles Ready Systems Biz Apps Wiedza Usługi 38

39 Gotowe rozwiązania dla Big Data Ponad 350 klientów Czym się wyróżnia Dell EMC Przetestowane i certyfikowane konfiguracje Szybka implementacja Hadoop z narzędziami nie wymagającymi kodowania Obniżenie OpEx przy zakupie Splunk w architekturze HCI poprzez obniżenie kosztu zarządzania klastrem Zestaw usług skupionych na efektach finalnych Big Data Vision Accelerator Health Check Wdrożenie Wsparcie Usługi finansowe 1 TPC-x May 2017 Big Bench Scale Factor Price/Performance 60% Redukcja czasu ETL $1.97 Za każdego $1.00 ROI w 6 miesięcy 76% Niższe koszty analityki biznesowej Cloudera Hadoop Splunk Hortonworks Hadoop Ready Bundle for Hadoop skalowalny od 5TB do 3.8PB Całkowicie zmieniliśmy sposób w jaki pobieramy, przechowujemy i udostępniamy dane po wdrożeniu klastra Hadoop od Dell. Teraz przetwarzamy większe ilości danych a nasi analitycy i statystycy mogą analizować te dane w sposób wcześniej nieosiągalny Tony Giordano, EVP Merkle

40 Dell EMC Ready Bundles dla Hadoop Dell EMC Ready Bundle for Cloudera Hadoop Kompletne zarządzanie danymi, przetwarzanie i analityka wraz z wdrożeniem bez kodowania i dużym dwucyfrowym wzrostem wydajności Dell EMC Ready Bundle for Hortonworks with Isilon Platforma zoptymalizowana dla dużych pojemności i efektywnego przetwarzania danych oraz wykorzystania koncepcji data lake Isilon obsługuje wspólną pamięć masową klastra Hadoop dzięki kompatybilności z HDFS Dell EMC Ready Bundle for Hortonworks Hadoop Zarządzanie danymi, przetwarzanie i analityka na platformie Open Source efektywne obsługuje dane o różnych strukturach wykorzystując dostępne narzędzia i zasoby 40

41 Architektury referencyjne dla Hadoop Webinar 35 minut, czerwiec

42 Usługi dotyczące technologii Big Data Usługi doradcze skalowanie zgodnie z architekturą referencyjną Wdrożenie technologii instalacja komponentów rozwiązania Migracja danych pomoc w przeniesieniu danych (i procesów) Co otrzymuje klient: Dokumenty pomagające w wyborze odpowiedniej infrastruktury Instalację i konfigurację sprzętu, uruchomienie platformy Hadoop Wsparcie procesu migracji danych Wsparcie gotowego rozwiązania 42

43