GLOBAL SPONSORS
Architecture Best Practices for Big Data Deployments Kajetan Mroczek Systems Engineer GLOBAL SPONSORS
Rozwój analityki biznesowej EKSPLORACJA DANYCH UCZENIE MASZYNOWE SZTUCZNA INTELIGENCJA STATYSTYKI OPISOWE PRZEWIDYWANIE WYKONYWALNE REKOMENDACJE OGÓLNA INTELIGENCJA Co się stało? Co się stanie? Co zrobić 3
Gdzie najczęściej korzystamy z Big Data Optymalizacja EDW Analiza zachowań rynku i klientów przez media społecznościowe Clickstream Wykrywanie oszustw i zagrożeń ML uczenie maszynowe IOT * 2016 Big Data Analytics Market Study Wisdom of Crowds Series 4
Porównanie strategii budowy architektury dla Big Data 5
6
KUPUJ BUDUJ 7
KUPUJ 8
KUPUJ Szybsze wdrożenie Typowe zastosowania Dojrzałe technologie Rozbudowa środowiska Doświadczenie zespołu Ograniczona ilość źródeł danych 9
BUDUJ 10
Unikalny pomysł lub typ danych Przypadek kuli śniegowej Tanie = Złożone Obniżanie kosztów zakupów Kultura DevOps i własne zasoby Rozmaitość danych i skala BUDUJ 11
12
PACZKI STRUMIEŃ 13
PACZKI 14
PACZKI Opisywanie rzeczywistości Wiarygodność danych Duże rozmiary danych Przestrzeń dla Data Science Czas nie jest kluczowy Możliwość planowania 15
STRUMIEŃ 16
Możliwość przewidywania Szybkość przed wiarygodnością Przetwarzanie równoległe Wykorzystanie odkrytych reguł Doświadczenie & DevOps Wielka ilość i rozmaitość żródeł STRUMIEŃ 17
18
PUBLICZNE PRYWATNE 19
PUBLICZNE 20
PUBLICZNE Dane pochodzą z chmury Przyciąganie danych Bezpieczeństwo / uregulowania Elastyczna konsumpcja Ekonomia Doświadczenie zespołu 21
Ready systems Blocks Ready bundles Ready nodes Racks Appliances Enterprise Hybrid Cloud Native Hybrid Cloud 22PRYWATNE
Dane zlokalizowane Przyciąganie danych Bezpieczeństwo / uregulowania Sposób zakupu Ekonomia Doświadczenie zespołu PRYWATNE
24
IRTUALNE FIZYCZNE 25
26
DAS NAS 27
42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 27 26 25 24 22 21 20 19 18 17 16 15 14 13 12 11 10 09 08 07 06 05 04 03 02 01 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 24 25 26 27 28 29 30 31 32 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 24 25 26 27 28 29 30 31 32 0 4 0 4 8 12 16 20 8 12 16 20 24 28 32 36 24 28 32 36 40 44 48 52 40 44 48 52 1 2 56 60 64 68 56 60 64 68 3 5 7 9 11 4 6 8 10 12 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 72 76 80 84 72 76 80 84 13 15 17 19 21 14 16 18 20 22 24 COMBO PORTS 24 96 100 88 92 96 100 88 92 104 108 112 116 104 108 112 116 49 51 53 50 52 54 49 51 53 50 52 54 0 1 2 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 0 1 2 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 0 1 2 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 120 124 120 124 Stack No. 25 SFP+ 26 1 2 Stack-ID Stack-ID Stack ID Stack ID 42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 27 26 25 24 22 21 20 19 18 17 16 15 14 13 12 11 10 09 08 07 06 05 04 03 02 01 42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 27 26 25 24 22 21 20 19 18 17 16 15 14 13 12 11 10 09 08 07 06 05 04 03 02 01 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 24 25 26 27 28 29 30 31 32 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 24 25 26 27 28 29 30 31 32 0 4 0 4 8 12 16 20 8 12 16 20 24 28 32 36 24 28 32 36 40 44 48 52 40 44 48 52 1 2 56 60 64 68 56 60 64 68 3 5 7 9 11 4 6 8 10 12 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 72 76 80 84 72 76 80 84 13 15 17 19 21 14 16 18 20 22 24 COMBO PORTS 24 96 100 88 92 96 100 88 92 104 108 112 116 104 108 112 116 49 51 53 50 52 54 49 51 53 50 52 54 120 124 120 124 Stack No. 25 SFP+ 26 1 2 Stack-ID Stack-ID Stack ID Stack ID 42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 27 26 25 24 22 21 20 19 18 17 16 15 14 13 12 11 10 09 08 07 06 05 04 03 02 01 42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 27 26 25 24 22 21 20 19 18 17 16 15 14 13 12 11 10 09 08 07 06 05 04 03 02 01 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 24 25 26 27 28 29 30 31 32 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 24 25 26 27 28 29 30 31 32 0 4 0 4 8 12 16 20 8 12 16 20 24 28 32 36 24 28 32 36 40 44 48 52 40 44 48 52 1 2 56 60 64 68 56 60 64 68 3 5 7 9 11 4 6 8 10 12 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 72 76 80 84 72 76 80 84 13 15 17 19 21 14 16 18 20 22 24 COMBO PORTS 24 96 100 88 92 96 100 88 92 104 108 112 116 104 108 112 116 49 51 53 50 52 54 49 51 53 50 52 54 120 124 120 124 Stack No. 25 SFP+ 26 1 2 Stack-ID Stack-ID Stack ID Stack ID 42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 27 26 25 24 22 21 20 19 18 17 16 15 14 13 12 11 10 09 08 07 06 05 04 03 02 01 42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 27 26 25 24 22 21 20 19 18 17 16 15 14 13 12 11 10 09 08 07 06 05 04 03 02 01 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 24 25 26 27 28 29 30 31 32 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 24 25 26 27 28 29 30 31 32 0 4 0 4 8 12 16 20 8 12 16 20 24 28 32 36 24 28 32 36 40 44 48 52 40 44 48 52 1 2 56 60 64 68 56 60 64 68 3 5 7 9 11 4 6 8 10 12 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 72 76 80 84 72 76 80 84 13 15 17 19 21 14 16 18 20 22 24 COMBO PORTS 24 96 100 88 92 96 100 88 92 104 108 112 116 104 108 112 116 49 51 53 50 52 54 49 51 53 50 52 54 120 124 120 124 Stack No. 25 SFP+ 26 1 2 Stack-ID Stack-ID Stack ID Stack ID 42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 27 26 25 24 22 21 20 19 18 17 16 15 14 13 12 11 10 09 08 07 06 05 04 03 02 01 42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 27 26 25 24 22 21 20 19 18 17 16 15 14 13 12 11 10 09 08 07 06 05 04 03 02 01 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 24 25 26 27 28 29 30 31 32 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 24 25 26 27 28 29 30 31 32 0 4 0 4 8 12 16 20 8 12 16 20 24 28 32 36 24 28 32 36 40 44 48 52 40 44 48 52 1 2 56 60 64 68 56 60 64 68 3 5 7 9 11 4 6 8 10 12 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 72 76 80 84 72 76 80 84 13 15 17 19 21 14 16 18 20 22 24 COMBO PORTS 24 96 100 88 92 96 100 88 92 104 108 112 116 104 108 112 116 49 51 53 50 52 54 49 51 53 50 52 54 120 124 120 124 Stack No. 25 SFP+ 26 1 2 Stack-ID Stack-ID Stack ID Stack ID 42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 27 26 25 24 22 21 20 19 18 17 16 15 14 13 12 11 10 09 08 07 06 05 04 03 02 01 42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 27 26 25 24 22 21 20 19 18 17 16 15 14 13 12 11 10 09 08 07 06 05 04 03 02 01 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 24 25 26 27 28 29 30 31 32 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 24 25 26 27 28 29 30 31 32 0 4 0 4 8 12 16 20 8 12 16 20 24 28 32 36 24 28 32 36 40 44 48 52 40 44 48 52 1 2 56 60 64 68 56 60 64 68 3 5 7 9 11 4 6 8 10 12 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 72 76 80 84 72 76 80 84 13 15 17 19 21 14 16 18 20 22 24 COMBO PORTS 24 96 100 88 92 96 100 88 92 104 108 112 116 104 108 112 116 49 51 53 50 52 54 49 51 53 50 52 54 120 124 120 124 Stack No. 25 SFP+ 26 1 2 Stack-ID Stack-ID Stack ID Stack ID 42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 27 26 25 24 22 21 20 19 18 17 16 15 14 13 12 11 10 09 08 07 06 05 04 03 02 01 42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 27 26 25 24 22 21 20 19 18 17 16 15 14 13 12 11 10 09 08 07 06 05 04 03 02 01 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 24 25 26 27 28 29 30 31 32 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 24 25 26 27 28 29 30 31 32 0 4 0 4 8 12 16 20 8 12 16 20 24 28 32 36 24 28 32 36 40 44 48 52 40 44 48 52 1 2 56 60 64 68 56 60 64 68 3 5 7 9 11 4 6 8 10 12 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 72 76 80 84 72 76 80 84 13 15 17 19 21 14 16 18 20 22 24 COMBO PORTS 24 96 100 88 92 96 100 88 92 104 108 112 116 104 108 112 116 49 51 53 50 52 54 49 51 53 50 52 54 120 124 120 124 Stack No. 25 SFP+ 26 1 2 Stack-ID Stack-ID Stack ID Stack ID 42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 27 26 25 24 22 21 20 19 18 17 16 15 14 13 12 11 10 09 08 07 06 05 04 03 02 01 42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 27 26 25 24 22 21 20 19 18 17 16 15 14 13 12 11 10 09 08 07 06 05 04 03 02 01 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 24 25 26 27 28 29 30 31 32 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 24 25 26 27 28 29 30 31 32 0 4 0 4 8 12 16 20 8 12 16 20 24 28 32 36 24 28 32 36 40 44 48 52 40 44 48 52 1 2 56 60 64 68 56 60 64 68 3 5 7 9 11 4 6 8 10 12 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 72 76 80 84 72 76 80 84 13 15 17 19 21 14 16 18 20 22 24 COMBO PORTS 24 96 100 88 92 96 100 88 92 104 108 112 116 104 108 112 116 49 51 53 50 52 54 49 51 53 50 52 54 120 124 120 124 Stack No. 25 SFP+ 26 1 2 Stack-ID Stack-ID Stack ID Stack ID 42 41 40 39 38 37 36 35 34 33 32 31 30 29 28 27 26 25 24 22 21 20 19 18 17 16 15 14 13 12 11 10 09 08 07 06 05 04 03 02 01 DAS 28
DAS Na początek Software-defined Wydajność = pojemność Najwyższa wydajność Integracja z platformą Wykorzystanie zasobów 29
NAS 30
Isilon był wcześniej Dostęp wieloprotokołowy Pojemność > wydajność Efektywność Bezpieczeństwo Zgodność z normami NAS 31
32
TRWAŁE CHWILOWE 33
TRWAŁE Data lake Hadoop stanowi archiwum Przetwarzanie wyników historycznych 34
Test/Dev Strumień danych Przetwarzanie in-memory 35CHWILOWE
KUPUJ czy BUDUJ? PACZKI czy STRUMIEŃ? PUBLICZNE czy PRYWATNE? WIRTUALNE czy FIZYCZNE? DAS czy NAS? TRWAŁE czy CHWILOWE?
JAK UPROŚCIĆ TĘ DROGĘ?
Koncepcja gotowych rozwiązań Portfolio Dell EMC Priorytety Compute Deploy Ready Nodes Ready Bundles Ready Systems Biz Apps Wiedza Usługi 38
Gotowe rozwiązania dla Big Data Ponad 350 klientów Czym się wyróżnia Dell EMC Przetestowane i certyfikowane konfiguracje Szybka implementacja Hadoop z narzędziami nie wymagającymi kodowania Obniżenie OpEx przy zakupie Splunk w architekturze HCI poprzez obniżenie kosztu zarządzania klastrem Zestaw usług skupionych na efektach finalnych Big Data Vision Accelerator Health Check Wdrożenie Wsparcie Usługi finansowe 1 TPC-x May 2017 Big Bench Scale Factor 10 000 Price/Performance 60% Redukcja czasu ETL $1.97 Za każdego $1.00 ROI w 6 miesięcy 76% Niższe koszty analityki biznesowej Cloudera Hadoop Splunk Hortonworks Hadoop Ready Bundle for Hadoop skalowalny od 5TB do 3.8PB Całkowicie zmieniliśmy sposób w jaki pobieramy, przechowujemy i udostępniamy dane po wdrożeniu klastra Hadoop od Dell. Teraz przetwarzamy większe ilości danych a nasi analitycy i statystycy mogą analizować te dane w sposób wcześniej nieosiągalny Tony Giordano, EVP Merkle
Dell EMC Ready Bundles dla Hadoop Dell EMC Ready Bundle for Cloudera Hadoop Kompletne zarządzanie danymi, przetwarzanie i analityka wraz z wdrożeniem bez kodowania i dużym dwucyfrowym wzrostem wydajności Dell EMC Ready Bundle for Hortonworks with Isilon Platforma zoptymalizowana dla dużych pojemności i efektywnego przetwarzania danych oraz wykorzystania koncepcji data lake Isilon obsługuje wspólną pamięć masową klastra Hadoop dzięki kompatybilności z HDFS Dell EMC Ready Bundle for Hortonworks Hadoop Zarządzanie danymi, przetwarzanie i analityka na platformie Open Source efektywne obsługuje dane o różnych strukturach wykorzystując dostępne narzędzia i zasoby 40
Architektury referencyjne dla Hadoop Webinar 35 minut, czerwiec 2017 41
Usługi dotyczące technologii Big Data Usługi doradcze skalowanie zgodnie z architekturą referencyjną Wdrożenie technologii instalacja komponentów rozwiązania Migracja danych pomoc w przeniesieniu danych (i procesów) Co otrzymuje klient: Dokumenty pomagające w wyborze odpowiedniej infrastruktury Instalację i konfigurację sprzętu, uruchomienie platformy Hadoop Wsparcie procesu migracji danych Wsparcie gotowego rozwiązania 42