BIG DATA DLA KAŻDEGO. Radosław Łebkowski, Sławomir Strzykowski - Microsoft Piotr Zacharek - Hewlett Packard

Transkrypt

1 BIG DATA DLA KAŻDEGO Radosław Łebkowski, Sławomir Strzykowski - Microsoft Piotr Zacharek - Hewlett Packard

2 DANE, WSZĘDZIE DANE Masowy przyrost różnego typu danych Rodzaje danych Przyspieszenie Użytkownicy i aplikacje Dane transakcyjne Informacje z sieci społecznościowych Urządzenia mobilne Miliony czujników i urządzeń Dane Ilość Różnorodność

3 DZISIEJSZE WYMAGANIA DLA HURTOWNI DANYCH Wysoka wydajność i dostępność Dowolne dane z dowolnych miejsc Masowa skalowalność Niskie TCO Szybkie wdrożenia i zwrot z inwestycji

4 DZISIEJSZE WYMAGANIA DLA HURTOWNI DANYCH

5 ZARZĄDZANIE I PRZECHOWYWANIE DANYCH

6 HP APPSYSTEM FOR MICROSOFT SQL SERVER 2012 PDW V2 2.5x więcej TB w szafie 210 TB w ¼ szafy 6 PB maksymalnej pojemności x szybsza obsługa zapytań Do 30% poprawy w szybkości skanowania 60% niższy koszt inwestycji HP Support Pack Utility Zarządzanie obciążeniami Integracja z Hadoop

7 HP APPSYSTEM FOR PDW Co jest w środku? Usługi wdrożeniowe na miejscu u Klienta Oprogramowanie Microsoft Windows 2012 i Microsoft SQL Server 2012 Parallel Data Warehouse v2 * Unikalne narzędzia HP W pełni zintegrowane: serwery, pamięć masowa i sieć Wspólne usługi wsparcia HP i Microsoft** Usługi HP i partnerów w zakresie przygotowania, projektowania i planowania * Licencje wyceniane osobno ** HP Proactive Care. Wsparcie Microsoft wyceniane i zamawiane osobno

8 SILNIK MASSIVELY PARALLEL PROCESSING (MPP) PDW pozwala na skalowanie wszerz SQL Server a MPP pozwala na prawie liniowe skalowanie wszerz Architektura Massively Parallel Processing (MPP) Scale Out: przez dodawanie sprzętu Shared Nothing

9 XVELOCITY WYDAJNOŚĆ NOWEJ GENERACJI Szybkie wykonywanie zapytań Country Supplier Sales Products Customer Columnstore daje ogromną wydajność Klastrowy i modyfikowalny xvelocity columnstore Dane przechowywane w układzie kolumnowym Optymalizacja operacji w pamięci Ładowanie pojedynczych rekordów lub w trybie bulk

10 HP APPSYSTEM FOR PDW KONFIGURACJA BAZOWA FDR InfiniBand 2 x przełączniki HP 5120 EI Serwer pasywny (#1) Serwer pasywny(#2) Opcjonalny serwer pasywny (#3) Połączenia InfiniBand (sieć danych) i Ethernet (sieć do zarządzania) Passive Server Block (2): Zwirtualizowany system do kontroli i zarządzania oraz system zapasowy (zapewnienie HA) Konfiguracja bazowa Active Server Block (2) i Storage Block (1) Note: Landing zone i backup block są dostępne; Nie jest wymagane ich zamawianie jako część AppSystem.

11 ŁATWA SKALOWALNOŚĆ Rozpocznij od kilku TB, skaluj liniowo aż do PB Skalowalność w miarę potrzeb Dodanie zasobów Można rozpocząć już od kilku TB Rozbudowa pojemności aż do 6 petabajtów Dodanie zasobów 0TB 6 PB

12 POZYSKANIE DANYCH

13 OGRANICZENIA: ANALIZY BIG DATA DZISIAJ Stroma krzywa uczenia się; wolno i nieefektywnie SQL Nauka MapReduce Konieczność przeniesienia danych z HDFS do hurtowni przed wykonaniem analiz

14 POLYBASE ROZSZERZENIE SILNIKA ZAPYTAŃ SQL SERVER PDW Analitycy danych Użytkownicy BI Administratorzy BD Social Apps Sensor & RFID Zapytania T-SQL Wyniki Tradycyjne aplikacje DWH Mobile Apps Web Apps Ulepszony silnik zapytań w SQL PDW Hadoop PDW V2 Non-relational data Relational data

15 ZARZĄDZANIE JAKOŚCIĄ DANYCH W SQL SERVER 2012 Czyszczenie danych Ujednolicanie Deduplikacja Profilowanie Centralne słowniki danych (MDM) Zarządzanie i aktualizacja danych przez Excela ETL Integracja Automatyzacja

16 INTEAKTYWNE CZYSZCZENIE DANYCH PRZYKŁAD

17 ANALIZY, WNIOSKI, DECYZJE

18 ANALIZY BIG DATA W EXCELU Znane narzędzia do analiz Big Data Wbudowana integracja narzędzi Microsoft BI z PDW Dane ustrukturyzowane i nieustrukturyzowane w jednym arkuszu Szeroko stosowane i lubiane narzędzia użytkownika

19 SELF-SERVICE BI

20 POWER VIEW W EXCELU Interaktywne mapy Hierarchie i drążenie danych Interaktywne filtry Trendy i animacje

21 POŁĄCZENIE DANYCH NA KOKPITACH MENEDŻERSKICH

22 PLATFORMA ANALITYCZNA MICROSOFT DISCOVER AND RECOMMEND SELF-SERVICE OPERATIONAL PREDICTIVE Analizy, wnioski, decyzje Jakość danych TRANSFORM AND CLEAN MOBILE REAL-TIME COLLABORATIVE SHARE AND GOVERN External Data and Services MARKETPLACE Pozyskiwanie danych RELATIONAL NON-RELATIONAL MULTIDIMENSIONAL STREAMING

23 SCENARIUSZ UŻYCIA SQL SERVER 2012 PDW - RECYCLING Na świecie zużywa się rocznie ponad 205 miliardów puszek Hurtownia danych wyprodukowanych puszek = 2.7 PB rocznie* Po 3 latach około 6-7 PB danych w hurtowni *przyjęto założenie 10kb danych na jedną puszkę

24 KONTAKT HP Piotr Zacharek Microsoft Radosław Łebkowski Microsoft Sławomir Strzykowski WIĘCEJ INFORMACJI:

25 2013 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.