BIG DATA DLA KAŻDEGO Radosław Łebkowski, Sławomir Strzykowski - Microsoft Piotr Zacharek - Hewlett Packard
DANE, WSZĘDZIE DANE Masowy przyrost różnego typu danych Rodzaje danych Przyspieszenie Użytkownicy i aplikacje Dane transakcyjne Informacje z sieci społecznościowych Urządzenia mobilne Miliony czujników i urządzeń Dane Ilość Różnorodność
DZISIEJSZE WYMAGANIA DLA HURTOWNI DANYCH Wysoka wydajność i dostępność Dowolne dane z dowolnych miejsc Masowa skalowalność Niskie TCO Szybkie wdrożenia i zwrot z inwestycji
DZISIEJSZE WYMAGANIA DLA HURTOWNI DANYCH
ZARZĄDZANIE I PRZECHOWYWANIE DANYCH
HP APPSYSTEM FOR MICROSOFT SQL SERVER 2012 PDW V2 2.5x więcej TB w szafie 210 TB w ¼ szafy 6 PB maksymalnej pojemności 10 100x szybsza obsługa zapytań Do 30% poprawy w szybkości skanowania 60% niższy koszt inwestycji HP Support Pack Utility Zarządzanie obciążeniami Integracja z Hadoop
HP APPSYSTEM FOR PDW Co jest w środku? Usługi wdrożeniowe na miejscu u Klienta Oprogramowanie Microsoft Windows 2012 i Microsoft SQL Server 2012 Parallel Data Warehouse v2 * Unikalne narzędzia HP W pełni zintegrowane: serwery, pamięć masowa i sieć Wspólne usługi wsparcia HP i Microsoft** Usługi HP i partnerów w zakresie przygotowania, projektowania i planowania * Licencje wyceniane osobno ** HP Proactive Care. Wsparcie Microsoft wyceniane i zamawiane osobno
SILNIK MASSIVELY PARALLEL PROCESSING (MPP) PDW pozwala na skalowanie wszerz SQL Server a MPP pozwala na prawie liniowe skalowanie wszerz Architektura Massively Parallel Processing (MPP) Scale Out: przez dodawanie sprzętu Shared Nothing
XVELOCITY WYDAJNOŚĆ NOWEJ GENERACJI Szybkie wykonywanie zapytań Country Supplier Sales Products Customer Columnstore daje ogromną wydajność Klastrowy i modyfikowalny xvelocity columnstore Dane przechowywane w układzie kolumnowym Optymalizacja operacji w pamięci Ładowanie pojedynczych rekordów lub w trybie bulk
HP APPSYSTEM FOR PDW KONFIGURACJA BAZOWA FDR InfiniBand 2 x przełączniki HP 5120 EI Serwer pasywny (#1) Serwer pasywny(#2) Opcjonalny serwer pasywny (#3) Połączenia InfiniBand (sieć danych) i Ethernet (sieć do zarządzania) Passive Server Block (2): Zwirtualizowany system do kontroli i zarządzania oraz system zapasowy (zapewnienie HA) Konfiguracja bazowa Active Server Block (2) i Storage Block (1) Note: Landing zone i backup block są dostępne; Nie jest wymagane ich zamawianie jako część AppSystem.
ŁATWA SKALOWALNOŚĆ Rozpocznij od kilku TB, skaluj liniowo aż do PB Skalowalność w miarę potrzeb Dodanie zasobów Można rozpocząć już od kilku TB Rozbudowa pojemności aż do 6 petabajtów Dodanie zasobów 0TB 6 PB
POZYSKANIE DANYCH
OGRANICZENIA: ANALIZY BIG DATA DZISIAJ Stroma krzywa uczenia się; wolno i nieefektywnie SQL Nauka MapReduce Konieczność przeniesienia danych z HDFS do hurtowni przed wykonaniem analiz
POLYBASE ROZSZERZENIE SILNIKA ZAPYTAŃ SQL SERVER PDW Analitycy danych Użytkownicy BI Administratorzy BD Social Apps Sensor & RFID Zapytania T-SQL Wyniki Tradycyjne aplikacje DWH Mobile Apps Web Apps Ulepszony silnik zapytań w SQL PDW Hadoop PDW V2 Non-relational data Relational data
ZARZĄDZANIE JAKOŚCIĄ DANYCH W SQL SERVER 2012 Czyszczenie danych Ujednolicanie Deduplikacja Profilowanie Centralne słowniki danych (MDM) Zarządzanie i aktualizacja danych przez Excela ETL Integracja Automatyzacja
INTEAKTYWNE CZYSZCZENIE DANYCH PRZYKŁAD
ANALIZY, WNIOSKI, DECYZJE
ANALIZY BIG DATA W EXCELU Znane narzędzia do analiz Big Data Wbudowana integracja narzędzi Microsoft BI z PDW Dane ustrukturyzowane i nieustrukturyzowane w jednym arkuszu Szeroko stosowane i lubiane narzędzia użytkownika
SELF-SERVICE BI
POWER VIEW W EXCELU Interaktywne mapy Hierarchie i drążenie danych Interaktywne filtry Trendy i animacje
POŁĄCZENIE DANYCH NA KOKPITACH MENEDŻERSKICH
PLATFORMA ANALITYCZNA MICROSOFT DISCOVER AND RECOMMEND SELF-SERVICE OPERATIONAL PREDICTIVE Analizy, wnioski, decyzje Jakość danych TRANSFORM AND CLEAN MOBILE REAL-TIME COLLABORATIVE SHARE AND GOVERN External Data and Services MARKETPLACE Pozyskiwanie danych 1 01 0 1 RELATIONAL NON-RELATIONAL MULTIDIMENSIONAL STREAMING
SCENARIUSZ UŻYCIA SQL SERVER 2012 PDW - RECYCLING Na świecie zużywa się rocznie ponad 205 miliardów puszek Hurtownia danych wyprodukowanych puszek = 2.7 PB rocznie* Po 3 latach około 6-7 PB danych w hurtowni *przyjęto założenie 10kb danych na jedną puszkę
KONTAKT HP Piotr Zacharek Piotr.Zacharek@hp.com Microsoft Radosław Łebkowski rlebko@microsoft.com Microsoft Sławomir Strzykowski slaweks@microsoft.com WIĘCEJ INFORMACJI: www.winthedatacenter.com http://www.hp.com/solutions/microsoft/edw http://www.hp.com/solutions/activeanswers http://microsoft.com/pdw
2013 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.