BUSINESS INTELLIGENCE SAS VISUAL ANALYTICS Copyr i g ht 2012, SAS Ins titut e Inc. All rights res er ve d. Artur Jastrzębski
Copyr i g ht 2013, SAS Ins titut e Inc. All rights res er ve d. CO TO JEST BIG DATA?
Perspektywa SAS Big Data jest WSZĘDZIE 17% populacji świata chociaż raz skorzystało z sieci społecznościowych. Twitter notuje 100 milionów Tweetów dziennie. Facebook notuje 350 milionów unikalnych użytkowników dziennie. 60 h materiału jest ładowanych do YOUTUBE każdej minuty. 80% firm używa social media w procesach rekrutacyjnych.
THE CHALLENGE? Source: IDC Digital Universe Study, sponsored by EMC, May 2010
BIG DATA WHAT NEXT?
WHY DO WE CARE? Act MARKET OPPORTUNITY Orient Orient Decide Decide Act YOUR COMPETITIVE ADVANTAGE Observe
BIG DATA CO TO JEST? Data that exceeds an organization s conventional database storage or processing capacity
DATA SIZE BIG DATA THE CHALLENGE VOLUME VARIETY VELOCITY VALUE TODAY THE FUTURE
PERSPEKTYWA SAS Big Data is RELATIVE not ABSOLUTE Big Data When volume, velocity and variety of data exceeds an organization s storage or compute capacity for accurate and timely decision-making
Copyr i g ht 2012, SAS Ins titut e Inc. All rights res er ve d. BIG DATA I SAS
WSTĘP BIG DATA A PROCES ANALITYCZNY Velocity Variety Volume Historyczne transakcje Fora internetowe Social Media Dane z sensorów Clickstream Wykorzysta nie i Ewaluacja Modelu Analiza i Modelowa nie Eksploracj a Danych Sformułowa nie Problemu Przygotow anie Danych V a l u e
ANALITYCZNY CYKL ŻYCIA CO OPÓŹNIA EFEKT BIZNESOWY? t3 Latencja Decyzji Wykorzysta nie i Ewaluacja Modelu Sformułowa nie Problemu TEXT MINING TEXT ANALYTICS CONTENT CATEGORIZA TION SENTIMENT ANALYSIS Analiza i Modelowa nie Przygotow anie Danych HIGH PERFORMANCE ANALYTICS t2 Latencja Analizy Eksploracj a Danych t1 Latencja Danych GRID COMPUTING IN-DATABASE PROCESSING IN-MEMORY ANALYTICS
WINDOW OF OPPORTUNITY Action taken Data latency Analysis latency Decision latency Time Action taken
SAS & BIG DATA OBSZARY FUNKCJONALNE Functionality SAS Technology Goal decrease of How Acquire & Manage Big Data repositories integration SAS/Access to Hadoop, SAS In-database Technologies Data latency Seamless access to any data Big Data transformation and preparation for analytics SAS Data Loader for Hadoop SAS Data Management Data latency In-database & In HADOP data processing Social Network and Web Data Acquisition SAS Social Media Analytics, SAS Text Mining Data latency Automated data acquisition and filtering Real-time data filtering & selection SAS Event Stream Processing Data latency Real-time processing Discover Visual Discovery & Exploration SAS Visual Analytics SAS Visual Statistics Analysis latency In-memory processing Statistical Discovery & Desctriptive Analytics SAS High Performance Statistics Analysis latency In-memory processing Concept Extraction for unstructured data SAS Enterprise Content Categorization SAS Text Miner Analysis latency Automated natural language processing Model Predictive Modeling High Performance Data Mining SAS In Memory Statistics for Hadoop Analysis latency In-memory processing Content Categorization, Sentiment Analysis, Text Mining High Performance Text Mining Analysis latency Automated natural language processing Time series forecating, Optimization High Performance Forecasting, High Performance Optimization Analysis latency In-memory processing Act Information Delivery & Reporting SAS Visual Analytics Decision latency In-memory processing Automated decision management SAS Real-Time Decision Manager, SAS In-database Technologies Decision latency Integration with business process Real time signal detection SAS Event Stream Processing Decision latency Teal-time alerting and event processing
SAS HIGH-PEFORMANCE ANALYTICS
SAS HIGH-PEFORMANCE ANALYTICS
SAS HIGH-PEFORMANCE ANALYTICS
SAS HIGH-PEFORMANCE ANALYTICS
Copyr i g ht 2012, SAS Ins titut e Inc. All rights res er ve d. SAS IN-MEMORY
SAS LASR ANALYTIC SERVER Dedykowany serwer in-memory zaprojektowany do potrzeb interaktywnej i iteracyjnej analityki In-memory Szybkość, sekundowe odpowiedzi Dla wielu użytkowników Setki równoczesnych użytkowników Bezstanowy Bez potrzeby wstępnego przeliczania Interaktywny Natychmiastowa wizualizacja wpływu zmian parametrów na wyniki modelu Opcje wdrożenia MPP (distributed) lub SMP (single machine) Copyr i g ht 2014, SAS Ins titut e Inc. All rights res er ve d.
SAS LASR ANALYTIC SERVER ZINTEGROWANY INTERFEJS UŻYTKOWNIKA ANALITYK BIZNESOWY STATYSTYK DATA SCIENTIST /PROGRAMISTA GUI GUI PROGRAMMING Visual Analytics Visual Statistics IMSTAT for Hadoop* Przetwarzanie danych Eksploracja / Wizualizacja Modelowanie Wdrożenie *SAS In-Memory Statistics for Hadoop
BIG DATA SOLUTIONS SEARCH IS KEY.BUT WHEN LOOKING FOR THE KNOWN UNKNOWNS As we know, there are known knowns; there are things we know we know. We also know there are known unknowns; that is to say we know there are some things we do not know. But there are also unknown unknowns -- the ones we don't know we don't know. And if one looks throughout the history of our country and other free countries, it is the latter category that tend to be the difficult ones. Donald Rumsfeld, 2002
Copyr i g ht 2012, SAS Ins titut e Inc. All rights res er ve d. RÓŻNE OBLICZA BUSINESS INTELLIGENCE
DWIE TWARZE BI Świat raportów i dashboardów Świat analiz Monitorowanie efektywności Pytania Ad-hoc procesów Ustalone miary, KPI, alerty RAPORT Co? BI ODKRYCIE Dlaczego? Praca interaktywna Eksploracja wizualna Ustalona ścieżka dla Odkrywanie wiedzy przy informacji pomocy metod Odpowiedzi na analitycznych predefiniowane pytania Nieznane, nowe dane Znane dane (nasze własne?) Reporting Dashboards Ad-hoc Query OLAP Interactive Visualization Predictive Modelling & Data Mining Copyr i g ht 2012, SAS Ins titut e Inc. All rights res er ve d.
SELF SERVICE BI DEFINICJA Self-service business intelligence definiuje się jako: rozwiązania w środowisku BI, pozwalające użytkownikom na większą samodzielność i mniejszą zależność od organizacji IT główne cele łatwe w użyciu narzędzia BI (w tym dla zaawansowanych analiz) łatwy dostęp do danych źródłowych (nie tylko hurtownia) wyniki proste w tworzeniu, zrozumieniu, dostępie i współdzieleniu szybkie we wdrożeniu i łatwe w zarządzaniu procesy warehousingowe
SELF SERVICE BI OD SUROWYCH DANYCH DO WYNIKU Sandbox Upload Model Wyliczenia Filtry Hierarchie Agregacje
WIZUALIZACJA WZROK KRÓL ZMYSŁÓW 70% receptorów zmysłów jest ulokowanych w oczach Widzenie zużywa 25% mocy obliczeniowej mózgu Układ siatkówka-mózg działa z prędkością ok. 10Mbps
OBRAZ JEST WART 1000 SŁÓW POTRZEBA WIZUALIZACJI
WIZUALNA EKSPLORACJA METODA ANALIZY DANYCH Wizualizacja (wgląd) Szybkość (natychmiastowy rezultat) Interakcja (łatwość pytania)
WIZUALNA EKSPLORACJA SKŁADNIKI Wizualizacja Paleta narzędzi wizualizacji oraz automatyzacja wizualizacji Wizualizacja danych, wizualizacja wyników analizy, oraz BIG DATA Animacje, podpowiedzi, tipsy Interakcja Zaznaczanie, filtrowanie, sortowanie, pędzlowanie, drill down, Dynamiczne połączenia i aktywne obiekty Zaawansowane metody analizy Szybkość Czas reakcji do kilku sekund, niezależny od wielkości danych Możliwość bezkarnego weryfikowania wielu hipotez Samodzielność użytkownika jako efekt szybkości
Copyr i g ht 2012, SAS Ins titut e Inc. All rights res er ve d. SAS VISUAL ANALYTICS
BUSINESS VISUALIZATION RÓŻNICA MIĘDZY WIZUALIZACJĄ, A WIZUALIZACJĄ Z WYKORZYSTANIEM ANALITYKI DATA VISUALIZATION ANALYTIC VISUALIZATION EXPLORATION DISCOVERY Copyr i g ht 2014, SAS Ins titut e Inc. All rights res er ve d.
SAS VISUAL ANALYTICS JEDNO ZINTEGROWANE ROZWIĄZANIE Raport Dystrybucja RAPORT Co? VISUAL ANALYTICS ODKRYCIE Dlaczego? Eksploracja Odkrycie
ARCHITEKTURA ROZWIĄZANIA MIEJSCE W ŚRODOWISKU INFORMATYCZNYM ORGANIZACJI SAS VISUAL ANALYTICS PRACA WSADOWA Ładowanie danych BAZA IN-MEMORY WEB Administracja Projektowanie Raportów Przygotowanie Danych Eksploracja Przeglądanie Raportów ZAAWANSOWANY UŻYTKOWNIK / IT Dowolne dane dostępne z SAS MOBILE Przeglądanie Raportów UŻYTKOWNIK BIZNESOWY Serwer klasy Commodity Hardware Pliki z PC
SAS VISUAL ANALYTICS GŁÓWNE KOMPONENTY Centralny punkt dostępu Integracja Dedykowane interfejsy DATA BUILDER ADMINISTRATOR EXPLORER DESIGNER Łączenie danych z Monitorowanie SAS Ad-hoc analiza Tworzenie wielu źródeł LASR Analytic danych i odrywanie dashboardów i Tworzenie kolumn server związków raportów dostępnych wyliczanych i Ładowanie/usuwanie Zaawansowane przez web i tablety pochodnych danych analizy Ładowanie danych Zarządzanie bezpieczeństwem SAS LASR ANALYTIC SERVER MOBILE BI Natywne aplikacje ios i Android pozwalające na interaktywny dostęp do raportów
SAS VISUAL ANALYTICS HUB Strona startowa dla wszystkich użytkowników Widoki zależne od ról użytkowników Nawigacja do różnych czynności Ad-Hoc eksploracja danych Tworzenie raportów Przeglądanie raportów Zadania administracyjne Przygotowanie danych Administracja i monitorowanie sytemu Ulubione i wyszukiwanie Komentarze i współpraca
SAS VISUAL ANALYTICS DATA BUILDER Wyszukiwanie tabel w metadanych Łączenie tabel i ładowanie przyrostowe Tworzenie kolumn wyliczanych (kreator budowy wyrażeń) Filtrowanie kolumn i wierszy (dane surowe i zagregowane) Ładowane danych z Excela do pamięci Harmonogramowanie wykonania zapytań
SAS VISUAL ANALYTICS ADMINISTRATOR Monitorowanie Środowiska Zasoby (CPU, I/O, Memory) Procesy (sesje użytkowników) Logowanie z urządzeń mobilnych Zarządzanie serwerami i danymi Start/stop serwerów in-memory Ładowanie/usuwanie tablel in-memory Zarządzanie bezpieczeństwem Bezpieczeństwo tabel i wierszy Listy dostępu urządzeń mobilnych
SAS VISUAL ANALYTICS EXPLORER Eksploracja danych Wizualizacja, poszukiwanie relacji, trendów, nieprawidłowości, itd. Automatyczne wykresy Wizualizacje: Tabele, Wykresy słupkowe, liniowe, rozproszenia, bąbelkowe, mapy geograficzne i wiele innych Łatwa w użyciu analityka: Korelacje (Relacje), Regresja (Liniowa, kwadratowa, sześcienna, PSpline, Best Fit), Prognozowanie (wiele algorytmów), Statystyki agregujące Dynamiczne hierarchie: Drill down, up, and across siblings Zmienne wyliczane Selekcja i zaznaczanie w celu odkrycia relacji Zapisanie i udostępnienie eksploracji jako raport lub PDF Eksport danych do Excela lub CSV/TSV
SAS VISUAL ANALYTICS DESIGNER Interfejs do tworzenia raportów i dashboardów Wykorzystanie istniejących raportów i danych Użycie wielu źródeł danych Wiele opcji wizualizacji danych Precyzja rozmieszczenia obiektów na raportach Interakcje pomiędzy obiektami raportów oraz promptami Komentarze na poziomie raportów i obiektów Dynamiczne Hierarchie: Drill down, up, itp. Zmienne wyliczane i tworzone Eksport danych do Excela, CSV/TSV Adaptacyjne prezentacje budowane raz, używane w różnych kanałach dystrybucji.
SAS VISUAL ANALYTICS VIEWER Wisualizacja reportów Wiele źródeł danych Interakcje i prompty Nawigacje według hierarchii Współpraca i komentarze Eksport danych do Excela, CSV/TSV Wykorzystanie mechanizmów bezpieczeństwa Platformy SAS
SAS VISUAL ANALYTICS MOBILE Natywne aplikacje dla tabletów ipad i Android Zaawansowane metody wizualizacji i interakcji na raportach: filtrowanie, zaznaczanie, drill-down, powiększanie, itp. Kolaboracja i komentarze Współdzielenie poprzez email Interaktywne przeglądanie raportów offline Wykorzystanie mechanizmów bezpieczeństwa Platformy SAS Dodatkowe mechanizmy bezpieczeństwa związane z urządzeniami mobilnymi: szyfrowanie, zdalne usuwanie zawartości, listy dostępu i wykluczeń, SSL itd.
DZIĘKUJĘ artur.jastrzebski@sas.com Copyr i g ht 2012, SAS Ins titut e Inc. All rights res er ve d.