BLOK 3 FUNKCJONALNOŚCI OPROGRAMOWANIA DOSTĘPNEGO W RAMACH PIBUK

Transkrypt

1 BLOK 3 FUNKCJONALNOŚCI OPROGRAMOWANIA DOSTĘPNEGO W RAMACH PIBUK INSTYTUT ŁĄCZNOŚCI, WARSZAWA

2 AGENDA BLOK 3 Modelowanie i zarządzanie modelami SAS Enterprise Miner SAS Model Mangager Raportowanie SAS Visual Analytics SAS Visual Statistics Integracja z MS Office SAS Add-in for MS Office Przetwarzanie strumieniowe SAS Event Stream Processing

3 SAS ENTERPRISE MINER

4 ŚRODOWISKO ANALITYCZNE BUDOWA I ZARZĄDZANIE MODELAMI Enterprise Miner Model Manager Budowa modeli Zarządzanie modelami Selekcja zmiennych istotnych Zastosowanie wydajnych algorytmów predykcyjnych, segmentacyjnych Testowanie i porównywanie modeli Wybór najlepszego modelu Zarządzanie repozytorium modeli Definiowanie i obsługa procesu rejestracji modeli Automatyzacja procesu naliczania scoringów Monitorowanie procesu produkcyjnego Monitorowanie jakości modeli Możliwość szybkiego odświeżania starzejących się modeli

5 SAS ENTERPRISE MINER PRZYKŁADY ZASTOSOWAŃ Predykcja/estymacja oczekiwanych wskaźników jakościowych dla niepomierzonych stacji bazowych Segmentacja stacji bazowych pod kątem wybranych cech jakościowych Przewidywanie nasycenia ruchem poszczególnych stacji bazowych Przewidywanie rezygnacji klientów z usług telekomunikacyjnych Prawdopodobieństwo wystąpienia danego zagrożenia na określonym obszarze Wszystkie te zastosowania wymagają zebrania danych historycznych o przypadkach które chcielibyśmy modelować

6 SAS ENTERPRISE MINER SPOSÓB TWORZENIA MODELU Dane historyczne Model (reguły scoringowe) Zmienna celu Przewidywana zmienna celu Dane bieżące Scoring modelem

7 Dane pomiarowe o stacjach bazowych Dane historyczne SAS ENTERPRISE MINER SPOSÓB TWORZENIA MODELU PRZYKŁAD Wskaźnik jakości sieci/ Wielkość transferu IF param1>0.87 & 0.5<param2<3.5 THEN transfer=dobry Model (reguły scoringowe) Zmienna celu Przewidywana zmienna celu Dane o niepomierzonych stacjach bazowych Dane bieżące Scoring modelem Przewidywany transfer = SŁABY

8 Dane historyczne o zagrożeniu pożarem Dane historyczne SAS ENTERPRISE MINER SPOSÓB TWORZENIA MODELU PRZYKŁAD Fakt wystąpienia pożaru (TAK/NIE) IF param1=drewniany_dach & param2=brak_systemu_ppoż param3=brak_deszczu_pow_180dni & THEN prawdopodobieństwo_pożaru=0.6 Model (reguły scoringowe) Zmienna celu Przewidywana zmienna celu Dane zbierane na bieżąco Dane bieżące Scoring modelem Prawdopodobieństwo pożaru = 0.02 (niskie)

9 Sformułowanie problemu Zlecenie realizacji modelu SAS ENTERPRISE MINER CYKL TWORZENIA I UŻYWANIA MODELU Przygotowanie danych Odświeżenie lub nowa wersja modelu Eksploracja danych Cykliczny scoring i monitorowanie rezultatów Transformacja i selekcja zmiennych Wdrożenie modelu Budowa modelu Weryfikacja poprawności modelu

10 SAS ENTERPRISE MINER TWORZENIE MODELU ANALITYCZNEGO Bardzo bogate funkcjonalnie i intuicyjne narzędzie dla analityków do zaawansowanych analiz modelowania różnego rodzaju zjawisk Szeroka paleta narzędzi do przygotowania i eksploracji danych Blisko 20 metod modelowania Interaktywne porównanie, testowanie i walidacja modeli Zautomatyzowany i zoptymalizowany proces scoringu Narzędzie otwarte i łatwe w rozbudowie Pełna kontrola i parametryzacja procesu budowania modeli wg metodologii SEMMA Próbkowanie Analiza Modyfikowanie Modelowanie Ocena

11 SAS ENTERPRISE MINER SEMMA W PRAKTYCE

12 SAS ENTERPRISE MINER WSPARCIE PROCESU ANALITYCZNEGO PRÓBKA Append Data Partition File Import Filter Merge Sample Input Data ANALIZA Association Cluster Graph Explore Variable Clustering DMDB MultiPlot Market Basket StatExplore Link Analysis Path Analysis Variable Selection SOM/Kohonen MODYFIKACJA Drop Impute Interactive Binning Principal Components Replacement Rules Builder Transform Variables Decision Tree AutoNeural Regression Neural Network Partial Least Squares Dmine Regression DM Neural Ensemble Rule Induction Gradient Boosting LARS MBR Two Stage Model Import MODEL Incremental Response Survival Analysis TS Correlation TS Data Prep TS Dimension Reduction TS Decomp. TS Similarity TS Exponential Smoothing HP Explore HP Impute HP Regression HP Transform HP Variable Selection HP Neural HP Forest HP Decision Tree HP Data Partition HP GLM HP SVM HP Cluster HP Principal Components OCENA Cutoff Decisions Model Comparison Score Segment Profile UTILITY Control Point End Groups Start Groups Open Source Integration Reporter Score Code Export Metadata SAS Code Ext Demo Save Data Register Metadata

13 SAS ENTERPRISE MINER WYBRANE NOWOCZESNE TECHNIKI MODELOWANIA Techniki modelowania z nadzorem Techniki modelowania bez nadzoru Asocjacje Sieci neuronowe SVM Redukcja wymiarów Gradient boosting Regresja (wiele technik) Główne składowe Lasy losowe Techniki do specyficznych zastosowań Sieci bayesowskie Grupowanie Incremental model (uplift) Modele łączone Data mining serii czasowych Ensemble Copyr i g ht 2013, SAS Ins titut e Inc. All rights res er ve d.

14 SAS RAPID PREDICTIVE MODELER TWORZENIE MODELU ANALITYCZNEGO DLA KAŻDEGO Udostępnienie zaawansowanej analityki użytkownikowi biznesowemu Możliwość tworzenia modeli analitycznych w i na danych MS Excel

15 SAS MODEL MANAGER

16 ŚRODOWISKO ANALITYCZNE BUDOWA I ZARZĄDZANIE MODELAMI Enterprise Miner Model Manager Budowa modeli Zarządzanie modelami Selekcja zmiennych istotnych Zastosowanie wydajnych algorytmów predykcyjnych, segmentacyjnych Testowanie i porównywanie modeli Wybór najlepszego modelu Zarządzanie repozytorium modeli Definiowanie i obsługa procesu rejestracji modeli Automatyzacja procesu naliczania scoringów Monitorowanie procesu produkcyjnego Monitorowanie jakości modeli Możliwość szybkiego odświeżania starzejących się modeli

17 SAS MODEL MANAGER ZARZĄDZANIE MODELAMI PROCES Proces zarządzania cyklem życia modeli Enterprise Miner

18 SAS MODEL MANAGER ZARZĄDZANIE MODELAMI PROCES Centralne repozytorium dla modeli analitycznych Wsparcie dla pracy zespołowej Administrowanie zadaniami scoringowymi Publikacja modeli produkcyjnych Monitorowanie wydajności oraz przydatności modeli Określenie ról i odpowiedzialności Przejrzystość w dokumentowaniu, ułatwiony audyt, raporty walidacyjne Integracja z innymi narzędziami

19 SAS MODEL MANAGER WYKORZYSTANIE OPERACYJNE MODELI Zintegrowany webowy interfejs użytkownika Harmonogramowanie i automatyzacja naliczania scoringów Bezpieczeństwo wykorzystania biznesowego monitorowanie wyników scoringu Automatyczne odświeżanie modeli

20 SAS VISUAL ANALYTICS / SAS VISUAL STATISTICS

21 SAS VISUAL ANALYTICS GŁÓWNE KOMPONENTY Centralny punkt dostępu Integracja Dedykowane interfejsy DATA BUILDER ADMINISTRATOR EXPLORER DESIGNER Łączenie danych z Monitorowanie SAS Ad-hoc analiza Tworzenie wielu źródeł LASR Analytic danych i odrywanie dashboardów i Tworzenie kolumn server związków raportów dostępnych wyliczanych i Ładowanie/usuwanie Zaawansowane przez web i tablety pochodnych danych analizy Ładowanie danych Zarządzanie bezpieczeństwem SAS LASR ANALYTIC SERVER MOBILE BI Natywne aplikacje ios i Android pozwalające na interaktywny dostęp do raportów

22 SAS VISUAL ANALYTICS EKSPLORACJA/ZROZUMIENIE DANYCH Eksploracja danych Wizualizacja, poszukiwanie relacji, trendów, nieprawidłowości, itd. Automatyczne wykresy Wizualizacje: Tabele, Wykresy słupkowe, liniowe, rozproszenia, bąbelkowe, mapy geograficzne i wiele innych Łatwa w użyciu analityka: Korelacje (Relacje), Regresja (Liniowa, kwadratowa, sześcienna, PSpline, Best Fit), Prognozowanie (wiele algorytmów), Statystyki agregujące Dynamiczne hierarchie: Drill down, up Zmienne wyliczane Selekcja i zaznaczanie w celu odkrycia relacji Zapisanie i udostępnienie eksploracji jako raport lub PDF Eksport danych do Excela lub CSV/TSV

23 SAS VISUAL ANALYTICS PRZYGOTOWANIE RAPORTÓW Webowe narzędzie do tworzenia raportów i dashboardów Wykorzystanie istniejących raportów i danych Użycie wielu źródeł danych Wiele opcji wizualizacji danych Tworzenie raportów w trybie WYSIWYG zintegrowane z wyświetlaniem Precyzja rozmieszczenia obiektów na raportach Interakcje pomiędzy obiektami raportów oraz promptami Komentarze na poziomie raportów i obiektów Dynamiczne Hierarchie: Drill down, up, itp. Zmienne wyliczane i tworzone Eksport danych do plików Adaptacyjne prezentacje budowane raz, używane w różnych kanałach dystrybucji.

24 SAS VISUAL ANALYTICS DYSTRYBUCJA RAPORTÓW Wizualizacja raportów Wiele źródeł danych Interakcje i prompty Nawigacje według hierarchii Współpraca i komentarze Eksport danych do Excel, CSV Wykorzystanie mechanizmów bezpieczeństwa Platformy SAS Natywne aplikacje dla tabletów ipad i Android Natywne aplikacja dla smartfonów iphone i Android Zaawansowane metody wizualizacji i interakcji na raportach: filtrowanie, zaznaczanie, drill-down, powiększanie, itp. Współpraca i komentarze Współdzielenie poprzez Interaktywne przeglądanie raportów offline

25 SAS VISUAL STATISTICS TECHNIKI MODELOWANIA ANALITYCZNEGO Modelowanie Predykcyjne Regresja liniowa Regresja logistyczna Uogólnione modele liniowe (GLM) Drzewa klasyfikacyjne Modelowanie opisowe Clustering Przetwarzanie Group-By Auto-update

26 SAS ENTERPRISE GUIDE SAS ADD-IN FOR MICROSOFT OFFICE

27 SAS ENTERPRISE GUIDE ZAAWANSOWANA ANALIZA DANYCH Z UŻYCIEM KREATORÓW ZADAŃ Wygodna, interaktywna aplikacja pozwala na zastosowanie procedur statystycznych w oparciu o dostępne dane Dostęp do możliwości ponad 60 kreatorów odpowiedzialnych za raportowanie, wizualizację oraz zadania analityczne w celu błyskawicznego uzyskania wyników pożądanej analizy Diagram przetwarzania danych stanowiący dokumentację analizy Możliwość łączenia danych z wielu źródeł

28 SAS ADD-IN FOR MICROSOFT OFFICE INTEGRACJA Z PAKIETEM BIUROWYM MICROSOFT Udostępnienie możliwości SAS w zakresie dostępu do danych, raportowania i analizy bezpośrednio z Microsoft Office Użytkownicy biznesowi mogą analizować dane normalnie przekraczające limity Microsoft Excel a rezultaty przedstawiać w dokumentach Office Ponieważ dane są utrzymywane centralnie, departament IT może walidować i nadzorować dane przeznaczone do raportów, zapewniając ich aktualność

29 SAS STORED PROCESS DYSTRYBUCJA ANALIZ I RAPORTÓW Możliwość graficznego tworzenia Procesów Gotowych za pomocą SAS Enterprise Guide Rejestracja kodów SAS 4GL jako Procesy Gotowe Uruchamianie procesów z różnych narzędzi SAS Enterprise Guide Add-in for Microsoft Office SAS Stored Process Web Application Możliwość parametryzacji procesu w momencie uruchomienia Uruchamianie analiz on-line z możliwością zapisania wyników

30 SAS EVENT STREAM PROCESSING

31 SAS EVENT STREAM PROCESSING TYPOWE ZAGADNIENIA Podaj, co 2 minuty, 3 największe wartości z ostatnich 5 minut Sygnalizuj przypadki gdy zdarzenie A następuje bo zdarzeniu B ale w ciągu 3 minut nie było zdarzenia C Wykryj przypadek gdy w ciągu 24 godzin występują 3 transfery z tego samego rachunku, pochodzące z 3 różnych krajów, wstrzymaj transfer.

32 SAS EVENT STREAM PROCESSING KONCENTRACJA NA PRZEPŁYWIE DANYCH SAS EVENT STREAM ENGINE DATA IN (Events) WINDOW SOURCE 1 Event Stream WINDOW FILTER Event Stream WINDOW WINDOW DATA IN (Events) WINDOW SOURCE 2 Event Stream Event Stream JOIN Event Stream CALCULATIONS DATA OUT (Events) DATA IN (Events) WINDOW SOURCE 3 Event Stream WINDOW CALCULATIONS Event Stream WINDOW JOIN Event Stream WINDOW THRESHOLD DATA OUT (Events) Projekt modelu reguł w trybie ciągłego zapytania (contiuous query) Używając koncepcji okien (windows)

33 SAS EVENT STREAM PROCESSING STUDIO Drag & drop Interfejs HTML5 Język wyrażeń Import / Export modeli XML Środowiska pracy dla użytkowników biznesowych i technicznych ESP STUDIO SCREENSHOT AND KEY ELEMENTS Zintegrowane środowisko testowe do iteratywnego procesu projektowania/testów.

34 SAS EVENT STREAM PROCESSING STREAM VIEWER Wizualizacja strumienia danych ułatwiająca monitorowanie i budowę modeli ESP

35 SAS EVENT STREAM PROCESSING GŁÓWNE CHARAKTERYSTYKI TECHNICZNE Wydajność Ciągłe przetwarzanie danych w pamięci Wielowątkowość i klastrowanie Natywne aplikacje Linux & Windows Liniowa skalowalność Największa dostępna na rynku wydajność Elastyczność Modelowanie skoncentrowane na przepływie danych Drag & drop modelowanie wizualne XML & C gotowych konektorów Publiczne API (Java or C) publish & subscribe Rozwiązanie klasy Enterprise Analityka w strumieniu Wysoka dostępność Gwarancja dostarczenia Miary wydajności Publish/Subscribe Mały narzut technologiczny SAS Text Analytics SAS Data Quality SAS Analytics DataStep2 SAS LASR In-Memory Analytical Server

36 Zapraszamy do dyskusji