Wydział Informatyki i Zarządzania SWD NS 3. Marek Lubicz. kbo.pwr.edu.pl/pracownik/lubicz

Transkrypt

1 Wydział Informatyki i Zarządzania SWD NS 3 Marek Lubicz marek.lubicz@pwr.wroc.pl kbo.pwr.edu.pl/pracownik/lubicz SWD 2016 MLubicz 2 Analityka biznesowa Analityka Biznesowa to wykorzystanie: danych, technologii informacyjnych, analizy statystycznej, innych metod ilościowych, w tym metod modelowania matematycznego w celu ułatwienia decydentom lepszego zrozumienia procesów biznesowych oraz podejmowania lepszych decyzji. Analityka opisowa (deskryptywna): wykorzystanie danych do zrozumienia tendencji historycznych i bieżących charakterystyk procesów biznesowych oraz do bieżącego podejmowania decyzji Analityka predykcyjna: predykcja przyszłych tendencji na podstawie analizy danych historycznych, w szczególności wykrycie i ekstrapolacja na przyszłe okresy wzorców lub relacji wykrytych w danych historycznych Analityka preskryptywna (optymalizacja): wykorzystanie danych do optymalizacji decyzji (minimalizacja lub maksymalizacja ustalonych kryteriów) [Winston] Terminem analityka określa się praktykę wykorzystywania istniejących danych jako narzędzia do podejmowania decyzji pozwalających lepiej realizować cele organizacji System wspomagania decyzji (Decision Support Systems) to: - interaktywna aplikacja komputerowa, - której celem jest pomóc decydentom - w efektywnym wykorzystaniu technologii informacyjnych, danych, dokumentów, wiedzy i / lub modeli - w formułowaniu i rozwiązywaniu problemów decyzyjnych - oraz w podejmowaniu decyzji (wyborze najlepszych alternatyw decyzyjnych) 1

2 SWD 2016 MLubicz 3 Analityka biznesowa APDB SWD SWD 2016 MLubicz 4 podstawy projektowania pulpitów menedżerskich [Alexander, Walkenbach] Przykład ćwiczenia laboratoryjne: przykład1: przykład pulpitu menedżerskiego: plik przykładowy omówienie a. problem i dane, b. pytania/problemy analityczne, c. funkcje i narzędzia Excela, d. projekt pulpitu, e. proces tworzenia pulpitu przykład2: budowa pulpitu dla pełnego pliku danych z przykładu1: wynik sformułowanie pytań/problemów analitycznych, tabele i wykresy przestawne, fragmentatory dane: klient, sprzedawca, kwota, data rozmowy, długość rozmowy pytania: - najlepsi klienci wg sprzedaży (klient, kwota sprzedaży); - najlepsi sprzedawcy wg sprzedaży; - liczba rozmów o określonej długości (grupowanie: przedziały półgodzinne); - kwota zakupów a liczba rozmów w miesiącach (grupowanie dat); - klienci wg liczby i czasu rozmów (samodzielny dobór przedziałów grupowanie?) 2

3 SWD 2016 MLubicz 5 model danych, tabele przestawne II Analiza SWD 2016 MLubicz 6 dashboard menedżerski z różnymi sygnalizacjami (KPI!! => miniwykresy, sygnalizacja uliczna, paski danych, mapa cieplna, wykres pociskowy vs Sparklines,.) plik 3

4 SWD 2016 MLubicz 7 model danych, Power Pivot, pola i kolumny obliczeniowe, hierarchie Tabela Wykres SWD 2016 MLubicz 8 szybka eksploracja danych w tabeli przestawnej / na wykresie przestawnym Tabela Wykres 4

5 SWD 2016 MLubicz 9 podstawy projektowania pulpitów menedżerskich [Alexander, Walkenbach] Kluczowy etap przygotowań do zbudowania pulpitu menedżerskiego: określenie wymagań użytkownika: Definiowanie przekazu: cele które ma realizować dany pulpit, przesłanki / powody budowy pulpitu (charakteryzujące potencjalne wykorzystanie pulpitu) typ potrzebnych i dostępnych danych, ich jednostki miary i formaty, dostępne źródła Określanie odbiorców: końcowi użytkownicy pulpitu, sposoby korzystania z pulpitu Określanie wskaźników wydajności: określenie KPI kluczowych wskaźników wydajności, związanych z celami organizacji i/lub konkretnych procesów biznesowych przy określaniu wskaźników można sformułować podstawowe pytania, dotyczące określonego zagadnienia Lista potrzebnych źródeł danych: przygotowanie zestawienia potrzebnych i dostępnych źródeł lub baz danych, potrzebnych do stworzenia obiektów dla poszczególnych KPI jakie dane, czy mamy dostęp do nieprzetworzonych / niezagregowanych danych, jak często dane są / powinny być aktualizowane, czy dane są kompletne, spójne / poprawne, wiarygodne, czy wymagane dane w ogóle istnieją) Określanie wymiarów i filtrów: określenie jednostek miary / wymiarów (godziny / dni / tygodnie / miesiące / lata; kraj / region / rynek / oddział / pracownik itp.) określenie logiki filtrów, tj. mechanizmów pozwalających zawęzić analizowane / prezentowane dane (np. do zaprojektowania takich obiektów jak: fragmentatory, osie czasu) Drążenie danych: Określenie potrzeb w zakresie drążenia danych, tj. mechanizmów umożliwiających szybkie przejście do szczegółów danego wskaźnika (np. uzyskania dostępu do tabeli z nieprzetworzonymi danymi) Harmonogram aktualizacji: Określenie potrzeb w zakresie aktualizacji zarówno struktury pulpitu (nowe KPI, nowe pytania) jak i warstwy danych (dane dla nowych transakcji, klientów, miesięcy, itp.) SWD 2016 MLubicz 10 Obserwowane w ostatnich latach upowszechnienie się systemów baz danych w praktycznie każdej dziedzinie ludzkiej działalności doprowadziło do gwałtownego wzrostu ilości danych, które są gromadzone i zapisywane w postaci cyfrowej. Systemy baz danych są obecne niemal wszędzie: sprzedaż detaliczna, bankowość, finanse, ubezpieczenia, medycyna, edukacja, handel elektroniczny, we wszystkich tych dziedzinach systemy baz danych stanowią niezbędny element infrastruktury informatycznej. Na przestrzeni lat systemy baz danych nieustannie ewoluowały, od prostych systemów plikowych, poprzez systemy sieciowe i hierarchiczne, aż po systemy relacyjne, obiektowe i semistrukturalne. Równolegle z rozwojem modeli danych wykorzystywanych w bazach danych powstawały nowe modele przetwarzania i architektury systemów baz danych. Ewolucja systemów baz danych była podyktowana, z jednej strony, rosnącymi wymaganiami dotyczącymi funkcjonalności baz danych, a z drugiej strony, koniecznością obsługiwania coraz większych kolekcji danych. Hurtownia danych jest architekturą bazy danych umożliwiającą integrację ogromnych ilości danych pochodzących z heterogenicznych źródeł i operującą na wielowymiarowym modelu danych. Głównym zadaniem hurtowni danych jest prezentacja wysokiej jakości zintegrowanych danych na potrzeby analizy biznesowej, weryfikacji hipotez, wspomagania decyzji, oraz odkrywania wiedzy w danych. Podejścia statystyczne a ED/DM [Korczak]: - istotą statystyki jest analiza danych i formułowanie wniosków odnoszących się do populacji na podstawie prób - współczesne zbiory danych utrudniają stosowanie klasycznych metod ilościowych, w tym statystyki: = wielkie ilości danych (GB TB PB) = wymaganie szybkich wyników i interakcji z użytkownikiem = wielowymiarowa natura danych = dane rozproszone - automatyczne funkcje ED/DM ukryte w wielu systemach 5

6 SWD 2016 MLubicz 11 Eksploracja danych (ED; najczęściej uważane za odpowiednik Data Mining; DM): - proces odkrywania nowych, wcześniej nieznanych, potencjalnie użytecznych, zrozumiałych i poprawnych wzorców w bardzo dużych wolumenach danych - proces automatycznego odkrywania nietrywialnych, dotychczas nieznanych, potencjalnie użytecznych reguł, zależności, wzorców schematów, podobieństw lub trendów w dużych repozytoriach danych (bazach danych, hurtowniach danych, itp.). Odkrywane w procesie eksploracji danych wzorce maja, najczęściej, postać reguł logicznych, klasyfikatorów (np. drzew decyzyjnych), zbiorów skupień, wykresów, Cel eksploracji danych : analiza danych i procesów w celu lepszego ich rozumienia ED jest interdyscyplinarną dyscypliną łączącą takie dziedziny jak: systemy baz danych, statystyka, systemy wspomagania decyzji, sztuczna inteligencja, uczenie maszynowe, wizualizacja danych, przetwarzanie równoległe i rozproszone, i wiele innych. Techniki ED wykorzystują różne modele wiedzy do reprezentowania wzorców obecnych w danych. Modele te obejmują, między innymi, reguły asocjacyjne, reguły cykliczne i okresowe, reguły dyskryminacyjne i charakterystyczne, klasyfikatory bayesowskie, drzewa decyzyjne, wzorce sekwencji, skupienia obiektów podobnych, przebiegi czasowe, oraz osobliwości i wyjątki. Równolegle z modelami wiedzy opracowano wiele algorytmów odkrywania wiedzy w bazach danych. SWD 2016 MLubicz 12 Metody ED mogą być klasyfikowane według różnych kryteriów. Przykładowo można zastosować uogólnione spojrzenie, według którego większość metod DM zawiera trzy podstawowe elementy: model zawiera parametry, które mają być znalezione w danych; model ma określoną funkcję (np. klasyfikacja) i posiada pewną reprezentację (np. drzewo decyzyjne); kryterium wyboru (ang. preference criterion) definiuje metodę oceny modelu lub jego parametrów i zazwyczaj ma postać pewnej jawnej, liczbowej funkcji (np. miary dopasowania modelu do danych), która jest umieszczona w algorytmie poszukiwania.; algorytm poszukiwania (ang. search algorithm) specyfikuje sposób znajdowania modeli i ich parametrów, na podstawie danych wejściowych i kryterium wyboru. Algorytmy poszukiwania można podzielić na dwie kategorie: (i) poszukiwanie parametrów dla znanego modelu (często zbliżone do problemu optymalizacji) oraz (ii) poszukiwanie modelu wśród wielu dostępnych. Można też zastosować prosty podział, związany z celem analizy/zgłębiania danych (klasy nierozłączne): - techniki deskrypcyjne mają na celu wykorzystanie wzorców odkrytych w danych do spójnego opisu danych i uchwycenia ogólnych cech danych; przykłady technik: analiza skupień/grupowanie, podsumowywanie i wizualizacja, analiza powiązań/ skojarzeń/ asocjacji przykłady zastosowania: odkrywanie grup podobnych klientów, znajdowanie zbiorów produktów często kupowanych razem, lub identyfikacja osobliwości występujących w danych. - techniki predykcyjne starają się, na podstawie odkrytych wzorców, dokonać uogólnienia i przewidywania (np. wartości nieznanego atrybutu, zachowania i cech nowego obiektu, itp.). przykłady technik: klasyfikacja i analiza dyskryminacyjna, regresja i inne metody modelowania zależności, indukcja reguł decyzyjnych i drzewa decyzyjne, sieci neuronowe przykłady zastosowania: identyfikacja docelowych grup klientów, ocena ryzyka ubezpieczeniowego związanego z klientem, lub oszacowanie prawdopodobieństwa przejścia klienta do konkurencyjnego usługodawcy 6

7 SWD 2016 MLubicz 13 Metody ED mogą być klasyfikowane według różnych kryteriów. Można rozpatrzyć typ zapytań do repozytoriów danych: - zapytania operacyjne typowym zapytaniem operacyjnym do bazy danych będzie: Ile butelek wina sprzedano w I kwartale 2006 w sklepie firmy X w Poznaniu? - zapytania analityczne oparte o model OLAP bardziej zaawansowanym zapytaniem będzie zapytanie analityczne postaci: Ile sprzedano butelek wina w sieci firmy X na terenie kraju z podziałem na województwa, gatunki win oraz kwartały, w ciągu ostatnich 5 lat? Analiza danych w hurtowni danych, zgodnie z modelem OLAP, jest sterowana całkowicie przez użytkownika. Użytkownik formułuje zapytania i dokonuje analizy danych zawartych w magazynie. Z tego punktu widzenia, OLAP można interpretować, jako rozszerzenie standardu SQL o możliwość efektywnego przetwarzania złożonych zapytań zawierających agregaty. Analiza porównawcza zagregowanych danych, która jest podstawa modelu OLAP, operuje na zbyt szczegółowym poziomie abstrakcji i nie pozwala na formułowanie bardziej ogólnych zapytań. - zapytania eksploracyjne zapytania eksploracyjne maja charakter znacznie bardziej ogólny i znacznie bardziej abstrakcyjny: Jakie produkty kupują klienci supermarketu najczęściej wraz z winem? Czym różnią sie koszyki klientów kupujących wino i piwo? W jaki sposób można scharakteryzować klientów kupujących wino? Czy można dokonać predykcji, że dany klient kupi wino? Jakie oddziały supermarketu miały 'anormalną' sprzeda w pierwszym kwartale 2004 r.? Czy można przewidzieć przyszłe zachowania klientów? Czy istnieje korelacja pomiędzy lokalizacja oddziału supermarketu a asortymentem produktów, których sprzedaż jest wyższa od średniej sprzedaży produktów? Zapytań takich nie moglibyśmy zrealizować przy pomocy SQL czy nawet jego rozszerzeń w postaci zapytań analitycznych. SWD 2016 MLubicz 14 Terminy eksploracja danych i odkrywanie wiedzy w bazach danych są często stosowane wymiennie, choć drugi termin posiada dużo szersze znaczenie. Odkrywanie wiedzy to cały proces akwizycji wiedzy, począwszy od selekcji danych źródłowych a skończywszy na ocenie odkrytych wzorców. Zgodnie z tą definicją, eksploracja danych oznacza zastosowanie konkretnego algorytmu odkrywania wzorców na wybranych danych źródłowych i stanowi jeden z etapów składowych całego procesu odkrywania wiedzy. Celem systemów odkrywania wiedzy w bazach danych (ang. knowledge discovery in databases, KDD), jest przetwarzanie rzeczywistych danych, które są powstają w wyniku działalności różnych organizacji i są przechowywane w bazach danych. Potencjalnie zasoby tych baz danych zawierają pewną ukrytą wiedzę istotne statystycznie, a nieznane dotąd zależności, które po odpowiednim przetworzeniu mogą być wykorzystane do usprawnienia działania organizacji. Systemy KDD mają za zadanie odkrywać te regularności i dostarczać je użytkownikowi w takiej postaci, aby mogły one być prawidłowo interpretowane i wykorzystane w procesach decyzyjnych na przykład poprzez predykcję. Za interesujące można uznać te zależności, które odnoszą się do atrybutów ważnych dla użytkownika danych, natomiast ich użyteczność zależy między innymi od ich istotności statystycznej i dokładności. 7

8 SWD 2016 MLubicz 15 Proces odkrywania wiedzy przebiega najczęściej na danych udostępnianych przez hurtownię danych. Analizowane dane są poddawane wstępnemu przetwarzaniu, transformacji, czyszczeniu, usuwaniu niespójności, czy wzbogacaniu wiedzą domenową. Wiedza odkryta w danych może być postrzegana jako wartość dodana, podnosząca jakość danych i znacząco polepszająca jakość decyzji podejmowanych na podstawie danych. Przetwarzanie wstępne i końcowe danych stanowią około 85 % czasu przeznaczonego na rozwiązywanie zadania. ED jest procesem złożonym, długotrwałym i kosztownym. Opiera się na zaawansowanych metodach, technikach i oprogramowaniu informatycznym. Zazwyczaj ED wymaga eksperymentowania, dostrajania i korzystania z kompetentnych konsultantów. SWD 2016 MLubicz 16 Biorąc pod uwagę funkcje modelu wyróżnia się następujące typowe zadania Eksploracji Danych: klasyfikacja (ang. classification) przydziela przykłady (ang. data items) do predefiniowanych klas; regresja (ang. regression) przypisuje przykładom liczby rzeczywiste wartości zmiennej predykcyjnej (ang. prediction variable); grupowanie (ang. clustering) przyporządkowuje przykłady do klas (inaczej grup lub klastrów), które są automatycznie znajdowane w danych na podstawie miar podobieństwa lub rozkładu gęstości prawdopodobieństwa (w przeciwieństwie do klasyfikacji, w której klasy są predefiniowane); podsumowywanie (ang. summarization) daje w wyniku zwięzły opis zbioru danych (np. zależności funkcyjne między zmiennymi); modelowanie zależności (ang. dependency modeling) określa istotne zależności pomiędzy zmiennymi wraz z liczbowymi miarami ich siły; analiza powiązań (ang. link analysis) znajduje relacje pomiędzy wieloma atrybutami opisującymi przykłady (np. reguły związku), spełniające wymagania statystycznej istotności i dokładności; analiza sekwencji (ang. sequence analysis) pozwala na znalezienie zależności sekwencyjnych (np. podobnych serii czasowych), trendów i odchyleń. 8

9 SWD 2016 MLubicz 17 A Taxonomy for Data Mining Tasks [Sayad 2011] SWD 2016 MLubicz 18 A Taxonomy for Data Mining Tasks [Sayad 2011] 9

10 SWD 2016 MLubicz 19 DSS for Management Support - Data Mining Machine Learning [Manfred Jaeger DWML, F-2006] Data Mining is the analysis of (often large) observational data sets to find unsuspected relationships and to summarize the data in novel ways that are both understandable and useful to the data owner [Hand, Mannila, Smyth 2001]. The field of machine learning is concerned with the question of how to construct computer programs that automatically improve with experience [Mitchell, 1997] SWD 2016 MLubicz 20 Data Mining Process: CRISP vs SEMMA 10

11 SWD 2016 MLubicz 21 Data Mining Process: CRISP-DM SWD 2016 MLubicz 22 Data Mining Process: CRISP-DM 11

12 SWD 2016 MLubicz 23 Data Mining Process: CRISP-DM Data Mining Process: CRISP-DM versus SWD versus APDB SWD 2016 MLubicz 24 APDB-Descriptive analytics Steps account for ~85% of total project time SWD-Predictive & Prescriptive analytics 12