ANALIZA DANYCH KONCEPCJE I METODY

Transkrypt

1 ANALIZA DANYCH KONCEPCJE I METODY

2 Podejścia do analizy danych Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

3 Analiza danych Podejścia do analizy danych: Analiza decryptywna (deskrypcyjna) ang. descriptive analytics Co się zdarzyło? Analiza diagnostyczna ang. diagnostic analytics Dlaczego się zdarzyło? Analiza predyktywna (predykcyjna) ang. predictive analytics Co się może zdarzyć? Analiza preskryptywna (preskrypcyjna) ang. prescriptive analytics Co należy zrobić? Analiza kognitywna (ang. cognitive analysis) Integracja podejść, bazująca na wykorzystaniu narzędzi sztucznej inteligencji i wieloaspektowych danych z różnych źródeł Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

4 Analiza danych Przykładowe formy analizy danych: Raportowanie Standardowe biblioteki raportów OLAP Analizy ad-hoc, Data Mining Poszukiwanie informacji Text Mining Przetwarzanie języka naturalnego Machine Learning Rozpoznawanie wzorców Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

5 Raportowanie - przykład Terminy rzeczywiste zapadalności dla kredytów Źródła danych: Aktualne saldo (system księgowy) Terminarz rat (umowa kredytowa) Przetwarzanie: Weryfikacja stanu (czy aktualne saldo jest zgodne z planem) Przeliczenie pozostałych rat na kategorie czasowe Agregacja wyników Efektem jest kilkanaście wartości (z ponad 5 tyś. wymaganych w sprawozdawczości obowiązkowej dla banków) W instytucji typu bank liczba różnych raportów w skali miesiąca może przekraczać tysiące (samych sprawozdań wymaganych przez prawo jest kilkaset) Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

6 OLAP On-line Analytical Processing (MOLAP,ROLAP,HOLAP) Wykorzystuje przetworzone i wyselekcjonowane dane w modelu opartym na faktach i wymiarach Pozwala na ogląd danych na różnych poziomach szczegółowości Umożliwia prowadzenie prostych analiz i zapytań w trybie bieżącym (ad-hoc) Opiera się na raczej prostym interfejsie a sposób prezentowania wyników jest silnie zależny od struktury danych Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

7 Data Mining Data Mining (Eksploracja Danych) jest jedną z metod analizy danych upowszechnioną wraz z rozwojem Hurtowni Danych Definicja: Nietrywialne wydobywanie ukrytej, uprzednio nie znanej i potencjalnie użytecznej informacji z danych (1992) Nauka zajmująca się wydobywaniem informacji z dużych zbiorów danych lub baz danych (2001) Istotą DM jest automatyczne wykrywanie związków/zależności w danych Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

8 Ogólny schemat eksploracji danych Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

9 Uwarunkowania selekcji danych Wybór właściwych danych do zbioru roboczego: Zbyt mała liczba danych nie pozwoli postawić hipotezy Zbyt duża liczba danych zwiększy czas przetwarzania Nietypowe wartości (np. przewaga wartości skrajnych) zaburzą obraz danych dając błędną hipotezę Rozkłady wartości, dyskretyzacja, redukcja wymiarów, Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

10 Zadania eksploracji danych Wyszukiwanie asocjacji Klasyfikacja Predykcja Grupowanie Wykrywanie charakterystyk Wykrywanie szeregów czasowych Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

11 Wybrane metody eksploracji danych analiza regresji liniowej i nieliniowej, regresja logistyczna, analiza przeżycia modele szeregów czasowych ARIMA analiza ANOVA analiza skupień modele drzew decyzyjnych metody klasyfikacji: najbliższych sąsiadów, naiwny klasyfikator Bayesa analiza asocjacji sztuczne sieci neuronowe algorytmy genetyczne zbiory/logika/arytmetyka rozmyta Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

12 SZTUCZNE SIECI NEURONOWE

13 Sztuczne sieci neuronowe Koncepcja wzorowana na strukturach układu nerwowego, dająca możliwość uczenia się Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

14 Struktury sieci neuronowych Sieci jedno i wielowarstwowe Sieci jednokierunkowe i ze sprzężeniem zwrotnym Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

15 Sztuczne sieci neuronowe podstawowa koncepcja działania neuronu Parametrami działania neuronu są wagi i funkcja aktywacji mogą one być zadane z góry (ale skąd je brać?) lub ulegać zmianie w procesie uczenia sieci Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

16 Uczenie sztucznych sieci neuronowych Uczenie nadzorowane (z nauczycielem) Znany jest pożądany wynik działania sieci Wynik działania porównywany ze wzorcem Uczenie nienadzorowane Nie znamy pożądanego wyniku działania sieci Wynik oceniany w zadanych kategoriach Problem przeuczenia sieci Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

17 Sztuczne sieci neuronowe obszary wykorzystania We wszystkich obszarach gdzie istotna jest odpowiedź jakościowa a nie ilościowa, np.: ekonomia, biologia i medycyna; prognozowanie sprzedaży; interpretacja badań biologicznych; prognozy cen, kursów walut, akcji, itp.; Obejmuje takie działania jak Predykcja Klasyfikowanie i rozpoznawanie Analiza i kojarzenie danych Optymalizacja Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

18 ALGORYTMY GENETYCZNE

19 Algorytmy genetyczne Prosta koncepcja wzorowana na teorii ewolucji Poszukiwanie rozwiązania optymalnego metodą błądzenia

20 Algorytmy genetyczne Przestrzeń rozwiązań - opis populacji Selekcja populacji startowej Warunek zatrzymania definiowanie funkcji celu Mechanizmy ewolucji reprodukcja, krzyżowanie, mutacja

21 Algorytmy genetyczne Działanie algorytmu na przykładach: Problem komiwojażera (optymalizacja drogi) Szukanie rozwiązań przybliżonych Główne problemy: Złożoność obliczeniowa Lokalna optymalność Wybór reprezentacji i mechanizmów modyfikacji

22 Algorytmy genetyczne Zastosowania: Przy problemach optymalizacyjnych (ustalanie parametrów, układanie harmonogramów) z dużą liczbą parametrów i/lub złożonej algorytmice (problemy NP-zupełne), np.: Logistyka Przemysł chemiczny Medycyna Do uczenia sieci neuronowych

23 LOGIKA ROZMYTA

24 Logika (zbiory, arytmetyka) rozmyta Pojęcie zmiennej lingwistycznej Próba odzwierciedlenia myślenia ludzi Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

25 Działanie systemów logiki rozmytej Rozmywanie (fuzzyfikacja) i wyostrzanie (defuzyfikacja) Reguły zapisywane w terminach zmiennych lingwistycznych Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

26 Logika rozmyta: funkcja przynależności Wybór funkcji przynależności zależy od charakteru zjawiska i postaci reguł wnioskowania Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

27 Logika rozmyta Zastosowanie: Systemy sterujące Analiza danych (ekonomia, medycyna) Przetwarzanie i rozpoznawanie obrazów Zalety: Stabilność (małe zmiany na wejściu dają małe zmiany na wyjściu) Interpolacja (możliwa obsługa danych spoza zakresu) Łatwość zrozumienia (wiedza reprezentowana w języku naturalnym) Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

28 PRZETWARZANIE DOKUMENTÓW TEKSTOWYCH

29 Przetwarzanie języka naturalnego nlp.stanford.edu/~wcmac/papers/ unlu.pdf Przetwarzanie tekstów jest jednym z elementów szerszego zagadnienia, obejmującego rozpoznawanie i generację mowy (ASR/TTS), przetwarzanie (NLP) i rozumienie (NLU) języka naturalnego Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

30 NLU NLP Przetwarzanie tekstu Przygotowanie tekstu Rozpoznanie języka Segmentacja tekstu (Tokenizacja) wyodrębnienie zdań, wyrazów, rdzeni i końcówek, reprezentacja (strukturalna) tekstu Analiza syntaktyczna Identyfikacja części mowy, części zdań, (zastosowanie reguł gramatycznych) Analiza semantyczna Identyfikacja nazw własnych, określeń czasu, itd. (uwzględnienie kontekstu znaczeniowego) Analiza pragmatyczna Uwzględnienie znaczenia tekstu (relacje między wyrazami, sens, kontekst użycia, itp. ) Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

31 Reprezentacja tekstu (i zapytań) Oparta na słowach kluczowych Wyszukiwanie na podstawie występowania słów ang. keyword-based retrieval Dokument jako sekwencja słów (wyrazów) Oparta na reprezentacji wektorowej Wyszukiwanie na podstawie podobieństwa ang. similarity-based retrieval Dokument jako n-wymiarowy wektor słów Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

32 Reprezentacja wektorowa Identyfikacja termów (tokenizacja) Zbiór termów Liczebność zbioru = wymiar przestrzeni Reprezentacja dokumentu Wystąpienie, częstość, inne Założeniem jest że podobny zestaw słów wskazuje na podobieństwo dokumentów Częstość wystąpienia słów w dokumencie (term frequency): tf j = N j Odwrotna (względna) częstość wystąpienia słów w dokumencie (inverse document frequency): idf j = ln(n/n j ) Podobieństwo = odległość między wektorami Częstość wystąpienia słów w dokumencie i zbiorze dokumentów słowa rzadko występujące w zbiorze lepiej identyfikują dokument Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

33 Reprezentacja tekstu - zastosowanie Przeszukiwanie kolekcji dokumentów, m.in.: Wyszukiwarki internetowe Systemy Zarządzania Wiedzą Analiza danych, m.in. : Zarządzanie relacjami z klientem (np. analiza opinii klienckich sentiment analysis) Przetwarzanie danych z mediów społecznościowych Wszędzie tam, gdzie źródło informacji może być przetworzone do postaci tekstu (information retrieval and extraction) Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

34 Przetwarzanie języka naturalnego obszary działania P r z y g o t o w a n i e W y k o r z y s t a n i e Przetwarzanie - analiza Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

35 Przetwarzanie języka naturalnego przykładowe zastosowanie Tłumaczenie maszynowe Tekst (np. google translator) Generowanie języka naturalnego Systemy dialogowe (chat-bots) Interakcja człowiek komputer Identyfikacja treści Automatyczne streszczenia Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

36 PRZETWARZANIE DŹWIĘKU

37 Przetwarzanie mowy ogólny schemat Mowa Obróbka sygnału analogowego Transformacja A-D Obróbka sygnału cyfrowego Identyfikacja fonemów Wyodrębnienie słów Tekst Rozpoznawanie języka Słowniki ASR Automatic Speech Recognition Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

38 Przetwarzanie dźwięku w połączeniu z automatycznym tłumaczeniem Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

39 PRZETWARZANIE OBRAZÓW

40 Przetwarzanie obrazów - koncepcja Analogowe dane źródłowe cyfryzacja Przetworniki (matryce) cyfrowe: czułość, rozdzielczość, jakość sygnału Formy przechowanie obrazów (formaty plików) Identyfikacja zawartości tworzenie reprezentacji Wykrywanie krawędzi i kształtów Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

41 Przetwarzanie obrazów Stworzenie reprezentacji obrazu pozwalającej na: Automatyczne przetwarzanie Przechowanie, przesyłanie, odtwarzanie Wyostrzanie, korekcja, itd. Identyfikację zawartości Wyodrębnianie elementów składowych obrazu i relacji między tymi elementami Stanowi wstępny element m.in. procesów rozpoznawania wzorców (ang. Pattern recognition) Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

42 Pattern Recognition ROZPOZNAWANIE WZORCÓW

43 Rozpoznawanie wzorców Przedmiotem Rozpoznawania Wzorców (ang. Pattern Recognition - PR)jest wykrywanie schematów (ang. regularities) w danych przy wykorzystaniu algorytmów komputerowych i użyciu tych schematów do podejmowania działań np. klasyfikacji danych do różnych kategorii (Bishop 2006) Pokrewne i często stosowane wymiennie pojęcia to: Uczenie maszynowe, sztuczna inteligencja, Określane również jako rozpoznawanie obrazów Stanowi istotny element wykorzystania dużych niestrukturalnych zbiorów danych Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

44 Rozpoznawanie wzorców Wzorzec - zespół cech pozwalających na identyfikację i klasyfikację danego obiektu (rzeczy, zjawiska, ) Rozpoznanie identyfikacja obiektu na podstawie wyróżnionego zespołu cech Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

45 Ogólny schemat PR Zbiór obiektów Detekcja Przetworzenie do wymaganej postaci (np. przetwarzanie obrazów, dźwięku, itp.) Pobranie danych (czujniki, sensory, itp.) Obróbka danych Wydobycie cech Identyfikacja wystąpienia wzorców w danych Rozpoznanie (klasyfikacja) Opisanie obiektów w terminach (języku) poszukiwanych wzorców Przetworzenie wyników do wymaganej postaci Interpretacja (post-processing) Działania Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

46 Problemy definiowania wzorców Identyfikacja cech możliwych do wydobycia Wybór cech dla konkretnego problemu Problem liczby cech Za mało nie da się rozwiązać problemu Za dużo niemożliwe będzie efektywne rozwiązanie problemu Zasada brzytwa Ockhama Źródła wzorców: Zewnętrzne (opracowany niezależnie) modele dziedzinowe uczenie maszynowe z nauczycielem Wewnętrzne (wykrywany w danych) eksploracja danych uczenie maszynowe bez nauczyciela Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

47 Modele rozpoznawania wzorców: Oparte na zgodności schematu (ang. matching templates) Najstarsze i najprostsze podejście Poszukuje podobieństwa pomiędzy obiektami (punkty, krzywe, kształty) z wykorzystaniem różnych metod transformacji (translacja, rotacja, zmiana wielkości) Podejście statystyczne Rozpoznawany obiekt i wzorzec jest reprezentowany jako punkt w n- wymiarowej przestrzeni (cech) Podejście strukturalno-syntaktyczne Wzorzec posiada wewnętrzną strukturę pozwalającą na hierarchiczną dekompozycję na podwzorce, każdy podwzorzec może być analizowany (rozpoznawany) odrębnie, ale kluczowym elementem są relacje pomiędzy podwzorcami Oparte na sztucznych sieciach neuronowych Pozwalają na wykrywanie złożonych nieliniowych relacji pomiędzy wzorcem a rozpoznawanym obiektem Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

48 Rozpoznawanie wzorców - przykład Automatyczne sortowanie ryb: Łosoś czy okoń? Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

49 Analiza problemu: [Detekcja]: Kamera (jako sensor) pozwala na uzyskanie z obrazu informacji o rybach: [potencjalny zestaw cech]: długość, jasność, szerokość, liczba i kształt płetw, położenie elementów budowy morfologicznej (pysk, oczy, ) [Obróbka danych]: Wyodrębnienie obrazu ryby z tła [Wydobycie cech]: dokonanie pomiaru wyodrębnionych cech Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

50 Wybór cech klasyfikujących: Analiza poszczególnych cech na podstawie zbioru testowego: Długość samodzielnie nie jest wystarczającym parametrem Jasność daje lepsze rezultaty ale też nie rozwiązuje problemu Połączenie obu: ryba = [długość, jasność] (reprezentacja) Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

51 Poszukiwanie klasyfikatora Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

52 Poszukiwanie klasyfikatora Uwzględnienie innych uwarunkowań: klient nie chce w puszce okonia jak kupuje łososia, ale na odwrót już nie koniecznie Można dodać kolejną (nieskorelowaną) cechę, ale czy nakłady na pomiar kolejnej cechy i uwzględnienie jej w działaniu systemu będą uzasadnione? Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

53 Przykład podsumowanie: System rozpoznawania wzorców jest tworzony celowy i nie tylko uwarunkowania naukowe są istotne Ocena systemu jest oparta na efektywności, nie zawsze pojawienie się błędu przekreśla jego przydatność Szacowanie błędu jest najczęściej stosowaną metodą oceny systemów rozpoznawania wzorców Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

54 Obszary zastosowania PR Biometryka (np. rozpoznawanie głosu, twarzy, odcisków palców, itd.) Rozpoznawanie mowy (NLP) i pisma (OCR) Diagnostyka medyczna (np. RTG, EKG, Bankowość (np. zdolność kredytowa, wykrywanie fraudów, itp.) Przemysł (np. wykrywanie defektów w złożonych strukturach, segregacja produktów spożywczych, itd.) Bezpieczeństwo (np. skanowanie przesyłek, rozpoznawanie zagrożeń analiza zachowań, itd.) Meteorologia (prognozowanie pogody) i wszędzie tam gdzie jesteśmy wstanie powiązać regularności w danych z identyfikowalnym dla człowieka obiektem (zjawiskiem) oraz wykorzystać potencjalną wiedzę do podejmowania działań Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

55 Machine & Deep Learning UCZENIE MASZYNOWE

56 Systemy uczące się: "System uczący się wykorzystuje zewnętrzne dane empiryczne w celu tworzenia i aktualizacji podstaw dla udoskonalonego działania na podobnych danych w przyszłości oraz wyrażania tych podstaw w zrozumiałej i symbolicznej postaci (Donald Michie ) Pojęcia pokrewne: rozpoznawanie wzorców, uczenie maszynowe (ang. Machine Learning), uczenie głębokie (ang. Deep Learning) System uczący się może zachowywać się w sposób niedeteministyczny i zmieniać swój sposób działania w zależności od wcześniej przetworzonych danych Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

57 Uczenie maszynowe - rodzaje: Uczenie z nauczycielem/nadzorcą (ang. supervised learning) Zestaw uczący danych składa się z par [wejście, wyjście], system uczy się właściwej reakcji na dane wejściowe Uczenie bez nauczyciela/nadzorcy (ang. unsupervised learning) Dane uczące nie zawierają poprawnej odpowiedzi systemu, system sam próbuje identyfikować wzorce Uczenie ze wzmocnieniem (ang. reinforcement learning) Wariant uczenia maszynowego, wykorzystujący wielokrotny trening z maksymalizacją funkcji nagrody Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

58 Uczenie z nauczycielem Klasyfikacja diagnostyka (medyczna, techniczna), identyfikacja (obrazów, zachowań), przewidywania Regresja: Czas życia, prognozy pogody, przewidywania rynkowe, Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

59 Uczenie bez nauczyciela Klasteryzacja: Szukanie regularności w danych (wzorców) np. segmentacja klientów, itp. Redukcja wymiarów: Identyfikacja cech, wykrywanie struktur, wizualizacja danych Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

60 Uczenie ze wzmocnieniem Sterowanie robotami, trenowanie umiejętności, decyzje w czasie rzeczywistym, game AI, itp. Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

61 Metody uczenia maszynowego: Regresja (liniowa, logistyczna, itd.) Oparte na przykładach (ang. Instance(case)- based): Drzewa decyzyjne Metody Bayes owskie Wykrywanie skupień (ang. Clustering) Oparte na regułach (ang. Rule-based) Sztuczne sieci neuronowe Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

62 ML vs. DL DL wymaga znacznie większej ilości danych i mocy obliczeniowej Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

63 Business Intelligence & Big Data DATA SCIENCE

64 Data Science / Data Scientist Nowa dyscyplina/zawód wywodzona od koncepcji Big Data (Gartner,2012) Stanowi ewolucyjne rozwinięcie Analizy/Analityka Danych przez położenie nacisku na pozyskiwanie danych z różnorodnych źródeł i umiejętności wyszukania/doboru danych i metod ich analizy do rozwiązywania nowych problemów W kategoriach zawodowych łączy wiedzę eksperta dziedzinowego ze skutecznym użyciem różnych metod analizy danych i umiejętnościami specjalisty IT w zakresie pozyskiwania, gromadzenie i przetwarzania danych Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

65 Data Science wg. Gartner a Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

66 Data Scientist wymagane umiejętności Ponadprzeciętna wiedza i umiejętności w zakresie technologii informatycznych, metod analizy danych i dziedziny wykorzystania Umiejętność samodzielnego formułowania i rozwiązywania problemów Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

67 Data Science punkty widzenia: Każda technologia może być wykorzystywana do różnych celów Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

68 Data Science 6 kroków Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

69 Business Intelligence & Big Data PODSUMOWANIE

70 Przyszłość Big Data Rozwój metod analizy danych Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

71 Rozwój technologii IT Przyszłość Big Data Doskonalenie technik i metod zbierania, przechowania i udostępniania danych Wzrost mocy obliczeniowej (High Performance Computing) Nowe technologie: komputery kwantowe, optyczne, biologiczne, Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

72 Podsumowanie Rosnące znaczenie koncepcji BD w różnych dziedzinach życia Wiedza jako towar Wyzwania dla przyszłości: Stały rozwój = ciągłe kształcenie Problem wykluczenia cyfrowego Zagrożenia: Prywatność w czasach BD Dariusz Dymek - Uniwersytet Ekonomiczny w Krakowie

73 DZIĘKUJĘ ZA UWAGĘ