Transkrypt

1

2

3

4

5

6

7 Plan prezentacji 0 Wprowadzenie 0 Zastosowania 0 Przykładowe metody 0 Zagadnienia poboczne 0 Przyszłość 0 Podsumowanie 7

8 Jak powstaje wiedza? Dane Informacje Wiedza Zrozumienie 8

9 Przykład Teleskop Hubble a Dane Zdjęcia Widmo Informacje Jasność obiektów Przesunięcie ku czerwieni Wiedza Korelacja pomiędzy jasnością a przesunięciem ku czerwieni Zrozumienie Wszechświat się rozszerza! * Źródło przykładu: 9

10 Etapy procesu odkrywania Dane wiedzy Filtrowanie Wybrany podzbiór Wstępne przetwarzanie Wyczyszczone dane Transformacja Dane do analizy Eksploracja danych Wzorce/ modele Interpretacja / ocena Wiedza 10

11 Czym jest data mining? 0 Efektywne znajdowanie nieznanych dotychczas zależności i związków pomiędzy danymi. 0 Czerpie z takich dziedzin jak: 0 systemy baz danych 0 hurtownie danych 0 statystyka 0 odkrywanie wzorców 0 uczenie maszynowe 0 wizualizacja danych 0 optymalizacja 11

12 Zastosowania 0 Planowanie promocji, rozmieszczanie produktów 0 Wspomaganie diagnostyki medycznej 0 Kierowanie reklam 0 Odkrywanie wzorców w DNA 0 Analiza sieci terrorystycznych 0 Ocena zdolności kredytowej 12

13 Typy danych 0 Dane relacyjne 0 Tekst 0 Dane semistrukturalne (np. XML) 0 Zdjęcia 0 Pliki video 0 Modele 3D 0 Współrzędne geograficzne 0 Grafy 0 Przebiegi czasowe 0 Strumienie danych 13

14 Źródła danych 0 Firmy 0 WWW 0 Sieci społecznościowe 0 Aukcje internetowe 0 Fora internetowe 0 Czujniki urządzeń, pomieszczeń, itp. 0 Komunikacja miejska 14

15 Gdzie można przechowywać dane? 15

16 Ogólny podział metod eksploracja danych 0 Nienadzorowane Dane Algorytm Grupy, reguły, wzorce 0 Nadzorowane Dane treningowe Algorytm Model Dane Model Klasy 16

17 Przykładowe metody eksploracji danych 0 Odkrywanie reguł asocjacyjnych 0 Grupowanie 0 Klasyfikacja 17

18 Odkrywanie reguł asocjacyjnych 0 Nienadzorowane 0 Odkrywanie zależności pomiędzy atrybutami 0 Market Basket Analysis 0 hello, world 0 Jakie inne produkty kupują osoby, które mają w koszyku piwo? 18

19 Odkrywanie reguł asocjacyjnych 0 Postać reguł X Y 0 Ocena jakości reguł 0 Wsparcie: 0 Ufność: sup(x) = transakcje zawierające X wszystkie transakcje sup (X Y) conf(r) = sup (X) 19

20 Grupowanie Łączenie obiektów w grupy w taki sposób, aby obiekty wewnątrz grup miały jak największe podobieństwo, a obiekty z różnych grup jak najbardziej się od siebie różniły. 20

21 Grupowanie przykład 21

22 Grupowanie przykład 22

23 Grupowanie przykład P1 P2 P3 P4 P P P P P1, P2 P1, P2 P3 P4-1 0 P3 1-2 P P1, P2 P3, P4 P1, P2 P3, P P1,P2 P3,P4 D(a) 2 0 D(b) 2 0 D(c) 1 0 D(d) 1 2 D(e) 0 2

24 Klasyfikacja 0 Nadzorowane 0 Identyfikacja klasy, do której należy obiekt 0 Udzielić kredytu, czy nie? 24

25 Klasyfikacja przykład 0 Jakiej muzyki powinienem teraz posłuchać: rocka czy klasycznej? Godzina Samochód Słuchawki Utwór 8:00 Tak Nie Bonamassa Happier Times 7:30 Nie Tak Timmons Electric Gypsy 14:00 Nie Tak Dvorak 9th Symphony 18:00 Tak Nie Beck Seasons 23:00 Nie Tak Mahler 2nd Symphony 24:00 Nie Tak Beethoven 5th Symphony 25

26 Klasyfikacja przykład 0 Jakiej muzyki powinienem teraz posłuchać: rocka czy klasycznej? Godzina Samochód Słuchawki Utwór Gatunek 8:00 Tak Nie Bonamassa Happier Times Rock 7:30 Nie Tak Timmons Electric Gypsy Rock 14:00 Nie Tak Dvorak 9th Symphony Klasyczna 18:00 Tak Nie Beck Seasons Rock 23:00 Nie Tak Mahler 2nd Symphony Klasyczna 24:00 Nie Tak Beethoven 5th Symphony Klasyczna 26

27 Klasyfikacja przykład 0 Jakiej muzyki powinienem teraz posłuchać: rocka czy klasycznej? Godzina Samochód Słuchawki Gatunek 8:00 Tak Nie Rock 7:30 Nie Tak Rock 14:00 Nie Tak Klasyczna 18:00 Tak Nie Rock 23:00 Nie Tak Klasyczna 24:00 Nie Tak Klasyczna 27

28 Klasyfikacja przykład 0 Jakiej muzyki powinienem teraz posłuchać: rocka czy klasycznej? Godzina Godzina Samochód Gatunek 8:00 Tak Rock 7:30 Nie Rock 14:00 Nie Klasyczna 18:00 Tak Rock 23:00 Nie Klasyczna 24:00 Nie Klasyczna Przed 8 Po 8 Rock 28

29 Klasyfikacja przykład 0 Jakiej muzyki powinienem teraz posłuchać: rocka czy klasycznej? Godzina Godzina Samochód Gatunek 8:00 Tak Rock 7:30 Nie Rock 18:00 Tak Rock 14:00 Nie Klasyczna 23:00 Nie Klasyczna 24:00 Nie Klasyczna Przed 8 Po 8 Rock Samochód Tak Nie Rock Klasyczna 29

30 Klasyfikacja przykład 0 Jakiej muzyki powinienem teraz posłuchać: rocka czy klasycznej? Godzina Przed 8 Po 8 Rock Samochód Tak Nie Rock Klasyczna 30

31 Podejście do prawdziwych problemów 31

32 Podejście do prawdziwych problemów 32

33 Podejście do prawdziwych problemów 33

34 Podejście do prawdziwych problemów 34

35 Wiedza dziedzinowa 0 Oczywiste zależności 0 Dobór parametrów 0 Czego właściwie szukać 35

36 Inne zagadnienia 0 Preprocessing 0 Reprezentacja 0 Wartości odstające 0 Ocena jakości 0 Wizualizacja: auty_of_data_visualization.html 36

37 Przyszłość 37

38 Big Data 38

39 Big Data 39

40 Big Data milionów $ zainwestowane przez rząd USA 0 3xV 0 Volume 0 Velocity 0 Variety 40

41 Big Data 0 YouTube 0 Godzina filmów/sekundę filmów udostępnionych na Twittera/minutę 0 Facebook milionów zdjęć/dzień 0 2,7 miliarda lajków/dzień 41

42 Big Data : 295 EB : 800 EB 0 2,5 EB/dzień 0 90% - ostatnie 2 lata 0 10% - dane ustrukturalizowane : 35 ZB 42

43 Ile to jest 35 ZB? 43

44 44

45 45

46 46

47 47

48 48

49 Podsumowanie 0 Wieloetapowy proces pozwalający pozyskać wiedzę z danych 0 Bardzo wiele zastosowań 0 Bardzo wiele metod (reguły asocjacyjne, grupowanie, klasyfikacja) 0 Niezbędna jest wiedza dziedzinowa 0 Wyzwanie na teraz oraz na przyszłość Big Data 49

50 Dziękuję za uwagę