dr inż. Olga Siedlecka-Lamch 14 listopada 2011 roku Instytut Informatyki Teoretycznej i Stosowanej Politechnika Częstochowska Eksploracja danych

Wielkość: px

Rozpocząć pokaz od strony:

Download "dr inż. Olga Siedlecka-Lamch 14 listopada 2011 roku Instytut Informatyki Teoretycznej i Stosowanej Politechnika Częstochowska Eksploracja danych"

Dawid Andrzejewski
7 lat temu
Przeglądów:

1 - Instytut Informatyki Teoretycznej i Stosowanej Politechnika Częstochowska 14 listopada 2011 roku

3 - The purpose of computing is insight, not numbers Richard Hamming

4 Motywacja - Mamy informację, a nie mamy... Posiadanie (z informacji) ma przynieść zysk... Posiadanie ma otworzyć nowe możliwości... Posiadanie ma uchronić przed błędami... Wiedza usprawni procesy produkcyjne, zarządzania, obsługi klientów, marketingu... Wiedza pozwoli zmniejszyć nadużycia...

5 Motywacja - Mamy informację, a nie mamy... Posiadanie (z informacji) ma przynieść zysk... Posiadanie ma otworzyć nowe możliwości... Posiadanie ma uchronić przed błędami... Wiedza usprawni procesy produkcyjne, zarządzania, obsługi klientów, marketingu... Wiedza pozwoli zmniejszyć nadużycia...

6 Motywacja - Mamy informację, a nie mamy... Posiadanie (z informacji) ma przynieść zysk... Posiadanie ma otworzyć nowe możliwości... Posiadanie ma uchronić przed błędami... Wiedza usprawni procesy produkcyjne, zarządzania, obsługi klientów, marketingu... Wiedza pozwoli zmniejszyć nadużycia...

7 Motywacja - Mamy informację, a nie mamy... Posiadanie (z informacji) ma przynieść zysk... Posiadanie ma otworzyć nowe możliwości... Posiadanie ma uchronić przed błędami... Wiedza usprawni procesy produkcyjne, zarządzania, obsługi klientów, marketingu... Wiedza pozwoli zmniejszyć nadużycia...

8 Motywacja - Mamy informację, a nie mamy... Posiadanie (z informacji) ma przynieść zysk... Posiadanie ma otworzyć nowe możliwości... Posiadanie ma uchronić przed błędami... Wiedza usprawni procesy produkcyjne, zarządzania, obsługi klientów, marketingu... Wiedza pozwoli zmniejszyć nadużycia...

9 Motywacja - Mamy informację, a nie mamy... Posiadanie (z informacji) ma przynieść zysk... Posiadanie ma otworzyć nowe możliwości... Posiadanie ma uchronić przed błędami... Wiedza usprawni procesy produkcyjne, zarządzania, obsługi klientów, marketingu... Wiedza pozwoli zmniejszyć nadużycia...

10 Sprzyjające warunki - gwałtowny rozrost zbiorów hurtownie zwiększony dostęp do - Internet zwiększenie udziału rynku w globalnej ekonomii gotowe komercyjne oprogramowanie do eksploracji wzrost mocy obliczeniowej i pojemności pamięci

11 Sprzyjające warunki - gwałtowny rozrost zbiorów hurtownie zwiększony dostęp do - Internet zwiększenie udziału rynku w globalnej ekonomii gotowe komercyjne oprogramowanie do eksploracji wzrost mocy obliczeniowej i pojemności pamięci

12 Sprzyjające warunki - gwałtowny rozrost zbiorów hurtownie zwiększony dostęp do - Internet zwiększenie udziału rynku w globalnej ekonomii gotowe komercyjne oprogramowanie do eksploracji wzrost mocy obliczeniowej i pojemności pamięci

13 Sprzyjające warunki - gwałtowny rozrost zbiorów hurtownie zwiększony dostęp do - Internet zwiększenie udziału rynku w globalnej ekonomii gotowe komercyjne oprogramowanie do eksploracji wzrost mocy obliczeniowej i pojemności pamięci

14 Sprzyjające warunki - gwałtowny rozrost zbiorów hurtownie zwiększony dostęp do - Internet zwiększenie udziału rynku w globalnej ekonomii gotowe komercyjne oprogramowanie do eksploracji wzrost mocy obliczeniowej i pojemności pamięci

15 Sprzyjające warunki - gwałtowny rozrost zbiorów hurtownie zwiększony dostęp do - Internet zwiększenie udziału rynku w globalnej ekonomii gotowe komercyjne oprogramowanie do eksploracji wzrost mocy obliczeniowej i pojemności pamięci

16 Definicja - - proces znaczącej, pożytecznej, dotychczas nieznanej i możliwie pełnej zawartej w dużych bazach, ujawniającej ukryte własności badanego przedmiotu. - jest międzydyscyplinarną dziedziną, łączącą techniki uczenia maszyn, rozpoznawania wzorców, statystyki, baz i wizualizacji w celu uzyskiwania informacji z dużych baz.

17 Na pograniczu dziedzin -

18 Czym eksploracja nie jest -... odizolowanym, gotowym do użycia przez dział analiz zbiorem narzędzi,... w pełni zautomatyzowanym procesem niewymagającym udziału człowieka

19 Czym eksploracja nie jest -... odizolowanym, gotowym do użycia przez dział analiz zbiorem narzędzi,... w pełni zautomatyzowanym procesem niewymagającym udziału człowieka

20 Dalsze mity - Automatyczne narzędzia - na poczekaniu i mechanicznie rozwiązujące zadane problemy. szybko się zwraca. Oprogramowanie do eksploracji jest intuicyjne. wyczyści niechlujną bazę.

21 Dalsze mity - Automatyczne narzędzia - na poczekaniu i mechanicznie rozwiązujące zadane problemy. szybko się zwraca. Oprogramowanie do eksploracji jest intuicyjne. wyczyści niechlujną bazę.

22 Dalsze mity - Automatyczne narzędzia - na poczekaniu i mechanicznie rozwiązujące zadane problemy. szybko się zwraca. Oprogramowanie do eksploracji jest intuicyjne. wyczyści niechlujną bazę.

23 Dalsze mity - Automatyczne narzędzia - na poczekaniu i mechanicznie rozwiązujące zadane problemy. szybko się zwraca. Oprogramowanie do eksploracji jest intuicyjne. wyczyści niechlujną bazę.

24 jako proces - Discovering Knowledge in Data presents data mining as a well-structured standard process, intimately connected with managers, decision makers, and those involved in deploying the results. Daniel T. Larose

25 W kontekście -

26 CRISP-DM - standaryzacja -

27 Zrozumienie uwarunkowań biznesowych/badawczych - Jasne sformułowanie celów i wymagań projektu w terminologii komórki biznesowej lub badawczej. Wykorzystanie tych celów i ograniczeń do opracowania definicji problemu eksploracji. Stworzenie wstępnego planu działań, zmierzającego do osiągnięcia tych celów.

28 Zrozumienie - Zebranie. Wstępnej analiza (zaznajomienie się z danymi i odkrycie pierwszych zależności). Ocena jakości. Opcjonalnie, wybranie podzbiorów, które mogą zawierać wzorce.

29 Przygotowanie - Przygotowanie z surowych zbioru, wykorzystywanego w następnych fazach. Wybór przypadków i zmiennych do analizy. Opcjonalnie, wykonanie przekształceń na zmiennych. Wyczyszczenie surowych dla narzędzi modelujących.

30 Modelowanie - Wybór i zastosowanie odpowiednich technik modelujących. Skalowanie parametrów modelu w celu optymalizacji wyników. Opcjonalnie, powrót do etapu przygotowania, dla sprostania specyficznym wymogom danej techniki eksploracji.

31 Ewaluacja - Ocena modelu lub kilku modeli, pod względem jakości i efektywności. Ustalenie, czy model spełnia założenia ustalone w pierwszym etapie. Ocena, czy są cele biznesowe lub badawcze, które nie zostały w należyty sposób uwzględnione. Podjęcie decyzji, co do wykorzystania wyników eksploracji.

32 Wdrożenie - Wykorzystanie stworzonych modeli: Stworzenie modelu zasadniczo nie stanowi zakończenia projektu. Przykład prostego wdrożenia: sporządzenie raportu. Przykła złożonego wdrożenia: implementacja równoległego procesu eksploracji w innym dziale. W biznesie klienci często realizują wdrożenie na podstawie modelu.

33 Zadania stawiane przed eksploracją - opis analiza szacowanie (estymacja) przewidywanie (predykcja) klasyfikacja grupowanie odkrywanie wzorców i reguł wyszukiwanie według zawartości

34 eksploracji - klasyfikacja regresja odkrywanie asocjacji klastrowanie grupowanie odkrywanie wzorców sekwencji odkrywanie charakterystyk dyskryminacja wykrywanie zmian i odchyleń

35 Nauka poprzez praktykę - Learn data mining by doing data mining. Daniel T. Larose

36 - W wykładzie wykorzystano materiały: D. T. Larose, Odkrywanie Wiedzy z Danych, Wydawnictwo Naukowe PWN, Warszawa 2006 D. Hand, H. Mannila, P. Smyth,, WNT, Warszawa ).pdf

Podobne dokumenty

Zalew danych skąd się biorą dane? są generowane przez banki, ubezpieczalnie, sieci handlowe, dane eksperymentalne, Web, tekst, e_handel

Zalew danych skąd się biorą dane? są generowane przez banki, ubezpieczalnie, sieci handlowe, dane eksperymentalne, Web, tekst, e_handel według przewidywań internetowego magazynu ZDNET News z 8 lutego 2001 roku eksploracja danych (ang. data mining ) będzie jednym z najbardziej rewolucyjnych osiągnięć następnej dekady. Rzeczywiście MIT Technology