Data Mining Kopalnie Wiedzy Janusz z Będzina Instytut Informatyki i Nauki o Materiałach Sosnowiec, 30 listopada 2006
Kopalnie złota XIX Wiek. Odkrycie pokładów złota spowodowało napływ poszukiwaczy. Przeczesywali teren w poszukiwaniach złotego kruszcu, przecedzali ziemię sitami, a czasem... znajdowali piękny samorodek (nugget). Podobnie jest z odkrywaniem wiedzy. Te same nazwy...
Kopalnie złota XIX Wiek. Odkrycie pokładów złota spowodowało napływ poszukiwaczy. Przeczesywali teren w poszukiwaniach złotego kruszcu, przecedzali ziemię sitami, a czasem... znajdowali piękny samorodek (nugget). Podobnie jest z odkrywaniem wiedzy. Te same nazwy...
Kopalnie złota XIX Wiek. Odkrycie pokładów złota spowodowało napływ poszukiwaczy. Przeczesywali teren w poszukiwaniach złotego kruszcu, przecedzali ziemię sitami, a czasem... znajdowali piękny samorodek (nugget). Podobnie jest z odkrywaniem wiedzy. Te same nazwy...
Pogoda do gry w golfa (za: P. Cichosz Systemy uczące się) Dane przykładowe: aura temperatura wilgotność wiatr wynik 1 słoneczna ciepła duża słaby 0 2 słoneczna ciepła duża silny 0 3 pochmurna ciepła duża słaby 1 4 deszczowa umiarkowana duża słaby 1 5 deszczowa zimna normalna słaby 1 6 deszczowa zimna normalna silny 0 7 pochmurna zimna normalna silny 1 8 słoneczna umiarkowana duża słaby 0 9 słoneczna zimna normalna słaby 1 10 deszczowa umiarkowana normalna słaby 1 11 słoneczna umiarkowana normalna silny 1 12 pochmurna umiarkowana duża silny 1 13 pochmurna ciepła normalna słaby 1 14 deszczowa umiarkowana duża silny 0
Indukcyjne drzewa decyzyjne - miara Znajdziemy drzewo decyzyjne biorąc za miarę entropię E. Potrzebne dane: liczność pozytywnych przykładów wartości deskryptora a, liczność wszystkich przykładów danej wartości deskryptora b. E = a b lg a b Gdy a lub b jest zerem, przyjmujemy E = 0. Entropia cechy to kombinacja liniowa entropii poszczególnych deskryptorów tej cechy. Przykład: informacja (5 0, 9 1 ): I = 9 14 lg 9 14 5 14 lg 5 14.
Indukcyjne drzewa decyzyjne - dane Aura E aura = 5 14 E sloneczna + 4 14 E pochmurna + 5 14 E deszczowa słoneczna Esloneczna = 2 5 lg 2 5 3 5 lg 3 5 pochmurna Epochmurna = 4 4 lg 4 4 0 0 lg 0 0 deszczowa Edeszczowa = 3 5 lg 3 5 2 5 lg 2 5 Razem przyrost informacji: I E aura = =0.283 0.209 = 0.074 Po zebraniu wszystkich przyrostów wybieramy największy do utworzenia gałęzi drzewa. Dalej rekurencyjnie, ograniczając się do danych tego węzła...
Algorytm (przystosowany) Quine a Mc Cluske a Zasady ogólne: Przykłady pozytywne zwiększają wagi schematów, w których występują; Przykłady negatywne rozbijają schematy na podzbiory liczące mniej elementów z taką samą wagą, niszczą te, które nie spełniają warunków. Wynikiem jest tablica schematów deskryptorów. Zaczynamy od schematów uniwersalnych poszczególnych atrybutów [*,...,*,atrybut,*,...,*] z wagą 1.
Porównanie powyższych algorytmów Drzewa indukcyjne Quine McCluske aura słoneczna, wilgotność normalna aura pochmurna aura deszczowa, wiatr słaby aura pochmurna deszczowa, wiatr słaby temperatura zimna, wiatr słaby wilgotność normalna, wiatr słaby
Definicja i zastosowanie Data Mining Czym jest Data Mining - kopalnia wiedzy Data Mining jest nietrywialną techniką umożliwiającą zobaczenie takich zależności w bazie danych, jakie nie były wprowadzone. Formalnie: ósemka uporządkowana (P, D, K, B, T, M, I, U), objaśnienia na następnym slajdzie. Działy korzystające z Data Mining: 1. biznes; 2. nauka; 3. internet.
Podstawy Data Mining P - specyfikacja problemu, D - zbiór danych relewantnych, K - rodzaj wydobywanej wiedzy, B - wiedza wrodzona bazy danych, czyste nowe systemy bazują tylko na niej, T - specyficzne techniki i algorytmy dla problemu, M - model lub wiedza o wzorcach, oznacza wizualizację lub prezentację wydobytej wiedzy, I - interesujące miary, których użycie powoduje odkrycie wiedzy, U - użytkownik.
Podstawy Data Mining - diagram
Główne kategorie Data Mining Obiekty: odkrycia lub opisy, przewidywania; Modelowanie przyszłości; Odkrywanie wiedzy w bazach danych (Knowledge Discowery in Databases KDD); Wykrywanie niecodziennych przypadków. Data Mining nie jest: monitorowaniem systemów, odkrywaniem już odkrytego, np. tablicy Mendelejewa, szukaniem np. optymalnego przejazdu przez dany kraj z rozkładu jazdy.
Przebieg Data Mining Użytkownicy korzystają z Data Mining na następujące sposoby: epizodycznie, analitycy szykujący kampanię reklamową; strategicznie, wybór miar, by uzyskać np. lepsze rezultaty handlowe; ciągle, co się zmieniło w danym okresie czasu. Uzyskane dane są poddane destylacji wzorców, stając się: przewidywaniem, odkryciem lub czymś jeszcze innym.
Zadania odkrywania wiedzy Reguły i drzewa decyzyjne, Charakteryzacja danych, próba ich opisu, Klasyfikacja danych, Regresja, będąca tutaj uzyskaniem wartości ciągłej zamiast dyskretnej, Związki (association), nazywane także Market Basket Analysis (MBA) lub Affinity Analysis, Klasteryzacja, czyli grupowanie danych w klastery - zbiory. Można też wyodrębnić następujące zadania: model zależności, detekcja zmian, analiza trendów, detekcja zboczeń (deviation), analiza linków, analiza wzorców, dane tymczasowe, wzorzec ścieżki (używane w Web Mining), wzorce sekwencyjne.
Związek Data Mining z danymi i bazami wiedzy Budując piramidę systemów, decyzja opiera się na następujących podstawach: Decyzja Data Mining oraz OnLine Analytical Processing (OLAP), Składnica danych (Data warehousing), Baza danych (DataBase Managementr System DBMS), Urządzenia, systemy operacyjne, sieci komputerowe.
Proces Data Mining Definicja problemu, Zebranie danych, wybór odpowiednich danych, Przygotowanie danych, ich oczyszczenie (cleansing) dla lepszej obróbki, Przetwarzanie wstępne, Wybór metody, tzn. modelu oraz algorytmu, To samo, ale dla parametrów, Testowanie, przetwarzanie danych wybranymi algorytmami, Przedstawienie wyników.
Zastosowanie Data Mining Medycyna - diagnostyka i prognozowanie, Teoria kontroli - model identyfikacyjny, Inżynieria - diagnostyka mechanizmów i procesów, Administracja publiczna, Handel i finanse, Teksty w internecie i różnorodna wiedza, Naukowe bazy danych, Detekcja oszustów.
Web Minig Zastosowanie Data Mining w internecie można nazwać Web Mining. Oprócz standardowych technik: poszukiwanie informacji w danych, badanie struktur sieci, regularności w danych generowanych np. przez agentów; szczególną rolę odgrywają: odpowiedzi na pytania, handel w sieci, personalizacja, wyszukiwanie stron relewantnych z wyuczonymi potrzebami użytkownika;
Zasada Web Mining Jeśli chcesz wędką złowić rybę, włóż na haczyk to co lubi ryba, nie zaś to co TY lubisz! Z siecią jest podobnie! Nie jest ważne czy twój WEB podoba się Tobie i ekspertom z branży! Ważne jest to, czy chętnie odwiedzają go internauci! www.webmining.pl
Techniki odkryć stosowane w Web Mining Analiza ścieżki poszukiwań, Odkrycie związków między regułami, Wzorce sekwencyjne, Klasteryzacja i klasyfikacja.
Podstawy działania Web Mining Techniki analizy danych, Praca na dużych zbiorach, Przyjazne środowisko, Odpowiednie narzędzia.
Techniki analizy Web Mining Korelacja - towary chętnie kupowane razem, Test T - prawdopodobieństwo popełnienia błędu na próbce, gdy widać różnicę wielkości sprzedaży dwu grup, ANOVA - analiza wariancji na próbce, czy średnia sprzedaż jest trendem czy tylko zbiegiem okoliczności, Regresja liniowa - przewidywanie cechy w zależności liniowej od innych, Regresja logistyczna - prawdopodobieństwo wystąpienia zdarzenia, Analiza dyskryminacyjna - atrybuty istotne w klasyfikacji, Techniki prognozowania - przypuszczalna ilość odwiedzin w czasie (bez udziału wróżki), Analiza skupień - grupowanie podobnych obserwacji lub cech,
Techniki analizy Web Mining cd. Analiza czynnikowa - redukcja opisu przez eliminowanie czynników zależnych od innych lub niemierzalnych, Drzewa decyzyjne - bardzo częste rozpisanie modeli na warunki, Wizualizacja danych - dobór modelu jest sztuką, Sieci neuronowe - narzędzia modelowania i segmentacji, Reguły asocjacyjne - eksploracja i modelowanie, Indukcja reguł - poszukiwanie najczęstszych zależności, Analiza sekwencji - poszukiwanie sekwencji przejścia do następnej strony.
Źródła www.webmining.com - strona twórców SPSS Clementine Zhengxin Chen: Data Mining and Uncertain Reasoning. An integrated Approach.