Hurtownie danych - metody eksploracji

Transkrypt

1 Hurtownie danych - metody eksploracji Opieka merytoryczna prof. dr hab. inŝ. Jacek Mercik Grupa badawcza Mariola Graf Tomasz Mazurek Andrzej Mycka ElŜbieta Najdzionek Wrocław, dnia 25 kwietnia 2007 roku

2 Spis treści 1. Przedstawienie celu pracy badawczej PrzybliŜenie pojęcia hurtownia danych Analiza i eksploracja danych Podział metod eksploracji danych Przegląd klas metod eksploracji Chronologiczna klasyfikacja klas eksploracji Literatura

3 1. Przedstawienie celu pracy badawczej Celem prowadzonej przez nas pracy badawczej, jest przedstawienie poszczególnych grup metod eksploracji hurtowni danych, jak i końcowe stworzenie harmonogramu powstawania, a raczej pojawiania się w publikacjach, metod eksploracji. 2. PrzybliŜenie pojęcia hurtownia danych W celu dalszego zajęcia się metodami eksploracji hurtowni danych trzeba zgłębić samo zagadnienie hurtowni. Analiza literatury wskazuje na wiele definicji, jednakŝe na potrzeby naszych badań przyjęliśmy poniŝszą z nich: Hurtownia danych jest architekturą bazy danych umoŝliwiającą integrację ogromnych ilości danych pochodzących z heterogenicznych źródeł i operującą na wielowymiarowym modelu danych. Poza tym hurtownia danych posiada cztery właściwości, odróŝniające ją od zwykłego systemu transakcyjnego: 1. Orientacja tematyczna hurtownia jest oparta na wiedzy o konkretnych procesach biznesowych jak np. sprzedaŝ. 2. Integracja hurtownia danych jest zintegrowana w sposób pozwalający na powiązanie róŝnych dziedzin prowadzonej działalności. UmoŜliwia na przykład porównanie sprzedaŝy ze stanami magazynowymi. Zadaniem hurtowni danych jest udostępnianie wspólnego systemu analitycznego dla całej jednostki organizacyjnej. 3. Trwałość danych hurtownia danych jest bazą statyczną jej zawartość nie zmienia się tak jak w przypadku transakcyjnej bazy danych. 4. Systematyczność i okresowość wprowadzania danych podstawową siłą hurtowni danych jest to, Ŝe dane są w niej umieszczane systematycznie, w określonych momentach. Dzięki temu nie jest problem generowanie zestawień dziennych, tygodniowych, miesięcznych itp.. 3

4 3. Analiza i eksploracja danych Podczas studium literatury natknęliśmy się na bardzo waŝny problem analizy danych. Nawiązując do tematyki hurtowni danych, w dziedzinie analizy danych naleŝy zwrócić uwagę na dwie technologie, które obecnie zdobywają uznanie. Są nimi OLAP (ang. on-line analytical processing), eksploracja danych (ang. data mining). Pierwsza technologia pozwala w prosty, a przede wszystkim w bardzo elastyczny sposób analizować wielowymiarowe dane. Druga umoŝliwia odkrywanie zaleŝności "ukrytych" w danych. Jak widać eksploracja danych to jedna z metod analizy danych. Na potrzeby naszej pracy badawczej przyjęliśmy dwie definicje metod eksploracji, które według nas, najtrafniej oddają sens eksploracji danych: Nietrywialnie wydobywanie ukrytej, poprzednio nieznanej i potencjalnie uŝytecznej informacji z danych 1, Nauka zajmująca się wydobywaniem informacji z duŝych zbiorów danych lub baz danych 2 Pogłębianie wiedzy na temat metod eksploracji, nie tylko pokazało nam co to jest eksploracja danych, ake takŝe pokazało czym owa eksploracja nie jest. Dlatego dla uzupełnienia powyŝszych definicji warto pokazać czym owa eksploracja nie jest. A to dlatego, Ŝe nieporozumienia i nadmierne, niekiedy nawet fałszywe oczekiwania w kontekście eksploracji danych zdarzają się stosunkowo często. A zatem eksploracja danych nie jest: odkrywaniem wiedzy; jest ona tylko częścią procesu odkrywania wiedzy, 1 W.Frawley, G. Piatetsky-Shapiro, C. Matheus. Knowledge Discovery in Databases: An Overview. AI Magazine, Jesień D. Hand, H. Mannila, P. Smyt. Principles of Data Mining. MIT Press, Cambridge, MA,

5 nieodzownie związana z hurtowniami danych; eksploracja moŝe być prowadzona na dowolnej bazie, choć naturalnie hurtownie są szczególnie dobrymi miejscami do jej uprawiania, typowym narzędziem analitycznym i środkiem do tworzenia sprawozdań. Zasadnicza róŝnica pomiędzy eksploracją a typowymi narzędziami analitycznymi polega na podejściu do eksploracji danych i badaniu występujących pomiędzy nimi relacji. OtóŜ narzędzia analityczne, w tym OLAP (ang. On-Line Analytical Processin) stosuje się głównie do weryfikowania hipotez wysuniętych przez analityka; nie mogą one natomiast same tworzyć hipotez, odkrywać zasad i reguł a to jest właśnie moŝliwe za pomocą technik eksploracji danych, uczeniem się maszynowym (ang. machine learning/discovery), które dotyczy odkrywania praw empirycznych na podstawie obserwacji i eksperymentów, całkowicie zautomatyzowanym procesem; eksploracja danych jest w ogromnym stopniu uzaleŝniona od prowadzącego ją człowieka, który określa warunki początkowe, dobiera metody eksploracji i ocenia otrzymane rezultaty i wreszcie to on decyduje czy uzyskane zaleŝności są interesujące, czyli czy mają jakąkolwiek wartość praktyczną lub poznawczą dla organizacji, na której zlecenie eksploracja jest prowadzona, łatwym, tanim i szybkim do wdroŝenia w organizacji procesem. Włączenie eksploracji danych do rutynowych operacji organizacji wymaga starannych prac przygotowawczych, eksperymentowania i współpracy ekspertów w zakresie eksploracji danych i specjalistów w dziedzinie, której dane dotyczą. Typowy projekt trwa wiele miesięcy, a nawet lat, jest miejscem gdzie uczą się wszystkie zaangaŝowane strony; oprogramowanie narzędziowe jest raczej kosztowne (od kilku tysięcy do kilkuset tysięcy dolarów), a eksploatacja i pielęgnacja systemu wymagają znakomicie wyszkolonego i godnego zaufania personelu, przysłowiowym, wielozadaniowym scyzorykiem armii szwajcarskiej dobrym na wszelkie okazje (ta opinia bierze się albo z nadmiernego entuzjazmu w odniesieniu do potencjału tkwiącego w technikach eksploracji danych albo 5

6 jest wynikiem nieuczciwego prezentowania ich moŝliwości przez sprzedawców oprogramowania i konsultantów). 4. Podział metod eksploracji danych Istnieje wiele sposobów podziału metod eksploracji danych. Po pierwsze techniki eksploracji danych moŝna ogólnie podzielić na dwie kategorie: 1. Techniki predykcyjne starają się, na podstawie odkrytych wzorców, dokonać uogólnienia i przewidywania (np. wartości nieznanego atrybutu, zachowania i cech nowego obiektu, itp.). Przykłady zastosowania technik predykcyjnych obejmują, między innymi, ocenę ryzyka ubezpieczeniowego związanego z klientem lub oszacowanie prawdopodobieństwa przejścia klienta do konkurencyjnego usługodawcy. 2. Techniki deskrypcyjne mają na celu wykorzystanie odkrytej wiedzy do opisu danych i uchwycenia ogólnych cech opisywanych obiektów. Przykłady technik deskrypcyjnych to odkrywanie grup podobnych klientów, znajdowanie zbiorów produktów często kupowanych razem, lub identyfikacja osobliwości występujących w danych. Kolejny podział technik eksploracji danych jest związany z charakterystyką danych wejściowych. I tak w tym przypadku wyróŝniamy: 1. Technik uczenia nadzorowanego (ang. supervised learning), 2. Techniki uczenia bez nadzoru (ang. unsupervised learning). W przypadku technik uczenia nadzorowanego dane wejściowe zawierają tzw. zbiór uczący, w którym kaŝdy obiekt posiada etykietę przypisującą obiekt do pewnej klasy. Na podstawie zbioru uczącego dana technika potrafi nauczyć się odróŝniać przykłady naleŝące do róŝnych klas, a zdobyta w ten sposób wiedza moŝe być wykorzystana do formułowania uogólnień dotyczących przyszłych obiektów. Oczywiście, podczas tworzenia zbioru uczącego musi być znane prawdziwe przypisanie kaŝdego obiektu do klasy. Zbiory uczące są najczęściej budowane na podstawie danych historycznych, w których zapisywane jest rozpoznane przypisanie obiektu do klasy. 6

7 Najczęściej spotykanymi technikami uczenia nadzorowanego są: a) techniki klasyfikacji: Drzewa decyzyjne 3, Algorytmy bazujące na najbliŝszych sąsiadach 4, sieci neuronowe 5, statystyka bayesowska 6, b) techniki regresji. Drugą wyróŝnioną klasą technik eksploracji danych są techniki uczenia bez nadzoru. W przypadku technik uczenia bez nadzoru algorytm odkrywania wiedzy nie dysponuje zbiorem uczącym. Algorytm eksploracji danych stara się sformułować model najlepiej pasujący do obserwowanych danych. Przykłady technik uczenia bez nadzoru obejmują techniki: analizy skupień (ang. clustering) 7, samoorganizujące się mapy 8, oraz algorytmy maksymalizacji wartości oczekiwanej (ang. expectation-maximization) Przegląd klas metod eksploracji Studiowanie literatury pokazało nam, Ŝe oprócz technik eksploracji, wyróŝnia się wiele metod eksploracji, które są przyporządkowane do róŝnych klas. WyróŜniliśmy spośród nich 6 podstawowych takich jak: 3 Quinlan J.R.: Induction of decision trees. Machine Learning 1(1),pp ,1986 ; Quinlan J.R.: C4.5: Programs for machine learning. Morgan Kaufman, Aha D.: Tolerating noisy, irrelevant, and novel attributes in instance-based learning algorithms. International Journal of Man-Machine Studies 36(2), pp , McCord Nelson M., Illingworth W.T.: Practical guide to neural nets, Addison-Wesley, Bol04 Bolstad W.M.: Introduction to Bayesian statistics. Wiley-Interscience, Everitt B.S., Landau S., Leese M.: Cluster analysis, Arnold Publishers, Kohonen T.: Self-organizing maps, Springer Verlag, Dempster A., Laird N., Rubin, D.: Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society, Series B, 39(1):pp.1-38,

8 1. Odkrywanie asocjacji 2. Klastrowanie 3. Odkrywanie wzorców sekwencji 4. Odkrywanie klasyfikacji 5. Odkrywanie podobieństw w przebiegach czasowych 6. Wykrywanie zmian i odchyleń Odkrywanie asocjacji Najszersza klasa metod obejmująca, najogólniej, odkrywanie róŝnego rodzaju nieznanych zaleŝności w bazie danych. Metody te obejmują głównie odkrywanie asocjacji pomiędzy obiektami. Generalnie, odkrywane zaleŝności posiadają pewne miary statystyczne określające ich wsparcie i ufność. Reguły asocjacyjne doczekały się wielu rozwinięć i modyfikacji. WyróŜniamy tutaj: algorytm AIS algorytm SETM algorytm Apriori algorytm AprioriTID algorytm Levelwise algorytm Eclat algorytm FreeSpan Dalsze propozycje obejmowały: reguły cykliczne czasowo-przestrzenne reguły asocjacyjne Najczęściej stosowane metody to warianty algorytmu Apriori, polegającego na łączeniu zbiorów częstych. Asocjacje są zapisywanie jako A => B, gdzie A jest zwane poprzednikiem lub lewą stroną (ang. LHS, left-hand side), a B następnikiem lub prawą stroną (ang. RHS, right-hand side). Dla przykładu, asocjacja jeŝeli klient kupuje chleb, to czy kupuje tez masło, posiada poprzednik kupuje chleb i następnik kupuje masło. Prostym jest określenie proporcji transakcji, które zawierają jedną z określonych cech, lub obie z nich wystarczy po prostu je policzyć. Częstość z jaką występuje ta 8

9 asocjacja (np. chleb i masło ) w bazie danych zwana jest powszechnością (ang. support). JeŜeli 15 sytuacji z 1000 zawiera chleb I mleko to powszechność wyniesie 1,5%. Niski poziom asocjaji (np. 1 na million zdarzeń) pozwala na stwierdzenie, Ŝe konkretna asocjacja nie jest zbyt waŝna, lub zawarte w niej dane są źle dobrane (np. męŝczyzna i ciąŝa ). Klastrowanie Celem tych metod jest znajdowanie skończonego zbioru klas obiektów (klastrów) w bazie danych posiadających podobne cechy. Liczba klastrów jest nieznana, stąd, proces klastrowania przebiega, najczęściej, w dwóch cyklach: cykl zewnętrzny przebiega po liczbie moŝliwych klastrów, cykl wewnętrzny próbuje znaleźć optymalny podział obiektów pomiędzy klastry. Klastrowanie jest metodą tzw. klasyfikacji bez nadzoru (ang. unsupervised learning). Jest to metoda dokonująca grupowania elementów we względnie jednorodne klasy. Podstawą grupowania w większości algorytmów jest podobieństwo pomiędzy elementami - wyraŝone przy pomocy funkcji (metryki) podobieństwa. Poprzez grupowanie moŝna równieŝ rozwiązać problemy z gatunku odkrywania struktury w danych oraz dokonywanie uogólniania. Grupowanie polega na wyodrębnianiu grup (klas, podzbiorów). Grupowanie jako jedna z metod pozyskiwania wiedzy, a tym samym eksploracji danych jest ściśle uwarunkowana źródłem danych oraz oczekiwaną postacią rezultatów. Algorytmy analizy skupień dzieli się na kilka podstawowych kategorii: metody hierarchiczne, wśród których najczęściej uŝywane to metody kombinatoryczne, w których sekwencyjnie łączy się (procedury aglomeracyjne) lub dzieli (procedury deglomeracyjne), grupa metod K-średnich (ang. k-means) w której grupowanie polega na wstępnym podzieleniu populacji na z góry załoŝoną liczbę klas. Następnie uzyskany podział jest poprawiany w ten sposób, Ŝe niektóre elementy są przenoszone do innych klas, tak aby uzyskać minimalną wariancję wewnątrz uzyskanych klas, 9

10 metody rozmytej analizy skupień (ang. fuzzy clustering), wśród których najbardziej znaną jest metoda c-średnich (c-means). Metody rozmytej analizy skupień mogą przydzielać element do więcej niŝ jednej kategorii. Z tego powodu algorytmy rozmytej analizy skupień są stosowane w zadaniu kategoryzacji (przydziału jednostek do jednej lub wielu kategorii). Metody rozmytej analizy skupień róŝnią się pod tym względem od metod klasycznej analizy skupień, w których uzyskana klasyfikacja ma charakter grupowania rozłącznego, którego wynikiem jest to, Ŝe kaŝdy element naleŝy do jednej i tylko jednej klasy. Zastosowanie analizy skupień podczas eksploracji danych polega na grupowaniu danych w konkretne grupy, np. do podziału klientów na pewne podgrupy. Odkrywanie wzorców sekwencji Odkrywanie czasowych wzorców zachowań, np. znajdowanie sekwencji notowań giełdowych, zachowań klientów ubezpieczalni, klientów supermarketów. Polega na znalezieniu, w bazie danych sekwencji, podsekwencji występujących częściej niŝ zadany przez uŝytkownika próg częstości, zwany progiem minimalnego wsparcia (ang. minsup). Odkrywanie klasyfikacji Celem tych metod jest znajdowanie zaleŝności pomiędzy klasyfikacją obiektów (klasyfikacja naturalna bądź wprowadzona przez eksperta) a ich charakterystyką. Zastosowanie: charakterystyka pacjentów, klientów kart kredytowych, poŝyczkobiorców. Oto najczęściej stosowane techniki: Klasyfikacja bayesowska Klasyfikacja na podstawie k najbliŝszych sąsiadów Drzewa decyzyjne Sieci neuronowe Sieci bayesowskie Algorytmy SVM 10

11 Klasyfikacja dąŝy do rozpoznawania cech określających grupę, do której naleŝą poszczególne elementy. Ta metoda moŝe być wykorzystywana zarówno do zrozumienia istniejących danych, jak i do prognozowania zachowania poszczególnych danych w przyszłości. Klasyfikacja, prawdopodobnie najpopularniejsza metoda eksploracji danych, wykorzystuje zbiór wcześniej określonych przykładowych modeli, w celu stworzenia jednego modelu, który pozwoli na sklasyfikowanie większej grupy danych. Innymi słowy klasyfikacja statystyczna to rodzaj algorytmu statystycznego, który przydziela obiekty do klas, bazując na atrybutach (cechach) tych obiektów. Formalnie, ten problem moŝna przedstawić następująco: dla danego zbioru danych trenujących znaleźć klasyfikator, który przydziela obiektowi klasę. Przykładowo, jeśli problem dotyczy filtrowania spamu, wówczas to pewna reprezentacja wiadomości a y to "Spam" lub "Nie Spam". procesy. Odkrywanie podobieństw w przebiegach czasowych Znajdowanie podobieństw w przebiegach czasowych opisujących określone Wykrywanie zmian i odchyleń Znajdowanie róŝnic pomiędzy aktualnymi a oczekiwanymi wartościami danych: znajdowanie anomalnych zachowań klientów ubezpieczalni, klientów kart kredytowych, klientów firm telekomunikacyjnych. 6. Chronologiczna klasyfikacja klas eksploracji WyŜej przedstawione klasy metod eksploracji wywodzą się w duŝej części z metod statystycznych. Ich wiek zatem jest znaczący. JednakŜe nam zaleŝało na określeniu pierwszych dat wykorzystania owych metod do eksploracji hurtowni danych. W tym celu posłuŝyliśmy się w głównej mierze datami pierwszych wzmianek literaturowych, określających zastosowanie owych metod w omawianej przez nas dziedzinie nauki. W kilku przypadkach nie udało nam się jednak takich dat 11

12 wyznaczyć. Jednak mimo to, studium literatury pozwoliło nam na stworzenie chronologii wykorzystywania metod eksploracji do przeszukiwania hurtowni danych: Odkrywanie klasyfikacji 1984 klasyfikacja bayesowska 1992 klasyfikacja na podstawie k najbliŝszych sąsiadów 1992 drzewa decyzyjne 1984 sieci neuronowe 1994 sieci bayesowskie 1995 algorytmy SVM 1995 Odkrywanie asocjacji 1993 algorytmy AIS i SETM 1993 algorytmy Priori i AprioriTID 1994 algorytmy Levelwise i Elat 1997 eguły cykliczne 1998 algorytm FreeSpan 2000 czasowo-przestrzenne reguły asocjacyjne 2005 Odkrywanie wzorców sekwencji 1995 Wykrywanie zmian i odchyleń 1999 Klastrowanie b.d. Odkrywanie podobieństw w przebiegach czasowych b.d. Dodatkowo naleŝy stwierdzić, Ŝe wykorzystywanie powyŝej usystematyzowanych chronologicznie metod do eksploracji hurtowni danych nie pokrywa się w Ŝaden sposób ze złoŝonością tychŝe metod. Bardzo często bowiem było tak, Ŝe bardziej skomplikowane metody znalazły swoje zastosowanie w tej dziedzinie, przed metodami prostszymi i mniej skomplikowanymi. 12

13 7. Literatura 1. W.Frawley, G. Piatetsky-Shapiro, C. Matheus. Knowledge Discovery in Databases: An Overview. AI Magazine, Jesień D. Hand, H. Mannila, P. Smyt. Principles of Data Mining. MIT Press, Cambridge, MA, Witten I.H., Frank E.: Data Mining. Practical Machine Learning Tools and Techniques with Java Implementations. Morgan Kaufmann, Quinlan J.R.: Induction of decision trees. Machine Learning 1(1),pp ,1986 ; 5. Quinlan J.R.: C4.5: Programs for machine learning. Morgan Kaufman, Aha D.: Tolerating noisy, irrelevant, and novel attributes in instance-based learning algorithms. International Journal of Man-Machine Studies 36(2), pp , McCord Nelson M., Illingworth W.T.: Practical guide to neural nets, Addison-Wesley, Bol04 Bolstad W.M.: Introduction to Bayesian statistics. Wiley-Interscience, Everitt B.S., Landau S., Leese M.: Cluster analysis, Arnold Publishers, Kohonen T.: Self-organizing maps, Springer Verlag, Dempster A., Laird N., Rubin, D.: Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society, Series B, 39(1):pp.1-38, Tworzenie hurtowni danych Vidette Poe, Patricia Klauer, Stephen Brobst 13. Hurtownie danych- podstawy organizacji i funkcjonowania M.Jorke, M.Lenzerini, Y.Vassiliou, P.Vassiliadis 14. Projektownie Hurtowni danych - zarządzanie kontaktami z klientami(crm) Chris Todaman ESSID=ccf06ee1ba40459fba87c6b c