1 Wstęp. 2 Eksploracja danych w biznesie

Transkrypt

1 1 Wstęp Eksploracja danych (ang. Data Mining) wiąże się ściśle z pojęciem Pozyskiwanie Wiedzy z baz danych(ang. KDD - Knowledge Discowery in Databases). Jak sama nazwa wskazuje, zainteresowanie badaczy koncentruje się na odkrywaniu technik i metod pozwalających na odkrycie interesujących wzorców, zjawisk, faktów w gąszczu danych, gromadzonych w olbrzymich nieraz, bazach danych. Jedną z dziedzin, która szczególnie zainteresowana jest efektami tych badań jest biznes. W procesie swego działania gromadzi on wielkie ilości danych, które stanowią podstawę podejmowanych decyzji biznesowych. Każde narzędzie, które pozwala na polepszenie jakości tych decyzji (czyli zwiększenie zysku), jest jak najbardziej pożądane, a narzędzia tworzone w ramach eksploracji danych dają takie rezultaty. Niniejszy artykuł skupia się na jednej z technik stosowanych w eksploracji danych, mianowicie na grupowaniu (ang. clustering). Autor formułuje potrzebę segmentacji bazy klientów oraz bazy katalogu towarów. Problem ten przedstawiono w postaci takiej, aby do jego rozwiązania możliwe było zastosowanie wymienionej techniki eksploracji danych: grupowania. 2 Eksploracja danych w biznesie Eksploracja danych jako dziedzina zajmuje się poszukiwaniem interesujących wzorców w zgromadzonych danych. W tej definicji szczególnie trudne staje się precyzyjne określenie znaczenia terminu interesujące. W tym celu tworzone są kryteria takie jak nośnik czy wiarygodność [AIS93], mówi się o zawartości informacyjnej [SG91], nie trywialności, nieoczekiwanych i niespodziewanych rezultatach [LH96]. W zakresie wykorzystania eksploracji danych w biznesie, w szeroko pojętym zarządzaniu termin interesujący nabiera jeszcze jednego znaczenia. Wzorzec pozyskany z danych jest interesujący jeżeli można go wykorzystać w trakcie podejmowania decyzji biznesowych: Samo znalezienie wzorca nie wystarcza, należy być zdolnym do wykrywania sytuacji pasujących do tego wzorca, wykorzystania go, podjęcia na tej podstawie decyzji zwiększającej wartość przedsiębiorstwa [BL97]. Założenia do zastosowania eksploracji danych w biznesie zostały przedstawione w [KPR98]. Według tych założeń sprzedawca podejmuje decyzje biznesowe w celu maksymalizacji zysku. Można powiedzieć, że zysk jest funkcją, którą należy maksymalizować: Z(D, f) = max f(x), (1) x D gdzie D jest zbiorem wszystkich możliwych do podjęcia decyzji (strategii marketingowych, celów strategicznych, planów rozwoju), a f(x) jest użytecznością decyzji x odzwierciedlającą trwałość (istnienie) przedsiębiorstwa oraz wielkość możliwego do osiądnięcia zysku. Tak sformułowany problem optymalizacji leży u podstaw zarządzania każdym przedsiębiorstwem. Przy czym w rzeczywistym 1

2 świecie zagadnienia te są tak skomplikowane i złożone, że nikt nie jest w stanie stworzyć dokładnego modelu umożliwiającego weryfikacje hipotez. Podejmujący decyzje opierają się o przybliżone zasady rządzące zachowaniem się obiektów biorących udział w analizie, znają jedynie naturę zjawisk czy pewne heurytyczne zależności. Natomiast wiele z informacji nie jest znanych, część danych może być niewiarygodna, od przyjętych zasad mogą występować wyjątki i odstępstwa. Podejmowanie decyzji w takim środowisku wymaga stosowania odpowiednich narzędzi i technik zdolnych do przetwarzania i analizy tak skomplikowanych zagadnień oraz odpornych na niebezpieczeństwa i zakłócenia możliwe do wystąpienia w jego trakcie. W równaniu 1 występują dwa obszary. Pierwszy D, obszar podejmowanych decyzji, obejmuje wn przedsiębiorstwa, decyzje dotyczą tylko tych elementów na które przedsiębiorstwo ma bezpośredni wpływ : wielkość produkcji, jakość, cena, nakłady badawczo-rozwojowe, na marketing i reklamę. Drugi obszar, oznaczony jako f(x) jest funkcją interakcji przedsiębiorstwa z otoczeniem, do którego należą klienci, dostawcy, pracownicy, rynek jako taki. Poszczególne obiekty z otoczenia, zwane również agentami, mają swój odrębny wpływ na uzyskiwana wartość. Czyli można napisać: f(x) = y Y f y(x), (2) gdzie Y jest zbiorem agentów wchodzących w interakcję z przedsiębiorstwem. Ponieważ każdy klient ma swój niezależny wkład w zysk, globalny zysk przedsiębiorstwa jest sumą wkładów uzyskanych od każdego klienta w wyniku podejmowanych decyzji biznesowych. Podejmując jednakową decyzję dla wszystkich klientów (każdego obsługując według takich samych reguł) nie otrzyma się optymalnych rezultatów, zysk nie będzie maksymalny. Dobre rezultaty otrzymuje się indywidualnie podejmując decyzje dla każdego klienta osobno. Wadą takiego podejścia jest koszt samego procesu podejmowania decyzji, który obciąża każdego klienta indywidualnie oraz koszt zastosowania decyzji, który maleje wraz ze wzrostem liczby klientów do niego stosowanych (maleje koszt jednostkowy stosowania). Lepszym rozwiązaniem jest zastosowanie segmentacji portfela klientów. Polega to na podziale klientów na k grup, w której dla każdego klienta podejmuje się tą samą decyzję, dla różnych grup są różne decyzje. Inaczej mówiąc podejmuje się k decyzji biznesowych i każdego klienta obsługuje się zgodnie z tą decyzją, która daje najlepszy wynik. 3 Segmentacja klientów Przedstawiając powyższy problem w postaci formalnej przedstawiamy: zbiór klientów jako zbiór agentów Y oraz zbiór strategii marketingowych jako zbiór decyzji D. Wartość funkcji zależy teraz również od podjętej decyzji więc otrzymujemy: 2

3 Z(D, f) max f y(x y ). (3) x D y Y Możliwe jest że do części z klientów będzie przypisana ta sama strategia marketingowa. Ponieważ ilość klientów jest zazwyczaj znacznie większa od ilości możliwych strategii Y >> D to podstawowym problemem jest podzielenie bazy klientów na zbiory przypisane do różnych strategii, w literaturze zwany jako zagadnienie segmentacji bazy klientów. Samo zagadnienie segmentacji ma wiele aspektów, jednak jako problem optymalizacyjny jest ściśle związane z zagadnieniem grupowania, będącym zagadnieniem algorytmicznym z zakresu eksploracji danych [JD88]. Grupowanie kontrahentów opiera się na następujących przesłankach: 1. Nie jest tak, że wszyscy kontrahenci są jednakowi, tzn. że postępują według takich samych reguł - kupują te same towary w takich samych odstępach czasu, są jednakowo wrażliwi na przedstawiane im warunki takie jak cena, jakość, transport, obsługa itd. W rzeczywistości każdy kontrahent jest reprezentowany przez osobę lub grupę ludzi, a jak wiadomo nie ma dwóch identycznych ludzi na świecie, więc i kontrahenci będą się różnie zachowywać. 2. Mimo różnorodności, z punktu widzenia dostawcy kontrahentów, można i należy (zgodnie z obecnymi trendami zarządzania i marketingu) pogrupować zgodnie ze stopniem podobieństwa (tak jak ludzie są do siebie mniej lub bardziej podobni, tak samo można mówić o podobieństwie przedsiębiorstw). 4 Grupowanie Jak już powiedziano grupowanie (ang. clustering) wywodzi się z szerszego pojęcia jakim jest klasyfikacja bezwzorcowa. Grupowanie powszechnie traktuje się jako uczenie bez nadzoru, w którym uczeń otrzymuje zbiór trenujący, zawierający przykłady bez określania ich kategorii (przykłady nieetykietowane). Właściwe kategorie uczeń musi zaproponować samodzielnie na podstawie pewnej zasady grupowania, wbudowanej w algorytm lub częściowo definiowanej przez użytkownika Poprzez grupowanie można również rozwiązać problemy z gatunku odkrywania struktury w danych oraz dokonywanie uogólniania. Grupowanie często jest pierwszym krokiem w procesie poznawania danego zjawiska na podstawie zbioru obserwacji. Jest to forma maszynowego uczenia bez nadzoru a celem jest uzyskanie hierarchii pojęć opisujących dane zjawisko. Grupowanie wywodzi się z taksonomii numerycznej oraz analizy skupień i w swym podstawowym ujęciu zajmuje się otrzymywaniem zapisu podziału obiektów na grupy przy pomocy metod algorytmicznych. Jakkolwiek jest to główne zadanie grupowania, to jednak z powodu braku lub słabego wykorzystywania 3

4 różnych aspektów wiedzy dotyczących zbioru obiektów, ich atrybutów i środowiska, uzyskiwane rezultaty mogą odbiegać od oczekiwań. Kolejnym problemem jest uzyskiwanie wyników w postaci trudno przekształcalnej na pojęcia służące charakteryzacji danego zjawiska. Ideę grupowania pojęciowego (ang. conceptual clustering) przedstawiono w W tym celu stosuje się odpowiednie algorytmy grupowania, których wyniki łatwo dają się przedstawić w formie pojęć czy koncepcji, oraz które umożliwiają uwzględnienie dostępnej wiedzy np. poprzez stosowanie miary bliskości odzwierciedlającej zależności pomiędzy atrybutami. 5 Koncepcje grupowania kontrahentów Grupowania kontrahentów (czy też segmentacji bazy klientów zgodnie z terminologią marketingową) dokonuje się w oparciu o zgromadzone dane, które można powiązać z poszczególnymi kontrahentami. Proces grupowania silnie zależy od pochodzenia i rodzaju danych oraz reprezentowanych informacji. W niniejszym opracowaniu rozpatrywane są dane związane z przeprowadzonymi transakcjami sprzedaży. Grupowania można dokonać z uwagi na następujące rodzaje informacji: zrealizowany przychód, zróżnicowanie asortymentowe. Poszczególne podejścia różnią się od siebie szczegółowością traktowania danych wejściowych. Najczęściej dokonuje się wstępnej agregacji (selekcji cech) w celu zmniejszenia ilości wymiarów w analizowanych danych. Zaproponowano wykorzystanie algorytmu grupowania rozmytego do grupowania kontrahentów w oparciu o dwie metody obliczania podobieństwa pomiędzy kontrahentami: wykorzystanie wektora przychodów zrealizowanych w poszczególnych grupach asortymentowych wykorzystanie macierzy podobieństw pomiędzy towarami i w oparciu o funkcję harmoniczne zaproponowano metodę grupowania kontrahentów wykorzystanie danych lingwistycznych, zapisanych w nazwach towarów do opisania kontrahenta i na tej podstawie dokonanie grupowania 6 Potrzeba grupowania w katalogu towarów O ile segmentacja bazy klientów jest powszechnie znanym zagadnieniem zarówno marketingowym jak i w ramach eksploracji danych, to baza towarów/produktów stosunkowo rzadko jest przedmiotem badań. Ponieważ to właśnie towary są atrybutami, według których dokonuje się porównywania, oceny i grupowania kontrahentów to autor przedstawił własne wyniki badań w tym obszarze oraz przykłady ich wykorzystania do głównego zagadnienia jakim jest segmentacja bazy klientów. Grupowanie w katalogu towarów jest istotnym ogniwem w trakcie eksploracji bazy danych przedsiębiorstwa. W rzeczywistych środowiskach można spotkać 4

5 katalogi liczące kilkaset lub wiele tysięcy pozycji. Szczegółowa analiza pojedynczych pozycji, aczkolwiek możliwa, jest nieskuteczna z punktu widzenia eksploracji danych. Minimalne różnice pomiędzy towarami, skutkujące odrębnym sposobem rejestracji transakcji (różne identyfikatory) są nieistotne w toku poszukiwania wiedzy. Wiele technik takich jak uogólnianie, streszczanie, agregacja, OLAP opartych jest na klasyfikacji katalogu towarów. Dzięki klasyfikacji można dokonywać przetwarzania na wielu poziomach abstrakcji Wiele katalogów towarów posiada informacje o klasyfikacji poszczególnych pozycji. Dane te są wprowadzane ręcznie zgodnie z przyjętą w przedsiębiorstwie systematyką katalogu towarów. Niestety taka klasyfikacja posiada szereg wad: 1. Nie każdy katalog towarów jest wyposażony w dane klasyfikacyjne. 2. Nie zawsze wpisy o klasyfikacji towaru są uzupełniane. 3. Klasyfikacja odzwierciedla tylko podstawowe cechy towaru. 4. Klasyfikacja tworzona jest ręcznie, przez co trudno dokonywać na niej znaczących modyfikacji. 5. Wprowadzanie nowych rodzajów towarów winno skutkować modyfikacją istniejącej systematyki, co czasami jest bardzo długotrwałe. 6. Klasyfikację tworzy się indywidualnie dla danego przedsiębiorstwa, w oparciu o bieżące potrzeby, co może skutkować uniemożliwieniem realizacji przyszłych wymagań. Alternatywą może być stworzenie automatycznego systemu klasyfikowania towarów. Poniżej zaproponowano sposób tworzenia takiego systemu. Opiera się on na grupowaniu przy wykorzystaniu funkcji podobieństwa opartej na informacji zawartej w nazwach towarów. Wykorzystuje również teorię granular computing. Takie podejście omija część ograniczeń ręcznej klasyfikacji: 1. System zapewnia sklasyfikowanie każdej pozycji towarowej. 2. System opiera się na wiedzy ekspertów z danej dziedziny, istnieje możliwość wprowadzania nowych informacji. 3. Istnieje możliwość modyfikacji parametrów klasyfikacji, co przekłada się na otrzymywane rezultaty. 4. Brak ograniczeń w ilości analizowanych pozycji. Jak już wskazano w 6 grupowanie w katalogu towarów jest istotnym ogniwem w trakcie eksploracji bazy danych przedsiębiorstwa. Baza zawierająca katalog istnieje niemal we wszystkich systemach informacyjnych przedsiębiorstw. Wśród wielu danych opisujących daną pozycję towarową na potrzeby niniejszych rozważań istotny jest słowny zapis nazwy danej pozycji towarowej. Dzięki analizie tej nazwy można dokonać porównania nazw poszczególnych towarów i dalej dokonać grupowania. Grupowanie może zautomatyzować bądź wspomóc tworzenie nowych i polepszanie starych klasyfikacji towarów. Grupowanie winno się odbywać przy następujących założeniach: 5

6 towary są łączone na podstawie posiadanych wspólnych wartości atrybutów, nie dokonuje się wstępnej kwantyzacji atrybutów symbolicznych, podobieństwo zależy od atrybutów porównywanych obiektów ale również korelacji z innymi obiektami, poszczególne atrybuty mają różną wagę, którą należy oszacować na podstawie dostępnych danych, zakłada się istnienie dodatkowych, możliwych do wykorzystania informacji. 7 Podsumowanie Sformułowanie problemu, tak aby możliwe było zastosowanie grupowania do jego rozwiązania to dopiero początek prac. W dalszej kolejności należy dokonać właściwego przygotowania bazy danych oraz zaadaptować algorytmy grupowania do tak sformułowanego problemu. Są to główne kierunki dalszy prac autora. [Hug01] [AMS + 96, HKK97, HF95] [KPR98, AIS93, GP02]. [AIS93, AMS + 96, BMUT97, DMR98] [BL97]. wykorzystanie [Maz02a] [Maz02b] Literatura [AIS93] R. Agrawal, T. Imielinski, A. N. Swami. Mining association rules between sets of items in large databases. P. Buneman, S. Jajodia, redaktorzy, Proceedings of the 1993 ACM SIGMOD International Conference on Management of Data, strony , Washington, [AMS + 96] R. Agrawal, H. Mannila, R. Srikant, H. Toivonen, A.I. Verkamo. Fast discovery of association rules. Advances in Knowledge Discovery and Data Mining, strony , [BL97] M. J. Berry, G. Linoff. Data Mining Techniques. John-Wiley, New York, [BMUT97] S. Brin, R. Motwani, J. D. Ullman, S. Tsur. Dynamic itemset counting and implication rules for market basket data. ACM SIGMOD International Conference on Management of Data, strony , [DMR98] G. Das, H. Mannila, P. Ronkainen. Similarity of attributes by external probes. Knowledge Discovery and Data Mining, strony 23 29, [GP02] P. Guidici, G. Passerone. Data mining of association structures to model consumer behaviour. Computational statistic and data analysis,

7 [HF95] J. Han, Y. Fu. Discovery of multiple-level association rules from large databases. Proc. of Int l Conf. on Very Large Data Bases (VLDB 95), Zürich, Switzerland, strony , [HKK97] [Hug01] [JD88] [KPR98] [LH96] [Maz02a] [Maz02b] [SG91] E. Han, G. Karypis, V. Kumar. Scalable parallel data mining for association rules. Proceedings of ACM SIGMOD, A. M. Huges. Making your database pay off using recency frequency and monetary analysis. Database Marketing Institute, 13(8): , A. K. Jain, R.C. Dubes. Algorithms for Clustering Data. Prentice Hall, New Jersey, J. Kleinberg, C. Papadimitriou, P. Raghavan. Segmentation problems. Proceedings of the ACM Symposium on Theory of Computing, strony , B. Liu, W. Hsu. Post-analysis of learned rules. AAAI/IAAI, Vol. 1, strony , D. Mazur. Computing similarity measure based on names of goods for fuzzy clustering. Methods of Artificial Intelligence, Gliwice, D. Mazur. Wykorzystywanie danych określonych lingwistycznie w systemach pozyskiwania wiedzy. SWO, Ustroń, P. Smyth, R. M. Goodman. Rule induction using information theory. Piatetsky-Shapiro, G. and Frawley, W.J. (Eds.),Knowledge Discovery in Databases, strony ,