ZESZYTY NAUKOWE WYDZIAŁU ETI POLITECHNIKI GDAŃSKIEJ Nr 6 Seria: Technologie Informacyjne 2008

Transkrypt

1 Ilona Bluemke 1, Agnieszka Chabrowska 2 Politechnika Warszawska 1 Instytut Informatyki, 2 Instytut Automatyki i Informatyki Stosowanej PROJEKT SYSTEMU ODKRYWANIA WIEDZY Z INTERAKCJI UŻYTKOWNIKA Streszczenie Zapis danych z interakcji człowieka z aplikacjami internetowymi może dać szeroki obraz jego sposobu zachowania. Przy pomocy algorytmów do odkrywania wiedzy możliwe jest znalezienie w tych danych prawidłowości przydatnych do lepszego zrozumienia ludzkich problemów i potrzeb. Istniejące systemy prowadzą rejestrację i analizę danych zazwyczaj w obrębie jednej aplikacji. Są wśród nich niewielkie systemy oferujące ograniczony zestaw analiz oraz potężne, dedykowane dla dużych serwisów internetowych. Brakuje systemu łatwego do dołączenia do każdej aplikacji, pozwalającego na eksport danych do wspólnej bazy danych oraz ich analizę za pomocą algorytmów, które użytkownicy mogli by sami konfigurować i dodawać nowe. W pracy przedstawiono projekt takiego systemu, pozwalającego użytkownikowi na określenie rejestrowanych danych oraz na wybór algorytmu odkrywania wiedzy. 1. WSTĘP Współczesny człowiek spędza przed komputerem coraz więcej czasu. Używa go do pracy, rozrywki, jako źródła informacji lub sposobu rozładowania emocji. Zapis danych z interakcji człowieka z aplikacjami internetowymi może więc dać szeroki obraz jego sposobu zachowania. Przy pomocy algorytmów do odkrywania wiedzy możliwe jest znalezienie w tych danych prawidłowości przydatnych do lepszego zrozumienia ludzkich problemów. Istnieją proste systemy o ograniczonej ilości możliwych analiz oraz wykorzystywanych danych oraz złożone, tworzone specjalnie dla dużych serwisów internetowych. Brakuje systemu łatwego do dołączenia do każdej aplikacji, pozwalającego na eksport danych z wielu aplikacji do wspólnej bazy danych oraz ich analizę za pomocą algorytmów, które użytkownicy mogli by sami konfigurować i dodawać nowe. W sekcji drugiej przedstawiono krótki przegląd istniejących systemów. Następnie, w sekcji trzeciej, przedstawiono projekt systemu ELM (Event Logger Manager). Omówiono architekturę systemu oraz budowę repozytoriów danych i algorytmów. Do rejestracji danych

2 zastosowano mechanizm śledzenia aspektowego zaproponowany w [1,2]. W systemie ELM dostępne są obecnie następujące algorytmy odkrywania wiedzy: apriori, ID3 oraz C4.5 [4]. 2. WEB MINING W związku z ciągłym zwiększaniem się ilości informacji zawartych w witrynach internetowych, pojawiła się idea zastosowania do ich analizy algorytmów do eksploracji danych (ang. data mining) [3,4]. Dokumenty zamieszczane w Internecie mają różnorodną treść, są rozproszone i mają złożoną strukturę. Niesie to za sobą wiele problemów i wyzwań. Niezbędne jest odpowiednie przygotowanie danych oraz często modyfikacja algorytmów. Dlatego powstała nowa dziedzina wiedzy, określona terminem angielskim web mining. Ze względu na rodzaj danych będących wejściem dla algorytmów do eksploracji danych można wyróżnić: eksploracja danych z zawartości dokumentów zamieszczonych w Internecie - web content mining eksploracja danych o strukturze witryn internetowych - web structure mining zastosowanie technik eksploracji danych w celu wykrycia wzorców i reguł użytkowania witryn internetowych - web usage mining Najbardziej użyteczna dla zrozumienia zachowań użytkowników jest dziedzina web usage mining. Wiedza, którą można uzyskać jest bardzo cenna w zastosowaniach komercyjnych. Może znacznie zwiększyć sprzedaż sklepów internetowych poprzez grupowanie klientów, odnajdywanie wzorców ich zachowań, trafne podpowiadanie interesujących produktów, stron oraz kierowanie reklam. Wiele systemów typu web usage mining to systemy komercyjne, związane z konkretnym serwisem internetowym. Ich celem jest ulepszenie tego serwisu poprzez trafne rekomendacje dla klientów, personalizację stron lub modyfikacje ich struktury. Do tej grupy należą systemy SUGGEST [5], WUMS [6], WebMe [7], OLAM [8]. Zazwyczaj budują one bazę wiedzy zawierającą zbiór reguł, klasyfikatorów, modeli, które są potem używane by podpowiedzieć użytkownikowi interesującą stronę. Jako źródło danych wykorzystują logi serwera WWW. Opis tych systemów znajduje się w [5,6,7,8]. Jedynym systemem, który udało nam się znaleźć wykorzystującym dane odbierane po stronie klienta jest Archcollect [9]. Oferuje on ciekawy mechanizm rejestracji danych, za pomocą zmodyfikowanej przeglądarki WWW. Nie posiada jednak rozbudowanej części do analizy zarejestrowanych danych. W trakcie przeglądania systemów typu web usage mining nie udało nam się napotkać systemu zapewniającego rejestrację danych zarówno po stronie klienta jak i po stronie serwera. Dane odbierane po stronie serwera są brane zazwyczaj tylko z logów serwerów aplikacyjnych lub serwerów WWW. Nie jest brana pod uwagę możliwość modyfikacji kodu aplikacji internetowych. System ELM wyróżnia się przede wszystkim nowym podejściem do rejestracji danych po stronie serwera, pozwalającym na zapis szerszego zakresu informacji upraszczającego fazę przygotowania danych.

3 3. SYSTEM ELM System ELM wspomaga proces odkrywania wiedzy w danych z interakcji użytkownika z aplikacją internetową. Stanowi on narzędzie zarówno rejestrujące jak i analizujące dane za pomocą wybranych algorytmów do odkrywania wiedzy. Głównym celem części związanej z zapisem danych jest możliwość określenia jakim interakcjom użytkownika z aplikacją odpowiadają jakie zestawy danych oraz rejestracja tych danych. System umożliwia tworzenie logicznych typów zdarzeń posiadających specyficzne parametry oraz określenie, w których momentach wykonania aplikacji będą one zapisywane. Pozwala na rejestrację danych zarówno w lokalnej jak i w zdalnej bazie danych. System zawiera zbiór predefiniowanych typów zdarzeń, określanych dalej mianem podstawowych typów zdarzeń. Część odpowiadająca za analizę danych wspomaga cały cykl pracy z algorytmami do odkrywania wiedzy: począwszy od przygotowania danych wejściowych, poprzez uruchomienie i monitorowanie działania algorytmu aż do przeglądania wyników jego działania. Jest to zrealizowane w formie aplikacji internetowej, stanowiącej bazę wiedzy oraz miejsce do eksperymentowania dla osób chcących poszerzyć wiedzę o zachowaniu człowieka używając do tego celu algorytmów do eksploracji danych. Poza możliwością korzystania z gotowych algorytmów, można wzbogacić system o własne implementacje algorytmów. Można również wpływać na dane poddawane analizie np. rozszerzać je o dodatkowe informacje statystyczne. 3.1 Architektura systemu Rys.1. Architektura systemu ELM Najważniejsze moduły, z których składa się system ELM przedstawione zostały na rysunku 1. Za rejestrację danych odpowiada moduł EventLogger. Aplikacja realizująca analizę danych to moduł EventManager. Obie części korzystają z tej samej bazy danych - eventdb, w której gromadzone są zdarzenia zarejestrowane z aplikacji internetowych. W celu umożliwienia łatwego zapisu danych o zdarzeniach w relacyjnej bazie danych stworzona została biblioteka EventLoggerAPI. Ma ona na celu zapewnienie jednolitych mechanizmów komunikacji z bazą danych zarówno modułowi do rejestracji danych jak i aplikacji EventManager. EventLoggerAPI umożliwia tworzenie logicznych typów zdarzeń, przypisywanie im parametrów, zapis oraz odczyt zdarzeń dla poszczególnych typów wraz z

4 wartościami parametrów. Do komunikacji z bazą danych EventLoggerAPI używa jedynie JDBC. API można wywołać bezpośrednio z kodu aplikacji internetowej, dla której chcemy rejestrować dane. Rejestracja danych przez moduł EventLogger wykorzystuje śledzenie aspektowe opisane w [1, 2]. 3.2 Repozytoria danych System ELM jest narzędziem umożliwiającym współpracę twórców i właścicieli aplikacji internetowych z specjalistami analizującymi zachowania człowieka. Dane z wielu różnych serwisów internetowych, których właściciele zgodzą się na dołączenie systemu ELM są rejestrowane we wspólnej bazie eventdb. Aplikacja EventManager korzysta zarówno z bazy danych eventdb jak i z repozytorium danych, algorytmów i uzyskanych wyników. Aplikacja umożliwia przegląd zdarzeń z bazy, poszukiwanie zdarzeń należących do określonych typów, posiadających specyficzne parametry. Zbiory zdarzeń będące wynikiem wyszukiwania można zapisać w repozytorium w postaci plików ARFF [4]. Rys.2. Repozytoria danych, algorytmów i wyników Struktura repozytorium zaprezentowana jest na rysunku 2. W katalogu _data przechowywane są dane wejściowe dla algorytmów w postaci plików ARFF. Przechowywane są tam zarówno dane wyeksportowane z bazy danych zdarzeń jak i dane z innych źródeł. Katalog _filters to zbiór skryptów wykonujących przygotowanie i obróbkę danych wejściowych np: złączenie danych z kilku plików. W katalogu _algorithms repozytorium mieszczą się skrypty uruchamiające algorytmy do odkrywania wiedzy. System uruchamia algorytmy właśnie za pomocą tych skryptów. Można tam więc dodać dowolny skrypt zawierający implementację algorytmu lub uruchamiający algorytm i Jedynym warunkiem jest zapewnienie, by algorytm pracował na danych wejściowych w formacie ARFF. 3.3 Rejestracja danych Diagram związków encji bazy danych eventdb pokazano na rysunku 3. Idea podstawowych typów zdarzeń i zdarzeń definiowanych przez właścicieli aplikacji zrealizowane zostały poprzez rekurencyjne odwołanie w tabeli event_type. Hierarchia

5 typów zdarzeń jest dwustopniowa. Na szczycie znajdują się podstawowe typy zdarzeń tworzone przez system ELM i pełniące rolę meta danych. Na drugim stopniu są typy zdarzeń tworzone przez właścicieli aplikacji internetowych. Muszą one należeć do jednego z podstawowych (wbudowanych) typów zdarzeń. Rys.3. Diagram związków encji bazy danych eventdb Dla każdego rejestrowanego w tabeli event zdarzenia, w zależności od jego typu, zapisywany jest odpowiedni zbiór wartości parametrów. Taka organizacja umożliwia przypisanie typom zdarzeń dowolnej liczby parametrów. Podstawowe typy zdarzeń posiadają predefiniowane zbiory parametrów. Podczas tworzenia typu zdarzenia właściciel aplikacji może rozszerzyć podstawowy typ o zdefiniowane przez siebie parametry. Podstawowym typem zdarzenia jest zatwierdzenie formularza (FormEvent), dla którego właściciel aplikacji internetowej może określić własny typ zdarzenia odpowiadający zatwierdzeniu formularza X (FormEventX). Podstawowy typ zdarzenia (FormEvent) ma parametry odpowiadające nazwie użytkownika, sesji, ilości pól formularza. Typ zdarzenia zdefiniowany przez właściciela aplikacji internetowej (FormEventX) może mieć dodatkowe parametry np. odpowiadające wybranym polom formularza. Obecnie system ma zdefiniowane trzy podstawowe typy zdarzeń: 1. FormEvent - odpowiada zdarzeniu zatwierdzenia formularza. Może być rozszerzony o parametry odpowiadające polom formularza. 2. PageEvent - odpowiada zdarzeniu wejścia na stronę. Posiada tylko predefiniowane parametry: nazwę użytkownika, identyfikator sesji i nazwę strony. 3. CartEvent - odpowiada zdarzeniu zakończenia zakupów w sklepie internetowym. Może być rozszerzony o parametry odpowiadające produktom dostępnym w sklepie, które potencjalnie mogą znaleźć się w koszyku. 4. ZAKOŃCZENIE W pracy przedstawiono projekt systemu ELM realizowanego na Politechnice Warszawskiej w Instytucie Automatyki i Informatyki Stosowanej we współpracy z

6 Instytutem Informatyki. Spośród innych systemów typu web usage mining system ten wyróżnia możliwość dołączania go do różnych aplikacji internetowych oraz możliwość dostosowywania do potrzeb. System ten kompleksowo wspomaga proces odkrywania wiedzy w danych z interakcji użytkownika z aplikacją internetową. Stanowi on narzędzie zarówno rejestrujące jak i analizujące dane za pomocą algorytmów do odkrywania wiedzy. System udostępnia algorytmy należące do czterech głównych kategorii metod odkrywania wiedzy: klasyfikacji, odkrywania reguł asocjacyjnych, grupowania oraz wykrywania wzorców sekwencyjnych opisane w [4]. W chwili obecnej system ma wbudowane następujące algorytmy [4]: apriori, ID3 oraz C4.5. Wykorzystano implementacje tych algorytmów udostępnione w bibliotece weka [10]. W bardzo łatwy sposób można do ELM dodać nowe algorytmy eksploracji danych umieszczając w odpowiednim miejscu (sekcja 3.2) skrypt uruchamiający algorytm. Można także określać, jakie dane mają być rejestrowane. BLIOGRAFIA [1] Billewicz K., Bluemke I.: Aspekty w śledzeniu i modyfikowaniu skompilowanych programów. W: Zwinność i dyscyplina w inżynierii oprogramowania, Nakom, Poznań, 2007, s [2] Bluemke I. Billewicz K.: Aspects in the maintenance of compiled programs: Proceedings of Third International Conference on Dependability of Computer Systems, DepCoS-RELCOMEX 2008, Szklarska Poreba, Poland, June 2008 [3] P. Cichosz: Systemy uczące się, Wydawnictwa Naukowo-Techniczne, 2000 [4] Witten I.H., Frank E.: Data Mining: Practical machine learning tools and techniques, Morgan Kaufmann, San Francisco, 2005 [5] Baraglia R., Palmerin P.: Suggest: A web usage mining system. W: Proceedings of IEEE International Conference on Information Technology: Coding and Computing, April 2002 [6] Junjie Chen, Wei Liu: Research for Web Usage Mining Model. W: Proceedings of CIMCA/IAWTIC, 2006, [7] Xiaohua Hu Cercone i inni: An OLAM framework for Web usage mining and business intelligence reporting. W: Proceedings of the 2002 IEEE International Conference on Fuzzy Systems, 2002 [8] Mingyu Lu Shuying Pang Yan Wang Lizhu Zhou: WebMe - Web mining environment. W: Systems, Man and Cybernetics, vol 7, ISBN: , IEEE, [9] Joubert de Castro Lima i inni : Archcollect Front-End: A Web Usage Data Mining Knowledge Acquisition Mechanism Focused on Static or Dynamic Contenting Applications. W ICEIS (4), 2004, s [10] Summary Registration of user interactions with internet application can be the basis for different analysis. Using algorithms for knowledge discovery it is possible to find many interesting trends, obtain pattern of user behaviour, better understand user needs. There are small systems, performing fixed number of analysis and there are also systems dedicated to huge internet services. We haven't managed to find a flexible and easy to integrate system which would be able to collect and store data from users interactions from many applications in one data base, and analyze them using knowledge discovery algorithms. In this paper the design of such system - ELM is presented. A user is able to add his own algorithms to ELM or tune implemented ones, as well as decide what information will be stored.