ANALIZA PORÓWNAWCZA MIAR PODOBIEŃSTWA TEKSTÓW BAZUJĄCYCH NA MACIERZY CZĘSTOŚCI Z BAZUJĄCYMI NA WIEDZY DZIEDZINOWEJ.

Transkrypt

1 Stron1 mgr Ktrzyn Wójcik mgr Jnusz Tuchowski Uniwersytet Ekonomiczny w Krkowie ANALIZA PORÓWNAWCZA MIAR PODOBIEŃSTWA TEKSTÓW BAZUJĄCYCH NA MACIERZY CZĘSTOŚCI Z BAZUJĄCYMI NA WIEDZY DZIEDZINOWEJ. 1 Wstęp Jednym z njwżniejszych problemów pojwijących się przy eksplorcyjnej nlizie dnych tekstowych jest wybór sposobu wyrżeni podobieństw pomiędzy tekstmi. W literturze prezentowne są dw zsdnicze podejści do rozwiązni tego problemu. Pierwsze z nich bzuje n reprezentcji częstotliwościowej dokumentów (mcierzy zwierjącej informcje o liczbie wystąpień poszczególnych słów w dokumencie). Drugie podejście do obliczni podobieństw pomiędzy tekstmi zkłd wykorzystnie wiedzy dziedzinowej. Do reprezentcji wiedzy dziedzinowej njczęściej stosuje się ontologie. Zsdniczym celem prcy jest prezentcj znnych z litertury mir podobieństw tekstów uwzględnijących wiedzę dziedzinową orz ich nliz symulcyjn. Wyniki nlizy zostły również porównne z wynikmi uzysknymi dl mir oprtych n mcierzy częstości orz ze znnym stopniem podobieństw bdnych tekstów. W kolejnych rozdziłch prcy njpierw opisne zostną bdne dokument. Nstępnie krótko schrkteryzowne zostną wybrne miry podobieństw tekstów bzujące n mcierzy częstości. W kolejnych krokch omówion zostnie ontologi wykorzystn w bdnich orz system oprcowny do nlizy skupień bzującej n ontologich. W dlszej części pojwią się wyniki nlizy symulcyjnej będącej próbą oceny przydtności wybrnych mir podobieństw. Prcę zkończą wnioski orz dlsze plny bdwcze. 2 Dokumenty tekstowe wykorzystne w bdniu. W symulcji wzięte zostły pod uwgę 22 dokumenty tekstowe zwierjące teksty ogłoszeń oferujących osobowe smochody używne. W przypdku ofert sprzedży porównując ogłoszeni porównywne są oferowne produkty. Wybierjąc ogłoszeni skupiono się n kilku wybrnych modelch smochodów podobnej klsy (Ford Mondeo, Skod Octvi, Toyot Coroll, Opel Astr, Ford Focus i Renult Megne). Wśród ofert znlzł się ofert kontroln (powielone ogłoszenie 1 ze zmienionym jedynie numerem ogłoszeni) orz ofert zncznie różniąc się od pozostłych (ofert 22 Fit 126p). Ogłoszeni wybrne do bdni pochodziły z njpopulrniejszego polskiego serwisu

2 Stron2 otomoto.pl. Rysunek 1 przedstwi wygląd przykłdowej oferty wyświetlonej w przeglądrce internetowej. Rysunek 1. Przykłdow ofert sprzedży smochodu używnego w serwisie otomoto.pl orz jej treść wyciągnięt z tego serwisu. Źródło: Ogłoszeni pobrne ze strony internetowej zostły przeksztłcone do formtu tekstowego przy wykorzystniu opensource owej biblioteki Jvy, Jsoup. Wyciągnięte zostły tylko dne związne z ofertą. Pominięto grficzne skłdowe ogłoszeni, reklmy i inne elementy witryny internetowej niezwiązne z ofertmi. Po opercji ekstrkcji dnych otrzymno dokumenty tekstowe w częściowo ustrukturyzownej formie. Rysunek 2 przedstwi treść przykłdowej oferty z rysunku 1 wyciągniętą ze strony internetowej. Dne w dokumencie przedstwionym n rysunku 2 mją określoną strukturę i formt. Tk przygotowne dokumenty zostły nstępnie wykorzystne w bdniu symulcyjnym. 3 Miry podobieństw tekstów oprte n mcierzy częstości W tej części prcy przedstwione zostną pokrótce miry podobieństw tekstów bzujące n mcierzy częstości orz etpy bdni symulcyjnego dotyczące tych mir. 3.1 Mcierz częstości Mcierz częstości to mcierz, której kolumny reprezentują dokumenty, wiersze wyrzy (wzór 1). Wrtości wewnątrz mcierzy częstości w jej wersji podstwowej reprezentują liczbę wystąpień dnego słow w dnym dokumencie, w wersji binrnej wszystkie wrtości niezerowe są zmienine n 1. A dokumenty wyrzy (1)

3 Stron3 gdzie: A mcierz częstości, liczb wystąpień i-tego ( i 1,..., 1110 ) wyrzu w j-tym ( j 1,..., 22) dokumencie (w ij przypdku mcierzy binrnej wystąpienie dnego wyrzu w dokumencie ( 1) lub jego ij brk ( 0 )), ij 3.2 Miry podobieństw tekstów W bdniu wzięto pod uwgę dwie miry podobieństw stosowne w odniesieniu do tekstów. Dokonując wyboru mir podobieństw do bdni, uwzględniono wyniki bdń przeprowdzonych przez dr. Driusz Borrtyńskiego [Borrtyński, 2009] orz wyniki włsnych bdń [Wójcik, 2010]. Do bdni wybrno odległość kątową ( wzór 2) orz odległość Jccrd ( wzór 3) [Dez, Dez 2009]. Obydwie te miry są znormlizowne. xk yk k 1 d X, Y 1, 1 n n 2 2 x k y k 1 n k 1 k (2) gdzie: X, Y d X, Y 2 1 n 2 xk k 1 n x y k k k 1 n n 2 yk xk yk k 1 k 1 dokumenty, kolumny mcierzy częstości, d X, Y odległość pomiędzy dokumentmi X iy, k numery wyrzów, wiersze mcierzy częstości, x k y, liczb wystąpień k -tego słow w dokumentch X, Y, elementy mcierzy k częstości n przecięciu k -tego wiersz i kolumn X i Y. Dużą zletą znormlizownych mir jest łtwość przeksztłceni miry odległości n mirę podobieństw. Wykorzystny do tego może zostć wzór 4. Miry znormlizowne są również łtwiejsze w interpretcji. Możn je wyrzić jko wrtość procentow, co bezpośrednio może zostć przełożone n stwierdzenie, że dokument X jest podobny do dokumentu Y w 100 s X, Y %. X, Y 1 dx Y s,, (4) gdzie s X, Y podobieństwo pomiędzy dokumentmi X iy. (3)

4 Stron4 3.3 Wstępne przetwrznie dokumentów Przed przystąpieniem do symulcyjnej nlizy przydtności wybrnych mir podobieństw tekstów nleży poddć dokumenty wstępnemu przetwrzniu. W tym celu dokumenty zostły połączone w korpus. Nstępnie w rmch wstępnego przetwrzni dokumentów wszystkie litery w dokumentch zostły zmienione n młe, usunięto interpunkcję i biłe znki orz usunięto słow znjdujące się n tzw. stopliście [Feinerer, Hornik i Meyer 2008]. Zrówno w bdniu symulcyjnym jk i w przetwrzniu wstępnym wykorzystno język R, w szczególności pkiet tm. 3.4 Bdnie symulcyjne N podstwie tk przygotownych dokumentów utworzon zostł mcierz częstości w dwóch wersjch: podstwowej i binrnej. Jk wcześniejsze bdni i litertur [Borrtyński, 2009] wskzują dl miry kątowej lepsze wyniki dje wykorzystnie podstwowej wersji mcierzy częstości, dl miry Jccrd wersji binrnej. Poniewż teksty były zbliżonej długości nie było konieczne dodtkowe wżenie mcierzy częstości wgą uwzględnijącą liczbę wyrzów w poszczególnych dokumentch. Utworzon mcierz m 1110 wierszy (terminy) i 22 kolumny (dokumenty). Rzdkość mcierzy wynosi 88%, co ozncz, że 88% wszystkich wrtości w mcierzy to 0. N tk przygotownych mcierzch częstości przeprowdzono dlsze bdni. 4 Miry podobieństw tekstów oprte n wiedzy dziedzinowej w postci ontologii T część rtykułu poświecon zostł omówieniu nlizy symulcyjnej mir podobieństw tekstów oprtych n wiedzy dziedzinowej. W pierwszej kolejności przedstwion zostnie ontologi wykorzystn w bdniu. Nstępnie omówione zostnie ontologiczne podejście do nlizy skupień wykorzystne w bdniu symulcyjnym. 4.1 Ontologi Do reprezentcji wiedzy dziedzinowej wykorzystywne są ontologie. Ontologi w sensie informtycznym to formln reprezentcj pewnej dziedziny wiedzy, n którą skłd się zpis zbiorów pojęć (ng. concept) i relcji między nimi. Pojęci mogą posidć również włściwości w postci trybutów. Instncje to reprezentcje obiektów rzeczywistych w ontologii. [Lul i Pliwod-Pękosz 2008] N podstwie opcji dostępnych przy wyszukiwniu ofert utworzon zostł ontologi zwierjąc przykłdową strukturę ogłoszeni. Jest on zprezentown n rysunku 2. Do utworzeni ontologii wykorzystywne były progrmy Protégé i NeOn Toolkit. Nzwy kls,

5 Stron5 relcji i trybutów w ontologii są w języku ngielskim ze względu n uniwerslność tego język w bdnich. Podstwową klsą jest kls Adverts. Wszystkie pozostłe są jej podklsmi. Zostły one połączone relcjmi. Rysunek 2. Struktur ontologii Crs wykorzystnej w bdnich. Źródło: oprcownie włsne w progrmie NeOn Toolkit Kolejnym krokiem po stworzeniu ontologii było zimportownie do niej dnych dostępnych w postci tekstu w ogłoszenich. Do tego zdni wykorzystno progrm Gte (ng. Generl Architecture for Text Engineering), czyli opensource owe oprogrmownie służące do przetwrzni i nlizy tekstu. Teksty uzyskne w wyniku ekstrkcji dnych ze stron internetowych z ogłoszenimi połączono w korpus dokumentów. Nstępnie wczytno uprzednio utworzoną ontologię zwierjącą jedynie definicje kls, relcji i trybutów. Dokonno również tokenizcji dokumentów, czyli podziłu n poszczególne słow orz spcje pomiędzy nimi. W celu oznczeni w tekście i zimportowni z dokumentów tekstowych do ontologii dnych wykorzystno język Jpe (ng. Jv Annottion Ptterns Engine), czyli język pozwljący n wyszukiwnie w tekście wzorców zdefiniownych w oprciu o mechnizm wyrżeń regulrnych. Rysunek 3 (z lewej) przedstwi przykłdową ofertę z rysunku 1 wczytną do progrmu GATE. N kolorowo oznczono frzy psujące do konkretnych reguł JAPE wymienionych po prwej stronie okn progrmu. Rysunek 3. Przykłdowe ogłoszenie z oznczonymi n kolorowo frzmi spełnijącymi konkretne reguły JAPE (po lewej) orz opisne w ontologii. Źródło: oprcownie włsne z wykorzystniem progrmu GATE i NeOn Toolkit.

6 Stron6 Z kolei rysunek 3 w środku i z prwej przedstwi przykłdowe ogłoszenie opisne w ontologii. W środku znjduje się grf ilustrujący relcje pomiędzy ogłoszeniem (smochodem), tymi jego elementmi, które zostły ujęte w ontologii jko instncje kls. Po prwej stronie przedstwiono trybuty ogłoszeni (smochodu) z konkretnymi ich wrtościmi. Ontologie wypełnioną w ten sposób dnymi wykorzystno w bdniu symulcyjnym. 4.2 Bdnie symulcyjne Do porównni ofert sprzedży smochodów z wykorzystniem ontologii wykorzystno system OBCA (ng. Ontology-Bsed Cluster Anlysis). OBCA jest to podejście do nlizy skupień bzujące n ontologich. Koncepcj systemu (OBCA Frmework) zostł zproponown przez [Lul i Pliwod-Pękosz 2008]. Jej implementcj zostł opisn w [Tuchowski, i inni 2011]. Rysunek 4. Okno plikcji OBCA System. Źródło: oprcownie włsne. Aplikcj zostł npisn w Jvie. Podczs implementcji wykorzystno dw pkiety Jvy. JENA służy do wczytni ontologii i odwoływni się do jej elementów (klsy, instncje, relcje i trybuty). Ntomist SimPck zwier interfejsy i klsy poszczególnych mir podobieństw, które były wykorzystywne w bdniu. Rysunek 4 przedstwi interfejs grficzny plikcji z wczytną ontologią wykorzystną w bdniu i instncjmi wybrnymi do porównni. N podobieństwo cłkowite kżdych dwóch instncji opisnych w jednej ontologii skłdją się trzy rodzje podobieństw: tksonomiczne, trybutów i relcyjne. Podobieństw te są nstępnie gregowne do jednej wrtości. Przedstwi to formuł 5. (5) W bdnich jko funkcj gregując wykorzystn zostł średni wżon.

7 Stron7 Podobieństwo tksonomiczne to podobieństwo wynikjące z hierrchicznej zleżności pomiędzy klsmi. Liczone nie dl porównywnych instncji, le dl kls, do których obiekty te nleżą. W bdnich wykorzystno mirę Wu-Plmer przedstwioną wzorem 6. (6) gdzie : - odległosć węzł x od korzeni, - njbliższy wspólny przodek dl węzłów x i y. Podobieństwo trybutów to zgregowne podobieństwo podobieństw liczonych dl kżdego trybutu osobno. Podobieństw względem konkretnych trybutów są liczone według różnych wzorów w zleżności ot typu trybutu. W chwili obecnej system m zimplementowne miry dl łńcuchów znkowych (mir Levenstein - minimln liczb opercji potrzebnych do zminy jednego łńcuch tekstowego w drugi), wrtości numerycznych (wzór 7), dt (zmin n liczbę cłkowitą i korzystnie z mir dl tychże) orz dl wrtości logicznych (wzór 8). Prowdzone są prce nd mirą kątową do dłuższych tekstów b s, b 1 (7) MAX MIN (8) Podobieństwo relcyjne to zgregowne podobieństwo tksonomiczne i trybutów instncji, które z bdnymi instncjmi wchodzą w relcje. Bzuje ono n podobieństwie relcji, jkie tworzą rozptrywne obiekty z innymi obiektmi. Rysunek 5. Dendrogrm przedstwijący wynik hierrchicznej nlizy skupień bdnych ofert (po lewej) orz sklownie wielowymirowe mcierzy podobieństw do przestrzeni dwu (lewej środku) i trójwymirowej (po prwej). Źródło: oprcownie włsne z wykorzystniem progrmu STATISTICA.

8 Stron8 N podstwie powstłej w wyniku obliczeń zgregownej mcierzy podobieństw przeprowdzono nlizę skupień, której efekt możn zobczyć n rysunku 6 po lewej stronie orz sklownie wielowymirowe (w środku i po prwej stronie). 5 Podsumownie W rtykule przedstwione zostły pokrótce wyniki bdń symulcyjnych dotyczących oceny przydtności wybrnych mir podobieństw tekstów. Porównując dokumenty porównywno ich zwrtość merytoryczną. W tym przypdku porównywno nie sme oferty, le oferowne w nich smochody. Nie wszystkie oferty zwierły pełny zestw cech. Brk pewnych dnych wpływ n pomir podobieństw pomiędzy obiektmi. Miry bzujące n ontologii dły lepsze wyniki (brdziej zbliżone do oczekiwnych). W podejściu ontologicznym istnieje możliwość uwzględnieni typu dnych (wrtości liczbowe, logiczne itp.). Nie m ogrniczeni w postci trktowni wszystkiego jko łńcuch tekstowego. Rozwiązniu oprtemu n ontologii brk uniwerslności. W bdnich wykorzystno ontologię zbudowną dl konkretnej dziedziny. Dl innej dziedziny konieczn byłby inn ontologi. Powstje pytnie czy nkłdy potrzebne n stworzenie ontologii i zpisnie reguł pozwljących n utomtyczne uzupełnienie jej dnymi nie przewyższją korzyści, które możn osiągnąć dzięki temu podejściu. Innym powżnym problemem przy budowniu ontologii jest brk stndryzcji w ich tworzeniu. Dl jednej dziedziny może powstć kilk zupełnie różnych ontologii. Struktur ontologii powstje w wyniku subiektywnego postrzegni dnej dziedziny przez tworcę ontologii. 6 Litertur Borrtyński D. "Ocen przydtności częstotliwościowej reprezentcji dokumentów w języku polskim." Rozprw doktorsk. Krków: Uniewrsytet Ekonomiczny w Krkowie, Dez M. M. i Dez E. Encyclopedi of distnces. Heidelberg: Springer-Verlng Berlin, Feinerer I., Hornik K., i Meyer D. "Text Mining Infrstructure in R." Journl of Sttisticl Softwre, Mrzec 2008.

9 Stron9 Lul P, i Pliwod-Pękosz G. "An ontology-bsed cluster nlysis frmework." Proceedings of the first interntionl workshop on Ontology-supported business intelligence. New York, NY, USA: ACM, :1--7:6. Tuchowski J., Wójcik K., Pliwod-Pękosz G, i Lul P. "OBCAS- Ontology bsed cluster nlysis system." Sopot, Wójcik K. "Anliz porównwcz mir podobieństw tekstów." Tksonomi 19. Wrocłw: Wydwnictwo Uniwersytetu Ekonomicznego we Wrocłwiu, mgr Ktrzyn Wójcik, mgr Jnusz Tuchowski Uniwersytet Ekonomiczny w Krkowie Anliz porównwcz mir podobieństw tekstów bzujących n mcierzy częstości z bzującymi n wiedzy dziedzinowej. Zsdniczym celem niniejszej prcy jest prób oceny przydtności znnych z litertury mir podobieństw tekstów bzujących n mcierzy częstości z tymi bzującymi n wiedzy dziedzinowej w postci ontologii. W kolejnych punktch rtykułu przedstwione zostły njpierw dokumenty tekstowe, które były porównywne w bdniu, nstępnie wybrne miry podobieństw oprte m mcierzy częstości i ich nliz symulcyjn. W dlszej części zprezentown zostł ontologi wykorzystn w bdnich orz wyniki przeprowdzonej nlizy symulcyjnej mir oprtych n wiedzy reprezentownej przez tą ontologię. N tej podstwie zostł podjęt prób oceny przydtności tych mir. Słow kluczowe: mir, podobieństwo, mcierz częstości, text mining, ontologi mgr Ktrzyn Wójcik, mgr Jnusz Tuchowski Crcow University of Economics Comprison nlysis of text documents similrity mesures bsed on frequency mtrix nd bsed on domin knowledge. The min objective of this pper is ttempt to evlute the usefulness of known from literture similrity mesures of text documents bsed on frequency mtrix nd those bsed on domin knowledge represented by ontologies. In prticulr prts of the text firstly the documents tht hd been compred in reserch were presented. Secondly, chosen mesures bsed on frequency mtrix were shortly described nd simultion nlysis bsed on those mesures ws presented. Next prt of rticle is devoted to results of simultion nlysis chieved when mesures bsed on ontologies were used. On this bsis the ttempt to evlute the usefulness of similrity mesures of texts were mde. Key words: text mining, similrity, mesure, frequency mtrix, ontology