IDENTYFIKACJA POWIĄZAŃ POMIĘDZY KATEGORIAMI WIKIPEDII Z UŻYCIEM MIAR PODOBIEŃSTWA ARTYKUŁÓW

Transkrypt

1 STUDIA INFORMATICA 2013 Volume 34 Number 2A (111) Julan SZYMAŃSKI, Marcn DEPTUŁA, Henryk KRAWCZYK Poltechnka Gdańska, Wydzał Elektronk, Telekomunkac Informatyk, Katedra Archtektury Systemów Komputerowych IDENTYFIKACJA POWIĄZAŃ POMIĘDZY KATEGORIAMI WIKIPEDII Z UŻYCIEM MIAR PODOBIEŃSTWA ARTYKUŁÓW Streszczene. W artykule opsano podeśce do dentyfkac powązań mędzy kategoram w repozytorum danych tekstowych, bazuąc na Wkped. Przeprowadzaąc analzę podobeństwa mędzy artykułam, określono mary pozwalaące zdentyfkować powązana mędzy kategoram, które ne były wcześne uwzględnone, nadawać m wag określaące stopeń stotnośc. Przeprowadzono automatyczną ocenę uzyskanych rezultatów w odnesenu do uż stneące struktury kategor. Słowa kluczowe: kategoryzaca tekstu, dentyfkaca asocac, Wkpeda IDENTIFICATION OF WIKIPEDIA CATEGORIES ASSOCIATIONS BASED ON ARTICLES SIMILARITIES Summary. In the artcle we present an approach to dentfcaton of relatons between categores organzng the repostory of documents. We descrbe the metrcs of category relevance based on smlarty measures between artcles. The metrcs have been used to dscover relatons between categores wthn Wkpeda repostory. The evaluaton of the proposed method ndcate t allows to reconstruct already exstng assocatons n category structure as well as ntroduce new sgnfcant relatons. Keywords: text categorzaton, assocaton recognton, Wkpeda 1. Wstęp Wkpeda est obszernym zborem wedzy dostępnym on-lne. Jego zawartość est tworzona przez wolontaruszy, w zwązku z tym est ogólnodostępna do wglądu edyc. Ten mechanzm kooperacyne pracy powodue, że dane wprowadzane do Wkped ne są poddawane rygorystyczne kontrol, co może stwarzać problemy zwązane z akoścą nformac

2 296 J. Szymańsk, M. Deptuła, H. Krawczyk w ne zawartych. Otwarce na powszechną edycę pozwolło na bardzo szybk wzrost treśc encykloped. Tak duży zbór powązanych ze sobą nformac tekstowych stwarza szeroke możlwośc analzy danych ęzykowych, dlatego z punktu wdzena repozytorów ęzyka naturalnego Wkpeda est nteresuącym zasobem badawczym. W artykule przeprowadzono analzę struktury powązań pomędzy artykułam w celu dentyfkac powązań mędzy kategoram organzuącym wedzę w Wkped. Podstawowym założenem te analzy est to, że zależnośc mędzy kategoram można określć na podstawe mary podobeństwa mędzy artykułam do nch należącym. Przyęto, że przypsane artykułów do kategor, a także zależnośc pomędzy artykułam są dane a pror. Zadanem est tu stworzene mary pozwalaące na określene wartośc podobeństwa pomędzy artykułam określene na te podstawe mary podobeństwa kategor. Proces ten zobrazowano na rys. 1. Do oznaczeń przyęto symbole C P odpowedno dla kategor artykułów. Sytuacą weścową est zadany graf kategor (z lewe). Następne zostaą usunęte krawędze z tego grafu opsuące połączena pomędzy kategoram zostaą dołączone nformace o przynależnośc artykułów do kategor (rysunek środkowy). Na podstawe analzy podobeństwa pomędzy artykułam należącym do poszczególnych kategor zostae wyznaczony nowy, ważony graf kategor (przedstawony na rysunku z prawe) [1, 2]. Tak uzyskany nowy graf kategor można porównać z dotychczas stneącym, a także ocenć pod kątem kompletnośc poprawnośc. Przeprowadzono to w punktach przedstawaących rezultaty badań. Rys. 1. Wzualzaca procesu generowana powązań pomędzy kategoram na podstawe podobeństwa pomędzy artykułam Fg. 1. Graphcal presentaton of the categores assocatons dentfcaton process 2. Pozyskwane danych Do pozyskana danych zostały wykorzystane plk udostępnone przez Wkmeda Foundaton w forme spakowanych plków w formace SQL. W eksperymentach została użyta wersa SmpleWk z dna r. Dane zawężono do superkategor Category:Artcles, czyl kategor, które są nadrzędne wobec wszystkch nnych kategor w baze danych. Pozostałe superkategore, take ak: kategore zalążkowe (ang. stub), np. Category:People_stubs, lub kategore grupuące artykuły wymagaące uporządkowana, np. Category:Cleanup-

3 Identyfkaca powązań mędzy kategoram Wkped 297 _needed, zaweraą nformace dodatkowe wsperaące prace redaktorów. Z punktu wdzena przeprowadzane analzy ne wnoszą one nc wartoścowego, a w zwązku z newelką zawartoścą treśc mogą wpływać nekorzystne na akość uzyskanych wynków. Do ekstrakc danych została wykorzystana aplkaca Matrxu [3] umożlwaąca zamanę Wkped na postać maszynowo przetwarzaną. Dzęk temu otrzymano: słownk artykułów (tabela 1 a), słownk kategor (tabela 1 b), powązana mędzy artykułam (tabela 1 c), powązana mędzy artykułam a kategoram (tabela 1 d), grafy kategor (tabela 1 e). lsty artykułów przynależących do poszczególnych kategor (tabela 1 f), Tabela 1 Format danych weścowych a) słownk artykułów artcle1_d\tartcle1_name\r\n artcle2_d\tartcle2_name\r\n... b) słownk kategor category1_d\tcategory1_name\r\n category2_d\tcategory2_name\r\n... c) powązana mędzy artykułam assoc2_artcle_d-num_of_lnks2\n artcle1_d#assoc1_artcle_d-num_of_lnks1 artcle2_d#assoc3_artcle_d-num_of_lnks3\n... d) powązana mędzy artykułam, a kategoram artcle1_d\tcategory1_d\tcategory2_d\n artcle2_d\tcategory3_d\n... e) drzewo kategor category1_page_d\tassoc1_category_page_d assoc2_category_page_d\r\n category2_page_d\tassoc3_category_page_d\r\n... f) lsta artykułów category1_page_d\tartcle2_d\r\n category3_page_d\tartcle4_d\r\n... W tabel 1 wykorzystano następuące oznaczena: artcle_d dentyfkator artykułu, artcle_name tytuł artykułu, category_d dentyfkator kategor, category_name nazwa kategor, assoc_artcle_d dentyfkator artykułu powązanego z artykułem wymenonym na początku wersza (artcle_d),

4 Lczba kategor Lczba artykułów Lczba połączeń pomędzy kategoram Lczba połączeń pomędzy artykułam Średna lczba lnków do kategor zależnych w kategor Średna lczba lnków w artykule Gęstość grafu kategor Gęstość grafu artykułów 298 J. Szymańsk, M. Deptuła, H. Krawczyk num_of_lnks lczba powązań mędzy artykułem źródłowym (artcle_d) a artykułem powązanym (assoc_artcle_d), category_page_d dentyfkator strony opsuące kategorę, assoc_category_page_d dentyfkator strony opsuące kategorę powązaną z kategorą, do które należy strona wymenona na początku ln (category_page_d). SmpleWk est edną z welu stneących Wkped. Przykładowe rozmary Wkped w różnych wersach ęzykowych przedstawono w tabel 2. To, co wyróżna SmpleWk spośród nnych Wkped, to fakt, że ne est ona tworzona w żadnym z ęzyków narodowych, tylko w swego rodzau współczesnym esperanto, którym est Smple Englsh. Język ten składa sę wyłączne z podstawowego słownctwa ęzyka angelskego, które w artykułach est przeważne wykorzystywane w postac krótkch zdań o proste gramatyce. Ma to na celu umożlwene tworzena zboru podstawowe wedzy opsane prostym ęzykem, przystępnym dla osób, które dopero uczą sę ęzyka angelskego. Dodatkowo edną z wytycznych dla twórców artykułów w SmpleWk est ogranczene długośc poedynczego artykułu do maksymalne 1000 słów. Tabela 2 Porównane rozmarów przykładowych Wkped 1) EnWk ,60 22,47 5,84E-05 1,25E-06 2) DeWk ,37 20,09 1,71E-04 6,41E-06 3) PlWk ,48 30,82 1,74E-04 2,18E-05 4) SmpleWk ,16 22,88 3,25E-04 1,48E-04 Cechy te, specyfczne dla SmpleWk, powoduą, że SmpleWk est uproszczoną wersą EnWk. Dzęk temu SmpleWk est dobrym polgonem dośwadczalnym do badań nad EnWk, które rozmar powodue koneczność uwzględnana dodatkowych kwest zwązanych z wydanoścą przetwarzana dużych lośc danych.

5 Procent całkowte lczby artykułów Identyfkaca powązań mędzy kategoram Wkped Ogólne statystyk danych weścowych Ze wstępne analzy uzyskanych danych zostały wycągnęte podstawowe statystyk, które są stotne dla oceny wynków uzyskanych w eksperymentach. Dane weścowe zawerały artykułów zgrupowanych w kategorach. 87% artykułów należało do węce nż edne kategor. Szczegółowy rozkład udzału artykułów w funkc lczby kategor, do które przynależą, przedstawono na rys. 2. Artykuły były powązane lnkam. Dae to średno 22,88 lnków (powązań z użycem hperreferenc) wychodzących z artykułu. Rozkład lczby lnków na poszczególne artykuły ne est równomerny. Wyznaczene średne lczby lnków wykreślene e w funkc długośc artykułu (rys. 3) pokazało, że lczba lnków rośne wraz z rozmarem artykułu co est zgodne z oczekwanam. Współczynnk kerunkowy ln trendu równy 0, wskazue, że średno na każde kolene 1000 znaków treśc artykułu przypada eden lnk węce. Lczba kategor, do których należy artykuł Rys. 2. Procentowy udzał artykułów w funkc lczby kategor, do których należą Fg. 2. The dstrbuton of the artcles amount and number of ther categores Ze względu na duży krok os X dużą zarnstość danych średna lczba lnków przedstawona na rys. 3 została wylczona wg wzoru: L sr g d L A g g, g g, (1) A g, g A d g gdze: L sr (g d, g g ) średna lczona w grancach g, L lczba lnków wychodzących z artykułu A. A g d, g A długość artykułu A,

6 300 J. Szymańsk, M. Deptuła, H. Krawczyk 4. Cel analzy Zawartość Wkped składa sę z kategor artykułów, które sę w nch znaduą. Kategore są pomędzy sobą powązane, a treść artykułów zawera odwołana do nnych artykułów zwązanych tematyczne z danym zagadnenem. Zarówno kategore, artykuły, powązana pomędzy artykułam, ak zwązk pomędzy kategoram są tworzone ręczne przez redaktorów wolontaruszy pracuących dla Wkped. Celem przeprowadzonych badań est analza możlwośc automatycznego dentyfkowana nowych powązań pomędzy kategoram opsuącym treść artykułów w nch zawartych na wysokm pozome abstrakc. Pozwol to na wynadowane nowych stotnych powązań pomędzy kategoram, które ne zostały awne zdefnowane przez redaktorów, a mogą być nteresuące dla osób korzystaących z opsu kategoralnego treśc Wkped. Podeśce take będze umożlwać np. znadowane nowych nteresuących kerunków, w których można przeprowadzć wyszukwane nformac [4]. Rys. 3. Średna lczba lnków w funkc długośc artykułu w znakach wraz z lną trendu Fg. 3. The average lnks number n functon of artcle length (n characters) Ogólne problem sprowadza sę do utworzena mary podobeństwa pomędzy kategoram sm K zgodne ze wzorem (2), na podstawe wybrane mary podobeństwa pomędzy artykułam sm A. sm K K K sm A K, A K, (2) A

7 Identyfkaca powązań mędzy kategoram Wkped 301 Oznaczene określa utworzene podobeństwa pomędzy kategoram K oraz K na podstawe podobeństwa sm A artykułów należących do każde z kategor A K, A. Proces ten zobrazowano na rys. 4. K Rys. 4. Analza podobeństwa kategor na podstawe podobeństwa pomędzy artykułam w nch zawartym Fg. 4. Analyss of categores smlarty based on ther artcles smlarty 5. Funkca podobeństwa pomędzy artykułam Funkca sm A może zostać zdefnowana różnorodne, zależne od tego, ake cechy artykułów są uwzględnone w merzonym podobeństwe. Dla celów te analzy przyęto marę opartą na referencach występuących pomędzy artykułam. Intencą te mary est określene, że dwa artykuły są tym bardze podobne, m slne są ze sobą powązane lnkam. Przykładam nnych mar mogłoby być chocażby występowane podobnych słów w treśc bądź określane podobeństwa w analze spakowanych plków danych [5]. Założono, że analza zostae wykonana wyłączne dla lnków bezpośrednch, ednakże można rozważyć powązana wyższych rzędów, ze względu na strukturę małego śwata [6, 7] Wkped, które muszą zostać w odpowedn sposób ważone. Inną możlwoścą est użyce nformac o kolenośc poawana sę referenc w artykule np. wykorzystywane tylko tych, które znaduą sę na początku artykułu (ze względu na ch wększą deskryptywność) lub też zastosowane metod rankngowana [8, 9], co pozwolłoby określć relewantność lnków. Przyęto, że artykuły A A są do sebe tym bardze podobne, m wększy est udzał lczby lnków bezpośredno e łączących L A, A w sumaryczne lczbe lnków zdefnowanych w te parze artykułów LA L. sm A LA, A A LA A A, A, (3) L gdze: A artykuł, L A, A zbór lnków łączących artykuły A A, L(A ) zbór wszystkch lnków wychodzących z A.

8 Procent udzał we wszystkch kategorach 302 J. Szymańsk, M. Deptuła, H. Krawczyk Dla tak zdefnowane funkc podobeństwa wyznaczono statystykę podobeństwa dla zboru wszystkch par artykułów. Statystyka ta pokazue, że dowolne wybrane dwa artykuły w 99,9994% przypadków ne przekroczą 0,1 podobeństwa. Ze szczegółowych danych wynka, że podobeństwo dla losowo wybrane pary ne przekroczy nawet 0,01 w 99,95% przypadków. Wskazue to na to, że przyęta mara podobeństwa ne powodue dość znaczących korelac dla losowo wybranych artykułów, co est zgodne z oczekwanam. Jednocześne można z tego wywnoskować, że graf podobeństwa pomędzy artykułam wygenerowany przy użycu te mary est bardzo rzadk. Potwerdzaą to statystyk przedstawone w tabel 2. Ocenaąc akość takego grafu, należy zbadać, czy podobeństwo pomędzy artykułam est wększe tam, gdze sę tego spodzewano. Take wynk oczekwane są dla artykułów należących do edne kategor. Analza tego przypadku została wykonana w ramach oceny spónośc kategor opsane w punkce Spónośc kategor Rys. 5. Procentowy udzał kategor w funkc ch spónośc Fg. 5. Dstrbuton of categores cardnalty n functon of ther coherence Na podstawe zdefnowane w punkce 5 funkc podobeństwa sm A zdefnowano funkcę spónośc kategor S(K ) ako proporcę lczby lnków łączących wyłączne artykuły w obrębe poedyncze kategor do lczby wszystkch lnków zdefnowanych w artykułach do ne należących. Można to wyrazć przez sumę podobeństw pomędzy poszczególnym

9 Identyfkaca powązań mędzy kategoram Wkped 303 param artykułów ważoną lczbą lnków wychodzących z artykułów pary o danym podobeństwe normalzowaną przez lczbę wszystkch lnków w obrębe kategor. S K A, Ak K A, Ak K AK sm A L A, L A A, Ak LA LAk LA AK Ak Oznaczena przyęte we wzorze (4) są take same ak we wzorze (3). Dodatkowym założenem est to, że kategore (K ) są zboram zaweraącym artykuły, które są do nch przypsane. Dla tak zdefnowane mary spónośc wylczono e wartośc dla wszystkch kategor uęto e w statystyce na rys. 5. Spóność okazała sę równa 0,000 dla 52% kategor wg założone mary spónośc. Dla pozostałych 48% wartość ta okazała sę nezerowa. Średna spóność w obrębe tych 48% kategor est ponaddwukrotne wększa nż średna spóność wszystkch kategor równa nemal 0,1. Śwadczy to o tym, że dla prawe połowy kategor mara oparta na lnkach ma zastosowane wykazue zależność artykułów w obrębe kategor. Druga połowa kategor odstae pod tym względem, co bezpośredno śwadczy o małe lczbe powązań pomędzy artykułam należącym do kategor z te grupy. Zakładaąc, że artykuły z kategor sąsednch (należących do ednego rodzca) mogą być powązane wększą lczbą referenc nż te w obrębe poedyncze kategor, zgrupowano kategore w grupy sąsedzke. Statystyka spónośc dla tak zdefnowanych zborów okazała sę lepsza nż dla poedynczych kategor. Obe statystyk zostały porównane na rys. 5. W statystyce oparte na grupach sąsedzkch udzał ednostek o spónośc w przedzale (0,00-0,01) spadł o połowę. Średna spóność, która dla poedynczych kategor była równa tyko 0,04, dla grup kategor okazała sę dwukrotne wyższa. Śwadczy to o tym, że co namne druge tyle powązań, które łączą artykuły w obrębe same kategor, wąże artykuły z sąsednch, spokrewnonych kategor. Z tego powodu średna spóność dla grup sąsedzkch est odpowedno wyższa. Wyodrębnono 1139 kategor, które wykazuą spóność ponże 0,01, borąc e pod uwagę zarówno ako poedyncze kategore, ak w ramach grupy sąsedzke. Kategore te stanową 4,5% wszystkch kategor. Analzuąc ten zbór okazało sę, że 666 (2,7% wszystkch kategor) z nch ne zawera artykułów. Są to take kategore, ak np. Category:Content, w których wele artykułów sę zawera, ednak ze względu na reguły przypsywana artykułów do kategor artykuły te są przypsane do ch kategor potomnych 1. Pozostałe 1,8% kategor, które uzyskały spóność ponże 0,01 zarówno poedynczo, ak w grupe sąsedzke, stanow bardzo nteresuącą grupę, która zgodne z założenam przy- (4) 1

10 304 J. Szymańsk, M. Deptuła, H. Krawczyk ęte mary faktyczne wykazue zerową spóność. Należy do ne np. Category:Greek- _people, zaweraąca w sobe artykuły: Dave_Batsta, El_Greco, Prnce_Phlp, Duke_of_Ednburgh Mke_Zambds, które rzeczywśce ne maą ze sobą nc wspólnego poza tym, że opsuą osoby, pochodzące z Grec, ednakże ne są zupełne powązane. Innym przykładem take kategor est Category:Natural_scences, zaweraącą tylko artykuł Bology, który, poneważ ne ma powązań sam ze sebą, ne zapewna kategor spónośc. Dodatkowo ze względu na to, że ta kategora ma dość wysok pozom abstrakc, e grupa sąsedzka (Category:Bology, Category:Physcal_scences) także dotyczy poęć na tyle abstrakcynych, że ne stnee żaden lnk łączący artykuły należące do tych kategor. 7. Ocena nowych powązań pomędzy kategoram w odnesenu do powązań zdefnowanych przez redaktorów Wkped Funkce podobeństwa kategor zdefnowano ako lczbę lnków łączących artykuły należące do tych kategor w stosunku do całkowte lczby lnków w nch zdefnowanych. Można to wyrazć ako znormalzowaną, ważoną sumę podobeństw par artykułów z tych kategor. sm K K, K A K k A k, A K l A K k A l L K A K k k L A, A A l sm l L AAl, Ak LAl LAk A LA k We wzorze (5) przyęto oznaczana ak we wzorach (3) (4). Dla tak zdefnowane mary podobeństwa została wyznaczona wartość podobeństwa dla wszystkch par kategor. Nemalże wszystke pary kategor wykazały zerowy pozom podobeństwa. Dla dowolne wybrane pary kategor stnee 99,55% prawdopodobeństwa, że te kategore ne będą ze sobą w ogóle zwązane. Jest to uzasadnone, gdyż prawdopodobeństwo wylosowana pary pokrewnych kategor ze zboru możlwych par kategor, które zostały przyęte do analzy, est bardzo małe. Po przeanalzowanu grafu kategor zdefnowanego w wers SmpleWk (G w ) okazało sę, że składa sę on z połączeń defnuących pary kategor, które są ze sobą bezpośredno zwązane. Stanow to 0,028% wszystkch możlwych par kategor, co wskazue, że wynk statystyk podobeństwa kategor uzyskany dla dowolnych par kategor est uzasadnony. Mara podobeństwa (wzór (3)) zastosowana dla grafu G w uż tylko dla necałych 40% dała wartośc ponże 0,01. Dla pozostałych 60% par wykazała znaczące podobeństwo. Jest to A K l l (5)

11 Procent lczby wszystkch par kategor w zadanym zborze Identyfkaca powązań mędzy kategoram Wkped 305 dametralne nna statystyka nż dla zboru dowolnych par kategor (K w ). Porównane obu statystyk zostało przedstawone na rys. 6. Szukaąc odpowedz na pytane, dlaczego mmo wszystko 40% par kategor wykazało tak nską wartość podobeństwa z użycem funkc oparte na lnkach (wzór (5)), można zwrócć uwagę na to, że bardzo podobny procent kategor wykazywał brak spónośc (50%). Wobec powyższego odrzuclśmy wszystke pary zaweraące kategore o wartośc spónośc ponże 0,01 (powstały graf został oznaczony ako G ws ). Spowodowało to odrzucene 6947 par kategor (~65%). Pozostałe 3721 par okazało sę meć uż znaczne lepszą statystykę. W te grupe uż tylko trochę ponad 25% par kategor wykazało podobeństwo w przedzale (0,00 0,01) nemalże druge tyle znalazło sę w przedzale (0,01 0,02). Procentowy udzał par kategor malee też wyraźne wolne w kerunku rosnących wartośc podobeństwa nż dla grafu (G w ) sprzed odrzucena par zaweraących kategore o małe wartośc spónośc. Rys. 6. Porównane statystyk podobeństwa wyznaczone dla par należących do grafu kategor (G w ) dla wszystkch możlwych par kategor (K w ) Fg. 6. Comparson of smlarty dstrbuton calculated for pars taken form graph category (G w ) and all possble pars of categores (K w ) Podczas analzy grafu G ws wyodrębnono 954 pary kategor, które wykazały spóność ponże 0,01. Pary te stanową 0,9% wszystkch połączeń pomędzy kategoram. Z bezpośredne analzy tych połączeń wynkło, że pommo ż pomędzy kategoram utworzone zostały słabe powązana, to brak powązań artykułów mędzy sobą est uzasadnony. Przykładem takego połączena może być połączene pomędzy kategoram Category:Water Category:Water_transportaton. Kategora Category:Water_transportaton zawera sę w kategor Category:Water, ale poneważ perwsza zawera take artykuły, ak np.: Aqueduct, Hydro-

12 Procent udzału w badanym zborze Procent lczby wszystkch par kategor w zadanym zborze 306 J. Szymańsk, M. Deptuła, H. Krawczyk logy, Vapor, a kategora Category:Water_transportaton zawera take artykuły, ak: Crew, Dock Ferry, to uzasadnone est, że te dwe grupy artykułów sę ze sobą ne łączą. Rys. 7. Porównane statystyk podobeństwa wylczone dla par należących do grafu kategor (G w ) do zmodyfkowanego grafu kategor (G ws ) Fg. 7. Comparson of smlarty dstrbuton calculated for pars of category graph (G w ) and modfed category graph (G ws ) Rys. 8. Statystyka sensownośc połączena dla nabardze podobnych par kategor spoza grafu G w Fg. 8. Dstrbuton of meanngful assocatons between the most smlar categores out of G w graph

13 Identyfkaca powązań mędzy kategoram Wkped Ocena nowych połączeń pomędzy kategoram, nezdefnowanych wcześne w grafe kategor Wkped Korzystaąc z przyęte mary podobeństwa pomędzy kategoram, można postawć pytane: na le graf kategor zdefnowany w SmpleWk est kompletny? W celu dokonana te oceny pobrano 1000 par kategor spoza grafu kategor o możlwe nawększe wartośc podobeństwa. Otrzymany zbór par reprezentował podobeństwa w przedzale (0,17 0,62), czyl wększe nż ponad 99% par z grafu G w! Średna wartość podobeństwa dla tego zboru wynosła 0,24. W celu oceny akośc grafu powstałego po dodanu nowo otrzymanych połączeń do orygnalnego grafu kategor przeprowadzono ręczną ocenę sensownośc. Ocena ta była przyznawana w skal 0-10 została przeprowadzona nezależne przez dwe osoby. Otrzymane uśrednone wynk przedstawono na rys. 8. Obrazuą one, że znaczna wększość (93%) par kategor z zadanego zboru okazała sę sensowna, otrzymuąc ocenę 5 lub wększą. Jednak tylko ¼ z nch (24%) okazała sę na tyle sensowna, żeby meć pewność co do tego, że take połączene mogłoby stneć uzyskać ocenę 10. Znaczna wększość, bo 57% ze wszystkch ocenanych par, otrzymała ocenę 5. Śwadczy to o duże zbeżnośc tematyk, ednak równeż o braku możlwośc zdefnowana sensowne relac pomędzy nm. Na przykład Category:Nrvana_albums Category:Nrvana_songs dotyczą dokładne te same dzedzny, ale ne można ednoznaczne powedzeć, że edna zawera drugą, bo każda z nch reprezentue nny porządek tego samego zagadnena. Cekawą grupę stanową pary, które otrzymały oceny z zakresu 6-8. Są to kategore, które sę wzaemne zaweraą, ale ne est to zawerane pełne, ak np. Category:Early_Chrstan_Sants Category:New_Testament_people. Wkpeda nestety ne przewdue możlwośc określena relac częścowego zawerana sę kategor. Relace take można ednak zbudować zarówno na podstawe stneących połączeń pomędzy kategoram artykułam, ak na podstawe analzy ch treśc czy struktury, przymuąc odpowedne mary podobeństwa. Tworzene takch połączeń oraz możlwośc ch wykorzystana zostały szerze opsane w [10]. Jak wynka z przeprowadzonych analz, powązana take mogłoby być równeż nteresuące z punktu wdzena użytkownka Wkped szukaącego treśc podobnych do zadanych. Take powązana pozwalałyby na przemeszczane sę po kategorach w kerunku horyzontalnym, co stanow rozszerzene typowego poruszana sę po strukturze herarchczne. Ten typ podobeństwa pozwala na dentyfkacę zagadneń zwązanych częścowo, a przez to pokrewnych koncepcyne.

14 308 J. Szymańsk, M. Deptuła, H. Krawczyk 9. Podsumowane Z analzy rezultatów uzyskanych w przeprowadzonych eksperymentach wynka, że mara podobeństwa oparta na powązanach est marą daącą dobre rezultaty. Na zadanych zborach danych otrzymano rezultaty zgodne z oczekwanam. Jednak słabym punktem te mary z całą pewnoścą są dane weścowe, bo w momence gdy możlwe do zdefnowana powązana ne zostały utworzone w obrębe artykułów, wartość zarówno spónośc, ak podobeństwa spada praktyczne do zera. Tak efekt można było zaobserwować dla około 50% kategor, co w sposób wyraźny rzutowało na wynk. Rozwązanem problemów mary oparte na powązanach mędzy artykułam est wyłączne naprawa danych weścowych. Potencalne ne będą mały tego problemu mary oparte na analze treśc artykułów, co planue sę zbadać w kolenych częścach eksperymentu. Uzyskane powązana pomędzy kategoram zostały wykorzystane w naszym prototypowym systeme do wspomagana wyszukwana nformac w Wkped ( W systeme tym powązana pomędzy kategoram umożlwaą odnadowane nformac koncepcyne podobnych do tych, które wskazał użytkownk [11]. Zaproponowane podeśce do dentyfkac powązań mędzy kategoram na podstawe analzy podobeństwa obektów może zostać uogólnone na nnego rodzau zbory danych nż przedstawone w artykule repozytora tekstu. Na przykład opsana metoda dentyfkac powązań mędzy elementam grup może zostać wykorzystana do odtwarzana asocac mędzy grupam organzuącym podobne osoby w secach społecznoścowych [12]. BIBLIOGRAFIA 1. Szymańsk J.: Mnng relatons between Wkpeda Categores. Proceedngs of the 2th Internatonal conference of network of Dgtal Technologes, Sprnger, Prague Holloway T., Bozcevc M., Borner K.: Analyzng and vsualzng the semantc coverage of Wkpeda and ts authors. Complexty, No. 12(3), 2007, s Szymańsk J.: Wkpeda Artcles Representaton wth Matrx u. Sprnger, LNCS (n prnt), Szymańsk J., Duch W.: Dynamc Semantc Vsual Informaton Management. Proceedngs of the 9th Internatonal Conference on Informaton and Management Scences, Urumch, Chna, 2010, s

15 Identyfkaca powązań mędzy kategoram Wkped Szymańsk J., Duch W.: Representaton of hypertext documents based on terms, lnks and text compressblty. Neural Informaton Processng, Theory and Algorthms, Sydney 2010, s Mlgram S.: The small world problem. Psychology today, 2(1), 1967, s Watts D.: Small worlds: the dynamcs of networks between order and randomness. Prnceton Unversty Press, Klenberg J.: Authortatve sources n a hyperlnked envronment. Journal of the ACM (JACM), 46(5), 1999, s Langvlle A., Meyer C.: Deeper nsde pagerank. Internet Mathematcs, 1(3), 2004, s Deptuła M., Szymańsk J., Krawczyk H.: Interaktywne wyszukwane nformac w dużych kolekcach danych oparte o zysk nformacyny na podstawe danych z Wkped. (w druku), Szymańsk J.: Interactve Informaton Retreval Algorthm for Wkpeda Artcles, Sprnger, LNCS, 2012, s Zygmunt A., Koźlak J., Krupczak Ł.: Analza grup w serwsach społecznoścowych. Studa Informatca, Vol. 32, No. 2A (96), Glwce 2011, s Wpłynęło do Redakc 7 styczna 2013 r. Abstract In the artcle an approach to dentfcaton of relatons between categores that organze the repostory of documents has been presented. We provde detaled statstc of processed Wkpeda data. We descrbed n detal our approach based on metrcs of the category relevance based on smlarty measures between artcles. The metrcs have been used to dscover relatons between Wkpeda categores. The evaluaton of the proposed method ndcates that t s possble to reconstruct almost half of already exstng assocatons n category the structure. Also the method allows to ntroduce new, sgnfcant relatons between categores. The ndentfed relatons between categores fnds many applcatons especally n nformaton retreval doman and natural language processng.

16 310 J. Szymańsk, M. Deptuła, H. Krawczyk Adresy Julan SZYMAŃSKI: Poltechnka Gdańska, Wydzał Elektronk, Telekomunkac Informatyk, Katedra Archtektury Systemów Komputerowych, ul. Narutowcza 11/12, Gdańsk-Wrzeszcz, Polska, Marcn DEPTUŁA: Poltechnka Gdańska, Wydzał Elektronk, Telekomunkac Informatyk, Katedra Archtektury Systemów Komputerowych, ul. Narutowcza 11/12, Gdańsk-Wrzeszcz, Polska, Henryk KRAWCZYK: Poltechnka Gdańska, Wydzał Elektronk, Telekomunkac Informatyk, Katedra Archtektury Systemów Komputerowych, ul. Narutowcza 11/12, Gdańsk-Wrzeszcz, Polska,