Budowa słownika frekwencyjnego na bazie polskojzycznych stron internetowych

Transkrypt

1 Katedra Automatyki Akademii Górniczo - Hutniczej Praca Dyplomowa Budowa słownika frekwencyjnego na bazie polskojzycznych stron internetowych Bartosz Zarzyczny pod kierunkiem: dr Adriana Horzyka Kraków, wrzesie

2 Spis treci: 1. Wstp 2. Sposoby pozyskiwania informacji w Internecie Podstawowe informacje Wyszukiwarki Metawyszukiwarki Portale, wortale i strony startowe Kolekcje linków Katalogi stron Osobiste narzdzia wyszukiwawcze Owiecone zgadywanie. 3. Budowa wyszukiwarki internetowej Wyszukiwarki Zadanie pajka Budowa pajka Punkty startowe Specjalizacja pajka Czstotliwo odwieania Bardzo zaawansowane pajki Indekser dokumentów Zapytania. 4. Realizacja Podstawowe informacje Załoenia Projekt Schemat działania pajka internetowego Porównanie wyników. 5. Zakoczenie. Bibliografia 2

3 1. Wstp Coraz wiksza ilo przenonych urzdze i automatów komunikujcych si z operatorem powoduje konieczno opracowania ograniczonych słowników umoliwiajcych porozumienie si z uytkownikiem. Słowniki te musz by ograniczone pod wzgldem iloci słów. Powodem tego jest to, e komunikacja jest dla nich dodatkow funkcj, a nie podstawowym procesem. Bardzo du popularnoci ciesz si obecnie słowniki w telefonach komórkowych wspomagajce szybkie pisanie krótkich wiadomoci tekstowych (sms) niestety zawarte w nich słowa nie zawieraj najpopularniejszych fraz z jzyka potocznego, który dynamicznie si zmienia powoduje to konieczno dopisywania nowych słów (o ile telefon udostpnia tak funkcj). Celem pracy jest stworzenie słownika frekwencyjnego (słownika przedstawiajcego ilo wystpie danego wyrazu) na podstawie polskojzycznych stron internetowych. W tym celu został wykonany program analizujcy polskie strony internetowe, a wyniki tych analiz s zapisywane w bazie danych. Jako platform słuc do stworzenia pajka (programu analizujcego, z ang. crawler, spider) wybrano PHP (Hypertext Preprocessor) jzyk słucy do tworzenia stron internetowych oraz baz danych MySQL. Zarówno PHP jak i MySQL s projektami OpenSource (o ogólno dostpnym kodzie ródłowym) umoliwiajcymi uruchomienie projektu na najbardziej popularnych platformach systemowych (np. Linux, Windows) i natychmiastowej prezentacji wyników w sieci Internet. 3

4 Efektem pracy jest aplikacja, która jednokrotnie odwiedziła kilkanacie tysicy stron internetowych i dokonała ich analizy w celu stworzenia słownika frekwencyjnego. Wynikiem działania aplikacji bdzie baza danych zawierajca wszystkie polskie słowa (take te, które w wietle zasad ortografii zawieraj błdy, lecz mog by wykorzystywane w potocznym jzyku) z odwiedzonych stron internetowych. Ubocznym efektem bdzie baza adresów odwiedzonych stron internetowych, które zostały poddane analizie. Praca została podzielona na pi rozdziałów: Rozdział 1 - wstp zawiera krótkie przedstawienie zakresu pracy. Rozdział 2 - sposoby pozyskiwania informacji w internecie - prezentuje tematyk wyszukiwania informacji w sieci i sposoby jej pozyskiwania. Rozdział 3 - budowa własnej wyszukiwarki opis, w jaki sposób tworzy si wyszukiwark internetow, jakie elementy powinna zawiera. Rozdział 4 - realizacja - projekt wyszukiwarki. Rozdział 5 - zakoczenie - podsumowanie pracy, wnioski. 4

5 2. Sposoby pozyskiwania informacji w Internecie Podstawowe informacje. Dziki Internetowi wiat staje si globaln wiosk, w której wszystko jest w zasigu rki. Niestety ta wioska jest bardzo zamiecona przez rónego rodzaju informacje. W tym momencie mamy (wg. danych otrzymanych z Google.com) ponad cztery miliardy stron internetowych. W takim kotle ciko jest znale jakiekolwiek informacje. Stanowi to całkiem realny problem, przed którym staje kady uytkownik Internetu. Rozwizaniem tego problemu s rónego rodzaju metody i narzdzia umoliwiajce oraz ułatwiajce przeszukiwanie zasobów internetowych. Moemy natrafi na setki rónego rodzaju narzdzi, które moemy podzieli na podstawowe grupy [1]: wyszukiwarki metawyszukiwarki portale, wortale kolekcje odnoników do innych stron internetowych katalogi stron osobiste narzdzia wyszukiwawcze owiecone zgadywanie 5

6 rozwizania mieszane (połczenie dwóch lub wicej wyej wymienionych, np. najpierw poszukiwanie w katalogu, potem zapytania do wyszukiwarek) Taki podział moe wydawa si oczywisty, lecz zazwyczaj jest on ignorowany przez wikszo internautów, a stanowi jedn z podstawowych informacji, gdy chcemy wiadomie i efektywnie wyszukiwa informacje. Systemy wyszukiwawcze składaj si z: Podsystemu pozyskiwania dokumentów Podsystemu indeksujcego Podsystemu wyszukiwawczego Wyszukiwawczej bazy danych Tymczasowego składowisko dokumentów Rysunek 2.1: Budowa systemu wyszukiwawczego [1] 6

7 2.2. Wyszukiwarki. W obecnej chwili najlepsze moliwoci wyszukiwania i to ze wzgldu na zakres, relatywno i szybko wyszukiwania maj wyszukiwarki internetowe. Komunikacja z nimi odbywa si za pomoc słów kluczowych. Wyszukiwarka przeszukuje podane słowa lub słowo w bazie a nastpnie wywietla wynik w postaci listy adresów url (ang. Uniform Resource Locator - zunifikowany format odnoników do zasobów), zazwyczaj z krótkim opisem pobranym ze strony lub wpisanym przez redaktorów. Zapytania do bazy danych mog składa si z sekwencji słów kluczowych, wyrae logicznych lub z zapyta w jzyku naturalnym. Wyszukiwarki obecnie maj znaczn przewag nad katalogami. Najwiksze wyszukiwarki ogólnego przeznaczenia posiadaj ponad miliard linków (np. ponad cztery miliardy), za najmniej znaczce wyszukiwarki - co najmniej 50 milionów, w porównaniu z najwikszymi katalogami jest to przynajmniej kilkadziesit razy wicej. Wyszukiwarki s take szybsze od katalogów, w których uytkownik musi wdrowa poprzez kilka podkatalogów nim znajdzie interesujce go dokumenty. Niestety wyszukiwarki swoj szybko zyskuj kosztem relatywnoci dokumentów odnoszcych si do wyszukiwanego hasła - tutaj ujawnia si jedyna i podstawowa przewaga katalogów nad wyszukiwarkami. Wyszukiwane dokumenty w katalogach s recenzowane i opisywane ludzk rk. Jednake i tutaj wyszukiwarki zaczynaj konkurowa: firmy utrzymujce katalogi nie s w stanie recenzowa masy nowych dokumentów ani weryfikowa ich aktualnoci wystarczajco czsto. Przez to jako wyników wyszukiwania w katalogach pogarsza si. Wyszukiwarki za to polepszaj jako swych odpowiedzi dziki zastosowaniu inteligentnych algorytmów wyszukiwania, wykorzystywaniu coraz wikszych oraz coraz aktualniejszych baz danych. 7

8 Do najbardziej znanych wyszukiwarek nale: Google ( AltaVista ( i Infoseek ( Rysunek 2.2. Przykład wyszukiwarki [5] 2.3. Metawyszukiwarki. Nawet najlepsza wyszukiwarka nie pokrywa wicej ni 30-40% stron WWW w sieci [1]. Dzisiejszy Internet szacuje si na 24 miliardy stron w czci dostpnei i na ponad 14 bilionów w czci ukrytej (tzw. Ukryty Internet). Bazy danych poszczególnych wyszukiwarek pokrywaj si tylko czciowo, a algorytmy wyszukiwarek s tak róne, e wykonanie tego samego zapytania daje odmienne rezultaty. Baza danych wyszukiwarki moe by nie tylko zbyt mała, ale i proces uaktualniania moe odbywa si zbyt rzadko - AltaVista odwiea baz 8

9 co 10 dni, podczas gdy Lycros jest uaktualniany co kilka godzin. Kolejn wad moe by te zbyt wolno działajcy program do pobierania danych - Excite potrzebuje około 28 dni na skompletowanie danych. Wida wic, e jeeli bdziemy korzysta z kilku rónych wyszukiwarek moemy dosta diametralnie róne wyniki. Dlatego dobrym pomysłem wydawało by si stworzenie nowych aplikacji WWW - multiwyszukiwarek (metawyszukiwarek), które wysyłaj to samo zapytanie do kilku wyszukiwarek i przedstawiaj wyniki na jednej stronie. Z punktu widzenia internauty (uytkownika) nie wida rónicy w działaniu, jednak multiwyszukiwarki nie posiadaj własnej bazy danych, lecz korzystaj z usług kilku innych zwykłych wyszukiwarek. Najczciej metawyszukiwarki łcz wyniki wyszukiwania, dodajc własne oceny i grupujc dokumenty. Rozróniamy trzy typy multiwyszukiwarek: - serwis typu lista - serwis poszukujcy równolegle - serwis poszukujcy pojedynczo. Serwis typu lista to strona WWW ze zgromadzonymi na niej odnonikami do wybranych wyszukiwarek. Takie rozwizani jest wygodne, gdy łczc si z jednym adresem moemy przeszuka kilka serwisów. Inn zalet jest fakt, e twórcy takich serwisów potrafi zgromadzi na jednej licie kilkaset adresów rónych wyszukiwarek i katalogów. Serwisy tego typu nie s uwaane za prawdziwe metawyszukiwarki. W rzeczywistoci nie oferuj zaawansowanych metod wyszukiwania, nawet wyniki s przedstawiane w postaci właciwej dla wykorzystywanej aktualnie wyszukiwarki. Serwisy przeszukujce pojedynczo to multiwyszukiwarki oferujce zazwyczaj jedno pole do wpisania słów kluczowych - tak jak w zwykłych wyszukiwarkach. Uytkownik ma moliwo wybrania wyszukiwarki wzgldnie katalogu, w których zostan wykonane zapytania. Wyboru 9

10 dokonuje si poprzez zaznaczenie odpowiednich pól lub wybieranie z listy poszczególnych wyszukiwarek. Proces wyszukiwania odbywa si po kolei, tzn. w okrelonym czasie multiwyszukiwarka łczy si i pobiera dane tylko z jednej wyszukiwarki lub katalogu. Uzyskane w ten sposób wyniki s odpowiednio porzdkowane i wywietlane przy zachowaniu podziału na poszczególne wyszukiwarki. Przykładowo jeeli korzystamy z Google, InfoSeeka i AltaVisty to w oknie przegldarki zobaczymy pierw odnoniki z Google, póniej z InfoSeeka, a na kocu AltaVista. Wyniki bd odpowiednio uporzdkowane i przedstawione na jednej stronie. Najwiksz wad powyszych typów metawyszukiwarek jest to, e jeli trafimy na wolny lub obciony serwer, bdziemy musieli czeka, dopóki ów serwer nie przele swoich odnoników do multiwyszukiwarki. Po otrzymaniu wyników z serwisu nastpi dopiero połczenie z kolejnym. Ostatnim typem multiwyszukiwarek s serwisy przeszukujce równolegle - s to metawyszukiwarki w pełnym znaczeniu tego słowa. Wyszukiwanie w nich jest identyczne jak w przypadku klasycznych wyszukiwarek (jedno pole do wpisania słów kluczowych), lecz w efekcie otrzymujemy du liczb odnoników pochodzcych z kilku lub nawet kilkunastu serwerów. Wyniki wyszukiwania przychodz na ekran bardzo szybko i nie ma koniecznoci czekania, a załaduj si wszystkie wyniki, moemy od razu przystpi do ich przegldania. W tym czasie nowe wyniki bd stopniowo doczytywane. Dzieje si tak, poniewa multiwyszukiwarki tego typu łcz si z kilkoma serwerami równoczenie i na bieco pobieraj dane. Najlepiej włanie jest korzysta z multiwyszukiwarek równoległych - zapewniaj one najwyszy komfort uytkowania i najwiksz szybko. Zalet multiwyszukiwarak jest przede wszystkim dua szybko (wyniki otrzymujemy prawie natychmiast) przy moliwoci otrzymania reprezentatywnych wyników (dziki dostpowi do wikszej bazy 10

11 danych). Wad jest to, e mona zadawa tylko proste pytania z uwagi na rónorodno dostpnych opcji, syntaktyki i semantyki bardziej zaawansowanych zapyta w rónych wyszukiwarkach. Najpopularniejsze multiwyszukiwarki to: Debriefing ( Dogpile ( i polskie: EMULTI ( oraz Ithaki ( Rysunek 2.3. Przykład multiwyszukiwarki [6] 2.4. Portale, wortale i strony startowe. S pomylane jako punkty wyjciowe dla internautów. Firmy posiadajce portale wiedz, e dla uzyskania sukcesu komercyjnego musz przyciga ogromn liczb odwiedzajcych. Podstaw ich sukcesu s informacje na nich zawarte: skróty wiadomoci, pogoda, 11

12 horoskopy, bardzo czsto darmowe konta pocztowe, forum dyskusyjne, chaty, blogi, darmowe miejsce na publikowanie stron WWW. Właciwie wszystkie portale zawieraj katalogi stron (Onet, Interia), linki do oprogramowania, wyszukiwarki internetowe. Wyszukiwarki internetowe s najczciej obcione komercyjnie wyniki wyszukiwania zale bardziej od sponsora ni od zawartoci. Pewnego rodzaju wyjtkiem moe by tu który wprowadził boksy reklamowe w celu uwolnienia swojej wyszukiwarki od obcie komercyjnych. Coraz czciej pojawiaj si specjalistyczne portale internetowe zajmujce si konkretnymi dziedzinami: architektur ( rolnictwem (pierwszy portal rolniczy: ekonomi ( Daj one moliwo znalezienia od razu informacji interesujcych internaut. Wiadomoci w nich zawarte s zwizane z tematyk portalu i nie wykraczaj poza tematyk portalu. Rysunek 2.4. Przykład wyszukiwarki [7] 12

13 2.5. Kolekcje linków. Kolekcje linków nie wymagaj zbyt duego zaangaowania czasu oraz wysiłku wystarczy opracowa odpowiednie skrypty. Administrator strony podaje adres URL swojej strony, jego zgłoszenie jest automatycznie przetwarzane i dopisywane na kocu listy. Nie ma przeprowadzanej kategoryzacji, grupowania, opisywania czy recenzowania akceptowana jest kada strona. Kolekcje były popularne w latach Były wykorzystywane przez internautów do odwiedzania nowych stron pojawiajcych si w sieci, poniewa umieszczenie strony w wyszukiwarce trwało co najmniej tydzie a w katalogu jeszcze dłuej. Obecnie popularno stron zawierajcych kolekcj linków jest bliska zeru. Głównym powodem jest pojawienie si oprogramowania automatycznie dodajcego adresy stron do wielu wyszukiwarek jednoczenie. Z uwagi na łatwo zgłaszania z uyciem tego oprogramowania w kolekcjach linków pojawia si tysice stron dziennie nikt nie jest w stanie ich przeczyta Katalogi stron. Katalog jest drzewiast struktur, w któr si zagłbiamy w czasie wyszukiwania. Strony s przypisane ze wzgldu na swoj zawarto do poszczególnych kategorii, które dziel si na kategorie podrzdne. W kategoriach elementarnych internauta znajdzie bezporednie hiperłcza do interesujcych go stron, nalecych do danej kategorii. Katalogowaniem witryn internetowych zajmuj si redaktorzy, którzy przegldaj poszczególne strony i decyduj o wpisaniu ich lub nie do bazy danych. Po zakwalifikowaniu ustalaj w jakiej kategorii 13

14 tematycznej naley dan stron umieci, zazwyczaj te umieszczaj krótki opis zawartoci. Redagowaniem katalogów zajmuj si ludzie pracownicy firmy prowadzcej katalog bd osoby z zewntrz (np. ochotnicy), albo te udostpniane s specjalne formularze do dodawania strony. W takim wypadku to administrator strony WWW kataloguje swoje strony. W ten sposób powstaje spis stron WWW, który ma posta katalogu o drzewiastej strukturze, podzielonego na kategorie główne, które dziel si na kategorie podrzdne i tak dalej. To wszystko jest przedstawione w wygodnej do przeszukiwania formie hipertekstowej, gdzie na kocu struktury znajduj si odsyłacze do konkretnych stron WWW. Najczciej taki katalog jest przeszukiwany poprzez stopniowe zagłbianie si struktur katalogów, a do momentu uzyskania zadowalajcych efektów. Zalet katalogów jest to, e ich zawarto jak i struktura jest przygotowana przez ludzi dlatego jest bardziej zrozumiała, a odpowiedzi na zapytania s bardziej relatywne i łatwiej jest znale odpowiedzi na ogólne zapytania. Z drugiej strony moe by to te wad katalogów. Nie zawsze mona polega na opiniach (wynikach) redakcji, gdy strony s przydzielane do poszczególnych kategorii na podstawie subiektywnych kryteriów oceniajcych. Mog znale si tacy uytkownicy, którzy mog mie inne spojrzenie na dane zagadnienie i szuka go w innej kategorii, ni ta, do której zostało zakwalifikowane przez redaktora. Najwikszym problemem katalogów jest ich aktualno. Zmiana, usunicie strony zarejestrowanej w katalogu nie ponosi za sob automatycznej aktualizacji, a do nastpnych odwiedzin przez redaktora lub zmiany danych w formularzu przez administratora danej strony WWW. Przy bardzo szybkiej zmiennoci zasobów informacyjnych staje si to bardzo duym problemem i zmusza redaktorów do wypracowania 14

15 metod weryfikacji informacji zawartych w bazie. Jest to głównym powodem katalogowania niewielkiej liczby stron. Kolejn wad jest nienadanie za rozwojem Internetu. Szacuje si, e tylko 0.25% wszystkich stron WWW zostało w ten sposób skatalogowanych. Przykładami katalogów mog by: Yahoo!, Dmoz, czy polska Hoga. Rysunek 2.6. Przykład wyszukiwarki [8] 2.7. Osobiste narzdzia wyszukiwawcze. Osobiste narzdzia multiwyszukiwawcze to atrakcyjne rozwizanie dla naukowców. Zwykle nie s oni zainteresowani znalezieniem odpowiedzi na jedno specyficzne pytanie, lecz dogłbnym zbadaniem okrelonego obszaru. W takich wypadkach dobrze jest stworzy i rozwija swe własne 15

16 przedmiotowe bazy danych. Rozwizania takie jak narzdzia osobiste oferuj takie moliwoci. Daj one moliwo eliminacji duplikatów dokumentów, ich automatycznej kontroli pod ktem poprawnoci adresu dokumentu oraz umoliwiaj usuwanie dokumentów nierelewantny z baz danych. Czołowi producenci w tej dziedzinie (Copernic, Inforian Quest) włczyli setki wyszukiwarek do swego oprogramowania grupujc je według profilu i dajc moliwo naukowcom tworzenia własnych grup wyszukiwarek (przez dołczanie / usuwanie z listy). Nowa generacja osobistych narzdzi multiwyszukiwawczych poszerza zakres usług. Zbierana jest lista linków, kady link jest sprawdzany, dokumenty s cigane i analizowane. Jeli dokument jest nierelewantny, jest usuwany, a jeli jest przydatny, jest dodawany do bazy dokumentów. Po zakoczeniu przetwarzania on - line zaczyna si przetwarzanie off - line: ustalanie stopnia relewancji czy te poszukiwanie odpowiedzi na pytanie. Wytwórcy twierdz, e stosuj metody sztucznej inteligencji podczas procesu analizy i rankingowania, a oprogramowanie ma zdolno samouczenia si. Osobiste narzdza multiwyszukiwawcze bez wtpienia stosuj najbardziej zaawansowane technologie, poniewa nie ma nacisku na czas przetwarzania, mog wic by wyposaone w bardziej zaawansowane metody analizy i pracowa z pełnymi dokumentami, a nie ich reprezentacj. 16

17 Rysunek 2.7. Okno w Copernicusie 2.8. Owiecone zgadywanie. Owiecone zgadywanie jest jednym z najprostszych sposobów na znalezienie informacji w Internecie. Jego zastosowanie jest niestety ograniczone ze wzgldu na ograniczon liczb domen nie zawsze moemy znale interesujce nas informacje. Polega ono na odwiedzaniu adresów składajcych si z poszukiwanych wyrazów. Jest za to najszybszym sposobem znalezienia firm lub popularnych produktów np. firma Carrefour: Nokia: 17

18 3. Budowa wyszukiwarki internetowej Wyszukiwarki. W wiecie wyszukiwarek WWW ogólnego przeznaczenia, typu Google, Yahoo itd. o ogromnych zasobach obserwuje si ostr walk konkurencyjn, naley oczekiwa, e by moe osigniemy stan monopolu. Jednak nawet małe wyszukiwarki, wyspecjalizowane w okrelonym zakresie, maj szans znale zainteresowanie wród specjalistów z danej dziedziny. Wielk ich przewag jest niezamiecanie odpowiedzi na specjalistyczn kwerend dokumentami majcymi przypadkowy zwizek ze słowami, które zostały zawarte w zapytaniu. Dlatego wiele uniwersytetów prowadzi prace nad własnymi wyszukiwarkami na potrzeby własnego rodowiska, a firmy spoza brany internetowej s zainteresowane zakupem takiej wyszukiwarki. Takie firmy i instytucje zazwyczaj posiadaj małe zasoby komputerowe i dlatego zakup duych gotowych systemów jest dla nich nie do zaakceptowania. Generalnie coraz wicej organizacji tworzy wyszukiwarki dla własnych stron internetowych. Oczywiste jest, e taki lokalne wyszukiwarki s finansowane w ograniczony sposób a ich moc obliczeniowa jest stosunkowo mała Zadanie pajka. Zadaniem pajka jest cignicie z Internetu jak najwikszej iloci danych na dysk twardy komputera (serwera) celem dokonania analizy zawartoci plików. Dane s analizowane pod wzgldem zawartej treci oraz linków, które pajk wykorzystuje w dalszych poszukiwaniach. Linki niepodane (np. adresy url do plików graficznych, skryptów, itp.) powinny by usuwane przez program. 18

19 Budowa pajka. Pajk mona zbudowa w oparciu o gotowe elementy. Na przykład Acme.Spider ( jest pajkiem udostpnianym w postaci biblioteki Javy, któr mona dostosowa do własnych potrzeb. Lista przykładowych robotów dostpnych na WWW: - Checkbot (Perl) - DWCP (Java) - Fluid Dynamics Software Corporation (Perl) - JoBo (Java) Lista pajków, które mog by przydatne do budowy własnej wyszukiwarki jest dostpna pod adresem: Punkty startowe. Strony bogate w linki z danej dziedziny - tzw. hubs, s dobrym punktem startowym do przeszukiwania Internetu. Powinno dobiera si hubsy niepodobne do siebie. Przykładowymi dobrymi stronami startowymi w polskim Internecie s strony: (bardzo dua ilo prywatnych i niekomercyjnych stron), (podobnie jak serwis PRV z tym, ze udostpnia take przestrze dyskow) Specjalizacja pajka. Pajki zwykle zawieraj miejsca, gdzie programici mog dołczy kod umoliwiajcy odfiltrowanie własnych treci. Przykładowo mona doda odpowiednie filtry zapobiegajce odwiedzanie stron CGI, plików 19

20 z grafik, plików exe, zip, itp. Zwykle zdefiniowany jest cache zapobiegajcy krceniu si pajka w kółko. Pajk tworzy baz adresów URL, które zamierza odwiedzi, poprzez cignicie strony na dysk twardy serwera, wyodrbnieniu z niej linków i dodaniu ich do kolejki. Zajto kolejki ronie zwykle wykładniczo z głbokoci przeszukiwania Czstotliwo odwieania. Czstotliwo odwieania jest ograniczona szybkoci pajka. S pajki przetwarzajce nawet ponad 25 stron na sekund, ale zwykle prdko przetwarzania nie jest wysza ni 10 stron na minut. W celu przetworzeniu około stron komputer potrzebowałby przynajmniej 7 dni. Poniewa komputer nie moe wyłcznie pracowa jako pajk, strony s odwieane z reguły raz na 2-3 tygodnie. W wypadku najbardziej popularnej wyszukiwarki Google.com strony s odwieane co 2-3 dni zostało to sprawdzone na podstawi zapisów w logach kilku serwerów Bardzo zaawansowane pajki. Zaawansowane pajki powinny by w stanie zarzdza nie tylko pamici, ale te procesorem oraz ruchem w sieci. Nie powinien zbyt czsto robi dostpu do tego samego serwera i przez to go blokowa. Niektóre pajki przyjmuj strategi kolejkowania jeeli liczba linków jest dua tworz kilkaset kolejek, przy czym robot odwiedza po jednym linku z kadej kolejki. W ten sposób jeden serwer jest odwiedzany raz na kilkaset razy. 20

21 m2 C2 B2 A2 m1 C1 B1 A1 Linki odwiedzane przez pajka A1 B1 C1 m1 A2 B2 C2 m2 A3 B3 C3 m3 A4 A5 A6 B4 B5 B6 C4 C5 C6 m4 m5 m6 Kolejki linków An Bn Cn mn Rys Strategia kolejkowania linków. Celem pracy pajka jest cignicie z Internetu jak najwikszej iloci dokumentów na własny serwer i przeanalizowanie ich pod wzgldem treci, któr zawiera. Dokumenty mog by analizowane i ocenione dopiero po cigniciu na serwer. Strategie pajka: Błdzenie po stronach internetowych: na wejciu dostaje list adresów, nastpnie przeszukuje je metod kolejki priorytetowej. Poszukiwanie w innych bazach danych (multi search) np. google, yahoo. W tym przypadku trudno sprawia odpowiednie sformułowanie zapyta do baz danych. Konieczne jest stworzenie 21

22 pijawek (ang. leech) programów specjalizujcych si w pozyskiwaniu informacji z konkretnych serwisów. Gdy jedno zapytanie jest skierowane do kilku serwisów konieczne jest skorzystanie z komponentów tłumaczcych okrelone zapytanie na kwerendy dla danych baz. Mieszana najpierw poprzez przeszukiwanie innych baz danych (multi serach) ustali list adresów, nastpnie wyszukuje metod kolejki priorytetowej. Głównym zadaniem inteligentnego pajk jest wstpne przewidywanie czy dokument moe by interesujcy przed jego cigniciem. Wstpna ocena zawartoci strony moe by dokonana na podstawie: krótkich informacji o danym dokumencie - jeli pajk ma dostp do dokumentu przez baz danych (np. Google), to równie posiada kilka zda na temat tego dokumentu. opis linku do danego dokumentu w innym dokumencie w bazie pajka - dokumenty, po cigniciu, s analizowane i ekstrahowane s informacje o linkach do innych dokumentów. Na ogół linki s stowarzyszone z krótkimi opisami. Czasem mona duo si dowiedzie o stronie na podstawie tych opisów. informacje wycigane z adresu URL - nazwa serwera, nazwa pliku itp. Inteligentny pajk moe stosowa jeden lub kilka z poniszych rodków: Właciw ocen przydatnoci dokumentu do głównego problemu systemu dokonuje wspomagajcy moduł oceniajcy, który wyekstrahuje ze ciganego dokumentu potrzebne informacje. Praca inteligentnego pajka musi by zalena od modułu, który potrafi weryfikowa, czy dany dokument jest interesujcy czy nie. 22

23 Kady inteligentny pajk musi posiada pewn baz wiedzy, która bdzie swego rodzaju heurystyk dla procesu poszukiwania połcze internetowych. Baza wiedzy powinna reprezentowa wiedz lingwistyczn kojarzc napotkane w tekcie pojcia ze słowami kluczowymi, które nas interesuj. Jeeli stworzymy platform wielopajkow, to moemy załoy, e pajk pracujcy w rodowisku MAS (Multi Agent Systems), gdzie kady z nich ma tylko lokaln baz wiedzy. Mona pokusi si o strategie ewolucyjne dla pajków, które wspólnie wyszukuj optymaln strategi. Głównym problemem dla pajków poszukujcych po linkach jest posortowanie aktualnej listy adresów URL w taki sposób, aby na pocztku listy znajdowały si dokumenty, które z duym prawdopodobiestwem zawieraj poszukiwan informacj. Baza wiedzy pajka winna zawiera list słów i fraz kluczowych z wagami oraz reguły rozpoznawania interesujcych stron. Adresy URL winny by posortowane wzgldem sumy wag słów kluczowych w ich opisach. Baz wiedzy mona wygenerowa metodami systemów uczcych si (systemów odkry) klasyfikacji, jeli dostpna jest (przygotowana przez człowieka) baza danych zawierajca oprócz treci dokumentów take decyzje, czy dokumenty jest relatywny czy nie, a take decyzj, czy dokument moe zawiera linki do stron, które zawieraj wyszukiwan informacj. Pajk zadajcy pytania do innych wyszukiwarek moe uzyska list adresów URL z innych wyszukiwarek poprzez zadawanie do nich odpowiednich pyta. Najwaniejszym zadaniem dla tego typu pajków jest sformułowanie zapyta do innych znanych wyszukiwarek w celu uzyskania informacji. Informacja pajka polega na umiejtnoci 23

24 dobierania zapyta do odpowiednich wyszukiwarek w celu uzyskania najistotniejszych informacji Indekser dokumentów. Indeksowanie to proces tworzenia indeksu, czyli specjalizowanej bazy danych zawierajcej skomplikowan wersj dokumentów cignitych przez pajka. Indeks winien by zoptymalizowany w celu szybkiego wyszukiwania listy dokumentów zawierajcych okrelone słowa bd frazy ( termy ). Proces indeksowania składa si zasadniczo z nastpujcych etapów: Identyfikacji słów, fraz, terminów wystpujcych w dokumentach Usuwania słów popularnych Ekstrakcji tematów słów przy uyciu algorytmów szukajcego tematu Zastpienie tematów przez numeryczne identyfikatory wyrazów, słów (termów) indeksujcych - w celu wydajniejszego przetwarzania Zliczanie wystpie tematów (obliczanie tzw. tf - term frequency) Opcjonalne tworzenie fraz dla termów o wysokiej czstotliwoci Obliczanie wag dla wszystkich prostych termów, fraz i klas tezaurusa - w oparciu o stosowany póniej model wyszukiwania Przypisanie kademu dokumentowi przynalenych prostych termów, fraz i klas tezaurusowych z odpowiednimi wagami. Budujc indekser trzeba postara si o parser stron HTML, jeli chcemy indeksowa inne dokumenty ni HTML, potrzebujemy take stosownych parserów zawartoci lub konwerterów na pliki HTML. Niezbdnym elementem indeksera jest analizator, który bdzie sterował podziałem dokumentów na temy (słowa, czy te frazy). 24

25 Analizator moe przykładowo tekst The ill dohs rozbi na jednostki the, ill, dogs (małe litery), podczas gdy inny moe zamieni ten tekst na ill, dog (małe litery, zamiana na liczb pojedyncz i pominicie pospolitego wyrazu the ). Słowa pospolite pomija si na bazie tzw. stop - listy. Dla jzyka angielskiego taka stop - lista zwykle obejmuje słowa: a, and, are, at itp. Słowa pospolite mog si róni dla specjalizowanych zbiorów dokumentów. Np. w tekstach prawnych takimi słowami byłby article, paragraph itd. Czsto analizator moe doda i / lub zmieni słowa na ich tłumaczenie na okrelony jzyk. Moe doda i / lub zamieni słowa na słowo pokrewne (notebook - laptop) synonimy (laptop - laptopik), pojcia ogólne (notebook - komputer przenony) i / lub poj zawajcych (notebook - Centrino, mobile itd.) Trzeba tu oczywicie uy odpowiedniego słownika, tezaurusa. Wreszcie na podstawie czstego bliskiego współwystpowania i odpowiedniego słownika fraz analizator moe zmieni grup słów na term, np. mysz komputerowa itp. Analizator moe szerzej patrze na analizowany dokument i wiza z wygenerowanymi termami dodatkowe atrybuty, takie jak czsto wystpowania w tekcie, czy te to by moe nazwa własna, czy term wystpił w wanym miejscu (tytuł dokumentu, nagłówek rozdziału, opis pliku) czy te w miejscu deprecjonowanym (np. jako notatka zapisana małymi literami itp.), czy wreszcie wag termu, mierzc jego wano na tle wystpowania w całej populacji dokumentów. Std blisko jest do generowania listy słów kluczowych dla dokumentu, a take automatycznego generowania streszcze oraz automatycznego przydzielania do kategorii czy te grupowania. Analizator musi by uyty zarówno przy indeksowaniu, jak i przy 25

26 wyszukiwaniu. Podczas indeksowania bdzie przetwarza dokumenty, podczas wyszukiwania: tre zapytania internauty. Naley zwróci uwag na to, e proces indeksowania moe kolidowa z równoległym procesem wyszukiwania. Aby proces wyszukiwania działał poprawnie nawet w czasie indeksowania, proces indeksowania nie powinien zmienia na bieco zawartoci indeksu wykorzystywanego w trakcie wyszukiwania powinno si jednorazowo zastpowa stary indeks indeksem nowym Zapytania. Wyszukiwanie to operacja polegajca na identyfikacji podzbioru zbioru dokumentów, zawierajcych podan tre lub majcych podane cechy. Proces odpowiadania na zapytania składa si zwykle z etapów: Pobranie od internauty słów z kwerendy Wyszukiwanie tematów tym samym algorytmem co na etapie indeksowania Zastpienie tematów numerami termów indeksujcych Obliczenie wag dla wszystkich termów z zapytania Tworzenie wektora zapytania (lub innej formy reprezentacji kwerendy, zalenie od modelu wyszukiwania Obliczenie stopnia podobiestwa midzy kwerend a opisami dokumentów Zwrócenie listy dokumentów z podaniem rankingu Na wejciu operacji wyszukiwania podaje si kwerend (zapytanie), która specyfikuje kryteria wyboru dokumentów, a jej wynikiem jest lista dokumentów (trafie), która spełnia kryteria. Lista trafie jest zwykle uporzdkowana według pewnego 26