Pozycjonowanie wyników w wyszukiwarkach. Agnieszka Nowak - Brzezioska

Transkrypt

1 Pozycjonowanie wyników w wyszukiwarkach Agnieszka Nowak - Brzezioska

2 Wprowadzenie Nie sprawdzają się już dawne metody do pozycjonowania wyników wyszukiwania wg częstości słów, pozycji słów w tytule, adresu czy struktury dokumentu HTML. Nie brały one pod uwagę popularności strony, jej oceny czy zaufania do niej przez użytkowników WWW. Postanowiono szukad takich algorytmów, które będą ustalad pozycję strony poprzez różne metody rankingu stron w zasadzie na podstawie struktury linków.

3 Dwa algorytmy Page Rank HITS Oba zakładają, że strona powinna byd tym bardziej popularna im więcej stron się do niej odwołuje (a więc im więcej stron ma link do niej w swoich linkach wychodzących).

4

5

6 Page Rank - Google Autorzy: Larry Page, Sergey Brin. (1998r) Zastosowanie: Google.com Bazuje na strukturze hiperlinków (zbiorów dokumentów). Efekt: na zadane zapytanie Google znajduje strony relewantne względem zapytania i przedstawia wyniki jako listę zgodnie z rankingiem ważności tych stron wg PageRank.

7 Historia PageRank W 1996 roku Lary Page i Sergey Brin, studenci uniwersytetu Stanford opracowali i zastosowali algorytm do około 60 milionów stron, nazwali go PageRank (nazwa pochodzi od nazwiska jednego z twórców). Zbudowali system wyszukiwania oparty o algorytm PageRank, nazwany Backrub.

8 Filozofia PageRank Znajdź strony internetowe zawierające fragmenty zapytania Oblicz relatywne ważności tych stron Sortuj strony według ich relatywnej ważności

9 Czynniki odpowiedzialne za ważności strony Fragmenty zapytania w tytule, stopce oraz ciele strony. Wielkośd czcionki, kolor, częstotliwośd występowania słowa Anchor text PageRank Inne czynniki

10 Założenia wstępne Przedstawmy sied stron w postaci grafu skierowanego Załóżmy, że z każdej strony u możemy dostad się do innej strony v po przez odnośnik Załóżmy, że nie ma możliwośd utknięcia na stronie Wyobraźmy sobie internautę klikającego losowo w odnośniki w nieskooczonośd Internauta zaczyna z losowo wybranej strony u z pewnym prawdopodobieostwem po[u], gdzie p [ u o ] 1 Z pewnym prawdopodobieostwem p1[v] internauta znajdzie się na stronie v u

11 Jak funkcjonuje PR? PageRank może byd zainstalowany z popularnym toolbarem Wartości PR są w zakresie 0 10 i odpowiadają skali logarytmicznej (o podstawie 10): Toolbar PageRank Real PageRank itd

12 Algorytm opracowany dla Google.com. Polega na losowym przemieszczaniu się po łączach i zliczaniu liczby odwiedzanych stron. Im więcej razy trafi na tę samą stronę, tym jest ona popularniejsza. Liczba odwiedzin uzyskana w ten sposób nazywa się PageRank. Zależnośd ta jest zdefiniowana rekurencyjnie: OutDegree(u) - stopieo wyściowy wierzchołka (strony) czyli ilośd wychodzących krawędzi (hiperłączy), N - sumaryczna liczba wszystkie wierzchołków w grafie sieci Web. Zauważmy, że algorytm zachowuje własnośd autorytetów (mają wysoki PageRank).

13 Algorytm_PageRank( B : zbior_dokumentow_web; p : real ) var d : dokument_web; PageRank : array[] of real; begin for d in B do PageRank[d] := 0; d := losowa_strona(b); while true begin PageRank[d] := PageRank[d] + 1; if random > p then begin { idz do dowolnego linku } d := losowe_lacze(d); end else { wybierz nowa losowa strone d } d := losowa_strona(b); end; end; Algorytm wykorzystuje zbiór dokumentów webowych uprzednio zindeksowanych. Natomiast parametr p opisuje zachowanie tzw. losowego surfera, który z prawopodobieostwem 1-p wybiera losowo jedno z łączy lub z prawdopodobieostwem p rozpoczyna surfowanie od losowo wybranej nowej strony.

14

15 Model Matematyczny

16 Założenia modelu Jeśli strona j linkuje do strony i wówczas komórka (i,j) wynosi 1/ni, gdzie ni to liczba linków wychodzących ze strony i-itej. Jeśli nie ma połączenia między stroną i i j wówczas algorytm wstawia w każdą komórkę kolumny i wartośd 1/N.

17

18

19

20

21 Page D ma PR=0.15 mimo, ze żadna strona nie głosuje na tę stronę. Czy to poprawnie? PR(A) = (1-d) + d (PR(T1)/C(T1) + + PR(Tn)/C(Tn)) A więc jeśli strona D nie ma żadnych linków do niej prowadzących to równanie przyjmuje postad: PR(A) = (1-d) + d * (0) = 0.15 A wiec nie ważnie ile razy wykonamy algorytm wartości będzie taka cały czas. Observation: every page has at least a PR of 0.15 to share out. But this may only be in theory there are rumours that Google undergoes a post-spidering phase whereby any pages that have no incoming links at all are completely deleted from the index

22

23 a: b: c: d: a: b: c: d: a: b: c: d: a: b: c: d: a: b: c: d: a: b: c: d: a: b: c: d: a: b: c: d: a: b: c: d: a: b: c: d: a: b: c: d: a: b: c: d: a: b: c: d: a: b: c: d: a: b: c: d: a: b: c: d: a: b: c: d: Average pagerank = Wyniki

24 "Zaplanowany" PageRank Aktualnie Google Page Rank, jest najbardziej wiarygodnym wskaźnikiem, który dostarcza informację na temat popularności witryny w wyszukiwarce Google. Algorytmy Google przydzielają PR w skali od 0 do 10, gdzie oczywiście 0 to najniższa wartośd, a 10 najwyższa. Należy pamiętad, że ten wskaźnik nie jest zmieniany podczas każdej wizyty mechanizmów wyszukiwarki na stronie, a mniej więcej, raz na trzy miesiące. To dośd długi okres, jednak nie może on byd krótszy, aby nie obciążad serwerów Google. Wyszukiwarka Google nie tylko dodaje PR, może go również odejmowad w zależności od tego jak wartościowa strona jest na obecną chwilę, czyli jakie miejsce w rankingu Google zajmuje. Co należy zrobid, aby zwiększyd PR na swojej witrynie? Z pewnością zadbad o wartościowe linki zewnętrzne, prowadzące do witryny. A skąd wiadomo, że link jest wartościowy? Oczywiście dowiemy się o tym, sprawdzając PR na danej stronie, im wyższy PR, tym wartościowszy link. Nie należy zapominad o odpowiednim tekście w linkach (anchor), aby ta metoda wzmocnienia witryny miała sens.

25 Jaka ilośd linków zewnętrznych o danym PR, musi prowadzid do Twojej witryny, aby algorytmy Google przydzieliły odpowiedni PR? Ile linków? Jaki PR? ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ Tabelkę należy czytad na przykład w ten sposób: Jeśli chcesz otrzymad Page Rank 4 na swojej stronie, musisz zadbad o 555 linków z PR 2 prowadzących do tej strony. Albo 18 linków z PR 4.

26

27 10/10 Google.com ( - Search engine that uses PageRank php.net ( - Official website of the PHP programming language Microsoft.com ( - Official Microsoft product information/support site Apple.com ( - Official website of Apple Computer, Inc., which also houses the itunes Music Store lcs.mit.edu ( - MIT Laboratory for Computer Science - The World Wide Web Consortium (W3C) - Nature Publishing Group (NPG) - American Association for the Advancement of Science - Free, open-source PHP-based Internet message board system 9/10 MySQL.com ( - Official website of the MySQL (My Structured Query Language) database engine CNN.com ( - Cable News Network BBC.co.uk ( - British Broadcasting Corporation Wolfram.com ( - Houses Mathworld and Scienceworld, two extremely comprehensive math and science resources Wikipedia.org ( - Free encyclopedia - Free, open-source PHP-based Internet message board system Mozilla.org ( - Open-source Internet tools SourceForge.Net ( Directory of open-source development projects archive.org ( - Home of the Internet Archive project si.edu ( - Smithsonian Institution homepage stanford.edu ( - Stanford University And example of some lower pagerank sites are: 5/10 4/10 3/10 Cronikey Inc. ( 2/10 ifobos Free Web Hosting Php/mySQL ( 1/10 0/10 Thousands of pages

28 Podsumowanie PR PageRank jest algorytmem numerycznym stosowanym do ustalenia wagi strony pod względem jej ważności i istotności. PageRank opiera się na tzw. linkach przychodzących do danej strony, ale nie tylko ich liczbie ale i ważności ( a wiec wartości PageRank tamtych stron). PR(A) = (1-d) + d(pr(t1)/c(t1) + + PR(tn)/C(tn)). Złe linki przychodzące nie mają wpływu na Page Rank. Kolejne poziomy Page Rank coraz trudniej osiągnąd (logarithmic scale).

29 HITS (Hypertext Induced Topic Selection) Autor: John M. Kleinberg Zastosowanie: Ask.com Algorytm: 2 kryteria rangowania stron: dostarczanie informacji w temacie strony i dostarczanie linków do stron będących w temacie szukanym w zapytaniu użytkownika. Wyróżnia się tzw. strony rekomendowane (autorytety, authorities) i strony startowe (hubs).

30 wprowadzenie HITS stands for Hypertext Induced Topic Search. Unlike PageRank which is a static ranking algorithm, HITS is search query dependent. When the user issues a search query, HITS first expands the list of relevant pages returned by a search engine and then produces two rankings of the expanded set of pages, authority ranking and hub ranking.

31 Założenia An authority is a page with many in-links. The page may have good or authoritative content on some topic A hub is a page with many out-links. The page serves as an organizer of the information on a particular topic and points to many good authority pages on the topic.

32 Autorytet Strona może byd uznana za autorytet jeśli dostarcza rzetelnej (relewantnej) informacji w zadanym temacie. A site is very authoritative if it receives many citations. Citation from important sites weight more than citations from less-important sites

33 Strona startowa (hubs) Strona może kandydowad do bycia stroną startową jeśli zawiera linki do stron, które dostarczają relewantnej informacji względem zapytania. Hubness shows the importance of a site. A good hub is a site that links to many authoritative sites

34 Algorytm HITS (Hyperlink Induced Topic Search) Służy do znajdowania węzłów i autorytetów dla konkretnych słów kluczowych. Tworzy podgraf sieci WEB: wierzchołkami są poszczególne strony, a krawędziami są hiperłącza. Każdy węzeł i autorytet otrzymuje określoną wagę, na podstawie liczby krawędzi - zastosowanie zasady, że dobry autorytet jest wskazywany przez wiele dobrych węzłów, podczas gdy dobry węzeł wskazuje na wiele dobrych autorytetów.

35

36 Algorytm_HITS( szukane_slowo : string ) var B, L, M : zbior_bazowy_dokumentow_web; d, u : dokument_web; odnosnik : link; a : array[] of real; h : array[] of real; begin L := 0; M := 0; { Buduj zbior bazowy dla szukanego slowa } B := standardowa_wyszukiwarka( słowo ); for d in B do begin L := L + dokumenty_wskazujace_na( d ); M := M + dokumenty_wskazywane_przez( d ); end; B := B + L + M; { usuniecie linków miedzy stronami z tej samej domeny } for d in B do for odnośnik in d do if domena( odnośnik ) = domena( d ) then usuń( d, odnośnik ); { iteracyjne obliczenie współczynników węzłów i autorytetów } for d in B do begin a[d] := 1; h[b] := 1; end; for d in B do begin a[d] := 0; h[d] := 0; for odnosnik in B do begin if cel(odnośnik) = d then a[d] := a[d] + h[zrodlo(odnośnik)] if zrodlo(odnosnik) = d then h[d] := h[d] + a[cel(odnośnik)] end; end; Algorytm_HITS := najwieksze(h) + najwieksze(a); end; Proces iteracyjny zbiega się do stabilnych wartości h i a. Ostatecznym wynikiem działania algorytmu jest lista węzłów i autorytetów z największymi współczynnikami poprawności.

37 Authority and Hubness a(1) = h(2) + h(3) + h(4) h(1) = a(5) + a(6) + a(7)

38

39 Algorytm Algorytm jest iteracyjny Oblicza w każdej iteracji wagi stron jako autorytet i hub. Na wyjściu algorytmu otrzymujemy wektory dla autorytetu i huba macierz A. Wektor autorytetu x jest wektorem własnym AAT zaś hub y jest wektorem własnym ATA

40 HITS Example Find a base subgraph: Start with a root set R {1, 2, 3, 4} {1, 2, 3, 4} - nodes relevant to the topic Expand the root set R to include all the children and a fixed number of parents of nodes in R A new set S (base subgraph)

41 HITS Example BaseSubgraph( R, d) 1. S r 2. for each v in R 3. do S S U ch[v] 4. P pa[v] 5. if P > d 6. then P arbitrary subset of P having size d 7. S S U P 8. return S

42 HITS Example Hubs and authorities: two n-dimensional a and h HubsAuthorities(G) 1 1 *1,,1+ Є R 2 a h t 1 4 repeat 5 for each v in V 6 do a (v) Σ h (w) t 7 h (v) Σ a (w) t w Є pa[v] 8 a a / a t -1 t t t 9 h h / h t t t 10 t t until a a + h h < ε t t -1 t t return (a, h ) t t V w Є pa[v] t -1

43 HITS Example Results Authority Hubness Authority and hubness weights

44

45

46

47

48