Inteligentne systemy informacyjne

Transkrypt

1 Filip Graliński Inteligentne systemy informacyjne Między stronami

2 Wewnętrzna Ocena strony Zewnętrzna adversarial information retrieval = wyszukiwanie informacji we wrogim środowisku (spamerzy!)

3 Unigram score Wewnętrzna Ocena strony Zewnętrzna Cosine score Overlap score

4 Ręczna Unigram score Automatyczna Wewnętrzna Ocena strony Zewnętrzna Cosine score Overlap score

5 Katalogi Ręczna crowd search Automatyczna Wewnętrzna Ocena strony Zewnętrzna

6 Katalogi Google Stars Ręczna crowd search Automatyczna Wewnętrzna Ocena strony Zewnętrzna

7 Google Stars Katalogi crowd search Ręczna Automatyczna Wewnętrzna Ocena strony Zewnętrzna social search

8 Google Stars Katalogi crowd search Ręczna Automatyczna Wewnętrzna Ocena strony Zewnętrzna social search PageRank

9 zasada PageRank Dobry dokument to taki, do którego odsyła wiele dokumentów.

10 zasada PageRank Dobry dokument to taki, do którego odsyła wiele innych dobrych dokumentów.

11 zasada PageRank Dobry dokument to taki, do którego odsyła wiele innych dobrych dokumentów. Model losowego internauty

12 zasada PageRank Dobry dokument to taki, do którego odsyła wiele innych dobrych dokumentów. Model losowego internauty losowy internauta zaczyna na losowo wybranej stronie

13 zasada PageRank Dobry dokument to taki, do którego odsyła wiele innych dobrych dokumentów. Model losowego internauty losowy internauta zaczyna na losowo wybranej stronie w każdym kroku losowy internauta przechodzi do kolejnej losowo wybranej strony

14 zasada PageRank Dobry dokument to taki, do którego odsyła wiele innych dobrych dokumentów. Model losowego internauty losowy internauta zaczyna na losowo wybranej stronie w każdym kroku losowy internauta przechodzi do kolejnej losowo wybranej strony jeśli bieżąca strona to ślepy zaułek (nie ma wychodzących linków), internauta teleportuje się na losową stronę

15 zasada PageRank Dobry dokument to taki, do którego odsyła wiele innych dobrych dokumentów. Model losowego internauty losowy internauta zaczyna na losowo wybranej stronie w każdym kroku losowy internauta przechodzi do kolejnej losowo wybranej strony jeśli bieżąca strona to ślepy zaułek (nie ma wychodzących linków), internauta teleportuje się na losową stronę jeśli bieżąca strona ma wychodzące linki

16 zasada PageRank Dobry dokument to taki, do którego odsyła wiele innych dobrych dokumentów. Model losowego internauty losowy internauta zaczyna na losowo wybranej stronie w każdym kroku losowy internauta przechodzi do kolejnej losowo wybranej strony jeśli bieżąca strona to ślepy zaułek (nie ma wychodzących linków), internauta teleportuje się na losową stronę jeśli bieżąca strona ma wychodzące linki z prawdopodobieństwem α (zwykle α 0.1) internauta teleportuje się

17 zasada PageRank Dobry dokument to taki, do którego odsyła wiele innych dobrych dokumentów. Model losowego internauty losowy internauta zaczyna na losowo wybranej stronie w każdym kroku losowy internauta przechodzi do kolejnej losowo wybranej strony jeśli bieżąca strona to ślepy zaułek (nie ma wychodzących linków), internauta teleportuje się na losową stronę jeśli bieżąca strona ma wychodzące linki z prawdopodobieństwem α (zwykle α 0.1) internauta teleportuje się z prawdopodobieństwem 1 α przechodzi do strony, do której prowadzi losowo wybrany wychodzący link

18 zasada PageRank Dobry dokument to taki, do którego odsyła wiele innych dobrych dokumentów. Model losowego internauty losowy internauta zaczyna na losowo wybranej stronie w każdym kroku losowy internauta przechodzi do kolejnej losowo wybranej strony jeśli bieżąca strona to ślepy zaułek (nie ma wychodzących linków), internauta teleportuje się na losową stronę jeśli bieżąca strona ma wychodzące linki z prawdopodobieństwem α (zwykle α 0.1) internauta teleportuje się z prawdopodobieństwem 1 α przechodzi do strony, do której prowadzi losowo wybrany wychodzący link PageRank strony to procent czasu, w jakim losowy internauta będzie na niej przebywał

19 macierz przejść S 2 S 1 S 3

20 macierz przejść S 2 α = 0.1 S 1 M = S 3

21 macierz przejść S 2 α = 0.1 S 1 M 2 = S 3

22 macierz przejść S 2 α = 0.1 S 1 M 3 = S 3

23 macierz przejść S 2 α = 0.1 S 1 M = S 3

24 dlaczego C ma dużo większy PageRank niż E?

25 Projekt 3 Kto ma największy PersonRank? Zastosować algorytm PageRank dla osób opisanych w polskiej Wikipedii: osoba A odsyła do osoby B, jeśli B pojawia się w biogramie A

26 Katalogi crowd search Ręczna Automatyczna Wewnętrzna Ocena strony Zewnętrzna social search własny PageRank? PageRank HITS

27 Katalogi crowd search Ręczna Automatyczna Wewnętrzna Ocena strony Zewnętrzna social search PageRank HITS

28 Ręczna Automatyczna Wewnętrzna Ocena strony Zewnętrzna PageRank HITS huby autorytety

29 HITS Do dobrego autorytetu odsyła wiele dobrych hubów. a(v) = y v h(y)

30 HITS Do dobrego autorytetu odsyła wiele dobrych hubów. a(v) = y v h(y) Dobry hub odsyła do dobrych autorytetów. h(v) = a(y) v y

31 HITS Do dobrego autorytetu odsyła wiele dobrych hubów. a(v) = y v h(y) Dobry hub odsyła do dobrych autorytetów. h(v) = a(y) v y (Najork, Zaragoza, Taylor 2007): PageRank < HITS <

32 HITS Do dobrego autorytetu odsyła wiele dobrych hubów. a(v) = y v h(y) Dobry hub odsyła do dobrych autorytetów. h(v) = a(y) v y (Najork, Zaragoza, Taylor 2007): PageRank < HITS < zliczanie linków + BM25F

33 Pozycjonowanie Pozycjonowanie (ang. SEO = Search Engine Optimization) Szare/czarne SEO: szpikowanie ukrytymi słowami kluczowymi

34 Pozycjonowanie Pozycjonowanie (ang. SEO = Search Engine Optimization) Szare/czarne SEO: szpikowanie ukrytymi słowami kluczowymi cloaking inna wersja strony dla wyszukiwarki, inna dla zwykłego użytkownika

35 Pozycjonowanie Pozycjonowanie (ang. SEO = Search Engine Optimization) Szare/czarne SEO: szpikowanie ukrytymi słowami kluczowymi cloaking inna wersja strony dla wyszukiwarki, inna dla zwykłego użytkownika spamowanie komentarzy/stron wiki spamowanie list typu odsyłają do nas

36 Pozycjonowanie Pozycjonowanie (ang. SEO = Search Engine Optimization) Szare/czarne SEO: szpikowanie ukrytymi słowami kluczowymi cloaking inna wersja strony dla wyszukiwarki, inna dla zwykłego użytkownika spamowanie komentarzy/stron wiki spamowanie list typu odsyłają do nas tworzenie klik powiązanych stron, źródła tekstu:

37 Pozycjonowanie Pozycjonowanie (ang. SEO = Search Engine Optimization) Szare/czarne SEO: szpikowanie ukrytymi słowami kluczowymi cloaking inna wersja strony dla wyszukiwarki, inna dla zwykłego użytkownika spamowanie komentarzy/stron wiki spamowanie list typu odsyłają do nas tworzenie klik powiązanych stron, źródła tekstu: pobrany z innych stron WWW

38 Pozycjonowanie Pozycjonowanie (ang. SEO = Search Engine Optimization) Szare/czarne SEO: szpikowanie ukrytymi słowami kluczowymi cloaking inna wersja strony dla wyszukiwarki, inna dla zwykłego użytkownika spamowanie komentarzy/stron wiki spamowanie list typu odsyłają do nas tworzenie klik powiązanych stron, źródła tekstu: pobrany z innych stron WWW napisany przez tanich copywriterów

39 Pozycjonowanie Pozycjonowanie (ang. SEO = Search Engine Optimization) Szare/czarne SEO: szpikowanie ukrytymi słowami kluczowymi cloaking inna wersja strony dla wyszukiwarki, inna dla zwykłego użytkownika spamowanie komentarzy/stron wiki spamowanie list typu odsyłają do nas tworzenie klik powiązanych stron, źródła tekstu: pobrany z innych stron WWW napisany przez tanich copywriterów wygenerowany automatycznie

40 Pozycjonowanie Pozycjonowanie (ang. SEO = Search Engine Optimization) Szare/czarne SEO: szpikowanie ukrytymi słowami kluczowymi cloaking inna wersja strony dla wyszukiwarki, inna dla zwykłego użytkownika spamowanie komentarzy/stron wiki spamowanie list typu odsyłają do nas tworzenie klik powiązanych stron, źródła tekstu: pobrany z innych stron WWW napisany przez tanich copywriterów wygenerowany automatycznie kupowanie linków na stronach o dużym PageRanku

41 Ręczna Automatyczna Wewnętrzna Ocena strony Zewnętrzna PageRank nasłuch HITS huby autorytety

42 model intencjonalnego internauty Jak wyszukiwarka może dowiedzieć, jakie strony internauci naprawdę odwiedzają? śledzenie klikanych linków: <a href=" class=l onmousedown="return clk(this.href,,, res, 2, )"> <em>pogotowie KRAWIECKIE</em></a>

43 model intencjonalnego internauty Jak wyszukiwarka może dowiedzieć, jakie strony internauci naprawdę odwiedzają? śledzenie klikanych linków: <a href=" class=l onmousedown="return clk(this.href,,, res, 2, )"> <em>pogotowie KRAWIECKIE</em></a> Google Toolbar

44 model intencjonalnego internauty Jak wyszukiwarka może dowiedzieć, jakie strony internauci naprawdę odwiedzają? śledzenie klikanych linków: <a href=" class=l onmousedown="return clk(this.href,,, res, 2, )"> <em>pogotowie KRAWIECKIE</em></a> Google Toolbar Google Analytics

45 model intencjonalnego internauty Jak wyszukiwarka może dowiedzieć, jakie strony internauci naprawdę odwiedzają? śledzenie klikanych linków: <a href=" class=l onmousedown="return clk(this.href,,, res, 2, )"> <em>pogotowie KRAWIECKIE</em></a> Google Toolbar Google Analytics Google Chrome