Wstęp do przetwarzania języka naturalnego

Transkrypt

1 Wstęp do przetwarzania języka naturalnego Wykład 9 Wektoryzacja dokumentów i podstawowe miary podobieństwa Wojciech Czarnecki 17 grudnia 2013

2 Section 1 Przypomnienie

3 Bag of words model

4 Podejście Przypomnienie Na dotychczasowych wykładach - probabilistyczne Od teraz - geometryczne

5 Section 2

6 Dla ustalenia uwagi Załóżmy, że rozważamy problem stworzenia wyszukiwarki, tzn. mamy pewną bazę dokumentów (niekoniecznie stron), oraz użytkownika, który wpisuje jakąś frazę. Chcemy przedstawić mu najlepszy dokument (albo posortowaną listę najlepszych dokumentów).

7 Problem wyszukiwania Mając dane zapytanie q wyszukaj najlepszy dokument d z puli D

8 Problem wyszukiwania jest to istotnie różne od sprawdzania, czy q jako zdanie, należy do jakiegoś modelu języka zadanego przez okreslony dokument d przede wszystkim D jest duże, wiec musimy mieć bardzo wydajną metodę (zarówno pamięciowo jak i obliczeniowo) zapytania bardzo rzadko są zdaniami to, co nas tak na prawdę interesuje to sens, potrzeba, która doprowadziła do wpisania q, nie zaś samo q

9 Reprezentacja binarna (set of words) φ( Ala ma kota. Ala lubi też psy ) = {Ala, ma, kota., lubi.tez, psy}

10 Jaccard coefficient Własności: J(A, A) = 1 J(A, B) = J(A, B) = 0 A B = A B A B A i B mogą być dowolnej (różnej) długości J(A, B) [0, 1]

11 Jaccard coefficient J(A, B) = A B A B J(φ( Ala ma kota ), φ( Ala ma psa )) = = {Ala, ma, kota} {Ala, ma, psa} {Ala, ma, kota} {Ala, ma, psa} = {Ala, ma} {Ala, ma, kota, psa} = 2 4

12 Jaccard coefficient Nie bierze pod uwagę częstotliwości wystąpień słów Normalizacja przez sumę mnogościową nie jest najlepsza

13 Set of words Przypomnienie

14 Bag of words Przypomnienie

15 Bag of words - reprezentacja wektorowa φ(antony and Cleopatra) = [157, 4, 232, 0, 57, 2, 2] N 7

16 Term frequency Przypomnienie Term frequency Częstotliwością termu (term frequency, tf) t w dokumencie d nazywamy liczbę wystąpień t w d i oznaczamy przez tf t,d tf t,d = count(t, d) = #{i : d[i] = t}

17 Term frequency - zastosowania i problemy Można wykorzystywać do mierzenia na ile dany dokument odzwierciedla zapytanie w wyszukiwarce, tzn.: score(q, d) = tf t,d t q Jeśli szukamy hasła dog, to dokument zawierający 100 słów dog będzie 100 razy lepszy niż ten zawierający jedno słówko dog Wraz ze wzrostem częstotliwości występowania termu powinna wzrastać ocena, ale na pewno nie liniowo!

18 Log term frequency w t,d = { 1 + log(tft,d ), if tf t,d > 0 0, otherwise

19 Log term frequency w t,d = { 1 + log(tft,d ), if tf t,d > 0 0, otherwise score(q, d) = w t,d = t q t q d 1 + log(tf t,d )

20 Log term frequency tf t,d w t,d sow

21 Document frequency weighting Rzadkie słowa są bardziej informatywne, niż częste np. jeśli szukamy zapytaniem William Shakespeare, to zdecydowanie większą wagę należy poświęcić stronom, które zawierają term Shakespeare (35,000,000 wyników w Google) niż stronom zawierającym William (281,000,000 wyników w Google). bardziej skrajnie - szukając danych o muszce owocówce ( używając zapytania melanogaster fly ) ważniejsze są strony o konkretnym gatunku ( drosophila melanogaster - 1,410,000 wyników) niż te o muchach ogólnie (188,000,000)

22 Document frequency Document frequency Częstotliwością termu (Document frequency, df) t w zbiorze dokumentów nazywamy liczbę dokumentów w których wystepuje t i oznaczamy przez df t df t = d D min{1, tf t,d } = #{d D : tf t,d > 0}

23 Document frequency Document frequency jest miarą nieinformatywności termu Chcąc mieć informatywności musimy ten obiekt odwrócić

24 Inverse Document frequency ( ) N idf t = log dft gdzie N = #D to liczba dokumentów

25 Inverse Document frequency df t idf t (N = 100)

26 tf-idf weighting Przypomnienie ( ) N tf.idf t,d = (1 + log(tf t,d )) log }{{} dft }{{} tf - trafność idf - normalizacja score(q, d) = t q d tf.idf t,d

27 tf-idf Przypomnienie

28 tf-idf Przypomnienie

29 tf-idf Przypomnienie document x y z Antony and Cleopatra Julius Caesar The Tempest Hamlet Othello Macbeth Rysunek: VSM na bazie utworów Szekspira

30 VSM Przypomnienie Vector Space Model mamy V wymiarową przestrzeń rzeczywistą każdy term to wymiar przestrzeni (oś) dokumenty to punkty (wektory) w tej przestrzeni bardzo wysoko wymiarowa przestrzeń bardzo rzadkie wektory

31 VSM w wyszukiwaniu Mając dane zapytanie q wyszukaj najlepszy dokument d z puli D zapytania również można potraktować jak dokumenty i wyrazić je w naszym VSM dokumenty można posortować wg. trafności trafność = bliskość wektorów = odwrotność odległości

32 Co to jest bliskość wektorów?

33 Section 3

34 Odłegłość między dwoma wektorami mamy dokumenty d i wyrażone jako wektory w R V, nazwijmy je x i interesuje nas znalezienie funkcji f, takiej, że: f (x i, x j ) = 0 gdy x i = x j f (x i, x j ) = f (x j, x i ) f (x i, x j ) > f (x i, x k ) gdy x k jest bardziej podobne do x i niż x j

35 Odległość między dwoma wektorami Norma euklidesowa różnicy wektorów f (x i, x j ) = x i x j

36 Odległość między dwoma wektorami f (x i, x j ) = x i x j f (q, d 2 ) = q d 2 > q d 1 = f (q, d 1 ) f (q, d 2 ) = q d 2 > q d 3 = f (q, d 3 )

37 Odległość między dwoma wektorami Wyobraźmy sobie sytuację, gdzie mamy dokument d będący konkatenacją dokumentu d z samym sobą Semantycznie te dwa dokumenty mają tę samą informację Odległość euklidesowa może być dowolnie duża

38 Odległość między dwoma wektorami Wyobraźmy sobie sytuację, gdzie mamy dokument d będący konkatenacją dokumentu d z samym sobą Semantycznie te dwa dokumenty mają tę samą informację Odległość euklidesowa może być dowolnie duża Idea: używajmy kąta zamiast odległości

39 Liczenie kąta między wektorami w wysoko wymiarowej przestrzeni Prosta obserwacja, nastepujące działania są równoważne Sortowanie dokumentów po malejącym kącie między nimi Sortowanie dokumentów po rosnącym kosinusie kąta między nimi

40 Kosinus kąta Przypomnienie

41 Kosinus kąta przy tfidf t, d : tf.idf t,d 0 (x i, x j ) [0, 90 ] cos( (x i, x j )) [0, 1]

42 Kosinus kąta Przypomnienie cos(x, y) = x i y to wektory tf.idf x y x y = V V i=1 x 2 i i=1 x iy i V i=1 y i 2 cos(x, y) to kosinus kąta między nimi lub czasem podobieństwo kosinusowe (cosine similarity) tych wektorów gdyby x i y były jednostkowe, to wystarczyłoby liczyć iloczyn skalarny

43 Znormalizowana reprezentacja VSM

44 Proces porównywania dokumentów - klasyczna wersja VSM 1 Policz tfidf t,d dla każdego dokumentu i każdego termu 2 Zapisz reprezentację VSM każdego dokumentu korzystając z tfidf 3 Znormalizuj każdy z wektorów (podziel go przez jego normę) 4 W przypadku potrzeby porównania dwóch dokumentów - policz iloczyn skalarny pomiędzy ich reprezentacjami

45 Generalizacje tfidf tzw. SMART notation: ddd.qqq ltc.ltc (omówiony przed chwilą) lnc.ltc (popularne podejście)

46 Czy to jedyna możliwość? Jest wiele innych, używanych do analizy tekstu metryk, m.in. Korelacja Pearsona Uśredniona dywergencja Kullbacka-Leiblera

47 Korelacja Pearsona Rysunek: Współczynnik korelacji Pearsona - wikipedia r xy = (xi x)(y i ȳ) (xi x) 2 (yi ȳ) 2

48 Korelacja Pearsona Rysunek: Współczynnik korelacji Pearsona - wikipedia r xy = (xi x)(y i ȳ) (xi x) 2 (yi ȳ) 2 r xy = cos(x x, y ȳ)

49 Dywergencja KL Przypomnienie D KL (P Q) = P(x) log ( ) P(x) dx Q(x)

50 Dywergencja KL Przypomnienie D KL (P Q) = D KL (x y) = t ( ) P(x) P(x) log dx Q(x) ) w t,x log ( wt,x w t,y

51 Dywergencja KL Przypomnienie D KL (P Q) = D KL (x y) = t ( ) P(x) P(x) log dx Q(x) ) w t,x log ( wt,x w t,y D JS (P Q) = D KL(P P+Q 2 ) + D KL (Q P+Q 2 ) 2

52 Klastrowanie dokumentów - Purity Na podstawie Similarity Measures for Text Document Clustering - Anna Huang (University of Waikato)

53 Klastrowanie dokumentów - Entropia Na podstawie Similarity Measures for Text Document Clustering - Anna Huang (University of Waikato)

54 Kolejny wykład Przypomnienie Klasyfikacja oparta o miary podobieństwa i model VSM Zaawansowany model VSM - Latent Semantic Analysis (LSA)

55 Plan WPJN Przypomnienie 19 XII - [W] Podstawowa klasyfikacja oparta o VSM i LSA 22 XII - [Cw] Zasady projektu 4 3 I - [Cw] Deadline projektu 3 8 I - [W] Maszyna Wektorów Nośnych 16 I - [W] Zaawansowane funkcje jądra 19 I - [Cw] Ostateczny deadline projektu 4 23 I - [W] State of the art NLP