Wstęp do przetwarzania języka naturalnego. Wykład 10 Zaawansowana wektoryzacja i klasyfikacja

Wielkość: px

Rozpocząć pokaz od strony:

Download "Wstęp do przetwarzania języka naturalnego. Wykład 10 Zaawansowana wektoryzacja i klasyfikacja"

Artur Michał Jastrzębski
8 lat temu
Przeglądów:

1 Wstęp do przetwarzania języka naturalnego Wykład 10 Zaawansowana wektoryzacja i klasyfikacja Wojciech Czarnecki 8 stycznia 2014

2 Section 1

Wektoryzacja tfidf document x y z Antony and Cleopatra 5.25 1.21 1.51 Julius Caesar 3.18 6.

3 Wektoryzacja tfidf document x y z Antony and Cleopatra Julius Caesar The Tempest Hamlet Othello Macbeth Rysunek: VSM na bazie utworów Szekspira

4 Idea Section 2 Wektorowa postać tekstu - klasyfikacja

5 Przykład Idea

6 Przykład Idea

7 k-nearest Neighbours Idea T = {(x i, y i )} N i=1 knn(x) = zbiór indeksów k najbliższych x punktów ze zbioru uczącego cl(x) = arg max #{i knn(x) : y i = c} c

8 Przykład Idea

9 knn dla dokumentów Idea Podstawowa wersja: Uczenie 1 Przekształć dane przez tfidf do postaci wektorowej 2 Zapisz zbiór uczący oraz przekształcenie tfidf Testowanie nowego dokumentu d 1 Przekształć dane przez zapisaną funkcję tfidf i nazwij x 2 Używając podobieństwa kosinusowego, znajdź k najbliższych punktów do x 3 Zwróć etykietę którą ma najwięcej z sąsiadów x a

dokumentu d 1 Przekształć dane przez zapisaną funkcję tfidf i nazwij x 2 Używając

10 Wady i zalety Idea Zalety: Wady: Bardzo prosty algorytm Pozwala na dowolne zdefiniowanie funkcji odległości (podobieństwa) Łatwo interpretowalny wynik Wymaga pamiętania całego zbioru uczącego Stosunkowo powolny (znalezienie k najbliższych sąsiadów wg. arbitralnie zadanej funkcji odległości wymaga przejrzenia wszystkich punktów) Nic nie jest uczone, więc zdefiniowanie metryki jest kluczowe Trzeba też dobrać k

Stosunkowo powolny (znalezienie k najbliższych sąsiadów wg.

11 Wpływ wyboru k Idea

12 Wpływ wyboru k Idea k = 1 podział Voronoi k = N zwracanie najczęstszej klasy k (1, N) lokalne rozmycie podziału Voronoi

13 Section 3 Problem WSD

14 WSD Word Sense Disambigousation

15 WSD Cheetah runs over 100km/h! My program runs but crashes after any key is pressed. The argument runs as follows...

16 Wordnet run

17 Wordnet run Jako rzeczownik 16 znaczeń Jako czasownik 41 znaczeń razem 57 znaczeń

18 Wordnet Podstawowa jednostka synset Wordnet to etykietowany graf synsetów

19 Wordnet

20 Wordnet

21 Wordnet

22 Idea znaczenie słowa zależy od kontekstu dobry zasób zawiera definicję każdego synsetu oraz gloss można wybierać taki sens, którego definicja/gloss są najbardziej podobne do definicji/glossów słów z kontekstu

23 Lesk algorithm PINE 1 kinds of evergreen tree with needle-shaped leaves 2 waste away through sorrow or illness CONE 1 solid body which narrows to a point 2 something of this shape whether solid or hollow 3 fruit of certain evergreen trees

24 Lesk algorithm LESK(word, sentence) 1 bestsense most frequent sense of word 2 bestoverl 0 3 context set of sentence words 4 foreach sense in senses(word): 1 signature set of words in the gloss and examples of sense 2 overlap overlap(signature,context) 3 if overlap > bestoverl 5 return sense 1 bestoverl overlap 2 bestsense sense

25 Lesk algorithm My pine tree has a cone PINE 1 kinds of evergreen tree with needle-shaped leaves 2 waste away through sorrow or illness CONE 1 solid body which narrows to a point 2 something of this shape whether solid or hollow 3 fruit of certain evergreen trees

26 Lesk algorithm My pine tree has a cone PINE 1 kinds of evergreen tree with needle-shaped leaves (1) 2 waste away through sorrow or illness (0) CONE 1 solid body which narrows to a point (0) 2 something of this shape whether solid or hollow (0) 3 fruit of certain evergreen trees (1)

27 Lesk algorithm Skuteczność na Dumie i uprzedzeniu : 50-70%

28 Lesk algorithm Problemy Podejście bardzo czułe na użyte słownictwo Oparcie się o definicje z glosów bardzo utrudnia procedurę, jako, że są one z zasady bardzo skrótowe

29 Section 4 Postać wektorowa a semantyka

30 Syntaktyka a semantyka Syntaktyka - składnia, określa zasady poprawnego języka, np. jakie części mowy po jakich występują Semantyka - znaczenie, określa faktyczny sens wypowiedzi, jego spójność przekazu

31 LSA Dotąd zakładaliśmy, że dokumenty reprezentowane są przez liczności (byćmoże przeskalowane) wystąpień termów Zamiast tego, możemy reprezentować dokumenty w przestrzeni konceptów, idei Dla uproszczenia załóżmy, że koncept to liniowa kombinacja termów, czyli np. coś postaci vehicle = car truck bicycle

32 LSA Niech X będzie macierzą m n określającą w X ij wystąpienia iego termu jym dokumencie (np. tfidf) ] ti T = [x i,1... x i,n d j = x 1,j... x m,j

33 LSA Kowystępowanie dwóch termów w dokumentach: n ti T t p = t i, t p = t i,k t p,k k=1 Macierz XX T zawiera wszystkie takie kowystępowania, tj. (XX T ) ip = ti T Symetrycznie macierz X T X t p Zawiera kowystępowania dla dokumentów, tj. (X T X ) jq = d T j d q

34 LSA Załóżmy, że istnieje dekompozycja X = UΣV T taka, że Σ jest diagonalna, a U i V są macierzami ortonormalnymi. Innymi słowy - rozkład SVD (Singular Value Decomposition)

35 LSA XX T = (UΣV T )(UΣV T ) T = UΣV T V Σ T U T = UΣΣ T U T X T X = (UΣV T ) T (UΣV T ) = V Σ T U T UΣV T = V Σ T ΣV T Zgodnie z założeniami ΣΣ T oraz Σ T Σ są diagonalne, więc U zawiera wektory własne XX T a V wektory własne X T X, jednocześnie wartości własne obu iloczynów są takie same i znajdują się na przekątnej Σ T Σ

36 LSA Jeśli teraz weźmiemy k największych wartości własnych, i odpowiadające im wektory z macierzy U i V to dostaniemy aproksymację rangi k wyjściowej macierzy. Okazuje się, że jest to też najlepsza aproksymacja rangi k (o najmniejszej normie frobeniusa błędu). Oznaczmy tę aproksymację przez X k = U k Σ k V T K

37 LSA Możemy przenieść dokument do przestrzeni konceptów Σ 1 k UT k d Możemy przenieść term do przestrzeni konceptów Σ 1 k V k T t T Przestrzeń konceptów jest wektorowa, więc można w niej dokonywać klasyfikacji, klastrowania, i wszelkiej innej analizy Zapytanie do wyszukiwarki q też możemy przenieść do przestrzeni konceptów Σ 1 k UT k q

38 LSA

39 LSA

40 LSA

41 LSA

42 LSA Ograniczenia Wymaga stosunkowo dużo obliczeń przy dużej ilości danych Zredukowana przestrzeń może być trudna w interpretacji, o ile (1.3 car truck) można uznać za koncept pojazd o tyle w rzeczywiśtości pojawia się wiele w postaci (1.3 car truck 0.1 flower) Model probabilistyczny stojący za LSA zakłada Gaussowskość rozkładów, co zostało empirycznie obalone (jest to raczej rozkład Poisson a)

43 LSA Jako metoda redukcji wymiarowości do klasyfikacji Jako metoda wizualizacji Jako narzędzie do semantycznej eksploracji dużych korpusów

44 Wektory? A może jednak grafy?

45 Wordnet

46 Wordnet Mając dwa słowa w 1 i w 2 oraz wordnet W Jaka jest odległość semantyczna tych 2 słów?

47 Wordnet Mając dwa słowa w 1 i w 2 oraz wordnet W Jaka jest odległość semantyczna tych 2 słów? Możemy zmierzyć semdist(w 1, w 2 ) = min s1,s 2 W s(w 1 ) W s(w 2 ) len(w path (s 1, s 2 ))

48 Wordnet - przykład

49 Wordnet - przykład naivesim(w 1, w 2 ) = 1/semdist(w 1, w 2 )

50 Wordnet Nie wszystkie znaczenia są równie prawdopodobne semdist(w 1, w 2 ) = sim(w 1, w 2 ) = min len(w path(s 1, s 2 )) s 1,s 2 W s(w 1 ) W s(w 2 ) s 1,s 2 W s(w 1 ) W s(w 2 ) P(s 1, s 2 w 1, w 2 ) len(w path (s 1, s 2 ))

51 Wordnet sim(w 1, w 2 ) = s 1,s 2 W s(w 1 ) W s(w 2 ) P(s 1, s 2 w 1, w 2 ) len(w path (s 1, s 2 )) W szczególności, jeśli wiemy (z innego źródła), że w 1 wystąpiło w sensie np. s 1 to s s1 P(s i, s 2 w 1, w 2 ) = 0 więc a znając oba sensy sim(w 1, w 2 ) = s 2 W s(w 2 ) P(s 1, s 2 w 1, w 2 ) len(w path (s 1, s 2 )) sim(w 1, w 2 ) = P(s 1, s 2 w 1, w 2 ) len(w path (s 1, s 2 ))

52 Wordnet Mierzenie podobieństwa semantycznego dwóch zdań (dokumentów): 1 Przypisujemy każdemu ze słów w i jego najbardziej prawdopodobny sens s i (np. używając Lesk a) 2 Liczymy sim(w i, w j ) (przy założeniu, że znamy s i, s j ) 3 Traktujemy nasze zdania jako graf dwudzielny, gdzie wagami krawędzi są wartości sim 4 Szukamy maksymalnego pełnego dopasowania (maximum total matching), i rozwiązujemy go np. poprzez algorytm Węgierski

53 Podobieństwo dokumentów Podstawowe, omówione techniki: W postaci wektorowej - kosinus kąta W wektorowej postaci konceptów - kosinus kąta między konceptami W postaci grafowej - oparte o analizę ścieżek w Wordnecie

54 Kolejny wykład

55 Egzamin Wybierzmy wspólnie jego datę

56 Egzamin Wesołych Świąt!

Podobne dokumenty

Wstęp do przetwarzania języka naturalnego

Wstęp do przetwarzania języka naturalnego Wykład 9 Wektoryzacja dokumentów i podstawowe miary podobieństwa Wojciech Czarnecki 17 grudnia 2013 Section 1 Przypomnienie Bag of words model Podejście Przypomnienie