EmotiWord, semantyczne powiązanie i podobieństwo, odległość znaczeniowa

Transkrypt

1 , semantyczne powiązanie i podobieństwo, odległość Projekt przejściowy ARR Politechnika Wrocławska Wydział Elektroniki Wrocław, 22 października 2013

2 Spis treści 1 językowa 2, kryteria 3

3 Streszczenie artykułu Treść artykułu : Affective Lexicon Creation with Application to Interaction and Multimedia Data można streścić następująco: świat potrzebuje narzędzi do afektywnej analizy tekstów;

4 Streszczenie artykułu Treść artykułu : Affective Lexicon Creation with Application to Interaction and Multimedia Data można streścić następująco: świat potrzebuje narzędzi do afektywnej analizy tekstów; istnieją tezaurusy, lekstykony, korpusy itp. używane w tego typu analizach;

5 Streszczenie artykułu Treść artykułu : Affective Lexicon Creation with Application to Interaction and Multimedia Data można streścić następująco: świat potrzebuje narzędzi do afektywnej analizy tekstów; istnieją tezaurusy, lekstykony, korpusy itp. używane w tego typu analizach; są one skończone;

6 Streszczenie artykułu Treść artykułu : Affective Lexicon Creation with Application to Interaction and Multimedia Data można streścić następująco: świat potrzebuje narzędzi do afektywnej analizy tekstów; istnieją tezaurusy, lekstykony, korpusy itp. używane w tego typu analizach; są one skończone; potrzeba możliwości rozszerzenia istniejących sieci słów o nowe pojęcia, synsety.

7 Teza artykułu Semantic similarity can be translated to affective similarity.

8 Teza artykułu Semantic similarity can be translated to affective similarity. Można rozszerzyć istniejące zbiory słów o nowe pojęcia poprzez określanie ich podobieństwa do już emocjonalnie określonych fraz.

9 Teza artykułu Semantic similarity can be translated to affective similarity. Można rozszerzyć istniejące zbiory słów o nowe pojęcia poprzez określanie ich podobieństwa do już emocjonalnie określonych fraz. Nie jest to zwykłe wyszukiwanie synonimów. Pomysł autorów artykułu idzie o krok dalej.

10 językowa W dostępnej literaturze podmiotu wyróżnia się trzy podstawowe pojęcia. semantic likeness

11 językowa W dostępnej literaturze podmiotu wyróżnia się trzy podstawowe pojęcia. semantic likeness semantic relatedness

12 językowa W dostępnej literaturze podmiotu wyróżnia się trzy podstawowe pojęcia. semantic likeness semantic relatedness semantic distance

13 językowa W dostępnej literaturze podmiotu wyróżnia się trzy podstawowe pojęcia. semantic likeness semantic relatedness semantic distance Omawiany artykuł rozważa kwestię obliczania powiązania znaczeniowego w oparciu o odległość znaczeniową.

14 Opis metody Spośród zbioru znanych słów o znanym zabarwieniu emocjonalnym np. ANEW, obiera się grupę słów wzorcowych tzw. seed words.

15 Opis metody Spośród zbioru znanych słów o znanym zabarwieniu emocjonalnym np. ANEW, obiera się grupę słów wzorcowych tzw. seed words. Natrafiając na nieznane sformułowanie, tzw. unseen word, podczas analizy tekstu, sprawdza się jego powiązanie semantyczne ze zbiorem seed words i dokonuje wyliczenia jego parametrów afektywnych np. PAD.

16 Opis metody Wzór na wartościowość ˆv słowa w j jest dany: N ˆv(w j ) = a 0 + a i v(w i )d(w i, w j ), (1) n=1 gdzie: v(w i ) wartościowość słowa w i, d(w i, w j ) semantyczna odległość pomiędzy seed word w i a unseen word w j, a i waga i-tego unseen word, a 0 stała:)

17 Opis metody Wzór na wartościowość ˆv słowa w j jest dany: N ˆv(w j ) = a 0 + a i v(w i )d(w i, w j ). n=1 Nieznaną wartością w powyższym równaniu jest d(w i, w j ).

18 Opis metody Wzór na wartościowość ˆv słowa w j jest dany: N ˆv(w j ) = a 0 + a i v(w i )d(w i, w j ). n=1 Nieznaną wartością w powyższym równaniu jest d(w i, w j ). Dalsze rozważania będą dotyczyć obliczania dystansu semantycznego. Niemniej, wyniki eksperymentu są ciekawe, nietrywialne i mogą być przydatne w przyszłości.

19 , kryteria W dostępnej literaturze opisane są zarówno teoretyczne, jak i praktyczne przykłady wyliczania odległości semantycznej. Można je sklasyfikować w następujący sposób: offline,

20 , kryteria W dostępnej literaturze opisane są zarówno teoretyczne, jak i praktyczne przykłady wyliczania odległości semantycznej. Można je sklasyfikować w następujący sposób: offline, online:

21 , kryteria W dostępnej literaturze opisane są zarówno teoretyczne, jak i praktyczne przykłady wyliczania odległości semantycznej. Można je sklasyfikować w następujący sposób: offline, online: bazujące na tekstach,

22 , kryteria W dostępnej literaturze opisane są zarówno teoretyczne, jak i praktyczne przykłady wyliczania odległości semantycznej. Można je sklasyfikować w następujący sposób: offline, online: bazujące na tekstach, bazujące na liczności stron w sieci.

23 emocjonalna W dostępnej literaturze opisane są zarówno teoretyczne, jak i praktyczne przykłady wyliczania odległości semantycznej. Można je sklasyfikować w następujący sposób: nadzorowane (supervised),

24 emocjonalna W dostępnej literaturze opisane są zarówno teoretyczne, jak i praktyczne przykłady wyliczania odległości semantycznej. Można je sklasyfikować w następujący sposób: nadzorowane (supervised), nienadzorowane (unsupervised).

25 emocjonalna W dostępnej literaturze opisane są zarówno teoretyczne, jak i praktyczne przykłady wyliczania odległości semantycznej. Można je sklasyfikować w następujący sposób: nadzorowane (supervised), nienadzorowane (unsupervised). Eksperyment porównuje miary odległości semantycznej korzystając z metod bazujących na liczności stron w sieci. Uczenie systemu nowych pojęć odbywa się w sposób nienadzorowany.

26 , kryteria Badania wykorzystują cztery miary odległości znaczeniowej: współczynnik podobieństwa Dice a,

27 , kryteria Badania wykorzystują cztery miary odległości znaczeniowej: współczynnik podobieństwa Dice a, współczynnik podobieństwa Jaccarda,

28 , kryteria Badania wykorzystują cztery miary odległości znaczeniowej: współczynnik podobieństwa Dice a, współczynnik podobieństwa Jaccarda, pointwise mutual information PMI,

29 , kryteria Badania wykorzystują cztery miary odległości znaczeniowej: współczynnik podobieństwa Dice a, współczynnik podobieństwa Jaccarda, pointwise mutual information PMI, Google-based Semantic Relatedness.

30 , kryteria Badania wykorzystują cztery miary odległości znaczeniowej: współczynnik podobieństwa Dice a, współczynnik podobieństwa Jaccarda, pointwise mutual information PMI, Google-based Semantic Relatedness. Do badań została użyta wyszukiwarka (search engine) Yahoo!

31 Wielkości użyte w definicji miar dystansu {D} zbiór wszystkich stron zaindeksowanych przez wyszukiwarkę, D liczba stron w zbiorze {D}, w słowo lub pojęcie, {D w} podzbiór {D}, strony zaindeksowane przez w, {D w 1, w 2 } podzbiór {D}, strony zaindeksowane przez w 1 i w 2, D w frakcja dokumentów ze zbioru {D} zaindeksowana przez w, D w 1, w 2 frakcja dokumentów ze zbioru {D} zaindeksowana przezw 1 i w 2.

32 Jaccard coefficient, Dice coefficient Współczynnik podobieństwa Jaccarda dany jest wzorem: Jaccard(w 1, w 2 ) = Współczynnik podobieństwa Dice a: D w 1, w 2 D w 1 + D w 2 D w 1, w 2 Dice(w 1, w 2 ) = 2 D w 1, w 2 D w 1 + D w 2 (2) (3)

33 Pointwise Mutual Information Współczynnik PMI dany jest wzorem: PMI (w 1, w 2 ) = D w 1,w 2 D D w 1 D w 2 D D (4)

34 Google-based Semantic Relatedness Współczynnik bazujący na Google oparty jest o Znormalizowaną Google (Normalized Google Distance) daną wzorem: NGO(w 1, w 2 ) = max{a} log D w 1, w 2, (5) log D min{a} gdzie A = {log D w 1, log D w 2 }. Miara wg Google dana jest zatem wzorem: Google(w 1, w 2 ) = e 2NGO(w 1,w 2 ). (6) Wyniki innych prac pokazują, że miara NGO jest bardziej wiarygodna dla wyszukiwarki Yahoo! Sorry, Google.

35 Google-based Semantic Relatedness Współczynnik bazujący na Google oparty jest o Znormalizowaną Google (Normalized Google Distance) daną wzorem: NGO(w 1, w 2 ) = max{a} log D w 1, w 2, (7) log D min{a} gdzie A = {log D w 1, log D w 2 }. Miara wg Google dana jest zatem wzorem: Google(w 1, w 2 ) = e 2NGO(w 1,w 2 ). (8) Wyniki innych prac pokazują, że miara NGO jest bardziej wiarygodna dla wyszukiwarki Yahoo! Sorry, Google.

36 oparte na tekście Innym podejściem do zagadnienia obliczania odległości semantycznej charakteryzują się metody bazujące na analizie tekstów. W tym wypadku, dla analizowanych fraz, ściągane zostają artykuły będące wynikiem wyszukiwania danego sformułowania w wyszukiwarce. Następnie poddaje się analizie tak otrzymany materiał.

37 oparte na leksykonach Metoda ta analizuje drzewo powiązań w sieciach semantycznych np. w WordNecie. Zaletą takiego rozwiązania jest uniezależnienie się od dostępu do Internetu.

38 Wątpliwości, spostrzeżenia, nadzieje 1 Skoro analizowane teksty pochodzą z Sieci, zakłada się dostęp do Intenetu, a zatem można stosować metody bazujące na odpytywaniu wyszukiwarek.

39 Wątpliwości, spostrzeżenia, nadzieje 1 Skoro analizowane teksty pochodzą z Sieci, zakłada się dostęp do Intenetu, a zatem można stosować metody bazujące na odpytywaniu wyszukiwarek. 2 Analiza liczności zaindekswanych stron wydaje się być lepszym pomysłem, niż ściąganie i analiza artykułów lokalnie.

40 Wątpliwości, spostrzeżenia, nadzieje 1 Skoro analizowane teksty pochodzą z Sieci, zakłada się dostęp do Intenetu, a zatem można stosować metody bazujące na odpytywaniu wyszukiwarek. 2 Analiza liczności zaindekswanych stron wydaje się być lepszym pomysłem, niż ściąganie i analiza artykułów lokalnie. 3 Skoro można wyliczać w ten sposób parametr valence, to czemu nie robić tego dla arousal i, być może, dominance?

41 Wątpliwości, spostrzeżenia, nadzieje 1 Skoro analizowane teksty pochodzą z Sieci, zakłada się dostęp do Intenetu, a zatem można stosować metody bazujące na odpytywaniu wyszukiwarek. 2 Analiza liczności zaindekswanych stron wydaje się być lepszym pomysłem, niż ściąganie i analiza artykułów lokalnie. 3 Skoro można wyliczać w ten sposób parametr valence, to czemu nie robić tego dla arousal i, być może, dominance? 4 Problem aktualizacji zbioru seed words. Kwestia korygowania parametrów z palca.

42 Wątpliwości, spostrzeżenia, nadzieje 1 Skoro analizowane teksty pochodzą z Sieci, zakłada się dostęp do Intenetu, a zatem można stosować metody bazujące na odpytywaniu wyszukiwarek. 2 Analiza liczności zaindekswanych stron wydaje się być lepszym pomysłem, niż ściąganie i analiza artykułów lokalnie. 3 Skoro można wyliczać w ten sposób parametr valence, to czemu nie robić tego dla arousal i, być może, dominance? 4 Problem aktualizacji zbioru seed words. Kwestia korygowania parametrów z palca. 5...

43 Zalety i wady Zalety analiz (uczenia) online: Wady analiz online:

44 Zalety i wady Zalety analiz (uczenia) online: znacząco większa baza wiedzy, Wady analiz online:

45 Zalety i wady Zalety analiz (uczenia) online: znacząco większa baza wiedzy, dobrze opisana teoria, Wady analiz online:

46 Zalety i wady Zalety analiz (uczenia) online: znacząco większa baza wiedzy, dobrze opisana teoria, dostępność stron poprzez UBrowser. Wady analiz online:

47 Zalety i wady Zalety analiz (uczenia) online: znacząco większa baza wiedzy, dobrze opisana teoria, dostępność stron poprzez UBrowser. Wady analiz online: wymagane połączenie z Internetem (trochę naciągana wada),

48 Zalety i wady Zalety analiz (uczenia) online: znacząco większa baza wiedzy, dobrze opisana teoria, dostępność stron poprzez UBrowser. Wady analiz online: wymagane połączenie z Internetem (trochę naciągana wada), opisane przypadki dotyczą tylko wartościowości (przyjemności) w przestrzeni PAD,

49 Zalety i wady Zalety analiz (uczenia) online: znacząco większa baza wiedzy, dobrze opisana teoria, dostępność stron poprzez UBrowser. Wady analiz online: wymagane połączenie z Internetem (trochę naciągana wada), opisane przypadki dotyczą tylko wartościowości (przyjemności) w przestrzeni PAD,...

50 To już koniec:(