Narzędzia do automatycznego wydobywania kolokacji

Transkrypt

1 Narzędzia do automatycznego wydobywania kolokacji Jan Kocoń, Agnieszka Dziob, Marek Maziarz, Maciej Piasecki, Michał Wendelberger Politechnika Wrocławska Katedra Inteligencji Obliczeniowej

2 Wstęp Cel: Słownik wielowyrazowych jednostek leksykalnych Definicja: Wielowyrazowa jednostka leksykalna czym jest? Metoda: Dwie drogi kolokacje (związki frazeologiczne) kryteria Wychodzimy od kolokacji, które wydobywamy w sposób automatyczny, ale oceniamy za pomocą kryteriów lingwistycznych.

3 Schemat przetwarzania

4 Korpus tekstowy Zbiór tekstów wraz z zestawem metadanych. Pożądane cechy: reprezentatywność, zachowanie podziału na zdania, wyrazy i segmenty. Zawartość: formy bazowe, opis morfologiczny, dodatkowe anotacje.

5 Plik z korpusem (format CCL)

6 Definicja kolokacji Często zaobserwowane i nieprzypadkowe połączenie słów występujących w bliskim sąsiedztwie. Przykłady interesujących kolokacji: białe wino (ciągła), czerwona kartka (ciągła), nabić [komuś] guza (nieciągła).

7 Ocena nieprzypadkowości Nieprzypadkowość (siłę) kolokacji mierzyć można różnymi sposobami. Metody te różnią się od siebie podejściem do rozwiązania problemu, ilością potrzebnych danych, złożonością pamięciową i obliczeniową.

8 Miary do oceny siły powiązania Funkcje statystyczne: Pointwise Mutual Dependency, Mutual Dependency, Frequency Biased MD, Mutual Expectation, Unigram Subtuples... Testy statystyczne: X 2 Persona, Loglikelihood, TScore, ZScore... Miary szyku: W Order...

9 Miara połączona Różne miary promują różne cechy kolokacji, np. rzadkie połączenia częste występowanie ustalony lub zmienny szyk, itd. Miara połączona: wyliczamy dla poszczególnych kolokacji wartości różnych miar, łączymy miary częściowe różne sposoby łączenia, w miarę połączoną VAM (Vector Association Measure)

10 Zestawienie przykładowych wyników ekstrakcji kolokacji

11 Filtrowanie danych Filtry statystyczne: częstości, bardziej skomplikowane filtry (np.: entropia, wariancja). Filtry językowe: trudniejsze, wiedza dziedzinowa, mniejsza ogólność międzyjęzykowa, oparte o części mowy (typy strukturalne), np. operatory języka ograniczeń WCCL. Funkcje dyspersji (np. TF-IDF): względna prostota zastosowania, wymaga zbioru korpusów.

12 Funkcje dyspersji Zadania: zmiana rozkładu danych statystycznych, wstępne wyznaczenie potencjalnie interesujących kolokacji, element filtrowania,

13 MeWeX system do wydobywania kolokacji Warto też spojrzeć na system TermoPL wyspecjalizowany w wydobywaniu terminologii: Materiały warsztatowe o TermoPL, np.:

14 Słownik wielowyrazowych jednostek leksykalnych tiny.cc/clarinmwe

15 Słownik wielowyrazowych jednostek leksykalnych Clarinu Statystyki: 55 tys. haseł (prawie 1/3 Słowosieci) większość rzeczowników większość biogramów (tj. dwuelementowych kolokacji) większość w typie NA (rzeczownik + przymiotnik w postpozycji)

16 Słownik wielowyrazowych jednostek leksykalnych Clarinu Bigramy rzeczownikowe według typu strukturalnego karta debetowa żółta kartka mała czarna bać się matka Polka

17 Słownik wielowyrazowych jednostek leksykalnych Clarinu WJL z podziałem na część mowy Bigramy a trigramy

18 Słownik wielowyrazowych jednostek leksykalnych Clarinu część mowy schemat wydobycia typ strukturalny i zmienne szyk

19 Słownik wielowyrazowych jednostek leksykalnych Clarinu Przykłady typów strukturalnych (bigramy) Rzeczownikowe: dwa rzeczowniki szyk ustalony (fix) wymusza liczbę pojedynczą dla obu wyrazów wymusza uzgodnienie obu wyrazów pod względem przypadka

20 Słownik wielowyrazowych jednostek leksykalnych Clarinu Przykłady typów strukturalnych (bigramy) Przyimkowe: przyimek i rzeczownik (wyrażenie przyimkowe) szyk ustalony przyimek wymusza rzeczownik w bierniku

21 Wielowyrazowa jednostka leksykalna (WJL) Dwa podejścia DEF. 1. takie połączenie wyrazowe, które jest przechowywane w naszym mentalnym leksykonie jako jednostka, całostka semantyczna i którego to połączenia nie musimy składać na bieżąco w tekście, tylko przywołujemy je z pamięci Svensen 2009, Murphy 2003, Laskowski 1999, Jackendoff 1997 DEF. 2. takie połączenie wyrazowe, którego znaczenia nie jesteśmy w stanie zrekonstruować na podstawie znaczeń elementów składowych Sinclair 1998, Weigand 1998, Malmkjaer 1991

22 Wielowyrazowa jednostka leksykalna (WJL) Dwa podejścia DEF. 1. takie połączenie wyrazowe, które jest przechowywane w naszym mentalnym leksykonie jako jednostka, całostka semantyczna i którego to połączenia nie musimy składać na bieżąco w tekście, tylko przywołujemy je z pamięci Svensen 2009, Murphy 2003, Laskowski 1999, Jackendoff 1997 DEF. 2. takie połączenie wyrazowe, którego znaczenia nie jesteśmy w stanie zrekonstruować na podstawie znaczeń elementów składowych Sinclair 1998, Weigand 1998, Malmkjaer 1991

23 WJL system kryteriów System zbudowany na wielu kryteriach połączenie TAK NIE WJL? maszyna do szycia 13 1 a pies Marka 0 14 r

24 WJL system kryteriów System zbudowany na wielu kryteriach Połączenie XYZ a TERMINY TERMIN? r PARAFRAZA? nie-wjl r a N+Adj? a r JEDNOSTKI NIEKOMPO- ZYCYJNE SEPAROWALNOŚĆ? a SZYK USTALONY? r ZESTAWIENIA a ZESTAWIENIA r nie-wjl

25 MeWeX ćwiczenia warsztatowe Przetwarzanie korpusu Wybrane teksty z korpusu z zajęć z LEM Wydobycie kolokacji przy różnych ustawieniach miar i filtrowania Przegląd kolokacji

26 Dziękuję bardzo za uwagę