W tym rozdziale książka opisuje kilka podejść do poszukiwania kolokacji.

Transkrypt

1 5 Collocations Związek frazeologiczny (kolokacja), to często używane zestawienie słów. Przykłady: strong tea, weapons of mass destruction, make up. Znaczenie całości wyrażenia, nie zawsze wynika ze znaczeń poszczególnych słów, np. to kick the bucket. Kolokacje są ważne między innymi przy generowaniu języka natuarlnego. Trzeba uważać, aby nie stworzyć sztucznych tworów jak: powerful tea. Mimo iż jest to wyrażenie zrozumiałe, konwencja wymaga, aby użyć strong. W tym rozdziale książka opisuje kilka podejść do poszukiwania kolokacji. 5.1 Frequency Najprostszą metodą znajdowania kolokacji w tekście jest zliczanie. Jeżeli dwa słowa występują obok siebie często, to oznacza, że mają specjalną funkcję. Jednak samo wybieranie najczęstszych złączeń nie jest dobrym rozwiązaniem. W przykładowym tekście najczęściej pojawiają się: of the in the to the on the for the itd. Aby polepszyć wyniki, należy przepuścić dane przez filtr part-of-speach (powtórzenia które moga być wyrażeniami). Przykład: AN linear function NN regression coefficients AAN Gaussian random variable ANN cumulative distribution function NAN mean squared error NNN class probability function 1

2 NPN degrees of freedom Po zastosowaniu flitru, otrzymujemy: New York AN United States AN Los Angeles NN last year AN Saudi Arabia NN last week AN Analizując korpus WWW, udało się znaleźć 799 wystąpień kolokacji: strong tea, a tylko 17 przykładów powerful tea. 5.2 Mean and Variance Analiza częstości działa całkiem dobrze, ale nie we wszystkich przypadkach. Wiele związków frazeologicznych ma zmienną strukturę. Rozważmy czasownik knock : she knocked on his door a man knock on the metal front door Pomiędzy knock i door występuje różna ilość, różnych słów. Aby odkryć związek pomiędzy tymi słowami należy obliczyć średnią i wariancję ich odległości (przesunięcia). Kolokacje powinno charakteryzować niskie odchylenie standardowe. Dla rozważanej pary knock i door średnia wynosi 4, odchylenie standardowe 1.15 (nie wszystkie przykłady wypisałem) 5.3 Hypothesis Testing Do potwierdzenia związków pomiędzy słowami możemy zastosować statystyczne metoty weryfikacji hipotez. (Przypomnienie ze statystyki) zdarzenie wystąpieni epary słów w 1 w 2 hipoteza zerowa - H 0 - zdarzenie jest przypadkowe, nie ma związku pomiędzy w 1 w 2 2

3 zakładając że H 0 jest prawdziwa, liczymy prawdopodobieństwo odrzucamy, lub nie mamy podstaw do odrzucenia hipotezy (na ustalonym poziomie istotności np. 0.05) The t test W tym podrozdziale, na przykładzie new companies przedstawiane są podstawowe zasady testowania hipotez. Autor korzysta ze statystyki t- studenta. Dla przypomnienia: t = x µ s 2 gdzie x to średnia, s 2 to wariancja, N rozmiar. Przykład: new companies Hipoteza H 0 : słowa nie są związkiem frazeologicznym, występują niezależnie. Prawdopodobieństwa: P (new) = P (companies) = 4675 Zakładamy, ze H 0 jest prawdziwa: H 0 : P (new companies) = P (new)p (companies) = 3, Mamy rozkład 0-1: prawdopodobieństwo pojawienie się new companies: N p = 3, wartość oczekiwana p. Para new companies pojawia się w badanym korpusie 8 razy: x = 8 = 5, Podstawiając dane do statystyki testowej otrzymujemy wartość: t = Jest mniejsza niż wartośc krytyczna 2, 576 dla poziomu istotności α = Nie mamy podstaw do odrzucenia hipotezy H 0 Czyli najprawdopodobniej słowa te nie są kolokacją. 3

4 5.3.2 Hypothesis testing of differences Testy statystyczne mogą być również używane do wyszukiwania słów które będą rozróżniać dwa słowa. Przykładowo chcemy znaleźć słowa które będą znacznie częściej występować ze strong niż z powerful (np. computers). Szczegółowe wzory na stronie Pearson s chi-square test Testy z poprzednich podrozdziałów zakładały, że wykorzystywane zmienne losowe mają rozkład normalny. W odróżnieniu od nich test chi-kwadrat jest wolny od tego założenia. Dokładnie wzory w książce strona 159 lub na wikipedii Likelihood Ratios Likelihood-ratio jest testem statystycznym służącym do wyboru jednej z dwóch hipotez. Jego zaletą jest między innymi intuicyjna interpretacja wyników. Kolokacji można szukać przy wykorzystaniu kilku korpusów. Względne częstości wystąpień możemy uzyskać porównując wystąpienia pary słów w kliku korpusach. 5.4 Mutual Information Pojęcie z teorii informacji, tłumaczone jako informacja wzajemna pomiędzy dwiema zmiennymi losowymi. Jest to miara zależności pomiędzy tymi zmiennymi. Dobrze oddaje niezależnośc (jeżeli zmienne są niezależne, równa się 0), ale ma problem z wykrywaniem związków. 5.5 The Notion of Collocation Kilka cech kolokacji: Sekwencja dwóch lub więcej kolejnych słów, których znaczenie nie może być wyprowadzone bezpośrednio ze znaczenie sładników. Znaczenie kolokacji nie jest złożeniem znaczeń sładników, a może być też całkowicie odmienne (idiomy) Nie można podawać prostych synonimów. Np. dla white wine synonimem nie może być yellow wine mimo iż kolor prawie ten sam ;) Kolokacji zazwyczaj nie można modyfikować. Problem dotyczy zwłaszcza idiomów. 4

5 Prostą sztuczką na sprawdzenie kolokacji jest przetłumaczenie jej na inny język. Jeżeli nie możemy tłumaczyć słowo po słowie to bardzo prawdopodobne, że jest to kolokacja. Kolokacje możemy podzielić na podklasy: wyrażenia numeryczne (trzy i pół tysiąca) phrasal verbs (break out) nazwy własne (New York) określenie terminologiczne (hydraulic oil filter) 5.6 Further Reading Co czytać? 5