Word Sense Disambiguation I WSTĘP Rozdział przedstawia kilka najważniejszych algorytmów rozpoznających znaczenie słów w zależności od użytego kontekstu. 1. Jaka jest idea rozpoznawania znaczenia słów? - wiele słów ma więcej niż jedno znaczenie - dla słów wieloznacznych, wyjętych z kontekstu, mamy wiele możliwości interpretacji takiego słowa Np angielskie słowo bank : - suchy ląd graniczący z brzegiem rzeki, jeziora lub morza (brzeg) - instytucja finansowa Zadanie: dla danego wieloznacznego słowa w kontekście podjąć decyzję, jakie przypisać mu znaczenie. 2. Typowa konstrukcja problemu w literaturze: - słowo posiada skończoną liczbę znaczeń (źródłem danych może być słownik, tezaurus ) - zadaniem programu jest dokonanie wyboru pomiędzy znaczeniami w przypadku każdorazowego użycia wieloznacznego słowa, w zależności od kontekstu użycia Wady: - brak jednoznaczności definicji słownikowych - słowo bank posiada dwa niezależne znaczenia, co ułatwia zadanie (nie jest to jednak typowy przykład) - słowo title jest typowym przykładem, którego słownikowa definicja zawiera niekonsekwentnie opisane, powiązane ze sobą znaczenia: * Nazwa książki, posągu, sztuki lub utworu muzycznego * Materiał początkowy filmu * Prawo własności (gruntu) *Dokument poświadczający o tym prawie *Wyraz szacunku dodany do nazwiska danej osoby Niekonsekwencje w powyższym opisie: - dwa znaczenia oznaczające prawo własności, rozróżniające to prawo od dokumentu go poświadczającego -z drugiej strony brak rozróżnienia pomiędzy cechą a przedmiotem określającym cechę w pozostałych przypadkach (np. w zdaniu Ten obraz nie ma tytułu. tytuł obrazu może to być jego nazwa nadana przez autora, albo plakietka z nazwą) - oddzielenie znaczenia nazwy filmu od reszty dzieł sztuki (powód: częste występowanie w znaczeniu tytuł filmu )
Dla wielu słów, użycie i w związku z tym znaczenie definicji nie są jak pięć kawałków sera, spośród których można wybrać jeden. Bardziej można je porównać do zapiekanki, w której wiele osobnych części da się odróżnić, natomiast mnóstwo z nich tworzy treść nieznanego pochodzenia. BARDZO WAŻNE ZASTOSOWANIE: TRANSLATORY!!!!!!!!!!! - słowo mające wiele różnych znaczeń w jednym języku może w zależności od tych znaczeń mieć różne odpowiedniki w innym języku, co może prowadzić do błędów w tłumaczeniach Np. Bank instytucja finansowa - j. niemiecki: Bank Bank brzeg j. niemiecki: Ufer 3. Inna natura problemu: to samo słowo, inne części mowy. You should butter your toast. (tagging, rozdz. 10) - W pewnym sensie problem rozpoznawania semantycznego słów oraz części mowy należą do tej samej dziedziny. - W praktyce metody stosowane w obu przypadkach są różne: - Lokalna analiza kontekstu sprawdza się w przypadku rozpoznawania części mowy. - Do rozpoznawania znaczenia słów potrzebna jest analiza szerszego kontekstu. 4. Trzy podstawowe podejścia: - supervised disambiguation (na podstawie etykietowanego korpusu) - dictionary-based disambiguation (na podstawie słownika, tezaurusa) - unsupervised disambiguation (na podstawie nieetykietowanego korpusu) II Uwagi wstępne (podstawowe pojęcia) - Nadzorowane i nienadzorowane uczenie (supervised and unsupervised learning) - Nadzorowane: znamy faktyczny status (w tym przypadku etykietę znaczenia) dla każdego kawałka danych, na którym trenujemy program (classification rodział 16) - Nienadzorowane: Nie znamy klasyfikacji danych w treningowej próbce (clustering rozdział 14) - Etykietowane dane są drogie w produkcji. Istnieje potrzeba algorytmu na nieetykietowanych danych. - Rozwiązania hybrydowe: trening startuje od algorytmów dla nadzorowanych danych, następnie przechodzi do nienadzorowanych (semi-supervised learning, bootstraping) - Wykorzystanie tłumaczeń tekstów lub słowników językowych jako etykietowanych danych.
- Pseudowords - Ręczne rozróżnianie znaczeń słów w celu stworzenia danych testowych jest trudne i czasochłonne. - Obejście problemu: tworzenie sztucznych wieloznacznych słów poprzez prostą konkatenację Np. wszystkie wystąpienia słowa banana i door łączy się do testów w słowo banana-door - Dolne i górne oszacowanie wyników - W celu oceny jakości algorytmu należy rozpatrywać jego skuteczność w kontekście użycia do pojedynczego słowa. Rozpoznawanie znaczenia słów bardzo bowiem różni się poziomem trudności. - Górna granica: wyniki osiągane przez człowieka - Dolna granica (base rate klasyfikator większościowy): efektywność najprostszego algorytmu (dopasowanie najczęstszego znaczenia) III Supervised Disambiguation (algorytmy oparte na nadzorowanym uczeniu) 1. Gale (1992) - algorytm oparty na klasyfikacji Bayesowskiej - traktuje kontekst zdarzenia jako bag of words - BoW worek ze słowami - zbiera informacje z całego kontekstu (ze wszystkich słów) 2. Brown (1991) - algorytm oparty na teorii informacji - bierze pod uwagę jedynie specjalną cechę, która niesie ze sobą informację o znaczeniu słowa, tzw. informant Manning: 7.1 Ad. 1 Klasyfikator Bayesowski: - Bayes decision rule 7.2 - Sposób na wyliczenie P(sk c) - Pominięcie P(c) - Wyliczenie s 7.3 - Zalety Naive Bayes: efektywność i zdolność szacowania z dużej ilości cech (wielu słów w kontekście) - Naive Bayes Assumption (założenie): wszystkie słowa vj są niezależne 7.4 - Dwie konsekwencje założenia: struktura i porządek słów wewnątrz kontekstu są ignorowane (bag of words); nie jest prawdą, że słowa są niezależne (np. president election > president poet) - Pomimo tego bardzo dobre wyniki (po części z powodu prawidłowych decyzji pomimo błędnej estymacji prawdopodobieństw)
- Decision Rule for Naive Bayes 7.5 - P(vj sk) I P(sk) - Cały algorytm Figure 7.1 Ad. 2 Podejście oparte na teorii informacji - Klasyfikator Bayesowiski używał wszystkich słów okna kontekstu w celu znalezienia znaczenia słowa. Algorytm oparty na teorii informacji próbuje znaleźć pojedynczą cechę w kontekście, która wiarygodnie wskazuje, który sens wieloznacznego słowa został użyty ( indicator - wskaźnik). - Przykład: Prendre to take; to make. Prendre une mesure take a measure (mierzyć) Prendre une de cision make a decision (podjąć decyzję) Pozostałe przykłady tabela 7.3 - algorytm Flip-Flop (Figure 7.2) - miara wzajemnej informacji (rozdz. 2.2.3) - przykład z Take i make Odszukanie znaczenia: - Dla zdarzenia wieloznacznego słowa, znajdź wartość xi wskaźnika - Jeśli xi jest w zbiorze Q1, przypisz znaczenie 1, jeśli w Q2, znaczenie 2 - Przykład stworzenia dwóch klas dla tego samego znaczenia (many-to-one mapping from labels to senses) IV Szukanie znaczenia oparte na słownikach 1. Lesk (1986) - bezpośrednie wykorzystanie definicji słownikowych - przykład dla słowa cone (szyszka, stożek) - wyjaśnienie algorytmu - słaba skuteczność (między 50% a 70%) -poprawki: kilkukrotna iteracja algorytmu (zamiast sumy Evj bierze pod uwagę tylko znaczenia wybrane przez poprzednią iterację) 2. Yarowsky (1992) - wykorzystanie tezaurusa Rogeta z 1946 (podział znaczeń na kategorie subject codes) - wykorzystanie Naive Bayes do aktualizacji danych - podstawowa konkluzja w tezaurusowych algorytmach: semantyczna kategoria słów zawartych w danym kontekście rzutuje na semantyczną kategorię całego kontekstu, co pomaga w dobraniu znaczeń poszczególnych słów, jeśli ustalimy kategorię kontekstu -przedstawienie algorytmu -50% trafności, ale dla trudnych słów
- wady: kategoryzacja często niewłaściwa dla dziedziny dokumentu (przykład: mysz zwierzę i urządzenie komputerowe); starzenie się tezaurusa - algorytm Yarowskiego dodaje słowa do kategorii Ti jeśli pojawiają się często w danym kontekście (np. Navratilova często pojawia się w kontekście sportowym) - w tym celu algorytm używa założenie Naive Bayes, liczy dla każdej pary kontekst kategoria prawdopodobieństwo P(Tl ci) 7.7 - przedstawienie algorymu Figure 7.5 - problem: topic-independent distinctions 3. Dagan, Itai (1994) algorytm oparty na dwujęzycznym korpusie - omówienie tabelki - wyjaśnienie algorytmu