Urównoleglanie Tekstów. Dwujęzycznych. Na Poziomie Zdania

Transkrypt

1 Uniwersytet im. Adama Mickiewicza w Poznaniu Wydział Matematyki i Informatyki Jarosław Lipski Urównoleglanie Tekstów Dwujęzycznych Na Poziomie Zdania Praca magisterska napisana pod kierunkiem dr Krzysztofa Jassema Poznań 2007

2 mojej ukochanej Marysi

3 Spis treści Wstęp Pojęcia Segmentacja tekstu Definicje Definicja tekstu Definicja segmentu Definicja procesu segmentacji tekstu Problemy segmentacji tekstu Zastosowania segmentacji tekstu Urównoleglanie tekstów dwujęzycznych Definicje Definicja tekstu źródłowego i tekstu docelowego Definicja segmentu źródłowego i segmentu docelowego Definicja dopasowania Definicja kategorii dopasowania Definicja urównoleglenia Definicja procesu urównoleglania tekstów dwujęzycznych Definicja korpusu równoległego Poziomy szczegółowości urównoleglania tekstów dwujęzycznych Problemy przy urównoleglaniu tekstów dwujęzycznych Miary jakości urównoleglania tekstów dwujęzycznych Dokładność Kompletność Zastosowania dopasowywania tekstów dwujęzycznych Algorytmy urównoleglania tekstów dwujęzycznych Algorytm Gale'a i Churcha bazujący na długościach segmentów Informacje wstępne Ogólna charakterystyka algorytmów bazujących na długościach segmentów Zalety algorytmów bazujących na długościach segmentów Niezależność od języków tekstów Duża wydajność Niewielkie wymagania pamięciowe

4 Wady algorytmów bazujących na długościach segmentów Niska dokładność urównoleglenia dla trudnych tekstów Sposób działania algorytmu Szkielet algorytmu urównoleglania Funkcja prawdopodobieństwa p Miara długości segmentu Wartość funkcji p Parametry rozkładu normalnego Obliczanie wartości funkcji p Wybieranie najlepszych dopasowań Pseudokod algorytmu Złożoność algorytmu Jakość urównoleglenia Algorytm Moore'a bazujący na treści segmentów Informacje wstępne Ogólna charakterystyka algorytmu Moore'a Zalety algorytmów bazujących na treści segmentów Dokładność urównoleglania Wady algorytmów bazujących na treści segmentów Zależność od języka Mniejsza wydajność Duże wymagania pamięciowe Sposób działania algorytmu Fazy algorytmu Moore'a Faza 1. Urównoleglanie na podstawie długości segmentów Miara długości segmentu Rozkłady długości segmentów Obliczanie wartości funkcji p Faza 2. Filtrowanie najlepszych dopasowań Faza 3. Trenowanie modeli statystycznych Modele języka Model translacji Sposób działania modelu 1 IBM-a Trenowanie modelu translacji Modyfikacje sposobu trenowania modelu 1 IBM-a w algorytmie Moore'a 4

5 Pseudokod algorytmu trenowania modelu translacji Faza 4. Urównoleglanie na podstawie treści segmentów Szkielet algorytmu Funkcja prawdopodobieństwa p Pseudokod algorytmu Złożoność algorytmu Optymalizacja wyszukiwania najlepszego urównoleglania beam search Jakość urównoleglania Program do segmentacji tekstu - split Wstęp Założenia programu Implementacja programu Interfejs użytkownika Standard wymiany reguł podziału SRX Struktura pliku SRX Przykładowy plik SRX Interpretacja przykładowego pliku Architektura programu Interfejs Splitter i klasy go implementujące Klasy odpowiadające strukturze pliku SRX Algorytmy segmentacji tekstu Prosty algorytm segmentacji tekstu na zdania i paragrafy Wstęp Zasada działania algorytmu Diagram stanów algorytmu Opis działania algorytmu Algorytm segmentacji tekstu oparty na regułach podziału Wstęp Dane wejściowe algorytmu Reguły podziału zapisane w formacie SRX Tekst wejściowy Język tekstu wejściowego Utworzenie obiektu SrxSplitter Diagram sekwencji tworzenia obiektu SrxSplitter w języku UML

6 Opis sekwencji tworzenia obiektu SrxSplitter Pobranie kolejnego segmentu z tekstu wejściowego Diagram sekwencji operacji pobrania kolejnego segmentu z tekstu wejściowego w języku UML Opis operacji pobrania kolejnego segmentu tekstu Złożoność algorytmu Ogólne oszacowanie złożoności czasowej algorytmu Uzyskana wydajność algorytmu Próby optymalizacji algorytmu Zwiększenie wydajności Zmniejszenie zużycia pamięci Program do dopasowywania tekstów dwujęzycznych align Wstęp Założenia programu Interfejs programistyczny Etapy urównoleglania tekstów dwujęzycznych Parsowanie Segmentacja Oczyszczanie Urównoleglanie Selekcja Formatowanie Architektura programu Klasa Alignment Interfejs Parser Interfejs Formatter Interfejs Filter Klasa Aligner Interfejs AlignAlgorithm Klasa Modifier Interfejs ModifyAlgorithm Klasa abstrakcyjna SplitAlgorithm Klasa abstrakcyjna MergeAlgorithm Klasa abstrakcyjna CleanAlgorithm Klasy wybierające część dopasowań Interfejsy użytkownika

7 Interfejs Tekstowy Format pliku AL Standard wymiany pamięci tłumaczeń TMX Struktura dokumentu TMX Przykładowy plik w formacie TMX Polecenia programu align Polecenie parse Polecenie format Polecenie align Polecenie modify Polecenie select Polecenie compare Przykłady Przykład urównoleglania algorytmem Gale'a i Churcha Przykład urównoleglania algorytmem Moore'a Interfejs urównoleglania w systemie hetman Czym jest hetman? Zastosowanie urównoleglania tekstów w systemie hetman Interferjs użytkownika do urównoleglania tekstów w systemie hetman Import dokumentu Wybranie pliku do importu Opcje importu Postęp importu Podsumowanie importu Nowo zaimportowany dokument po imporcie Opcja urównoleglania Wybór dokumentów do urównoleglenia Postęp urównoleglania Podsumowanie urównoleglania Widok dwukolumnowy urównoleglonego dokumentu Tłumaczenie za pomocą pamięci tłumaczeń...80 Zakończenie...81 Bibliografia

8 Wstęp W niniejszej pracy zajmuję się problemem urównoleglania tekstów dwujęzycznych 1 na poziomie zdania. Rozwiązanie tego problemu polega na dopasowaniu do siebie odpowiadających sobie zdań w tekstach będących wzajemnymi tłumaczeniami. Dzięki opracowaniu algorytmów dokonujących tego zadania automatycznie możliwe stało się pozyskanie dużych urównoleglonych korpusów tekstów które znajdują zastosowanie w wielu aspektach związanych z lingwistyką komputerową, szczególnie zaś w tłumaczeniu automatycznym (ang. Machine Translation) i tłumaczeniu wspomaganym komputerowo (ang. Computer Aided Translation). Ponadto szerzej omawiam w niniejszej pracy także problem podziału tekstu na zdania, który jest jednym z istotnych elementów urównoleglania. W pracy rysuje się pewien, co prawda nieostry, podział na część teoretyczną, którą tworzą pierwszy i drugi rozdział oraz część praktyczną rozdziały trzeci i czwarty. W pierwszym rozdziale zdefiniowane są podstawowe pojęcia związane z urównoleglaniem i segmentacją tekstów dwujęzycznych. Ponadto, krótko omówione są zastosowania opisywanych algorytmów. W drugim rozdziale przedstawione są od strony teoretycznej dwa algorytmy urównoleglania tekstów dwujęzycznych: algorytm Gale'a i Churcha oraz algorytm Moore'a. Omówione jest ich podłoże matematyczne, sposób działania wraz z pseudokodem oraz pokrótce analiza złożoności obliczeniowej i skuteczność działania. Wybór omawianych algorytmów nie jest przypadkowy algorytm Gale'a i Churcha jest szeroko rozpowszechnionym algorytmem bazującym wyłącznie na długościach segmentów. Zrozumienie mechaniki jego działania ułatwia znacznie zrozumienie bardziej złożonego algorytmu Moore'a, który w pierwszej fazie swego działania wykorzystuje algorytm podobny do algorytmu Gale'a i Churcha. Algorytm Moore'a jest jednym z najlepszych znanych obecnie algorytmów urównoleglania. W trzecim rozdziale opisany jest program do segmentacji tekstu split. Program realizuje dwa stworzone przeze mnie algorytmy podziału tekstu, dla których dokonana jest w tym rozdziale analiza złożoności obliczeniowej. Omówiona jest również architektura programu oraz jego interfejs programistyczny. Czwarty rozdział dotyczy programu do urównoleglania tekstów dwujęzycznych align, czyli 1 Po angielsku nazwa problemu brzmi bilingual text alignment. W języku polskim nie istnieje jednoznacznie zdefiniowany odpowiednik słowa alignment, Najczęściej stosowane jest tłumaczenie dopasowywanie, ale moim zdaniem jest to określenie zbyt szerokie, dlatego stosuje określenie używane alternatywnie urównoleglanie. 8

9 praktycznej implementacji idei przedstawionych w rozdziale drugim. Są w nim omówione między innymi interfejs programistyczny oraz tekstowy interfejs użytkownika. W ostatnim fragmencie pracy przedstawione jest wykorzystanie programu programu align w systemie zarządzania pamięcią tłumaczeń o nazwie hetman. 9

10 1. Pojęcia 1.1. Segmentacja tekstu Definicje Definicja tekstu Tekstem w niniejszej pracy nazywam dowolny skończony, zazwyczaj stosunkowo długi, ciąg znaków, mający pewne znaczenie w języku naturalnym i stanowiący pewną całość. Tekstami są na przykład artykuły, książki, strony internetowe, treści umów itd Definicja segmentu Segmentem w niniejszej pracy nazywam pewien wydzielony na podstawie pewnego kryterium fragment tekstu. Mówiąc o segmencie najczęściej mam na myśli zdanie, jednak może to też być akapit, rozdział, czy część zdania albo słowo Definicja procesu segmentacji tekstu Segmentacją w niniejszej pracy określam proces dzielenia tekstu na segmenty, podczas którego nie są pomijane żadne znaki. Wynikiem tego procesu jest lista segmentów. Zatem jeśli T jest tekstem, a t 1, t 2,..., t n listą segmentów powstałą w procesie segmentacji tego tekstu, to T =t 1 t 2... t n, gdzie operator oznacza konkatenację napisów Problemy segmentacji tekstu Problemy segmentacji tekstu zależą od przyjętego poziomu szczegółowości segmentacji. Na przykład podział tekstu na paragrafy jest stosunkowo prosty do przeprowadzenia, wystarczy bowiem dzielić tekst po znaku końca wiersza2. Podział na wyrazy jest już zadaniem trudniejszym. Jednak w przypadku niniejszej pracy najczęściej stosowanym poziomem szczegółowości segmentacji jest zdanie. Zadanie podziału tekstu na zdania z początku może wydawać się trywialne - wystarczy dzielić tekst po kropce, znaku zapytania lub wykrzykniku. Niestety, istnieje tak duża liczba innych zastosowań znaku kropki - na przykład w skrótach, liczbach, datach itd., że zachodzi potrzeba zastosowania bardziej wyrafinowanej metody. 2 Albo przed znakiem końca wiersza, zależnie od przyjętej konwencji. 10

11 Zastosowania segmentacji tekstu Segmentacja tekstu ma bardzo wiele zastosowań. Każde automatyczne przetwarzanie tekstu wymaga najczęściej jego podziału na mniejsze jednostki. Powodem umieszczenia w niniejszej pracy fragmentu o segmentacji tekstu jest jej zastosowanie przy urównoleglaniu tekstów dwujęzycznych. Segmentacja stanowi pierwszy krok urównoleglania. W zależności od poziomu szczegółowości urównoleglania dokonuje się odpowiedniej segmentacji tekstów wejściowych. Najczęściej stosowany jest podział na zdania. Przydatny jest także podział tekstu na wyrazy jako pomocniczy w niektórych algorytmach urównoleglania. W celu zwiększenia wydajności urównoleglania stosuje się niekiedy także podział na akapity. Dobrze przeprowadzona segmentacja podnosi jakość urównoleglania. Segmenty są atomowymi jednostkami dla algorytmów urównoleglania. Jeśli segmentacja jest zbyt mało dokładna powstaje zbyt mało segmentów, bo cześć z nich jest w rzeczywistości konkatenacją kilku segmentów, w efekcie czego wynik urównoleglania jest niedostatecznie dokładny. Jeśli segmentacja jest zbyt szczegółowa powstaje zbyt dużo segmentów, ponieważ część z nich będzie w rzeczywistości fragmentami segmentów, a zadanie urównoleglenia staje się trudniejsze ze względu na zbyt dużą liczbę stopni swobody. W niektórych przypadkach ze względu na ograniczenia algorytmów poprawne urównoleglenie może być w ogóle niemożliwe. Niekiedy jednak algorytm urównoleglania potrafi poradzić sobie z błędami segmentacji Urównoleglanie tekstów dwujęzycznych Definicje Definicja tekstu źródłowego i tekstu docelowego W niniejszej pracy używam określeń tekst źródłowy oraz tekst docelowy. Można się domyślać, że oznaczają one odpowiednio tekst i jego tłumaczenie, jednak jest to czysto umowne chodzi po prostu o pierwszy tekst i drugi tekst które mają zostać poddane urównolegleniu, niezależnie od tego, który jest tłumaczeniem którego, albo czy w ogóle są bezpośrednio wzajemnymi tłumaczeniami. Tekst źródłowy oznaczam przez S, a tekst docelowy przez T Definicja segmentu źródłowego i segmentu docelowego Analogicznie jak w przypadku tekstów źródłowego i docelowego, segmentem źródłowym nazywam segment pochodzący z tekstu źródłowego, a segmentem docelowym segment pochodzący z tekstu docelowego. Segmenty źródłowe oznaczam literą s, a segmenty docelowe literą t. 11

12 Definicja dopasowania Mianem dopasowania określam parę składającą się z listy segmentów źródłowych i odpowiadającej jej listy segmentów docelowych. Trzymając się przyjętych oznaczeń, jeśli a jest dopasowaniem, to: a= s i, s i 1,..., s i e 1, t j,t j 1,...,t j f Definicja kategorii dopasowania Kategorią dopasowania jest para liczb e i f, które określają odpowiednio ilość segmentów źródłowych i ilość segmentów docelowych biorących udział w dopasowaniu. Kategorię dopasowania oznaczam następująco: c= e f. Na przykład 2 1, czytane jako dwa do jeden, oznacza kategorię dopasowania dwóch segmentów źródłowych do jednego segmentu docelowego Definicja urównoleglenia W niniejszej pracy mianem urównoleglenia tekstów źródłowego i docelowego określam listę dopasowań obejmującą cały tekst źródłowy i docelowy, albo pewien fragment tych tekstów. Dodatkowo segmenty tekstów źródłowego i docelowego nie mogą być zamienione kolejnością i nie mogą być w obrębie jednego dopasowania pominięte. Formalnie można to zapisać w następujący sposób. A= a1, a2,..., ar Niech e1 f 1, e2 f 2,..., er f r oznacza urównoleglenie, niech będą kategoriami dopasowań tego urównoleglenia, niech S=s 1 s 2... sn oznacza tekst źródłowy, niech T =t 1 t 2... t m oznacza tekst docelowy. Niech dopasowanie ai składa się z następujących segmentów źródłowych i docelowych: ai= s k, s k 1,..., s k e, t l,t l 1,..., s t f. Wówczas zachodzi k i 1 k i ei, l i 1 l i f i i i i i i i l i r dla i=1,2,..., r 1, k 1 1, l 1 1, k r er n, l r f r m oraz r ei n, f i m. i =1 i = Definicja procesu urównoleglania tekstów dwujęzycznych Urównloleglanie tekstów dwujęzycznych, czasem zwane dopasowywaniem tekstów dwujęzycznych, jest procesem znajdywania odpowiadających sobie segmentów w tekstach będących wzajemnymi tłumaczeniami. Wynikiem tego procesu jest urównoleglenie, czyli lista dopasowań. 12

13 Definicja korpusu równoległego Korpus równoległy to zbiór tekstów wybranych na podstawie określonych kryteriów, z których każdy został przetłumaczony na jeden lub więcej języków Poziomy szczegółowości urównoleglania tekstów dwujęzycznych Teksty można urównoleglać na różnych poziomach szczegółowości, w zależności od zastosowań tworzonego korpusu równoległego. Do uzyskania określonego poziomu szczegółowości stosuje się też różne metody urównoleglania. Omówione w tej pracy algorytmy zostały stworzone z myślą o urównoleglaniu tekstów dwujęzycznych na poziomie zdania. Mogą być także z powodzeniem stosowane do urównoleglania na poziomach bardziej ogólnych, takich jak akapity czy rozdziały, ale nie nadają się do urównoleglania na poziomach bardziej szczegółowych takich jak frazy czy słowa. Wynika to z faktu że w przedstawionych w tej pracy algorytmach dopasowane są do siebie kolejne segmenty, a nie jest obsługiwany przypadek zamiany ich kolejności. Jednak odpowiadające sobie słowa bardzo często występują w innej kolejności w zdaniu źródłowym i jego tłumaczeniu po prostu zdania w różnych językach mają różny szyk. Jedyne, co w takim wypadku któryś z przedstawionych w niniejszej pracy algorytmów potrafi zrobić, to dopasować kilka segmentów źródłowych do kilku segmentów docelowych, ale w przypadku urównoleglania na poziomie słów jest to niezadowalające Problemy przy urównoleglaniu tekstów dwujęzycznych Wydawać by się mogło że problem urównoleglania jest łatwy. W końcu najczęściej 3 tłumaczy się jedno zdanie tekstu źródłowego na jedno zdanie tekstu docelowego wystarczy zatem zastosować trywialny algorytm dopasowujący jeden do jednego. Niestety taki algorytm nie sprawdzi się, jeśli wystąpi choć jedno dopasowanie należące do innej kategorii wtedy bowiem wszystkie dopasowania występujące po nim będą nieprawidłowe4. Występowanie innych dopasowań niż jeden do jednego jest spowodowane wieloma czynnikami takimi jak: swobodne tłumaczenie wynikające ze specyfiki danego języka, pominięcie segmentu wskutek pomyłki tłumacza, błąd segmentacji, różnica w tekstach źródłowym i docelowym5 itd. Konieczne jest zatem używanie algorytmów które radzą sobie w przypadku 3 Jak podają źródła, w około 90% przypadków występuje urównoleglenie jeden do jednego. 4 W przybliżeniu szansa poprawnego urównoleglenia całych dokumentów przy zastosowaniu powyższego trywialnego algorytmu jest równa pn,gdzie p oznacza prawdopodobieństwo wystąpienia dopasowania 1 1, a n oznacza liczbę segmentów w obu tekstach. 5 Na przykład tekst źródłowy mógł zostać zaktualizowany po przetłumaczeniu, a więc tekst docelowy stał się nieaktualny. 13

14 występowania innych kategorii dopasowań niż jeden do jednego Miary jakości urównoleglania tekstów dwujęzycznych Żeby dokładnie zmierzyć jakość urównoleglenia danych tekstów trzeba mieć do dyspozycji urównoleglenie referencyjne tych samych tekstów, najczęściej wykonane przez człowieka. Niech A= a1, a2,..., ar będzie ocenianym urównolegleniem. Niech B= b 1, b2,..., bq będzie urównolegleniem referencyjnym. Niech A B oznacza część wspólną urównolegleń A i B, czyli urównoleglenie zawierające dopasowania należące zarówno do A, jak i do B. Niech A oznacza ilość dopasowań w urównolegleniu, czyli rozmiar listy jego dopasowań. Poniżej przedstawię najszerzej stosowane miary jakości urównoleglenia, a mianowicie dokładność i kompletność Dokładność Dokładność (ang. precision) określa ilość poprawnych dopasowań w stosunku do wszystkich dopasowań ocenianego urównoleglenia. Stosując powyższe oznaczenia można to zapisać następująco: p= A B. A Kompletność Kompletność (ang. recall) określa ilość poprawnych dopasowań w stosunku do wszystkich dopasowań urównoleglenia referencyjnego. Stosując powyższe oznaczenia można to zapisać następująco: A B. B r= Zastosowania dopasowywania tekstów dwujęzycznych Powstały w wyniku urównoleglania korpus równoległy dopasowany na poziomie zdania ma wiele zastosowań. Może być używany bezpośrednio jako pamięć tłumaczeń w systemie tłumaczenia przez analogię. W ten sposób został on zastosowany w systemie hetman6. Urównoleglanie tekstów dwujęzycznych na poziomie zdania jest pierwszym krokiem do urównoleglania na poziomie wyrazu, utworzenia modelu tłumaczenia, czyli słownika probabilistycznego. Model tłumaczenia jest jednym ze składników niezbędnych do tłumaczenia 6 System hetman to system zarządzania pamięcią tłumaczeń. Został on szerzej opisany w rozdziale 4. 14

15 statystycznego7. Korpus równoległy dopasowany na poziomie zdania może być też przydatny przy tworzeniu słowników pozwala określić kontekst w jakim zdaniu określony wyraz tłumaczy się na inne zdanie. Więcej na temat zastosowań urównoleglania tekstów dwujęzycznych można znaleźć w książce Machine Translation: an Introductory Guide 8 7 Między innymi tłumaczeniem statystycznym zajmuje się system Exprimo. Jest to projekt zespołowy stworzony przez Jacka Gintrowicza, Wojtka Misiurkę, Monikę Rosińską, Michała Szymańskiego i mnie. Został w nim wykorzystany program do urównoleglania który powstał jako część niniejszej pracy. 8 Patrz [Arnold i in., 1994]. 15

16 2. Algorytmy urównoleglania tekstów dwujęzycznych 2.1. Algorytm Gale'a i Churcha bazujący na długościach segmentów Informacje wstępne Ogólna charakterystyka algorytmów bazujących na długościach segmentów Algorytmy bazujące na długościach segmentów opierają się na prostym spostrzeżeniu, że dłuższe segmenty w języku źródłowym odpowiadają dłuższym segmentom w języku docelowym, a krótsze segmenty w języku źródłowym odpowiadają krótszym segmentom w języku docelowym. Każdemu potencjalnemu dopasowaniu przypisywane jest prawdopodobieństwo w oparciu o stosunek długości segmentów źródłowych i docelowych biorących w nim udział. Następnie wybiera się spośród nich najbardziej prawdopodobny ciąg dopasowań. Poniższy fragment pracy powstał na podstawie artykułu A program for Aligning Sentences in Bilingual Corpora, Williama A. Gale'a i Kennetha W. Churcha9. Jest to klasyczny10 algorytm urównoleglania tekstów dwujęzycznych bazujący wyłącznie na długościach segmentów Zalety algorytmów bazujących na długościach segmentów Niezależność od języków tekstów Zaletą algorytmów bazujących na długościach segmentów jest niezależność od języków. Nie potrzeba tutaj słowników, co najwyżej rozkładu długości zdań, ale ten da się uzyskać wprost z tekstów wejściowych. Dzięki temu można ten rodzaj algorytmów zastosować praktycznie do dowolnej pary języków, także należących do różnych rodzin Duża wydajność Kolejną zaletą algorytmów bazujących na długościach segmentów jest ich wydajność. Obliczenia potrzebne do uzyskania prawdopodobieństwa dopasowania nie są specjalnie złożone, nie ma też potrzeby przeszukiwania słowników. 9 Patrz [Gale, Church, 1991]. 10 Artykuł Gale'a i Churcha Powstał na początku lat 90, mniej więcej w tym samym czasie co drugi artykuł opisujący bardzo podobną metodę patrz [Brown, 1991], 11 Algorytmy bazujące na długościach segmentów zastosowano np. do urównoleglania korpusu angielsko, chińskiego patrz [Wu, 1994]. 16

17 Niewielkie wymagania pamięciowe Algorytmy bazujące na długościach segmentów zużywają także niewielką ilość pamięci w pamięci wystarczy przechowywać długości segmentów, nie trzeba przechowywać ich treści Wady algorytmów bazujących na długościach segmentów Niska dokładność urównoleglenia dla trudnych tekstów Wadą algorytmów bazujących na długościach segmentów jest niska dokładność dopasowania dla trudnych tekstów, np. jeśli tłumaczenie jest swobodne, jeśli w tekstach następują po sobie segmenty podobnej długości albo jeśli w którymś z tekstów występują pominięcia dużych fragmentów tekstu. Niska dokładność wynika z faktu, że do znalezienia urównoleglenia używana jest tylko niewielka część informacji leksykalnej zawartej w segmentach Sposób działania algorytmu Szkielet algorytmu urównoleglania Wyszukiwane jest urównoleglenie, które jako całość, ma największe prawdopodobieństwo, czyli którego iloczyn prawdopodobieństw kolejnych dopasowań jest najwyższy12. Algorytm opiera się na programowaniu dynamicznym13, a sposób jego działania można opisać za pomocą równania rekurencyjnego14. Niech S będzie tekstem źródłowym, a T tekstem docelowym. Niech s 1, s 2,..., s n będą segmentami tekstu źródłowego, a t 1, t 2,..., t m segmentami tekstu docelowego. Niech C={c1, c2,...,c r } będzie zbiorem kategorii dopasowań, gdzie ci = ei f i jest kategorią dopasowania dopasowującą ei segmentów źródłowych do f i segmentów docelowych. Przykładowo w przypadku mojej implementacji rozważane są domyślnie następujące kategorie dopasowań: C={ 1 0, 0 1, 1 1, 2 1, 1 2, 2 2 }, co oznacza na przykład, że jednemu segmentowi źródłowemu może odpowiadać zero 1 0, jeden 1 1 lub dwa 1 2 segmenty docelowe. Występuje też dopasowanie 2 2, kiedy kolejne zdania są wzajemnie 12 Można tu znaleźć analogię do algorytmu Viterbiego związanego z niejawnymi modelami Markowa, ale analogia ta wykracza poza zakres niniejszej pracy. Więcej informacji dotyczących niejawnych modeli Markowa można znaleźć w [Rabiner, 1989]. 13 Programowanie dynamiczne jest strategią projektowania algorytmów polegającą, podobnie jak w strategii dziel i zwyciężaj, na podziale rozwiązywanego problemu na podproblemy. Poprzez odpowiednie złożenie rozwiązań podproblemów uzyskuje się rozwiązanie głównego problemu. Programowanie dynamiczne stosuje się, gdy podproblemy nie są niezależne, tzn. gdy podproblemy mają wspólne podproblemy. W programowaniu dynamicznym zapamiętuje się wszystkie potrzebne rozwiązania podproblemów, by nie musieć ich rozwiązywać ponownie. Patrz [Cormen i in., 2001], rozdział Poniższe oznaczenia różnią się od używanych w artykule [Gale, Church, 1991] i stanowią ich uogólnienie, tak żeby lepiej pasowały do dalszej części pracy w szczególności do opisu algorytmu Moore'a. 17

18 wymieszane lub zamienione. Następnie, niech p x, y,e,f będzie funkcją określającą prawdopodobieństwo dopasowania segmentów s x, s x 1,..., s x e 1 15 do segmentów t y,t y 1,...,t y f 1. Niech P x, y będzie maksymalnym prawdopodobieństwem dopasowania segmentów s 1... s x do segmentów t 1... t y. P x, y jest obliczane rekurencyjnie poprzez maksymalizację po wszystkich kategoriach dopasowania. Warunek początkowy: P 0,0 =1 Definicja rekurencyjna gdy x 0 y 0 dla x 0, y 0, x n, y m : P x, y = max e f C : x e 0, y f 0 {P x e, y f p x e 1, y f 1, e, f } Prawdopodobieństwo szukanego, najlepszego dopasowania dla całych tekstów S i T wynosi P n, m. Żeby uzyskać samo urównoleglenie trzeba dodatkowo rekurencyjnie obliczać wartość Q x, y, określającą najbardziej prawdopodobną kategorię dopasowania na pozycji x, y : Q 0,0 =nieokreślony Q x, y = argmax e f C : x e 0, y f 0 {P x e, y f p x e 1, y f 1, e, f }. Następnie za pomocą techniki zwanej backtracking można uzyskać szukaną listę dopasowań A= a1,a2,..., au, czyli właściwe urównoleglenie. Najpierw definiuje się pomocniczą listę pozycji w tekstach D= d0, d1, d2,..., d u : d 0= n, m d k = x e, y f, gdzie x, y =d k 1, e f =Q x, y Oblicza się d k dopóki x e 0 y f 0. Dla ostatniego k spełniającego ten warunek przyjmuje się, że u=k. Następnie oblicza się urównoleglenie: ai= s x, s x 1,..., s x e 1, t y, t y 1,...,t y f 1, gdzie e f =Q x, y, a x, y =d u i 1, i=1,2,... u. 15 Gdy gdy e=0 to nie ma segmentów źródłowych w dopasowaniu; podobnie jest w przypadku segmentów docelowych f =0. 18

19 Funkcja prawdopodobieństwa p16 Funkcja p x, y,e,f s x, s x 1,..., s x e 1 segmentów jest funkcją określającą prawdopodobieństwo dopasowania do segmentów x 1, y 1, x e 1 n, y f 1 m, e f C. t y,t y 1,...,t y f 1 Do obliczenia przy założeniach że jej wartości trzeba wprowadzić kilka dodatkowych oznaczeń Miara długości segmentu Miara długości segmentu s jest oznaczona jako l s. W algorytmie Gale'a i Church'a długość segmentu mierzona jest w znakach, ale nie jest to jedyny sposób 17. Suma długości wszystkich branych pod uwagę w danym dopasowaniu segmentów źródłowych jest oznaczana jako ls. x e 1 l s= k =x l s k Analogicznie postępuję się z sumą długości segmentów docelowych która oznacza się jako lt Wartość funkcji p Wartość funkcji p jest wyliczana z następującego wzoru: p x, y,e,f =P e f. Przy założeniach, że e f C, P e f oznacza prawdopodobieństwo wystąpienia kategorii dopasowania e f, natomiast zależy od stosunku sumy długości segmentów źródłowych i docelowych. Zakłada się że każdy znak w tekście źródłowym generuje losową ilość znaków w tekście docelowym, że te zdarzenia są od siebie niezależne i że zmienne te mają identyczny rozkład normalny. Model probabilistyczny wyznaczają parametry: wartość oczekiwana, określająca spodziewaną ilość znaków w tekście docelowym na jeden znak tekstu źródłowego oraz wariancja ilości znaków tekstu docelowego przypadającą na znak tekstu źródłowego 2. Żeby rozkład był standardowym rozkładem normalnym, czyli miał średnią równą 0 a wariancje równą 1, przyjmuję się poniższą definicje. = l t l s l 2 s 16 W artykule [Gale, Church, 1991] definiowana jest miara dystansu, określona jako log p, gdzie zdedniowaną tutaj funkcją prawdopodobieństwa. 17 Na przykład w algorytmie Browna długość segmentów liczona jest w słowach. Patrz [Brown, 1991]. 19 p jest

20 Parametry rozkładu normalnego Parametry i 2 są wyznaczane przez autorów empirycznie na podstawie testowego korpusu. Wartość oczekiwana jest stosunkiem długości tekstu docelowego do długości tekstu źródłowego. = l T l S Wariancje wylicza się przy założeniu że 2, czyli kwadrat różnicy długości segmentów źródłowych i docelowych w dopasowaniu, rośnie proporcjonalnie do długości segmentów źródłowych. Stałą przyrostu wyznacza się na podstawie regresji liniowej. Ostatecznie jednak w samym algorytmie nie wyznacza się parametrów dla tekstów wejściowych, przyjmując wartości uśrednione, wyliczone ręcznie z korpusu testowego, niezależne od języków. Autorzy algorytmu argumentują że i tak ich dokładne wartości nie mają wielkiego wpływu na wynik urównoleglania. Przyjmuje się zatem uśrednione wartości uzyskane z korpusu testowego to: =1, a 2 =6, Obliczanie wartości funkcji p Aby obliczyć wartość funkcji p należy dokonać kilku przekształceń: P e f =P e f P e f t Gdzie t jest pewną stałą którą możemy pominąć gdyż jest identyczna dla wszystkich porównywanych dopasowań. P e f jest pobierane z Tabeli 1, utworzonej na podstawie danych empirycznych uzyskanych z testowego korpusu. Kategoria dopasowania e f Prawdopodobieństwo wystąpienia kategorii dopasowania P e f 1 1 0, albo 0 1 0, albo 1 2 0, ,011 Tabela 1: Prawdopodobieństwa występowania kategorii dopasowań18 Natomiast drugi człon można obliczyć jako: 18 Niniejsza tabela pochodzi z artykułu [Gale, Church, 1991]. 20

21 P e f =2 1 P Gdzie P jest prawdopodobieństwem że pewna losowa zmienna z o standardowym rozkładzie normalnym będzie miała wartość co najmniej. 1 P = e 2 z 2 2 dz. Reasumując w algorytmie wyliczane jest bezpośrednio na podstawie sum długości segmentów tekstu źródłowego i docelowego l s, l t oraz na podstawie parametrów, 2. Następnie oblicza się P 19. Dalej, z tabeli odczytywana jest wartość P e f. Z pomnożenia tych czynników obliczana jest ostatecznie wartość funkcji prawdopodobieństwa p Wybieranie najlepszych dopasowań Omawiana metoda urównoleglania ma bardzo przydatną właściwość, mianowicie prawdopodobieństwo dopasowania czyli wartość funkcji p pozwala ocenić jakość dopasowań, i odrzucić najmniej prawdopodobne. W ten sposób odrzucając np. 20% najmniej prawdopodobnych dopasowań da się uzyskać znacznie mniej błędów urównoleglenia, a tylko nieznacznie zmniejszone wynikowe urównoleglenie Pseudokod algorytmu Wejście: S[1..n] T[1..m] # segmenty tekstu źródłowego # segmenty tekstu docelowego Wyjście: A[1..u] # urównoleglenie lista dopasowań Stałe: C[1..r] # kategorie dopasowań, struktury z polami e,f Algorytm: # Inicjalizacja P[0..n, 0..m] # tabela prawdopodobieństw Q[0..n, 0..m] # tabela kategorii dopasowań # Główny algorytm P[0, 0] := 1 Q[0, 0] := null x := 0 19 Istnieje wiele sposobów na przybliżenie tej wartości przez komputer, autorzy stosują przybliżenie na podstawie [Abramowitz, Stegun, 1964]. 21

22 y := 1 while x <= n while y <= m maxp := -1 maxc.e := 0 maxc.f := 0 for i := 1 to r e := C[i].e f := C[i].f if (x e >= 0) AND (y f >= 0) do p := P[x e, y f] * p(x e + 1, y f + 1, e, f) if (p > maxp) do maxp := p maxc.e := e maxc.f := f P[x, y] := maxp Q[x, y] := maxc y := y + 1 y := 0 X := x + 1 # Backtracking tworzenie ciągu dopasowań D[0..n+m] # tabela pozycji w tekstach, struktury z polami x,y; # wielkość tej tabeli nie przekracza n+m i := 0 x := n y := m while (x > 0) OR (y > 0) do D[i].x := x D[i].y := y c := Q[x, y] x := x c.e y := y c.f i := i + 1 u := i - 1 A[1..u] # urównoleglenie - ciąg dopasowań; każde dopasowanie # to para S: lista segmentów źródłowych # i T: lista segmentów docelowych for i := 1 to u x := D[u i + 1].x y := D[u i + 1].y e := Q[x, y].e f := Q[x, y].f A[i].S[1..e] # Inicjalizacja list segmentów A[i].T[1..f] for k := 1 to e A[i].S[k] := S[x + k 1] for k := 1 to f A[i].T[k] := T[y + k 1] Złożoność algorytmu W przybliżeniu złożoność czasowa20 algorytmu wynosi: 20 Mowa tutaj o pesymistycznym przypadku stąd notacja O. Więcej szczegółów na temat badania złożoności i notacji asymptotycznych można znaleźć w [Cormen i in., 2001], rozdział 2. 22

23 T n, m =O n m r, gdzie n,m są ilościami segmentów w tekstach źródłowym i docelowym, a r ilością kategorii dopasowań. Wynika to z faktu że trzeba obliczać prawdopodobieństwo dopasowania (wartość funkcji p) każdego segmentu źródłowego z każdym segmentem docelowym dla każdej kategorii dopasowania, co oznacza n m r operacji. Inaczej to ujmując, trzeba wypełnić całą tabelę P i, j, i=0..n, j=0..m, na każdej jej pozycji rozważając r dopasowań. Ilość kategorii dopasowań r jest niewielką21 stałą dlatego można ją pominąć we wzorze, i przyjąć następującą złożoność czasową: T n, m =O n m Podobnie wygląda złożoność pamięciowa, ponieważ dominującym czynnikiem jest tutaj wielkość tabeli P. Dla dużych tekstów jest to złożoność nieakceptowalna. Żeby ją poprawić stosuje się urównoleglanie wieloetapowe na różnych poziomach szczegółowości, na początku urównoleglając np. na poziomie paragrafu, a potem dopiero zdania. Zazwyczaj dopasowanie na wyższych poziomach składa się wyłącznie z dopasowań kategorii 1 1, więc do jego uzyskania wystarczy prosty algorytm urównoleglania jeden do jednego. Jeśli jednak liczby segmentów źródłowych i docelowych na wyższym poziomie są różne można zastosować zwyczajny algorytm urównoleglania, albo dla większej pewności dokonać ręcznego urównoleglenia ze względu na to że pomyłka np. na poziomie paragrafu spowoduje od razu dużo błędów na poziomie zdania Jakość urównoleglenia Autorzy algorytmu piszą że ich metoda dla dosłownie przetłumaczonego korpusu raportów ekonomicznych złożonych przez Union Bank of Switzerland (UBS) dla języków angielskiego, francuskiego i niemieckiego daje średnio 95,8% poprawnych dopasowań. Po odrzuceniu 20% najmniej prawdopodobnych dopasowań uzyskano 99,3% poprawnych dopasowań spośród wszystkich nieodrzuconych dopasowań. Bardziej wiarygodne wydają się prace porównawcze Alexandra Rosena22 dla korpusów czesko angielskiego i czesko francuskiego, Grzegorza Krynickiego23 dla korpusu polsko angielskiego oraz Anila Kumara Singh-a i Samara Husaina24 dla korpusu w języku angielskim i języku hindi. Na ich podstawie można wysnuć wniosek że urównoleglanie algorytmem Gale'a i Dla mojej implementacji r =6. Patrz [Rosen, 2005]. Patrz [Krynicki, 2006]. Patrz [Singh, Husain, 2005]. 23

24 Churcha, daje średnio dokładność25 rzędu 87 %, a kompletność rzędu 82% Algorytm Moore'a bazujący na treści segmentów Informacje wstępne Ogólna charakterystyka algorytmu Moore'a Algorytmy bazujące na treści segmentów korzystają ze słowników. Każdemu potencjalnemu dopasowaniu przypisywane jest prawdopodobieństwo, że segmenty docelowe są tłumaczeniami segmentów źródłowych. W algorytmie Moore'a wylicza się prawdopodobieństwo tłumaczenia korzystając z metod statystycznego tłumaczenia automatycznego26. Dodatkowo, nowatorskim pomysłem jest automatyczne generowanie słownika probabilistycznego27 na podstawie tekstów wejściowych, dzięki czemu nie potrzebuje on zewnętrznych słowników (choć mogą one w niektórych wypadkach poprawić jakość urównoleglenia). Ten fragment pracy powstał głównie na podstawie artykułu Fast and Accurate Sentence Alignment of Bilingual Corpora, Roberta C. Moore'a28 oraz implementacji29 w Perlu stworzonej przez autora algorytmu. Idee zawarte w tym artykule zostały rozwinięte w dalszych artykułach Moore'a Zalety algorytmów bazujących na treści segmentów Dokładność urównoleglania Algorytmy te, dzięki użyciu całej informacji lingwistycznej zawartej w tekstach, dają dużą dokładność urównoleglania, zbliżoną do jakości urównoleglania przez człowieka. 25 Miary jakości dokładność i kompletność zostały zdefiniowane w rozdziale Statystyczne tłumaczenia automatyczne to rodzaj tłumaczenia automatycznego w którym tłumaczenie jest dokonywane na podstawie zbudowanych z dużego korpusu równoległego modeli statystycznych, takich jak model translacji, modele języka i inne. Patrz [Knight, 1999]. 27 Słownik probabilistyczny to rodzaj słownika w którym dla każdego słowa podana jest lista jego tłumaczeń wraz z prawdopodobieństwami tłumaczenia. Patrz rozdział Patrz [Moore, 2002]. 29 Patrz [Moore implementacja]. 30 Patrz [Moore, 2004], [Moore, 2005]. 24

25 Wady algorytmów bazujących na treści segmentów Zależność od języka Tradycyjnie do wad tego typu algorytmów można zaliczyć zależność od słowników a więc i języków tekstów. Algorytm Moore'a jednak radzi sobie z tym problemem przez generowanie słownika z tekstów źródłowych. Dla małych tekstów wejściowych może to jednak nie działać zadowalająco Mniejsza wydajność Kolejną wadą algorytmów bazujących na treści segmentów jest ich wydajność. Obliczenia potrzebne do uzyskania prawdopodobieństwa dopasowania są dość złożone, ponieważ wymagają przeszukiwania słowników. Algorytm Moore'a w celu optymalizacji stosuje urównoleglanie dwuprzebiegowe: w pierwszym przebiegu dokonuje się urównoleglania algorytmem bazującym na długościach segmentów, w drugim przebiegu natomiast dokonuje się właściwego urównoleglania, biorąc jednak pod uwagę wyłącznie dopasowania, które w pierwszym przebiegu uzyskały znaczące prawdopodobieństwo. Dodatkowo stosuje się technikę zawężania przeszukiwanej przestrzeni rozwiązań nazywaną przez Moore'a beam search, opisaną na końcu tego rozdziału Duże wymagania pamięciowe Całe segmenty tekstu źródłowego i docelowego oraz słowniki muszą być przechowywane w pamięci, co razem może powodować znaczne jej zużycie Sposób działania algorytmu Fazy algorytmu Moore'a Algorytm Moore'a działa w kilku dość złożonych fazach. Poniżej naszkicuję każdą z nich. 1. Stosowany jest algorytm urównoleglania bazujący na długości segmentów. Może być to na przykład opisany wcześniej algorytm Gale'a i Churcha. W algorytmie Moore'a zastosowany jest, zmodyfikowany w celu uproszczenia, algorytm Browna Z uzyskanego w poprzedniej fazie urównoleglenia są wybierane dopasowania należące do kategorii dopasowań 1 1, z których wybierane są dopasowania o prawdopodobieństwie powyżej pewnego progu32, albo jest wybierana pewna dana część33. Celem jest uzyskanie stosunkowo dobrze urównoleglonego małego korpusu tekstu. 31 Patrz [Brown, 1991]. 32 W implementacji Moore'a próg ten wynosi 99%. 33 W mojej implementacji częścią tą jest 80%. 25

26 3. Na podstawie uzyskanego korpusu równoległego trenowane są statystyczne modele języka dla obydwu języków oraz statystyczny model translacji z języka źródłowego na język docelowy. 4. Dokonywane jest ostateczne urównoleglenie, podczas którego przy obliczaniu prawdopodobieństwa dopasowania, poza stosunkiem długości segmentów, bierze się pod uwagę także prawdopodobieństwo, że zdania docelowe są tłumaczeniami zdań źródłowych, obliczane za pomocą metod zaczerpniętych ze statystycznego tłumaczenia automatycznego i przy wykorzystaniu wytrenowanych wcześniej modeli Faza 1. Urównoleglanie na podstawie długości segmentów W pierwszej fazie urównoleglania stosowany jest algorytm urównoleglania bazujący na długości segmentów. Schemat jego działania jest identyczny jak w algorytmie Gale'a i Churcha opisanym wcześniej. Znaczące różnice polegają jedynie na sposobie liczenia wartości funkcji prawdopodobieństwa dopasowania p x, y,e,f. Po pierwsze, przyjmuje się inną miarę długości segmentu liczoną w słowach a nie w znakach. Po drugie przyjmuje się założenie że stosunek długości segmentów ma rozkład Poissona34, a nie rozkład normalny, jak w algorytmie Gale'a i Churcha. Nie powoduje to znacznych różnic w wynikach urównoleglania, algorytm jest jednak szybszy i bardziej intuicyjny Miara długości segmentu Miarą długości segmentu s jest oznaczona jako l s. W algorytmie Moore'a długość segmentu mierzona jest w słowach. Żeby ją obliczyć niezbędna jest tokenizacja35. W tym celu można posłużyć się splitterem36 z regułami podziału na poziomie słowa. Dokładna tokenizacja jest ważna w dalszych fazach takich jak trenowanie modelu czy obliczanie prawdopodobieństw tłumaczenia. W implementacji oryginalnej37 słowami są tylko ciągi składające się z liter i cyfr, a wszystkie pozostałe znaki są traktowane jako znaki podziału, a ich ciągi nie są traktowane jako słowa. Podobnie jak w opisie algorytmu Gale'a i Chucha, sumę długości segmentów źródłowych biorących udział w rozpatrywanym dopasowaniu oznaczam jako l s, a sumę długości segmentów docelowych jako l t. 34 Rozkład Poissona to rozkład dyskretny przedstawiający liczbę wystąpień zjawiska w danym czasie, w określonej liczbie prób, jeśli wystąpienia te są niezależne od siebie. 35 Pisząc tokenizacja mam na myśli podział tekstu na słowa. 36 Można posłużyć się na przykład splitterem opisanym w rozdziale Patrz [Moore implementacja]. 26

27 Rozkłady długości segmentów Żeby obliczyć prawdopodobieństwo dopasowania potrzebne są rozkłady długości segmentów w tekście źródłowym i docelowym38 oraz stosunek średnich długości segmentów źródłowych i docelowych. Długości segmentów liczone są za pomocą zdefiniowanej wcześniej miary. Prawdopodobieństwo wystąpienia segmentu źródłowego s o długości k =l s oznaczam jako r s k. Rozkład prawdopodobieństwa źródłowego oblicza się dzieląc ilość segmentów o danej długości przez łączną ilość segmentów w tym tekście. Jako R s x, e oznaczam prawdopodobieństwo wystąpienia segmentów źródłowych s x, s x 1,..., s x e 1 o długościach l s x, l s x 1,..., l s x e 1, liczone jako iloczyn prawdopodobieństw wystąpienia każdego z segmentów o określonej długości: R s x, e =r s l s x r s l s x 1... r s l s x e 1. Analogicznie prawdopodobieństwo wystąpienia segmentu docelowego t o długości l=l t oznaczam r t l, jako a prawdopodobieństwo wystąpienia segmentów docelowych t y,t y 1,...,t y f 1 o długościach l t y, l t y 1,..., l t y f 1 oznaczam jako Rt y, f. Średnią długość segmentu w tekście źródłowym L s liczy się następująco: n l si. L s= i=1 n Średnią długość segmentu w tekście docelowym Lt liczy się analogicznie Obliczanie wartości funkcji p Wartość funkcji p x, y,e,f jest wyliczana następująco. Jeśli e=0 to prawdopodobieństwo oblicza się jako iloczyn prawdopodobieństwa wystąpienia segmentów docelowych t y,t y 1,...,t y f 1 o określonej długości Rt y, f i prawdopodobieństwa wystąpienia kategorii dopasowania P 0 f : p x, y,0,f =Rt y,f P 0 f. Analogicznie postępuje się gdy f =0. W pozostałych zaś przypadkach prawdopodobieństwo jest iloczynem prawdopodobieństwa wystąpienia długości segmentów 38 Rozkłady długości segmentów można by nazwać modelami długości segmentów analogicznie do modeli języków występujących w dalszej części rozdziału. 27

28 źródłowych i prawdopodobieństwa łącznej długości zdań docelowych pod warunkiem łącznej długości zdań źródłowych P l t l s oraz prawdopodobieństwa wystąpienia kategorii dopasowania P e f : p x, y,e,f =Rs x, e P l t l s P e f. Idea obliczania P l t l s polega na tym, że każde słowo w języku źródłowym tłumaczy się na pewną liczbę słów w języku docelowym zgodnie z rozkładem Poissona. Zatem l t ma rozkład Poissona, którego wartością oczekiwaną jest iloczyn łącznej długości segmentów źródłowych w tym dopasowaniu l s i stosunku średniej długości segmentu docelowego Lt do średniej długości segmentu źródłowego L s : =l s Lt Ls Zatem zgodnie z rozkładem Poissona P l t l s wynosi: lt e P l t l s =. l t! Prawdopodobieństwo wystąpienia kategorii dopasowań P e f jest pobierane z Tabeli 1. zdefiniowanej w opisie algorytmu Gale'a i Churcha, utworzonej na podstawie danych empirycznych uzyskanych z testowego korpusu Faza 2. Filtrowanie najlepszych dopasowań Najpierw spośród dopasowanych segmentów wybierane są tylko te należące do kategorii 1 1. Następnie spośród nich wybierane są najlepsze dopasowania na podstawie prawdopodobieństwa ich wystąpienia (czyli wartości funkcji p dla tych dopasowań, dlatego musi być ona podczas urównoleglania przechowywana). Można wybrać dopasowania z prawdopodobieństwem powyżej jakiegoś progu, albo wybrać pewną część najlepszych dopasowań zwykle 80% najbardziej prawdopodobnych dopasowań powstałych w wyniku urównoleglania bazującego na długości segmentu jest poprawnych Faza 3. Trenowanie modeli statystycznych Do obliczania prawdopodobieństw tłumaczenia w ostatniej fazie algorytmu Moore'a stosuje się metody znane z automatycznego tłumaczenia statycznego. Chociaż można by zastosować najbardziej zaawansowaną postać tych metod, w przykładowej implementacji Moore'a (a także w mojej implementacji) zastosowano ich uproszczoną wersję. Motywuje się to wydajnością i prostotą 28

29 kodu, ale w przyszłości można ten fragment algorytmu rozbudować. W tej fazie tworzy się dwa rodzaje modeli: modele języka osobne dla tekstu źródłowego i docelowego oraz model translacji z języka źródłowego na język docelowy Modele języka Modelem języka w algorytmie Moore'a jest prosty model prawdopodobieństw występowania unigramów39, czyli słów. Przez pls v oznaczam prawdopodobieństwo wystąpienia słowa źródłowego v, a p lt w prawdopodobieństwo wystąpienia słowa docelowego w. Model języka źródłowego pozwala na obliczenie prawdopodobieństwa wystąpienia segmentu źródłowego s = v 1, v 2,..., v k jako iloczyn prawdopodobieństw słów w nim występujących, gdzie v i oznaczają słowa a k =l s : k P ls s = pls v i. i=1 Analogicznie, model języka docelowego pozwala na obliczenie prawdopodobieństwa P lt t segmentu docelowego t = w 1,w 2,..., w l. Modele języka źródłowego i docelowego buduje się licząc częstotliwości występowania danego słowa w tekście odpowiednio źródłowym i docelowym Model translacji Model translacji, inaczej słownik probabilistyczny, pozwala określić prawdopodobieństwo, że dane słowo docelowe jest tłumaczeniem danego słowa źródłowego. W algorytmie Moore'a zastosowano znany z literatury model 1 IBM-a40 z pewnymi niewielkimi modyfikacjami Sposób działania modelu 1 IBM-a Generalnie w modelach IBM-a przyjmuje się że segment docelowy t jest generowany przez segment źródłowy s = v 1, v 2,..., v k w następujący sposób: najpierw wybierana jest długość segmentu docelowego l. Następnie dla każdej pozycji w zdaniu docelowym j=1, 2,..., l wybierane jest generujące je słowo z s (łącznie ze słowem pustym v0 ). Ostatecznie dla każdej pary składającej się z pozycji w segmencie docelowym j i generującego słowa z segmentu źródłowego v i wybierane jest słowo docelowe w j. W modelu 1 przyjmuje się, że wszystkie 39 Lepsze rezultaty dają modele bigramów w których liczy się prawdopodobieństwo wystąpienia danego słowa pod warunkiem że poprzednim słowem było dane słowo. Można budować modele n-gramowe, dla większych n, ale zajmują one coraz więcej miejsca w pamięci i są coraz mniej wydajne. 40 Patrz [Brown, 1993], [Knight, 1999]. 29

30 możliwe długości segmentu docelowego l, do pewnej górnej granicy, są jednakowo prawdopodobne i prawdopodobieństwo to wynosi. W algorytmie Moore'a pomija się jednak tą stałą, ponieważ długości segmentów są brane pod uwagę poprzez wyprowadzony wcześniej rozkład długości segmentów. Dalej, wybór każdego ze słów generujących w zdaniu źródłowym jest jednakowo prawdopodobny. Następnie prawdopodobieństwo pt w j v i wygenerowania słowa docelowego w j zależy wyłącznie od słowa źródłowego v i. Zatem prawdopodobieństwo wygenerowania segmentu t przez segment s wynosi: l k 1 P t t s = p t w j vi. l k 1 j=1 i= Trenowanie modelu translacji Model taki trenuje się (czyli estymuje nieznane parametry pt w j v i ) stosując algorytm typu EM41. Treningu takiego dokonuje się w iteracjach, przy czym wejściem do kolejnej iteracji jest model z poprzedniej iteracji. W algorytmie Moore'a do uzyskania pożądanego efektu przeprowadza się 4 iteracje. W zerowej iteracji przyjmuje się że prawdopodobieństwo tłumaczenia dowolnego słowa na dowolne wynosi 1. W każdej kolejnej iteracji dla każdej pary segmentów źródłowego i docelowego42 z korpusu treningowego dokonywana jest następująca procedura: Dla każdego słowa w j z segmentu docelowego liczona jest suma prawdopodobieństw w modelu z poprzedniej iteracji p to w j v i, że słowo to jest tłumaczeniem każdego z słów v i, i=0,1,2,..., k z segmentu źródłowego rozszerzonego o słowo puste v 0. Następnie prawdopodobieństwo tłumaczenia każdego ze słów v i, i=0, 1, 2,..., k z segmentu źródłowego na słowo docelowe wj w trenowanym modelu ptn w j v i jest powiększane o iloraz prawdopodobieństwa tego tłumaczenia w modelu z poprzedniej iteracji pto w j v i przez uzyskaną wcześniej sumę prawdopodobieństw. ptn w j v i = p to w j v i k pto w j vh. h=0 41 Algorytm EM (od ang. Expectation Maximization) jest algorytmem pozwalającym wyestymować najbardziej prawdopodobne wartości brakujących parametrów dla pewnych danych. Jest to algorytm iteracyjny i składaja się z dwóch kroków. W pierwszym kroku wyliczane jest prawdopodobieństwo dla wartości brakujących, a w drugim kroku maksymalizuje się prawdopodobieństwo tak, jak gdyby nie było wartości brakujących i otrzymuje się nowe wartości. Kroki te są powtarzane tak długo, aż zmiana parametrów będzie zaniedbywalnie mała. 42 Czyli dla każdego dopasowania. W praktyce do trenowania stosowane są tylko dopasowania należące do kategorii (1-1). 30