Co to jest tłumaczenie maszynowe?

Transkrypt

1 Sebastian Kozłowski Co to jest tłumaczenie maszynowe? W dzisiejszych czasach obserwujemy coraz większe zapotrzebowanie na tłumaczenie tekstów. Rośnie ono zwłaszcza w dziedzinach handlu oraz administracji międzynarodowej. Dobrym przykładem jest tutaj Unia Europejska, gdzie szacuje się, że około 40% administracyjnego kosztu przypada na tłumaczenie dokumentów pomiędzy 11 oficjalnymi językami w Unii. Zauważyć można, że pomimo tak wielkich nakładów i tak dla dziesięciu procent mieszkańców Unii ich język ojczysty nie należy do tej grupy (m.in. języki: kataloński, baskijski, szkocki, irlandzki, luksemburski). Po rozszerzeniu Unii o kolejne państwa członkowskie liczba języków oficjalnych wzrośnie do 19 1, co zwiększy i tak olbrzymie koszty tłumaczenia. W przypadku międzynarodowego handlu sytuacja wygląda dosyć podobnie. Wystarczy rozważyć problem tłumaczenia instrukcji do urządzeń sprzedawanych na całym świecie lub lokalizacji produktów informatycznych. Oczywiste jest więc, że zapotrzebowanie na tłumaczenia wzrasta i ta tendencja z pewnością się utrzyma. Można zaproponować kilka rozwiązań takiego problemu, jednym z nich mogłoby być zatrudnienie większej ilości tłumaczy. Niestety z komercyjnego punktu widzenia, chociaż powszechnie praktykowane, takie rozwiązanie jest bardzo kosztowne. Pojedynczy tłumacz ma ograniczone możliwości co do liczby przetłumaczonych stron dziennie, więc zwiększone ilości dokumentów do przetłumaczenia powodują konieczność zatrudnienia nowych pracowników, co wiąże się z dodatkowymi kosztami. Innym rozwiązaniem mogłoby być wykorzystanie do komunikacji wyłącznie jednego języka. Nie jest zaskakującym jednak fakt, że większość ludzi nie będzie chciała się w ramach tej idei nauczyć języka obcego, zwłaszcza, że jest to zadanie dosyć trudne i pochłaniające dużą ilość czasu. Ponadto język jest nierozerwalnie związany z kulturą kraju swojego pochodzenia, a niektórzy ludzie postrzegają w tym zagrożenie dla swojej rodzimej kultury. Jeszcze jednym powodem niechęci jest świadomość, że pomimo dużego nakładu pracy, umiejętność posługiwania się językiem obcym i tak będzie słabsza od ludzi, dla których ten język jest językiem ojczystym. Pewną alternatywą byłby język sztuczny, taki jak Esperanto czy Interlingua, jednakże tutaj problemem jest niewielka ilość osób mówiących w takich językach (szacuje się, 1 Przy założeniu, że nowymi językami urzędowymi staną się: czeski, estoński, litewski, łotewski, polski, słowacki, słoweński i węgierski.

2 64 Co to jest tłumaczenie maszynowe? że w Esperanto jest w stanie porozumiewać się około 2 mln ludzi), więc nie są to języki o dużym znaczeniu. Ostatnim rozwiązaniem, które jak podejrzewamy odegra istotną rolę w naszym wieku, jest wykorzystanie komputerów do tłumaczenia. Technologia ta znana jest jako tłumaczenie maszynowe (ang. Machine Translation, MT) i tą technologią zajmiemy się w tym opracowaniu. Tłumaczenie maszynowe polega na automatycznym tłumaczeniu tekstu lub mowy z jednego języka na drugi i jest jednym z najważniejszych zastosowań przetwarzania języka naturalnego (ang. Natural Language Processing, NLP), dziedziny z pogranicza informatyki i lingwistyki. Pomysł tłumaczenia maszynowego nie jest nowy, tak naprawdę pierwsze odnotowane pomysły pochodzą z XVII wieku, jednak dopiero nadejście komputerów pozwoliło na znaczący rozwój tej dziedziny. Przez ostatnie 40 lat w tłumaczenie maszynowe zainwestowano olbrzymie fundusze i pomimo wieloletniej pracy licznych ośrodków badawczych nadal jesteśmy daleko od kompleksowego rozwiązania obejmującego tworzenie dowolnych tłumaczeń. Tak naprawdę to nawet nie wiemy, czy taki cel może być kiedykolwiek osiągnięty. Jeżeli założymy prawdziwość hipotezy silnej sztucznej inteligencji (Penrose, 1996, str ), w myśl której umysł ludzki wykonuje jedynie skomplikowany równoległy algorytm, to zbudowanie maszyn pozwalających na tłumaczenie tekstów w ten sam sposób co ludzie jest przynajmniej teoretycznie możliwe. Co więcej możliwe w takim wypadku jest zbudowanie maszyn realizujących wszystkie twórcze zadania, tradycyjnie zarezerwowane dla ludzi, takie jak literatura piękna, muzyka czy sztuka i to lepiej, i szybciej niż ludzie. Ze względu na złożoność ludzkiego mózgu, może się okazać, że nawet w tym wypadku możliwość ta nie zostanie nigdy wykorzystana. Natomiast jeżeli hipoteza silnej sztucznej inteligencji jest fałszywa, a co za tym idzie, ludzki umysł posiada pewne cechy, które nie mogą zostać symulowane w sposób algorytmiczny, wówczas to, czy maszyny mogą być równie sprawne i uniwersalne jak ludzcy tłumacze, nadal jest problemem otwartym. Być może maszyny i na tym polu prześcigną ludzi, podobnie jak w szachach, metodą siłową, poprzez doskonalenie metod symbolicznych i zwiększanie ilości danych dla metod statystycznych. 1. Dlaczego tłumaczenie maszynowe jest trudne? Spróbujemy przyjrzeć się kilku przykładom tłumaczeń, czynnościom, jakie wykonuje człowiek podczas tłumaczenia i informacjom, jakie mu są do tego niezbędne. Pozwoli nam to określić, jakie informacje i możliwości powinien posiadać uniwersalny system tłumaczenia maszynowego. Rozważmy przykład pojedynczego francuskiego zdania (Kay, 1997), które padło podczas rozmowy: Ou voulez-vous que je me mette? znaczy dosłownie Gdzie chcesz abym się umieścił? (ang. Where do you want me to put myself?). Przetłumaczone przez tłumacza na język polski będzie natomiast w sposób Gdzie chcesz abym usiadł?, Gdzie mam zaparkować?, Gdzie mam się podpisać?

3 Sebastian Kozłowski 65 itp. Pewna dodatkowa informacja musi zostać dodana podczas tłumaczenia, aby utworzyć naturalną wypowiedź języka polskiego. Zdanie Gdzie chcesz abym się umieścił?, chociaż najbliższe znaczeniu francuskiemu z pewnością nie zostałoby wybrane przez tłumacza. Okazuje się, że tym, co pozostaje niezmienne podczas tłumaczenia jest nie znaczenie zdania, ale interpretacja, a więc wrażenie, jakie tekst ma wywołać u czytelnika. Interpretacja zależy jednak od kontekstu wypowiedzi i tutaj leży podstawowe źródło trudności tłumaczenia maszynowego. Często zatem systemy tłumaczenia maszynowego budowane są dla ograniczonych domen, jak np. tekst techniczny czy raporty pogodowe, gdyż wówczas kontekst wypowiedzi praktycznie zanika. Niemniej jednak, nawet w takich systemach możemy napotkać na problemy. Dla przykładu w jednym z systemów tłumaczących domena wypowiedzi została ograniczona do rozmowy pomiędzy parą osób dotyczącą czasu i miejsca następnego spotkania (Kay, 1997).W jednym z pierwszych badanych dialogów wystąpiło zdanie Geht es bei Ihnen?. Niestety są dwie interpretacje, które mogą zostać przetłumaczone na angielski jako Is that alright with you? (Czy to ci odpowiada?) oraz Can we meet at your place? (Czy możemy się spotkać u Ciebie?). Domena wypowiedzi jest ograniczona w bardzo dużym stopniu, a mimo to okazuje się, że jedynie analiza kontekstu wypowiedzi pozwoli na poprawną interpretację. Okazuje się, że nawet analizując teksty techniczne nie jesteśmy wolni od takich problemów (Cole et al., 1995). Tłumaczenie maszynowe jest tak trudne, gdyż stanowi twórczy proces i niezbędna podczas tłumaczenia jest nie tylko wiedza lingwistyczna, ale także, co nie zawsze brane jest pod uwagę, wiedza o otaczającym nas świecie, którą posiada każdy tłumacz, a którą trzeba implementować w programach tłumaczących w inny sposób. Rozważmy poniższy fragment Latarnika Henryka Sienkiewicza w przekładzie Moniki M. Gardner. Poniżej tekstu w języku angielskim podane jest dosłowne znaczenie w języku polskim.... therefore one hour followed another, and he was still on the balcony. Zatem jedna godzina następowała po innej, i on był ciągle na balkonie. He gazed; he drank his fill; he was convinced. On patrzył; on pił swoje wypełnienie; on był przekonany. He might have been seeing the sea for the first time in his life. On mógł widzieć morze po raz pierwszy w swoim życiu. The lens of the lantern flung into the darkness a mighty cone of light, Soczewki latarni rzucały w ciemność potężny stożek światła, beyond which the old man s eyes were lost in a distance, poza który starego człowieka oczy były zgubione w oddali, that was pitch black, mysterious, and terrible. to było smołowo czarne, tajemnicze i straszne. A teraz porównajmy to z tekstem oryginalnym:... więc godziny jedna za drugą spływały mu na balkonie. Patrzył, nasycał się, przekonywał. Mogłoby się zdawać, że pierwszy raz w życiu widział morze, bo północ

4 66 Co to jest tłumaczenie maszynowe? wybiła już na aspinwalskich zegarach, a on jeszcze nie opuszczał swojej powietrznej wyżyny i patrzył. W dole pod jego stopami grało morze. Soczewka latarni rzucała w ciemność olbrzymi ostrokrąg światła, poza którym oko starca ginęło w dali czarnej zupełnie, tajemniczej i strasznej. Pierwsze wnioski, które się nasuwają, to fakt, że tłumaczenie to pomimo, że z pewnością może być uznane za dobre, nie jest tłumaczeniem dokładnym. W tym fragmencie dobitnie widać, że dopuszczalne jest nawet opuszczenie pewnych fragmentów tekstu oryginalnego. Można zauważyć również rezygnację z bardziej poetyckiego języka, gdzie godziny spływają po balkonie, a morze gra, które brzmiałoby dziwacznie przetłumaczone dosłownie, na rzecz bardziej stonowanego angielskiego języka poetyckiego. Wykorzystywane są wyrażenia idiomatyczne, jak np. to drink one s fill odpowiadający polskiemu nasycać się. Widać również, iż w teście wynikowym mogą być dodawane informacje, jak np. dal czarna zupełnie określona przez angielski pitch black (czarna jak smoła). Jak widać, tłumaczenie takiego rodzaju wymaga głębokiego zrozumienia języka i tekstu źródłowego, i umiejętności wyszukanego, poetyckiego posługiwania się językiem wynikowym. Problem tłumaczenia dowolnie wybranego tekstu z jednego języka na inny jest więc stanowczo zbyt skomplikowany, aby mógł być całkowicie zautomatyzowany. Zauważmy również, że w tym przypadku mamy do czynienia z dwoma językami indoeuropejskimi o zbliżonej kulturze. W przypadku języków bardziej odległych jak np. polski i chiński przekład byłby jeszcze trudniejszy. Z wyżej wymienionych powodów tłumaczenie maszynowe często spotykało się z niechęcią, było uważane za stratę czasu i stawało się obiektem żartów. Jako dowód na nieudolność systemów tłumaczących przytaczane były co zabawniejsze z licznych wpadek pierwszych systemów tłumaczenia maszynowego, jak np. w przypadku angielsko-rosyjskiego systemu tłumaczącego, gdy zdanie the spirit is strong but the flesh is weak (Duch jest silny, ale ciało jest słabe) uzyskało po przetłumaczeniu interpretację the vodka is strong but the meat is rotten (Wódka jest mocna, ale mięso jest zepsute). Inna często cytowana wpadka tym razem w systemie angielsko-francuskim to hydraulic ram (bijak hydrauliczny 2 ) przetłumaczony jako water goat (kozioł wodny). W środowisku tłumaczy, widzących, niesłusznie zresztą, w tłumaczeniu maszynowym zagrożenie dla swojego zawodu, odnośnie tej technologii często padało określenie you can have it fast, cheap, and good. Pick any two, czyli możesz to mieć szybko, tanio i dobrze, wybierz dowolne dwie możliwości. Niemniej w ogólnym przypadku i tak stwierdzenie to wydaje się być dla tłumaczenia maszynowego bardzo optymistyczne. Problemom spotykanych w praktycznych systemach przyjrzymy się dokładniej w dalszej części. 2 Część kafara, młota, bezpośrednio uderzająca.

5 Sebastian Kozłowski Jakie są rodzaje systemów tłumaczenia maszynowego? Jeżeli wystarczy nam przybliżony przekład tekstu lub wykonujemy tłumaczenia jedynie w wąskiej dziedzinie, albo możemy przejrzeć i poprawić tekst wynikowy, to technologia tłumaczenia maszynowego osiągnęła już wystarczający poziom by być użyteczna. W zależności od wspomnianych wymagań i zaangażowania ludzkich operatorów możemy wyróżnić następujące rodzaje systemów tłumaczenia maszynowego (za Hedden (2000)): Tłumaczenie wspomagane maszynowo (ang. Machine Aided Human Translation, MAHT) polega na tym, że całe tłumaczenie jest wykonywane przez człowieka wykorzystującego komputer w celu usprawnienia i przyspieszenia całego procesu. Zgodnie ze stwierdzeniem znawcy tłumaczenia maszynowego i zwolennika tego typu systemów Martina Kay a, że tłumaczenie jest piękną i ekscytującą sztuką, ale wiele w nim jest rzeczy mechanicznych i rutynowych systemy MAHT zapewniają tłumaczowi narzędzia takie jak słowniki ogólne i terminologii, słowniki wyrazów bliskoznacznych i często używanych zwrotów, funkcje sprawdzania pisowni i gramatyki, pozwalając mu na skoncentrowanie się na bardziej twórczych aspektach. Często mogą być zintegrowane z edytorem tekstów. W środowisku tłumaczy technologia ta jest powszechnie nazywana CAT od angielskiego Computer Aided Translation. W systemach MAHT najważniejszą rolę ma tłumacz, a komputer pełni jedynie rolę narzędzia. Tłumaczenie wspomagane przez człowieka (ang. Human Aided Machine Translation, HAMT) polega na tym, że tekst źródłowy jest modyfikowany przed, w czasie lub po przetłumaczeniu go przez komputer. Przykładem modyfikacji przed może być przygotowanie specjalnej formy dokumentu, która będzie łatwo analizowana przez komputer, albo poprzez umieszczenie w tekście źródłowym dodatkowych informacji ułatwiających analizę, bądź przez przygotowanie danych wejściowych w jakiejś bardziej przyjaznej (dla komputera) formie. W ten sposób często z powodzeniem tłumaczy się maszynowo np. instrukcje obsługi na wiele języków. Innym przykładem takiego systemu może być kanadyjski system METEO, gdzie danymi wejściowymi były bardziej dane meteorologiczne niż tekst w języku naturalnym i na podstawie tych danych generowany był tekst w językach angielskim i francuskim. Pamiętać jednak należy, że systemy korzystające wyłącznie z danych wejściowych niebędących językiem naturalnym wykorzystują dużo prostszą technologię niż tłumaczenie maszynowe. Jest nią generacja języka naturalnego (ang. Natural Language Generation, NLG). Systemy, które pobierają niezmodyfikowany tekst wejściowy w języku naturalnym, często korzystają z pomocy człowieka w trakcie tłumaczenia. Pomoc taka polega głównie na rozwiązywaniu niejednoznaczności semantycznych. Ta grupa systemów pozwala na osiągnięcie bardzo wysokiej efektywności i szybkości tłumaczenia. Zwłaszcza, gdy przeprowadzane jest tłumaczenie jednocześnie na wiele języków wynikowych, gdyż wówczas wiele niejednoznaczności jest rozwiązywanych tylko jeden raz, a uzyskane informacje wykorzystywane są w wielu tekstach

6 68 Co to jest tłumaczenie maszynowe? wynikowych. Chyba głównym powodem małej popularności takich systemów jest niechęć użytkowników. Wynika ona prawdopodobnie z faktu, że w tej grupie programów człowiek musi odpowiadać na kolejno zadawane pytania komputera w dość mechaniczny sposób i nie ma całkowitej kontroli nad tekstem wynikowym. Tłumaczenie całkowicie maszynowe (ang. Fully Automated Machine Translation, FAMT) polega na tym, że program otrzymuje tekst źródłowy i bez żadnej ingerencji człowieka generuje tekst w języku wynikowym. Zazwyczaj tekst wynikowy jest dość niskiej jakości, jednak wystarczającej do pewnych zastosowań, jak na przykład przeglądanie stron WWW lub czytanie poczty elektronicznej. W niektórych zastosowaniach ważny jest szybki dostęp do informacji, a dokładne przetłumaczenie można zlecić tylko dla najważniejszych dokumentów. Dodatkowo, taki typ programów może być przydatny dla użytkowników, których zdolności językowe pozwalają na sprawdzenie poprawności wygenerowanego tekstu. Ten typ programów jednak nie cieszy się uznaniem wśród tłumaczy, większość z nich decyduje się na samodzielne przetłumaczenie tekstu, a nie na żmudne poprawianie dalekiego od ideału tłumaczenia. Czasami wyróżnia się też grupę programów FAHQMT (ang. Fully Automated High Quality Machine Translation) generujących dokładne tłumaczenia w określonych, ograniczonych domenach językowych. 3. Jak się rozwijało tłumaczenie maszynowe? Pierwsze pomysły mechanizacji tłumaczenia sięgają siedemnastego wieku 3, ale rzeczywiste możliwości pojawiły się dopiero w wieku dwudziestym. W latach trzydziestych ubiegłego wieku Francuz Georges Artsrouni oraz Rosjanin Piotr Trojański złożyli wnioski patentowe dotyczące maszyn tłumaczących. Bardziej znaczące były dokonania Trojańskiego, jako że zaproponował on nie tylko ideę automatycznego dwujęzykowego słownika, ale także bazowany na Esperanto niezależny od języka schemat kodowania konstrukcji gramatycznych oraz szkic przeprowadzania analizy i syntezy. Niemniej jednak, idee Trojańskiego nie były znane aż do końca lat pięćdziesiątych. W tym samym czasie pojawiły się pierwsze maszyny liczące i wkrótce później rozpoczęły się badania dotyczące zastosowania komputerów w tłumaczeniu języków naturalnych. W 1954 zaprezentowany został system zbudowany we współpracy IBM i Georgetown University. Mimo wykorzystania ograniczonego słownictwa i prostej gramatyki system ten wzbudził ogromne zainteresowanie, które przełożyło się na pozyskanie znacznych funduszy dla tłumaczenia maszynowego w Stanach Zjednoczonych i wzbudzenie zainteresowania tematyką na całym świecie. Najwcześniejsze systemy składały się głównie z dużych dwujęzycznych słowników, w których każdemu hasłu języka źródłowego odpowiadały jedno lub więcej haseł języka wynikowe- 3 Ta część pracy powstała głównie w oparciu o materiały Johna Hutchinsa (2003).

7 Sebastian Kozłowski 69 go i pewne reguły opisujące szyk wyrazów w zdaniu wynikowym. Szybko okazało się, że tworzone ad hoc słownikowe zasady konstrukcji składniowych okazały się zbyt skomplikowane. Wkrótce konieczne stało się zbudowanie bardziej systematycznych metod analizy syntaktycznej. Duża grupa projektów zainspirowana niedawnymi dokonaniami w lingwistyce, szczególnie w modelach gramatyk formalnych, dawała nadzieję na znaczną poprawę jakości tłumaczenia. Atmosfera optymizmu utrzymała się w badaniach przez ponad dekadę. Wielu naukowców przepowiadało rychły przełom w tej dziedzinie. Rozczarowanie rosło w miarę napotykania pewnych barier semantycznych, dla których nie widziano prostego rozwiązania. Były, co prawda, działające systemy, takie jak Mark II i system z Georgetown University wykorzystywany w US Atomic Energy Authority i w Euratom we Włoszech ale jakość tekstu wynikowego rozczarowywała, chociaż była wystarczająca dla wielu użytkowników do szybkiej produkcji informacji. Do roku 1964 sponsor przedsięwzięcia, a więc rząd amerykański, stawał się coraz bardziej zaniepokojony brakiem postępów i w efekcie powołał do życia doradczy komitet automatycznego przetwarzania języka (Automatic Language Processing Advisory Committee, ALPAC), który stwierdził w słynnym raporcie z roku 1966, że tłumaczenie maszynowe jest wolniejsze, mniej dokładne i dwa razy bardziej kosztowne niż tłumaczenie klasyczne i że nie ma bezpośrednich, ani przewidywalnych widoków na użyteczne tłumaczenie maszynowe. Raport stwierdzał, że nie widzi potrzeby dalszego inwestowania w tłumaczenie maszynowe i zamiast tego proponował tworzenie narzędzi wspomagających tłumaczy, takich jak automatyczne słowniki i dalsze finansowanie projektów dotyczących podstawowych badań w lingwistyce komputerowej. Chociaż szeroko potępiany jako stronniczy i krótkowzroczny, raport ALPAC przyniósł w zasadzie kres badaniom nad tłumaczeniem maszynowym w Stanach Zjednoczonych na ponad dekadę i spowolnił rozwój takich systemów również w ZSRR i w Europie. Niemniej jednak, badania były nadal kontynuowane w Kanadzie, Francji i Niemczech. W ciągu kilku lat system SYSTRAN zaczął być wykorzystywany przez USAF (1970) i wkrótce później przez Komisję Wspólnot Europejskich (ang. Commission of the European Communities) dla tłumaczenia szybko zwiększających się tomów dokumentacji. W tym samym roku, następny zakończony sukcesem projekt pojawił się w Kanadzie, był to system METEO przeznaczony do tłumaczenia raportów pogodowych i utworzony na Uniwersytecie w Montrealu. W latach 60-tych w Stanach Zjednoczonych i ZSRR pracę nad systemami MT koncentrowały się na tłumaczeniach rosyjsko-angielskich i angielsko-rosyjskich dokumentów naukowych i technicznych, adresowanych do niewielkiego kręgu użytkowników, głównie naukowców, dla których ważniejszy był szybki dostęp do informacji, nawet jeżeli tłumaczenie było zgrubne i nienaturalne. Od połowy lat 70-tych zaczęło narastać z różnych źródeł zapotrzebowanie na systemy MT o innych wymaganiach i pracujących z innymi językami. Zapotrzebowanie administracyjne i komercyjne wielojęzycznych społeczności

8 70 Co to jest tłumaczenie maszynowe? i międzynarodowego handlu stymulowało rozwój systemów MT w Europie, Kanadzie i Japonii powyżej możliwości tradycyjnych systemów tłumaczących. Powstało zapotrzebowanie na ekonomiczne, wspomagane maszynowo systemy tłumaczące, radzące sobie z komercyjną i techniczną dokumentacją w głównych językach światowego handlu. W latach 80-tych powstało wiele różnych typów systemów MT we wciąż powiększającej się grupie krajów. Najpierw powstały systemy oparte o potężne komputery mainframe, zajmujące częstokroć całe pomieszczenie i obsługujące dziesiątki użytkowników. Pomimo znacznego postępu technicznego i rozwoju komputerów osobistych, niektóre z nich pracowały jeszcze kilka lat temu, a być może nawet część z nich używa się do dnia dzisiejszego. Oprócz SYSTRANU, który w tym czasie pracował już dla wielu par języków, powstał też LOGOS (niemiecko-rosyjski i angielsko-francuski), powstał system do wewnętrznego użytku w Pan American Health Organization (hiszpańsko-angielski i angielsko-hiszpański), system METAL (niemiecko-angielski) i cała grupa systemów dla pary angielski-japoński stworzonych przez japońskie korporacje. Szeroka dostępność mikrokomputerów i oprogramowania do przetwarzania tekstów wytworzyła rynek na tanie systemy MT w Ameryce Północnej, Europie i Japonii. Inne systemy przeznaczone dla mikrokomputerów pojawiły się w Chinach, Tajwanie, Korei, Europie Wschodniej i w Związku Radzieckim. Przez lata 80-te kontynuowano badania nad bardziej zaawansowanymi metodami i technikami. Przez większą część dekady, dominującą strategią było tłumaczenie poprzez reprezentację niezależną od języka (reprezentację wiedzy, podejście to będzie wyjaśnione w dalszej części pracy). Koniec dekady był istotnym punktem zwrotnym. Po pierwsze, grupa naukowców z laboratoriów IBM opublikowała rezultaty eksperymentów nad systemem CANDIDE zbudowanym wyłącznie z użyciem metod statystycznych. Po drugie, niektóre z Japońskich zespołów badawczych rozpoczęły wykorzystanie metod bazujących na korpusach (zbiorach tekstów) przykładów tłumaczeń, czyli korzystanie z techniki tłumaczenia opartej na przykładach (ang. example based). W obu podejściach wspólną cechą było to, że żadne składniowe ani semantyczne reguły nie były użyte podczas analizy tekstu, ani podczas badania odpowiedników słownych. Oba podejścia różniły się od poprzednich symbolicznych metod wykorzystaniem dużych zasobów tekstu. Trzecią innowacją był start badań nad tłumaczeniem mowy, obejmujących rozpoznawanie i syntezę mowy oraz moduły tłumaczące. Te ostatnie zaczęły być tworzone przy użyciu obu technik symbolicznej i statystycznej. Najważniejsze projekty powstawały w ATR (Nara, Japonia), wspólny projekt JANUS (ATR, Carnegie-Mellon University, Uniwersytet w Karlsruhe) i w Niemczech sponsorowany przez rząd projekt VERBMOBIL. Niemniej jednak, tradycyjne symboliczne projekty były nadal kontynuowane (np. CATALYST na Carnegie-Mellon University, projekt na uniwersytecie w Maryland i finansowany przez ARPA tworzony przy współpracy trzech amerykańskich uniwersytetów projekt PANGLOSS).

9 Sebastian Kozłowski 71 Inną cechą wczesnych lat 90-tych była zmiana nacisku na polu tłumaczenia maszynowego z czystych badań na zastosowania, tworzenie narzędzi dla tłumaczy, systemów MT pracujących w ograniczonych dziedzinach oraz komponentów tłumaczących w wielojęzycznych systemach informacyjnych. Trendy te kontynuowano do późnych lat 90-tych. W szczególności zwiększyło się wykorzystanie w przemyśle narzędzi dla tłumaczy (MAHT) oraz bardziej autonomicznego tłumaczenia maszynowego (systemy HAMT, FAMT), szczególnie dobrze widoczny był wzrost zastosowania rozwiązań służących lokalizacji oprogramowania. Odnotowano również znaczący wzrost oprogramowania FAMT adresowanego do zwykłych użytkowników oraz zwiększający się udział rozwiązań internetowych (np. tłumaczenie stron online). 4. Techniki tłumaczenia maszynowego Tłumaczenie maszynowe zazwyczaj jest realizowane metodami symbolicznymi, a więc metodami opartymi o pewien zestaw reguł (ang. rule-based systems), za pomocą których generowane jest tłumaczenie, lub metodami statystycznymi, korzystającymi z dużej bazy już przetłumaczonych tekstów i za ich pomocą generujących najbardziej prawdopodobne tłumaczenie. Wśród metod statystycznych wyróżnia się czasem metody oparte na przykładach (ang. example-based). Podejście to wykorzystuje dwujęzyczny dopasowany korpus (zbiór identycznych tekstów w dwóch językach). Dla zdania wejściowego znajdujemy najbardziej zbliżone zdanie w korpusie (lub identyczne, jeżeli akurat wystąpiło) i traktujemy je jako szablon do tłumaczenia (Sommers, 1999). Obecne systemy często łączą oba podejścia symboliczne i statystyczne, więc podział ten nie jest już tak wyraźny, niemniej jednak pozwala on na pewne usystematyzowanie zagadnienia Metody symboliczne W dziedzinie tłumaczenia maszynowego często spotyka się klasyfikację symbolicznych systemów tłumaczenia maszynowego przedstawioną na rysunku 1. Jest to naturalnie uproszczony schemat, lecz pozwala na pewną klasyfikację wykorzystywanych metod. Idea tego schematu polega na tym, że tłumaczenie może być przeprowadzone na jednym z kilku poziomów, a zatem, przykładowo analiza języka może być wykonana do poziomu reprezentacji syntaktycznej, następnie może zostać wykonane tłumaczenie tej reprezentacji i generacja tekstu w języku wynikowym. Naturalnie, im wyżej wykonywane jest tłumaczenie, tym bardziej zaawansowany technologicznie jest proces tłumaczenia. W dalszej części opracowania opiszemy kolejne poziomy zaczynając od najniższych.

10 72 Co to jest tłumaczenie maszynowe? Na rysunku 1 przedstawiony jest ogólny system tłumaczenia mowy, jeżeli rozważymy natomiast część powyżej przerywanej linii, uzyskamy system tłumaczenia tekstu. Strzałki wstępujące po lewej stronie reprezentują kolejne etapy analizy, takie jak rozpoznawanie mowy, analiza syntaktyczna, analiza semantyczna, z kolei strzałki zstępujące z prawej strony oznaczają poszczególne etapy generacji, takie jak: generacja reprezentacji semantycznej, syntaktycznej, tekstu i mowy. Rysunek 1. Strategie tłumaczenia maszynowego Systemy tłumaczenia mowy chyba najbardziej przemawiają do wyobraźni i były częstym elementem opowiadań SF, gdzie przedstawiciele różnych ras mogli swobodnie rozmawiać, gdyż ich mowa była automatycznie tłumaczona na język rozmówcy, takie systemy są jednak dużo bardziej skomplikowane niż systemy tłumaczenia tekstu i trudno oczekiwać takich rozwiązań dostępnych w najbliższym czasie. Niemniej jednak, prace nad tymi systemami są kontynuowane. Jednym z najbardziej znanych projektów tego rodzaju jest zakończony w 2000 r. niemiecki system Verbmobil (2000). W tym opracowaniu jednak skoncentrujemy się na problemie tłumaczenia tekstu, który jest wystarczająco skomplikowanym procesem Transfer leksykalny Najprostszym podejściem jest transfer leksykalny, nazywany niekiedy tłumaczeniem słowo po słowie. Podstawowa idea tego rozwiązania jest następująca, bierzemy słowo języka źródłowego, wyszukujemy w słowniku słowo języ-

11 Sebastian Kozłowski 73 ka wynikowego odpowiadające słowu źródłowemu i wypisujemy słowo języka wynikowego. Po zakończeniu tego procesu wprowadzamy dodatkowe zmiany do tekstu, jak np. zmiana szyku wyrazów, przestawienie przymiotników i rzeczowników, czy zmiana formy czasowników. W praktycznych rozwiązaniach ta faza jest najbardziej zaawansowana. Podejście takie jest czasem nazywane także tłumaczeniem bezpośrednim (ang. direct translation Jurafsky Martin (2000, str. 816)). Spróbujemy poniżej zasygnalizować podstawowe problemy, jakie możemy napotkać podczas tego rodzaju tłumaczenia. Już dla samego znajdowania odpowiednika dla słowa wejściowego odnajdujemy pierwsze problemy. Nasz system musi być wyposażony w odpowiedni dwujęzyczny słownik, jednak trudno oczekiwać, by znalazły się w nim wszystkie możliwe słowa obu języków. Pierwszą przeszkodą jest tu morfologia, tak więc konieczne jest umieszczenie w słownikach różnych form fleksyjnych, bądź zaimplementowanie sprowadzania słów do form bazowych. Niezależnie od tego, część słów na pewno nie wystąpi w słowniku. Weźmy chociaż pod uwagę nazwy własne jak np. nazwy miejscowości. Oczywiste jest, że w słowniku nie możemy umieścić wszystkich nazw własnych. Pamiętajmy też o sytuacji, gdy wprowadzane są neologizmy, jak często to się zdarza w utworze literackim, co prawda trudno oczekiwać, że tłumaczenie maszynowe będzie wykorzystywane do tłumaczenia poezji, ale neologizmy występują i w tekstach naukowych (np. gavagai dla określenia słowa w nieznanym języku lub ziebieski dla określenie przedmiotów, które były zielone, a teraz są niebieskie). Cóż więc możemy zrobić, gdy natrafimy na słowo, które nie występuje w słowniku? Zazwyczaj pozostawia się wyraz oryginalny, jest to w pełni uzasadnione zwłaszcza dla nazw własnych. Jeżeli systemy znakowe obu języków są różne, jak np. w polskim i arabskim, to musimy dokonać transliteracji (ang. transliteration), warto zauważyć, że ze względu na zastosowanie różnych systemów fonetycznych, często proces taki nie będzie odwracalny. Oczywiście taki sposób jest niewystarczający, gdy wyraz wejściowy zawierał błąd ortograficzny lub, jeżeli nieprzetłumaczone słowo jest zrozumiałe dla czytającego tekst wejściowy, jak np. ziebieski, występujący w kontekście słów zielony i niebieski. O ile drugi przypadek możemy zignorować jako mało prawdopodobny, to pierwszy z nich należy w jakiś sposób rozważyć, rozsądnym wydaje się przetwarzanie wstępne eliminujące błędy tego rodzaju. Gdy już znaleźliśmy pozycję słownikową, problemy może sprawić brak odpowiedniości jedno-jednoznacznej pomiędzy wyrazami w obu językach. Wystarczy wziąć pod uwagę polski wyraz informatyka tłumaczący się na angielskie computer science. Czy angielski słowo clockwise tłumaczące się na zgodnie ze wskazówkami zegara. O ile takie sytuacje jesteśmy w stanie w miarę łatwo rozwiązać, to sytuacja się komplikuje, gdy mamy przetłumaczyć słowo, które ma wiele odpowiedników w języku wynikowym. Na przykład angielskiemu czasownikowi know mogą odpowiadać czasowniki wiedzieć i znać w polskim, lub savoir i connaître we francuskim. Do tego problemu jeszcze wrócimy. Weźmy też pod uwagę występowanie braków leksykalnych (ang. le-

12 74 Co to jest tłumaczenie maszynowe? xical gap), dla przykładu angielskie słowo enjoy nie może być bezpośrednio przetłumaczone na język polski, możemy zastępować je jedynie dłuższymi frazami, których wybór zależy od kontekstu wypowiedzi (Smacznego! Dobrze się bawiłaś? Podobało mi się... ). Wyobraźmy sobie, iż w trakcie tłumaczenia z języka polskiego na angielski napotykamy na wyraz zamek. Niestety jest to typowy przykład homonimii, wyraz ten w języku polskim ma kilka znaczeń. Trudno oczekiwać, by język angielski miał tę samą własność, musimy zatem wybrać właściwe znaczenie, a do tego nie wystarczy nam znajomość słowa źródłowego, często nawet znajomość wyrazów poprzedzających nie poprawia sytuacji. Jest to więc przykład, gdzie tłumaczenie słowo po słowie napotyka na duże problemy. Aby można było dokonać prawidłowego tłumaczenia, musimy wiedzieć, z jakim znaczeniem mamy tu do czynienia, konieczne jest odwołanie się do innych słów (np. jeżeli następnym słowem jest błyskawiczny, to jest duże prawdopodobieństwo, że wyraz ten powinien być przetłumaczony jako zipper), sprawdzenie obecności innych wyrazów w zdaniu (obecność słowa klucz zdecydowanie zwiększa szanse poprawnego tłumaczenia przy użyciu słowa lock), czy nawet informacji charakterystycznych dla całego tekstu (tekst o średniowiecznym rycerstwie polskim pozwala sądzić, że wybór słowa castle nie jest bezpodstawny). Okazuje się, że zasygnalizowany problem jest bardzo złożony i metody jego rozwiązania są znane jako dezambiguacja znaczenia słowa (ang. word sense disambiguation). Wyobraźmy sobie, iż w trakcie tłumaczenia z języka polskiego na angielski napotykamy na wyraz kurze (Dębowski, 2001). Musimy teraz wybrać, jakiemu słowu angielskiemu on odpowiada, jednak ze względu na bogatą fleksję języka polskiego mamy do wyboru kilka możliwości pochodzenia wyrazu źródłowego: może być to celownik od słowa kura (Wyszła na podwórze i rzuciła kurze ziarno), biernik liczby mnogiej od wyrazu kurz (Czy wytarłeś kurze z kominka?), może być to wołacz od rzeczownika kur (Idź precz, głupi kurze), albo nawet dopełniacz od przymiotnika kurzy (Dodać do mąki jedno kurze jajko). Okazuje się ponownie, że problem nie może być rozwiązany za pomocą prostego tłumaczenia słowo po słowie. Do wyboru odpowiedniej formy podstawowej niezbędna często jest nie tylko znajomość poprzedzających wyrazów, lecz również znajomość tworzonego w czasie analizy syntaktycznej drzewa wywodu. Taki proces znajdowania formy podstawowej jest znany jako dezambiguacja morfosyntaktyczna (ang. morphosyntactic disambiguation) i również jest problemem złożonym. Innym problemem tłumaczenia słowo po słowie jest różny szyk wyrazów w zdaniu w różnych językach. Prosty system tłumaczący słowo po słowie zazwyczaj wygeneruje błędny szyk wyrazów w zdaniu wynikowym. Należy pamiętać, że w językach o swobodnym szyku wyrazów w zdaniu, jak np. w polskim i tak tylko niektóre konstrukcje brzmią naturalnie. Syntaktycznie języki różnią się chyba najbardziej ze względu na układ podmiotu, czasownika i obiektu w typowych zdaniach oznajmujących. Dla przykładu języki francuski i angielski są językami SVO (Subject Verb Ob-

13 Sebastian Kozłowski 75 ject), co znaczy, że podstawową konstrukcją w tych językach jest najpierw podmiot, następnie czasownik i na końcu obiekt. Języki Hindi i Japoński są językami SOV, co znaczy, że czasownik znajduje się zwykle na końcu zdania. Irlandzki, klasyczny arabski i Jidysz są językami VSO. Dwa języki o tej samej kolejności wyrazów w zdaniu często posiadają także inne podobieństwa, dla przykładu języki SVO zazwyczaj posiadają przyimki przed rzeczownikami (ang. prepositions), podczas gdy języki SOV posiadają przyimki po rzeczownikach (ang. postpositions). Widać więc, że dla tego rodzaju tłumaczenia mimo niskiej pozycji w hierarchii konieczne jest wykonanie dużej ilości pracy. Takie systemy zazwyczaj są budowane do pracy z jedną parą języków. I wykonywane są tylko działania niezbędne do przekształcenia tekstu w języku wejściowym do tekstu w języku wyjściowym. System tłumaczenia bezpośredniego pracuje zazwyczaj w kilku etapach, z których każdy koncentruje się na jednym typie problemu. Przyjrzyjmy się zamieszczonemu w Jurafsky Martin (2000) na str. 816 przykładowi systemu tłumaczenia bezpośredniego z japońskiego na angielski (Tabela 1). Tabela 1. Etapy przykładowego systemu tłumaczenia bezpośredniego Etap Akcja 1 Segmentacja i analiza morfologiczna 2 Transfer leksykalny słów znaczących 3 Operwacje związane z przyimkami 4 Przekształcenie szyku wyrazów 5 Operacje dodatkowe 6 Generacja morfologiczna W etapie 1. dokonywana jest segmentacja (podział) ciągu wejściowego na słowa, jest to konieczne, gdyż w tym wypadku japoński jest językiem, który nie używa odstępów pomiędzy wyrazami. Dodatkowo w etapie 1. wykonywana jest analiza morfologiczna, czynności te mogą być zrealizowane za pomocą metod statystycznych lub wykorzystujących automaty skończone. (Obszerne informacje dotyczące wykorzystania automatów skończonych w przetwarzaniu języka naturalnego można znaleźć w Daciuk (2003)).W tabeli 2 znajduje się efekt uzyskany dla przykładowego zdania japońskiego. W drugim etapie wybierane są odpowiedniki słów za pomocą dwujęzycznego słownika lub procedur, które wybierają poprawne tłumaczenie korzystając z lokalnego kontekstu i już wybranych słów języka wynikowego. Tabela 3 zawiera przykład takiej procedury. W tym przypadku jest ona prosta, jednak w ogólnym przypadku mogą występować współzależności pomiędzy słowami języka wynikowego, wówczas wyszukiwanie odpowiedników słów może być zorganizowane w podetapach np. czasowniki przed rzeczownikami i przymiotnikami. W ogólności problem wyboru kolejności wyboru

14 76 Co to jest tłumaczenie maszynowe? Tabela 2. Przykład pracy systemu tłumaczenia bezpośredniego Tekst wejściowy Po etapie 1 Po etapie 2 Po etapie 3 Po etapie 4 Po etapie 5 Po etapie 6 watashihatsukuenouenopenwojonniageta watashi ha tsukue no ue no pen wo jon ni ageru PAST I ha desk no ue no pen wo John ni give PAST I ha pen on desk wo John to give PAST I give PAST pen on desk John to I give PAST the pen on the desk to John I gave the pen on the desk to John wyrazów do tłumaczenia może być dość skomplikowany, aczkolwiek istnieją pewne standardowe rozwiązania. W trzecim etapie wybierane jest tłumaczenie japońskiego przyimka no ue no jako angielskie on, kojarzony jest on z dwoma frazami rzeczownikowymi pen oraz desk, których kolejność jest zmieniana zgodnie z zasadami angielskiej gramatyki. Dodatkowo znając wymagania czasownikowe give, możliwe jest właściwe przetłumaczenie przyimka ni na to. W etapie czwartym wykonuje się procedurę przesunięcia czasownika z końca zdania na pozycję za podmiotem a przed obiektem, usuwane są też niepotrzebne już określniki przypadków. W piątym etapie wykonywane są czynności takie jak przenoszenie przyimków w poprawne miejsca i wstawienie przedimków. I ostatecznie, w fazie szóstej wprowadza się poprawną formę czasownika. Tabela 3. Zależny od kontekstu wybór odpowiedniego tłumaczenia Function DIRECTLY TRANSLATE MUCH/MANY(Russian word) returns If preceding word is how return skol ko Else if preceding word is as return skol ko zhe Else if word is much If preceding word is very return nil (not translated) Else if following word is a noun return mnogo Else /* word is many */ If preceding word is a preposition and following word is a noun return mnogii Else return mnogo Transfer syntaktyczny Jak pokazaliśmy wcześniej, metody transferu leksykalnego napotykają na istotne problemy już przy prostych przykładach. Okazuje się, że części z tych problemów możemy uniknąć, jeżeli dokonamy analizy składniowej zdania,

15 Sebastian Kozłowski 77 dzięki której otrzymujemy drzewo analogiczne do utworzonego w rozbiorze logicznym zdania, grupujące skojarzone ze sobą elementy. Gdy mamy takie drzewo utworzone w języku źródłowym, dokonujemy konwersji na drzewo w języku wynikowym zgodnie z regułami transferu syntaktycznego i następnie, z tak utworzonego drzewa generujemy tekst za pomocą transferu leksykalnego dla poszczególnych fraz. Przykład takiej operacji jest schematycznie pokazany na rysunku 2. Rysunek 2. Przykład transferu syntaktycznego Reguły transferu syntaktycznego buduje się na podstawie formalnych modeli gramatyk obu języków. Przykładem takiej reguły dla naszego uproszczonego modelu jest zamiana poddrzewa złożonego z dwóch rzeczowników w języku angielskim na frazę złożoną z rzeczownika i określającego go przymiotnika w języku polskim. W praktyce, dla reprezentacji drzew korzysta się z gramatyk formalnych, takich jak np. gramatyki bezkontekstowe (ang. context free grammar, CFG). Posiadają one tę właściwość, że są na tyle elastyczne, że pozwalają modelować w wystarczającym stopniu gramatykę języka naturalnego, (poza pewnymi szczególnymi sytuacjami) a jednocześnie są na tyle proste obliczeniowo, że analizę syntaktyczną można przeprowadzić w czasie wielomianowym względem długości zdania (Hopcroft Ullman, 1997). Dużą ilość informacji na temat gramatyk formalnych można znaleźć w Jurafsky Martin (2000, str ). Tutaj ograniczymy się do prezentacji prostej gramatyki użytej dla zdania angielskiego na rysunku 2. Rozważana gramatyka jest gramatyką generatywną, co znaczy, że językiem poprawnym dla tej gramatyki (czyli językiem generowanym przez tą gramatykę) jest zbiór wszystkich zdań, które mają w tej gramatyce wywód, czyli mogą być utworzone za pomocą reguł tej gramatyki startując od symbolu początkowegos. Przykłady reguł, to np.s NP VP oznaczająca, że zdanie(s) składa się z frazy rzeczownikowejnp (ang. noun phrase) oraz frazy czasownikowejvp (ang. verb phrase) lubnp Det Nom oznaczająca, że fraza rzeczownikowa składa się z określnika (ang. determinant) oraz rzeczownika złożonego (ang. nominative).

16 78 Co to jest tłumaczenie maszynowe? Bardziej formalnie, proces znajdowania wywodu (ang. derivation) dla danego zdania nazywamy analizą syntaktyczną (ang. parsing). Proces ten realizowany jest zazwyczaj za pomocą programów zwanych analizatorami składniowymi, (ang. parsers) a wynik jest prezentowany za pomocą drzewa analizy składniowej lub wywodu (ang. syntactic tree). Alternatywnie wynik analizy możemy przedstawić za pomocą notacji nawiasowej: [ S [ NP [ Pro I]][ VP [ V prefer][ NP [ Det a][ Nom [ N morning][ N flight]]]]] Jeżeli przeprowadzimy poprawnie analizę syntaktyczną zdania wejściowego i dokonamy transferu tej struktury, to unikamy takich problemów jak kolejność wyrazów w zdaniu, czy też położenie przymiotników względem rzeczowników. Podział na frazy ułatwia nam również generację poprawnej morfologii. W rozważanym przykładzie wiedząc, że wyrazy odpowiadające morning i flight są częścią tej samej frazy w języku polskim i odpowiadają odpowiednio przymiotnikowi i rzeczownikowi, możemy być pewni, że przymiotnik będzie tego samego rodzaju co rzeczownik, a więc w tym wypadku morning zostanie przetłumaczony jako poranny. Inną zaletą jest umożliwienie wspomnianej wcześniej dezambiguacji morfosyntaktycznej, gdzie w jednym pojedynczym procesie określamy przynależność słów do różnych części mowy oraz dokonujemy analizy składniowej zdania. Spróbujemy nieco wyjaśnić to zagadnienie. Niezależnie od przyjętej gramatyki może się zdarzyć, że zdanie języka wejściowego nie będzie miało wywodu, a więc nie uda się przeprowadzić analizy syntaktycznej. Jest to sytuacja zrozumiała, gdyż dla zdania niegramatycznego jak np. Czas uciekać lubi szybko nie jesteśmy w stanie podać poprawnego wywodu. Znacznie częstsza jest jednak sytuacja odwrotna, gdzie jedno zdanie posiada kilka możliwych wywodów. Taka sytuacja zdarza się szczególnie często, gdy mamy do czynienie z niejednoznacznościami leksykalnymi. Rozważmy następujący przykład 4, przedstawiony na rysunku 3. Reprezentacja taka jak na rysunku 3 jest często stosowana do prezentacji niejednoznaczności syntaktycznych, nie zawiera ona pełnych informacji analizy syntaktycznej, a jedynie sposób podziału na frazy. I tak dla dolnego podziału możemy zauważyć, że time flies tworzy pierwszy składnik, a więc, przy założeniu naszej prostej gramatyki, frazę czasownikową czas leci, natomiast like an arrow jest frazą rzeczownikową jak strzała. Tak więc zdanie to może mieć interpretację polskiego zdania czas ucieka jak woda. Dla górnego podziału mamy natomiast frazę czasownikową time flies like, co ma w języku angielskim może nienaturalną dla człowieka interpretację muchy czasowe lubią, lecz tak samo jak poprzednio zupełnie poprawną gramatycznie strukturę. Wraz z drugim składnikiem otrzymujemy zdanie Muchy czasowe lubią 4 Część przykładów w tym opracowaniu pochodzi z wykładów autorów takich jak: Martin Kay, Frederick Jelinek, Julia Hirschberg oraz Mark Steedman, wygłoszonych w Vilem Mathesius Center (VMC) w Pradze 2003 r. Nie zostały one opublikowane więc nie mogę odesłać do konkretnej publikacji.

17 Sebastian Kozłowski 79 Rysunek 3. Przykład niejednoznacznej analizy syntaktycznej strzałę. Przy założeniu trochę bardziej rozbudowanej gramatyki, gdzie zdanie może składać się wyłącznie z frazy rzeczownikowej, otrzymujemy jeszcze jedną interpretację Muchy czasowe jak strzała. Przedstawiony przykład zawiera jeszcze inne interpretacje np. przy założeniu bardziej rozbudowanej gramatyki, gdzie time może być czasownikiem trybu rozkazującego. Dla człowieka jest jasne, jaka implementacja powinna być wybrana, dla analizatora składniowego wszystkie możliwości uznawane są za poprawne. Jednym ze sposobów rozwiązania tego problemu jest rozszerzenie gramatyki bezkontekstowej o statystyczne informacje z anotowanego składniowo korpusu, czyli korpusu wyposażonego nie tylko w informacje o częściach mowy, ale też z informacjami o składni zdania. Wówczas, analizując korpus, możemy pobrać prawdopodobieństwa konkretnych produkcji i dzięki temu obliczyć prawdopodobieństwo całego wywodu zdania wejściowego. Wówczas możemy wybrać wywód o największym prawdopodobieństwie. Taką procedurę możemy wykonać dla różnych kombinacji przyporządkowań niejednoznacznych słów, co pozwala na wybór najbardziej prawdopodobnego zdania. W praktyce, zwłaszcza dla długich zdań liczba możliwych wywodów jest na tyle duża, że jeszcze przed zakończeniem obliczeń usuwa się te, które wydają się najmniej prawdopodobne. Jak duża może być ilość różnych analiz składniowych, możemy przekonać się z badań Gertjana van Noorda (2002), gdzie dla języka holenderskiego średnia ilość analiz składniowych dla zdań o ponad 15 słowach może osiągnąć kilka tysięcy. Okazuję się, że w językach o zbliżonej konstrukcji, część niejednoznaczności może być zachowana, dotyczy to zwłaszcza problemu przynależności fraz przyimkowych. Rozważmy następujące zdanie: The policeman saw the man with the telescope. W tym wypadku występuje wewnętrzna niejednoznaczność zdania w języku angielskim, gdyż nie wiemy, któremu ze zdań polskich to zdanie odpowiada: Policjant zauważył przez lunetę tego człowieka. Policjant zauważył tego człowieka z lunetą.

18 80 Co to jest tłumaczenie maszynowe? A zatem, dla tej pary języków konieczne jest poprawne przyporządkowanie fraz przyimkowych, które w tym konkretnym przypadku jest niemożliwe. Nie możemy więc oczekiwać poprawnego tłumaczenia nie korzystając z szerszego kontekstu wypowiedzi. Okazuje się jednak, że przy tłumaczeniu na język francuski taka niejednoznaczność jest zachowywana i nie musimy w ogóle podejmować próby dezambiguacji by otrzymać dokładne tłumaczenie zdania wejściowego Transfer semantyczny Przy opisywaniu transferu syntaktycznego można było zauważyć, że ponieważ analizowana była tylko składnia zdania, a znaczenie było zupełnie ignorowane, to z pewnością powstaną sytuacje, gdzie na tym poziomie pewnych koniecznych do usunięcia niejednoznaczności nie będziemy mogli się pozbyć. Tak jest w istocie rozważmy następujący przykład: Joanna odłożyła książkę, ponieważ była ciężka. Dla człowieka oczywiste jest, że podmiotem drugiego zdania składowego jest książka, jednak dysponując jedynie informacjami składniowymi nie jesteśmy w stanie tego ustalić, jako dowód rozważmy kolejny przykład: Joanna odłożyła książkę, ponieważ była zmęczona. W tym przypadku podmiotem drugiego zdania jest Joanna. Aby można było usunąć takie niejednoznaczności, musimy uwzględnić dodatkowe informacje semantyczne. Wówczas możemy usunąć niejednoznaczności wiedząc, że przymiotnik zmęczona nie może zostać użyty dla rzeczowników nieożywionych. Usunięcie tej niejednoznaczności będzie niezbędne np. dla tłumaczenia na język francuski, gdzie książka un livre jest rodzaju męskiego, więc musimy wiedzieć, do jakiego rzeczownika odnosi się fraza, chociażby po to by ustalić odpowiedni rodzaj przymiotnika. Podobnie: w języku japońskim nie ma pojedynczego odpowiednika dla czasownika być, a wybór odpowiedniego zależy od tego, czy podmiot jest ożywiony (w tym wypadku iru) czy nie (aru). Podstawową techniką analizy semantycznej jest wykorzystanie hierarchicznych słowników pozwalających na analizę relacji pomiędzy znaczeniami, jak np. WordNet (2002) Tłumaczenie przez reprezentację wiedzy Istotnym problemem tłumaczenia przez transfer semantyczny jest różnica, w jaki sposób poszczególne języki odwzorowują pojęcia na słowa. Z tego powodu nawet zdanie semantycznie poprawne w języku wynikowym może uzyskać nienaturalną postać. Wiąże się to ze wspomnianym problemem tłumaczenia, a więc z koniecznością zapewnienia, że tekst wynikowy zostanie przez czytelnika zinterpretowany tak samo, jak zostałby zinterpretowany tekst wejściowy.

19 Sebastian Kozłowski 81 Rozważmy przykład zdania Butelka wleciała do jaskini w języku angielskim i hiszpańskim. La botella entró a la cueva flotando Butelka weszła do jaskini lecąc The bottle floated into the cave Butelka wleciała do jaskini W tym przypadku różnica polega na tym, że w języku polskim, angielskim i w większości języków indoeuropejskich rodzaj ruchu przekazywany jest za pomocą czasownika, a kierunek za pomocą wyrazów dodatkowych, natomiast język hiszpański i inne języki romańskie używają odwrotnego szablonu, gdzie czasownik wskazuje kierunek ruchu, a wyraz dodatkowy sposób. Istnieje również dużo innych specyficznych dla danego języka konstrukcji, które należy brać pod uwagę. Na przykład w języku angielskim zwyczajowe jest użycie słowa there do wprowadzenia w opowiadaniu nowego zdarzenia. Przy tłumaczeniu na język polski, konstrukcja ta jest usuwana, jak w przykładzie poniżej. There burst into the room three men with guns. (Nagle)do pokoju wpadło trzech uzbrojonych mężczyzn. Innym przykładem konwencji językowej w angielskim jest wykorzystanie zaimków dzierżawczych podczas mówienia o częściach ciała, rzadko używane w języku polskim. John raised his hand. Jan podniósł rękę. Założeniem reprezentacji wiedzy jest przechowanie interpretacji danego zdania w sposób niezależny od języka (ang. interlingua), a więc w taki sposób, że zdania w różnych językach o tej samej interpretacji odpowiadały tej samej reprezentacji wiedzy. W reprezentacji wiedzy często wykorzystuje się pojęcia ról tematycznych (ang. thematic roles) i struktur atrybutów (ang. feature structures). Role tematyczne są zbiorem kategorii pozwalających na klasyfikację obiektów odnoszących się do czynności opisywanej przez zdanie. Nie ma arbitralnie ustalonego zbioru ról tematycznych i do różnych zastosowań wykorzystuje się różne ich zestawy. Niemniej jednak są takie, które pojawiają się najczęściej, i tak dla przykładu AGENT oznacza sprawcę zamierzonej czynności, jak np. w Adam otworzył szufladę. FORCE oznacza nieintencjonalnego sprawcę, jak w Wiatr rozwiewa liście. Podobnie THEME oznacza uczestnika najbardziej dotkniętego czynnością Uderzył w stół, a INSTRUMENT oznacza narzędzie użyte w czynności Uderzył w stółręką. Struktury atrybutów korzystają z ról tematycznych i pozwalają na hierarchiczną reprezentację wiedzy. Przykład takiej reprezentacji dla zdania There was an old man gardening znajduje się na rysunku 4. Struktura taka składa się z par: nazwa atrybutu, wartość, przy czym wartościami mogą być inne struktury, tworząc w ten sposób strukturę hierar-

20 82 Co to jest tłumaczenie maszynowe? Rysunek 4. Reprezentacja wiedzy dla zdania There was an old man gardening chiczną. Zastosowanie opisu niezależnego od języka wymaga wprowadzenia pewnego systemu obiektów. Taki system złożony z pojęć i relacji między nimi nosi nazwę ontologii (ang. ontology). Zastosowana ontologia określa możliwości systemu i powinna być dobrana w zależności od języków, z którymi system ma współpracować. W naszym przypadku mamy pojęcia GARDE- NING i MAN. Jak widać zazwyczaj pojęcia określane są słowami języka angielskiego lub frazami opisowymi. Zauważmy, że w przypadku, gdy system taki ma współpracować z językami polskim i angielskim, pojęcie MAN jest zbyt ogólne do zastosowania w ontologii, gdyż odnosi się do dwóch pojęć języka polskiego mężczyzna oraz człowiek, zatem wskazane byłoby, zamiast niego, wprowadzić pojęcia typu MALE-HUMAN i GENERIC-HUMAN. Niektóre z reprezentacji wiedzy idą nawet o krok dalej i stosują dekompozycję leksykalną (ang. lexical decomposition) czyli rozkład słów na ich bardziej elementarne znaczenia. Na przykład słowo drink, może być reprezentowane jako INGEST, FLUID, BY-MOUTH. Takie podejście pozwala zrealizować wnioskowanie usuwające niektóre niejednoznaczności, rozważmy np. Idrank a coffeewith John oraz I drankacoffee with milk. Niemniej jednak, tak wyszukane techniki są rzadko wykorzystywane w praktyce. Zauważmy również, że przy znacznej komplikacji ontologii wiele pracy związanej z dezambiguacją może być wykonywanej niepotrzebnie, np. jeśli ontologia była projektowana z uwzględnieniem specyfiki języka japońskiego, to będzie zawierać osobne pojęcia odpowiadające młodszemu i starszemu bratu, gdyż język japoński odróżnia te pojęcia (otooto i oniisan odpowiednio). Zatem przy wykorzystaniu tego systemu w tłumaczeniu z angielskiego na polski część pracy wykonywana byłaby niepotrzebnie.w celu ograniczenia takich sytuacji korzysta się z technik zachowania niejednoznaczności, (ang. preserving ambiguity) zapewniając ten sam poziom niejednoznaczności dla języka wejściowego i wyjściowego. Oczywiście interesująca byłaby budowa systemu zdolnego do przechowywania wszystkich pojęć różnych języków, niestety okazuje się, że różnice między językami są zbyt głębokie, aby taka idea mogła być zrealizowana. Na przykład Amerykanie dysponują kilkoma określeniami na autostradę (m.in. expressway, higway, freeway, thruway), Anglicy posiadają trzy słowa na określenie różnego rodzaju mgły (mist, fog, haze), każde z tych słów musiałoby być