Uniwersytet imienia Adama Mickiewicza w Poznaniu Wydział Matematyki i Informatyki

Transkrypt

1 Uniwrsy imini Adm Mickiwicz w Poznniu Wydził Mmyki i Inormyki Prc dokorsk Algorymy dopsowni wyrzów modmi sysycznymi z wykorzysnim wilowąkowości i symryzci obliczń mgr Arkdiusz Szł Kirownik prcy: Pro. dr hb. Krzyszo Jssm Prcowni Sysmów Inormcynych Poznń 3

2

3 Dziękuę Pnu Prosorowi Krzyszoowi Jssm z poświęcony czs kż Pnu Dokorowi Mrcinowi Junczysowi-Dowmunowi z pomoc w rozwiązniu wilu problmów.

4

5 Spis rści Oświdczni... 7 Wsęp... 9 Rozdził... 3 Wprowdzni Id łumczni sysyczngo Dopsowywni wyrzów modmi sysycznymi Zrys hisoryczny przgląd prc poświęconych dopsowywniu wyrzów Opis modli dopsowni modl. 6. HMM Nrzędzi dopsowni wyrzów Giz++ MGiz++ PGiz++ Chski rchikur opis dziłni Nrzędzi komplksow LoonyBin Moss Rozdził... 6 Tchnik symryzci dopsowni ksu ko sposób poprwy kości dopsowni wyrzów Wprowdzni Opis chnik symryzci przy dopsowniu ksu Symryzc wyników końcowych Rodz symryzci iloczyn sum mnogościow ich kompilc Miry ocny kości dopsowni Miry ocny bzpośrdni dopsowni Opis miry BLEU ko nrzędzi opisuącgo kość łumczni Wpływ symryzci n wrość współczynników AER i BLEU Rozdził Opis rozwiązni uorskigo Zsosowni symryzci wwnąrz irci oprc n plikch poszczgólnych modli Opis zwrości plików wynikowych modli sysycznych Opis lgorymów symryzci dl poszczgólnych modli sysycznych Opis mmyczny dokonnych modyikci dl poszczgólnych modli Zsosowni symryzci n końcu obliczń Zsosowni mody przyśpiszni obliczń wilowąkowość zopymlizown lgorymy symryzci... 86

6 3.4. SyMGIZA++ - nrzędzi dopsowni ksów z wykorzysnim wilowąkowości i symryzci obliczń Złożoność obliczniow lgorymów zwrych w nrzędziu SyMGIZA Rozdził Ewluc wyników Środowisko sow Szybkość dziłni poszczgólnych nrzędzi Porównni nrzędzi: Giz++ MGiz++ PGiz Porównni wyników z dosępnymi publikcmi współczynnik AER BLEU Wyniki orzymn z wykorzysnim nrzędzi SyMGiz++ i symryzci końcow. 95 Rozdził Wnioski i uwgi Podsumowni orzymnych wyników Pln dlszych prc Opymlizc lgorymów symryzci Wykonni obliczń n dużych korpusch dnych Zsosowni innych chnik przyśpiszni obliczń... Bibliogri... 3 Spis bl... 7 Spis rysunków... 9 Dodk A... Algorym dziłni symryzci n plikch Giz++: 3 3 d3... Dodk B... 5 Inslc i konigurc nrzędzi SyMGiz

7 Oświdczni J niż podpisny Arkdiusz Szł dokorn Wydziłu Mmyki i Inormyki Uniwrsyu im. Adm Mickiwicz w Poznniu oświdczm ż przdkłdną prcę pod yułm Algorymy uomyczngo dopsowni wyrzów modmi sysycznymi z wykorzysnim wilowąkowości i symryzci obliczń npisłm smodzilni. Ozncz o ż przy pisniu prcy poz nizbędnymi konsulcmi ni korzysłm z pomocy innych osób w szczgólności ni zlcłm oprcowni rozprwy lub isonych części innym osobom ni ni odpisywłm rozprwy lub isonych części od innych osób. Równoczśni wyrżm zgodę n o ż gdyby powyższ oświdczni okzło się niprwdziw dcyz o wydniu mi dyplomu zosni conię. Arkdiusz Szł

8

9 Wsęp W prcy Algorymy uomyczngo dopsowywni wyrzów modmi sysycznymi z wykorzysnim wilowąkowości i symryzci obliczń przdswim nowy sposób podści do symryzci dopsowń wyrzów. Doychczsow bdni uwzględniły symryzcę n końcu procsu uomyczngo dopsowywni wyrzów w moich bdnich posnowiłm zsosowć n mchnizm wwnąrz poszczgólnych pów przwrzni odpowidącym poszczgólnym modlom sysycznym. Poprzz ki podści do mu uzyskłm więc inormci o możliwych dopsownich pomiędzy wyrzmi w poszczgólnych modlch sysycznych. To z koli pozwoliło z większą prcyzą wyszukć nbrdzi prwdopodobn dopsowni. Poprw kości dopsowni wyrzów przkłd się w konskwnci n wyższą kość sysmów łumczni sysyczngo korzysących z wyników procsu dopsowywni wyrzów w dwuęzycznych korpusch rnuących. W rozdzil. omwim isoę uomyczngo dopsowywni wyrzów opisuąc szczgółowo poszczgóln modl sysyczn sosown w ym procsi. Modl sysyczn pozwlą wyznczyć prwdopodobińswo dopsowni pomiędzy poszczgólnymi wyrzmi w korpusi dwuęzycznym. Pondo przdswim prc poświęcon dopsowywniu wyrzów kór miły wpływ n rozwó dzidziny nuki. W rozdzil ym opisuę równiż dosępn nrzędzi dopsowywni wyrzów: Giz++ MGiz++ i PGiz++ wrz z ich lgorymmi dziłni. Aplikc zwrcą dnkow wyniki dopsowń wyrzów gdyż korzysą z ych smych modli sysycznych różnic w ich dziłniu polg n różnym dysponowniu dosępnymi zsobmi procsor. Giz++ wykonu obliczni szrgowo podczs gdy MGiz++ wykorzysu wilowąkowość pozwlącą n wykonywni części obliczń równolgl. Z koli PGiz++ pozwl n wykonywni obliczń n wilu mszynch połączonych w dną sić worzącą klsr obliczniowy. Przdswim kż nrzędzi pozwląc zingrowć cły procs dopsowywni wyrzów. Są o ki rozwiązni k LoonyBin czy szroko sosowny Moss. Nrzędzi pozwlą zingrowć zrówno plikc dopsowywni wyrzów k i plikc wykonuąc symryzcę końcową procsu dopsowywni.

10 W rozdzil. przdswim rodz symryzci dopsowń wyrzów wrz z ich zlmi i wdmi. Opisuę równiż możliw py przwrzni w kórych możn zsosowć mchnizm symryzci: wwnąrz procsu dopsowywni wyrzów po kżd irci kolnych modli sysycznych n plikch wynikowych procsu dopsowywni wyrzów. Przdswim ż miry okrśląc rność dopsowni współczynnik AER i kość dopsowni mir BLEU. Miry są wykorzysywn w rozdzil 4. do porównni orzymnych wyników obliczń z wynikmi dosępnymi w opublikown lirurz. W rozdzil 3. prcy opisuę kluczowy wynik bdń czyli nowy lgorym symryzci dwukirunkowych dopsowń wyrzów modmi sysycznymi. W ym podściu symryzc s wykonywn po kżdym kroku irci modlu sysyczngo. W przciwińswi do dosępnych publikci gdzi symryzc s wykonywn n plikch wynikowych procsu dopsowywni wyrzów. Przdswim między innymi zminy ki wprowdziłm w poszczgólnych modlch sysycznych by wykorzysć mchnizm symryzci mody przyśpiszni obliczń poprzz zsosowni wilowąkowości obliczń kż złożoność obliczniową cłgo procsu. Ekm ych prc s nrzędzi SyMGiz++ w kórym zimplmnowno omówion mchnizmy poprwy kości i szybkości procsu dopsowywni wyrzów. Wyniki doycząc szybkości dziłni dosępnych progrmów dopsowni wyrzów przdswim w rozdzil 4. Rozdził n zwir kż omówini wpływu symryzci n poprwę rności dopsowń wyrzów i kości łumczni przdswion w posci odpowidnich bl porównuących współczynnik AER i mirę BLEU nrzędzi Giz++ i SyMGiz++. Porównni dokonno n podswi dosępnych publikci nukowych biorąc z dn wściow dokłdni sm korpusy dwuęzyczn. Prcę zmyk rozdził 5. snowiący podsumowni orzymnych wyników wrz z zrysm możliwych kroków dlszgo rozwou zproponownych mod poprzz opymlizcę i modyikcę lgorymów symryzci kż zsosowni innych mod symryzci wwnąrz procsu obliczń. Tki dziłni powinny przyczynić się do dlsz poprwy rności dopsowń co z ym idzi i kości łumczni. Pondo w prcy zwrłm dodki ukzuąc szczgółow lgorymy symryzci poszczgólnych modli sysycznych kż przdswiąc procs inslci i konigurci zimplmnowngo nrzędzi SyMGiz++. Nrzędzi o zosło udosępnion

11 publiczni n licnci GNU Gnrl Public Licns n sroni hp://psi.mu.du.pl wrz z szczgółowym opism inslci i konigurci poszczgólnych lmnów.

12

13 Rozdził Wprowdzni.. Id łumczni sysyczngo Trnslory uomyczn zyskuą corz większ uznni n świci. Przyczynią się do go ki rozwiązni k Googl Trnsl czy Microso Bing Trnslor. Isniąc rozwiązni korzysą z różnych chnik łumczni. Tłumczni opr n rgułch polg n zsosowniu dl łumczongo zdni odpowidnigo zswu rguł wybrngo z zbioru uprzdnio oprcowngo mnulni lub uomyczni. Tłumczni przz nlogię opir się n przyrównniu dngo zdni wyrżni do zdni wysępuącgo w zsobi sysmu. N podswi worzy się łumczni wynikow. Tłumczni sysyczn korzys z bzy dopsowń wyrzów w dokumnch orzymnych z pomocą odpowidnich mod sysycznych. Anlizuąc dwuęzyczn korpusy zdń w kórych kżd zdni m swó odpowidnik w drugim ęzyku sysm worzy możliw dopsowni słów opirąc się n modlch dopsowń. Im więc dosępnych dnych wściowych skłdących się z korpusów dwuęzycznych ym lpsz i brdzi obszrn s bz powiązń co z ym idzi wyższ s kość łumczni końcowgo. Prc przdswi sysyczn mody dopsowni wyrzów z użycim nowych chnik polpszących kość i szybkość obliczń. Tchnik dopsowywni wyrzów sprowdz się do dwóch kroków: uworzni pokźn bzy korpusów dwuęzycznych kżd zdni m swó odpowidnik w drugim ęzyku dopsowni wyrzów z wykorzysnim dosępnych mod sysycznych... Dopsowywni wyrzów modmi sysycznymi Dinic. Dopsowywni korpusów ng. corpus lignmn p przygoowni plików wściowych procsu łumczni sysyczngo polgący n powiązniu odpowidących sobi pr zdń będących swoim wzmnym łumcznim w dn korpus zwirący lisę zdń w ęzyku źródłowym z ich odpowidnikmi w ęzyku doclowym. 3

14 dsroyd ws cr Th Dinic. Dopsowywni wyrzów ng. word lignmn p łumczni sysyczngo polgący n powiązniu odpowidących sobi wyrzów między prą zdń kór snowią wzmn łumczni. Dinic 3. Dopsowywni skirown ng. dircd lignmn p łumczni sysyczngo polgący n powiązniu odpowidących sobi wyrzów w dnym kirunku procsu dopsowywni wyrzów. Zdni doclow wyściow go procsu s łumcznim zdni źródłowgo wściowgo. W n sposób orzymumy łumczni do n dn wyrz z zdni źródłowgo m n lub więc powiązń z wyrzmi z zdni doclowgo. Wynikim procsu dopsowywni s mcirz dopsowni wyrzów o wymirz m x n gdzi m i n oznczą liczbę wyrzów w zdnich będących swoimi wzmnym łumcznimi. Przykłd. N rysunku. przdswion s mcirz dopsowni dl pry zdń: polskigo: Smochód zosł zniszczony. ngilskigo: Th cr ws dsroyd. 3 4 zniszczony 3 zosł Smochód Rysunk. Mcirz dopsowni wyrzów. Dopsowywni wyrzów s isonym pm procsu sysyczngo łumczni uomyczngo. W modzi zbirny s zsw dokumnów i ich łumczń zwny korpusm dwuęzycznym. W korpusi dwuęzycznym wyzncz się pry zdń będących swoimi odpowidnikmi procs n nzywny s dopsowywnim korpusów. Dl kżd pry zdń worzy się mcirz dopsowni wyrzów. N bzi powsłych mcirzy dopsowń sysm łumczy zdny ks źródłowy. Im lpsz bz powiązń ym łumczni s wyższ kości. 4

15 Przykłd. Niniszy przykłd obrzu przykłdow dziłni lgorymu sysyczngo łumczni uomyczngo n podswi niwilkigo korpusu dwuęzyczngo. Złóżmy ż dny s nsępuący korpus polsko-ngilski zczrpnięy z []. Dziłni podę w wyniku rzoluci Prlmnu: Prz prookół Skłdni dokumnów: prz prookół Oświdczni pismn r. 6 Rgulminu: prz prookół Acion kn on Prlimn's rsoluions: s Minus Documns rcivd: s Minus Wrin smns Rul 6: s Minus Tbl. Przykłdowy korpus dwuęzyczny W bli. kżdmu zdniu w ęzyku polskim odpowid go łumczni w ęzyku ngilskim wyznczni mpowni pomiędzy odpowidącymi sobi zdnimi dokonywn s w zi dopsowywni korpusów. Nsępni kżdmu wyrzowi korpusu s przypisywny indywidulny idnyikor wrz z kronością wysępowni dngo wyrzu w korpusi. Ek oprci obrzu bl. Dziłni 3 podę 4 w 5 wyniku 6 rzoluci 7 Prlmnu 8 Prz 9 prookół 3 Skłdni dokumnów: prz 3 Oświdczni 4 pismn 5 r Rgulminu: Tbl. Wyrzy z korpusu dwuęzyczngo i ich idnyikory. Pirwsz liczb ozncz idnyikor wyrzu nomis osni liczb okrśl ilość wysąpiń dngo wyrzu w korpusi. W począkowym pi zy dopsowywni wyrzów kżdy wyrz z zdni korpusu źródłowgo zos dopsowny do kżdgo wyrzu odpowidącgo mu zdni korpusu 5

16 Minus s rsoluions: Prlimn's on kn Acion NULL doclowgo. Zkłd się przy ym ż wszyski mpowni wyrzów dl dn pry zdń są dnkowo prwdopodobn. Syucę ę obrzu rysunk prookół 9 Prz 8 Prlmnu: 7 rzoluci 6 wyniku 5 w 4 podę 3 Dziłni Rysunk. Mcirz dopsowni wyrzów: kżdy z kżdym dl pirwsz pry zdń. N podswi dnych zbrnych z wszyskich zdń korpusu oblicz się prwdopodobińswo dopsowni pomiędzy poszczgólnymi wyrzmi korpusu zwn prwdopodobińswm łumczni. 6

17 Tbl 3. Frgmn dopsowni wyrzów: kżdy z kżdym. Kolumn pirwsz i drug oznczą idnyikory wyrzu źródłowgo ngilskigo i doclowgo polskigo nomis kolumn rzci okrśl prwdopodobińswo łumczni wyrzów. Tbl 3. przdswi rgmn pliku zwirącgo prwdopodobińswo łumczni wyrzów. Pirwsz dwi kolumny oznczą idnyikory wyrzu ngilskigo i polskigo. 7

18 Trzci kolumn zwir prwdopodobińswo łumczni obliczon w wyniku dn irci modlu. W ym przypdku przdswiono prwdopodobińsw dl wyrzów ngilskich o idnyikorch 6 7 i 8. Możn zuwżyć ż sum prwdopodobińsw dl poszczgólnych wyrzów ngilskich wynosi. Są on dnkow gdyż w zi iniclizci modlu. prwdopodobińsw dl kżdgo powiązni wyrzów przymuą ką smą wrość. Szczgóły obliczń dl poszczgólnych modli zosły przdswion w rozdzil.4. Dl k wyznczonych dnych począkowych sosu się ircyni brdzi zwnsown modl sysyczn powiązń wyrzów biorąc pod uwgę m.in. kolność wysępowni wyrzów w zdniu prz rozdził.4. Wykonni pięciu irci modlu i modlu Mrkow dl przykłdowgo korpusu zwróci zsw dnych kórgo rgmn zprznowno w bli Tbl 4. Frgmn pliku prznuącgo powiązni wyrzów w korpusi polsko-ngilskim po zsosowniu pięciu irci modlu i modlu Mrkow. Możn ponowni zuwżyć ż prwdopodobińswo łumczni wszyskich wyrzów drugigo ęzyk z korpusu dl konkrngo wyrzu zwsz sumu się do. N podswi powyższgo pliku worzy się mcirz dopsowni wyrzów przdswioną n rysunku 3. Dl kżdgo wyrzu doclowgo kolumn szuk się powiązni o nwiększym prwdopodobińswi kolumn 3. N podswi możn wyznczyć powiązni z wyrzm źródłowym kolumn. 8

19 Minus s rsoluions: Prlimn's on kn Acion NULL prookól 9 Prz 8 Prlmnu: 7 rzoluci 6 wyniku 5 w 4 podę 3 Dziłni Rysunk 3. Mcirz dopsowni wyrzów wygnrown z pliku powiązń wyrzów w korpusi polsko-ngilskim dl pirwsz pry zdń. Rprznc plikow wygnrown przz sysm m posć przdswioną w bli 5. # Snnc pir sourc lngh 7 rg lngh 8 lignmn scor : Dziłni podę w wyniku rzoluci Prlmnu: Prz prookół NULL { } Acion { } kn { 3 } on { } Prlimn's { } rsoluions: { 7 } s { 8 } Minus { } # Snnc pir sourc lngh 4 rg lngh 4 lignmn scor :.5 Skłdni dokumnów: prz prookół NULL { 3 } Documns { } rcivd: { } s { 4 } Minus { } # Snnc pir 3 sourc lngh 6 rg lngh 7 lignmn scor :.43 Oświdczni pismn r. 6 Rgulminu: prz prookół NULL { 6 } Wrin { } smns { } Rul { 5 } 6: { 3 4 } s { 7 } Minus { } Tbl 5. Rprznc plikow mcirzy dopsowni dl korpusu polsko-ngilskigo w posci pliku. Cyry w nwisch oznczą idnyikor wyrzu z zdni doclowgo kóry zosł przyporządkowny dnmu wyrzowi. Wyrz pusy NULL ni m w ym przypdku idnyikor więc przyporządkowni idnyikorów do wyrzów rozpoczyn cyr. N podswi k uworzon mcirzy dopsowń sysm uomyczngo łumczni przypsowu do dngo wyrzu go odpowidnik. Jko przykłd nich posłuży nm zdni: Z dokumnów skłdno prookół kórgo łumczni n podswi powyższ mcirzy łumczń będzi miło posć:? rcivd: Documns s. Znk zpyni zos wswiony gdy dl dngo wyrzu ni isni go odpowidnik w mcirzy dopsowń. Jk możn zuwżyć orzymn łumczni dobr s dlki od oczkiwń. Wynik o z brdzo młgo rozmiru korpusu dl kórych zsosowno modl sysyczn. 9

20 Typy dopsowń Wyrz w ęzyku źródłowym moż mić łumczni skłdąc się z kilku wyrzów w ęzyku doclowym i n odwró: kilku wyrzom w ęzyku źródłowym moż odpowidć dn wyrz w ęzyku doclowym. W związku z ym wyróżnimy rzy podswow sposoby powiązń wyrzów będących swoim łumcznim: Dopsowni do n n> = Dopsowni n do n >= 3 Dopsowni n do m n m >. Przykłdy powyższych ypów powiązń obrzuą odpowidnio: rysunk 4. rysunk 5. i rysunk 6. Rysunk 4. Dopsowni do n gdzi n>= dn wyrz polski s powiązny z n wyrzmi ngilskimi. Rysunk 5. Dopsowni n do gdzi n>= dn wyrz ngilski s powiązny z n wyrzmi polskimi.

21 Rysunk 6. Dopsowni n do m gdzi n i m >= n wyrzów ngilskich s powiąznych z m wyrzów polskich..3. Zrys hisoryczny przgląd prc poświęconych dopsowywniu wyrzów Pirwszą prcą sugruącą zsosowni mchnizmów sysyki i kryponlizy do łumczni z dngo ęzyk nurlngo do inngo ęzyk był prc Wrrn Wvr [] z roku 949 opublikown w 955. Był o główni prc oryczn z względu n msz ogrniczni chnologiczn. Porzbn było kilk dzisięciolci by ę mykę rozwinąć i zsosowć w prkyc. W lch dziwięćdzisiąych dwudzisgo wiku wzrosło zinrsowni uomycznym dopsowywnim wyrzów modmi sysycznymi. W pirwszych prcch poświęconych myc [3] [4] uorzy proponowli użyci mod sysycznych do łumczni uomyczngo z ęzyk rncuskigo n ngilski. Algorym opirł się n wyliczniu prwdopodobińsw łumczń dngo wyrzu ngilskigo n wyrz rncuski. Pokzno ż k obliczon prwdopodobińswo moż być uży w modlu sysycznym procsu łumczni cłych zdń. W kolnych lch powsło kilk prc ukzuących możliwość dopsowywni wyrzów bz inormci o ich znczniu [5] [6] [7] [8]. Prc Brown Li i Mrcr 99 zwirł lgorym dopsowywni wyrzów n podswi inormci o ilości słów w zdniu nomis prc Gl i Church 99 opirł się n lgorymi zliczącym ilość znków w zdniu. Przłom nsąpił w 993 roku kidy o grup bdczy w IBM ponowni przyrzł się zsosowniu sysyki do łumczni uomyczngo. Wyniki ich bdń zosły opisn

22 w prcy [9] kór sł się dną z nwżniszych publikci w dzidzini łumczni uomyczngo. Brown wrz z bdczmi zproponowli modl sysyczn kórych zsosowni znczni poprwi wyniki dopsowń wyrzów. Szczgóły doycząc poszczgólnych modli sysycznych zosły przdswion w rozdzil Opis modli dopsowni modl. 6. HMM W zsosownych chnikch dopsowywni wyrzów modmi sysycznymi wykorzysu się modl IBM [] oprcown w 993 roku przz Brown Pir i Mrcr [9]. Pondo oprcowno dw rozszrzni modl Mrkow HMM [] i modl 6. []. W prcy szczgółowo opiszę pr mmyczny wykorzysywny w poszczgólnych modlch. Koln modl sysyczn są się brdzi skomplikown pod względm zsosownych chnik dopsowń poprzz wykorzysni szrgu zlżności między wyrzmi w zdnich będących wzmnymi łumcznimi. W kżdym modlu powsą spcyiczn mcirz prwdopodobińsw dopsowni wyrzów prwdopodobińsw zminy pozyci dngo wyrzu w zdniu będącym łumcznim i wil innych prmrów pomocniczych. Algorym wyznczni prmrów modlu zwny lgorymm EM ng. Expcion- Mximilizion [3] skłd się z dwóch z. W zi pirwsz zwn E-sp wykorzysu się prmry z poprzdnigo modlu lub irci. N ich podswi worzy się prmry do wykorzysni w kuln irci. Js o krok obliczni oczkiwnych wrości wirygodności kby prmry ukry zosły zobsrwown. W kroku drugim M-sp wygnrown prmry są wykorzysn do wyliczni prwdopodobińsw w kolnym modlu. Js o krok mksymlizci kóry oblicz oszcowni nwiększ wirygodności prmrów poprzz mksymlizcę oczkiwnych wirygodności kroku E. Procs n s konynuowny ż do uzyskni zbiżności. Algorym EM s wykorzysywny do wyznczni wrości nwiększ wirygodności modli probbilisycznych gdyż modl zlży od ukryych prmrów. Algorym EM wykorzysu się w gric kompurow do klsrowni dnych w uczniu mszynowym przy uomyczn indukci problisycznych grmyk bzkonksowych kż w modlch Mrkow. Procs dopsowywni wyrzów z pomocą sysycznych modli dopsowni skłd się z kilku irci nsępuących modli:

23 modl.: 5 irci go modlu s z rguły wysrczącą ilością by uzyskć wysoką rność dopsowń modl. zsępowny częso przz modl HMM kóry d lpszą rność dopsowni wyrzów modl 3. i 4. Dodkowo możn uruchomić kilk irci modlu 5. kż modlu 6. kóry s kombincą modlu HMM i modlu 4. Poniż zprznowno opis mmyczny poszczgólnych modli wrz z ich zsosownim w dopsowywniu wyrzów w młym korpusi dwuęzycznym. Dinic 4. Zbiżność monooniczn mówimy ż ciąg liczb rzczywisych s n nn monooniczni zbiżny do liczby śli s ciągim monoonicznym zbiżnym do n nn liczby. Twirdzni. Zbiżność ciągu monooniczngo - ciąg monooniczny s zbiżny wdy i ylko wdy gdy s ogrniczony. Nich X będzi dowolnym zbiorm orz n : X R. Mówimy ż ciąg n nn s zbiżny monooniczni do unkci śli: n N x X x x lub n N x X x x orz n n n n s zbiżny punkowo do unkci zn. dl kżdgo x X : n nn x lim x n n s zwsz nimlący lub zwsz nirosnący. n nn Twirdzni. Twirdzni Bys Nich X będzi pwnym zdrznim T zś pwną orią. P X s obsrwownym prwdopodobińswm X zś P X T o prwdopodobińswo ż X nsąpi wdług orii T. Z koli P T o prwdopodobińswo ż ori T s prwdziw P T X o prwdopodobińswo ż ori T s prwdziw śli zobsrwowno X. Twirdzni Bys wykorzysu się w modlch sysycznych dopsowni wyrzów przy obliczniu prwdopodobińsw wrunkowgo powiązni dwóch zdń i. 3

24 W modlu. orzymumy wzór: Pr Pr Pr Pr kóry s inrprowny ko prwdopodobińswo wrunkow ż zdni s łumcznim zdni. Prwdopodobińswo o pows ko iloczyn prwdopodobińsw wysąpini zdni i prwdopodobińsw wysąpini zdni z go łumcznim podzilon przz prwdopodobińswo wysąpini zdni. Modl Modl. zosł dokłdni opisny w prcy [9]. W począkow zi lgorymu kżdy wyrz z zdni wściowgo s łączony z kżdym wyrzm z zdni wyściowgo. Procs n możn opisć równnim [4]: rg mx P E F gdzi E i F są zminnymi losowymi przbigącymi odpowidnio po wszyskich zdnich korpusu źródłowgo i zdnich korpusu doclowgo. Dl uslongo zdni zdni mksymlizu powyższą unkcę prwdopodobińsw i s nbrdzi prwdopodobnym łumcznim. Zsosowni wrunkowgo prwdopodobińsw sprwi ż procs łumczni s procsm ukirunkownym kóry worzy zdni doclow po zobsrwowniu zdni źródłowgo. Po przkszłcniu równni. z pomocą wirdzni Bys wirdzni.: P F E P E P E P orzymumy: rg mx P E F P E. 3 Orzymn równni 3 s podswowym równnim łumczni sysyczngo. Komponn P F E nzywmy modlm łumczni nomis P E - modlm ęzyk. 4

25 5 W modlu. po uwzględniniu zlżności między wyrzmi orzymumy: m m l l m Pr 4 gdzi l i m są długościmi zdni wściowgo i wyściowgo s dopsownim skirownym między zdnimi s skirownym prwdopodobińswm łumczni pomiędzy wyrzm wściowym i wyściowym słą zlżną od długości poszczgólnych zdń i oznczą podyncz wyrzy. Równni o inrprumy ko prwdopodobińswo ż mszyn łumcząc dl zdni zwróci zdni ko go łumczni. Prwdopodobińswo łumczni poszczgólnych wyrzów i s opisn wzorm: ' ; ; S S s s S S s s c c 5 gdzi S s liczbą zdń w korpusi ; c s częsością powiązń słow wściowgo i wyściowgo w wyrzch z zdni i. Częsość powiązń ; c s obliczn z wrości z pomocą dwóch równń: i i c Pr ; 6 m m Pr 7 gdzi s dlą Kronckr: w przciwnymwypdku i zli i 8 Sum po wszyskich prwdopodobińswch dngo wyrzu sumu się do :. 9 Skoro sum wszyskich prwdopodobińsw łumczni dngo wyrzu sumu się do dynki clm dopsowni wyrzów s ndni k nwiększgo

26 prwdopodobińsw wybrn prz wyrzów możmy swirdzić ż k pr w ogólności s zbiżn monooniczni wirdzni. do. Jko przykłd opisuący dziłni modlu. zosni wykorzysny rgmn korpusu polsko-ngilskigo. W ym clu wprowdzimy nsępuąc dinic: Dinic 5. Normlizc ksu procs przwrzni ksu ndący mu spóną ormę ułwiącą dlszą inrprcę. Częso sosown ko p wsępny procsu dopsowywni wyrzów. W normlizci wysępuą nsępuąc procsy: zmin wilkości lir n mł lub duż udnolicni wyrżń numrycznych usunięci znków spclnych udnolicni skróów usunięci znków inrpunkcynych usunięci lub zmin znków dikrycznych. Dinic 6. Toknizc ksu procs nlizy ksu polgący n grupowniu ciągów znków w okny. Kżdy okn s ogrniczony znkmi zdiniownymi ko sprory np. spc. Tokny o główni wyrzy ęzyk nurlngo liczby nzwy włsn lub ciągi nilksykln drsy inrnow ip.. Dinic 7. Sgmnc ksu procs nlizy ksu polgący n podzil ksu wdług przyęych kryriów. Kryri podziłu są zlżn od wybrngo ęzyk kż od wyniku ki chc się uzyskć. W przypdku podziłu n wyrzy ko kryrium podziłu przymumy znk spci. Przykłd 3. Dopsowywni wyrzów w korpusi polsko-ngilskim z pomocą modlu. Jko dn wściow przyęo rgmn korpusu polsko-ngilskigo zwirącgo zdń. Pirwsz dw zdni go korpusu są posci: Acion kn on Prlimn's rsoluions: s Minus Documns rcivd: s Minus 6

27 minus s rcivd documns minus s rsoluions: prlimn on kn cion Dziłni podę w wyniku rzoluci Prlmnu: Prz prookół Skłdni dokumnów: prz prookół Po wykonniu normlizci dinic 5. i oknizci wyrzów dinic 6. orzymumy nsępuący wynik: cion kn on prlimn rsoluions s minus documns rcivd s minus dziłni podę w wyniku rzoluci prlmnu prz prookół skłdni dokumnów prz prookół Aby wyodrębnić wyrzy z poszczgólnych zdń wykonu się procs sgmnci ksu dinic 7. z użycim znku spci ko spror. Nsępni kżdy wyrz z zdni wściowgo s łączony z kżdym wyrzm z zdni wyściowgo w n sposób pows bzow mcirz dopsowni dl pirwsz i drugi pry zdń: prookół 8 prz 7 prlmnu 6 rzoluci 5 wyniku 4 w 3 podę dziłni 3 4 prookól 4 prz 3 dokumnów skłdni Aby zobrzowć procs obliczń n przykłdzi mksymlni uproszczonym przymumy ż korpus m posć: s minus documns minus prz prookół dokumnów prookół 7

28 Możliw dopsowni wyrzów dl pirwsz pry zdń w ym przypdku mą posć nlży przyąć ż dopsowywny wyrz moż ni mić dopsowni wdy s łączony z wyrzm pusym ng. null: : s-null minus-null; : s-null minus-prz; : s-null minus-prookół; : s-prz minus-null; : s-prz minus-prz; : s-prz minus-prookół; : s-prookół minus-null; : s-prookół minus-prz; : s-prookół minus-prookół; Orzymumy 9 możliwych kombinci powiązń między wyrzmi. W zi iniclizci modlu. kżd pr wyrzów orzymu prwdopodobińswo równ: dl pirwsz pry zdń dl drugi pry zdń gdyż korpus ngilski zwir 3 różn wyrzy 3. 3 W n sposób sum prwdopodobińsw wszyskich dopsowń kżdgo wyrzu wynosi. Prmry dl poszczgólnych pr zdń przymuą nsępuąc wrości: dl pirwsz pry zdń: o długość zdni wściowgo: l o długość zdni wyściowgo: m o liczb zdń w korpusi: S dl drugi pry zdń: o długość zdni wściowgo: l o długość zdni wyściowgo: m o liczb zdń w korpusi: S W kolnym kroku lgorymu dziłni modlu. obliczmy 8 prwdopodobińswo łumczni poszczgólnych wyrzów. Obliczni wykonmy dl pirwsz pry zdń s minus prz prookół.

29 Pr Obliczmy oczkiwną częsość powiązń dl pry wyrzów minus prookół: Pr Pr ; c m m k k Dl drugi pry zdń równiż orzymumy częsość powiązń równą w przybliżniu 33 gdyż i w ym zdniu pr wyrzów minus prookół wysępu dn rz. W n sposób orzymumy cłkowią częsość powiązń pry wyrzów minus prookół dl cłgo rozprywngo korpusu równą: prookół; minus prookół minus i i i c c. Podobni obliczmy cłkowią częsość powiązń dl wszyskich kombinci wyrzów orzymuąc nsępuącą blicę wyników: csnull=33 cminusnull=67 cdocumnsnull=33 csprz =33 cminusprz =33 cdocumnsprz = csprookół =33 cminusprookół =67 cdocumnsprookół =33 csdokumnów = cminusdokumnów =33 cdocumnsdokumnów =33

30 3 W n sposób zkończyliśmy krok E lgorymu EM [3]. Prwdopodobińswo łumczni dl kżd pry wyrzów wyznczmy z nsępuącgo wzoru: ' ' c c czyli prookół prookół minus prookół minus c c. Wykonuąc obliczni dl wszyskich pr zdń orzymumy: snull=5 minusnull=5 documnsnull=5 sprz =5 minusprz =5 documnsprz = sprookół =5 minusprookół =5 documnsprookół =5 sdokumnów = minusdokumnów =5 documnsdokumnów =5 Oblicząc prwdopodobińsw łumczni dl wszyskich dopsowń wyrzów mmy dn nizbędn do wyliczni prwdopodobińsw wrunkowgo dopsowni zdń korpusu dwuęzyczngo dl pirwsz pry zdń: Pr l l m m m

31 i dl drugi pry zdń: Pr m l m l m Uslni nowych prmrów dl kolngo kroku irci nsępu w kroku M lgorymu. W ym kroku wykonu się równiż normlizcę orzymnych wyników umożliwiącą wykorzysni ich w kolnym kroku irci. W wyniku dziłni pirwsz irci modlu. dl dngo przypdku orzymmy nsępuący plik wyściowy mcirzy dopsowni: # Snnc pir sourc lngh rg lngh lignmn scor :.7 s minus NULL { } prz { } prookół { } # Snnc pir sourc lngh rg lngh lignmn scor :.7 documns minus NULL { } dokumnów { } prookół { } Nomis po pięciu krokch irci modlu. orzymumy nsępuąc wrości prwdopodobińsw łumczni: snull= minusnull=76 documnsnull= sprz =83 minusprz =6 documnsprz = sprookół = minusprookół =76 documnsprookół = sdokumnów = minusdokumnów =6 documnsdokumnów =83 Po pięciu ircch mcirz wyściow m posć: # Snnc pir sourc lngh rg lngh lignmn scor :.5434 prz prookół NULL { } s { } minus { } # Snnc pir sourc lngh rg lngh lignmn scor :.5434 dokumnów prookół NULL { } documns { } minus { } Możn zobsrwowć ż modl. po pięciu krokch pordził sobi dobrz 3

32 z dopsownim wyrzów s-prz i documns-documnów gorz wygląd syuc z dopsownim minus-prookół gdyż z kim smym prwdopodobińswm słowo minus zosło powiązn z wyrzm pusym. Modl W modlu. w czsi obliczni prwdopodobińsw powiązni dwóch wyrzów birz się pod uwgę pozycę wyrzów łączonych i długość zdń. Dodkowo prwdopodobińswo o zlży od kolności wysępowni łączonych wyrzów w zdniu. W ym modlu zsosowno drugi rodz prwdopodobińsw prwdopodobińswo dopsowni pozyci. Js o prwdopodobińswo ż dl podn długości obu zdń wyrz doclowy n pozyci s dopsowny z wyrzm źródłowym n pozyci Prwdopodobińswo wrunkow powiązni zdń i przymu nsępuącą posć:. Pr m l m l. m Równni 4 i 5 dl modlu. ni ulgą zmini nomis nowy prmr - prwdopodobińswo dopsowni pozyci m posć: i m l gdzi S S i' S c i m l; S s c i' m l; s s s c i m l; Pr i Pr 3 m m l m m l gdzi s prwdopodobińswm łumczni obliczonym podobni k w modlu.; s prwdopodobińswm dopsowni pozyci. Sum po długości zdni wściowgo prwdopodobińsw sumu się do : l i i m l. 4 Jko przykłd opisuący dziłni modlu. ponowni zosni wykorzysny rgmn korpusu polsko-ngilskigo. 3

33 Przykłd 4. Dopsowywni wyrzów w korpusi polsko-ngilskim z pomocą modlu. Jko dn wściow przyęo korpus polsko-ngilski uworzony w przykłdzi 3.: s minus documns minus prz prookół dokumnów prookół W zi iniclizci modlu. kżd pr wyrzów orzymu prwdopodobińswo równ podobni k w modlu.: dl pirwsz pry zdń dl drugi pry zdń gdyż korpus ngilski zwir 3 różn wyrzy 3. 3 Prmry dl poszczgólnych pr zdń przymuą nsępuąc wrości: dl pirwsz pry zdń: o długość zdni wściowgo: l o długość zdni wyściowgo: m o liczb zdń w korpusi: S dl drugi pry zdń: o długość zdni wściowgo: l o długość zdni wyściowgo: m o liczb zdń w korpusi: S Prwdopodobińswo dopsowni pozyci inrprown ko prwdopodobińswo ż dl zdni o długości m i dl zdni o długości l wyrz n i- pozyci s dopsowny z wyrzm n - pozyci w zi iniclizci dl kżdgo dopsowni s dnkow i wynosi: i m l 3 gdyż mmy dw zdni o dnkow długości i kżdy wyrz m rzy możliw dopsowni wlicząc dopsowni z wyrzm pusym 33

34 34 Obliczmy częsość powiązń dl pry wyrzów minus prookół: Pr ; l m l m l m l i c l i i m l i i i Dl drugi pry zdń równiż orzymumy częsość powiązń równą w przybliżniu 33 gdyż i w ym zdniu pr wyrzów minus prookół wysępu dn rz. W n sposób orzymumy cłkowią częsość powiązń pry wyrzów minus - prookół równą: prookół; minus prookół minuss i i i c c. Prwdopodobińswo łumczni obliczmy z wzoru: ' ; ' ; S S s s S S s s c c czyli prookół prookół minus prookół minus c c. W pirwsz irci modlu. orzymumy nsępuąc wrości prwdopodobińsw łumczni i prwdopodobińsw dopsowni pozyci : snull=5 minusnull=5 documnsnull=5 sprz =5 minusprz =5 documnsprz = sprookół =5 minusprookół =5 documnsprookół =5 sdokumnów = minusdokumnów =5 documnsdokumnów =5 =66 = 66 = 66 = 66 = 66 = 66

35 W wyniku dziłni pirwsz irci modlu. dl dngo przypdku orzymmy nsępuący plik wyściowy mcirzy dopsowni: # Snnc pir sourc lngh rg lngh lignmn scor :.5 prz prookół NULL { } s { } minus { } # Snnc pir sourc lngh rg lngh lignmn scor :.5 dokumnów prookół NULL { } documns { } minus { } W pią irci modlu. orzymumy nsępuąc wrości prwdopodobińsw łumczni i prwdopodobińsw dopsowni pozyci: snull= minusnull=99 documnsnull= sprz =98 minusprz = documnsprz = sprookół = minusprookół =99 documnsprookół = sdokumnów = minusdokumnów = documnsdokumnów =98 = =99 = =99 =3 =99 Nomis wynikow mcirz dopsowni m posć: # Snnc pir sourc lngh rg lngh lignmn scor :.5434 prz prookół NULL { } s { } minus { } # Snnc pir sourc lngh rg lngh lignmn scor :.5434 dokumnów prookół NULL { } documns { } minus { } Możmy zobsrwowć ż ndl wyrz minus m duż prwdopodobińswo łumczni ko wyrz pusy i równ z prwdopodobińswm łumczni ko prookół. To powodu ż domyślni wyrz n zosni powiązny z wyrzm pusym. W porównniu z modlm. w modlu obsrwumy zwiększni prwdopodobińsw łumczni dl poprwnych powiązń wyrzów dzięki czmu mnisz liczb irci pozwl uzyskiwć poprwn dopsowni. 35

36 Modl HMM Modl HMM s wykorzysywny zmis modlu. dopsowywni wyrzów. Wyniki wygnrown przz n modl są zncząco lpsz od wyników modlu. Wykorzysu on nsępuąc równni n prwdopodobińswo wrunkow powiązni dwóch zdń: Pr m l l 5 m kór s brdzo zbliżon do równni. Prwdopodobińswo dopsowni pozyci n pozyci zlży od poprzdnigo dopsowni pozyci. Dzięki kimu zbigowi modl dopsowni zosł przkszłcony w modl Mrkow pirwszgo rzędu. Prwdopodobińswo dopsowni pozyci w kim przypdku s zdiniown nsępuąco: i i' l S S i'' S c i i' l; S s c i'' i' l; s s 6 s c i i' l; i. 7 Pr i' Prwdopodobińswo łumczni i powiązn miry pozosą ki sm k w modlu. i. równni 5 i 6. Nomis równni Pr przymu nsępuącą posć: Pr. 8 m l m l Jko przykłd opisuący dziłni modlu Mrkow ponowni zosni wykorzysny rgmn korpusu polsko-ngilskigo. Przykłd 5. Dopsowywni wyrzów w korpusi polsko-ngilskim z pomocą modlu HMM Jko dn wściow przyęo korpus polsko-ngilski uworzony w przykłdzi 3.: s minus documns minus prz prookół dokumnów prookół 36

37 W zi iniclizci modlu HMM pr wyrzów orzymu prwdopodobińswo równ podobni k w modlu.: dl pirwsz pry zdń dl drugi pry zdń gdyż korpus ngilski zwir 3 różn wyrzy 3. 3 Prmry dl poszczgólnych pr zdń przymuą nsępuąc wrości: dl pirwsz pry zdń: o długość zdni wściowgo: l o długość zdni wyściowgo: m o liczb zdń w korpusi: S dl drugi pry zdń: o długość zdni wściowgo: l o długość zdni wyściowgo: m o liczb zdń w korpusi: S Prwdopodobińswo dopsowni pozyci w ym modlu prwdopodobińswo o zlży od prwdopodobińsw wyznczongo w poprzdni irci w zi iniclizci dl kżdgo dopsowni s dnkow i wynosi: i i' l gdyż mmy dw zdni o dnkow długości i kżdy wyrz m rzy 3 możliw dopsowni wlicząc dopsowni z wyrzm pusym. 37

38 38 Obliczmy częsość powiązń dl pry wyrzów minus prookół: ' ' ' ' ' 3 3 ' ' Pr ; ' i i i i i i i i i i l i i l i i l i i c m m Dl drugi pry zdń równiż orzymumy częsość powiązń równą 9 gdyż i w ym zdniu pr wyrzów minus prookół wysępu dn rz n ym smym miscu w zdniu. W n sposób orzymumy cłkowią częsość powiązń pry wyrzów minus prookół równą: prookół; minus prookół minus i i i c c. Prwdopodobińswo łumczni obliczmy z wzoru: ' ; ' ; S S s s S S s s c c

39 czyli cminus prookół minus prookół 9 9 c prookół W pirwsz irci modlu HMM orzymumy nsępuąc wrości prwdopodobińsw łumczni i prwdopodobińsw dopsowni pozyci: snull=5 minusnull=5 documnsnull=5 sprz =5 minusprz =5 documnsprz = sprookół =5 minusprookół =5 documnsprookół =5 sdokumnów = minusdokumnów =5 =33 = 33 = 33 = 33 = 33 = 33 documnsdokumnów =5. W wyniku dziłni pirwsz irci modlu HMM dl dngo przypdku orzymmy nsępuący plik wyściowy mcirzy dopsowni: # Snnc pir sourc lngh rg lngh lignmn scor : prz prookół NULL { } s { } minus { } # Snnc pir sourc lngh rg lngh lignmn scor : dokumnów prookół NULL { } documns { } minus { } W pią irci modlu HMM orzymumy nsępuąc wrości prwdopodobińsw łumczni i prwdopodobińsw dopsowni pozyci: snull=8 minusnull=84 documnsnull=8 sprz =98 minusprz = documnsprz = sprookół = minusprookół =99 documnsprookół = sdokumnów = minusdokumnów = documnsdokumnów =98 = =99 = =3 = =96 Nomis wynikow mcirz dopsowni wygląd nsępuąco: # Snnc pir sourc lngh rg lngh lignmn scor : prz prookół NULL { } s { } minus { } # Snnc pir sourc lngh rg lngh lignmn scor :

40 dokumnów prookół NULL { } documns { } minus { } Jk możn zuwżyć modl HMM poprwni dopsowł wyrzy minus-prookół w przciwińswi do modlu.. W modlu i 5. w zi iniclizci oblicz się ilość wyrzów z zdni doclowgo kór będą połączon z wyrzm z zdni źródłowgo. Zminną ą nzywmy mnożnikim ng. riliy wyrzu zdni i oznczmy. Nsępni worzy się lisę wyrzów doclowych kór są połączon z dnym wyrzm zdni źródłowgo. Tą lisę nzywmy blm ng. bl wyrzu zdni źródłowgo. Dinic 8. Modl nipłny ng. modl dicincy modl dopsowni wyrzów w kórym część prwdopodobińsw przypisn s zdrzniom niisonym nipożądnym. Modl 3 W modlu 3. prwdopodobińswo powiązni wyrzów zlży od pozyci łączonych wyrzów i długości dopsowywnych zdń. Modl n s nipłny dinic 8.. Prwdopodobińswo wrunkow powiązni dwóch wyrzów w zdnich i dl kżd pry wyrzów w modlu 3. m nsępuącą posć: m m Pr p p gdzi l i! n i i i m d m l 9 i ozncz mnożnik wyrzu zdni p p są liczbmi niumnymi kór sumuą się do dynki. Nomis d i m l s prwdopodobińswm znikszłcni ng. disorion probbiliis opisnym wzorm: S iml s s s d i m l c i m l; gdzi iml s czynnikim normlizuącym. c i m l; Pr i 4

41 4! Pr l i m i i i m m l d x n p p m. Prwdopodobińswo łumczni wyrzów s opisn wzorm: ' ; ' ; S S s s S S s s c c 3 i i c Pr ;. 4 Prwdopodobińswo mnożności opisn s wzorm: ; s s S s c n 5 gdzi s słą normlizcyną. Równni i 5 spłnią nsępuąc zlżności: l m i d n 6 l i i i c Pr ;. 7 Jko przykłd opisuący dziłni modlu 3. ponowni zosni wykorzysny rgmn korpusu polsko-ngilskigo. Przykłd 6. Dopsowywni wyrzów w korpusi polsko-ngilskim z pomocą modlu 3. Jko dn wściow przyęo korpus polsko-ngilski uworzony w przykłdzi 3.: s minus documns minus prz prookół dokumnów prookół Dopsowywni wyrzów z pomocą modlu 3. bzu n wynikch orzymnych z poprzdnich irci modlu. lub HMM.

42 Po wykonniu dn irci modlu. orzymumy nsępuąc wrości prwdopodobińsw łumczni i prwdopodobińsw dopsowni pozyci: snull=5 minusnull=5 documnsnull=5 sprz =5 minusprz =5 documnsprz = sprookół =5 minusprookół =5 documnsprookół =5 sdokumnów = minusdokumnów =5 documnsdokumnów =5 =66 = 66 = 66 = 66 = 66 = 66 Prmry dl poszczgólnych pr zdń przymuą nsępuąc wrości: dl pirwsz pry zdń: o długość zdni wściowgo: l o długość zdni wyściowgo: m o liczb zdń w korpusi: S dl drugi pry zdń: o długość zdni wściowgo: l o długość zdni wyściowgo: m o liczb zdń w korpusi: S Aby obliczyć prwdopodobińswo łumczni z wzoru S S ' S c S ; s c ' ; s musimy obliczyć częsość powiązń. s s 4

43 43 Dl pry wyrzów minus prookół: minus minus minus.78 minus minus minus minus.78 minus minus minus.54 s minus.8 s.8 minus.46 s minus s minus s minus! s!.33!!.33.67! Pr ; d prokol d prookol s d prokol d prz s d prokol d null s s prokol prz s prz prz d prookol d prookol s null s prokol prz null s prz prz d null d null s s prokol prz s prz prz d d s s prokol prz s prz prz d d s d d d d d d d d x d d x x n n d d x x n n m l d x n p p m c m m m m m m l i m i i i m m

44 Dl drugi pry zdń równiż orzymumy częsość powiązń równą w przybliżniu 369 gdyż i w ym zdniu pr wyrzów minus prookół wysępu dn rz ob wyrzy znduą się ż w ym smym miscu w zdniu i długość łączonych wyrzów s k sm. W n sposób orzymumy cłkowią częsość powiązń pry wyrzów minus prookół równą: cminus prookół cminus prookol; i i Prwdopodobińswo łumczni obliczmy z wzoru: S S ' S c S ; s c ' ; s s s i cminus prookol 6 6 czyli minus prookol 85. c prookol W pirwsz irci modlu 3. orzymumy nsępuąc wrości prwdopodobińsw łumczni prwdopodobińsw dopsowni pozyci prwdopodobińsw znikszłcni i prwdopodobińsw mnożności: snull=8 minusnull=84 documnsnull=8 sprz =74 minusprz =6 documnsprz = sprookół =8 minusprookół =85 documnsprookół =8 sdokumnów = minusdokumnów =6 documnsdokumnów =74 = = 7 = 88 = 3 = = 63 d=6 d= 84 d= 74 d= 6 d= 5 d= 85 ns=5 nminus=9 ndocumns=5 ns=7 nminus=67 ndocumns=7 ns=3 nminus=4 ndocumns=3 n3s= n3minus= n3documns= n4s= n4minus= n4documns= n5s= n5minus= n5documns= 44

45 n6s= n6minus= n6documns= n7s= n7minus= n7documns= n8s= n8minus= n8documns= n9s= n9minus= n9documns= W wyniku dziłni pirwsz irci modlu 3. dl dngo przypdku orzymmy nsępuący plik wyściowy mcirzy dopsowni: # Snnc pir sourc lngh rg lngh lignmn scor :. prz prookół NULL { } s { } minus { } # Snnc pir sourc lngh rg lngh lignmn scor :. dokumnów prookół NULL { } documns { } minus { } W pią irci modlu 3. orzymumy nsępuąc wrości prwdopodobińsw łumczni prwdopodobińsw dopsowni pozyci prwdopodobińsw znikszłcni i prwdopodobińsw mnożności: snull=33 minusnull=33 documnsnull=33 sprz = minusprz = documnsprz = sprookół = minusprookół = documnsprookół = sdokumnów = minusdokumnów = documnsdokumnów = = =99 = =99 =3 =99 d= d= d= d= d= d= ns= nminus= ndocumns= ns=99 nminus= ndocumns=99 ns= nminus= ndocumns= n3s= n3minus= n3documns= n4s= n4minus= n4documns= n5s= n5minus= n5documns= n6s= n6minus= n6documns= n7s= n7minus= n7documns= n8s= n8minus= n8documns= n9s= n9minus= n9documns= 45

46 Nomis wynikow mcirz dopsowni po pięciu ircch modlu 3. m posć: # Snnc pir sourc lngh rg lngh lignmn scor : prz prookół NULL { } s { } minus { } # Snnc pir sourc lngh rg lngh lignmn scor : dokumnów prookół NULL { } documns { } minus { } Możmy zobsrwowć ż modl 3. w przciwińswi do modlu. prwidłowo dopsowł wyrzy minus prookół ndąc im prwdopodobińswo łumczni równ. Modl 4 W modlu 4. prwdopodobińswo powiązni wyrzów zlży od prwdopodobińsw dopsowni wyrzów obliczongo w poprzdnim modlu i od pozyci innych wyrzów zdni doclowgo kór są powiązn z ym smym wyrzm źródłowym. Zlży równiż podobni k w modlu 3. od długości łączonych zdń. Główn różnic polg n sposobi wyznczni prwdopodobińsw znikszłcni. W modlu 4. kżd słowo s zlżn od klsy słow wyznczon z oczących wyrzów. Modl n s równiż nipłny dinic 8.. Modl 3. ni rdzi sobi z łumcznimi w kórych wyrz łumczni z zdni doclowgo moż wysępowć w różnych miscch w zdniu. W modlu 4. n problm rozwiązno. Dinic 9. Tbl poęci sosown w lgorymch dopsowywni wyrzów diniown ko zbiór w kórym dl kżdgo wyrzu źródłowgo usl się mnożnik i lisę wyrzów doclowych z kórymi łączy się dny wyrz źródłowy. Dinic. Cnrum diniu sui śrdnich wrości pozyci słów z blu w zdniu doclowym. Dinic. Głow s o wyrz z blu dl kórgo pozyc w zdniu doclowym s nmnisz. W modlu 4. wykorzysumy bl dinic 9. zwirący cnrum i głowę. 46

47 Prwdopodobińswo wrunkow w modlu 4. m nsępuącą posć: [ i] l l Pr [ i] d i [ i] 8 k [ i] l l Pr [ i] k [ i] d [ i] k 9 gdzi i s wspomniną powyż śrdnią wrością pozyci w zdniu cnrum i są unkcmi wyrzów zdni źródłowgo i doclowgo. Pozosł równni są zbliżon do równń dl modlu 3. Jko przykłd opisuący dziłni modlu 4. wykorzysmy przykłd zbliżony do go przdswiongo w modlu 3. Wprowdzimy u pwn modyikc ukzuąc przwgę modlu 4. nd modlm 3. Przykłd 7. Dopsowywni wyrzów w korpusi polsko-ngilskim z pomocą modlu 4. Jko dn wściow przyęo korpus polsko-ngilski: s minus documns minus prz prookół prookół dokumnów W porównniu z korpusm z przykłdu 6. zminiono wyrżni dokumnów prookół n prookół dokumnów. Po ki modyikci wykonni pięciu irci modlu 3. d nsępuąc prwdopodobińsw łumczni: snull=33 minusnull=33 documnsnull=33 sprz =5 minusprz =5 documnsprz = sprookół =33 minusprookół =33 documnsprookół =33 sdokumnów = minusdokumnów =5 documnsdokumnów =5 Jk widzimy ni zosło u rozsrzygnię z kim wyrzm połączyć wyrz minus. Dopsowywni wyrzów z pomocą modlu 4. bzu n wynikch orzymnych z poprzdnich irci modlu. HMM orz 3. Po wykonniu dn irci modlu. orzymumy nsępuąc wrości prwdopodobińsw łumczni i prwdopodobińsw dopsowni pozyci: 47

48 snull=5 minusnull=5 documnsnull=5 sprz =5 minusprz =5 documnsprz = sprookół =5 minusprookół =5 documnsprookół =5 sdokumnów = minusdokumnów =5 =66 = 66 = 66 = 66 = 66 = 66 documnsdokumnów =5 Prmry dl poszczgólnych pr zdń przymuą nsępuąc wrości: dl pirwsz pry zdń: o długość zdni wściowgo: l o długość zdni wyściowgo: m o liczb zdń w korpusi: S dl drugi pry zdń: o długość zdni wściowgo: l o długość zdni wyściowgo: m o liczb zdń w korpusi: S W pirwsz irci modlu 4. orzymumy nsępuąc wrości prwdopodobińsw łumczni prwdopodobińsw dopsowni pozyci prwdopodobińsw znikszłcni i prwdopodobińsw mnożności: snull=8 minusnull=83 documnsnull=8 sprz =68 minusprz =3 documnsprz = sprookół = minusprookół =76 documnsprookół = sdokumnów = minusdokumnów =3 =4 = 4 = 6 = 6 = 36 = 36 d=5 d= 5 d= 5 d= 5 d= 5 d= 5 48 documnsdokumnów =68 ns=6 nminus=34 ndocumns=6 ns=67 nminus=6 ndocumns=67 ns=7 nminus=5 ndocumns=7 n3s= n3minus= n3documns= n4s= n4minus= n4documns=

49 n5s= n5minus= n5documns= n6s= n6minus= n6documns= n7s= n7minus= n7documns= n8s= n8minus= n8documns= n9s= n9minus= n9documns= W wyniku dziłni pirwsz irci modlu 4. dl dngo przypdku orzymmy nsępuący plik wyściowy mcirzy dopsowni: # Snnc pir sourc lngh rg lngh lignmn scor :.66 prz prookół NULL { } s { } minus { } # Snnc pir sourc lngh rg lngh lignmn scor :.66 prookół dokumnów NULL { } documns { } minus { } W pią irci modlu 4. orzymumy nsępuąc wrości prwdopodobińsw łumczni prwdopodobińsw dopsowni pozyci prwdopodobińsw znikszłcni i prwdopodobińsw mnożności: snull=33 minusnull=33 documnsnull=33 sprz = minusprz = documnsprz = sprookół = minusprookół = documnsprookół = sdokumnów = minusdokumnów = documnsdokumnów = = =5 =5 = =5 =5 d=5 d= 5 d= d= 5 d= 5 d= 5 ns= nminus= ndocumns= ns=99 nminus= ndocumns=99 ns= nminus= ndocumns= n3s= n3minus= n3documns= n4s= n4minus= n4documns= n5s= n5minus= n5documns= n6s= n6minus= n6documns= n7s= n7minus= n7documns= n8s= n8minus= n8documns= n9s= n9minus= n9documns= 49

50 Nomis wynikow mcirz dopsowni po pięciu ircch modlu 4. m posć: # Snnc pir sourc lngh rg lngh lignmn scor :.4484 prz prookół NULL { } s { } minus { } # Snnc pir sourc lngh rg lngh lignmn scor : prookół dokumnów NULL { } documns { } minus { } W porównniu z modlm 3. w ym przypdku wyrz minus zosł poprwni dopsowny z wyrzm prookół co obrzu przwgę modlu 4. w dopsowywniu wyrzów kór znduą się n różnych pozycch w zdnich. Modl 5 Modl 5. s zmodyikownym modlm 4. Dodno u spcln dopsowni słów ng. rind lignmn by wyliminowć nipłność modlu dinic 8.. W n sposób liczb prmrów dopsowń znczni zwiększ się w porównniu do modlu 4. I k prwdopodobińswo wrunkow dl modlu 5. przymu nsępuącą posć: [ i] l l Pr [ i] d [ ] m i 3 Pr d [ i] k k [ i] [ i ] l l i k [ i ] k m [ i ] k [ i] 3 gdzi ozncz liczbę wyrzów w zdniu doclowym bz powiązń z wyrzmi z zdni źródłowgo. Szczgóły doycząc modlu 5 możn znlźć między innymi w prcy Brown [9]. Jko przykłd opisuący dziłni modlu 5. ponowni zosni wykorzysny rgmn korpusu polsko-ngilskigo. Przykłd 8. Dopsowywni wyrzów w korpusi polsko-ngilskim z pomocą modlu 5 Jko dn wściow przyęo korpus polsko-ngilski uworzony w przykłdzi 3.: s minus documns minus 5

51 prz prookół prookół dokumnów Dopsowywni wyrzów z pomocą modlu 5. wykorzysu wyniki orzymn z dngo z poprzdnich modli dopsowni. W przykłdzi ponowni zosną wykorzysn wyniki zwrócon przz modl. Po uruchominiu modlu. orzymumy nsępuąc wrości prwdopodobińsw łumczni i prwdopodobińsw dopsowni pozyci: snull=8 minusnull=83 documnsnull=8 sprz =68 minusprz =3 documnsprz = sprookół = minusprookół =76 documnsprookół = sdokumnów = minusdokumnów =3 documnsdokumnów =68 =66 = 66 = 66 = 66 = 66 = 66 Prmry dl poszczgólnych pr zdń przymuą nsępuąc wrości: dl pirwsz pry zdń: o długość zdni wściowgo: l o długość zdni wyściowgo: m o liczb zdń w korpusi: S dl drugi pry zdń: o długość zdni wściowgo: l o długość zdni wyściowgo: m o liczb zdń w korpusi: S Po pirwsz irci modlu 5. orzymumy nsępuąc wrości prwdopodobińsw łumczni prwdopodobińsw dopsowni pozyci prwdopodobińsw znikszłcni i prwdopodobińsw mnożności: snull=8 minusnull=83 documnsnull=8 sprz =68 minusprz =3 documnsprz = sprookół = minusprookół =76 documnsprookół = sdokumnów = minusdokumnów =3 documnsdokumnów =68 5

52 =4 = 4 = 6 = 6 = 36 = 36 d=5 d= 5 d= 5 d= 5 d= 5 d= 5 ns=6 nminus=34 ndocumns=6 ns=67 nminus=6 ndocumns=67 ns=7 nminus=5 ndocumns=7 n3s= n3minus= n3documns= n4s= n4minus= n4documns= n5s= n5minus= n5documns= n6s= n6minus= n6documns= n7s= n7minus= n7documns= n8s= n8minus= n8documns= n9s= n9minus= n9documns= Plik wyściowy mcirzy dopsowni przymu nsępuącą posć: # Snnc pir sourc lngh rg lngh lignmn scor :.66 prz prookół NULL { } s { } minus { } # Snnc pir sourc lngh rg lngh lignmn scor :.66 prookół dokumnów NULL { } documns { } minus { } Nomis po pięciu ircch modlu 5. wrości prwdopodobińsw łumczni prwdopodobińsw dopsowni pozyci prwdopodobińsw znikszłcni i prwdopodobińsw mnożności mą nsępuącą posć: snull=33 minusnull=33 documnsnull=33 sprz = minusprz = documnsprz = sprookół = minusprookół = documnsprookół = sdokumnów = minusdokumnów = = = = 5 = 5 = 5 = 5 d=5 d= 5 d= 5 d= 5 d= 5 d= 5 documnsdokumnów = 5

53 ns= nminus= ndocumns= ns=99 nminus= ndocumns=99 ns= nminus= ndocumns= n3s= n3minus= n3documns= n4s= n4minus= n4documns= n5s= n5minus= n5documns= n6s= n6minus= n6documns= n7s= n7minus= n7documns= n8s= n8minus= n8documns= n9s= n9minus= n9documns= Wynikow mcirz dopsowni po pięciu ircch modlu 5. m posć: # Snnc pir sourc lngh rg lngh lignmn scor : prz prookół NULL { } s { } minus { } # Snnc pir sourc lngh rg lngh lignmn scor : prookół dokumnów NULL { } documns { } minus { } Modl 5. podobni k modl 4. poprwni dopsowu z sobą wyrzy minus - prookół. Jdnk w ym przypdku punkc dopsowni ng. lignmn scor s blisk dn. Wrość inormu o prwdopodobińswi dobrgo dopsowni wyrzów w dn snnci. W ym przypdku lgorym dopsowni inormu ż s prkyczni pwny go dopsowni wyrzów. T włściwość ukzu główną przwgę modlu 5. nd modlm 4. - lgorym szybci uzysku zbiżność do. W związku z ym mnisz ilość irci co z ym idzi mnisz ilość czsu obliczń s porzbn by uzyskć rn dopsowni wyrzów. Modl 6 Modl 6. [] s kombincą modlu HMM i modlu 4. wykorzysuącą zly obu modli. Prwdopodobińswo wrunkow dl go modlu przymu nsępuącą posć: Pr ' ' Pr4 Pr Pr ' ' Pr 4 HMM HMM 3 ' ' gdzi s prmrm inrpolcynym oznczącym wgę modlu 4. względm modlu HMM []. Prmr s k dobirny by zopymlizowć kość dopsowni dnych wyściowych. 53

54 Jko przykłd opisuący dziłni modlu 6. kolny rz wykorzysny zosni rgmn korpusu polsko-ngilskigo. Przykłd 9. Dopsowywni wyrzów w korpusi polsko-ngilskim z pomocą modlu 6. Jko dn wściow przyęo korpus polsko-ngilski uworzony w przykłdzi 3.: s minus documns minus prz prookół dokumnów prookół Aby uruchomić dopsowywni wyrzów z pomocą modlu 6. musimy wykonć przynmni dną ircę modlu 4. i modlu HMM. Dl modlu HMM po dn irci orzymumy nsępuąc wrości prwdopodobińsw łumczni i prwdopodobińsw dopsowni pozyci: snull=5 minusnull=5 documnsnull=5 sprz =5 minusprz =5 documnsprz = sprookół =5 minusprookół =5 documnsprookół =5 sdokumnów = minusdokumnów =5 =66 = 66 = 66 = 66 = 66 = 66 documnsdokumnów =5 Nomis dodkowo po uruchominiu irci modlu 4 orzymumy: snull=9 minusnull=6 documnsnull=9 sprz =57 minusprz =4 documnsprz = sprookół =7 minusprookół =67 documnsprookół =7 sdokumnów = minusdokumnów =4 =79 = 3 = 76 = 56 = 6 = 3 documnsdokumnów =58 Wynikow mcirz dl modlu 6 s uzlżnion od wyników dl modlu 4 i HMM. Jśli wykonmy ircę modlu 6 dl dn irci modlu 4 i dn irci modlu HMM o wyniki będą znczni gorsz niż wyniki np. pięciu irci modlu 4. Dlgo by uzyskć 54

55 dobr wyniki doświdczni wykzły ż opymlną ilością irci s pięć irci modlu 4. i pięć irci modlu 5. Dopiro wdy możn przść do irci modlu Nrzędzi dopsowni wyrzów Oprcowno wil nrzędzi służących do dopsowni wyrzów modmi sysycznymi np.: BrklyAlignr [5] NATools [6] unl-lignr [7] K-vc++ [8]. Nbrdzi populrnym dosępnym drmowo licnc GNU nrzędzim s Giz++ []. W ym rozdzil przdswię rchikurę go rozwiązni kż go rozwinięci ki powsły w osnim dzisięciolciu. Giz++ korzys z szrgu modli sysycznych pozwlących dopsowć wyrzy będąc swoim wzmnym łumcznim. Nrzędzi możn wywoływć z prmrmi kórych odpowidni użyci podwyższ kość dopsowni bądź szybkość obliczń. Aby zwiększyć szybkość obliczń ni rcąc przy ym kości oprcowno nrzędzi MGiz++ PGiz++ i Chski [9] [] []]. Wykorzysuą on wil rdzni współczsnych kompurów pozwląc zncząco zrdukowć czs obliczń..5.. Giz++ MGiz++ PGiz++ Chski rchikur opis dziłni Giz++ MGiz++ PGiz++ i Chski wymgą przygoowni szrgu plików wściowych nizbędnych w procsi dopsowni wyrzów. Są o pliki zwirąc: odpowidni orm korpusów dwuęzycznych klsy słów ng. word clsss dodkow pliki obliczni wściow. Po uworzniu ych plików możn uruchomić odpowidni progrm dopsowywni wyrzów. Giz++ Giz++ wykorzysu podynczy procsor w zi obliczń. Sosowni go nrzędzi związn s z długim czsm oczkiwni przy dużych korpusch dnych czs liczony s w godzinch nw dnich. N rysunku 7. przdswiono dziłni lgorymu Giz++. Po uruchominiu progrmu odpowidni moduł Doswc Zdń przydzil koln pry zdń: zdni źródłow i go łumczni do procsu dopsowywni zdń. Nsępu procs dopsowywni wyrzów. 55

56 Krok n s powrzny do momnu wyczrpni puli dosępnych zdń. Nsępu unormowni orzymnych wyników. Uruchmin s koln irc dngo modlu lub kolny modl sysyczny w zlżności od konigurci progrmu. Po wykonniu wszyskich irci kżdgo modlu progrm zwrc wyniki zwirąc dopsowni wyrzów w dnym korpusi. clss Domin Modl Sr Doswc Zdń Zbirni Liczników Czy Js Więc Snnci? Tk Tk Ni Wyści Ni Czy Js Więc Irci? Normlizc Liczników Rysunk 7. Algorym dziłni progrmu Giz++ [9]. MGiz++ Giz++ cły procs dopsowywni wyrzów wykonu szrgowo co znczni wydłuż czs obliczń. Rozwiązno n problm w nrzędziu MGiz++. Wykorzysu ono wil rdzni podyncz mszyny poprzz zsosowni wilowąkowości. Algorym dziłni przdswiono n rysunku 8. Przy uruchominiu progrmu diniu się ilość wąków do obliczń. Odpowidni moduł wysył do kżdgo z wąków prę zdń. Gdy dn z wąków skończy obliczni pobir kolną prę zdń. Gdy cły korpus zosni pobrny nsępu normlizc wyników w głównym wąku po czym lgorym przchodzi do koln irci dngo modlu lub uruchmi kolny modl. Po zkończniu obliczń zwrcn są wyniki do odpowidnich plików wyściowych. 56

57 MGIZA++ s omwin w wilu prcch. Wykorzysu ą między innymi T. Oki [] w swoich oblicznich poprwiąc współczynnik BLEU okrślący kość łumczni uomyczngo. Podści do problmu zsosown w nrzędziu MGiz++ znczni skrc czs obliczń gdy mmy do czynini z mszyną wilordzniową. Nomis gdy dny lgorym MGiz++ uruchomimy z dnym wąkim o dził on w ki sm sposób k lgorym Giz++. clss Domin Modl Sr Doswc Zdń Zsynchronizowny Przydził Pr Zdń Modl Wąk Wąk... Wąk n Zsynchronizown Bz Liczników Normlizc Sop Główny Wąk Rysunk 8. Algorym dziłni progrmu MGiz++ [9]. PGiz++ Inn podści do problmu przdswi nrzędzi PGiz++. Wykonu ono obliczni n kilku mszynch poprzz uruchomini wilu procsów. Dzięki mu n kżd mszyni możn uruchomić ilość procsów odpowidącą ilości rdzni dn mszyny i czynność ą powilić n wilu mszynch. Sposób dziłni kigo lgorymu obrzu rysunk 9. W ym przypdku do kżdgo procsu s wysyłn część korpusu źródłowgo. Z poprwność cłgo procsu odpowid procs główny kóry przydzil rgmny korpusu dl kżdgo procsu i odbir cząskow wyniki obliczń. W procsi głównym nsępu normlizc wyników i przści do koln irci dngo modlu lub uruchomini kolngo modlu. Po zkończniu obliczń procs główny zwrc wyniki obliczń. 57

58 Rysunk 9. Algorym dziłni progrmu PGiz++ [9]. Liczn sy wykzły ż nrzędzi PGiz++ ni wykzu znczngo skrócni czsu obliczń w porównniu z sndrdową Giz++. Js kilk powodów kigo snu: poszczgóln procsy mogą ni zkończyć się dnoczśni kolną ircę możn rozpocząć dopiro po zkończniu obliczń w wszyskich procsch przsyłni dnych do poszczgólnych wąków pochłni dodkowy czs lgorym zwir dodkow obliczni: normlizcę wrz z sumownim wyników obliczń z poszczgólnych procsów. Aby zmniszyć ilość przsyłnych dnych zsosowno współdzilony przz wszyski mszyny zsób pmięci dyskow. Jdnk i o ni spowodowło znczngo przyśpiszni czsu obliczń. Chski Rozszrznim koncpci PGiz++ s nrzędzi Chski []. Bzu ono n lgorymi PGiz++ z pwnymi rozszrznimi: zsosowno nowy sysm plików HDFS ng. Hdoop Disribud Fil Sysm [3] ndący się znkomici do sysmów klsrowych wykorzysno nowy sposób normlizci wyników spowodowny innym sposobm dziłni sysmu plików HDFS 58

59 obliczni kór zkończyły się nipowodznim sysm uruchmi ponowni dbąc o ingrlność dnych. Zsosowni ych zmin spowodowło znczn przyspiszni obliczń. Od chwili nrzędzi o moż konkurowć z MGiz++ śli chodzi o szybkość obliczń. Sprwdzono [] [4] ż przy idnycznych dnych wściowych wyniki zwrcn przz kżd z czrch wyminionych nrzędzi są idnyczn..5.. Nrzędzi komplksow LoonyBin Moss Nrzędzi ki Giz++ MGiz++ porzbuą spcyiczngo ormu dnych wściowych. W ym clu nlży wykonć szrg komnd by z korpusu wściowgo orzymć dn wściow do dngo nrzędzi. Aby n procs zuomyzowć kż połączyć z sobą szrg nrzędzi przydnych w sysycznym łumczniu uomycznym powsły plikc LoonyBin [5] [6] i Moss [7]. O il Moss s nrzędzim znnym i szroko sosownym o yl LoonyBin powsło w roku i s nrzędzim mło populrnym. Moss o sysm sysyczngo łumczni uomyczngo. W sposób komplksowy podchodzi do zdni łumczni uomyczngo. Jko prmry wściow przymu korpus dwuęzyczny i plik z uswinimi wściowymi progrmu. Umożliwi wykonni obliczń w dwóch kirunkch od korpusu źródłowgo do doclowgo i od doclowgo do źródłowgo. Orzymn w n sposób dwukirunkow dopsowni słów sysm uomyczni łączy poprzz dosępn lgorymy symryzci. Zmis Gizy++ możn podłączyć do sysmu MGizę++ lub inny progrm zwrcący sm pliki wynikow. Nomis LoonyBin rysunk. s nrzędzim npisnym w ęzyku Jv z inuicynym inrsm gricznym. Umożliwi wykonywni obliczń n wilu mszynch. Główny progrm odpowid z wykrywni dosępnych nrzędzi i zdlnych mszyn w sysmi. Sprwdz poprwność plików wynikowych z kżdgo uruchomiongo procsu. Zwir sysm równowżni przydzilonych zdń ng. lod blncing kż wil przydnych nrzędzi: dopsowni wyrzów: Moss MGiz++ Chski sprwdzni kości dopsowni i łumczni: BLEU NIST [8] Mor [9] TER [3] wil innych np.: SAMT skłdniow łumczni mszynow [3] MEMT sysm łumczni uomyczngo [3]. 59

60 W łwy sposób umożliwi dodwni nowych plikci. N rysunku. przdswiono inrs griczny nrzędzi LoonyBin Rysunk. Inrs griczny nrzędzi LoonyBin [33] 6

61 Rozdził Tchnik symryzci dopsowni ksu ko sposób poprwy kości dopsowni wyrzów.. Wprowdzni Dinic. Symryzc dopsowni wyrzów p procsu worzni mcirzy powiązń w kórym nsępu powiązni inormci z dwóch kirunków obliczń dopsowń modmi sysycznymi. Dzięki zsosowniu oprci uzysku się połączni do n i n do między wyrzmi gdzi n>=. N podswi worzy się dopsowni wynikow. Zsosowni symryzci dopsowni wyrzów modmi sysycznymi w korpusch dwuęzycznych pozwl poprwić kość łumczń wynikowych. Poprw nsępu w dwóch spkch: zwiększni prwdopodobińsw dopsowni odpowidących sobi wyrzów gdyż procs połączni nsępu w obu kirunkch obliczń powiązni wilowyrzowych rgmnów ksów. Tn drugi spk rozbudowu orzymną mcirz powiązń zwiększąc dosępn opc łumczń wyrzów... Opis chnik symryzci przy dopsowniu ksu... Symryzc wyników końcowych Symryzc wyników końcowych s mchnizmm szroko sosownym. Isnią dosępn nrzędzi służąc do go clu. Jdnym z nich s MOSES [7] nrzędzi przznczon do worzni sysycznych rnslorów uomycznych skonsruown w sposób modułowy przy czym dn z modułów służy do symryzci. Wywołni go modułu po procsi obliczń dopsowni wyrzów w obu kirunkch uruchmi symryzcę. Symryzc moż być wykonn n kilk sposobów. W zlżności od lgorymu ki zosni użyy możn uzyskć lbo znczn polpszni rności 6

62 dopsowń lbo kości łumczni końcowgo bądź wywżni pomiędzy ymi dwom spkmi.... Rodz symryzci iloczyn sum mnogościow ich kompilc Dinic 3. Plikim wynikowym dopsowni wyrzów dl korpusu dwuęzyczngo nzywmy lisę mcirzy dopsowni wyrzów kór snowią rprzncę powiązń między wyrzmi w zdnich będących swoim wzmnym łumcznim. W przykłdzi. zprznowno rgmn pliku wynikowgo zwirącgo rzy pry zdń dl korpusu ngilsko-rncuskigo. W pliku wynikowym dopsowni dl kżd pry zdń są worzon rzy wirsz zwirąc odpowidnio: inormcę o ilości wyrzów w zdniu źródłowym i doclowym orz prwdopodobińswu poprwngo dopsowni zdń zdni źródłow zdni doclow z przypisnymi idnyikormi wyrzów z zdni źródłowgo. Przykłd. Frgmn mcirzy dopsowń korpusu rncusko-ngilskigo w posci pliku wynikowgo. # Snnc pir sourc lngh rg lngh lignmn scor :.4469 <CHAPTER ID=> NULL { } <CHAPTER { } ID=> { } # Snnc pir sourc lngh 4 rg lngh 4 lignmn scor :.539 Rpris d l sssion NULL { } Rsumpion { } o { } h { 3 } sssion { 4 } # Snnc pir 3 sourc lngh 3 rg lngh 4 lignmn scor :.3554 <SPEAKER ID= NAME="L Présidn"> NULL { } <SPEAKER { } ID= { } NAME="Prsidn"> { 3 4 } Złóżmy ż clm s dopsowni wyrzów w korpusi polsko-ngilskim. W pirwszym kroku dokonumy dopsowni w kirunku polsko-ngilskim w wyniku kórgo orzymumy pirwszy plik wynikowy. W drugim kroku oprcę powrzmy w kirunku ngilsko-polskim orzymuąc drugi plik wynikowy. Procs symryzci polg w kim przypdku n odpowidnim zgrgowniu wyników zpisnych w obu plikch. Symryzc dopsowń wyrzów moż być wykonn n wil sposobów. Rozróżnimy dw podswow ypy symryzci: symryzcę wdług iloczynu mnogościowgo 6

63 diving scub during dmgd ws cylindr oxygn Th symryzcę wdług sumy mnogościow. Dinic 4. Symryzcą wdług iloczynu mnogościowgo nzywmy symryzcę w kór prwdopodobińsw powiązń rozprywn są wyłączni dl pr wyrzów rz wysępuących w obu plikch wynikowych. W wyniku ki symryzci orzymumy mcirz A powsłą w nsępuący sposób: A A A gdzi A i A są mcirzmi dopsowń dnokirunkowych. Symryzcę wdług iloczynu mnogościowgo zobrzumy n przykłdzi w kórym nlizowny korpus dwuęzyczny skłd się z dn pry zdń: zdni polskigo i odpowidącgo mu zdni ngilskigo ob pliki wynikow skłdą się z dn mcirzy dopsowni wyrzów. Przykłd. Symryzc wdług iloczynu mnogościowgo Zdni w ęzyku polskim: Bul z lnm zosł uszkodzon podczs nurkowni. Zdni w ęzyku ngilskim: Th oxygn cylindr ws dmgd during scub diving nurkowni 7 podczs 6 uszkodzon 5 zosł 4 lnm 3 z Bul Rysunk. Dopsowni w kirunku: ęzyk polski do ęzyk ngilski. Rysunk. przdswi dopsowni wyrzów w kirunku polsko-ngilskim. W kim przypdku kżdy wyrz ngilski moż być powiązny z n wyrzmi polskimi. Pondo kżdmu wyrzowi polskimu odpowid mksymlni dn wyrz ngilski. Wyrzy Th i scub ni mą powiązni z żdnym wyrzm. 63

64 diving scub during dmgd ws cylindr oxygn Th diving scub during dmgd ws cylindr oxygn Th nurkowni 7 podczs 6 uszkodzon 5 zosł 4 lnm 3 z Bul Rysunk. Dopsowni w kirunku: ęzyk ngilski do ęzyk polski. Rysunk. przdswi dopsowni wyrzów w kirunku ngilsko-polskim. W ym przypdku kżdy wyrz polski moż być powiązny z n wyrzmi ngilskimi. Pondo kżdmu wyrzowi ngilskimu odpowid mksymlni dn wyrz polski. Wyrzowi nurkowni odpowidą wyrzy scub i diving nomis wyrzy z ni m swogo odpowidnik w zdniu ngilskim nurkowni 7 podczs 6 uszkodzon 5 zosł 4 lnm 3 z Bul Rysunk 3. Symryzc wdług iloczynu mnogościowgo dl dopsowni polsko-ngilskigo. Mcirz n rysunku 3. s wynikim symryzci wdług iloczynu mnogościowgo. Jk widzimy wysępuą w ni ylko powiązni wysępuąc zrówno w dopsowniu polsko-ngilskim k i ngilsko-polskim. Dinic 5. Symryzcą wdług sumy mnogościow nzywmy symryzcę w kór prwdopodobińsw powiązń rozprywn są dl pr wyrzów rz wysępuących w dowolnym pliku wynikowym. W wyniku ki symryzci orzymumy mcirz A 64

65 diving scub during dmgd ws cylindr oxygn Th powsłą w nsępuący sposób A A A gdzi A i A są mcirzmi dopsowń dnokirunkowych. Przykłd. Symryzc wdług sumy mnogościow Zdni w ęzyku polskim: Bul z lnm zosł uszkodzon podczs nurkowni. Zdni w ęzyku ngilskim: Th oxygn cylindr ws dmgd during scub diving nurkowni 7 podczs 6 uszkodzon 5 zosł 4 lnm 3 z Bul Rysunk 4. Symryzc wdług sumy mnogościow dl dopsowni polsko-ngilskigo. Rysunk 4. przdswi mcirz dopsowni będącą wynikim symryzci wdług sumy mnogościow. W omwinym przypdku wyrzowi nurkowni przyporządkowno snncę scub diving. Poz przdswionymi powyż dwom bzowymi modmi symryzci dopsowń wysępu kż szrg kompilci ych dwóch mod. Jdną z npopulrniszych s mod rind []. W modzi wykonu się symryzcę wdług iloczynu mnogościowgo nsępni dod się dopsowni i wysępuąc w mcirzy A bądź A żli ni wyrz z mcirzy A ni wyrz z A ni m dopsowni w mcirzy A lub spłnion są zrzm dw wrunki: dopsowni i m poziomych i i lub pionowych i i sąsidów kórzy są w mcirzy A zbiór A { i } ni zwir dopsowń zrówno z poziomymi i pionowymi sąsidmi. 65

66 diving scub during dmgd ws cylindr oxygn Th Aby zobrzowć dziłni mody rind użymy przykłdu prznowngo n rysunku 3. przdswiącgo symryzcę wdług iloczynu mnogościowgo. W n sposób zrlizowno pirwszy p mody rind. Trz nlży znlźć odpowidniki dl wyrzów kór ni mą szcz dopsowni. W nszym przypdku są o wyrzy: Th scub i diving. Dopsowni ych wyrzów wysępuą w mcirzch z rysunku. i rysunku. więc dodmy do wynikowgo dopsowni. W n sposób orzymumy dopsowni modą rind zprznown n rysunku nurkowni 7 podczs 6 uszkodzon 5 zosł 4 lnm 3 z Bul Rysunk 5. Symryzc wdług mody rind dl dopsowni polsko-ngilskigo..3. Miry ocny kości dopsowni. Do porównni rności dopsowń uzysknych różnymi modmi sosu się nsępuąc miry: prcyzę pokryci współczynnik błędu dopsowń AER ng. Alignmn Error R. Miry zosną omówion w podrozdzil.3.. Pondo kość dopsowni możn ocnić w sposób pośrdni wluuąc wyniki łumczni uomyczngo uzyskngo n bzi dopsowni. Przykłdową mirę kości łumczni przdswiono w podrozdzil.3. 66

67 .3.. Miry ocny bzpośrdni dopsowni Miry kości dopsowni okrśl się w odnisiniu do dopsowni rrncyngo uznngo z wzorcow. W dopsowniu wzorcowym wyróżni się dw ypy powiązń: - powiązni pwn poprwn z cłą pwnością - powiązni dopuszczln powiąc się w syucch nidnoznczności. Dinic 6. Dopsowni rrncyn o dopsowni w kórym wszyski wskzn powiązni są lbo pwn lbo dopuszczln pondo obmu cły zbiór kich powiązń. Dopsowni rrncyn worzon s z rguły przz człowik. Dinic 7. Prcyz ng. prcision w ogólności s o sosunk liczby poprwnych wskzń zwróconych przz lgorym do liczby wszyskich zwróconych wskzń. Mirę ą możn zsosowć do okrślni dokłdności dngo dopsowni wyrzów w korpusi dwuęzycznym z pomocą nsępuącgo wzoru: A P Prcision A gdzi P ozncz powiązni pwn lub dopuszczln w dopsowniu rrncynym A zwir wszyski powiązni wskzn przz lgorym. Dinic 8. Pokryci ng. rcll o sosunk liczby wskzń zwróconych przz lgorym do liczby wszyskich przypdków kór lgorym powinin wskzć. Mirę ą możn zsosowć do okrślni pokryci dngo dopsowni wyrzów w korpusi dwuęzycznym z pomocą nsępuącgo wzoru: A S R cll S gdzi S s zbiorm powiązń pwnych w dopsowniu rrncynym. Współczynnik błędu dopsowni zosł zproponowny przz Och i Ny [] w 3 roku. Od go czsu sosu się go w wilu prcch porównuących orzymn wyniki doświdczń bądź prznuących now wyniki [34]. Mchnizm wyliczni współczynnik błędu dopsowni zwrc procnową rność dopsowni wyrzów w korpusi dwuęzycznym. 67

68 Minus s rsoluions: Prlimn's on kn Acion Dinic 9. Współczynnik błędu dopsowni ng. Alignmn Error R - współczynnik okrślący rność dopsowni poszczgólnych wyrzów w pliku wynikowym dopsowni. N podswi łumczni rrncyngo sysm swirdz czy dn dopsowni wyrzów s prwidłow. Porównuąc koln zdni dl cłgo korpusu rrncyngo pows współczynnik AER odzwircidlący rność powiązń wyrzów. Współczynnik AER przdswiący ilość błędów dopsowń oblicz się z nsępuącgo wzoru: A S A P AER 33 A S gdzi A P i S są zdiniown k wyż Przykłd 3. Epy wyznczni współczynnik błędu dopsowni wyrzów dl przykłdow pry snnci korpusu polsko-ngilskigo. Złóżmy ż dl pry zdń w łumczniu polsko-ngilskim: # Snnc pir sourc lngh 8 rg lngh 7 lignmn scor : Acion kn on Prlimn's rsoluions: s Minus NULL { } Dziłni { 3 } podę { 5 } w { } wyniku { 4 } rzoluci { } Prlmnu: { } Prz { 6 } prookól { 7 } mmy nsępuący rrncyny zbiór dopsowń pwnych kolor czrny i dopuszczlnych kolor szry prookół 8 Prz 7 Prlmnu: 6 rzoluci 5 wyniku 4 w 3 podę Dziłni 68

69 Minus s rsoluions: Prlimn's on kn Acion Nomis ocniony zbiór dopsowń zdiniowny z pomocą pliku wynikowgo dopsowni w ormi mcirzy dopsowń m posć: prookół 8 Prz 7 Prlmnu: 6 rzoluci 5 wyniku 4 w 3 podę Dziłni N podswi możmy zdiniowć prcyzę pokryci i współczynnik błędu dopsowni: Prcyz = 3/7=4 Pokryci = 3/6 = 5 AER = 3+3/7+6 = 6/3 = 46 = 54. Podczs porównni mod symryzci obliczń dwukirunkowych wykorzysu się poęci prcyzi dinic 7. i pokryci dinic 8. odzwircidląc użyczność poszczgólnych mod. Mod iloczynu dopsowń chrkryzu się wyższą prcyzą i mniszym pokrycim nomis mod sumy dopsowń skuku większym pokrycim i mniszą prcyzą niż dopsowni dnokirunkow. W wynikowych dnych dopsowni wyrzów oczkumy wysoki prcyzi i dużgo pokryci z czgo wżniszą cchą s duż pokryci [35]. Mod rind wykorzysuąc zly obu mod bzowych d nlpsz rzuly pod względm rności dopsowń nmniszy współczynnik błędu..3.. Opis miry BLEU ko nrzędzi opisuącgo kość łumczni Jdną z mir kości łumczni s mir BLEU ng. Bilingul Evluion Undrsudy [36]. Jkość łumczni s w mirz ocnin ko korlc pomiędzy dnymi wyściowymi z dngo sysmu łumcznim rrncynym będącym wynikim prcy łumcz ludzkigo. Wyniki porównni łumczń poszczgólnych zdń są uśrdnin by orzymć obrz cłości łumczni. Mir BLEU s populrnym nrzędzim do 69

70 porównni poszczgólnych mchnizmów łumczń. Mimo kilku wd opisnych w poniższych prgrch pozos dnym z wyznczników dobr kości łumczni. Wro wspomnić ż mir BLEU m sosunkowo wysoką korlcę z ludzkim osądm łumczni uomyczngo [37] [38]. Aby w płni zrozumić zsdę obliczni miry BLEU nlży wprowdzić poęci n-grmu. Dinic. N-grm s o podciąg skłdący się z n wyrzów dngo ciągu. W zlżności od długości podciągu n-grm przymu różn nzwnicwo: unigrm n-grm o długości bigrm n-grm o długości rigrm n-grm o długości3 dłuższ podciągi nzywmy po prosu n-grmmi. W lgorymi kości dopsowni wyrzów mirą BLEU dl dngo zdni sprwdz się czy n-grmy z zdni przłumczongo uomyczni wysępuą w przynmni dnym z łumczń rrncynych. Sosu się poęci prcyzi orz pokryci w sposób nlogiczny do ocny rności dopsowń ni rozróżni się przypdków dopuszczlnych i pwnych: A P Prcision 34 A A P R cll 35 P gdzi P s zbiorm n-grmów wysępuących łumczniu rrncynym A s zbiorm n-grmów wysępuących w łumczniu ocninym. Podści o doprowdz nikidy do nioczkiwnych wyników co obrzu przykłd 4. Przykłd 4. Algorym kości dopsowni wyrzów mirą BLEU Złóżmy ż w łumczniu wygnrowno powórzni go smgo wyrzu. Skrny przypdk ki syuci obrzu poniższ bl: Ocnin issu issu issu issu issu issu issu issu issu issu łumczni Rrnc h issu o sy s is o vil impornc Rrnc h issu o sy s is vry imporn Tbl 6. Przykłd łumczni z nipożądnymi powórznimi 7

71 W przdswionym przykłdzi prcyz wyliczon dl unigrmów wynosi: m P 36 w gdzi m s liczbą wyrzów kndyd znlzionych w kści rrnci w liczbą wyrzów rrnci. W dn mryc wszyski dzisięć słów łumczni kndyduącgo zndu się w łumczniu rrncynym. Prcyz wynosi pomimo ż łumczni kndyd ni zchowu rści z żdngo łumczni rrncyngo. Dlgo ż sosu się pwną modyikcę: dl kżdgo wyrzu w łumczniu kndyduącym birz się pod uwgę mksymlną cłkowią liczbę wysąpiń dngo wyrzu w łumczniu rrncynym. W powyższym przykłdzi wyrz issu powi się rz w rrnci i rz w rrnci. To dlgo ko mksymlną liczb wysąpiń go wyrzu przymu się. W kolnym kroku obliczni miry BLEU dl kżdgo wyrzu w łumczniu kndyduącym porównu się liczbę powrzących się słów: powórzń dngo wyrzu w wszyskich łumcznich rrncynych: wybir się z go zbioru wrość niższą: m w i mksymlną liczbę m mx nsępni Coun clip min mw mmx 37 W ym przypdku liczb słów issu w łumczniu kndyduącym wynosi więc m mksymlną liczbą rrncyną s czyli m. Z go wynik ż w mx Coun clip. Nsępni wrość Coun clip s dzilon przz cłkowią liczbę słów w łumczniu kndyduącym. N podswi powyższgo przykłdu orzymumy nsępuącą wrość prcyzi: Coun P m clip Wykonuąc obliczni dl n-grmów różn długości orzymumy różn wyniki. Z przprowdzonych doświdczń wynik ż wrość n mąc nwiększą korlcę z dnoęzycznym osądm ludzkim wynosi czry. Końcowym pm worzni miry BLEU dl cłgo korpusu s łączni wrości prcyzi dl sgmnów. Wykorzysu się śrdnią gomryczną wrości prcyzi pomnożoną przz krę zwięzłości ng. brviy pnly w clu uniknięci syuci w kór króki ksy kndyduąc orzymuą zby wysoki wynik. Nich r będzi cłkowią 38 7

72 długością korpusu rrncyngo liczbą wyrzów w korpusi c cłkowią długością korpusu kndyd. Jśli wzór: BP r c c r o do obliczni kry zwięzłości wykorzysu się nsępuący. W przypdku wilu różnych zdń rrncynych r o sum długości zdń kórych długości są nbliższ do długości zdń kndyduących. Dinic. Mir BLEU ng. Bilingul Evluion Undrsudy mir kości łumczni okrśln ko korlc pomiędzy dnymi wyściowymi z dngo sysmu łumczącgo ksm rrncynym. Mir s okrślon wzorm: N w n log p n n BLEU BP 39 gdzi BP ozncz krę zwięzłości okrśloną wzorm w n ozncz liczbę wyrzów rrnci sli c r BP r c sli c r p n ozncz prcyzę wyliczoną dl n-grmów. Przykłd 5. Obliczni miry BLEU dl dwóch zdń ęzyk polsko-ngilskigo. Złóżmy ż n wściu sysmu łumczącgo mmy nsępuący ks: W wyniku podęych dziłń wonnych zginęło kilk ysięcy osób. Rząd ni poczuw się do odpowidzilności z ą rgdię. Nomis n wyściu orzymumy wynik w posci: As rsul o miliry oprions killd svrl housnd popl. Th govrnmn l no rsponsibiliy or his rgdy. Tłumczni rrncyn ręczn dl powyższgo ksu m nsępuącą posć: As rsul o miliry oprions svrl housnd popl wr killd. Th govrnmn l no rsponsibiliy or his rgdy. Obliczmy prcyzę dl unigrmów dinic. dl kżdgo zdni porównuąc łumczni wynikow z łumcznim rrncynym: P = / + /+ / + / + /+ /+ /+ /+ /+ / = P = /8 +/8 + /8 + /8 + /8 + /8 + /8 + /8 = 7

73 Końcowym pm obliczni miry BLEU s powiązni wszyskich wyników. Wykorzysu się w ym clu śrdnią gomryczną wrości prcyzi pomnożoną przz krę zwięzłości: BLEU / 8 log 8log Mir BLEU w wilu przypdkch okzu się dobrz korlowć z ludzkim osądm dzięki mu sł się punkm odnisini dl ocny kżd now i zmodyikown mody. W kilku przypdkch swirdzono ż ocn ludzk różnił się od ocny BLEU [38] [4]. Mimo o mod s ndl szroko sosown i uzysku wil pozyywnych opinii..4. Wpływ symryzci n wrość współczynników AER i BLEU Symryzc dwukirunkowych obliczń dopsowni wyrzów modmi sysycznymi powodu polpszni zrówno współczynnik AER k i miry BLEU. Dzięki wykonniu ki symryzci sysm orzymu znczni więc inormci o prwdopodobińswch dopsowni poszczgólnych wyrzów przz co moż z większą dokłdnością dopsowć wyrzy. W zlżności od zsosowngo lgorymu symryzci możmy uzyskć większą rność dopsowni wzros AER bądź wyższą kość łumczni końcowgo wzros BLEU. 73

74

75 Rozdził 3 Opis rozwiązni uorskigo 3.. Zsosowni symryzci wwnąrz irci oprc n plikch poszczgólnych modli Podści wykorzysuąc symryzcę wwnąrz procsu dopsowni wyrzów wymg znczn ingrnci w modl sysyczn co powodu duż modyikc sosownych nrzędzi. Jk doąd ni przdswiono prc proponuących podści do zgdnini poprzz modyikcę modli sysycznych. W mo prcy prgnę przdswić wyniki uzyskn włśni poprzz odpowidnią modyikcę lgorymów dopsowni wyrzów. Symryzc obliczń nsępu po kżd irci w zlżności od konigurci konkrngo modlu sysyczngo z obu kirunków obliczń. To wymg zsosowni wilowąkowości by obliczni w dnym czsi były wykonywn w dwóch kirunkch. Po kżd irci modlu sysyczngo nsępu powiązni wyników z obu kirunków obliczń z zsosownim odpowidnich przkszłcń. Nsępni k powsł blic są przkzywn do obu kirunków obliczń i nsępu koln irc. Aby wykonć symryzcę dopsowń wyrzów nlży wykonć po kżd irci powiązni odpowidnich plików wyściowych z dwóch kirunków obliczń. W zlżności od kulngo modlu sysyczngo liczb plików wymgących powiązni zmini się podobni k ich wilkość. Zwrość poszczgólnych plików wrz z modlmi sysycznymi przdswiono w podrozdzil Opis zwrości plików wynikowych modli sysycznych Płn procs symryzci obliczń dwukirunkowych przdswi rysunk 6. Po kżd irci modlu. wykonumy symryzcę plików zwirących prwdopodobińsw łumczni wyrzów. W modlu HMM wykonumy symryzcę plików i zwirących prwdopodobińsw dopsowni pozyci wyrzów. Nomis w modlu 3. i 4. dochodzi dodkowo symryzc plików d zwirących prwdopodobińsw znikszłcni wyrzów n odpowidnich pozycch. Po zkończniu obliczń nsępu symryzc końcow wykonywn dną z dosępnych mod prz rozdził.. 75

76 Rysunk 6. Schm dziłni symryzci po kżd irci. Koln pliki mą srukurę przdswioną w bli 7. Zwirą on prwdopodobińsw łumczni wyrzów w dnym korpusi dwuęzycznym w dnym z kirunków. Liczb w pirwsz kolumni ozncz uniklny idnyikor wyrzu z korpusu doclowgo nomis drug kolumn zwir idnyikor wyrzu z korpusu źródłowgo. Osni kolumn zwir prwdopodobińswo dopsowni dwóch wyrzów. 76