Polsko-Ukraiński Korpus

Transkrypt

1 Polsko-Ukraiński Korpus Autorzy: Natalia Kotsyba, Instytut Slawistyki PAN Magdalena Turska, Uniwersytet Warszawski

2 Czym jest korpus? Zbiór r tekstów w albo zapisanych wypowiedzi, wykorzystywany dla celów w analizy lingwistycznej (The American Heritage Dictionary of the English Language)

3 Czym jest korpus równoległy? Zbiór r par tekstów w (eng( eng. bitexts) ) w dwóch językach Запропонована модель виглядає доволі переконливо... Proponowany model wygląda dość przekonująco...

4 Czemu służą korpusy równoległe Baza danych odpowiedników w słów s w i wyrażeń oraz ich kontekstów w dla tłumaczyt Baza danych dla konfrontatywnej analizy lingwistycznej Punkt wyjścia do konstrukcji wiarygodnych słowników w dwujęzycznych

5 Jak tworzymy korpusy? Dobieramy obszerny zbiór r tekstów reprezentujących różne r style językowe j (np. artykuł,, notatka prasowa, korespondencja, dokumentacja techniczna, literatura piękna) Znakujemy surowiec za pomocą odpowiednich narzędzi (lematyzator,, analizator morfologiczny, aligner)

6 Narzędzia do znakowania Analizator morfologiczny wyznacza formę lub formy (w przypadku homonimii) podstawowe słowa s oraz jego charakterystyki gramatyczne na podstawie bazy słownikowej s oraz reguł gramatycznych miał 1. mieć,, czasownik, 3os lp,, cz. przeszły, tr.. orzekający miał,, rzeczownik, mianownik lp. r.męski...

7 Istniejące analizatory j. polskiego Marcin Woliński et al., IPI PAN Krzysztof Szafran, MIM UW M. Gajęcki et al., AGH

8 Istniejące analizatory j. ukr ULIF (Ukraiński Fundusz Lingwistyczno- Informacyjny) istnieje słownik s fleksyjny

9 Lematyzator dokonuje analizy morfologicznej w oparciu o heurystyki jest przydatny w przypadku braku analizatora morfologicznego, wyniki wymagają weryfikacji

10 Aligner służy y do wyrównywania tekstów równoległych, przyporządkowuj dkowując nawzajem odpowiadające sobie ich fragmenty typowymi fragmentami sąs zdania lub akapity Problem: jak wyróżni nić i dopasować zdania?

11 Zastosowania korpusu (powtórka): Narzędzie pracy tłumaczyt Podstawa do tworzenia słowniks owników Materiał do analizy lingwistycznej...

12 Słownik dwujęzyczny: Analiza morfologiczna i wyznaczenie listy form podstawowych (haseł) Redakcja haseł (jako zbioru znaczeń) ) oraz przyporządkowanie sobie znaczeń pomiędzy językami na podstawie analizy konkordancji Selekcja haseł (opcjonalnie) pod kątem k konkretnej edycji (np. ograniczenie objęto tości, wybór r dziedziny)

13 Proces tworzenia słownika Korpus polski Lista haseł Lista haseł Korpus ukraiński SŁOWNIK

14 Analiza morfologiczna: Każdy wyraz w korpusie sprowadzamy do jego formy podstawowej Lista form podstawowych jest listą wyjściow ciową haseł słownika

15 Przebieg analizy morfologicznej Tekst Analizator morfologiczny i dezambiguator Tekst anotowany

16 Realizacja analizy morfologicznej Modułowa owa budowa projektu pozwala na wpięcie dowolnego analizatora (pod warunkiem zastosowania wrappera dostosowującego formaty wejścia i wyjścia) korpus wrapper analizator

17 Interfejs narzędzia redakcyjnego forma hasło podejść Szukaj polskie ukrainskie Kontekst lewy całe zdania Kontekst prawy oraz na lata następne konieczności nowego podejścia do problemu zaspokojenia potrzeb mieszkaniowych przy Rynku Kleparskim dwie kobiety podeszły od tyłu do robiącej zakupy mieszkanki також на наступні роки потреби нового підходу до проблеми задоволення житлових потреб біля Клепарського ринку дві жінки підійшли ззаду до мешканки, котра робила покупки całe zdania 1. «posunąć się (pójść, rzadziej: pojechać) w jakimś kierunku, zbliżyć się do kogoś lub czegoś» > підійти Definicja 2. «mieć nastawienie do czegoś» 3. «oszukać kogoś» 4. «pasować, odpowiadać» 5. «zaczynać» 6. «wypełnić się od spodu cieczą (zwykle w połączeniu z formą narzędnika)» > > > > > 1. (до когось/чогось) наблизитися 2. (до когось/чогось) пасувати np. ключ не підійшов 3. (до когось/чогось) з певноїточки зору 4. піднятися (про дріжджове тісто)

18 Edycja hasła punkt wyjścia Opis z istniejącego słownika s jednojęzycznego (dla j.polskiego np. słownik rzędu Doroszewskiego lub PWN, dla j. ukraińskiego słownik pod red. Biłodida odida) Zbiór r konkordancji z korpusu równolegr wnoległegoego

19 Zalety konkordancji równoległych Korzystamy z twórczych rozwiąza zań tłumaczy dot. opisu realiów w językowych, j frazeologizmów, terminologii: Neologizmy czy okazjonalizmy? Opisy/ kolokacje (st( stąd d m.in. asymetria słowników w dwujęzycznych) Synonimy

20 Pułapki konkordancji Tłumaczy się nie odrębne wyrazy, lecz sytuacje Przykłady z nagłówk wków w gazet: Czesław Miłosz nie żyje (*...jest martwy) Помер Чеслав Мілош (*... не живе,,...є мертвий), szyk sposób b na wyrażenie znaczenia Perfektu Czeslaw Milosz is dead (*...does not live)

21 Pułapki konkordancji Tłumacz ma wolną rękę co do zamiany hiperonimiczno-hiponimicznej hiponimicznej uogólnia lub uszczególnia wyrazy w zależno ności od realiów w językowych j i według własnego w uznania np. goździk kwiatek

22 Słownik objaśniający idealny Opisuje wszystkie występuj pujące i tylko występuj pujące znaczenia Znaczenia sąs podawane w kolejności, zgodnej z częstotliwo stotliwością używania

23 Słownik objaśniający w rzeczywistości Opisywane znaczenia sąs często przestarzałe (wyodrębnione i egzemplifikowane na podstawie utworów klasycznych) Znaczenia sąs niepotrzebnie powielane Znaczenia sąs niekonsekwentnie pogrupowane Kolejność opisywanych znaczeń nie zawsze odzwierciedla częstotliwo stotliwość ich występowania w mowie

24 Słownik objaśniający w rzeczywistości c.d. To utrudnia proces kojarzenia znaczeń haseł,, które sąs podobnie używane u w spokrewnionych językach, j ale w różny r sposób b opisane w słownikach s objaśniaj niających + faux amis umowa угода agreement warunek умова condition

25 Edycja hasła ustalenie znaczeń Wystąpienia hasła a w konkordancjach przyporządkowujemy do kategorii semantycznych To pozwala w konsekwentny sposób rozróżnia niać odrębne znaczenia hasła Ostateczna decyzja o dołą łączeniu bądźb usunięciu znaczenia należy y do redaktora

26 Edycja hasła kojarzenie znaczeń Przyporządkowujemy sobie znaczenia pomiędzy dwoma (lub więcej) językami, j na podstawie równolegr wnoległej ej analizy konkordancji w obu językach, j istniejących definicji w słownikach jednojęzycznych oraz, ostatecznie, arbitralnej decyzji redaktora

27 Przykładowe hasło polskie PODEJŚĆ - PODCHODZIĆ (za s (za słownikiem PWN) 1. «posunąć się (pójść ść,, rzadziej: pojechać) ) w jakimś kierunku, zbliżyć się do kogoś lub czegoś» 2. «posunąć się pod górę; g ; wspiąć się» 3. zwykle dk «postąpić wobec kogoś podstępnie, pnie, chytrze, zdradziecko; oszukać kogoś» 4. częś ęściej ndk «zbliżać się do kogoś lub czegoś ostrożnie, ukradkiem, zwykle w celu dokonania napaści lub podpatrzenia; tropić» 5. «wypełnić się od spodu cieczą (zwykle w połą łączeniu z formą narzędnika) dnika)»

28 Przykładowe hasło - najbliższy odpowiednik ukraiński ПІДІЙТИ док. - ПІДХОДИТИ недок. (za słownikiem s Biłodida odida) 1. - ідучи, наближатися до кого-, чого-небудь небудь; - наближатися підїжджаючи, підпливаючи, підлітаючи і т.ін. до кого-, чого-небудь небудь; - прибувати куди-небудь небудь; 2. - приступати до чого-небудь небудь, братися за яку-небудь справу; - виявляти своє ставлення до чого-небудь небудь, оцінюючи; 3. - уміти привернути, прихилити кого-небудь до себе, завоювати довір я - звернутися до кого-небудь з прoханням ханням, пропозицією, вимогою і т.ін 4. наближатися, наставати (про час, події, явища і т.ін.) 5. розміщуватися близько чого-небудь небудь, бути в безпосередньому сусідстві з чимсь, межувати з ним

29 Przykładowe hasło - najbliższy odpowiednik ukraiński c.d бути придатним, прийнятним, відповідаючи яким-небудь вимогам - бути відповідним - личити - пристосовyватися ватися, підроблятися 7. переміщатися, підніматися догори 8. ідучи, пройти яку-небудь відстань 9. збільшуючись в об ємі ємі, підійматися (про тісто) 10. насичуватись чим-небудь Сніг підійшов водою.

30 Analiza konkordancji Zapytanie do korpusu IPI PAN [base= base= podejść ] ] meta created>1960 zwróci ciło o 244 próbki tekstów. Zdecydowana większo kszość użyć (ok. 80%) była a w znaczeniu 1; w najbliższej dystrybucji wskazywano docelowe miejsce ruchu podejść do + nazwa przedmiotowa (np. do furtki, do koszyka, do nas; bliżej = do mówim wiącego). Podobnie z zapytaniem [base= base= podchodzić ] ] meta created> próbki, proporcje te same

31 Analiza konkordancji 2 1. Grzegorz Kaliciak: - Mieliśmy grać to co zawsze. I choć Pogoń bardzo poważnie podeszła do meczu,, to my jesteśmy lepiej przygotowani. Mieliśmy wprawdzie drobny kryzys po meczu w Parmą,, ale to już przeszłość ść. => NOWE ZNACZENIE mieć nastawienie (nieakcjonalny,, relacyjny) ok. 20% użyću 2. W okolicy miasta Mechelen musieli awaryjnie lądowal dować. Podchodzący cy do lądowanial samolot nie uszedł uwagi belgijskich żołnierzy pełni niących służbęs na znajdującym się nieopodal posterunku granicznym. => NOWE ZNACZENIE zaczynać (niepełnoznaczny,, modyfikator fazowy) 3. Z drugiej zaś strony Nathan, Michael, Shawn i Wanya z powodzeniem wcielają w czyn swoje indywidualne pomysły; y; na przykład podchodzące ce pod śpiew a cappella wokalizy. Innymi słowy: s Boyz II Men nagrali sprytny, inteligentny, dość dobry album, który świadczy o tym <Dziennik Polski, X. 2000> => 2 4. Na 5 pytań odpowiedział gładko, zapewniwszy sobie gwarantowany 1000 zł. z Niestety, pytanie za 2000 zł, z, dotyczące ce El Greco,, "nie podeszło ". => NOWE ZNACZENIE, pasować,, odpowiadać (nieakcjonalny,, relacyjny, porównawczy)

32 Klasyfikacja semantyczna Czasowniki Pełnoznaczne Niepełnoznaczne Akcjonalne -fizyczne -mentalne -... Nieakcjonalne -stanowe -funkcyjne -relacyjne -komplikatory Modyfikatory -fazowe -modalne Kompensatory wg. G. Zolotowej

33 Klasyfikacja - przykład prowadzić 1. «wieść kogoś,, coś do jakiegoś miejsca, do celu; przeprowadzać kogoś,, kto nie zna drogi albo sam iśći nie może, wskazywać komuś drogę» - akcjonalny predykat ruchu (kauzacja( przemieszczenia się) 2. «stawać się przyczyną czegoś; ; powodować,, wywoływa ywać coś,, pociąga gać za sobą coś» - nieakcjonalny kauzatywny predykat (komplikator( komplikator) 3. «kierować pojazdem mechanicznym, statkiem, końmi mi» =1 4. «kierować partnerem w tańcu cu» =1 5. «sprawować nad czymś nadzór, zarządza dzać czymś,, zajmować się,, trudnić się czymś; ; kierować czymś» - niepe pełnoznaczny, kompensator 6. «w w połą łączeniu z rzeczownikiem będącym b dopełnieniem oznacza: realizować,, kontynuować to, co jest wyrażone w dopełnieniu nieniu» =5 7. «ciągnąć się w jakąś stronę,, stanowić dojście lub przejście do czegoś» - nieakcjonalny predykat lokalizujący 8. «o o zawodnikach, drużynach sportowych: być pierwszym w klasyfikacji, mieć przewagę nad przeciwnikiem; przodować» - nieakcjonalny predykat porównawczy 9. muz. «uwypuklać melodię w kompozycji albo w jej wykonaniu» - akcjonalny predykat, kauzacja relacji, t. zn. robiąc c coś,, sprawiać, że e P(x) 10. ogr. «podpierać,, przycinać,, wycinać itp. gałę łęzie, pędy p lub korzenie rośliny w celu nadania roślinie określonego kształtu, tu, określonej formy»

34 Różne zachowanie składniowe Mama prowadzi dziecko do przedszkola Dziecko jest prowadzone przez mamę Prowadzenie dziecka przez mamę?mama zaczyna prowadzić dziecko do przedszkola Mama powoduje, że e dziecko idzie... akcjonalny predykat ruchu + kauzacja ruchu Tata prowadzi samochód Prowadzenie przez tatę samochodu?tata zaczyna prowadzić samochód Tata powoduje, że e samochód d się porusza akcjonalny predykat ruchu + kauzacja ruchu; nieakcjonalny stanowy Profesor prowadzi zajęcia Zajęcia sąs prowadzone przez profesora Prowadzenie zajęć ęć/ / profesora Profesor zaczyna/chce prowadzić zajęcia *Profesor powoduje, że... niepe pełnoznaczny kompensator Ścieżka prowadzi do lasu *Prowadzenie przez ścieżkę do lasu *Ścieżka zaczyna prowadzić do lasu * Ścieżka powoduje... nieakcjonalny predykat lokalizujący (są też ograniczenia na użycie u form imperatywnych, imiesłow owu przysłówkowego *prowadząc,, 1 i 2 osoby, formy dokonanej)

35 Przykładowe hasło po analizie PODEJŚĆ - PODCHODZIĆ (za słownikiem s PWN) 1. «posunąć się (pójść ść,, rzadziej: pojechać) w jakimś kierunku, zbliżyć się do kogoś lub czegoś» 2. «posunąć się pod górę; g ; wspiąć się» 3. zwykle dk «postąpić wobec kogoś podstępnie, pnie, chytrze, zdradziecko; oszukać kogoś» 4. częś ęściej ndk «zbliżać się do kogoś lub czegoś ostrożnie, ukradkiem, zwykle w celu dokonania napaści lub podpatrzenia; tropić» 5. «wypełnić się od spodu cieczą (zwykle w połą łączeniu z formą narzędnika) dnika)» PODEJŚĆ - PODCHODZIĆ (analiza konkordancji i klasyfikacja semantyczna) 1. «posunąć się (pójść ść,, rzadziej: pojechać) w jakimś kierunku, zbliżyć się do kogoś lub czegoś» akcjonalny ruchu 2. «mieć nastawienie do czegoś» nieakcjonalny relacyjny 3. «oszukać kogoś» złożony ony predykat akcjonalny mentalny + kauzacja 4. «pasować,, odpowiadać» nieakcjonalny, relacyjny 5. «zaczynać» niepełnoznaczny noznaczny modyfikator fazowy 6. «wypełnić się od spodu cieczą (zwykle w połą łączeniu z formą narzędnika) dnika)» nieakcjonalny stanowy

36 Przykładowe hasło po analizie ПІДІЙТИ док. - ПІДХОДИТИ недок. (za słownikiem s Biłodida odida) 1. - ідучи, наближатися до кого-, чого- небудь; - наближатися підїжджаючи, підпливаючи, підлітаючи і т.ін. до кого-, чого-небудь небудь; - прибувати куди-небудь небудь; 2. - приступати до чого-небудь небудь, братися за яку-небудь справу; - виявляти своє ставлення до чого- небудь, оцінюючи; 3. - уміти привернути, прихилити кого- небудь до себе, завоювати довір я - звернутися до кого-небудь з прoханням ханням, пропозицією, вимогою і т.ін 4. наближатися, наставати (про час, події, явища і т.ін.) ПІДІЙТИ док. ПІДХОДИТИ недок. (za słownikiem s Biłodida odida) 1. наближатися akcjonalny ruchu 2. мати ставлення nieakcjonalny relacji 3. пасувати nieakcjonalny rel. 4. починати(ся ся) niepe pełnoznaczny modyfikator fazowy 5. бути близько чого-небудь nieakcjonalny relacyjny lokalizujący 6. збільшуючись в об ємі ємі, підійматися (про тісто) nieakcjonalny stanowy 7. насичуватись чим-небудь (рідиною) - nieakcjonalny stanowy

37 Przykładowe hasło po analizie 2 5. розміщуватися близько чого-небудь небудь, бути в безпосередньому сусідстві з чимсь, межувати з ним 6. - бути придатним, прийнятним, відповідаючи яким-небудь вимогам - бути відповідним - личити - пристосовyватися ватися, підроблятися 7. переміщатися, підніматися догори 8. ідучи, пройти яку-небудь відстань 9. збільшуючись в об ємі ємі, підійматися (про тісто) 10. насичуватись чим-небудь Сніг підійшов водою.

38 Kojarzenie haseł pol. > ukr. PODEJŚĆ - PODCHODZIĆ (analiza konkordancji i klasyfikacja semantyczna) 1. «posunąć się w jakimś kierunku, zbliżyć się do kogoś lub czegoś» підійти - підходити 1 2. «mieć nastawienie do czegoś» nieakcjonalny,, relacyjny підійти - підходити 2 3. «oszukać kogoś» = złożony ony predykat akcjonalny mentalny, z kauzacją propozycji ошукати ошукувати 1, надурити надурювати 1 4. «pasować,, odpowiadać» nieakcjonalny,, relacyjny підійти - підходити 3 5. «zaczynać» niepełnoznaczny noznaczny modyfikator fazowy починати 6. «wypełnić się od spodu cieczą (zwykle w połą łączeniu z formą narzędnika) dnika)» підійти - підходити 5

39 Kojarzenie haseł ukr. > pol. ПІДІЙТИ док. ПІДХОДИТИ недок. (za słownikiem s Biłodida odida) 1. наближатися akcjonalny ruchu podchodzić 1 2. мати ставлення nieakcjonalny relacji podchodzić 2 3. пасувати nieakcjonalny rel. podchodzić 4 4. починати(ся ся) niepe pełnoznaczny modyfikator fazowy zaczynać się 5. бути близько чого-небудь nieakcjonalny relacyjny lokalizujący znajdować się blisko 6. збільшуючись в об ємі ємі, підійматися (про тісто) nieakcjonalny stanowy rosnąć 7 7. насичуватись чим-небудь (рідиною) nieakcjonalny stanowy podchodzić 6

40 Realizacja Zespół redaktorski Podział pracy nad hasłami ami tematyczny

41 Implementacja Elektroniczny korpus równolegr wnoległy Relacyjna baza danych z możliwo liwością zapisu w standardzie Unicode (np. MySQL) Zapis tekstów w w języku j XML (znakowanie rozdziałów, paragrafów, zdań; ; opis nagłówk wków) w) Dalsza anotacja również w XML (nieograniczone możliwo liwości)

42 Znakowanie semantyczne Umożliwia przedstawianie informacji na podstawie ontologii (WordNet( WordNet, Laboratory of Applied Ontology), m. in. semantyczna anotacja czasu: "Corriere della Sera" pisze w czwartek, że e wciąż nie wiadomo, w których uroczystościach ciach Wielkiego Tygodnia i Wielkanocy Jan Paweł II weźmie udział.. (onet.pl( onet.pl,, 10.III.2005) <time date= week=11 dayofweek=4 span=day>czwartek</time> <time begin= end= week=17 span=week>wielkiego Tygodnia</time>

43 Implementacja Narzędzia edycyjne (Perl, Java,, C, C++) Interfejs www korpusu i słownika s (Perl, PHP) Słownik jako gotowy produkt (C, C++)