1 Narzędzia przetwarzania 2 tekſtów hiſtorycznych

Transkrypt

1 1 Narzędzia przetwarzania 2 tekſtów hiſtorycznych Marcin Wolińſki, Witold Kieraś, Dorota Komo ńska, Emanuel Modrzejewſki Zespół Inżynieriey Lingw tyczney In ytut Pod aw Informatyki Polſkiey Akademii Nauk K W Wárßáwie, 18 dnia Czerwca A.D. MMXVIII J 1/32

2 K Projekt Chronofleks J 1 Przedstawione narzędzia zostały opracowane (głównie) w ramach projektu: Model formalny diachronicznego op u fleksji polskiej i jego komputerowa implementacja grant NCN 2014/15/B/HS2/03119 czas trwania: 11 sierpnia lutego /32

3 K Narzędzia przetwarzania tekstu barokowego J 1 narzędzie do automatycznej transkrypcji tekstów, 1 Korbeusz automatyczny analizator fleksyjny na bazie Morfeusza 2, 1 Anotatornia 2 system do ręcznego znakowania korpusów, 1 automatyczne narzędzie ujednoznaczniające (tager) 3/32

4 K Schemat działania J dokument źródłowy plik tekstowy transkrypcja ujednoznacznienie analiza fleksyjna znakowany korpus 4/32

5 K Schemat działania J dokument źródłowy plik tekstowy transkrypcja ujednoznacznienie analiza fleksyjna znakowany korpus ręczne znakowanie 4/32

6 K Schemat działania J dokument źródłowy Wczytywacz Transkryber Concraft/Toygger Morfeusz 2 (Korbeusz) znakowany korpus Anotatornia 2 4/32

7 K Transkrypcja J 1 Normalizacji podlegają wyłącznie warianty ortograficzne, nie są zaś modyfikowane dawne formy fleksyjne. 1 Nie jest to decyzja oczywista w wielu korpusach historycznych dla innych języków normalizacji podlega ogół zjawisk językowych (czasem nawet leksyka!), by znormalizowany tekst można było przetwarzać dalej narzędziami dla współczesnego wariantu języka bez konieczności ich modyfikacji. 1 Nie zawsze niestety da się ściśle odgraniczyć zjawiska ortograficzne od fleksyjnych. 5/32

8 K Transkrypcja przykład J KOMISJA (między rokiem 1650 i 1918): comm siey, comm syi, kom ja, kom ją, kom ję, kom ji, kom sja, kom sya, kom syę, kom syi, kom ya, kom yą, kom ye, kom yę, kom yi, kom yj, kom yją, kom yję, komm ij, komm ja, komm jów, komm sii, komm sij, komm sją, komm sje, komm sjów, komm sya, komm syi, komm syiey, komm yi. W procesie transkrypcji: 1 zmieniono inicjalne c na k, 1 usunięto podwojenia liter spółgłoskowych s i m, 1 wprowadzono j zamiast y lub i. 1 pozostawiono dawne formy fleksyjne: kom jej, kom jów i kom ją (w B. lp.). 6/32

9 K Transkrypcja przykłady reguł J lewy kontekst znajdź prawy kontekst zmień na wyjątki 1..* ˆoˆ.* go 2. ˆ naiw.* najw naiwn.* 3. T j T y mjr 7/32

10 K Korbeusz J Słownik: 1 postarzone dane SGJP konwersja tagsetu i dotworzenie niektórych regularnych dawnych form (walidacjej, ładnę, ładnemi, zmienim, klęczta, klęczwa itp.), 1 dane fleksyjne SXVII, 1 automatycznie zrekonstruowane częściowe paradygmaty SXVII. Reguły segmentacyjne: 1 pisownia łączna z nie, 1 pisownia łączna licznych partykuł (ć, li, że, ż), 1 znacznie bardziej ruchome aglutynanty. 8/32

11 K Automatyczna rekonstrukcja J celnictwo subst:sg:nom:n celnictwem subst:sg:inst:n celnictwie subst:sg:loc:n bogactwo subst:sg:nom:n bogactwa subst:sg:gen:n bogactwem subst:sg:inst:n bogactwie subst:sg:loc:n bogactwa subst:pl:nom:n bogactw subst:pl:gen:n bogactwa subst:pl:nom:n bogactwy subst:pl:inst:n rdzeń celnictwa subst:sg:gen:n celnictwa subst:pl:nom:n celnictw subst:pl:gen:n celnictwa subst:pl:nom:n celnictwy subst:pl:inst:n zakończenia i znaczniki 9/32

12 K Tagery J 1 Concraft: conditional random fields, ujednoznacznianie niejednoznacznej segmentacji ( 94%), C słabsze wyniki dezambiguacji ( 88%), C nieco lepsze zgadywanie. 1 Toygger: sieci neuronowe (bi-lstm), wyłącznie ujednoznacznianie znaczników na zadanej segmentacji, lepsze wyniki dezambiguacji ( 91%), C nieco słabsze zgadywanie. 10/32

13 K Anotatornia 2 J 1 System Anotatornia 2 służy do ręcznego ujednoznaczniania i weryfikacji znakowania fleksyjnego tekstu historycznego. 1 Uwzględnia specyficzne potrzeby korpusów historycznych: C tekst istnieje w dwóch równoległych postaciach: transliterowanej i transkrybowanej, C musi być zachowywana informacja o numerach stron oryginałów, z których pochodzą poszczególne wyrazy. 11/32

14 K Anotatornia 2 J Praca w Anotatorni obejmuje: 1 korektę segmentacji wyróżnienia wykładników tekstowych form fleksyjnych, 1 korektę transkrypcji, 1 korektę podziału na zdania, 1 ujednoznacznienie i uzupełnienie opisu fleksyjnego dostarczonego przez Korbeusza. 12/32

15 K Anotatornia 2: Tryb znakowania AA+A J Powszechnie przyjęty tryb znakowania korpusów: 1 każda próbka korpusowa jest znakowana niezależnie przez dwóch annotatorów, 1 lista konfliktów jest przedstawiana annotatorom do ponownego sprawdzenia, 1 pozostałe konflikty rozstrzyga arbiter ( superannotator ). 13/32

16 K Anotatornia 2: Tryb znakowania AT+A J Pomysł usprawnienia: zastąpić jednego z annotatorów programem automatycznym (tagerem): 1 każda próbka korpusowa jest znakowana tylko przez jednego annotatora, 1 wynik jego pracy jest porównywany z wynikami tagera, 1 lista konfliktów jest przedstawiana annotatorowi do ponownego sprawdzenia, 1 pozostałe konflikty rozstrzyga arbiter. 14/32

17 15/32 A INTERFEJS ANNOTATORA D

18 16/32

19 17/32

20 18/32

21 19/32

22 20/32

23 21/32

24 22/32

25 23/32

26 24/32

27 25/32

28 26/32 A WYKRYTO KOLIZJE D

29 27/32

30 28/32 A INTERFEJS SUPERANNOTATORA D

31 29/32

32 30/32

33 K Ręcznie oznakowana część korpusu J 1 W ramach projektu KorBa oznakowano w Anotatorni 2 fragment korpusu barokowego: C w trybie AA+A zostało oznakowane segmentów, C ponadto segmentów zostało oznakowanych tylko przez jednego annotatora. C Łączna długość korpusu znakowanego ręcznie: segmenty. 31/32

34 K Podsumowanie J 1 Narzędzia opracowane w ramach projektu Chronofleks (a więc przede wszystkim odpowiednie wersje Morfeusza 2 i Anotatornia 2) zostały użyte do znakowania korpusów z trzech okresów: C barokowego, C XIX wieku, C współczesnego. 1 Pozwala to wyrazić przekonanie, że narzędzia te można zastosować również do tekstów z innych epok. Do czego serdecznie zachęcamy. 32/32