Korpusomat narz dzie do tworzenia przeszukiwalnych korpusów j zyka polskiego

Transkrypt

1 Korpusomat narz dzie do tworzenia przeszukiwalnych korpusów j zyka polskiego Witold Kiera± Šukasz Kobyli«ski Maciej Ogrodniczuk Michaª Wasiluk Instytut Podstaw Informatyki PAN V cykl wykªadów i warsztatów CLARIN-PL Warszawa 2930 maja 2017 (IPI PAN) Korpusomat / 35

2 Agenda Cz ± "wykªadowa" (ok. 30 min) Wprowadzenie prezentacja Korpusomatu. Demonstracja systemu. Cz ± "warsztatowa" (pozostaªy czas ok 1,5 godziny) Warsztat "tutorial". Warsztat praca z wªasnymi danymi. (IPI PAN) Korpusomat / 35

3 Dlaczego warto zajmowa si lingwistyk korpusow? Korpus to systematycznie wybrany zbiór tekstów, wykorzystywanych w analizach lingwistycznych, przechowywanych najcz ±ciej w formie elektronicznej, cz sto uzupeªniony dodatkowymi warstwami anotacji. Przykªady zastosowa«analiz korpusowych obliczanie cz sto±ci wyst pie«sªów, fraz i kolokacji, badanie najcz stszych kontekstów wyst pie«sªów lub fraz, badanie zmian j zyka w czasie, przy wykorzystaniu korpusów tekstów historycznych, badanie rzeczywistego wykorzystania j zyka przez jego u»ytkowników (korpusy dziedzinowe, korpusy obcoj zyczne). (IPI PAN) Korpusomat / 35

4

5

6 Dlaczego warto tworzy korpusy tekstowe? Przykªady istniej cych korpusów tekstowych Narodowy Korpus J zyka Polskiego, British National Corpus, Penn Treebank, ale te» np. Korpus J zyka Mªodzie»y,... Wedªug jakiego klucza mo»na utworzy korpus? wg dziedziny, np. teksty medyczne, ekonomiczne, prawnicze, wg autora, np. Stanisªaw Lem, wg epoki, np. korpus polszczyzny XVIII w.,... (IPI PAN) Korpusomat / 35

7 Korpusomat Czym jest Korpusomat? Narz dzie (serwis internetowy), sªu» ce do tworzenia wªasnych korpusów tekstowych, automatycznie anotowanych w warstwie morfosyntaktycznej. Motywacja analizy korpusowe s cennym narz dziem wspieraj cym prac lingwistów, leksykografów, tªumaczy, studentów i nauczycieli, istniej ce narz dzia s : zwi zane z istniej cymi korpusami, bez mo»liwo±ci wykorzystania wªasnych danych, trudne do wykorzystania przez osoby nietechniczne, niedostosowane do j zyka polskiego, komercyjne/pªatne. (IPI PAN) Korpusomat / 35

8 Idea Korpusomatu Idea Korpusomatu tworzenie korpusu nie wymaga specjalistycznej wiedzy, korpus mo»na utworzy z dowolnego zbioru wªasnych zasobów, instalacje na wªasnym komputerze s ograniczone do wyszukiwarki korpusowej. (IPI PAN) Korpusomat / 35

9 Korpusomat funkcje Dodatkowe mo»liwo±ci pobieranie tekstów ze wskazanych adresów internetowych (web-scraping), masowe ªadowanie wielu tekstów z plików (drag-and-drop), ªadowanie archiwów plików ¹ródªowych (zip), autodetekcja metadanych, konguracja wªasnej struktury metadanych, generowanie korpusu w formacie XML. (IPI PAN) Korpusomat / 35

10 Korpusomat dziaªanie Etapy przetwarzania ekstrakcja tekstu: konwersja formatów binarnych oraz ekstrakcja tre±ci gªównej, konwersja kodowania tekstu do UTF-8, segmentacja i analiza morfologiczna tekstu, znakowanie morfosyntaktyczne, tworzenie binarnej postaci korpusu, do przeszukiwania oprogramowaniem Poliqarp. (IPI PAN) Korpusomat / 35

11 Ekstrakcja tekstu Konwersja formatów binarnych konwersja ma na celu uzyskanie tekstu ¹ródªowego z formatu binarnego, przykªad: lord-jim-tom-pierwszy.epub: META-INF OPS part1.html, part2.html, part3.html mimetype konwersja wykonywana jest za pomoc biblioteki Apache Tika oraz oprogramowania Calibre. Ekstrakcja tekstu gªównego istotna szczególnie w kontek±cie stron internetowych, odseparowanie tekstu gªównego od elementów steruj cych (nawigacja, przypisy, itp.). (IPI PAN) Korpusomat / 35

12 Segmentacja i analiza morfologiczna Segmentacja ma na celu podzielenie ci gªego tekstu na rozª czne segmenty (tokeny), podlegaj ce dalszej analizie, przykªad: Przyjechałbym do Ciebie. [Przyjechał][by][m] [do] [Ciebie][.], segmentacj realizuje analizator Morfeusz oraz biblioteka wspieraj ca Maca. Analiza morfologiczna pozwala na okre±lenie mo»liwych interpretacji gramatycznych danego segmentu, przykªad: miał (patrz nast pny slajd), analiza morfologiczna wykonywana jest za pomoc analizatora Morfeusz i sªownika SGJP. (IPI PAN) Korpusomat / 35

13 Znakowanie morfosyntaktyczne Znakowanie morfosyntaktyczne celem znakowania jest wybranie jednej z mo»liwych interpretacji gramatycznych segmentu (ujednoznacznienie mo»liwo±ci otrzymanych w wyniku analizy morfosyntaktycznej), przykªad: Miał wówczas dwa lata.: [0,1,miał,miał,subst:sg:acc:m3,nazwa pospolita,_ 0,1,miał,miał,subst:sg:nom:m3,nazwa pospolita,_ 0,1,miał,mieć:v1,praet:sg:m1.m2.m3:imperf,_,_ 0,1,miał,mieć:v2,praet:sg:m1.m2.m3:imperf,_,_] tagowanie realizowane jest za pomoc tagera Concraft, wytrenowanego na korpusie NKJP 1M, wersja 1.2. (IPI PAN) Korpusomat / 35

14 Utworzenie korpusu w postaci binarnej Konwersja do formatu binarnego ª czna konwersja wszystkich tekstów zebranych w korpusie do postaci umo»liwiaj cej efektywne przeszukiwanie, konwertowane s wszystkie poprawnie przetworzone pliki ¹ródªowe, ª cznie z metadanymi, powstaj cy zestaw plików sªowniki, indeksy i inne struktury danych udost pniane s przez Korpusomat w postaci archiwum zip, konwersja dokonywana jest z wykorzystaniem oprogramowania Poliqarp. (IPI PAN) Korpusomat / 35

15 Demo DEMO (IPI PAN) Korpusomat / 35

16 Korpusomat dalsze prace Co jest w trakcie realizacji? interfejs webowy do Poliqarpa! Pomysªy na dalsze plany rozwoju Korpusomatu wykorzystanie Morfeusza2 i alternatywnych sªowników morfologicznych, wspóªdzielenie korpusów mi dzy u»ytkownikami. Sugestie mile widziane! (IPI PAN) Korpusomat / 35

17 Warsztat przygotowanie Co b dzie potrzebne do uczestnictwa w warsztacie? komputer z dost pem do Internetu, tutorial prowadzony jest z wykorzystaniem systemu Windows, ale mo»liwy równie» Mac/Linux, przegl darka internetowa (preferowana Chrome lub Firefox), zainstalowana Java JRE 7/8. (IPI PAN) Korpusomat / 35

18 Warsztat WARSZTAT (IPI PAN) Korpusomat / 35

19 Poliqarp podstawy j zyka zapyta«(1) Zapytania o segmenty przyszedł forma ortograczna segmentu, przyszedł czas ci g segmentów, przyszedł/i wyszukiwanie form ortogracznych niezale»nie od wielko±ci liter, Uwaga segmentacja Jako odr bne segmenty traktowane s formy aglutynacyjne leksemu być: [łgał][eś], [długo][śmy], [tak][em] a ta»e partykuªy by, -ż(e) i -li, oraz poprzyimkowa nieakcentowana forma zaimka -ń: [do][ń], [ze][ń]. (IPI PAN) Korpusomat / 35

20 Przykªad analizy j zykowej (1) Konteksty rzeczownika wojna (IPI PAN) Korpusomat / 35

21 Poliqarp podstawy j zyka zapyta«(2) Zapytania o formy podstawowe przyszedł forma ortograczna segmentu, [orth=przyszedł] forma ortograczna segmentu, [base=przyjść] forma podstawowa segmentu, Uwaga segmentacja przyszedłem rano nast pi próba rozbicia przyszedłem na przyszedł i em, [orth=przyszedłem][orth=rano] ±cisªa specykacja pojedynczych segmentów. (IPI PAN) Korpusomat / 35

22 Przykªad analizy j zykowej (2) Konteksty wszystkich form frazy wojna domowa (IPI PAN) Korpusomat / 35

23 Poliqarp podstawy j zyka zapyta«(3) Wyra»enia regularne "Ala Ela" Ala lub Ela, "[AE]la" Ala lub Ela, "beza?" bez lub beza, "bez." beza, bezy lub bezą, "bez.?" bez, beza, bezą, ale nie bezami, "a*by" aby, ale te» np. aaaaby, ".*al+" dal, robal, Gall, "a{1,3}b.*"/i Aby, aaaby, absolutnie, ABBA. (IPI PAN) Korpusomat / 35

24 Poliqarp podstawy j zyka zapyta«(4) Zapytania wy»szego rz du [orth=minę & base=mina] koniunkcja, [base=on base=ja] alternatywa, [] dowolny segment, [orth=się][]{2,4}[base=bać] forma leksemu bać wyst puj ca dwie, trzy lub cztery pozycje dalej ni» forma się. Zapytania o znaczniki morfosyntaktyczne [pos=subst] rzeczownik, [pos=subst & number=sg] rzeczownik w liczbie pojedynczej, [pos=subst & gender!=f] rzeczownik rodzaju m skiego lub nijakiego. (IPI PAN) Korpusomat / 35

25 Poliqarp podstawy j zyka zapyta«(5) Zapytania statystyczne [base=korpus] group by orth cz sto± form sªowa korpus, [base=woda][pos=verb] group by 2.base grupowanie po 2. argumencie, [] group by base sort by freq sortowanie po cz sto±ci, [] group by base sort by freq count all sprawdzenie caªo±ci korpusu, a nie próbki 1000 segmentów. (IPI PAN) Korpusomat / 35

26 Przykªad analizy statystycznej Lista frekwencyjna rzeczowników (IPI PAN) Korpusomat / 35

27 Przykªad analizy statystycznej Lista frekwencyjna przymiotników w lewym kontek±cie (IPI PAN) Korpusomat / 35

28 Przykªady analiz Joseph Conrad Korpus wszystkie utwory Josepha Conrada z Wolnych Lektur (dwie powie±ci, przygar± opowiada«), prawie 400 tys. segmentów. Zapytanie [pos=subst] group by base sort by freq count all Rezultat Na li±cie da kilka wyra¹nie tematyczny (marynistycznych) rzeczowników: kapitan (4. miejsce, ponad 1000 wyst pie«!) statek (8.), morze (21.), pokªad (27.) okr t (29.), parowiec (30.) (IPI PAN) Korpusomat / 35

29 Przykªady analiz Joseph Conrad (IPI PAN) Korpusomat / 35

30 Przykªady analiz Krzysztof Varga Korpus Cel dwie powie±ci (Masakra, Trociny) i jedna ksi»ka eseistyczna (Langosz w jurcie), 337 tys. segmentów. Sprawdzi, czy Varga faktycznie nadu»ywa spójnika ALBOWIEM. Rezultat W korpusie tekstów Vargi: 60 wyst pie«, a li±cie rangowej spójników podrz dnych 18. miejsce. Dla porównania w NKJP1M (prawie 4 razy wi kszy korpus): tylko 11 wyst pie«, 30. miejsce na li±cie rangowej. Ergo: Varga u»ywa ALBOWIEM wyra¹nie cz ±ciej. Wida te»,»e w przypadku innych spójników podrz dnych nie ma a» takich ró»nic. (IPI PAN) Korpusomat / 35

31 Przykªady analiz Krzysztof Varga (IPI PAN) Korpusomat / 35

32 Przykªady analiz Newsweek Korpus Newsweek, rocznik 2016, wszystkie 52 numery, ok 2,4 mln segmentów. Zapytanie [base=polityka & case=$1 & number=$2 & gender=$3][pos=adj & case=$1 & number=$2 & gender=$3] group by 1.base;2.base sort by scp min 5 count all Rezultat Kolokacje, uszeregowane od najbardziej prawdopodobnych: zagraniczny, historyczny, gospodarczy, spoªeczny, wewn trzny. (IPI PAN) Korpusomat / 35

33 Przykªady analiz Newsweek (IPI PAN) Korpusomat / 35

34 Przykªady analiz Newsweek (2) Zapytanie [pos=subst][pos=conj][pos=subst] group by 1.base; -1.base sort by scp min 10 count all Rezultat Wiele ciekawych przykªadów, np. Schetyna i Petru (ale nie Petru i Schetyna!), komunista i zªodziej (z wyra»enia caªa Polska z was si ±mieje, komuni±ci i zªodzieje). Ale te» wiele konwersów: r ka + noga, m»czyzna + kobieta, imi + nazwisko, brat + siostra, ojciec + syn, ±mier +»ycie. (IPI PAN) Korpusomat / 35

35 Przykªady analiz Newsweek (2) (IPI PAN) Korpusomat / 35

36 Dzi kujemy! Dzi kujemy za uwag. (IPI PAN) Korpusomat / 35