Tworzenie przeszukiwalnych korpusów j zyka polskiego za pomoc Korpusomatu

Transkrypt

1 Tworzenie przeszukiwalnych korpusów j zyka polskiego za pomoc Korpusomatu Witold Kiera± Šukasz Kobyli«ski Maciej Ogrodniczuk Instytut Podstaw Informatyki PAN IV cykl wykªadów i warsztatów CLARIN-PL Šód¹ Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

2 Agenda Cz ± "wykªadowa" (ok. 30 min) Wprowadzenie prezentacja Korpusomatu. Demonstracja systemu. Cz ± "warsztatowa" (pozostaªy czas ok 1 godzina) Warsztat "tutorial". Warsztat praca z wªasnymi danymi. Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

3 Dlaczego warto zajmowa si lingwistyk korpusow? Korpus to systematycznie wybrany zbiór tekstów, wykorzystywanych w analizach lingwistycznych, przechowywanych najcz ±ciej w formie elektronicznej, cz sto uzupeªniony dodatkowymi warstwami anotacji. Przykªady zastosowa«analiz korpusowych obliczanie cz sto±ci wyst pie«sªów, fraz i kolokacji, badanie najcz stszych kontekstów wyst pie«sªów lub fraz, badanie zmian j zyka w czasie, przy wykorzystaniu korpusów tekstów historycznych, badanie rzeczywistego wykorzystania j zyka przez jego u»ytkowników (korpusy dziedzinowe, korpusy obcoj zyczne). Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

4

5

6 Dlaczego warto tworzy korpusy tekstowe? Przykªady istniej cych korpusów tekstowych Narodowy Korpus J zyka Polskiego, British National Corpus, Penn Treebank, ale te»: Sªownik Warszawski, Korpus J zyka Mªodzie»y,... Wedªug jakiego klucza mo»na utworzy korpus? wg dziedziny, np. teksty medyczne, ekonomiczne, prawnicze, wg autora, np. Stanisªaw Lem, wg epoki, np. korpus polszczyzny XVIII w.,... Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

7 Korpusomat Czym jest Korpusomat? Narz dzie (serwis internetowy), sªu» ce do tworzenia wªasnych korpusów tekstowych, automatycznie anotowanych w warstwie morfosyntaktycznej. Motywacja analizy korpusowe s cennym narz dziem wspieraj cym prac lingwistów, leksykografów, tªumaczy, studentów i nauczycieli, istniej ce narz dzia s : zwi zane z istniej cymi korpusami, bez mo»liwo±ci wykorzystania wªasnych danych, zªo»onymi systemami, realizuj cymi równie» wiele innych funkcji, niedostosowane do j zyka polskiego, komercyjne/pªatne. Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

8 Idea Korpusomatu Idea Korpusomatu tworzenie korpusu nie wymaga specjalistycznej wiedzy, korpus mo»na utworzy z dowolnego zbioru wªasnych zasobów, instalacje na wªasnym komputerze s ograniczone do wyszukiwarki korpusowej. Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

9 Korpusomat funkcje Dodatkowe mo»liwo±ci pobieranie tekstów ze wskazanych adresów internetowych (web-scraping), masowe ªadowanie wielu tekstów z plików (drag-and-drop), ªadowanie archiwów plików ¹ródªowych (zip), autodetekcja metadanych, konguracja wªasnej struktury metadanych. Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

10 Korpusomat dziaªanie Etapy przetwarzania ekstrakcja tekstu: konwersja formatów binarnych oraz ekstrakcja tre±ci gªównej, konwersja kodowania tekstu do UTF-8, segmentacja i analiza morfologiczna tekstu, znakowanie morfosyntaktyczne, tworzenie binarnej postaci korpusu, do przeszukiwania oprogramowaniem Poliqarp. Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

11 Ekstrakcja tekstu Konwersja formatów binarnych konwersja ma na celu uzyskanie tekstu ¹ródªowego z formatu binarnego, przykªad: lord-jim-tom-pierwszy.epub: META-INF OPS part1.html, part2.html, part3.html mimetype konwersja wykonywana jest za pomoc biblioteki Apache Tika oraz oprogramowania Calibre. Ekstrakcja tekstu gªównego istotna szczególnie w kontek±cie stron internetowych, odseparowanie tekstu gªównego od elementów steruj cych (nawigacja, przypisy, itp.). Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

12 Segmentacja i analiza morfologiczna Segmentacja ma na celu podzielenie ci gªego tekstu na rozª czne segmenty (tokeny), podlegaj ce dalszej analizie, przykªad: Przyjechałbym do Ciebie. [Przyjechał][by][m] [do] [Ciebie][.], segmentacj realizuje analizator Morfeusz oraz biblioteka wspieraj ca Maca. Analiza morfologiczna pozwala na okre±lenie mo»liwych interpretacji gramatycznych danego segmentu, przykªad: miał (patrz nast pny slajd), analiza morfologiczna wykonywana jest za pomoc analizatora Morfeusz i sªownika SGJP. Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

13 Znakowanie morfosyntaktyczne Znakowanie morfosyntaktyczne celem znakowania jest wybranie jednej z mo»liwych interpretacji gramatycznych segmentu (ujednoznacznienie mo»liwo±ci otrzymanych w wyniku analizy morfosyntaktycznej), przykªad: Miał wówczas dwa lata.: [0,1,miał,miał,subst:sg:acc:m3,nazwa pospolita,_ 0,1,miał,miał,subst:sg:nom:m3,nazwa pospolita,_ 0,1,miał,mieć:v1,praet:sg:m1.m2.m3:imperf,_,_ 0,1,miał,mieć:v2,praet:sg:m1.m2.m3:imperf,_,_] tagowanie realizowane jest za pomoc tagera Concraft, wytrenowanego na korpusie NKJP 1M, wersja 1.2. Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

14 Utworzenie korpusu w postaci binarnej Konwersja do formatu binarnego ª czna konwersja wszystkich tekstów zebranych w korpusie do postaci umo»liwiaj cej efektywne przeszukiwanie, konwertowane s wszystkie poprawnie przetworzone pliki ¹ródªowe, ª cznie z metadanymi, powstaj cy zestaw plików sªowniki, indeksy i inne struktury danych udost pniane s przez Korpusomat w postaci archiwum zip, konwersja dokonywana jest z wykorzystaniem oprogramowania Poliqarp. Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

15 Demo DEMO Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

16 Dalsze plany Pomysªy na dalsze plany rozwoju Korpusomatu interfejs webowy do Poliqarpa, wykorzystanie Morfeusza2 i alternatywnych sªowników morfologicznych, pobieranie ¹ródªowej wersji korpusu (XML)? Sugestie mile widziane! Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

17 Warsztat przygotowanie Co b dzie potrzebne do uczestnictwa w warsztacie? komputer z dost pem do Internetu, tutorial prowadzony jest z wykorzystaniem systemu Windows, ale mo»liwy równie» Mac/Linux, przegl darka internetowa (preferowana Chrome lub Firefox), zainstalowana Java JRE 7/8. Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

18 Warsztat WARSZTAT Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

19 Poliqarp podstawy j zyka zapyta«(1) Zapytania o segmenty przyszedł forma ortograczna segmentu, przyszedł czas ci g segmentów, przyszedł/i wyszukiwanie form ortogracznych niezale»nie od wielko±ci liter, Uwaga segmentacja Jako odr bne segmenty traktowane s formy aglutynacyjne leksemu być: [łgał][eś], [długo][śmy], [tak][em] a ta»e partykuªy by, -ż(e) i -li, oraz poprzyimkowa nieakcentowana forma zaimka -ń: [do][ń], [ze][ń]. Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

20 Przykªad analizy j zykowej (1) Konteksty rzeczownika wojna Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

21 Poliqarp podstawy j zyka zapyta«(2) Zapytania o formy podstawowe przyszedł forma ortograczna segmentu, [orth=przyszedł] forma ortograczna segmentu, [base=przyjść] forma podstawowa segmentu, Uwaga segmentacja przyszedłem rano nast pi próba rozbicia przyszedłem na przyszedł i em, [orth=przyszedłem][orth=rano] ±cisªa specykacja pojedynczych segmentów. Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

22 Przykªad analizy j zykowej (2) Konteksty wszystkich form frazy wojna domowa Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

23 Poliqarp podstawy j zyka zapyta«(3) Wyra»enia regularne "Ala Ela" Ala lub Ela, "[AE]la" Ala lub Ela, "beza?" bez lub beza, "bez." beza, bezy lub bezą, "bez.?" bez, beza, bezą, ale nie bezami, "a*by" aby, ale te» np. aaaaby, ".*al+" dal, robal, Gall, "a{1,3}b.*"/i Aby, aaaby, absolutnie, ABBA. Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

24 Poliqarp podstawy j zyka zapyta«(4) Zapytania wy»szego rz du [orth=minę & base=mina] koniunkcja, [base=on base=ja] alternatywa, [] dowolny segment, [orth=się][]{2,4}[base=bać] forma leksemu bać wyst puj ca dwie, trzy lub cztery pozycje dalej ni» forma się. Zapytania o znaczniki morfosyntaktyczne [pos=subst] rzeczownik, [pos=subst & number=sg] rzeczownik w liczbie pojedynczej, [pos=subst & gender!=f] rzeczownik rodzaju m skiego lub nijakiego. Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

25 Poliqarp podstawy j zyka zapyta«(5) Zapytania statystyczne [base=korpus] group by orth cz sto± form sªowa korpus, [base=woda][pos=verb] group by 2.base grupowanie po 2. argumencie, [] group by base sort by freq sortowanie po cz sto±ci, [] group by base sort by freq count all sprawdzenie caªo±ci korpusu, a nie próbki 1000 segmentów. Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

26 Przykªad analizy statystycznej Lista frekwencyjna rzeczowników Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

27 Przykªad analizy statystycznej Lista frekwencyjna przymiotników w lewym kontek±cie Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27

28 Dzi kujemy! Dzi kujemy za uwag. Kiera±, Kobyli«ski, Ogrodniczuk (IPI PAN) Korpusomat / 27