KPWr (otwarty korpus języka polskiego o wielowarstwowej anotacji) Inforex (system do budowania, anotowania i przeszukiwania korpusów)

Transkrypt

1 KPWr (otwarty korpus języka polskiego o wielowarstwowej anotacji) Inforex (system do budowania, anotowania i przeszukiwania korpusów) Marcin Oleksy Michał Marcińczuk Politechnika ska Instytut Informatyki Grupa Naukowa G4.19 marcin.oleksy@pwr.wroc.pl michal.marcinczuk@pwr.wroc.pl

2 KPWr Konferencja CLARINPL KPWr Korpus Języka Polskiego Politechniki skiej zawierający dokumenty tekstowe z różnych źródeł otagowany przy pomocy narzędzia wcrft2 ręcznie anotowany różnymi typami informacji, częściowo w systemie 2+1: role semantyczne 100 dokumentów sytuacje 150 dokumentów udostępniany na licencji Creative Commons (CC BYSA 3.0)

3 Konferencja CLARINPL KPWr struktura Podkorpus blogi dap (dłuższe artykuły prasowe) dialog kap (krótsze artykuły prasowe) nauka popularnonaukowe i podręczniki proza dawna proza współczesna religijne stenogramy techniczne urzędowe ustawy wikinews wikipedia Dokumenty liczba % ,48% 132 8,09% 91 5,58% ,55% 87 5,33% 73 4,48% 86 5,27% 42 2,58% 9 0,55% 79 4,84% 17 1,04% 62 3,80% liczba % 11,80% 9,20% 6,72% 7,66% 6,32% 5,02% 8,06% 4,27% 1,20% 7,22% 0,98% 4,22% ,06% 6,31% 13,97% 4,90% 7,54% 21,95% Tokeny

4 KPWr struktura Konferencja CLARINPL

5 KPWr style funkcjonalne Konferencja CLARINPL

6 Konferencja CLARINPL KPWr statystyki anotacji Indeks Liczba Nazwa Zawartość dokumentów anotacji relacji lematów index_chunks.list Frazy składniowe index_chunks_rel.list Relacje między frazami składniowymi index_names.list Jednostki identyfikacyjne/nazwy własne index_names_lemma.list Lematyzacja jednostek identyfikacyjnych index_names_rel.list Relacje semantyczne między jednostkami identyfikacyjnymi index_wsd_nv.list Ujednoznacznione znaczenia słów index_spatial.list Wyrażenia przestrzenne (wyznaczniki) index_spatial_rel.list Wyrażenia przestrzenne (połączenia) index_zero_verb.list Czasowniki z podmiotem domyślnym index_keywords.list Tekstowe słowa kluczowe

7 Konferencja CLARINPL KPWr statystyki anotacji Indeks Liczba Nazwa Zawartość dokumentów anotacji relacji lematów index_timex.list Wyrażenia temporalne index_timex_local.list Lokalna normalizacja wyrażeń temporalnych index_timex_global.list Globalna normalizacja wyrażeń temporalnych index_events.list Sytuacje (wyznaczniki) index_events_g0.list Sytuacje (wyznaczniki) zbiór gold # index_events_g1.list Sytuacje (wyznaczniki) zbiór gold # index_events_g2.list Sytuacje (wyznaczniki) zbiór gold # index_events_g3.list Sytuacje (wyznaczniki) zbiór gold # index_serol.list Role semantyczne index_coref.list= Koreferencja

8 KPWr statystyki anotacji Konferencja CLARINPL

9 KPWr statystyki anotacji Konferencja CLARINPL

10 KPWr nowe warstwy anotacji Konferencja CLARINPL wyrażenia przestrzenne (Spatial Role Labeling) sytuacje (TimeML) wyrażenia temporalne (TimeML) lokalna i globalna normalizacja wyrażeń temporalnych tekstowe słowa kluczowe role semantyczne wewnątrz fraz rzeczownikowych (RRG) czasowniki z podmiotem domyślnym

11 Konferencja CLARINPL KPWr zgodność anotacji sytuacje Zakresy action aspectual perception 0,95 0,9 0,88 0,9 reporting 0,93 i_action 0,68 i_state 0,85 State 0,75 Light predicate 0,67

12 Konferencja CLARINPL KPWr zgodność anotacji role semantyczne wewnątrz fraz rzeczownikowych actor 0,89 agent 0,89 cause 0,89 undergoer 0,91 patient 0,92 theme 0,78 manner 0,84 attribute 0,92 amount 0,80

13 Konferencja CLARINPL Inforex historia Inforex system do budowania, anotowania i przeszukiwania korpusów tekstowych inforex Historia: rozwijany na Politechnice skiej od 2010, wykorzystany: w projektach naukowych: NEKST, SyNaT, CLARINPL w habilitacji: M. ZaśkoZielińska (Listy pożegnalne samobójców) w rozprawach doktorskich: B. Broda (WSD), M. Marcińczuk (NER, relacje semantyczne), A. Radziszewski (frazy składniowe), J. Kocoń (wyrażenia temporalne, wyznaczniki sytuacji) w innych pracach naukowych: E. Kaczmarz (konwersacje z Facebooka), Bernaś (teksty w j. hebrajskim). dostęp do korpusów: KPWr Korpus Politechniki skiej CEN korpus wiadomości ekonomicznych z Wikinews PCSN Polski korpus listów pożegnalnych samobójców

14 Inforex główne cechy Konferencja CLARINPL dostęp dla użytkowników posiadających konto w DSpace dostęp przez przeglądarkę internetową (sugerowany Firefox) nie wymaga instalacji u użytkownika, wymaga stałego dostępu do Internetu, zintegrowany z DSpace (import/eksport danych), umożliwia współdzielenie danych między użytkownikami, autoryzowany dostęp do danych na poziomie korpusu i warstw anotacji, wspierane pracę na dokumentach zarówno otagowanych (podział na tokeny i zdania) jak i nieotagowanych pozwala na wizualizację struktury dokumentów podczas anotacji

15 Inforex wizualizacja struktury dokumentu (1/2) KPWr Konferencja CLARINPL Rozmowy z Facebooka (E. Kaczmarz)

16 Inforex wizualizacja struktury dokumentu (2/2) PCSN (M. ZaśkoZielińska) Konferencja CLARINPL Teksty w j. hebrajskim (T. Bernaś)

17 Inforex kontrola postępu prac (1/2) Konferencja CLARINPL

18 Inforex kontrola postępu prac (2/2) Konferencja CLARINPL

19 Inforex metadane Konferencja CLARINPL

20 Inforex historia edycji treści Konferencja CLARINPL

21 Inforex anotacje, schematy anotacji Konferencja CLARINPL

22 Inforex dodawanie anotacji do tekstu Konferencja CLARINPL

23 Inforex weryfikacja anotacji Konferencja CLARINPL

24 Inforex lematyzacja anotacji Konferencja CLARINPL

25 Inforex tłumaczenie fraz Konferencja CLARINPL

26 Inforex normalizacja wyrażeń temporalnych Konferencja CLARINPL

27 Inforex dodawanie relacji między anotacjami Konferencja CLARINPL

28 Inforex relacje > koreferencja Konferencja CLARINPL

29 Inforex sensy słów (WSD) Konferencja CLARINPL

30 Inforex statystyki > frekwencja słów Konferencja CLARINPL

31 Inforex przeglądarka anotacji (tłumaczenia) Konferencja CLARINPL

32 Inforex przeglądarka relacji między anotacjami Konferencja CLARINPL

33 Dziękujemy za uwagę