Zarządzanie i anotowanie korpusów tekstowych w systemie Inforex

Transkrypt

1 Zarządzanie i anotowanie korpusów tekstowych w systemie Inforex Michał Marcińczuk michal.marcinczuk@pwr.edu.pl Marcin Oleksy marcin.oleksy@pwr.edu.pl Politechnika Wrocławska Katedra Inteligencji Obliczeniowej Grupa Technologii Językowych G4.19

2 Historia Historia: Webowy system do budowania, anotowania, przeszukiwania i analizowania korpusów tekstowych rozwijany na Politechnice Wrocławskiej od 2009, wykorzystany: w projektach naukowych: NEKST, SyNaT, CLARIN-PL w habilitacjach: M. Zaśko-Zielińska (językoznawstwo - listy pożegnalne samobójców), Ł. Damurski (urbanistyka - dokumenty dotyczące polityki terytorialnej UE) w rozprawach doktorskich: B. Broda (WSD), M. Marcińczuk (NER, relacje semantyczne), A. Radziszewski (frazy składniowe), J. Kocoń (wyrażenia temporalne, wyznaczniki sytuacji) w innych pracach naukowych: E. Kaczmarz (konwersacje z Facebooka), Bernaś (teksty w j. hebrajskim). dostęp do korpusów: KPWr - Korpus Politechniki Wrocławskiej CEN - korpus wiadomości ekonomicznych z Wikinews PCSN - Polski korpus listów pożegnalnych samobójców

3 Główne cechy Inforex służy przede wszystkim do tworzenia jakościowych danych językowych dostęp przez przeglądarkę internetową nie wymaga instalacji u użytkownika, a jedynie dostępu do Internetu (dostęp dla użytkowników posiadających konto w DSpace) integracja z DSpace import korpusu z DSpace do Inforexa, współdzielenie danych między użytkownikami dane przechowywane są na serwerze, autoryzowany dostęp na poziomie korpusu oraz warstw danych i operacji, praca na dokumentach otagowanych (podział na tokeny i zdania) i nieotagowanych wizualizacja struktury dokumentów podczas anotacji, wsparcie dla anotacji typu 2+1.

4 Poziomy opisu/edycji dokumentów 1. Metadane (tytuł, autor, gatunek, data publikacji, podkorpus) 2. Edycja treści, np. na potrzeby oczyszczania lub anonimizacji dokumentów 3. Opis struktury 4. Anotacje (kategoria, atrybuty, lemat) 5. Relacje między anotacjami (kategoria, kierunek) 6. Znaczenia sensów słów (jako szczególny przypadek anotacji)

5 Dotychczasowe wykorzystanie 1. Korpus Politechniki Wrocławskiej (KPWr) [PWr, współpraca IPI PAN] frazy składniowe i ich lematyzacja (płytki parsing), jednostki identyfikacyjne (nazwy własne), wyrażenia temporalne (wyznaczniki i normalizacja), relacje semantyczne między jednostkami identyfikacyjnymi), sytuacje, wyrażenia przestrzenne, ujednoznacznianie sensów słów, role semantyczne wewnątrz fraz rzeczownikowych, słowa kluczowe. 2. Korpus Listów Pożegnalnych (PCSN) [UWr, M. Zaśko-Zielińska] transkrypcja skanów, opis struktury listów, anonimizacja, 3. Korpus dokumentów dot. polityki terytorialnej UE [PWr, Ł. Damurski] listy frekwencyjne, znakowanie kategoriami związanymi z polityką terytorialną, 4. Korpus tekstów hebrajskich [UWr, T. Bernaś] znakowanie pojęciami i ich tłumaczenie 5. Korpus konwersacji z Facebooka [UWr, E. Kaczmarz] statystyki błędów językowych i korelacje między nimi

6 Struktura korpusu

7 Lista korpusów

8 Strona startowa korpusu

9 Strona startowa korpusu

10 Lista dokumentów

11 Widok treści dokumentu

12 Wizualizacja struktury dokumentu (1/2) KPWr Rozmowy z Facebooka (E. Kaczmarz)

13 Wizualizacja struktury dokumentu (2/2) PCSN (M. Zaśko-Zielińska) Teksty w j. hebrajskim (T. Bernaś)

14 Ćwiczenie Import korpusu ćwiczeniowego z DSpace do Inforex Korpus wiadomości z pl.wikinews.org (Polska) lata

15 Zarządzanie korpusem

16 Dodawanie użytkowników

17 Role użytkowników

18 Perspektywy

19 Statystyki korpusu

20 Podstawowe statystyki

21 Frekwencja słów

22 Lista anotacji

23 Przeglądanie anotacji - kategorie

24 Przeglądanie anotacji - lematy

25 Frekwencja anotacji - kategorie

26 Frekwencja anotacji - frazy

27 Lista relacji

28 Ćwiczenia 1. Określ liczbę wyrazów w zaimportowanym korpusie i jego podkorpusach 2. Wygeneruj i zapisz listę frekwencyjną dla rzeczowników 3. Wygeneruj i zapisz listę frekwencyjną dla wybranej kategorii anotacji

29 Opisywanie dokumentów

30 Metadane

31 Kategorie anotacji

32 Lematy

33 Anafora

34 Sensy słów (WSD)

35 Anotacja fragmentów tekstu

36 Bootstrapping

37 Ćwiczenie 1. Zweryfikuj automatycznie rozpoznane anotacje nazw własnych dla wybranego dokumentu 2. Oznacz i zlematyzuj słowa kluczowe w wybranym dokumencie 3. przeglądanie anotacji nowych i zweryfikowanych

38 Anotacja 2+1 badanie zgodności

39 Wybór trybu znakowania

40 Badanie zgodności Dziękujemy za uwagę

41 Usuwanie niejednoznaczności

42 Porównanie zgodności na przykładzie kategoryzacji wyznaczników obiektów

43 Transkrypcja skanów

44 Transkrypcja skanów

45 Dziękujemy za uwagę!