Inforex - zarządzanie korpusami i ich anotacja. Politechnika Wrocławska Katedra Inteligencji Obliczeniowej Grupa Technologii Językowych G4.

Transkrypt

1 Inforex - zarządzanie korpusami i ich anotacja Michał Marcińczuk michal.marcinczuk@pwr.edu.pl Marcin Oleksy Jan Wieczorek Jan Kocoń marcin.oleksy@pwr.edu.pl jan.wieczorek@pwr.edu.pl jan.kocon@pwr.edu.pl Politechnika Wrocławska Katedra Inteligencji Obliczeniowej Grupa Technologii Językowych G4.19

2 Historia Webowy system do budowania, anotowania, przeszukiwania i analizowania korpusów tekstowych Historia: rozwijany na Politechnice Wrocławskiej od 2009, wykorzystany: w projektach naukowych: NEKST, SyNaT, CLARIN-PL w habilitacjach: M. Zaśko-Zielińska (językoznawstwo - listy pożegnalne samobójców), Ł. Damurski (urbanistyka - dokumenty dotyczące polityki terytorialnej UE) w rozprawach doktorskich: B. Broda (WSD), M. Marcińczuk (NER, relacje semantyczne), A. Radziszewski (frazy składniowe), J. Kocoń (wyrażenia temporalne, wyznaczniki sytuacji) w innych pracach naukowych: E. Kaczmarz (konwersacje z Facebooka), T. Bernaś (teksty w j. hebrajskim). dostęp do korpusów: KPWr - Korpus Politechniki Wrocławskiej CEN - korpus wiadomości ekonomicznych z Wikinews PCSN - Polski korpus listów pożegnalnych samobójców

3 Główne cechy Inforex służy przede wszystkim do tworzenia jakościowych danych językowych dostęp przez przeglądarkę internetową nie wymaga instalacji u użytkownika, a jedynie dostępu do Internetu (dostęp dla użytkowników posiadających konto w DSpace) integracja z DSpace import korpusu z DSpace do Inforexa, współdzielenie danych między użytkownikami dane przechowywane są na serwerze, autoryzowany dostęp na poziomie korpusu oraz warstw danych i operacji, praca na dokumentach otagowanych (podział na tokeny i zdania) i nieotagowanych wizualizacja struktury dokumentów podczas anotacji, wsparcie dla anotacji typu 2+1. instrukcja

4 Dotychczasowe wykorzystanie Korpus Politechniki Wrocławskiej (KPWr) [PWr, IPI PAN] frazy składniowe i ich lematyzacja (płytki parsing), jednostki identyfikacyjne (nazwy własne), wyrażenia temporalne (wyznaczniki i normalizacja), relacje semantyczne między jednostkami identyfikacyjnymi), sytuacje, wyrażenia przestrzenne, ujednoznacznianie sensów słów, role semantyczne wewnątrz fraz rzeczownikowych, słowa kluczowe. Korpus Listów Pożegnalnych (PCSN) [UWr - M. Zaśko-Zielińska] transkrypcja skanów, opis struktury listów, anonimizacja, Korpus dokumentów dot. polityki terytorialnej UE [PWr - Ł. Damurski] listy frekwencyjne, znakowanie kategoriami związanymi z polityką terytorialną, Korpus tekstów hebrajskich [UWr, T. Bernaś] znakowanie pojęciami i ich tłumaczenie Korpus konwersacji z Facebooka [UWr, E. Kaczmarz] statystyki błędów językowych i korelacje między nimi

5 Główne obszary Corpora zestaw dostępnych korpusów Annotations ogólne statystyki anotacji Liner2 narzędzie Liner2 - rozpoznawanie nazw własnych i wyrażeń temporalnych CCL Viewer przeglądarka plików w formacie ccl Wccl Match Tester testowanie reguł dopasowania sekwencji tokenów i/lub anotacji w obrębie zdania Administration panel administracyjny About & Citing informacje o systemie, materiały warsztatowe, wskazówki do cytowania

6 Sekcja Corpora

7 Sekcja Corpora

8 Sekcja Corpora Start wizualizacja struktury korpusu i postępu anotacji (flagi) Documents Annotations globalne statystyki anotacji w ramach zdefiniowanych kategorii Relations Statistics informacje statystyczne na temat rozmiaru korpusu Task uruchamianie na korpusie innych narzędzi Metadata batch edit masowa edycja metadanych Export eksportowanie korpusu wraz z anotacjami testy spójności korpusu Wccl Match anotacja z wykorzystaniem reguł WCCL Annotation frequency listy frekwencyjne anotacji oraz ich dystrybucja w ramach poszczególnych podkorpusów Data integrity tests Words frequency listy frekwencyjne słów relacje między anotacjami Morphological agreement informacje o zgodności korekty tagów morfologicznych Annotation browser przeglądanie anotacji w kontekstach Relation agreement informacje o zgodności relacji dokumenty wchodzące w skład korpusu Annotation agreement informacje o zgodności anotacji Settings ustawienia korpusu Add document tworzenie nowego dokumentu Upload documents przesyłanie dokumentów

9 PRZEGLĄDANIE

10 Strona startowa korpusu Corpora / (nazwa korpusu) / Start

11 Podstawowe statystyki Corpora / (nazwa korpusu) / Statistics

12 Frekwencja słów Corpora /(nazwa korpusu) / Words frequency

13 Frekwencja słów Corpora / (nazwa korpusu) / Words frequency eksport listy

14 Lista dokumentów Corpora / (nazwa korpusu) / Documents

15 Lista dokumentów (filtrowanie) Corpora / (nazwa korpusu) / Documents

16 Widok treści dokumentu Corpora / (nazwa korpusu) / Documents > Preview/Annotator

17 Wizualizacja struktury dokumentu (1/2) KPWr Rozmowy z Facebooka (E. Kaczmarz)

18 Wizualizacja struktury dokumentu (2/2) PCSN (M. Zaśko-Zielińska) Teksty w j. hebrajskim (T. Bernaś)

19 ANOTACJA

20 Flagi

21 Flagi Droga 1 Droga Przejdź do sekcji Start Uruchom akcję add/remove flags Utwórz nową flagę za pomocą polecenia (New) Opisz flagę i potwierdź 4. Przejdź do sekcji Settings Wybierz zakładkę Flags Utwórz nową flagę za pomocą polecenia (New) Opisz flagę i potwierdź

22 Flagi Droga 1 Droga Przejdź do sekcji Start Uruchom akcję add/remove flags Utwórz nową flagę za pomocą polecenia (New) Opisz flagę i potwierdź Przejdź do sekcji Settings Wybierz zakładkę Flags Utwórz nową flagę za pomocą polecenia (New) Opisz flagę i potwierdź flagowanie 4.

23 Predefiniowane warstwy anotacji

24 Predefiniowane warstwy anotacji Przejdź do sekcji Settings Wybierz zakładkę Annotation sets Przypisz odpowiednią warstwę anotacji, klikając przycisk wyboru w odpowiednim wierszu tabeli

25 Flagi

26 Predefiniowane warstwy anotacji Przejdź do sekcji Settings Wybierz zakładkę Annotation sets Przypisz odpowiednią warstwę anotacji, klikając przycisk wyboru w odpowiednim wierszu tabeli dodawanie warstw

27 Własne warstwy anotacji

28 Własne warstwy anotacji Przejdź do sekcji Settings Wybierz zakładkę Custom annotation sets Stwórz schemat anotacji: 3.1. zestaw kategorii (Annotation sets) 3.2. zestaw podkategorii (Annotation subsets) 3.3. kategorie (Categories)

29 Własne warstwy anotacji Przejdź do sekcji Settings Wybierz zakładkę Custom annotation sets Stwórz schemat anotacji: 3.1. zestaw kategorii (Annotation sets) 3.2. zestaw podkategorii (Annotation subsets) 3.3. kategorie (Categories) dodawanie warstw

30 Ręczne znakowanie Corpora / (nazwa korpusu) / Documents > Annotator

31 Ręczne znakowanie Corpora / (nazwa korpusu) / Documents > Annotator

32 Ręczne znakowanie Corpora / (nazwa korpusu) / Documents > Annotator

33 Ręczne znakowanie Corpora / (nazwa korpusu) / Documents > Annotator

34 Ręczne znakowanie Corpora / (nazwa korpusu) / Documents > Annotator anotacja

35 Ręczne korekta tagowania Corpora / (nazwa korpusu) / Documents > Morphological Disambiguation

36 BOOTSTRAPPING

37 Bootstrapping Corpora / (nazwa korpusu) / Documents > Bootstrapping

38 PRZEGLĄDANIE ANOTACJI

39 Lista anotacji Corpora / (nazwa korpusu) / Annotations

40 Frekwencja anotacji - kategorie Corpora / (nazwa korpusu) / Annotation frequency

41 Frekwencja anotacji - frazy Corpora / (nazwa korpusu) / Annotation frequency

42 Przeglądanie anotacji - kategorie Corpora / (nazwa korpusu) / Annotation browser

43 Przeglądanie anotacji - kategorie Corpora / (nazwa korpusu) / Annotation browser

44 Przeglądanie anotacji - lematy Corpora / (nazwa korpusu) / Annotation frequency

45 Przeglądanie anotacji - lematy Corpora / (nazwa korpusu) / Annotation frequency eksport listy

46 ADMINISTRACJA

47 Dodawanie użytkowników Corpora / (nazwa korpusu) / Settings > Users

48 Role użytkowników Corpora / (nazwa korpusu) / Settings > Users roles

49 Perspektywy (01) Corpora / (nazwa korpusu) / Settings > Perspectives

50 Perspektywy (02) Corpora / (nazwa korpusu) / Settings > Perspectives

51 KONTROLA

52 Badanie zgodności Corpora / (nazwa korpusu) / Annotation agreement

53 Badanie zgodności Corpora / (nazwa korpusu) / Annotation agreement

54 Badanie zgodności Corpora / (nazwa korpusu) / Annotation agreement

55 Badanie zgodności Corpora / (nazwa korpusu) / Annotation agreement

56 Badanie zgodności Corpora / (nazwa korpusu) / Annotation agreement

57 Badanie zgodności Corpora / (nazwa korpusu) / Annotation agreement

58 Badanie zgodności Corpora / (nazwa korpusu) / Annotation agreement

59 Usuwanie niejednoznaczności Corpora / (nazwa korpusu) / Documents > Agreement

60 Usuwanie niejednoznaczności Corpora / (nazwa korpusu) / Documents > Relation agreement

61 Usuwanie niejednoznaczności Corpora / (nazwa korpusu) / Documents > Morphological Disambiguation Agreement

62 Porównanie zgodności na przykładzie kategoryzacji wyznaczników obiektów

63 INNE FUNKCJE

64 Upload Corpora / (nazwa korpusu) / Upload documents

65 Edycja metadanych dokumentów Corpora / (nazwa korpusu) / Documents > Metadata

66 Nowe kategorie metadanych Corpora / (nazwa korpusu) / Settings > Metadata

67 Lista relacji Corpora / (nazwa korpusu) / Relations

68 Lematy Corpora / (nazwa korpusu) / Documents > Annotation lemmas

69 Sensy słów (WSD) Corpora / (nazwa korpusu) / Documents > WSD

70 OBRAZ - TEKST

71 Transkrypcja skanów

72 Dziękujemy za uwagę!