Inforex - zarządzanie korpusami i ich anotacja

Transkrypt

1 Inforex - zarządzanie korpusami i ich anotacja Marcin Oleksy marcin.oleksy@pwr.edu.pl Michał Marcińczuk michal.marcinczuk@pwr.edu.pl Politechnika Wrocławska Katedra Inteligencji Obliczeniowej Grupa Technologii Językowych G4.19 (

2 Historia Webowy system do budowania, anotowania, przeszukiwania i analizowania korpusów tekstowych Historia: rozwijany na Politechnice Wrocławskiej od 2009, wykorzystany: w projektach naukowych: NEKST, SyNaT, CLARIN-PL w habilitacjach: M. Zaśko-Zielińska (językoznawstwo - listy pożegnalne samobójców), Ł. Damurski (urbanistyka - dokumenty dotyczące polityki terytorialnej UE) w rozprawach doktorskich: B. Broda (WSD), M. Marcińczuk (NER, relacje semantyczne), A. Radziszewski (frazy składniowe), J. Kocoń (wyrażenia temporalne, wyznaczniki sytuacji) w innych pracach naukowych: E. Kaczmarz (konwersacje z Facebooka), Bernaś (teksty w j. hebrajskim). dostęp do korpusów: KPWr - Korpus Politechniki Wrocławskiej CEN - korpus wiadomości ekonomicznych z Wikinews PCSN - Polski korpus listów pożegnalnych samobójców

3 Główne cechy Inforex służy przede wszystkim do tworzenia jakościowych danych językowych dostęp przez przeglądarkę internetową nie wymaga instalacji u użytkownika, a jedynie dostępu do Internetu (dostęp dla użytkowników posiadających konto w DSpace) integracja z DSpace import korpusu z DSpace do Inforexa, współdzielenie danych między użytkownikami dane przechowywane są na serwerze, autoryzowany dostęp na poziomie korpusu oraz warstw danych i operacji, praca na dokumentach otagowanych (podział na tokeny i zdania) i nieotagowanych wizualizacja struktury dokumentów podczas anotacji, wsparcie dla anotacji typu 2+1.

4 Dotychczasowe wykorzystanie Korpus Politechniki Wrocławskiej (KPWr) [PWr, IPI PAN] frazy składniowe i ich lematyzacja (płytki parsing), jednostki identyfikacyjne (nazwy własne), wyrażenia temporalne (wyznaczniki i normalizacja), relacje semantyczne między jednostkami identyfikacyjnymi), sytuacje, wyrażenia przestrzenne, ujednoznacznianie sensów słów, role semantyczne wewnątrz fraz rzeczownikowych, słowa kluczowe. Korpus Listów Pożegnalnych (PCSN) [UWr - M. Zaśko-Zielińska] transkrypcja skanów, opis struktury listów, anonimizacja, Korpus dokumentów dot. polityki terytorialnej UE [PWr - Ł. Damurski] listy frekwencyjne, znakowanie kategoriami związanymi z polityką terytorialną, Korpus tekstów hebrajskich [UWr, T. Bernaś] znakowanie pojęciami i ich tłumaczenie Korpus konwersacji z Facebooka [UWr, E. Kaczmarz] statystyki błędów językowych i korelacje między nimi

5 Główne obszary Corpora zestaw dostępnych korpusów Liner2 narzędzie Liner2 - rozpoznawanie nazw własnych i wyrażeń temporalnych CCL Viewer przeglądarka plików w formacie ccl Wccl Match Tester testowanie reguł dopasowania sekwencji tokenów i/lub anotacji w obrębie zdania Administration panel administracyjny About & Citing informacje o systemie, materiały warsztatowe, wskazówki do cytowania

6 Sekcja Corpora

7 Sekcja Corpora

8 Sekcja Corpora Start wizualizacja struktury korpusu i postępu anotacji (flagi) Annotations Annotation browser Relations relacje między anotacjami Wccl Match anotacja z wykorzystaniem reguł WCCL globalne statystyki anotacji w ramach zdefiniowanych kategorii Annotation frequency listy frekwencyjne anotacji oraz ich dystrybucja w ramach poszczególnych podkorpusów Words frequency listy frekwencyjne słów Export eksportowanie korpusu wraz z anotacjami przeglądanie anotacji w kontekstach Statistics informacje statystyczne na temat rozmiaru korpusu Documents dokumenty wchodzące w skład korpusu Tests testym spójności korpusu Settings ustawienia korpusu Add document tworzenie nowego dokumentu Upload documents przesyłanie dokumentów

9 PRZEGLĄD

10 Strona startowa korpusu Corpora / (nazwa korpusu) / Start

11 Podstawowe statystyki Corpora / (nazwa korpusu) / Statistics

12 Frekwencja słów Corpora /(nazwa korpusu) / Words frequency

13 Frekwencja słów Corpora / (nazwa korpusu) / Words frequency eksport listy

14 Lista dokumentów Corpora / (nazwa korpusu) / Documents

15 Lista dokumentów Corpora / (nazwa korpusu) / Documents

16 Widok treści dokumentu Corpora / (nazwa korpusu) / Documents > Preview/Annotator

17 Wizualizacja struktury dokumentu (1/2) KPWr Rozmowy z Facebooka (E. Kaczmarz)

18 Wizualizacja struktury dokumentu (2/2) PCSN (M. Zaśko-Zielińska) Teksty w j. hebrajskim (T. Bernaś)

19 ANOTACJA

20 Flagi

21 Flagi Droga 1 Droga Przejdź do sekcji Start Uruchom akcję add/remove flags Utwórz nową flagę za pomocą polecenia (New) Opisz flagę i potwierdź 4. Przejdź do sekcji Settings Wybierz zakładkę Flags Utwórz nową flagę za pomocą polecenia (New) Opisz flagę i potwierdź

22 Flagi Droga 1 Droga Przejdź do sekcji Start Uruchom akcję add/remove flags Utwórz nową flagę za pomocą polecenia (New) Opisz flagę i potwierdź Przejdź do sekcji Settings Wybierz zakładkę Flags Utwórz nową flagę za pomocą polecenia (New) Opisz flagę i potwierdź flagowanie 4.

23 Predefiniowane warstwy anotacji

24 Predefiniowane warstwy anotacji Przejdź do sekcji Settings Wybierz zakładkę Annotation sets Przypisz odpowiednią warstwę anotacji, klikając przycisk wyboru w odpowiednim wierszu tabeli

25 Flagi

26 Predefiniowane warstwy anotacji Przejdź do sekcji Settings Wybierz zakładkę Annotation sets Przypisz odpowiednią warstwę anotacji, klikając przycisk wyboru w odpowiednim wierszu tabeli dodawanie warstw

27 Własne warstwy anotacji

28 Własne warstwy anotacji Przejdź do sekcji Settings Wybierz zakładkę Custom annotation sets Stwórz schemat anotacji: 3.1. zestaw kategorii (Annotation sets) 3.2. zestaw podkategorii (Annotation subsets) 3.3. kategorie (Categories)

29 Własne warstwy anotacji Przejdź do sekcji Settings Wybierz zakładkę Custom annotation sets Stwórz schemat anotacji: 3.1. zestaw kategorii (Annotation sets) 3.2. zestaw podkategorii (Annotation subsets) 3.3. kategorie (Categories) dodawanie warstw

30 Ręczne znakowanie Corpora / (nazwa korpusu) / Documents > Annotator

31 Ręczne znakowanie Corpora / (nazwa korpusu) / Documents > Annotator

32 Ręczne znakowanie Corpora / (nazwa korpusu) / Documents > Annotator

33 Ręczne znakowanie Corpora / (nazwa korpusu) / Documents > Annotator

34 Ręczne znakowanie Corpora / (nazwa korpusu) / Documents > Annotator anotacja

35 BOOTSTRAPPING

36 Bootstrapping Corpora / (nazwa korpusu) / Documents > Bootstrapping

37 PRZEGLĄDANIE ANOTACJI

38 Lista anotacji Corpora / (nazwa korpusu) / Annotations

39 Frekwencja anotacji - kategorie Corpora / (nazwa korpusu) / Annotation frequency

40 Frekwencja anotacji - frazy Corpora / (nazwa korpusu) / Annotation frequency

41 Przeglądanie anotacji - kategorie Corpora / (nazwa korpusu) / Annotation browser

42 Przeglądanie anotacji - kategorie Corpora / (nazwa korpusu) / Annotation browser

43 Przeglądanie anotacji - lematy Corpora / (nazwa korpusu) / Annotation frequency

44 Przeglądanie anotacji - lematy Corpora / (nazwa korpusu) / Annotation frequency eksport listy

45 ADMINISTRACJA

46 Dodawanie użytkowników Corpora / (nazwa korpusu) / Settings > Users

47 Role użytkowników Corpora / (nazwa korpusu) / Settings > Users roles

48 Perspektywy Corpora / (nazwa korpusu) / Settings > Perspectives

49 KONTROLA

50 Badanie zgodności Corpora / (nazwa korpusu) / Agreement

51 Badanie zgodności Corpora / (nazwa korpusu) / Agreement

52 Badanie zgodności Corpora / (nazwa korpusu) / Agreement

53 Badanie zgodności Corpora / (nazwa korpusu) / Agreement

54 Badanie zgodności Corpora / (nazwa korpusu) / Agreement

55 Badanie zgodności Corpora / (nazwa korpusu) / Agreement

56 Badanie zgodności Corpora / (nazwa korpusu) / Agreement

57 Usuwanie niejednoznaczności Corpora / (nazwa korpusu) / Documents > Agreement

58 Porównanie zgodności na przykładzie kategoryzacji wyznaczników obiektów

59 INNE FUNKCJE

60 Upload Corpora / (nazwa korpusu) / Upload documents

61 Edycja metadanych dokumentów Corpora / (nazwa korpusu) / Documents > Metadata

62 Lista relacji Corpora / (nazwa korpusu) / Relations

63 Lematy Corpora / (nazwa korpusu) / Documents > Annotation lemmas

64 Sensy słów (WSD) Corpora / (nazwa korpusu) / Documents > WSD

65 OBRAZ - TEKST

66 Transkrypcja skanów

67 Dziękujemy za uwagę!