Narzędzia do automatycznej analizy odniesień w tekstach

Wielkość: px

Rozpocząć pokaz od strony:

Download "Narzędzia do automatycznej analizy odniesień w tekstach"

Paweł Pawłowski
6 lat temu
Przeglądów:

1 CLARIN-PL Narzędzia do automatycznej analizy odniesień w tekstach Michał Marcińczuk Jan Kocoń Politechnika Wrocławska Katedra Inteligencji Obliczeniowej Grupa Naukowa G4.19 michal.marcinczuk@pwr.edu.pl jan.kocon@pwr.edu.pl

2 Czym są odniesienia Odniesienia to fragmenty tekstu reprezentujące pojęcia określonych kategorii. Rozważane kategorie odniesień: Jednostki identyfikacyjne, Wyrażenia temporalne. 2

3 Jednostki identyfikacyjne Jednostki identyfikacyjne to fragmenty tekstu odnoszące się do pewnych obiektów lub grup obiektów określonych kategorii. Do jednostek identyfikacyjnych zaliczamy: nazwy (nazwy własne i nazwy ogólne, generalne), przymiotniki pochodzące od nazw własnych, określone wyrażenia liczbowe. 3

4 Schemat jednostek identyfikacyjnych (1/2) Wśród jednostek identyfikacyjnych wyróżniamy dziewięć głównych grup: nam_adj przymiotniki pochodzące od nazw własnych, nam_eve wydarzenia organizowane lub ustalone przez ludzi oraz klęski żywiołowe, nam_fac konstrukcje (budowle, budynki, pomniki) stworzone przez ludzi. nam_liv istoty żywe (ludzie, postacie, zwierzęta), nam_loc toponimy (lokalizacje, jednostki geopolityczne i geograficzne), nam_num wyrażenia liczbowe, nam_org organizacje, instytucje, zespoły, zorganizowane grupy itd. nam_oth nazwy technologii, walut, adres , strony www, itd. nam_pro chrematonimy (wytwory ludzkie). 4

5 Schemat jednostek identyfikacyjnych (2/2) W obrębie każdej grupy wyszczególnione są kategorie szczegółowe ułożone w strukturę hierarchiczną. Pełna lista kategorii znajduje się w pliku Kategorie szczegółowe dla nam_loc: nam_loc_astronomical naturalne ciała niebieskie, nam_loc_country_region regiony geograficzne w obrębie kraju, nam_loc_gpe jednostki geopolityczne. nam_loc_gpe_admin podział administracyjny,, nam_loc_gpe_city miasta I 4 pozostałe podkategorie nam_loc_gpe_* nam_loc_hydronym naturalne obiekty wodne, nam_loc_hydronym_river rzeki, nam_loc_hydronym_lake jeziora, i 4 pozostałe podkategorie nam_loc_hydronym_* nam_loc_land ziemne obiekty geograficzne, nam_loc_land_cape przylądki. nam_loc_land_continent kontynenty. I 8 pozostałych podkategorii nam_loc_land_* 5

6 Wyrażenia temporalne Wyrażenia temporalne to fragmenty tekstu odnoszące się do czasu. Wyrażenia te mówią nam kiedy coś się stało, jak długo coś trwało albo jak często coś się wydarza. Wyróżniamy trzy rodzaje wyrażeń temporalnych jasne precyzyjne, jasne nieprecyzyjne i niejasne. Wyróżniamy cztery główne (na bazie wytycznych TimeML): kategorie wyrażeń temporalnych Kategoria Anotacja Opis Data t3_date Wyrażenie opisujące termin zgodnie z kalendarzem. Jest to jednostka czasu większa lub równa jednemu dniowi (rozumianemu jako doba). Odpowiada na kluczowe pytanie: kiedy. Pora t3_time Typ wyrażenia lokalizującego. Określenie to odnosi się do pory dnia (nocy). Nie musi ono być bardzo precyzyjne. Odpowiada na kluczowe pytanie: kiedy. Trwanie t3_duration Wyrażenie opisujące czas trwania jakiejś sytuacji, wyodrębniony przedział czasowy, w którym coś się dzieje. Odpowiada na kluczowe pytanie: jak długo. Seria t3_set Wyrażenie opisujące serię zdarzeń. Odpowiada na kluczowe pytanie: jak często. 6

7 Liner2 Cechy narzędzia do automatycznego rozpoznawania odniesień: wykorzystuje model statystyczny, dedykowane metody regułowo-słownikowe, klasyfikacja w oparciu o cechy z lokalnego kontekstu. Procedura konstrukcji modelu: 1) Opracowanie wytycznych. 2) Oznakowanie korpusu treningowo-testowego. 3) Definicja potencjalnych cech do opisu tokenów w tekście. 4) Eksperymentalna selekcja cech istotnych i optymalizacja parametrów modelu statystycznego. 5) Uczenie modelu statystycznego. 6) Uzupełnienie modelu statystycznego regułami i metodami słownikowymi. 7

8 Korpus KPWr 171 Modele statystyczne do rozpoznawania jednostek identyfikacyjnych i wyrażeń temporalnych zostały skonstruowane na korpusie KPWr Charakterystyka KPWr: Kolekcja dokumentów na licencji Creative Commons, Fragmenty długości do 200 słów, Teksty zróżnicowane tematycznie i gatunkowo Liczba dokumentów w Kpwr: Kategoria Uczący Pomocniczy Testowy Razem Wyrażenia temporalne Jednostki identyfikacyjne blogi dap dialog kap nauka popularno-naukowe i podręczniki proza dawna proza współczesna religijne stenogramy techniczne urzędowe ustawy wikinews wikipedia 8

9 Modele danych Dostępne modele danych: 1) Jednostki identyfikacyjne granice jednostek Named Entities (nam) główne kategorie Named Entities (top9) szczegółowe kategorie Named Entities (n82) 2) Wyrażenia temporalne granice wyrażeń Temporal Expressions (1class) cztery kategorie Temporal Expressions (4classes) 9

10 Jednostki identyfikacyjne» jakość rozpoznawania (1/3) Model top9 Precyzja Kategoria Precyzja Kompletność nam_adj 74% 61% nam_adj nam_eve 55% 28% nam_eve nam_fac 69% 37% nam_fac nam_liv 79% 78% nam_liv nam_loc 82% 87% nam_loc nam_num 100% 64% nam_num nam_org 65% 68% nam_org nam_oth 75% 48% nam_oth nam_pro 57% 50% nam_pro Łącznie 73% 69% Łącznie Granice 85% 80% Granice Kompletność

11 Jednostki identyfikacyjne» jakość rozpoznawania (2/3) Model n82 (wybrane kategorie) Precyzja Precyzja Kompletność nam_adj_country 73% 66% nam_adj_country nam_fac_road 74% 61% nam_fac_road nam_liv_person 71% 79% nam_liv_person nam_loc_gpe_admin1 79% 65% nam_loc_gpe_admin1 nam_loc_gpe_admin2 86% 72% nam_loc_gpe_admin2 nam_loc_gpe_city 69% 81% nam_loc_gpe_city nam_loc_gpe_country 91% 94% nam_loc_gpe_country nam_loc_hydronym_river 89% 50% nam_loc_hydronym_river nam_loc_land_continent 92% 78% nam_loc_land_continent nam_org_group_team 78% 68% nam_org_group_team nam_org_nation 81% 59% nam_org_nation nam_org_political_party 89% 74% nam_org_political_party nam_oth_currency 100% 74% nam_oth_currency Łącznie 67% 59% Łącznie Granice 86% 75% Granice Kategoria 0 10 Kompletność

12 Jednostki identyfikacyjne» jakość rozpoznawania (3/3) Model nam Kategoria Precyzja Precyzja Kompletność nam 85% 83% Granice (top9) 85% 80% Granice (top9) Granice (n82) 86% 75% Granice (n82) Kompletność nam

13 Wyrażenia temporalne» jakość rozpoznawania Modele 1class i 4classes Precyzja Kompletność t3_date 90% 86% t3_date t3_time 77% 54% t3_time t3_duration 72% 70% t3_duration t3_set 68% 34% t3_set Łącznie 86% 79% Łącznie timex 86% 83% timex Kategoria Precyzja Kompletność

14 Automatyczne rozpoznawanie odniesień (Dspace, Inforex) 14

15 Inforex Demo Liner2 15

16 Automatyczne rozpoznawanie odniesień Dokumenty użytkownika D-Space any2txt wcrft2 Liner2 WoSeD on 1) Jednostki identyfikacyjne (nam) 2) Jednostki identyfikacyjne (top9) 3) Jednostki identyfikacyjne (n82) 4) Wyrażenia temporalne (timex1) 5) Wyrażenia temporalne (timex4) Przeglądanie anotacji w dokumencie (Preview) Weryfikacja anotacji (Bootstrapping) Przeglądanie anotacji po kategoriach (Annotation browser ) Eskport listy anotacji do plikucsv (Annotation browser ) 16

17 Weryfikacja i przeglądanie odniesień (Inforex) 17

18 Inforex Preview 18

19 Inforex Bootstrapping 19

20 Inforex Annotations 20

21 Inforex Annotation browser 21

22 Eksport do pliku CSV 22

23 CLARIN-PL Pytania i odpowiedzi

24 CLARIN-PL Dziękuję bardzo za uwagę

Podobne dokumenty

Narzędzia do automatycznej analizy odniesień w tekstach

CLARIN-PL Narzędzia do automatycznej analizy odniesień w tekstach Michał Marcińczuk Jan Kocoń Politechnika Wrocławska Katedra Inteligencji Obliczeniowej Grupa Naukowa G4.19 michal.marcinczuk@pwr.edu.pl