CLARIN infrastruktura naukowa technologii językowych

Transkrypt

1 CLARIN infrastruktura naukowa technologii językowych Maciej Piasecki Politechnika ska Katedra Inteligencji Obliczeniowej Grupa Naukowa G4.19

2 Przykład: analiza pojęcia Problem: znalezienie w tekstach odwołań do pojęcia książka analiza przypisywanych cech i powiązań z innymi pojęciami Przykłady z sieci: W książce rękopiśmiennej najczęściej występowało ukształtowanie jedno- lub dwukolumnowe. (Wikipedia) W ciągu dziesięciu lat powstały cztery książki, nie jest to więc oszałamiający dorobek. ( Jak napisać fascynującą książkę z intrygującą fabułą i odnieść sukces? (sites.google.com/site/pisarstwo/) Za książką kryje się autor. Jego pisanie jest więc zawsze listem do czytelnika. Piszemy zazwyczaj listy do przyjaciół. Książka jest listem autora do przyjaciela. [Jarosław Iwaszkiewicz] (za:

3 Przykład: Mapa Literacka Literaturoznawstwo badania geokrytyczne przestrzeni kreowanej w tekstach literackich analiza przestrzeni kulturowych związanych ze środowiskiem elity intelektualnej w okresie powstania utworu Selekcja dzieł literackich oraz tekstów (pamiętników, reportaży, listów) związanych z postacią wybranego twórcy Odtwarzanie mapy mentalnej miejsca, które mają znaczenie dla danego twórcy miejsca, obiekty ważne w ówczesnej epoce literackiej lub na ówczesnej mapie politycznej Wizualizacja miejsc obecnych w powieści, np. ilustracja ścieżek pisarzy tworzenie mapy miejsc fikcyjnych Wsparcie: analizy prowadzone na dużym korpusie tekstów

4 Przykład: droga do realizacji Wizualizacja miejsc obecnych w powieści przetwarzanie wstępne: analiza morfologiczna i morfo-syntaktyczna Słowa, lematy, klasy gramatyczne rozpoznanie i klasyfikacja jednostek pozasłownikowych, np. nazw własnych powiązanie wyrażeń językowych z obiektami mapy Np. miejsca nie są często nazwane w tekście nazwą a opisane wyrażeniem złożonym: nazwy, wyrażenia przestrzenne, relacje semantyczne, deskrypcje określone funkcje geolokalizacji mapy skonfigurowanie systemu: instalacja narzędzi, dopasowanie formatów, problemy wydajnościowe, wizualizacja wyników, Wnioski: problemy użytkownika z użyciem istniejącej technologii językowej, konieczność rozszerzenia tej technologii

5 Przykład: droga do realizacji Mapy wyobrażeniowe brak oparcia na istniejącej mapie i geolokalizacji konieczność głębokiej i szczegółowej analizy informacji zawartej w tekście rozpoznawanie niedospecyfikowania i sprzeczności budowa bazy wiedzy o świecie z tekstu zawierającej model mapy wizualizacja mapy na podstawie bazy wiedzy Wnioski: poważne i ciekawe wyzwania należałoby bardzo poprawić pokrycie i dokładność głębokiej analizy składniowo-semantycznej

6 Bariery w zastosowaniu technologii językowej Fizyczna narzędzia i zasoby nie są dostępne w sieci Informacyjna brak opisu narzędzi i zasobów brak katalogów i możliwości łatwego odnalezienia Technologiczna brak standardów, możliwości łączenia elementów technologii brak wspólnej platformy różnorodność rozwiązań technologicznych brak sprzętu o określonych parametrach Wiedzy wymagane umiejętności programistyczne wymagana wiedza z zakresu inżynierii języka naturalnego Prawna licencje ograniczające dostęp i wykorzystanie szczególnie w odniesieniu do korpusów

7 Bariery w zastosowaniu technologii językowej Fizyczna dostępność: Informacyjna opis: metadane, dokumentacja katalog: Virtual Language Observatory Technologiczna standardy: CMDI, unifikacja standardów dla narzędzi platforma WebLicht, platforma polska w ramach CTJ sprzęt: Centrum Technologii Językowych Wiedzy aplikacje badawcze rozwijane wspólnie z użytkownikami CTJ działające jako centrum typu K (szerzenia wiedzy) Prawna otwartość! (ang. Open source, open access) otwarte rozwiązania! trudne w odniesieniu do korpusów, ale model otwartości wyników przetwarzania Finansowa: otwartość kosztuje, a kto płaci? MNiSW?

8 CLARIN CLARIN ERIC (Common Language Resources and Technology Infrastructure European Research Infrastructure Consortium) Wspólne zasoby językowe i infrastruktura technologiczna część europejskiej (ESFRI) i polskiej mapy drogowej infrastruktury naukowej Czym jest rozproszona infrastruktura technologii językowych dla nauk humanistycznych i społecznych kilkadziesiąt centrów technologicznych w 15 krajach działających jako jeden wspólny system jednolity dostęp do zasobów językowych oraz narzędzi i aplikacji badawczych do analizy tekstu i mowy w wielu językach europejskich

9 CLARIN ERIC Centres

10 CLARIN Członkowie 15 członków: Austria Bułgaria Czechy Dania Dutch Language Union Estonia Grecja Holandia Litwa Niemcy Norwegia Polska Portugalia Słowenia Szwecja Włochy Obserwatorzy: Wielka Brytania

11 Podstawowe pojęcia Zasoby językowe zbiory danych i bazy danych opisujące język naturalny oraz jego użycie sformalizowany opis wybranych aspektów języka naturalnego Narzędzia językowe programy komputerowe do przetwarzania tekstu i mowy na różnych poziomach analizy języka naturalnego automatyczna analiza struktur językowych, np. analiza składniowa zastosowania użytkowe, np. rozpoznawanie i klasyfikacja nazw własnych Technologia językowa = zasoby + narzędzia + infrastruktura językowa wspólna baza technologiczna zapewniająca połączenie zróżnicowanych narzędzi i zasobów językowych

12 Podstawowe funkcje CLARIN Ułatwienie dostępu do zasobów językowych federacja repozytoriów Virtual Language Observatory federacyjne przeszukiwanie korpusów Federated Content Search Wsparcie dla automatycznej analizy tekstu i mowy paleta gotowych do użycia narzędzi językowych usługi sieciowe (Web Services) i aplikacje narzędziowe dostęp poprzez repozytoria typowe zestawy, możliwość tworzenia własnych zestawów Aplikacje badawcze budowane pod konkretne potrzeby, często we współpracy z użytkownikami oparte na technologii językowej, ale nie `narzucające jej

13 Podstawowe funkcje CLARIN Szerzenia Wiedzy (Knowledge Sharing Infrastructure) centra CLARIN typu K oferujące dostęp do wiedzy eksperckiej i wsparcie, fizyczne i wirtualne poradniki i punkty informacyjne, warsztaty, itd. Wymogi dla centrum typu K (wybrane) strona WWW z jasno określonym zakresem usług Np. pomoc, wsparcie techniczne lub technologiczne, kursy, Zapewniają reaktywne usługi, np. odpowiedzi na zapytania użytkowników w ciągu 2 dni roboczych Dysponują odpowiednią kadrą Przykłady centrów typu K CLARIN Knowledge Centre for Treebanking (Univ. Bergen i LINDAT, Prague) Phonogrammarchiv Institute for audio-visual Research and Documentation (Austrian Academy of Science), Viena CLARIN Knowledge Centre for Speech Analysis (CLARIN-SPEECH), Stockholm Planowane centrum typu K w ramach Centrum Technologii Językowych

14 CLARIN ERIC: usługi centralne

15 Wyszukiwanie zasobów po metadanych w formacie CMDI

16 Wyszukiwanie zasobów po metadanych w formacie CMDI Fasetowe wyszukiwanie Atrybuty i ich zakresy wartości są odczytywane z meta-danych Wspólny standard: CMDI (Componet Metadata Infrastructure)

17 Centralne przeszukiwanie treści

18 Konsorcjum Członkowie konsorcjum Politechnika ska, Katedra Inteligencji Obliczeniowej Instytut Podstaw Informatyki Polskiej Akademii Nauk, Zespół Inżynierii Lingwistycznej Instytut Slawistyki Polskiej Akademii Nauk Polsko-Japońska Akademia Technik Komputerowych Uniwersytet Łódzki Uniwersytet ski Pierwsza część fazy konstrukcji: VII 2013 IV 2016 Cele Budowa polskiej części infrastruktury badawczej CLARIN ERIC Rozwój otwartej technologii językowej dla języka polskiego umożliwiającej różnorodnej zastosowania na praktycznym poziomie

19 w pigułce Centrum Technologii Językowych certyfikat centrum CLARIN typu B międzynarodowy certyfikat Data Seal of Approval w zakresie przechowywania i zarządzania danymi naukowymi Narzędzia i zasoby dla języka polskiego rozszerzone lub zbudowane od podstaw dostępne w CLARIN ERIC, w większości jako usługi sieciowe Unikatowy dwutorowy model budowy łączenie i uzupełnianie elementów infrastruktury technologii językowych proces budowy ukierunkowany na wymagania użytkowników Współpraca z użytkownikami: aplikacje oraz warsztaty

20 Technologia przed 1. Analiza morfologiczna: formy podstawowe, cechy morfologiczne 2. Ujednoznacznienie opisów gramatycznych słów 3. Płytka analiza składniowa, np. frazy i zależności 4. Wydobywanie z tekstu słowników: terminów (w tym wielowyrazowych) nazw własnych tezaurusów 5. Ujednoznacznienie znaczeń słów w tekście 6. Rozpoznawanie odniesień do obiektów (bytów nazwanych) 7. Ocena nastawienia emocjonalnego i rozpoznanie opinii 8. Rozpoznawanie relacji semantycznych 9. Rozpoznawanie sytuacji 10. Rozpoznawanie relacji czasowych 11. Rozpoznanie relacji między fragmentami tekstu 12. Analiza struktury dyskursu 13. Pełna interpretacja znaczenia tekstu Architektura technologii językowych połączenie modułów

21 Technologia po 1. Analiza morfologiczna: formy podstawowe, cechy morfologiczne 2. Ujednoznacznienie opisów gramatycznych słów 3. Płytka analiza składniowa, np. frazy i zależności 4. Wydobywanie z tekstu słowników: terminów (w tym wielowyrazowych) nazw własnych tezaurusów 5. Ujednoznacznienie znaczeń słów w tekście 6. Rozpoznawanie odniesień do obiektów (bytów nazwanych) 7. Ocena nastawienia emocjonalnego i rozpoznanie opinii 8. Rozpoznawanie relacji semantycznych 9. Rozpoznawanie sytuacji 10. Rozpoznawanie relacji czasowych 11. Analiza struktury dyskursu 12. Rozpoznanie relacji między fragmentami tekstu 13. Pełna interpretacja znaczenia tekstu Architektura technologii językowych połączenie modułów

22 Podstawowy potok przetwarzania 1. Zbudowanie korpusu 1. Np. CorpoGrabber i Inforex 2. Segmentacja (Toki i Maca) 3. Analiza morfologiczna (Morfeusz) 4. Ujednoznacznianie opisów gramatycznych wyrazów (tagowanie) (WCRFT) 5. Rozpoznawanie nazw własnych (Liner2) 6. Uproszczony podział na główne elementy (tzw. chunker Iobber lub Spejd) 7. Ujednoznacznienie znaczenia słów (WoSeDoN) Dalsza analiza: składniowa (Malt), semantyczna

23 Przetwarzanie wstępne Zdeponowanie korpusu w systemie DSpace Uruchomienie wyzwalacza Konwersja dowolnego formatu do postaci tekstowej Analiza morfosyntaktyczna Rozpoznawanie jednostek identyfikacyjnych Rozpoznawanie wyrażeń temporalnych Generowanie lematów dla anotacji Zapis rezultatu w postaci plików CCL Kompresja rezultatu i udostępnienie dla innych narzędzi

24 Przyszłość Rozszerzenie wybranych narzędzi językowych pod względem pokrycia i dokładności działania Np. ujednoznacznianie znaczeń leksykalnych, parsery składniowo-semantyczne, narzędzia do wydobywania informacji o zdarzeniach Rozbudowa Centrum Technologii Językowych w zakresie obsługi wielkich wolumenów danych i równoległego przetwarzania Rozwinięcie prototypowej platformy do łączenia narzędzi językowych w aplikację badawczą Połączenie WebSty i narzędzi prototypowych w elastyczną aplikację badawczą do analizy stylometrycznej i statystycznej analizy semantycznej tekstów Rozbudowa i budowa dalszych aplikacji do tekstu i mowy

25 Korzyści z udziału w CLARIN CLARIN ERIC jest dynamicznie rozwijającą się infrastrukturą badawczą rosnąca liczba członków i czołowych ośrodków naukowych szereg stabilnych centralnych usług oraz narzędzi naukowych wyznacza standardy i budzi zainteresowanie w świecie nauki Transferu wiedzy i metod badawczych zarówno w dziedzinie technologii językowych, jak i NHiS Łatwiejszy dostęp do zasobów naukowych i narzędzi badawczych Szerzenia wiedzy o nowych cyfrowych metodach badawczych w NHiS Promocja polskiej nauki, kultury, zwiększenie możliwości prowadzenie badań nad materiałami w języku polskim Rozwój otwartej technologii dla języka polskiego

26 Dziękuję bardzo za uwagę