Publikacja w repozytorium i przetwarzanie w systemie DSpace

Transkrypt

1 Publikacja w repozytorium i przetwarzanie w systemie DSpace Michał Marcińczuk michal.marcinczuk@pwr.edu.pl Marcin Oleksy marcin.oleksy@pwr.edu.pl Politechnika Wrocławska Katedra Inteligencji Obliczeniowej Grupa Technologii Językowych G4.19

2 DSpace Lokalizacja clarin-pl.eu/dspace clarin-pl.eu» Repository

3 DSpace Zastosowanie repozytorium do długoterminowego przechowywania zasobów elementy zasobu: metadane ustrukturalizowany sposób opisu danych (standard CMDI rozwijany przez CLARIN) dane (opcjonalne) dowolne formaty plików: tekstowe, binarne, archiwa, itd. zasoby zdeponowane w repozytorium dostają unikalny i trwały identyfikator, (Handle.net), autoryzowany dostęp, a w przyszłości logowanie federacyjne przy użyciu prywatnych kont z instytucji, które dołączą do federacji, wyszukiwanie fasetowe filtrowanie po metadanych, jest częścią sieci CLARIN integrującej metadane z różnych repozytorium dostęp do centralnego repozytorium przez

4 Przetwarzanie dokumentów 1. Konwersja ekstrakcja treści tekstowych z dokumentów doc, docx, odt, rtf txt Adam Mickiewicz urodził się 24 grudnia W latach uczęszczał do dominikańskiej szkoły powiatowej w Nowogródku. 2. Tokenizacja podział tekstu na zdania i tokeny (słowa) [1] [Adam] [Mickiewicz] [urodził] [się] [24] [grudnia] [1798] [w] [Zaosiu][.] [2] [W] [latach] [1807][ ][1815] [uczęszczał] [do] [dominikańskiej] [szkoły] [powiatowej] [w] [Nowogródku][.] 3. Analiza morfologiczna określenie formy bazowej i analizy morfologicznej dla każdego tokenu [1] [Adam] [Mickiewicz] [urodzić] [się] [24] [grudzień] [1798] [w] [Zaosiu][.] [2] [W] [rok] [1807][ ][1815] [uczęszczać] [do] [dominikański] [szkoła] [powiatowy] [w] [Nowogródek][.] praet:sg:m1:imperf subst:sg:gen:f

5 Przetwarzanie dokumentów (Process to CCL) 4. Rozpoznanie nazw własnych i wyrażeń temporalnych [1] [Adam] [Mickiewicz] [urodzić] [się] [24] [grudzień] [1798] [w] [Zaosiu][.] [2] [W] [rok] [1807][ ][1815] [uczęszczać] [do] [dominikański] [szkoła] [powiatowy] [w] [Nowogródek][.] Nazwy własne: dspace link Named Entities (nam) granice nazw własnych, Named Entities (top9) dziewięć głównych kategorii nazw własnych, Named Entities (n82) 82 szczegółowe kategorie nazw własnych. Wyrażenia temporalne: 5. dspace link Temporal Expressions (1class) granice wyrażeń temporalnych, Temporal Expressions (4classes) cztery kategorie: DATE, TIME, DURATION i SET. Ustalenie znaczeń słów (w odniesieniu do Słowosieci) [2] [W] [rok] [1807][ ][1815] [uczęszczać] [do] [dominikański] [szkoła] [powiatowy] [w]... rok 1 okres obiegu planety dookoła słońca, prawdopodobnie w innych ukł. planetarnych - wokół centralnej gwiazdy (np. rok marsjański) rok 2 jednostka rachuby czasu zależna najczęściej od cyklu przemian związanych z obiegiem Ziemi wokół Słońca rok 3 grupa ludzi, którzy studiują razem kolejne lata na uczelni szkoła 1 budynek, siedziba szkoły jako instytucaji szkoła 2 instytucja zajmująca się kształceniem dzieci i młodzieży szkoła 3 uczniowie i pracownicy instytucji szkoła 10 wykształcenie, wiadomości i umiejętności zdobyte w szkole lub na szkoleniu u mistrza

6 Próbki danych po rozpakowaniu zawartość w katalogu warsztaty_dspace

7 Rejestracja Register

8 Logowanie Login

9 Zgłoszenia Submissions

10 Nowe zgłoszenie Start a new submission

11 Krok 1: Podstawowe informacje Basic info

12 Krok 1: Podstawowe informacje Basic info

13 Krok 2: Osoby zaangażowane Who s involved Pole z możliwością wprowadzenia wielu wartości. Każda wartość musi być potwierdzone przez kliknięcie Add.

14 Krok 2: Osoby zaangażowane Who s involved

15 Krok 3: Opis zasobu Describe

16 Krok 4: Wgrywanie danych Upload

17 Krok 4: Wgrywanie danych Upload

18 Krok 4: Wgrywanie danych Upload

19 Krok 4: Wgrywanie danych Upload

20 Krok 5: Dodatkowe metadane Additional CMDI

21 Krok 6: Licencja License

22 Krok 7: Przegląd Review

23 Krok 8: Zakończenie zgłoszenia Complete submission

24 Zakończenie zgłoszenia Complete submission

25 Archiwalne zgłoszenia Archived Submissions

26 Przegląd zgłoszenia View Item -> Process files to CCL

27 Przegląd zgłoszenia View Item -> Export to Inforex

28 Przegląd zgłoszenia Inforex -> Tasks

29 inforex.clarin-pl.eu

30 Dziękujemy za uwagę!