Publikacja w repozytorium i przetwarzanie w systemie DSpace Michał Marcińczuk michal.marcinczuk@pwr.edu.pl Marcin Oleksy marcin.oleksy@pwr.edu.pl Politechnika Wrocławska Katedra Inteligencji Obliczeniowej Grupa Technologii Językowych G4.19
DSpace Lokalizacja clarin-pl.eu/dspace clarin-pl.eu» Repository
DSpace Zastosowanie repozytorium do długoterminowego przechowywania zasobów elementy zasobu: metadane ustrukturalizowany sposób opisu danych (standard CMDI rozwijany przez CLARIN) dane (opcjonalne) dowolne formaty plików: tekstowe, binarne, archiwa, itd. zasoby zdeponowane w repozytorium dostają unikalny i trwały identyfikator, (Handle.net), autoryzowany dostęp, a w przyszłości logowanie federacyjne przy użyciu prywatnych kont z instytucji, które dołączą do federacji, wyszukiwanie fasetowe filtrowanie po metadanych, jest częścią sieci CLARIN integrującej metadane z różnych repozytorium dostęp do centralnego repozytorium przez http://vlo.clarin.eu
Przetwarzanie dokumentów 1. Konwersja ekstrakcja treści tekstowych z dokumentów doc, docx, odt, rtf txt Adam Mickiewicz urodził się 24 grudnia 1798. W latach 1807 1815 uczęszczał do dominikańskiej szkoły powiatowej w Nowogródku. 2. Tokenizacja podział tekstu na zdania i tokeny (słowa) [1] [Adam] [Mickiewicz] [urodził] [się] [24] [grudnia] [1798] [w] [Zaosiu][.] [2] [W] [latach] [1807][ ][1815] [uczęszczał] [do] [dominikańskiej] [szkoły] [powiatowej] [w] [Nowogródku][.] 3. Analiza morfologiczna określenie formy bazowej i analizy morfologicznej dla każdego tokenu [1] [Adam] [Mickiewicz] [urodzić] [się] [24] [grudzień] [1798] [w] [Zaosiu][.] [2] [W] [rok] [1807][ ][1815] [uczęszczać] [do] [dominikański] [szkoła] [powiatowy] [w] [Nowogródek][.] praet:sg:m1:imperf subst:sg:gen:f
Przetwarzanie dokumentów (Process to CCL) 4. Rozpoznanie nazw własnych i wyrażeń temporalnych [1] [Adam] [Mickiewicz] [urodzić] [się] [24] [grudzień] [1798] [w] [Zaosiu][.] [2] [W] [rok] [1807][ ][1815] [uczęszczać] [do] [dominikański] [szkoła] [powiatowy] [w] [Nowogródek][.] Nazwy własne: dspace link Named Entities (nam) granice nazw własnych, Named Entities (top9) dziewięć głównych kategorii nazw własnych, Named Entities (n82) 82 szczegółowe kategorie nazw własnych. Wyrażenia temporalne: 5. dspace link Temporal Expressions (1class) granice wyrażeń temporalnych, Temporal Expressions (4classes) cztery kategorie: DATE, TIME, DURATION i SET. Ustalenie znaczeń słów (w odniesieniu do Słowosieci) [2] [W] [rok] [1807][ ][1815] [uczęszczać] [do] [dominikański] [szkoła] [powiatowy] [w]... rok 1 okres obiegu planety dookoła słońca, prawdopodobnie w innych ukł. planetarnych - wokół centralnej gwiazdy (np. rok marsjański) rok 2 jednostka rachuby czasu zależna najczęściej od cyklu przemian związanych z obiegiem Ziemi wokół Słońca rok 3 grupa ludzi, którzy studiują razem kolejne lata na uczelni szkoła 1 budynek, siedziba szkoły jako instytucaji szkoła 2 instytucja zajmująca się kształceniem dzieci i młodzieży szkoła 3 uczniowie i pracownicy instytucji szkoła 10 wykształcenie, wiadomości i umiejętności zdobyte w szkole lub na szkoleniu u mistrza
Próbki danych http://clarin-pl.eu/warsztaty.zip po rozpakowaniu zawartość w katalogu warsztaty_dspace
Rejestracja Register
Logowanie Login
Zgłoszenia Submissions
Nowe zgłoszenie Start a new submission
Krok 1: Podstawowe informacje Basic info
Krok 1: Podstawowe informacje Basic info
Krok 2: Osoby zaangażowane Who s involved Pole z możliwością wprowadzenia wielu wartości. Każda wartość musi być potwierdzone przez kliknięcie Add.
Krok 2: Osoby zaangażowane Who s involved
Krok 3: Opis zasobu Describe
Krok 4: Wgrywanie danych Upload
Krok 4: Wgrywanie danych Upload
Krok 4: Wgrywanie danych Upload
Krok 4: Wgrywanie danych Upload
Krok 5: Dodatkowe metadane Additional CMDI
Krok 6: Licencja License
Krok 7: Przegląd Review
Krok 8: Zakończenie zgłoszenia Complete submission
Zakończenie zgłoszenia Complete submission
Archiwalne zgłoszenia Archived Submissions
Przegląd zgłoszenia View Item -> Process files to CCL
Przegląd zgłoszenia View Item -> Export to Inforex
Przegląd zgłoszenia Inforex -> Tasks
inforex.clarin-pl.eu
Dziękujemy za uwagę!