dr inż. Grzegorz Płoszajski doc. dr inż. Tomasz Traczyk Instytut Automatyki i Informatyki Stosowanej Politechnika Warszawska Grudzień 2013
Projekt CREDO Cyfrowe REpozytorium DOkumentów G.Płoszajski, T.Traczyk IAiIS PW 2/48
Projekt CREDO Projekt CREDO sponsor Konkurs: DEMONSTRATOR+ Wsparcie badań naukowych i prac rozwojowych w skali demonstracyjnej (NCBiR) Cel konkursu: finansowanie przedsięwzięć badawczo-rozwojowych od badań naukowych do przygotowania innowacyjnego produktu przetestowanego w skali demonstracyjnej G.Płoszajski, T.Traczyk IAiIS PW 3/48
Projekt CREDO Projekt CREDO cel Opracowanie i uruchomienie repozytorium, umożliwiającego krótkoi długoterminową archiwizację wielkich wolumenów zasobów cyfrowych Repozytorium ma pełnić funkcje bezpiecznej składnicy plików archiwum cyfrowego (także długoterminowego) G.Płoszajski, T.Traczyk IAiIS PW 4/48
Projekt CREDO Projekt CREDO konsorcjum Polska Wytwórnia Papierów Wartościowych S.A. lider Politechnika Warszawska, IAiIS SkyTechnology sp. z o.o. G.Płoszajski, T.Traczyk IAiIS PW 5/48
Projekt CREDO Zastosowania CREDO Zastosowania CREDO: repozytorium krótkoterminowe Bezpieczny system plików o wielkiej pojemności system plików z replikacją pojemność petabajtowa, pojedyncze pliki wieloterabajtowe Zarządzanie i aplikacje po stronie użytkownika Główna trudność: wielkość zasobów G.Płoszajski, T.Traczyk IAiIS PW 6/48
Projekt CREDO Zastosowania CREDO Zastosowania CREDO: archiwum długoterminowe Długookresowe zapewnienie trwałości zasobów gwarancja wiarygodnego (łac. credibile) odczytu i poprawnej interpretacji zasobu dyslokacja zasobów i współdziałanie wielu archiwów Kompletne funkcje archiwum, w tym zarządzanie metadanymi i wyszukiwanie opakowanie zasobów w pakiety archiwalne efektywność energetyczna Zarządzanie archiwum po stronie systemu CREDO Główna trudność: długowieczność archiwum (kilkadziesiąt lat lub więcej) G.Płoszajski, T.Traczyk IAiIS PW 7/48
Projekt CREDO Zastosowania CREDO Potencjalna pozycja rynkowa Potencjalni użytkownicy służba zdrowia przechowywanie danych medycznych instytucje odpowiedzialne za dziedzictwo kulturowe (np. NINA, Filmoteka Narodowa, muzea) instytucje mające duże archiwa (np. urzędy, przedsiębiorstwa, kościoły, stowarzyszenia) nadawcy telewizyjni i radiowi itp. Konkurencja w dziedzinie składowania krótkoterminowego są poważne oferty (IBM itp.) w dziedzinie archiwizacji długoterminowej na rynku nie ma ogólnie dostępnych produktów G.Płoszajski, T.Traczyk IAiIS PW 8/48
Wymagania archiwizacji zasobów cyfrowych Wymagania archiwizacji zasobów cyfrowych Trwałość informacji trudna do uzyskania z powodu braku trwałych nośników nie musi oznaczać wierności odczytu ze zgodnością co do bitu Weryfikowalność poprawności przechowywania niezbędna dla zapewnienia trwałości musi istnieć metoda sprawdzenia, czy nie doszło do uszkodzenia danych Integralność informacji kompletność (np. w sensie wymagań użytego formatu) pewność, że nie dokonano nieuprawnionych modyfikacji Autentyczność informacji zgodność zawartości rzeczywistej z deklarowaną (np. w metadanych) Dostępność informacji możliwość odnalezienia i pozyskania żądanego zasobu interpretowalność zasobu Poufność informacji gwarancja udostępnienia jedynie podmiotom uprawnionym G.Płoszajski, T.Traczyk IAiIS PW 9/48
Wymagania archiwizacji zasobów cyfrowych Wymagania archiwizacji zasobów cyfrowych Trwałość informacji trudna do uzyskania z powodu braku trwałych nośników nie musi oznaczać wierności odczytu ze zgodnością co do bitu Weryfikowalność poprawności przechowywania niezbędna dla zapewnienia trwałości musi istnieć metoda sprawdzenia, czy nie doszło do uszkodzenia danych Integralność informacji kompletność (np. w sensie wymagań użytego formatu) pewność, że nie dokonano nieuprawnionych modyfikacji Autentyczność informacji zgodność zawartości rzeczywistej z deklarowaną (np. w metadanych) Dostępność informacji możliwość odnalezienia i pozyskania żądanego zasobu interpretowalność zasobu Poufność informacji gwarancja udostępnienia jedynie podmiotom uprawnionym G.Płoszajski, T.Traczyk IAiIS PW 9/48
Wymagania archiwizacji zasobów cyfrowych Wymagania archiwizacji zasobów cyfrowych Trwałość informacji trudna do uzyskania z powodu braku trwałych nośników nie musi oznaczać wierności odczytu ze zgodnością co do bitu Weryfikowalność poprawności przechowywania niezbędna dla zapewnienia trwałości musi istnieć metoda sprawdzenia, czy nie doszło do uszkodzenia danych Integralność informacji kompletność (np. w sensie wymagań użytego formatu) pewność, że nie dokonano nieuprawnionych modyfikacji Autentyczność informacji zgodność zawartości rzeczywistej z deklarowaną (np. w metadanych) Dostępność informacji możliwość odnalezienia i pozyskania żądanego zasobu interpretowalność zasobu Poufność informacji gwarancja udostępnienia jedynie podmiotom uprawnionym G.Płoszajski, T.Traczyk IAiIS PW 9/48
Wymagania archiwizacji zasobów cyfrowych Wymagania archiwizacji zasobów cyfrowych Trwałość informacji trudna do uzyskania z powodu braku trwałych nośników nie musi oznaczać wierności odczytu ze zgodnością co do bitu Weryfikowalność poprawności przechowywania niezbędna dla zapewnienia trwałości musi istnieć metoda sprawdzenia, czy nie doszło do uszkodzenia danych Integralność informacji kompletność (np. w sensie wymagań użytego formatu) pewność, że nie dokonano nieuprawnionych modyfikacji Autentyczność informacji zgodność zawartości rzeczywistej z deklarowaną (np. w metadanych) Dostępność informacji możliwość odnalezienia i pozyskania żądanego zasobu interpretowalność zasobu Poufność informacji gwarancja udostępnienia jedynie podmiotom uprawnionym G.Płoszajski, T.Traczyk IAiIS PW 9/48
Wymagania archiwizacji zasobów cyfrowych Wymagania archiwizacji zasobów cyfrowych Trwałość informacji trudna do uzyskania z powodu braku trwałych nośników nie musi oznaczać wierności odczytu ze zgodnością co do bitu Weryfikowalność poprawności przechowywania niezbędna dla zapewnienia trwałości musi istnieć metoda sprawdzenia, czy nie doszło do uszkodzenia danych Integralność informacji kompletność (np. w sensie wymagań użytego formatu) pewność, że nie dokonano nieuprawnionych modyfikacji Autentyczność informacji zgodność zawartości rzeczywistej z deklarowaną (np. w metadanych) Dostępność informacji możliwość odnalezienia i pozyskania żądanego zasobu interpretowalność zasobu Poufność informacji gwarancja udostępnienia jedynie podmiotom uprawnionym G.Płoszajski, T.Traczyk IAiIS PW 9/48
Wymagania archiwizacji zasobów cyfrowych Wymagania archiwizacji zasobów cyfrowych Trwałość informacji trudna do uzyskania z powodu braku trwałych nośników nie musi oznaczać wierności odczytu ze zgodnością co do bitu Weryfikowalność poprawności przechowywania niezbędna dla zapewnienia trwałości musi istnieć metoda sprawdzenia, czy nie doszło do uszkodzenia danych Integralność informacji kompletność (np. w sensie wymagań użytego formatu) pewność, że nie dokonano nieuprawnionych modyfikacji Autentyczność informacji zgodność zawartości rzeczywistej z deklarowaną (np. w metadanych) Dostępność informacji możliwość odnalezienia i pozyskania żądanego zasobu interpretowalność zasobu Poufność informacji gwarancja udostępnienia jedynie podmiotom uprawnionym G.Płoszajski, T.Traczyk IAiIS PW 9/48
Wymagania archiwizacji zasobów cyfrowych Wymagania archiwizacji zasobów cyfrowych Trwałość informacji trudna do uzyskania z powodu braku trwałych nośników nie musi oznaczać wierności odczytu ze zgodnością co do bitu Weryfikowalność poprawności przechowywania niezbędna dla zapewnienia trwałości musi istnieć metoda sprawdzenia, czy nie doszło do uszkodzenia danych Integralność informacji kompletność (np. w sensie wymagań użytego formatu) pewność, że nie dokonano nieuprawnionych modyfikacji Autentyczność informacji zgodność zawartości rzeczywistej z deklarowaną (np. w metadanych) Dostępność informacji możliwość odnalezienia i pozyskania żądanego zasobu interpretowalność zasobu Poufność informacji gwarancja udostępnienia jedynie podmiotom uprawnionym G.Płoszajski, T.Traczyk IAiIS PW 9/48
Wymagania archiwizacji zasobów cyfrowych Archiwa płytkie i głębokie Archiwum musi także mieć akceptowalne koszty utrzymania Archiwum płytkie dostęp na żądanie (on-line) nieefektywne energetycznie drogie Archiwum głębokie dostęp na zamówienie (off-line) może być efektywne energetycznie G.Płoszajski, T.Traczyk IAiIS PW 10/48
Standardy w archiwum cyfrowym Standardy w archiwum cyfrowym Tylko zgodność ze standardami może zapewnić długookresową możliwość poprawnej interpretacji zasobów Standardy muszą dotyczyć zawartości archiwum: formatów przechowywanych zasobów, metadanych Także struktura archiwum i procedury jego działania powinny być zgodne ze standardami lub ogólnie przyjętymi obyczajami G.Płoszajski, T.Traczyk IAiIS PW 11/48
Standardy w archiwum cyfrowym OAIS Standard OAIS Open archival information system (OAIS) Reference model ISO 14721:2012 Dzieło CCSDS (Consultative Committee for Space Data Systems) Standard określa model referencyjny dla archiwów cyfrowych: terminologię środowisko działania archiwum podział odpowiedzialności model funkcjonalny archiwum i przepływy danych ogólne modele danych dla archiwum ogólne modele API modele migracji informacji zasady współdziałania archiwów ogólny model warstwowy oprogramowania archiwum Archiwa CREDO powinny być całkowicie zgodne z modelem OAIS G.Płoszajski, T.Traczyk IAiIS PW 12/48
Standardy w archiwum cyfrowym OAIS Opakowanie zasobów archiwalnych Zasoby archiwalne powinny być przesyłane i przechowywane razem ze swoimi metadanymi Postuluje się zatem opakowanie zasobów wraz z metadanymi w tzw. pakiety Pakiety archiwalne (wg. OAIS) SIP (Submission Information Package) format negocjowany z producentem zasobów AIP (Archival Information Package) format właściwy dla danego archiwum DIP (Dissemination Information Package) format odpowiedni dla konsumenta zasobów Każdy rodzaj pakietu może zawierać wiele zasobów Zależności pomiędzy SIP, AIP i DIP mogą nie być proste (wiele do wielu, podzbiory itp.) G.Płoszajski, T.Traczyk IAiIS PW 13/48
Standardy w archiwum cyfrowym XFDU Standard XFDU XML Formatted Data Unit standard określający budowę pakietu archiwalnego Dzieło CCSDS (Consultative Committee for Space Data Systems) Pakiet zawiera tzw. manifest w formacie określonym przez XFDU pliki zasoby odnośniki (URI) do zasobów zewnętrznych Standard określa logiczną a nie fizyczną strukturę pakietu składniki pakietu mogą być fizycznie połączone, np. w pliku ZIP z użyciem standardu XOP (XML-binary Optimized Packaging) i MIME G.Płoszajski, T.Traczyk IAiIS PW 14/48
Standardy w archiwum cyfrowym Certyfikacja archiwów cyfrowych Certyfikacja archiwów cyfrowych Zaufane repozytoria cyfrowe (trustworthy digital repositories) wymagają certyfikacji Kryteria certyfikacji zostały ustandaryzowane: Audit and Certification of Trustworthy Digital Repositories ISO 16363 (2012) Archiwa CREDO powinny spełniać wymogi certyfikacji G.Płoszajski, T.Traczyk IAiIS PW 15/48
Metadane i formaty plików Metadane w archiwum Po co metadane? Archiwum TV bez metadanych (case study) Biblioteki cyfrowe bez metadanych Zalecenia UNESCO 2003 odnośnie digitalizacji dziedzictwa kulturowego: Digital heritage materials must be uniquely identified, and described using appropriate metadata for resource discovery, management and preservation. Preservation programmes should use standardised metadata schemas as they become available, for interoperability between programmes. G.Płoszajski, T.Traczyk IAiIS PW 16/48
Metadane i formaty plików Czym są METADANE? Definicja Metadane są to dane o danych dane dostarczające informacji o innych danych Przykład Metadane mogą dostarczać informacji o obiektach fizycznych, np. o książkach w bibliotece; takie metadane mogą być zapisane w tradycyjnym katalogu kartkowym albo w katalogu elektronicznym Metadane mogą dostarczać informacji o obiektach cyfrowych powstałych z digitalizacji obiektów fizycznych; w takim przypadku metadane zazwyczaj zawierają metadane obiektów oryginalnych oraz informacje o procesie digitalizacji Metadane mogą opisywać obiekty cyfrowe, które nie mają fizycznego pierwowzoru, np. zdjęcia wykonane aparatem cyfrowym, cyfrowe nagrania dźwiękowe, dokumenty born digital G.Płoszajski, T.Traczyk IAiIS PW 17/48
Metadane i formaty plików Czym są METADANE? Definicja Metadane są to dane o danych dane dostarczające informacji o innych danych Przykład Metadane mogą dostarczać informacji o obiektach fizycznych, np. o książkach w bibliotece; takie metadane mogą być zapisane w tradycyjnym katalogu kartkowym albo w katalogu elektronicznym Metadane mogą dostarczać informacji o obiektach cyfrowych powstałych z digitalizacji obiektów fizycznych; w takim przypadku metadane zazwyczaj zawierają metadane obiektów oryginalnych oraz informacje o procesie digitalizacji Metadane mogą opisywać obiekty cyfrowe, które nie mają fizycznego pierwowzoru, np. zdjęcia wykonane aparatem cyfrowym, cyfrowe nagrania dźwiękowe, dokumenty born digital G.Płoszajski, T.Traczyk IAiIS PW 17/48
Metadane i formaty plików Czym są METADANE? Definicja Metadane są to dane o danych dane dostarczające informacji o innych danych Przykład Metadane mogą dostarczać informacji o obiektach fizycznych, np. o książkach w bibliotece; takie metadane mogą być zapisane w tradycyjnym katalogu kartkowym albo w katalogu elektronicznym Metadane mogą dostarczać informacji o obiektach cyfrowych powstałych z digitalizacji obiektów fizycznych; w takim przypadku metadane zazwyczaj zawierają metadane obiektów oryginalnych oraz informacje o procesie digitalizacji Metadane mogą opisywać obiekty cyfrowe, które nie mają fizycznego pierwowzoru, np. zdjęcia wykonane aparatem cyfrowym, cyfrowe nagrania dźwiękowe, dokumenty born digital G.Płoszajski, T.Traczyk IAiIS PW 17/48
Metadane i formaty plików Czym są METADANE? Definicja Metadane są to dane o danych dane dostarczające informacji o innych danych Przykład Metadane mogą dostarczać informacji o obiektach fizycznych, np. o książkach w bibliotece; takie metadane mogą być zapisane w tradycyjnym katalogu kartkowym albo w katalogu elektronicznym Metadane mogą dostarczać informacji o obiektach cyfrowych powstałych z digitalizacji obiektów fizycznych; w takim przypadku metadane zazwyczaj zawierają metadane obiektów oryginalnych oraz informacje o procesie digitalizacji Metadane mogą opisywać obiekty cyfrowe, które nie mają fizycznego pierwowzoru, np. zdjęcia wykonane aparatem cyfrowym, cyfrowe nagrania dźwiękowe, dokumenty born digital G.Płoszajski, T.Traczyk IAiIS PW 17/48
Metadane i formaty plików Metadane obiektów cyfrowych Metadane obiektów cyfrowych mogą być zapisywane wewnątrz plików albo osobno, np. w bazie danych. Z metadanymi zapisywanymi wewnątrz obiektów cyfrowych spotykamy się m.in. w przypadku zdjęć cyfrowych i plików dźwiękowych. Przykład zdjęcie cyfrowe w formacie JPG może zawierać metadane opisujące wielkość zdjęcia (wymiary), datę i godzinę wykonania, wielkość pliku i inne dane, jak przesłonę, czas migawki cyfrowy plik dźwiękowy w formacie MP3 zazwyczaj zawiera metadane opisujące czas trwania nagrania, wielkość pliku, nazwiska wykonawców i in., a także parametry techniczne jak szybkość transmisji (bitrate, np. 128 kbps) W pliku HTML tworzącym stronę WWW można zapisać metadane ułatwiające odczytywanie go w przeglądarce lub tworzenie indeksów wyszukiwawczych (strona kodowa, słowa kluczowe) G.Płoszajski, T.Traczyk IAiIS PW 18/48
Metadane i formaty plików Metadane obiektów cyfrowych Metadane obiektów cyfrowych mogą być zapisywane wewnątrz plików albo osobno, np. w bazie danych. Z metadanymi zapisywanymi wewnątrz obiektów cyfrowych spotykamy się m.in. w przypadku zdjęć cyfrowych i plików dźwiękowych. Przykład zdjęcie cyfrowe w formacie JPG może zawierać metadane opisujące wielkość zdjęcia (wymiary), datę i godzinę wykonania, wielkość pliku i inne dane, jak przesłonę, czas migawki cyfrowy plik dźwiękowy w formacie MP3 zazwyczaj zawiera metadane opisujące czas trwania nagrania, wielkość pliku, nazwiska wykonawców i in., a także parametry techniczne jak szybkość transmisji (bitrate, np. 128 kbps) W pliku HTML tworzącym stronę WWW można zapisać metadane ułatwiające odczytywanie go w przeglądarce lub tworzenie indeksów wyszukiwawczych (strona kodowa, słowa kluczowe) G.Płoszajski, T.Traczyk IAiIS PW 18/48
Metadane i formaty plików Metadane obiektów cyfrowych Metadane obiektów cyfrowych mogą być zapisywane wewnątrz plików albo osobno, np. w bazie danych. Z metadanymi zapisywanymi wewnątrz obiektów cyfrowych spotykamy się m.in. w przypadku zdjęć cyfrowych i plików dźwiękowych. Przykład zdjęcie cyfrowe w formacie JPG może zawierać metadane opisujące wielkość zdjęcia (wymiary), datę i godzinę wykonania, wielkość pliku i inne dane, jak przesłonę, czas migawki cyfrowy plik dźwiękowy w formacie MP3 zazwyczaj zawiera metadane opisujące czas trwania nagrania, wielkość pliku, nazwiska wykonawców i in., a także parametry techniczne jak szybkość transmisji (bitrate, np. 128 kbps) W pliku HTML tworzącym stronę WWW można zapisać metadane ułatwiające odczytywanie go w przeglądarce lub tworzenie indeksów wyszukiwawczych (strona kodowa, słowa kluczowe) G.Płoszajski, T.Traczyk IAiIS PW 18/48
Metadane i formaty plików Metadane obiektów cyfrowych Metadane obiektów cyfrowych mogą być zapisywane wewnątrz plików albo osobno, np. w bazie danych. Z metadanymi zapisywanymi wewnątrz obiektów cyfrowych spotykamy się m.in. w przypadku zdjęć cyfrowych i plików dźwiękowych. Przykład zdjęcie cyfrowe w formacie JPG może zawierać metadane opisujące wielkość zdjęcia (wymiary), datę i godzinę wykonania, wielkość pliku i inne dane, jak przesłonę, czas migawki cyfrowy plik dźwiękowy w formacie MP3 zazwyczaj zawiera metadane opisujące czas trwania nagrania, wielkość pliku, nazwiska wykonawców i in., a także parametry techniczne jak szybkość transmisji (bitrate, np. 128 kbps) W pliku HTML tworzącym stronę WWW można zapisać metadane ułatwiające odczytywanie go w przeglądarce lub tworzenie indeksów wyszukiwawczych (strona kodowa, słowa kluczowe) G.Płoszajski, T.Traczyk IAiIS PW 18/48
Metadane i formaty plików Typy metadanych Opisowe (identyfikacja i opis oryginału) Techniczne (tworzenie obiektów cyfrowych) Strukturalne (struktura złożonych obiektów cyfrowych) Konserwatorskie (przechowywanie obiektów cyfrowych) Prawne (zakres udostępniania obiektów cyfrowych) Administracyjne (zarządzanie obiektami cyfrowymi) Behawioralne (dotyczące udostępniania) G.Płoszajski, T.Traczyk IAiIS PW 19/48
Metadane i formaty plików Standardy metadanych opisowych Jest wiele standardów metadanych opisowych o różnym przeznaczeniu i zakresie stosowania. Między innymi stosuje się: w bibliotekach: Marc21 w bibliotekach cyfrowych: Dublin Core w archiwach: EAD księgarstwie: ONIX for Books w fotografii prasowej: IPTC (International Press Telecommunications Council) do opisu zasobów wizualnych (architektura, malarstwo, fotografia i in.): VRA Core, CDWA w transmisjach radiowych: EBU Tech 3293 w systemach informacji geograficznej GIS: CSDGM (Content Standard for Digital Geospatial Metadata) G.Płoszajski, T.Traczyk IAiIS PW 20/48
Metadane i formaty plików Metadane techniczne Informują o procesie tworzenia obiektu cyfrowego urządzeniach użytych do digitalizacji parametrach procesu digitalizacji parametrach związanych z formatami zapisu wymaganiach odnośnie pamięci lokalizacji Przykładowe standardy: Exif, MIX G.Płoszajski, T.Traczyk IAiIS PW 21/48
Metadane i formaty plików Metadane strukturalne Informują o obiektach składowych tworzących obiekt złożony, np. obrazach cyfrowych i ich metadanych obiektach cyfrowych różnych typów, jak obrazy nieruchome, tekst i dźwięk powiązaniach między obiektami: statycznych (np. kolejne strony) odnoszących się do czasu (np. synchronizacja odtwarzania) Przykładowe standardy: METS, MPEG21-DIDL G.Płoszajski, T.Traczyk IAiIS PW 22/48
Metadane i formaty plików Metadane konserwatorskie Wspomagają długotrwałe przechowywanie obiektów cyfrowych, umożliwiając zapisanie informacji o zabiegach, którym były poddane, np. odświeżeniu zapisu z przeniesieniem na inny nośnik, zmianie formatu zapisu, dokonaniu zmiany w metadanych obiektu cyfrowego. Przykładowy standard: PREMIS G.Płoszajski, T.Traczyk IAiIS PW 23/48
Metadane i formaty plików Metadane prawne Mogą być wyrażane opisowo w prostych, pojedynczych metadanych bądź za pomocą rozbudowanych systemów i sformalizowanych pojęć Informacje mogą być przeznaczone dla zarządzających udostępnianiem bądź dla ogółu użytkowników Zakres i forma informacji może być uzgadniana z organizacjami zarządzania zbiorowego prawami autorskimi nadającymi numery takie jak ISAN dla utworów audiowizualnych lub kody dla wykonań G.Płoszajski, T.Traczyk IAiIS PW 24/48
Metadane i formaty plików Typy metadanych Metadane administracyjne wspomagają zarządzanie (określane niejednolicie) Metadane behawioralne wspomagają udostępnianie, np. informują, czy plik graficzny prezentować w poziomie czy w pionie (czy obrócić o 90 lub o 270 ) G.Płoszajski, T.Traczyk IAiIS PW 25/48
Metadane i formaty plików Metadane opisowe zalecane w polskich katalogach dobrych praktyk Dla materiałów bibliotecznych: MARC 21 lub Dublin Core (są określone pola MARC 21 wymagane przy poszczególnych typach digitalizowanych obiektów) Dla materiałów archiwalnych: metadane opisowe nie są określone (z jednej strony wymaga się EAD, z drugiej dopuszcza się opis indywidualny, wzorowany na Dublin Core) Dla materiałów muzealnych zaleca się korzystanie ze standardów wspieranych przez uznane instytucje muzealne (np. CIDOC); dopuszcza się własne standardy, zalecając, by opis był nie mniej szczegółowy niż Dublin Core G.Płoszajski, T.Traczyk IAiIS PW 26/48
Metadane i formaty plików Standard Dublin Core Otwarty wymienny standard metadanych utworzony do opisu zasobów internetowych (1995) Podstawowy zestaw: Dublin Core Metadata Element Set (DCMES version 1.1) liczy 15 metadanych Jest objęty normą ISO 15836:2009 (wcześniej 15836:2003) Upowszechnianiem formatu Dublin Core zajmuje się organizacja DCMI (Dublin Core Metadata Initiative) Opracowała ona rozbudowany zestaw metadanych DCMI Metadata Terms zawierający kilkadziesiąt dodatkowych elementów Polska wersja dokumentacji Dublin Core jest dostępna na stronie Biblioteki Narodowej G.Płoszajski, T.Traczyk IAiIS PW 27/48
Metadane i formaty plików Standard Dublin Core W Polsce jest używany m.in. do opisywania zasobów bibliotek cyfrowych Federacja Bibliotek Cyfrowych (FBC) gromadzi automatycznie metadane z ponad stu bibliotek posługujących się oprogramowaniem dlibra, korzystając z protokołu OAI-PMH Dzięki temu zasoby wszystkich bibliotek (ponad 1600 tys.) są z łatwością przeszukiwane na serwerze FBC FBC jest agregatorem danych z Polski dla portalu Europeana (dane muszą spełniać pewne wymagania odnośnie kompletności opisu) Biblioteka Kongresu USA opracowała oprogramowanie do konwersji opisów z MARC21 na Dublin Core oraz z Dublin Core na MARCXML G.Płoszajski, T.Traczyk IAiIS PW 28/48
Metadane i formaty plików Formaty plików a długotrwałe przechowywanie Formaty plików służących do przedstawiania tekstu, obrazów płaskich nieruchomych, dźwięku, obrazów ruchomych z dźwiękiem (wideo i materiałów filmowych) można oceniać pod kątem przydatności do długotrwałego przechowywania Analizę przydatności dla dużej liczby formatów przeprowadziła Biblioteka Kongresu USA Podobne opracowania powstały w National Archives w USA, w The National Archives w Wielkiej Brytanii i in. G.Płoszajski, T.Traczyk IAiIS PW 29/48
Metadane i formaty plików Kryteria oceny formatów cz. 1 Otwartość, jawność (disclosure) kompletna specyfikacja, dostępność narzędzi do sprawdzania technicznej poprawności pliku Przyjęcie, akceptacja (adoption) czy format jest szeroko używany i jak: zapis wzorcowy, udostępnianie, wymiana między systemami; czy są do niego łatwo dostępne narzędzia zarówno amatorskie jak profesjonalne Przejrzystość (transparency) czy zapisana informacja daje się analizować lub oglądać bez specjalistycznych narzędzi, np. czy zawarte w pliku metadane mogą być przeczytane za pomocą zwykłego edytora G.Płoszajski, T.Traczyk IAiIS PW 30/48
Metadane i formaty plików Kryteria oceny formatów cz. 2 Samodokumentowanie (self-documentation) obiekt z zapisanymi wewnątrz niego metadanymi ma większe szanse przetrwania w razie katastrofy w archiwum od takiego, który ma metadane oddzielnie, a także lepiej się nadaje do wymiany Zależności zewnętrzne (external dependencies) zależność od konkretnego sprzętu, systemu operacyjnego lub oprogramowania; dotyczy często danych naukowych oraz plików z zawartością interaktywną Techniczne mechanizmy zabezpieczające, umożliwiające przyszłe migracje, zmiany nośników (format nie powinien być związany z konkretnym typem nośnika) oraz ochronę praw G.Płoszajski, T.Traczyk IAiIS PW 31/48
Metadane i formaty plików Formaty zapisu metadanych W przypadkach, w których następuje udostępnianie obiektów cyfrowych przez sieć, uprzywilejowanym formatem zapisu metadanych, najbardziej uniwersalnym przy przesyłaniu staje się XML Tak jest np. w standardzie ONIX for Books, stosowanym do przesyłania metadanych między wydawcami, hurtownikami, księgarzami i innymi ogniwami łańcucha dostaw książek Tak jest z metadanymi w standardzie Dublin Core, gromadzonymi z bibliotek cyfrowych Wyjątkiem mogą być sytuacje takie jak w fotografii prasowej, gdy metadane IPTC umieszczane są w pliku zdjęciowym G.Płoszajski, T.Traczyk IAiIS PW 32/48
Metadane i formaty plików Metadane konserwatorskie PREMIS Nazwa PREMIS oznacza: PREservation Metadata: Implementation Strategies Pierwszą wersję standardu, zawartą w raporcie PREMIS Data Dictionary for Preservation Metadata (2005), opracowała na podstawie szerokich badań międzynarodowa grupa robocza, składająca się w dużej mierze z praktyków (reprezentujących biblioteki narodowe i uczelniane, muzea, archiwa itp.) Po zgromadzeniu uwag (2007) opracowano Data Dictionary v. 2.0 i po krótkim czasie w wersji 2.2 W roku 2013 dodano ontologię Premis OWL 2.2 Zapowiedziano także zmiany w nowej wersji 3.0 słownika, mającego zawierać nową jednostkę semantyczną, określającą poziom zabezpieczenia obiektów G.Płoszajski, T.Traczyk IAiIS PW 33/48
Metadane i formaty plików Preservation Level ilustracja Koncept Preservation Level może być zilustrowany tabelą opracowaną przez NDSA (National Digital Stewardship Alliance), charakteryzującą podejście posiadacza archiwum cyfrowego do liczby kopii i ich ich lokalizacji integralności danych i niezmienności (fixity) zabezpieczenia informacji stosowania metadanych formatów plików http://www.digitalpreservation.gov/ndsa/activities/levels.html G.Płoszajski, T.Traczyk IAiIS PW 34/48
Metadane i formaty plików PREMIS Data Dictionary Określa podstawowe jednostki semantyczne, które repozytoria muszą znać, by przechować obiekty cyfrowe przez długi czas Określa metadane wspierające (viability, renderability, understandability, authencity identity) obiektów cyfrowych Kładzie nacisk na implementable metadata: ściśle zdefiniowane, wspierane opracowanymi wskazaniami (guidelines) do tworzenia, zarządzania i użytkowania, zorientowane na zautomatyzowane działania (workflows) Zakłada neutralność względem techniki i technologii (żadnych założeń odnośnie strategii i technologii, odnośnie przechowywania metadanych i zarządzania nimi) Słownik jest zbudowany w oparciu o model OAIS ISO 14721 G.Płoszajski, T.Traczyk IAiIS PW 35/48
Metadane i formaty plików Metadane próba podsumowania Metadane są niezbędne dla poprawnego i bezpiecznego funkcjonowania cyfrowych archiwów długoterminowych Warto zaczynać od dobrych standardów i sprawdzonych procedur postępowania, bo późniejsze uzupełnianie danych może być pracochłonne Standardy metadanych są pomocne i niosą cenną informację, ale nie zwalniają od samodzielnego myślenia, zwłaszcza w zakresie specyficznym dla dziedziny, z którą dane obiekty są związane G.Płoszajski, T.Traczyk IAiIS PW 36/48
Metadane i formaty plików Metadane w projekcie CREDO Projektowane archiwum powinno stosować metadane konserwatorskie PREMIS do zapisywania działań przeprowadzanych na przechowywanych plikach Projektowane archiwum powinno określić politykę względem standardów metadanych dostarczanych wraz z plikami i względem formatów plików z danymi (np. dla jednych archiwum gwarantuje jedynie przechowanie pliku do najbliższej zmiany formatów, a dla innych łącznie z konwersją na nowy format itp.) Powinien zostać zapewniony szybki dostępu do metadanych, zwłaszcza opisowych i prawnych, niezależnie od sposobu przechowywania plików z danymi Powinna być rozważona koncepcja wyróżnienia standardu metadanych opisowych (zapewne Dublin Core), zgodnie z którą metadane opisowe obiektów byłyby nie tylko zachowywane w standardzie oryginalnym, lecz dodatkowo konwertowane do tego wspólnego standardu, by ułatwić wspólne ich przeszukiwanie G.Płoszajski, T.Traczyk IAiIS PW 37/48
Proponowane rozwiązania w CREDO CREDO a wymagania archiwizacji Trwałość informacji replikacja dyslokacja i umożliwienie odrębności technologicznej możliwość odbudowy uszkodzonego zasobu Weryfikowalność poprawności przechowywania monitorowanie sprzętu regularne wielopoziomowe monitorowanie stanu zasobów Integralność informacji opakowanie zasobów z ich metadanymi mechanizmy sprawdzania integralności G.Płoszajski, T.Traczyk IAiIS PW 38/48
Proponowane rozwiązania w CREDO CREDO a wymagania archiwizacji, c.d. Autentyczność informacji rozbudowane metadane kontrola integralności metadanych i prawidłowości przypisania ich do zasobu Dostępność informacji kopia metadanych w bazie danych on-line i mechanizmy wyszukiwania dostęp na żądanie lub na zamówienie (z oszacowaniem czasu dostawy) dokumentacja formatów dostępna w archiwum i powiązana z zasobami Poufność informacji system uprawnień dostępu oparty na ACLs (access control lists) szyfrowanie zasobów i transmisji G.Płoszajski, T.Traczyk IAiIS PW 39/48
Proponowane rozwiązania w CREDO Składowe rozwiązania CREDO Trwałe (mogą co najwyżej ewoluować, z zachowaniem zgodności wstecznej) użyte standardy architektura interfejsy (w tym formaty komunikatów) struktura pakietów AIP procedury rekomendacje co do formatów, metadanych itp. Możliwe do wymiany (z możliwością współistnienia starych i nowych rozwiązań) środowiska sprzętowo-systemowe nośniki i ich obudowa programowa (w tym systemy plików) konkretne rozwiązania informatyczne (baza danych, języki itp.) protokoły komunikacyjne struktury pakietów SIP i DIP formaty zapisu danych 1 1 Zależnie od wymagań formalnych G.Płoszajski, T.Traczyk IAiIS PW 40/48
Proponowane rozwiązania w CREDO Środki techniczne w CREDO Główne założenia techniczne Niezależność od sprzętu Niezależność od oprogramowania Trwałość architektury i interfejsów Szerokie wykorzystanie standardów, w tym OAIS G.Płoszajski, T.Traczyk IAiIS PW 41/48
Proponowane rozwiązania w CREDO Środki techniczne w CREDO Środki techniczne w CREDO Środki planowane do realizacji wersji demonstracyjnej CREDO składnica plików: system plików LizardFS system zarządzania archiwum i metadanymi: Oracle protokoły komunikacyjne i reprezentacja metadanych: XML komunikacja: Web Services Architektura i konstrukcja systemu powinna pozwalać na wymianę użytych środków technicznych 2 bez zaburzenia pracy systemu 2 Zapewne oprócz XML G.Płoszajski, T.Traczyk IAiIS PW 42/48
Proponowane rozwiązania w CREDO Środki techniczne w CREDO LizardFS Otwarty rozproszony system plików opracowywany na licencji GPL v. 3 odgałęzienie (fork) projektu MooseFS Pozwala tworzyć wielkie rozproszone składnice wielkich plików Może być budowany z niedrogich standardowych komponentów Zapewnia niezawodność, skalowalność, wysoką dostępność i bezpieczeństwo Zawiera mechanizmy wielokrotnej replikacji danych Dla CREDO planowana jest specjalna rozszerzona wersja systemu G.Płoszajski, T.Traczyk IAiIS PW 43/48
Proponowane rozwiązania w CREDO Architektura CREDO Architektura CREDO Budowa warstwowa zgodnie z modelem OAIS (rozwiniętym) Interfejsy między warstwami możliwie słabo zależne od rozwiązań technicznych trwałe protokoły wymiany informacji oparte na XML wymienne adaptery dostępne przez API G.Płoszajski, T.Traczyk IAiIS PW 44/48
Proponowane rozwiązania w CREDO Architektura CREDO Repozytorium krótkoterminowe 3 Użytkownik Warstwa aplikacji Warstwa obiektów Warstwa struktury Adapter warstwy stream Protokół natywny systemu plików Lizard FS (stream layer) Warstwa nośnika... 3 Warstwy wg. standardu OAIS G.Płoszajski, T.Traczyk IAiIS PW 45/48
Proponowane rozwiązania w CREDO Architektura CREDO Archiwum długoterminowe Użytkownik Warstwa aplikacji Adapter warstwy stream Adapter warstwy obiektów XML + WebServices Warstwa aplikacji Warstwa obiektów Warstwa struktury Metadane Protokół natywny systemu plików XML + WebServices Adapter warstwy struktury Lizard FS (stream layer) Warstwa nośnika... G.Płoszajski, T.Traczyk IAiIS PW 46/48
Podsumowanie Podsumowanie Spełnienie wymagań stawianych archiwom cyfrowym jest trudne, szczególnie w przypadku archiwów długoterminowych Stworzenie akceptowalnego rozwiązania wymaga prac o znaczącym zakresie Praca jest nowatorska: na rynku nie ma gotowych produktów tego typu W pracy występują liczne wątki o charakterze badawczym Założenia projektu CREDO oraz potencjał wykonawców dają nadzieję na opracowanie archiwum długoterminowego spełniającego wszystkie ważne wymagania G.Płoszajski, T.Traczyk IAiIS PW 47/48
Podsumowanie Podsumowanie Spełnienie wymagań stawianych archiwom cyfrowym jest trudne, szczególnie w przypadku archiwów długoterminowych Stworzenie akceptowalnego rozwiązania wymaga prac o znaczącym zakresie Praca jest nowatorska: na rynku nie ma gotowych produktów tego typu W pracy występują liczne wątki o charakterze badawczym Założenia projektu CREDO oraz potencjał wykonawców dają nadzieję na opracowanie archiwum długoterminowego spełniającego wszystkie ważne wymagania G.Płoszajski, T.Traczyk IAiIS PW 47/48
Podsumowanie Podsumowanie Spełnienie wymagań stawianych archiwom cyfrowym jest trudne, szczególnie w przypadku archiwów długoterminowych Stworzenie akceptowalnego rozwiązania wymaga prac o znaczącym zakresie Praca jest nowatorska: na rynku nie ma gotowych produktów tego typu W pracy występują liczne wątki o charakterze badawczym Założenia projektu CREDO oraz potencjał wykonawców dają nadzieję na opracowanie archiwum długoterminowego spełniającego wszystkie ważne wymagania G.Płoszajski, T.Traczyk IAiIS PW 47/48
Podsumowanie Podsumowanie Spełnienie wymagań stawianych archiwom cyfrowym jest trudne, szczególnie w przypadku archiwów długoterminowych Stworzenie akceptowalnego rozwiązania wymaga prac o znaczącym zakresie Praca jest nowatorska: na rynku nie ma gotowych produktów tego typu W pracy występują liczne wątki o charakterze badawczym Założenia projektu CREDO oraz potencjał wykonawców dają nadzieję na opracowanie archiwum długoterminowego spełniającego wszystkie ważne wymagania G.Płoszajski, T.Traczyk IAiIS PW 47/48
Podsumowanie Podsumowanie Spełnienie wymagań stawianych archiwom cyfrowym jest trudne, szczególnie w przypadku archiwów długoterminowych Stworzenie akceptowalnego rozwiązania wymaga prac o znaczącym zakresie Praca jest nowatorska: na rynku nie ma gotowych produktów tego typu W pracy występują liczne wątki o charakterze badawczym Założenia projektu CREDO oraz potencjał wykonawców dają nadzieję na opracowanie archiwum długoterminowego spełniającego wszystkie ważne wymagania G.Płoszajski, T.Traczyk IAiIS PW 47/48
Podsumowanie Podsumowanie Spełnienie wymagań stawianych archiwom cyfrowym jest trudne, szczególnie w przypadku archiwów długoterminowych Stworzenie akceptowalnego rozwiązania wymaga prac o znaczącym zakresie Praca jest nowatorska: na rynku nie ma gotowych produktów tego typu W pracy występują liczne wątki o charakterze badawczym Założenia projektu CREDO oraz potencjał wykonawców dają nadzieję na opracowanie archiwum długoterminowego spełniającego wszystkie ważne wymagania G.Płoszajski, T.Traczyk IAiIS PW 47/48
Podsumowanie Cyfrowe REpozytorium DOkumentów Credo znaczy wierzę G.Płoszajski, T.Traczyk IAiIS PW 48/48