Standaryzacja danych w projekcie MICORE

Transkrypt

1 Standaryzacja w projekcie MICORE Paweł Andrzejewski Uniwersytet Szczecioski Instytut Nauk o Morzu Zakład Teledetekcji i Kartografii Morskiej z wykorzystaniem materiałów:

2 Główne założenia: Otwarty format DARMOWY Pozwalający na zamieszczenie meta Łatwy do odczytu przez WSZYSTKICH Jednoznacznie orientujący KAŻDY zestaw w przestrzeni i czasie Obsługujący większośd typów oprogramowania Oparty na serwerach z kontrolą wersji (SVN)

3 Cztery podstawowe kroki: Extract Pozyskanie Transform Konwersja Load Załadowanie Provide Publikacja Czyste dane Skrypty Baza Danych Wykresy i mapy Wgrane na serwer SVN Konwersja do postaci NetCDF Pliki NetCDF dostępne przez WWW Narzędzia i strony internetowe

4 Cztery podstawowe kroki: Extract Pozyskanie Transform Konwersja Load Załadowanie Provide Publikacja Czyste dane Skrypty Baza Danych Wykresy i mapy Wgrane na serwer SVN Konwersja do postaci NetCDF Pliki NetCDF dostępne przez WWW Narzędzia i strony internetowe

5 Serwer SVN: Zdalny serwer plików System plików z kontrolą wersji Praca na kopii lokalnej kontrola wersji aktualizacja Kopia lokalna wykonanie aktualizacji dodawanie usuwanie kopiowanie

6 Cztery podstawowe kroki: Extract Pozyskanie Transform Konwersja Load Załadowanie Provide Publikacja Czyste dane Skrypty Baza Danych Wykresy i mapy Wgrane na serwer SVN Konwersja do postaci NetCDF Pliki NetCDF dostępne przez WWW Narzędzia i strony internetowe

7 Konwersja : Dodanie meta Przygotowanie plików NetCDF Zapisanie skryptu do konwersji w bazie

8 Inspire Metadata Editor: Przygotowany we współpracy z Komisją Europejską Tworzenie meta za pomocą internetowego kreatora Wygenerowane pliki inspire pobiera się na dysk Standard pliku zgodny ze światowymi normami

9

10 Pliki NetCDF: Przygotowane aby ujednolicid dane pomiarowe Format pliku do przechowywanie wielowymiarowych Koordynat X (np. długośd geograficzna) Koordynat Y (np. szerokośd geograficzna) Koordynat Z (np. Wysokośd) Przestrzeo czasowa Z Y Inne wymiary Przechowywanie zmiennych X Temperatura, wilgotnośd, powietrza, ciśnienie atmosferyczne, zasolenie itp.. Przechowywanie informacji przestrzennych Gridy regularne i nieregularne Punkty Linie T

11 Pliki NetCDF i ArcGIS:

12 Pliki NetCDF:

13 Automatyzacja tworzenia plików NetCDF crossshorevariable = struct(... 'Name', 'crossshore_distance',... 'Nctype', 'float',... 'Dimension', {{ crossshore'}},... 'Attribute', struct('name', 'unit', 'Value', 'metre')... ); nc_addvar(outputfile, crossshorevariable); timevariable = struct(... 'Name', 'year',... 'Nctype', 'float',... 'Dimension', {{'time'}},... 'Attribute', struct('name', 'unit', 'Value', 'year')... ); nc_addvar(outputfile, timevariable); heightvariable = struct(... 'Name', 'height',... 'Nctype', 'float',... 'Dimension', {{'time', crossshore'}},... 'Attribute', struct('name', 'unit', 'Value', 'metre')... ); nc_addvar(outputfile, heightvariable); nc_dump(outputfile)

14 surface(nc_varget(outputfile, 'height')')

15 Cztery podstawowe kroki: Extract Pozyskanie Transform Konwersja Load Załadowanie Provide Publikacja Czyste dane Skrypty Baza Danych Wykresy i mapy Wgrane na serwer SVN Konwersja do postaci NetCDF Pliki NetCDF dostępne przez WWW Narzędzia i strony internetowe

16 Ładowanie : Załadowanie i wczytanie odbywa się automatycznie: Skrypty konwertujące do formatu NetCDF uruchamiane są automatycznie, lokalnie na serwerze Gotowe pliki kopiowane są na serwery opendap Na podstawie załączonych plików inspire tworzona jest lista dostępnych warstw

17 Cztery podstawowe kroki: Extract Pozyskanie Transform Konwersja Load Załadowanie Provide Publikacja Czyste dane Skrypty Baza Danych Wykresy i mapy Wgrane na serwer SVN Konwersja do postaci NetCDF Pliki NetCDF dostępne przez WWW Narzędzia i strony internetowe

18 Publikacja : Dostępne warstwy mogą byd zaprezentowane użytkownikom koocowym za pomocą wykresów, map, czy tabel poprzez wykorzystanie zgodnych aplikacji internetowych, skrytpów python, java, czy gotowych toolboxów np. w MatLabie.

19

20