Dr hab. Janusz Michalak Uniwersytet Warszawski Wydział Geologii Warszawa, 12.02.2011 XVII edycja seminarium GIS W PRAKTYCE INTERAKTYWNE SYSTEMY MAPOWE ORAZ PRZESTRZENNE MAPY CYFROWE Konspekt wykładu pod tytułem: Warszawa, 16 marca 2011 r. Wymagania technologiczne infrastruktury INSPIRE w zakresie Web-GIS i Web-Mapping Rok 1997 był przełomowy dla technologii Web-mapping i Web-GIS. W tym roku został przeprowadzony na wystawie GIS w Cincinnati pionierski eksperyment z tego zakresu. Był on pionierski nie dla tego, że uzyskano jakiś wyjątkowy rezultat, bo udostępnianie map w Internecie miało miejsce już znacznie wcześniej i w wielu nietypowych odmianach jest rozwijane nadal do dziś. Przełom tamten polegał na tym, że po raz pierwszy zostało to zrealizowane w oparciu o nowo opracowany standard technologiczny WMS (Web Map Service). Niestandardowe rozwiązania technologiczne mają jedną poważną wadę - łączność w przesyłaniu map jest ograniczona do współdziałania klienta, którym prawie zawsze jest zwykła przeglądarka internetowa, z tylko jednym geoserwerem. Zastosowanie w tym eksperymencie nowej technologii WMS pozwoliło wyświetlić na ekranie jednego komputera-klienta obraz złożony z warstw przesłanych jednocześnie z kilku geoserwerów, w dodatku pracujących na różnych platformach sprzętowo-systemowych. Od tego czasu technologie określane popularnie Web-mappingiem i Web-GISem znacznie się rozwineły opracowano wiele nowych standardów przeznaczonych do wyszukiwania geoinformacji (CSW Catalogue Service Web), do przegladania (WMTS Web Map Tile Service), do pobierania danych gepoprzestrzennych (WFS Web Feature Service i WCS Web Coverage Service), do przetwarzania (WCTS Web Coordinate Transformation Service i WPS Web Processing Service) i także wiele innych usług towarzyszących tym głównym, a stosowany od lat standard WMS został znacznie rozwinięty. Stworzyło to podstawy do budowania rozległych i złożonych sieci geoserwerów, które obecnie nazywamy infrastrukturami geoinformacyjnymi. Jedną z takich sieci jest budowana obecnie europejska infrastruktura informacji przestrzennej znana pod akronimem INSPIRE. Parlament i Rada Unii Europejskiej przyjęły dyrektywę INSPIRE w roku 2007, obecnie trwają intensywne prace nad szczegółowymi specyfikacjami technicznymi dla danych i usług, a ich ukończenie jest planowane na rok 2012. Jak widać, przy tak szybkim rozwoju technologicznym, przeszłość bezpośrednio łączy się z przyszłością. Podstawy technologiczne specyfikacje OGC i normy ISO Pomiędzy rozwiązaniami technologicznymi infrastruktury geoinformacyjnej a takimi rozwiązaniami dotyczącymi ogólnie Internetu zachodzi bardzo istotna analogia. Aby Internet mógł funkcjonować bez zakłóceń i wydajnie (można powiedzieć jeszcze mocniej aby mógł w ogóle funkcjonować) niezbędne są ściśle określone standardy podstawowe i bezwzględne ich przestrzeganie. To samo dotyczy infrastruktury geoinformacyjnej, o czym nie wszyscy dostatecznie zdają sobie sprawę. Rezultatem braku wiedzy w tym zakresie jest wiele
nieudanych projektów, w wyniku których powstają niestandardowe geoserwery, nie mogące współpracować z innymi. W konsekwencji stają się izolowanymi wyspami i ich udział w infrastrukturze jest niemożliwy. Dla uniknięcia przedstawionej powyżej sytuacji, tworząc węzły infrastruktury INSPIRE trzeba bezwzględnie przestrzegać zarówno międzynarodowych standardów OGC (Open Geospatial Consortiom), jak i norm z grupy ISO 19100 opracowywanych przez TC 211 (Technical Committee 211 Geographic information/geomatics), a w szczególności specyfikacji opracowanych w zespołach technicznych utworzonych i koordynowanych przez INSPIRE CT (European Commission INSPIRE Team), w którego skład wchodzą: DG Environment (Environment Directorate-General of the European Commission), Eurostat (Statistical Office of the European Union Directorate-General) i JRC (Joint Research Centre Directorate-General). Rola każdej z tych trzech wymienionych wcześniej organizacji zajmujących się standaryzacją jest nieco inna. Rola OGC jest wiodąca, ponieważ organizacja ta skupia ponad 400 różnych podmiotów aktywnie działających w zakresie geoinformacji z całego Świata. W śród nich są: Wielkie korporacje, na przykład Microsoft Corporation, IBM Corporation, Oracle Corporation i Google Incorporation. Instytucje Unii Europejskiej, na przykład European Environment Agency (EEA), European Space Agency (ESA), European Union Satellite Centre i Joint Research Centre (JRC). Agencje rządowe z różnych państw, na przykład: US Geological Survey (USGS), US National Aeronautics and Space Administration (NASA), US National Geospatial-Intelligence Agency (NGA), Department of Defence (Australia), UK Ordnance Survey, US Army Geospatial Center, US Census Bureau, US Environmental Protection Agency (EPA), UK Met Office i UK Hydrographic Office. Ponad 160 uniwersytetów z wielu krajów i porównywalna liczba ośrodków badawczych, między innymi: australijskie CSIRO, francuskie BRGM, British Geological Survey i World Meteorological Organization (WMO). Wśród wielu towarzystw naukowych jest tam jedyny członek d Polski Polskie Towarzystwo Informacji Przestrzennej. Przytoczony powyżej wykaz instytucji należących do OGC pokazuje jak duży potencjał badawczy i rozwojowy posiada ta organizacja. Jest to najpotężniejsze środowisko zajmujące się technologiami geoinformatycznymi. W OGC powstają podstawowe standardy technologiczne, które najczęściej trafiają do komitetu ISO/TC 211, gdzie są zatwierdzane jako oficjalne międzynarodowe normy ISO, a następnie są przyjmowane przez CEN (European Committee for Standardization) jako normy europejski i z kolei w Polsce przez PKN (przez Komitet Techniczny KT 297 ds. Informacji Geograficznej) Dokumenty wykonawcze dyrektywy INSPIRE określają wiele szczegółowych zagadnień dotyczących zakresu udostępnianych danych, sposobu ich udostępniania i wielu innych spraw prawnych, ekonomicznych i organizacyjnych dotyczących funkcjonowania infrastruktury INSPIRE. Obok samej dyrektywy, w której między innymi jest określony cel infrastruktury: dla celów polityk wspólnotowych w zakresie ochrony środowiska oraz polityk lub działań mogących oddziaływać na środowisko, jest wiele dokumentów o niższej randze prawnej:
rozporządzenia wykonawcze Komisji Europejskiej, dokumenty typu wytycznych technicznych i w tym: specyfikacje danych dla poszczególnych 34 tematów załączników dyrektywy (specyfikacje te precyzyjnie określają zakres i formę tych danych), dokumenty ramowe określające ogólne zasady opracowania wytycznych wytyczne techniczne dotyczące usług sieciowych wyszukiwania, przeglądania, pobierania i przekształcania danych. dokumenty dotyczące usług w zakresie danych przestrzennych (do tej pory nie opracowano żadnego dokumentu tej kategorii i trwa ciągle dyskusja, czym właściwie są tego rodzaju usługi). Z powyższego wynika, że wymagania technologiczne dotyczące infrastruktury INSPIRE są bardzo złożone, bo nakładają się tu trzy częściowo różne grupy standardów specyfikacje, OGC, normy ISO i wytyczne techniczne INSPIRE. Infrastruktura geoinformacyjna to połączenie wszystkiego razem Komunikacja w infrastrukturze pomiędzy jej elementami odbywa się przy pomocy protokółu aplikacyjnego HTTP działającego na bazie niższej warstwy transportu TCP/IP realizowany przez serwer HTTP (np. Apache). Dotyczy to wszystkich usług realizowanych przez geoserwer, na przykład takich jak witryna WWW i usługi bezpośrednie WMS, WFS, WCS i inne. Rola klienta wymaga możliwości wysyłania poleceń protokółu HTTP (polecenia typu GET lub POST) i to najczęściej jest realizowane w węzłach infrastruktury przy pomocy biblioteki libcurl. Dzięki temu wiele różnych serwerów tworzących infrastrukturę, przy spełnieniu wyliczonych wcześniej standardów, może komunikować się wzajemnie i w ten sposób wspólnie realizują polecenia przekazywane do infrastruktury przez systemy klienckie obsługujące jej użytkowników. W różnych obszarach związanych z problematyką infrastruktur te same pojęcia określane są różnymi terminami. Poniższa tabela porządkuje tą terminologię i przez to pozwoli lepiej zrozumieć podstawowe funkcje infrastruktury. Nazwa popularna Web-Mapping Web-GIS Technologie OGC i ISO CSW WMS, WMTS WFS, WCS Nazwa w INSPIRE Usługa wyszukiwania Usługa przeglądania Usługa pobierania Rezultaty Zobrazowanie danych Dane przestrzenne GeoTIFF i podobne Inny problem terminologiczny, również utrudniający zrozumienie zasad funkcjonowania infrastruktury INSPIRE to różne języki stosowane w dokumentach prawnych i technologicznych. Tu również dla pełnego zrozumienia często trzeba posługiwać się słownikami. Przykład takiego słownika jest poniżej: Termin z dziedziny prawa Usługa wyszukiwania Usługa przeglądania Usługa pobierania Termin z dziedziny technologii Usługa CSW (Catalogue Service for the Web) Usługa WMS (Web Map Service) i WMTS (Web Map Tiling Service) Usługa WFS (Web Feature Service)
Usługa przekształcania Usługi wywoływania usług i WCS (Web Coverage Service) Usługa WPS (Web Processing Service) i WCTS (Web Coordinate Transformation Service) Usługi OWS (OGC Web Service Common) Czym różni się INSPIRE od innych infrastruktur? Można to w dużym uproszczeniu przedstawić w kilku punktach: Ma charakter międzynarodowy obejmuje wszystkie kraje członkowskie Unii Europejskiej. Jest przedsięwzięciem nowym, bazującym w dużym stopniu na istniejących już infrastrukturach narodowych krajów członkowskich. Jest na bardzo wczesnym etapie budowy, a ściślej jest dopiero w fazie projektowania i opracowywania szczegółowych specyfikacji technicznych. Jest dedykowana przede wszystkim danym tematycznym, które dotyczą zagadnień środowiska. Cechą charakterystyczną infrastruktury INSPIRE jest problem wielojęzyczności obecnie w Unii Europejskiej są przyjęte 23 języki urzędowe, a we wszystkich 46 krajach europejskich jest obecnie używanych ponad 205 języków. Konsekwencją faktu, że jest to nowe przedsięwzięcie, jest dążenie do stosowania najnowszych rozwiązań technologicznych. Budowana obecnie w Polsce Infrastruktura Informacji Przestrzennej składa się z trzech zasadniczych części w pewnym stopniu oddzielnych infrastruktur: polska część europejskiej infrastruktury INSPIRE, część IIP stanowiąca infrastrukturę Służby Geodezyjno-Kartograficznej, część IIP nie należąca do INSPIRE i nie należąca do ISGK węzły innych resortów wymagane przez przepisy prawa polskiego. Wzajemne relacje pomiędzy tymi trzema częściami IIP nie są jednoznacznie określone w ustawie, która ustanawia infrastrukturę krajową i wiele tu zależy od różnych decyzji podejmowanych w różnych resortach, a także od kształtu realizowanych obecnie i w przyszłości projektów. Główne problemy i trudności implementacyjne Jednym z podstawowych problemów technologicznych jest spełnienie wymogów dotyczących wielojęzyczności, dotyczy kilku aspektów: interfejsu webowego dla użytkownika (przeglądarki), przesyłanych danych tekstowych we wszystkich usługach (na przykład nazwy geograficzne), komunikacji pomiędzy systemami, gdy występują tam teksty: polecenia wysyłane przez klienta (system), wyniki przekazywane przez serwer w odpowiedzi na polecenie, (na przykład teksty w legendzie zwracanej przez WMS).
Jednym z rozwiązań umożliwiających wielojęzyczność jest uzupełnienie listy parametrów poleceń w poszczególnych usług o dodatkowy parametr LANGUAGE i parametr ten jest obowiązkowy. Przykład takiego rozszerzenia dla usługi WMS przedstawia poniższa tabela: Parametr polecenia M obowiązkowy O nieobowiązkowy Opis VERSION=1.3.0 M Wersja polecenia REQUEST=GetMap M Nazwa polecenia LAYERS=name, name M STYLES=name,name M CRS=namespace:identifier M Układ odniesienia BBOX= minx,miny,maxx,maxy M Prostokąt ograniczający WIDTH=output_width M Szerokość mapy w pikselach HEIGHT=output_height M Wysokość mapy w pikselach FORMAT=output_format M LANGUAGE=code M Język polecenia (rozszerzenie INSPIRE) TRANSPARENT= Przezroczystość tła mapy M TRUE FALSE (domyślnie = TRUE) BGCOLOR=color_value O Kolor tła zapisany heksadecymalnie (domyślnie = 0xFFFFFF, biały) EXCEPTIONS = Format komunikatu o błędzie WMS O error_format (domyślnie = XML) Specyfikacje danych INSPIRE precyzują także układy odniesienia, jakie mogą być stosowane do zbiorów danych i powiązanych z nimi usług sieciowych. Wyróżnia się tu dwie kategorie: układy obowiązkowe, które można stosować dla całego obszaru Europy i nieobowiązkowe, oparte na ETRS89, ale stosowane dla mniejszych obszarów w obrębie Europy. Poniższa tabele zawiera układ, które powinny być zaimplementowane w polskich geoserwerach wchodzących w skład infrastruktury INSPIRE: Kod EPSG Nazwa Jedn. 1. wsp. 2. wsp. Zasięg Dla Polski EPSG:2180 ETRS89 / Poland CS92 m x(n) y(e) Cała Polska Dla Europy (także Polska z obszarami przyległymi) EPSG:3045 ETRS89 / ETRS-TM33 m N E Europa od 12 E do 18 E EPSG:3046 ETRS89 / ETRS-TM34 m N E Europa od 18 E do 24 E EPSG:3035 ETRS89 / ETRS-LAEA m Y(N) X(E) Cała Europa EPSG:3034 ETRS89 / ETRS-LCC m N E Cała Europa EPSG:4258 ETRS89 / ETRS-LL deg Lat Long Cała Europa Ważnym zagadnieniem technologicznym i funkcjonalnym jest zagwarantowanie odpowiedniej jakości usług udostępnianych przez poszczególne geoserwery infrastruktury INSPIRE. Wymagania w tym zakresie zostały ustalone w rozporządzeniu komisji (UE) nr 1088/2010 z dnia 23 listopada 2010 r. zmieniające rozporządzenie (WE) nr 976/2009 w zakresie usług pobierania i usług przekształcania. Wymagania te dotyczą trzech podstawowych parametrów: wydajności, przepustowości i dostępności i w dużym skrócie można je określić następująco:
1. Wydajność (performance) czas oczekiwania na odpowiedź: 3 sek. dla wyszukiwania, 5 sek. dla przeglądania (obraz 470 KB: 800 b x 600 b x 8 b), 10 sek. + 0.5 Mb na 1 sek. dla pobierania lub opisania. 2. Przepustowość (capacity) liczba jednocześnie obsługiwanych poleceń: 30 (na sek.) dla wyszukiwania, 20 (na sek.) dla przeglądania, 10 (na sek.) dla pobierania, 5 (na sek.) dla przekształcania (z ograniczeniem do 50). (w tym przypadku jednak stosowanie miary w postaci liczby na sekundę nie jest odpowiednie) 3. Dostępność (availability) 99 % czasu (około 3.5 dnia w roku lub 15 min/d). Kolejnym ważnym wymogiem jest zapis danych przy pomocy języka GML w wersji 3.2.1. Wymóg ten jest trudny do spełnienia, ponieważ niewiele systemów może obsługiwać tą wersją. Jednak zalety takiego zapisu są wyjątkowo duże. Przykładem tego może być łatwe łączenie zbiorów i ich dzielenie na podstawie ustalonych kryteriów obszarowych lub tematycznych. Koniecznym warunkiem jest jednak przestrzeganie dwóch zasad: dostosowanie deklaracji przestrzeni nazw xmlns, dostosowanie prostokąta ograniczającego BBox. Jest również szereg innych wymogów, których przykłady można tu wymienić jedynie w dużym skrócie: Modele danych określone ściśle w specyfikacjach. Usługa sieciowa INSPIRE jest poprawna tylko w przypadku, gdy wynik przez nią zwracany jest zgodny ze specyfikacjami danych pod względem formy danych (dla usług wyszukiwania, pobierania i przekształcania) lub formy zobrazowania (dla usługi przeglądania). Znormalizowane zobrazowanie danych pozwoli łączyć dane z różnych geoserwerów w obrębie krajów europejskich. Zdefiniowane siatki dla danych typu pokrycie macierzowe (danych rastrowych). O tym, że wymagania technologiczne infrastruktury INSPIRE są bardzo wysokie i że jest ona na bardzo wczesnym etapie powstawania świadczy fakt, że nie ma jeszcze żadnego, nawet najmniejszego przykładowego, publiczne dostępnego zbioru danych spełniających całkowicie wymagania INSPIRE. Taka sama sytuacja jest w przypadku oprogramowania dla geoserwerów i pomimo, że wiele firm komercyjnych zapewnia, że takie oprogramowanie dostarczy, to jednak wiele wskazuje, że wszystko jest jeszcze na etapie wstępnych prototypów wymagających jeszcze wielu prac rozwojowych i testowych. Kolejny ważny problem techniczny to odpowiednie dla tak trudnych zadań dobór platformy sprzętowi-systemowe. Wieloprocesorowe serwery o dużych pamięciach operacyjnych i zewnętrznych potrzebne do takich zadań są w zasadzie dostępne, jednak problem doboru systemu operacyjnego nie jest obecnie sprawą łatwą. Powszechność systemów rodziny Microsoft może doprowadzić do błędnego wniosku, że inne systemy stanowią margines, który się nie rozwija i nie powinien być brany pod uwagę. O takim podejściu świadczy fakt, że niektóre poważne firmy komercyjne ograniczyły wersje swoich systemów geoserwerowych jedynie do platformy Microsoft. Jednak dokładniejsza analiza sytuacji światowej w tym zakresie wykazuje, że dla komputerów dużej mocy najbardziej odpowiednimi systemami operacyjnymi są różne wersje systemu Linux. Na liście pięciuset największych superkomputerów (lista TOP500) jest około 450 z systemem operacyjnym rodziny Linux i tyko 5
z systemem Microsoft. Nie jest to potwierdzona informacja, ale podobno te 5 superkomputerów jest własnością tej firmy.
XXII edycja seminarium w cyklu GIS W PRAKTYCE "MAPY CYFROWE W ADMINISTRACJI. REALIZACJA INSPIRE W POLSCE" Warszawa, 3 września 2011 r. Janusz Michalak Uniwersytet Warszawski 1
O czym będzie wykład? Web-Mapping i Web-GIS mają już 16 lat (zarys historii) Jakie są różnice pomiędzy WEB-GIS i WEB-Mapping? Role standardów OGC i normy ISO Infrastruktura geoinformacyjna (połączenie wszystkiego razem) INSPIRE spojrzenie daleko w przód Czym różni się INSPIRE od innych infrastruktur? Standardy i specyfikacje dziedzinowe, w tym tematy INSPIRE Eksperymentalny geoserwer Oak Hills Główne problemy i trudności implementacyjne Każdy rok przynosi nowe rozwiązania technologiczne Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 2
Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 3
Rok 1997 był rokiem przełomowym było to 16 lat temu Udostępnianie map w Internecie nie jest pomysłem nowym było to robione w sposób niestandardowy zarówno przed tą datą jak i długo po niej aż do dziś pierwszym eksperymentem w roku 1997 w Cincinnati Brak standardu uniemożliwia jednak swobodne łączenie warstw mapy pochodzących z różnych serwerów Łączenie to stało się to możliwe dzięki opracowaniu w OGC wstępnej specyfikacji WMS (Web Map Service) Od tej pory technologia ta i inne do niej podobne i z nią powiązane znacznie się rozwinęły i stały się bardzo popularne Źródło: OGC Dzięki nowemu standardowi wyświetlono w oknie przeglądarki obrazu w postaci kilku warstw przesłanych z różnych serwerów
To też już historyczny obraz prezentujący ideę infrastruktury (wtedy to tak się nie nazywało) Agencje rządowe Zasoby naturalne i rolnictwo Decyzje gospodarcze Infrastruktura gospodarcza Zasoby przetwarzania rozproszonego z interfejsami OpenGIS Służby miejskie Kataster Budownictwo Transport Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 [Źródło: OGC] 5
Historia najnowsza: Harmonogram INSPIRE na przykładzie specyfikacji danych Dyrektywa 2007 Podstawowy model dla specyfikacji danych INSPIRE 2008 Specyfikacje danych dla 25 tematów aneksów II i III 2012 48 nowych dokumentów technicznych 2013! Specyfikacje danych dla 9 tematów aneksu I 2009 Interoperacyjność w zakresie zbiorów danych i usług (Implementing Rules) 2009 2012 Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 6
Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 7
Co dostajemy w ramach tych dwóch technologii? WEB-GIS 3 lub 4 serwery krajowe WEB- Mapping Wiele serwerów krajowych Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 8
Dane SRTM3 jako liczby Macierz o 7 000 kolumnach 5 500 wierszach razem ponad 38 mil. liczb Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 9
Zobrazowanie danych SRTM3 (macierz rzędnych terenu): dobór dostatecznie szerokiej i dokładnej skali barw dla wysokości Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 10
Nałożenie zobrazowania wysokości i zobrazowania rzeźby Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 11
Obszar podstawowych zastosowań technologii Web- GIS: prace studialne i analityczne - wspomagania podejmowania decyzji Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 12
Interfejsy zewnętrzne geoserwera (linie przerywane elementy nieobowiązkowe) Komunikacja w infrastrukturze pomiędzy jej elementami odbywa się przy pomocy protokółu aplikacyjnego HTTP działającego na bazie niższej warstwy transportu TCP/IP realizowany przez serwer HTTP (np. Apache) Dotyczy to wszystkich usług realizowanych przez geoserwer, na przykład takich jak witryna WWW i usługi bezpośrednie WMS, WFS, WCS i inne Rola klienta wymaga możliwości wysyłania poleceń protokółu HTTP i to najczęściej jest realizowane przy pomocy biblioteki libcurl Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 13
Czym różnią się Web-mapping i Web-GIS? Nazwa popularna Technologie OGC i ISO: Nazwa w INSPIRE: Web-Mapping Web-GIS CSW WMS, WMTS WFS, WCS Usługa wyszukiwania Usługa przeglądania Usługa pobierania Zobrazowanie danych Dane przestrzenne Rezultaty: Ortofotomapa, GeoTIFF i podobne? Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 14
Web-GIS WebMapping Serwer kaskadowy i 2 przypadki: WebMapping i Web-GIS Rola: Klient Przeglądarka Rola: Klient Przeglądarka Rola: Klient Rozbudowany system-klient Zasoby własne Rola: Serwer Rola: Klient Serwer kaskadowy Serwer źródłowy 1 Rola: Serwer Serwer źródłowy 2 Rola: Serwer Serwer źródłowy 3 Rola: Serwer Serwer źródłowy 4 Rola: Serwer
Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 16
Dwa poziomy terminologii w INSPIRE prawa i technologii Termin z dziedziny prawa Termin z dziedziny technologii W zakresie usług sieciowych (Network Services) przykład ogólniejszy Usługa wyszukiwania Usługa przeglądania Usługa pobierania Usługa przekształcania Usługi wywoływania usług Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 Usługa CSW (Catalogue Service for the Web) Usługa WMS (Web Map Service) i WMTS (Web Map Tiling Service) -??? Usługa WFS (Web Feature Service) i WCS (Web Coverage Service) Usługa WPS (Web Processing Service) i WCTS (Web Coordinate Transformation Service) Usługi OWS (OGC Web Service Common) 17
Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 18
Zaawansowana infrastruktura z zakresu środowiska Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 19
Próba syntetycznego ujęcia relacji polskiej IIP do infrastruktury INSPIRE Trzy główne części IIP trzy kategorie węzłów: 3 polska część europejskiej infrastruktury INSPIRE 4 część IIP stanowiąca infrastrukturę Służby Geodezyjno-Kartograficznej 5 część IIP nie należąca do INSPIRE i nie należąca do ISGK węzły innych resortów wymagane przez przepisy prawa polskiego Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 20
Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 21
Wymagania INSPIRE dotyczące układów odniesienia Podstawowe układy odniesienia stosowane w serwerze geoinformacyjnym OakHills Kod EPSG Nazwa Jedn. 1. wsp. 2. wsp. Zasięg Dla Polski EPSG:2180 ETRS89 / Poland CS92 m x(n) y(e) Cała Polska Dla Europy (także Polska z obszarami przyległymi) EPSG:3045 ETRS89 / ETRS-TM33 m N E EPSG:3046 ETRS89 / ETRS-TM34 m N E Europa od 12 E do 18 E Europa od 18 E do 24 E EPSG:3035 ETRS89 / ETRS-LAEA m Y(N) X(E) Cała Europa EPSG:3034 ETRS89 / ETRS-LCC m N E Cała Europa EPSG:4258 ETRS89 / ETRS-LL deg Lat Long Cała Europa Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 22
Wymagania INSPIRE dotyczące danych 1. Wszystko co jest udostępniane ma być zapisane w GML wersji 3.2.1 (norma ISO 19136) (profil?!) 2. Modele danych określone ściśle w specyfikacjach 3. Znormalizowane zobrazowanie danych pozwoli łączyć dane z różnych geoserwerów w obrębie krajów europejskich 4. Zdefiniowane siatki dla danych typu pokrycie macierzowe (danych rastrowych) Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 23
Zalety języka GML Temat INSPIRE xmlns:hy BBox A i B Zbiór elementów HY obszaru A i B Temat INSPIRE xmlns:ps xmlns:hy BBox A i B Zbiór elementów HY i PS obszaru A Temat INSPIRE xmlns:ps xmlns:hy BBox A Temat INSPIRE xmlns:ps BBox A i B Zbiór elementów PS obszaru A i B Zbiór elementów HY i PS obszaru A i B Zbiór elementów HY i PS obszaru B Temat INSPIRE xmlns:ps xmlns:hy BBox B Na szczęście, pliki z zapisami danych w GML, gdy przestrzegane są reguły dotyczące schematów aplikacyjnych, można dowolnie w prosty sposób (np. edytorem tekstu) łączyć lub dzielić (z zachowaniem kilku warunków), w tym: - deklaracji przestrzeni nazw xmlns - prostokąta ograniczającego - BBox Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 24
Wymagania INSPIRE dotyczące jakości usług ROZPORZĄDZENIE KOMISJI (UE) NR 1088/2010 z dnia 23 listopada 2010 r. zmieniające rozporządzenie (WE) nr 976/2009 w zakresie usług pobierania i usług przekształcania W normalnych warunkach pracy 90 % czasu pracy. WYDAJNOŚĆ (performance) na odpowiedź: 3 sek. dla wyszukiwania, 5 sek. dla przeglądania (obraz 470 KB: 800 b x 600 b x 8 b), 10 sek. + 0.5 Mb na 1 sek, dla pobierania lub opisania. PRZEPUSTOWOŚĆ (capacity) liczba jednocześnie obsługiwanych poleceń: 30 na sek. (?) dla wyszukiwania, 20 na sek. (?) dla przeglądania, 10 na sek. (?) dla pobierania, 5 na sek. (?) dla przekształcania (z ograniczeniem do 50). DOSTĘPNOŚĆ (availability) 99 % czasu (około 3.5 dnia w roku, lub 15 min/d). Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 25
Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 26
Podstawowe różnice pomiędzy infrastrukturą INSPIRE a innymi infrastrukturami Ma charakter międzynarodowy obejmuje wszystkie kraje członkowskie Unii Europejskiej. Jest przedsięwzięciem nowym, bazującym w dużym stopniu na istniejących już infrastrukturach narodowych krajów członkowskich. Jest na bardzo wczesnym etapie budowy, a ściślej jest dopiero w fazie projektowania i opracowywania szczegółowych specyfikacji technicznych. Jest dedykowana przede wszystkim danym tematycznym, które dotyczą zagadnień środowiska. Cechą charakterystyczną infrastruktury INSPIRE jest problem wielojęzyczności obecnie w Unii Europejskiej są przyjęte 23 języki urzędowe, a we wszystkich 46 krajach europejskich jest obecnie używanych ponad 205 języków. Konsekwencją faktu, że jest to nowe przedsięwzięcie, jest dążenie do stosowania najnowszych rozwiązań technologicznych. Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 27
Problem wielojęzyczności - minimum 2: język danego kraju i angielski Wielojęzyczność dotyczy kilku aspektów: 1. Interfejsu webowego dla użytkownika (przeglądarki) 2. Przesyłanych danych tekstowych we wszystkich usługach (na przykład nazwy geograficzne) 3. Komunikacji pomiędzy systemami gdy występują tam teksty - polecenia wysyłane przez klienta (system) - Wyniki przekazywane przez serwer w odpowiedzi na polecenie (na przykład teksty w legendzie zwracanej przez WMS) Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 28
Mapowanie danych MPHP rzeki do INSPIRE watercourse Mapowanie przy pomocy programu FME Dane źródłowe Dane wynikowe Zastosowanie transformera do przeliczenie długości odcinka rzeki z kilometrów na metry m m m i podgląd wyniku przy pomocy FME Viewer km Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 km Zamiana jednostek km na m Dopisanie jednostek m 29
Wielojęzyczność interfejsu webowego (strony wyświetlanej przeglądarce) Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 30
Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 31
Krajowy główny węzeł INSPIRE Nie jest to typowy WEB-Mapping Funkcjonalność jest tu znacznie ograniczona np. w porównaniu z GoogleMaps Tu głównym celem jest pokazanie tego co można będzie pobrać w formie danych Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 32
Hierarchiczna struktura aplikacji XML do zastosowań dziedzinowych (na przykładzie nauk o Ziemi) Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 33
Połączone mapy geologiczne Polski i Litwy różne modele, różna szczegółowość i zobrazowanie Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 34
Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 35
Geoserwer dedykowany okolicy Dębowych Gór Ale nie tylko także udostępnia dane z obszaru całej Polski i Europy jest wielotematyczny Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 Szczyt tych gór jest najwyżej położonym miejscem na Mazowszu, a jest to północny skraj tego regionu 36
Interfejs webowy geoserwera OakHills Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 Jednym z zadań było możliwie jak najpełniejsze spełnienie wymagań INSPIRE w zakresie usługi przeglądania 37
Wybór platformy geoserwera Lista TOP 500 (czerwiec 2013) dominuje Linux Pierwsze miejsce: Tianhe-2 (MilkyWay-2) National University of Defense Technology (Chiny) 3 120 000 procesorów (rdzeni) OS:Linux ( około 1/6 z całej listy) Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 [Źródło: Top500] 38
Dlaczego MapServer a nie inny system? 1. Nie jest napisany w języku Java lecz w C i C++. Przez to działa znacznie szybciej niż inne. 2. Ma wiele nowych rozszerzeń dedykowanych Dyrektywie INSPIRE (jest używany do tego w innych krajach), przykład: # Test WMS # REQUIRES: INPUT=GDAL OUTPUT=PNG SUPPORTS=WMS # Tests for INSPIRE View Service using WMS 1.3.0 (based on wms_simple.map) # scenario 2 - embedded inspire service metadata # Capabilities Default # RUN_PARMS: wms_inspire_scenario2_cap130.xml [MAPSERV] QUERY_STRING= "map=[mapfile]&service=wms&version=1.3.0 &REQUEST=GetCapabilities" > [RESULT_DEVERSION] [RESULT_DEMIME] Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 39
Specyfikacje OGC i normy ISO zaimplementowane w systemie Mapserver MapServer OGC Specification support Web Map Service (OGC:WMS) Server: 1.0.0, 1.0.7, 1.1.0, 1.1.1, 1.3.0 Client: 1.0.0, 1.0.7, 1.1.0, 1.1.1 Web Feature Service (OGC:WFS) 1.0.0, 1.1.0 Web Coverage Service (OGC:WCS) 1.0.0, 1.1.0, 2.0.0, 2.0.1 Geography Markup Language (OGC:GML) 2.1.2, 3.1.0 Level 0 Profile, 3.2.1 (?) GML Application Schema - Coverages (OGC:GMLCOV) 1.0.0, 1.0.1 Web Map Context Documents (OGC:WMC) 1.0.0, 1.1.0 Styled Layer Descriptor (OGC:SLD) 1.0.0 Filter Encoding Specification (OGC:FES) 1.0.0 Sensor Observation Service (OGC:SOS) 1.0.0 Observations and Measurements (OGC:OM) 1.0.0 SWE Common (OGC:SWE) 1.0.1 OWS Common (OGC:OWS) 1.0.0, 1.1.0, 2.0.0 Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 40
Obsługa wielu układów odniesienia w tym wszystkie wymagane w INSPIRE Układ ETRS-LAEA Układ WGS84-LL (bak skali!) Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 41
Z geoserwerem eksperymentalnym można eksperymentować Przykład zastosowania niewłaściwego układu odniesienia Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 42
Aktualny stan zachmurzenia nad Europą (MODIS kasadowany przez WMS z geoserwera NASA) Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 43
Funkcjonalność interfejsu WWW - 3 Powiązanie nazwy miejsca z URL dokumentu nazwa Warszawa na mapie ma przypisany URL do strony w Wikipedii Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 Polskie znaki w URL 44
Testowanie wydajności geoserwera programem Firebug Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 45
Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 46
Jeszcze nie widziałem krajowych: 1. Zbioru danych zapisanych zgodnie z wymaganiami specyfikacji danych INSPIRE (nawet najmniejszego i najprostszego!) 2. Oprogramowania geoserwera spełniającego w pełni wymagania dotyczące usług. Jednak są już zbiory prawie zgodne ze specyfikacjami i Programy, które częściowo spełniają wymagania INSPIRE - w dalszej części będzie kilka przykładów. Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 47
Temat: Obszary chronione zapis GML oparty na schemacie INSPIRE Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 prawie całkowicie zgodnym ze specyfikacjami INSPIRE (dane dla NATURA 2K) 48
Nie zawsze wszystko się wszystkim udaje Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 49
Nie zawsze wszystko się wszystkim udaje także w GoogleMaps Niestandardowy WMTS Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 Nowa wersja strumieniowa [Źródło: GoogleMaps] 50
Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 51
Zakończony roku 2012 kolejny projekt OGC pod nazwą OWS 9 Zastosowanie technologii OGC w akcjach ewakuacyjnych i bezpieczeństwie lotniczym Przeglądarka GAIA Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 [Źródło: OGC] 52
Scenariusz eksperymentu OWS9 z zakresu ewakuacji - huragan Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 [Źródło: OGC] 53
W projekcie OWS 9 ponownie po 15 latach zajęto się huraganem Stanowi to pewnego rodzaju klamrą w nawiązaniu do pierwszego eksperymentu WMS w Cincinnati Jednak różnica w technologii jest olbrzymia yyy Janusz Michalak, Uniwersytet Warszawski GIS w praktyce, 2013 Skala czasu [Źródło: OGC] 54
Dziękuję za uwagę