Kontrola jakości danych

Transkrypt

1 Kontrola jakości danych

2 Inne spojrzenie na kontrolę danych w TBD Doświadczenia praktyka GIS Podejście technologiczne do kontroli TBD Bezstronność i brak jakichkolwiek uwarunkowań instytucjonalnych 2

3 Historia rozwoju spojrzenia na kontrolę TBD Zlecenie wykonania aplikacji do walidacji danych TBD zbudowanych w oparciu o schemat aplikacyjny 2.0 Zlecenie wykonania aplikacji do zarządzania zasobem TBD (komponent TOPO i KARTO) w ramach budowy prototypu węzła infrastruktury INSPIRE na poziomie wojewódzkim Wykonanie narzędzi produkcji, aktualizacji i kontroli TBD 3

4 Produkt rozwijany przez firmę SmallGIS SprintMAP.TBD System zarządzania zasobami TBD (Komponenty TOPO i KARTO) Wbudowany moduł kontroli danych Mechanizmy selektywnego udostępniania danych z zasobów TBD Zarządzanie elementami kartografii i automatyczne tworzenie standardowych map topograficznych i tematycznych Narzędzia produkcji i aktualizacji danych TBD 4

5 Problemy w rozwoju aplikacji SprintMAP.TBD Brak możliwości technicznych korzystania z oficjalnych szablonów kontroli TBD Brak dokumentacji algorytmów kontroli TBD Brak oficjalnych opisów reguł kontrolnych Procedury kontrolne specyficzne dla jednego rozwiązania komercyjnego GIS 5

6 Testowane hipotezy 1. System Kontroli Bazy Danych Topograficznych dostarcza opisu jakości danych umożliwiających ocenę zbioru danych pod kątem zgodności ze specyfikacją produktu. 2. System Kontroli Bazy Danych Topograficznych jest niezależny od konkretnego oprogramowania komercyjnego. 6

7 Wytyczne techniczne wersja 1.0 uzupełniona definiuje TBD Celem wytycznych technicznych jest zdefiniowanie technologicznych zasad tworzenia Bazy Danych Topograficznych Obejmują specyfikację danych i formaty ich zapisu, specyfikację opracowywanych w ramach TBD map oraz ogólną organizację procesu pozyskiwania danych i zasilania zasobu geodezyjno-kartograficznego Wytyczne techniczne TBD, stanowiąc zespół obowiązujących reguł i zasad są zzałożenia niezależne od konkretnego oprogramowania komercyjnego. (źródło Wytyczne techniczne wersja 1.0 uzupełniona) 7

8 TBD - przeznaczenie Dane gromadzone w TBD mają: spełniać funkcję zasilania aktualnymi, wysokiej jakości danymi topograficznymi specjalistycznych urzędowych systemów informacji przestrzennej. Celem budowy TBD jest również zapewnienie zasilania aktualnymi danymi topograficznymi systemów produkcji map, przede wszystkim topograficznych, ale również tematycznych. Dane zgromadzone w TBD mogą stanowić punkt wyjścia do budowy systemów informacji przestrzennej dla różnych instytucji rządowych i samorządowych oraz być wykorzystane w systemach budowanych w sektorze prywatnym. (źródło Wytyczne techniczne wersja 1.0 uzupełniona) 8

9 TBD - charakterystyka (TBD). Dane klasyfikowane jako Zasób Podstawowy charakteryzują się dokładnym położeniem wszystkich modelowanych obiektów względem ich rzeczywistej lokalizacji w terenie, innymi słowy obiekty należące do Zasobu Podstawowego nie podlegają zasadom redakcji kartograficznej. Cechują się one modelowaniem właściwym dla systemów GIS (np. zachowanie kierunku spływu cieków lub zachowanie relacji topologicznych pomiędzy odcinkami jezdni). (źródło Wytyczne techniczne wersja 1.0 uzupełniona) 9

10 czy dowolny fragment opracowania TBD odpowiada specyfikacji produktu?

11 Jak sprawdzić jakość danych geograficznych? Należy uzyskać opis jakości danych w zakresie: Kompletności Spójności logicznej Dokładności położenia Dokładności czasowej Dokładności tematycznej Podstawa formalna: Norma PN-EN ISO 19113:

12 System Kontroli Bazy Danych Topograficznych (SKBDT) Główne elementy kontroli SKBDT: Aplikacja R Aplikacja O Szablon kontroli Kontrole kompletności danych, Kontrole spełnienia wymogów dokładnościowych Kontrole zgodności danych z rzeczywistą sytuacją terenową (źródło Wytyczne techniczne wersja 1.0 uzupełniona) 12

13 Aplikacja R realizowany jest podstawowy zakres kontroli obejmujący kontrolę struktury danych na nośniku, kontrolę plików GML (parsowanie i walidacja), badanie struktur plików TXT, MTD, DXF, ASC oraz różnego rodzaju kontrole atrybutowe przeprowadzane bez stosowania specjalizowanej platformy GIS. Aplikacja jest powszechnie dostępna 13

14 Aplikacja O Aplikacja O wykrywa zdarzenia, które są klasyfikowane jako błędy lub jako zdarzenia do sprawdzenia. Dane z kontroli podlegają ocenie przez interpretującego. Wynikiem tej interpretacji jest wynik z kontroli. Aplikacja O jest konfigurowana poprzez szablon kontroli danych Aplikacja O nie jest dostępna powszechnie i wymaga platformy GIS konkretnego producenta 14

15 Szablon kontroli Wersje szablonu publikowane są na stronach Głównego Urzędu Geodezji i Kartografii ( Plik szablonu (.skd) jest plikiem niejawnym specyficznym wyłącznie dla aplikacji R i O Próba odczytu zawartości pliku wiąże się z ingerencją w konstrukcję pliku Wewnętrzne elementy szablonu są specyficzne wyłącznie dla jednego oprogramowania komercyjnego oraz częściowo zapisane w sposób binarny nie możliwy do odczytu w innym oprogramowaniu. 15

16 Szablon kontroli (cd.) W przestrzeni nazw szablonu wpisana jest konkretna firma komercyjna. 16

17 Szablon kontroli (cd.) Definicje kontroli zawierają odwołania do konkretnego oprogramowania komercyjnego 17

18 Szablon kontroli (cd.) Szablon nie może podlegać edycji i parametryzacji przez użytkownika. Szablon nie daje możliwości wglądu w istotę kontroli i tym samym możliwości rozumienia i interpretacji algorytmów kontroli. Szablon nie jest doskonały merytorycznie zawiera błędy. 18

19 Przykłady błędów w szablonie (wersja SK_TBD _v2.skd) Ok. 40 niezgodności w wytycznymi technicznymi 19

20 Konsekwencje rozwiązań przyjętych w SKBDT - pozytywne Istnieje zespół zdefiniowanych procedur automatycznej kontroli danych w zakresie ich spójności. System kontroli jest jednolity w skali kraju 20

21 Konsekwencje rozwiązań przyjętych w SKBDT - negatywne Kontrola odbywa się metodą czarnej skrzynki jest z natury niejawna. System kontroli nie jest możliwy do parametryzowania i poprawy przez kontrolującego. System kontroli nie gwarantuje podstawowej zasady niezależności od platformy oprogramowania. 21

22 Kontrola kompletności danych Brak opisu metodyki sposobu realizacji kontroli oraz formy raportu 22

23 Kontrola spełnienia wymogów dokładnościowych Brak opisu metodyki sposobu realizacji kontroli oraz formy raportu 23

24 Kontrola zgodności danych z rzeczywistą sytuacją terenową Brak opisu metodyki sposobu realizacji kontroli oraz formy raportu 24

25 Podsumowanie SKBDT SKBDT nie daje odpowiedzi na podstawowe pytanie: czy gromadzone dane w TBD odpowiadają specyfikacji produktu? SKBDT nie zachowuje podstawowej zasady wytycznych niezależności od platformy GIS 25

26 System Kontroli danych w Bazie Danych Topograficznych (SKBDT) (SKBDT) jest jedynym z najpełniejszych i najspójniejszych systemów kontroli zbiorów danych przestrzennych w Państwowym Zasobie Geodezyjno- Kartograficznym a jego wartości nie należy deprecjonować. Nie oznacza to jednak, że SKBDT jest wystarczający oraz dostarcza wiarygodnego i wyczerpującego opisu jakości danych. 26

27 Alternatywne narzędzia kontroli TBD Rozszerzenie SprintMAP.TBD dla ArcGIS ArcView stanowiące system zarządzania TBD (komponenty TOPO i KARTO) Szeroka dostępność narzędzia i pełna wydajność już na platformie desktop Niezależny, jawny szablon konfiguracji kontroli Możliwość zarządzania danymi i automatyczne budowanie opracowań kartograficznych na bazie TBD 27

28 Kontrole w SprintMAP.TBD.prof Kontrole błędów wczytania plików wymiany XML Kontrole budowy geometrycznej obiektów Kontrole spójności logicznej zbioru danych Kontrole spójności geometrycznej zbioru danych Kontrole i opis dokładności położenia obiektów 28

29 Kontrole błędów wczytania plików wymiany XML Naczelną zasadą jest konwersja do geobazy plików XML bez jakichkolwiek zniekształceń błędy parsela XML lub błędy konwersji typów zapisywane są w bazie danych 29

30 Kontrole podstawowe drzewo kontroli 30

31 Kontrole budowy geometrycznej obiektów - przykłady Puste geometrie Nieprawidłowy kierunek granic poligonów Samoprzecięcia i redundancja werteksów Wieloczęściowość Duplikaty geometrii 31

32 Kontrole spójności logicznej zbioru danych Kontrola zgodności ze schematem aplikacyjnym Kontrola poprawności identyfikatorów i relacji 32

33 Kontrole spójności geometryczn ej zbioru danych drzewo kontroli 33

34 Kontrole spójności geometrycznej zbioru danych Przykład wizualizacji błędu 34

35 Kontrole i opis dokładności położenia obiektów Wymaga zewnętrznego źródła danych przestrzennych (dokładnych pomiarów) Zwraca raport tabelaryczny pomiarów różnic w położeniu geometrii Pozwala opracować statystyki i przedziały ufności dla pomiarów różnic. 35

36 Kontrole i opis dokładności położenia obiektów Ilustracja modelowej pary obiektów geometrycznych. Granica zielona pogrubiona pomiar dokładny, punkty - środki ciężkości figur geometrycznych. 36

37 Mierzalne elementy różnic 1-część wspólna geometrii (WP), 2- powierzchnia nie wspólna1, 3- powierzchnia nie wspólna2, 4 odległość środków ciężkości figur geometrycznych, 5 fragmenty granicy obiektu, których odległość od testowanego obiektu homologicznego jest mniejsza niż zadana tolerancja; 7- odchylenie liniowe określone jako wysokość prostokąta (h) o boku długości podstawy (a) równej długości granicy części wspólnej i nie wspólnej oraz pola równego polu powierzchni części nie wspólnej; 6 maksymalne odchylenia granicy części nie wspólnej od części wspólnej. 37

38 Statystyki raportu oceny dokładności położenia obiektu geograficznego 38

39 Możliwości wykorzystania alternatywnych metod kontroli TBD Kontrole zbioru danych przyjmowanych od wykonawcy Kontrole zbioru danych po aktualizacji Tworzenie opisu jakości danych przekazywanych odbiorcom 39

40 Antoni Łabaj SmallGIS Kraków