Ocena jakości danych. Aspekty teoretyczne i praktyczne

Wielkość: px

Rozpocząć pokaz od strony:

Download "Ocena jakości danych. Aspekty teoretyczne i praktyczne"

Natalia Olszewska
6 lat temu
Przeglądów:

1 MILITARY UNIVERSITY OF TECHNOLOGY Ocena jakości danych. Aspekty teoretyczne i praktyczne Elżbieta Bielecka, Joanna Nowak Da Costa Wojskowa Akademia Techniczna, Wydział Inżynierii Lądowej i Geodezji

2 Jakość danych- definicje Jakość danych producenta: Zgodność ze specyfikacjami, Metoda oceny obiektywna, znormalizowana (ISO 19157). Jakość danych użytkownika - fitness for use: Subiektywna, Dostosowana do potrzeb. Informacja o jakości metadane (najczęściej dotyczą zbioru danych). E.Bielecka, J. Nowak Da Costa 2

3 Metody oceny jakości danych Zewnętrza /wewnętrzna: Wewnętrzna - analiza zbioru danych (np./ topologia, kompletność atrybutów itp). Zewnętrzna - potrzebny zbiór referencyjny, o znanej, wyższej jakości, analizowane aspekty: ilościowe i semantyczne. Całego zbioru / wycinka Problem doboru danych do oceny (ang. sampling). Inne metody dla danych wektorowych i rastrowych E.Bielecka, J. Nowak Da Costa 3

4 Dane przestrzenne Urzędowe: Znana i gwarantowana jakość, znane specyfikacje (w j. narodowym). Społecznościowe: Jakość zróżnicowana, brak specyfikacji technicznych (jedynie wskazówki). Pozostałe: Udostępniane przez uczelnie, instytuty, organizacje, firmy ; Specyfikacje rzadko udostępniane, Jakość -? E.Bielecka, J. Nowak Da Costa 4

5 Metoda zewnętrzna Warunek badania: kompletności, dokładności tematycznej WARUNEK integracji danych z różnych zbiorów Odpowiedniość danych na poziomie koncepcyjnym E.Bielecka, J. Nowak Da Costa 5

6 adaptacja idei współczynnika podobieństwa Czekanowskiego (1913), cenionego polskiego statystyka, pozwoliła na wprowadzenie dwóch współczynników: matching feature area-based completeness index współczynnik kompletności odpowiadających sobie semantycznie zbiorów poligonowych obiektów przestrzennych - powierzchnia obiektów ze zbioru badanego, mających odpowiedniki w zbiorze referencyjnym,, - pow. obiektów zbioru badanego, referen. feature area-based excess indicator współczynnik nadmiaru zbioru względem odpowiadającemu mu semantycznie zbiorowi poligonowych obiektów przestrzennych E.Bielecka, J. Nowak Da Costa 6

Nowak Da Costa, J., 2016. Novel tool to examine data completeness based on comparative stud of VGI data and official building datasets. Geodetskij vestnik vol.3/2016 (in print). Nowak Da Costa, J.

7 Nowak Da Costa, J., Novel tool to examine data completeness based on comparative stud of VGI data and official building datasets. Geodetskij vestnik vol.3/2016 (in print). Nowak Da Costa, J., Towards building data semantic similarity analysis: OpenStreetMap and the Polish Database of Topographic Objects Baltic Geodetic Congress (BGC Geomatics), Gdansk, 2016, pp DOI: /BGC.Geomatics E.Bielecka, J. Nowak Da Costa 7

8 Ocena jakości globalnych danych ludnościowych GPWv4 LandScan GRUMPv1 Gridded Population of the World Programme SEDAC (Socioeconomic Data & Applications Center) 30 (w przybliżeniu 1 km) Departament d/s Energii w Narodowym Laboratorium Oak Ridge 30 (w przybliżeniu 1 km) Global Rural Urban Mapping SEDAC (Socioeconomic Data & Applications Center) 30 (w przybliżeniu 1 km) WGS84 WGS84 WGS Dane ludnościowe pochodzące ze urzędów statystycznych Granice administracyjne Dane ludnościowe pochodzące ze urzędów statystycznych Granice administracyjne Land use/land cover Elevation and slope Dane satelitarne Dane ludnościowe pochodzące ze urzędów statystycznych Granice administracyjne Dane satelitarne (obrazy nocne) Metoda powierzchnio-wagowa ambient population (average over 24 hours), multi-variable dasymetric modeling approach interpolacja powierzchniowa, masowo zachowawczy algorytm - GRUMPe E.Bielecka, J. Nowak Da Costa 8

9 E.Bielecka, J. Nowak Da Costa 9

10 Dane referencyjne Rastrowe dane GUS - rozmieszczenie ludności w siatce kilometrowej o boku 1 km 2 (wg specyfikacji INSPIRE). Aktualność 2011 (Narodowego Spisu Powszechnego Ludności i Mieszkań z 2011 roku). Formacie Shapefile. Układ współrzędnych PL-LAEA. E.Bielecka, J. Nowak Da Costa 10

11 E.Bielecka, J. Nowak Da Costa 11

12 Metoda oceny Statystyka opisowa, korelacja Detekcja zmian (map algebra) Wyniki analiz zostały wykonane przez Paulinę Pałczyńską w ramach pracy mgr pt. ANALIZA WIARYGODNOŚCI GLOBALNYCH DANYCH O GĘSTOŚCI ZALUDNIENIA NA TERENIE POLSKI, obronionej na Wydziale Inżynierii Lądowej i Geodezji WAT, czerwiec 2016 r. E.Bielecka, J. Nowak Da Costa 12

13 Ogólna charakterystyka GUS LandScan GPWv4 GRUMPv1 Wartość maksymalna Wartość minimalna Średnia Mediana Moda (wartość typowa) Odchylenie standardowe Wariancja Suma (liczba ludności) Współczynnik korelacji R - 0,72 0,49 0,53 E.Bielecka, J. Nowak Da Costa 13

14 GPW E.Bielecka, J. Nowak Da Costa 14

15 LandScan E.Bielecka, J. Nowak Da Costa 15

16 GRUMP E.Bielecka, J. Nowak Da Costa 16

17 Dokładność danych GUS - LandScan GUS - GPWv4 GUS - GRUMPv1 Niedoszacowanie Przeszacowanie Bez zmian Średnia Mediana Moda Odchylenie standardowe Wariancja E.Bielecka, J. Nowak Da Costa 17

18 Dokładność danych Najwyższa suma pikseli w przedziale <-99,100> E.Bielecka, J. Nowak Da Costa 18

19 Podsumowanie Wynik analiz jakości danych wektorowych dotyczy najczęściej całego zbioru i jest określany przy pomocy wielu mierników. Analiza jakości danych rastrowych umożliwia pokazanie zróżnicowania jakości w obrębie zbioru. Globalne dane ludnościowe o rozdzielczości 1 km charakteryzują się dużą niezgodnością z danymi statystycznymi Najdokładniejsze dane LandScan. Najmniej dokładne dane GPWv4. Wyraźne niedoszacowanie liczby ludności w miastach i większych miejscowościach oraz przeszacowanie na terenach podmiejskich. E.Bielecka, J. Nowak Da Costa 19

20 Dziękuję za uwagę E.Bielecka, J. Nowak Da Costa 20

Podobne dokumenty

nauczania GIS na WAT

BDOT10k w programach nauczania GIS na WAT WOJSKOWA AKADEMIA TECHNICZNA W Y D Z I A Ł I N Ż Y N I E R I I L Ą D O W E J I G E O D E Z J I E L Ż B I E T A B I E L E C K A Konferencja podsumowująca projekty