Ocena jakości danych. Aspekty teoretyczne i praktyczne

Podobne dokumenty
nauczania GIS na WAT

Perspektywy rozwoju badań interdyscyplinarnych w oparciu o zharmonizowane zbiory danych

ZAŁĄCZNIK. do rozporządzenia wykonawczego Komisji (UE)

Perspektywy rozwoju badań interdyscyplinarnych w oparciu o zharmonizowane zbiory danych

Udoskonalona mapa prawdopodobieństwa występowania pożarów na Ziemi. Analiza spójności baz GBS, L 3 JRC oraz GFED.

Spis treści. Przedmowa... XI. Rozdział 1. Pomiar: jednostki miar Rozdział 2. Pomiar: liczby i obliczenia liczbowe... 16

PORTAL GEOSTATYSTYCZNY GEO.STAT.GOV.PL DANE UDOSTĘPNIONE

BADANIA ZRÓŻNICOWANIA RYZYKA WYPADKÓW PRZY PRACY NA PRZYKŁADZIE ANALIZY STATYSTYKI WYPADKÓW DLA BRANŻY GÓRNICTWA I POLSKI

BalticBottomBase. Instytut Morski w Gdańsku Gdańsk,

TEMATYKA PRAC DYPLOMOWYCH MAGISTERSKICH STUDIA STACJONARNE DRUGIEGO STOPNIA ROK AKADEMICKI 2011/2012

Realizacja zobowiązań wynikających z ustawy o infrastrukturze informacji przestrzennej w statystyce publicznej

Proces badania statystycznego z wykorzystaniem miernika syntetycznego (wg procedury Z. Zioło)

PORTAL GEOSTATYSTYCZNY - GIS jako źródło informacji o terytorium i społeczeństwie

ROZWÓJ INFRASTRUKTURY INFORMACJI PRZESTRZENNEJ w statystyce publicznej. Janusz Dygaszewicz Główny Urząd Statystyczny

INFOBAZY 2014 VII KRAJOWA KONFERENCJA NAUKOWA INSPIRACJA - INTEGRACJA - IMPLEMENTACJA

Miary zmienności STATYSTYKA OPISOWA. Dr Alina Gleska. Instytut Matematyki WE PP. 6 marca 2018

Walidacja metod wykrywania, identyfikacji i ilościowego oznaczania GMO. Magdalena Żurawska-Zajfert Laboratorium Kontroli GMO IHAR-PIB

224 lata polskiej statystyki publicznej. 95 lata Głównego Urzędu Statystycznego

QGIS w badaniach przyrodniczych. Zakład Geoekologii Wydział Geografii i Studiów Regionalnych Uniwersytet Warszawski

Zamiana reprezentacji wektorowej na rastrową - rasteryzacja

Wykorzystanie w edukacji morskiej platformy GIS Systemu Informacji Geograficznej

-> Średnia arytmetyczna (5) (4) ->Kwartyl dolny, mediana, kwartyl górny, moda - analogicznie jak

(Tekst mający znaczenie dla EOG)

STATYSTYKA MATEMATYCZNA

ROZPORZĄDZENIE WYKONAWCZE KOMISJI (UE) / z dnia r.

Metadane w zakresie geoinformacji

EWA KRZYWICKA-BLUM, HALINA KLIMCZAK

GIS W SPISACH POWSZECHNYCH LUDNOŚCI I MIESZKAŃ. Katarzyna Teresa Wysocka

Doświadczenia Jednostki ds. Porównań Międzylaboratoryjnych Instytutu Łączności PIB w prowadzeniu badań biegłości/porównań międzylaboratoryjnych

Plan wykładu. Statystyka opisowa. Statystyka matematyczna. Dane statystyczne miary położenia miary rozproszenia miary asymetrii

Politechnika Krakowska im. Tadeusza Kościuszki. Karta przedmiotu. obowiązuje studentów rozpoczynających studia w roku akademickim 2015/2016

METODY PREZENTACJI KARTOGRAFICZNEJ. HALINA KLIMCZAK INSTYTUT GEODEZJI I GEOINFORMATYKI WE WROCŁAWIU

Leszek Litwin koordynator ECDL EPP GIS

Mobilny system dowodzenia, obserwacji, rozpoznania i łączności

Dane referencyjne: geometria, położenie i czas w świetle norm EN-ISO serii i dokumentów INSPIRE

Podstawowe pojęcia. Własności próby. Cechy statystyczne dzielimy na

Podstawy statystyki - ćwiczenia r.


STATYSTYKA MATEMATYCZNA

Ocena zmian powierzchni lasów w Polsce na podstawie danych GUS. Artur Łączyński Dyrektor Departamentu Rolnictwa GUS

Corine Land Cover (CLC)

W OPARCIU JEDNOWIĄZKOWY SONDAŻ HYDROAKUSTYCZNY

Zasoby danych przestrzennych w Urzędzie Marszałkowskim Województwa lubuskiego ustawa IIP. Mariusz Goraj Zielona Góra, r.

Monitorowanie i Diagnostyka w Systemach Sterowania na studiach II stopnia specjalności: Systemy Sterowania i Podejmowania Decyzji

Kolokwium ze statystyki matematycznej

Badanie opinii Warsaw Watch. Oferta badawcza

Określenie zasobu podstawowego Infrastruktury Informacji Przestrzennej w zakresie I i II grup tematycznych

Zamiana punktowych danych wilgotności objętościowej gleby na rozkłady powierzchniowe

Statystyka opisowa. Literatura STATYSTYKA OPISOWA. Wprowadzenie. Wprowadzenie. Wprowadzenie. Plan. Tomasz Łukaszewski

Laboratorium 3 - statystyka opisowa

Prawne, organizacyjne i techniczne aspekty budowy IIP w temacie zagospodarowanie przestrzenne

STATYSTYKA OPISOWA Przykłady problemów statystycznych: - badanie opinii publicznej na temat preferencji wyborczych;

Próba formalizacji doboru parametrów generalizacji miejscowości dla opracowań w skalach przeglądowych

Weryfikacja hipotez statystycznych, parametryczne testy istotności w populacji

METODY STATYSTYCZNE W BIOLOGII

Wyznaczanie indeksu suszy TVDI przy użyciu wolnego oprogramowania i bezpłatnych zdjęd satelitarnych

Standaryzacja danych planu zagospodarowania przestrzennego gminy, studium uwarunkowań i planu zagospodarowania przestrzennego województwa

STATYSTYKA MATEMATYCZNA ZESTAW 0 (POWT. RACH. PRAWDOPODOBIEŃSTWA) ZADANIA

SZCZEGÓŁOWY OPIS PRZEDMIOTU ZAMÓWIENIA

Geoinformacja Interpretacja danych teledetekcyjnych. A. Pozyskanie i przygotowanie danych

STATYSTYKA MATEMATYCZNA

STATYSTYKA MATEMATYCZNA

Próba własności i parametry

Katalog wymagań programowych na poszczególne stopnie szkolne. Matematyka. Poznać, zrozumieć

ECDL EPP GIS EUROPEJSKI CERTYFIKAT UMIEJĘTNOŚCI KOMPUTEROWYCH SYSTEMY INFORMACJI GEOGRAFICZNEJ (GIS)

Forested areas in Cracow ( ) evaluation of changes based on satellite images 1 / 31 O

ECDL EPP GIS EUROPEJSKI CERTYFIKAT UMIEJĘTNOŚCI KOMPUTEROW YCH SYSTEMY INFORMACJI GE OGRAFICZNEJ (GIS) Syllabus v. 1.0 (Październik, 2010)

Analiza i monitoring środowiska

PARAMETRY, WŁAŚCIWOŚCI I FUNKCJE NIEZAWODNOŚCIOWE NAPOWIETRZNYCH LINII DYSTRYBUCYJNYCH 110 KV

EDYCJA DANYCH PRZESTRZENNYCH

Wybrane zagadnienia w pracy z danymi rastrowymi w ArcGIS Marcin Paź Esri Polska

Informacje przestrzenne w zarządzaniu lokalnym i regionalnym

AGENDA. 1. Wprowadzenie 2. Nowoczesne technologie w procesie weryfikacji 3. Weryfikacja bazy EGiB metodami teledetekcyjnymi 4.

Wykład Ćwiczenia Laboratorium Projekt Seminarium 30

Analiza Statystyczna

WYMAGANIA WSTĘPNE W ZAKRESIE WIEDZY, UMIEJĘTNOŚCI I INNYCH KOMPETENCJI

KONCEPCJA KATALOGU OBIEKTÓW PLANISTYCZNYCH W ZAKRESIE TEMATU DANYCH ZAGOSPODAROWANIE PRZESTRZENNE

Wpływ nierejestrowanych migracji na liczbę ludności konsekwencje dla badań rynku i opinii

Głównym celem dyrektywy INSPIRE jest profesjonalna ochrona środowiska Piotr Dobrzyński

ZMIANA PARADYGMATU W WYKORZYSTANIA DANYCH I INFORMACJI PRZESTRZENNYCH W BUDOWIE SPOŁECZEŃSTWA OPARTEGO NA WIEDZY

VII OGÓLNOPOLSKIE SYMPOZJUM GEOINFORMATYCZNE

Rola Mazowieckiego Systemu Informacji Przestrzennej w programowaniu i monitorowaniu rozwoju województwa

Analiza wpływu czynników miko i makroekonomicznych na rynek nieruchomości.

Zastosowanie metody interpolacji warstwic do tworzenia NMT. dr inż. Ireneusz Wyczałek Zakład Geodezji POLITECHNIKA POZNAŃSKA

TEMATYKA PRAC DYPLOMOWYCH MAGISTERSKICH STUDIA STACJONARNE DRUGIEGO STOPNIA ROK AKADEMICKI 2012/2013

BADANIE I OCENA ZGODNOŚCI Z INSPIRE

ROLA INTEROPERACYJNOŚCI W BUDOWIE CYFROWYCH USŁUG PUBLICZNYCH ORAZ W UDOSTĘPNIANIU ZASOBÓW OTWARTYCH DANYCH

SYSTEMY UCZĄCE SIĘ WYKŁAD 10. PRZEKSZTAŁCANIE ATRYBUTÓW. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska.

Wrota Parsęty II o bazie danych przestrzennych - wprowadzenie

Analiza wpływu czynników miko i makroekonomicznych na rynek nieruchomości.

Budowanie macierzy danych geograficznych Procedura normalizacji Budowanie wskaźnika syntetycznego

Przestrzenne dane statystyczne w służbie mieszkańca i przedsiębiorcy

Technologia tworzenia. metody i parametry obliczeń. Dr inż. Artur KUBOSZEK INSTYTUT INŻYNIERII PRODUKCJI

STATYSTYKA MATEMATYCZNA

MIERNICTWO GÓRNICZE SYLLABUS

Problematyka modelowania bazy danych mapy zasadniczej i GESUT

Każdy system GIS składa się z: - danych - sprzętu komputerowego - oprogramowania - twórców i użytkowników

Tablica Wzorów Rachunek Prawdopodobieństwa i Statystyki

Wykorzystanie danych radarowych w szacowaniu wielkości biomasy drzewnej w Polsce

Transkrypt:

MILITARY UNIVERSITY OF TECHNOLOGY Ocena jakości danych. Aspekty teoretyczne i praktyczne Elżbieta Bielecka, Joanna Nowak Da Costa Wojskowa Akademia Techniczna, Wydział Inżynierii Lądowej i Geodezji

Jakość danych- definicje Jakość danych producenta: Zgodność ze specyfikacjami, Metoda oceny obiektywna, znormalizowana (ISO 19157). Jakość danych użytkownika - fitness for use: Subiektywna, Dostosowana do potrzeb. Informacja o jakości metadane (najczęściej dotyczą zbioru danych). E.Bielecka, J. Nowak Da Costa 2

Metody oceny jakości danych Zewnętrza /wewnętrzna: Wewnętrzna - analiza zbioru danych (np./ topologia, kompletność atrybutów itp). Zewnętrzna - potrzebny zbiór referencyjny, o znanej, wyższej jakości, analizowane aspekty: ilościowe i semantyczne. Całego zbioru / wycinka Problem doboru danych do oceny (ang. sampling). Inne metody dla danych wektorowych i rastrowych E.Bielecka, J. Nowak Da Costa 3

Dane przestrzenne Urzędowe: Znana i gwarantowana jakość, znane specyfikacje (w j. narodowym). Społecznościowe: Jakość zróżnicowana, brak specyfikacji technicznych (jedynie wskazówki). Pozostałe: Udostępniane przez uczelnie, instytuty, organizacje, firmy ; Specyfikacje rzadko udostępniane, Jakość -? E.Bielecka, J. Nowak Da Costa 4

Metoda zewnętrzna Warunek badania: kompletności, dokładności tematycznej WARUNEK integracji danych z różnych zbiorów Odpowiedniość danych na poziomie koncepcyjnym E.Bielecka, J. Nowak Da Costa 5

adaptacja idei współczynnika podobieństwa Czekanowskiego (1913), cenionego polskiego statystyka, pozwoliła na wprowadzenie dwóch współczynników: matching feature area-based completeness index współczynnik kompletności odpowiadających sobie semantycznie zbiorów poligonowych obiektów przestrzennych - powierzchnia obiektów ze zbioru badanego, mających odpowiedniki w zbiorze referencyjnym,, - pow. obiektów zbioru badanego, referen. feature area-based excess indicator współczynnik nadmiaru zbioru względem odpowiadającemu mu semantycznie zbiorowi poligonowych obiektów przestrzennych E.Bielecka, J. Nowak Da Costa 6

Nowak Da Costa, J., 2016. Novel tool to examine data completeness based on comparative stud of VGI data and official building datasets. Geodetskij vestnik vol.3/2016 (in print). Nowak Da Costa, J., 2016. Towards building data semantic similarity analysis: OpenStreetMap and the Polish Database of Topographic Objects. 2016 Baltic Geodetic Congress (BGC Geomatics), Gdansk, 2016, pp. 269-275. DOI: 10.1109/BGC.Geomatics.2016.55 E.Bielecka, J. Nowak Da Costa 7

Ocena jakości globalnych danych ludnościowych GPWv4 LandScan GRUMPv1 Gridded Population of the World Programme SEDAC (Socioeconomic Data & Applications Center) 30 (w przybliżeniu 1 km) Departament d/s Energii w Narodowym Laboratorium Oak Ridge 30 (w przybliżeniu 1 km) Global Rural Urban Mapping SEDAC (Socioeconomic Data & Applications Center) 30 (w przybliżeniu 1 km) WGS84 WGS84 WGS84 2010 2012 2000 Dane ludnościowe pochodzące ze urzędów statystycznych Granice administracyjne Dane ludnościowe pochodzące ze urzędów statystycznych Granice administracyjne Land use/land cover Elevation and slope Dane satelitarne Dane ludnościowe pochodzące ze urzędów statystycznych Granice administracyjne Dane satelitarne (obrazy nocne) Metoda powierzchnio-wagowa ambient population (average over 24 hours), multi-variable dasymetric modeling approach interpolacja powierzchniowa, masowo zachowawczy algorytm - GRUMPe E.Bielecka, J. Nowak Da Costa 8

E.Bielecka, J. Nowak Da Costa 9

Dane referencyjne Rastrowe dane GUS - rozmieszczenie ludności w siatce kilometrowej o boku 1 km 2 (wg specyfikacji INSPIRE). Aktualność 2011 (Narodowego Spisu Powszechnego Ludności i Mieszkań z 2011 roku). Formacie Shapefile. Układ współrzędnych PL-LAEA. E.Bielecka, J. Nowak Da Costa 10

E.Bielecka, J. Nowak Da Costa 11

Metoda oceny Statystyka opisowa, korelacja Detekcja zmian (map algebra) Wyniki analiz zostały wykonane przez Paulinę Pałczyńską w ramach pracy mgr pt. ANALIZA WIARYGODNOŚCI GLOBALNYCH DANYCH O GĘSTOŚCI ZALUDNIENIA NA TERENIE POLSKI, obronionej na Wydziale Inżynierii Lądowej i Geodezji WAT, czerwiec 2016 r. E.Bielecka, J. Nowak Da Costa 12

Ogólna charakterystyka GUS LandScan GPWv4 GRUMPv1 Wartość maksymalna 21531 12802 7391 4091 Wartość minimalna 0 0 0 0 Średnia 123 65 123 65 Mediana 12 5 53 28 Moda (wartość typowa) 0 0 47 20 Odchylenie standardowe 658 345 332 181 Wariancja 432 661 119 066 110 144 32 761 Suma (liczba ludności) 36 136 902 38 414 488 36 406 237 38 569 597 Współczynnik korelacji R - 0,72 0,49 0,53 E.Bielecka, J. Nowak Da Costa 13

GPW E.Bielecka, J. Nowak Da Costa 14

LandScan E.Bielecka, J. Nowak Da Costa 15

GRUMP E.Bielecka, J. Nowak Da Costa 16

Dokładność danych GUS - LandScan GUS - GPWv4 GUS - GRUMPv1 Niedoszacowanie 17056 19100 20086 Przeszacowanie -10710-7391 -4087 Bez zmian 61103 2967 4990 Średnia 57-1 57 Mediana 0-30 -11 Moda 0-20 -13 Odchylenie standardowe 476 572 583 Wariancja 226871 327585 340262 E.Bielecka, J. Nowak Da Costa 17

Dokładność danych Najwyższa suma pikseli w przedziale <-99,100> E.Bielecka, J. Nowak Da Costa 18

Podsumowanie Wynik analiz jakości danych wektorowych dotyczy najczęściej całego zbioru i jest określany przy pomocy wielu mierników. Analiza jakości danych rastrowych umożliwia pokazanie zróżnicowania jakości w obrębie zbioru. Globalne dane ludnościowe o rozdzielczości 1 km charakteryzują się dużą niezgodnością z danymi statystycznymi Najdokładniejsze dane LandScan. Najmniej dokładne dane GPWv4. Wyraźne niedoszacowanie liczby ludności w miastach i większych miejscowościach oraz przeszacowanie na terenach podmiejskich. E.Bielecka, J. Nowak Da Costa 19

Dziękuję za uwagę elzbieta.bielecka@wat.edu.pl Joanna.nowakdc@wat.edu.pl E.Bielecka, J. Nowak Da Costa 20