PROBLEMATYKA OBLICZEŃ MASOWYCH W NAUKACH O ZIEMI. Satelitarny monitoring środowiska

Podobne dokumenty
Zastosowanie zobrazowań SAR w ochronie środowiska. wykład IV

Zastosowanie zobrazowań SAR w ochronie środowiska. Ćwiczenia (III)

Zastosowanie zobrazowań SAR w ochronie środowiska. ćwiczenia II

ZASTOSOWANIE ZOBRAZOWAŃ SAR W OCHRONIE ŚRODOWISKA. Wykład V

Zastosowanie zobrazowań SAR w ochronie środowiska. Wykład IV + ćwiczenia IV

zapisz te wartości, będą potrzebne po wykonaniu analizy interferometrycznej.

We bring all EO Data to user. Copyright ESA Pierre Carril

Przygotowanie kilku wersji kodu zgodnie z wymogami wersji zadania,

Podstawy Geomatyki Wykład IX SAR

Teledetekcja w ochronie środowiska. Wykład 4

Teledetekcja w kartografii geologicznej. wykład II

Porównanie wydajności CUDA i OpenCL na przykładzie równoległego algorytmu wyznaczania wartości funkcji celu dla problemu gniazdowego

Zastosowanie zobrazowań SAR w ochronie środowiska. Wykład 3

Satelitarna informacja o środowisku Stanisław Lewiński Zespół Obserwacji Ziemi

Teledetekcja z elementami fotogrametrii Wykład VIII

PROPOZYCJA WYKORZYSTANIA TEMATYCZNYCH DANYCH SATELITARNYCH PRZEZ SAMORZĄDY TERYTORIALNE

Rozwój teledetekcji satelitarnej:

Potencjalne możliwości zastosowania nowych produktów GMES w Polsce

Wydajność systemów a organizacja pamięci. Krzysztof Banaś, Obliczenia wysokiej wydajności. 1

Analiza biznesowa studium przypadku

Wydajność systemów a organizacja pamięci. Krzysztof Banaś, Obliczenia wysokiej wydajności. 1

Centrum Badań Kosmicznych PAN

Zastosowanie zobrazowań SAR w ochronie środowiska. Wykład 4

27/13 ZAŁĄCZNIK NR 4 DO SIWZ. 1 Serwery przetwarzania danych. 1.1 Serwery. dostawa, rozmieszczenie i zainstalowanie 2. serwerów przetwarzania danych.

Tworzenie programów równoległych cd. Krzysztof Banaś Obliczenia równoległe 1

Obliczenia Wysokiej Wydajności

ALGORYTMICZNA I STATYSTYCZNA ANALIZA DANYCH

Programowanie procesorów graficznych GPGPU

PRZETWARZANIE RÓWNOLEGŁE I ROZPROSZONE. Mnożenie macierzy kwadratowych metodą klasyczną oraz blokową z wykorzystaniem OpenMP.

Rozwiązania HPE Storage jak zapewnić pełne bezpieczeństwo Twoich danych?

Zapoznanie z technikami i narzędziami programistycznymi służącymi do tworzenia programów współbieżnych i obsługi współbieżności przez system.

Dane bezpieczne w chmurze

POLSKA W PROGRAMACH ESA

Wydajność systemów a organizacja pamięci. Krzysztof Banaś, Obliczenia wysokiej wydajności. 1

Programowanie równoległe i rozproszone. Praca zbiorowa pod redakcją Andrzeja Karbowskiego i Ewy Niewiadomskiej-Szynkiewicz

Programowanie procesorów graficznych GPGPU. Krzysztof Banaś Obliczenia równoległe 1

Za pierwszy niebanalny algorytm uważa się algorytm Euklidesa wyszukiwanie NWD dwóch liczb (400 a 300 rok przed narodzeniem Chrystusa).

Nowoczesne technologie przetwarzania informacji

Projektowanie algorytmów równoległych. Zbigniew Koza Wrocław 2012

Równoległy algorytm wyznaczania bloków dla cyklicznego problemu przepływowego z przezbrojeniami

i3: internet - infrastruktury - innowacje

Laboratorium Chmur obliczeniowych. Paweł Świątek, Łukasz Falas, Patryk Schauer, Radosław Adamkiewicz

Numeryczna algebra liniowa

SINGLE-IMAGE HIGH-RESOLUTION SATELLITE DATA FOR 3D INFORMATIONEXTRACTION

Tworzenie programów równoległych. Krzysztof Banaś Obliczenia równoległe 1

Zegar - układ wysyłający regularne impulsy o stałej szerokości (J) i częstotliwości (f)

EMC ViPR. Pamięć masowa zdefiniowana programowo

RAPORT. Kraków, MONITORING OSIADANIA TERENU NA OBSZARZE GMINY PSZCZYNA. Zleceniodawca: Gmina Pszczyna

Bartosz Kulawik Koordynator Projektu Centrum Badań Kosmicznych PAN Zespół Obserwacji Ziemi

Wirtualizacja desktopów i aplikacji.

Koncepcja pomiaru i wyrównania przestrzennych ciągów tachimetrycznych w zastosowaniach geodezji zintegrowanej

Usługi analityczne budowa kostki analitycznej Część pierwsza.

Tematy prac dyplomowych inżynierskich

CUDA Median Filter filtr medianowy wykorzystujący bibliotekę CUDA sprawozdanie z projektu

GEOMATYKA program podstawowy. dr inż. Paweł Strzeliński Katedra Urządzania Lasu Wydział Leśny UP w Poznaniu

System automatycznego odwzorowania kształtu obiektów przestrzennych 3DMADMAC

WZÓR UMOWY. Zawarta w Białymstoku, w dniu.. pomiędzy:

4/4/2012. CATT-Acoustic v8.0

Nowoczesny dział IT w chmurze

Opis przedmiotu zamówienia

Diagram Przepływu Danych - podstawowe bloki składowe i reguły konstrukcji

Satelitarny system optoelektronicznej obserwacji Ziemi

SATELITARNE TECHNIKI POMIAROWE WYKŁAD 6

Korzyści wynikające ze wspólnego opracowania. z wynikami uzyskanymi techniką GNSS

Systemy plików FAT, FAT32, NTFS

dr hab. inż. P. Samczyński, prof. PW; pok. 453, tel. 5588, EIK

Usługa archiwizacji danych w systemie Eureca. Marek Jelenik CONTROLLING SYSTEMS sp. z o.o.

Architektura komputerów

Redukcja czasu wykonania algorytmu Cannego dzięki zastosowaniu połączenia OpenMP z technologią NVIDIA CUDA

Programowanie współbieżne Wykład 2. Iwona Kochańska

Budowa komputera Komputer computer computare

Skalowalność obliczeń równoległych. Krzysztof Banaś Obliczenia Wysokiej Wydajności 1

Diagnostyka obrazowa

4. Procesy pojęcia podstawowe

BASH - WPROWADZENIE Bioinformatyka 4

Obliczenia równoległe i rozproszone. Praca zbiorowa pod redakcją Andrzeja Karbowskiego i Ewy Niewiadomskiej-Szynkiewicz

Wydajność systemów a organizacja pamięci, czyli dlaczego jednak nie jest aż tak źle. Krzysztof Banaś, Obliczenia wysokiej wydajności.

Wirtualizacja Hyper-V: sposoby wykorzystania i najnowsze wyniki badań

2. Dane optyczne: LANDSAT, Sentinel- 2.

POLSKA AGENCJA KOSMICZNA

Przyspieszenie obróbki CNC z edytorem ścieżki. narzędzia w ZW3D. ZW3D CAD/CAM Biała księga

Metody komputerowe w inżynierii komunikacyjnej. Wprowadzenie. dr inż. Tadeusz Zieliński doc. WIL r. ak. 2017/18

Wysokowydajna implementacja kodów nadmiarowych typu "erasure codes" z wykorzystaniem architektur wielordzeniowych

Numeryczna algebra liniowa. Krzysztof Banaś Obliczenia Wysokiej Wydajności 1

HARD DISK MANAGER PORÓWNANIE EDYCJI

Zadania badawcze prowadzone przez Zakład Technik Programowania:

Menu. Obrazujące radary mikrofalowe

System Broker. Wersja 5.1

Klaster obliczeniowy

Uslugi chmurowe dla nauki na podstawie BonFIRE

Głośniki dwa mikrofony kamera WiFi zgodne z ac Bluetooth co najmniej 4.0 Klawiatura oraz mysz bezprzewodowa. 8 Dodatkowe wyposażenie

Programowanie procesorów graficznych NVIDIA (rdzenie CUDA) Wykład nr 1

2014 LENOVO INTERNAL. ALL RIGHTS RESERVED

Ruch jednostajnie przyspieszony wyznaczenie przyspieszenia

Programowanie aplikacji na urządzenia mobilne

Instytut Mechaniki i Inżynierii Obliczeniowej Wydział Mechaniczny Technologiczny Politechnika Śląska

Tworzenie partycji i dysków logicznych

Metodologia ochrony informacji w systemach klasy desktop oraz na urządzeniach przenośnych

KOMPUTEROWE SYSTEMY POMIAROWE

High Performance Computers in Cyfronet. Andrzej Oziębło Zakopane, marzec 2009

Transkrypt:

Satelitarny monitoring środowiska Dane satelitarne to obecnie bardzo ważne źródło informacji o powierzchni Ziemi i procesach na niej zachodzących. Obliczono, że na początku roku 2014 na orbitach okołoziemskich znajdowało się blisko 200 satelitów EO (Earth Observation). Każdy z nich wyposażony jest w jedno lub więcej urządzeń, które często w trybie ciągłym dostarczają danych o naszym globie. Dane satelitarne wykorzystywane są m. in. do zarządzania kryzysowego w przypadku wystąpienia katastrof naturalnych takich jak powodzie, wybuchy wulkanów, czy trzęsienia ziemi. Stąd niezbędne jest jak najszybsze przetwarzania tych danych. Ze względu na rozmiar danych nie jest to zadanie proste.

Główne problemy obliczeniowe pojawiające się w przypadku analizy danych satelitarnych związane są z: Rozmiarem danych satelitarnych Ilością napływających danych satelitarnych Złożonymi algorytmami przetwarzania

Przykładowe rozmiary obrazów satelitarnych Satelita Okres działania Przybliżony rozmiar pojedynczego obrazu Ilość danych dostarczanych w 1 dzień ERS-1, ERS-2 1992-2011 350 MB - ENVISAT 2002-2011 400 MB 250 GB/dzień ALOS 2006-2011 1,7 GB 200-400 GB/dzień Radarsat-2 2007-600-800 MB 600 GB/dzień ALOS-2 2014-600 MB 1 TB 900 GB/dzień Sentinel-1 2014-1 46 GB 2,4 TB/dzień Przykładowo: dane z satelity Sentinel-1 są całkowicie otwarte dla każdego zainteresowanego, ale udostępniane są de facto jedynie obrazy wykonane w przeciągu ostatnich dwóch miesięcy. Powodem tego są techniczne ograniczenia związane z ilością danych dostarczanych przez tego satelitę.

Przetwarzanie satelitarnych obrazów Proces przetwarzania i analizy satelitarnych obrazów (zarówno multispektralnych, jak i radarowych) wymaga różnego rodzaju przekształceń i operacji na tych obrazach. Te operacje to m. in.: Koregistracja (dopasowywanie) obrazów tego samego obszaru wykonanych w różnym czasie Wyznaczanie wskaźników środowiskowych Wyznaczanie interferogramów Filtracja Georeferencja (wpasowywanie obrazów w układ współrzędnych) Wykrywanie kształtów

Przetwarzanie satelitarnych obrazów cd Duża część analiz wykorzystuje serie obrazów tego samego obszaru, ale wykonanych w różnych momentach w czasie w celu zbadania wybranego procesu środowiskowego. Tego typu analizy wymagają wykorzystania dużych zbiorów danych oraz technik obliczeń masowych na tych danych. W przypadku analizy obrazów satelitarnych pozyskanych przez nowoczesne satelity, rozmiar danych do przetworzenia może sięgać kilkudziesięciu GB. Dane te, podczas przetwarzania mogą zwiększyć swą objętość nawet 10-krotnie w wyniku tworzenia różnorakich wyników pośrednich oraz plików tymczasowych.

Przykład: odwijanie fazy interferogramu Interferogram wyznaczony na podstawie satelitarnych obrazów radarowych SAR służy do wyznaczania osiadań terenu. Interferogram to obraz różnicowy dwóch obrazów fazowych. Odwijanie fazy pozwala na wyznaczenie bezwzględnej ilości cykli fali radarowej podczas drogi przebytej do obiektu. Na tej podstawie wyznacza się następnie wielkości osiadania terenu. Czas potrzebny na odwinięcie całej sceny (np. 50x50 km) to w przybliżeniu 7 dni przy użyciu nowoczesnej maszyny typu IBM Blade. Problem odwijania fazy jest niestety niemożliwy do zrównoleglenia. Interferogram przed odwinięciem fazy Interferogram po odwinięciu fazy

Rozwiązania W celu poradzenia sobie z problemami związanymi z dużą ilością oraz objętością danych satelitarnych stosuje się różnorakie techniki czy technologie. Są to m. in.: Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU algorytmy przetwarzania obrazów bardzo często cechują się możliwością rozłożenia obliczeń na wiele procesorów GPU lub GPU. Pozwala to na uzyskanie przyspieszeń rzędu od 2 do nawet kilkudziesięciu razy. Dedykowane systemy z bezpośrednim dostępem do zbiorów danych są to systemy dostarczane przez niektórych operatorów satelitarnych, którzy umożliwiają przeprowadzanie operacji na danych w chmurze, bez potrzeby ich pobierania Automatyzacja przetwarzania danych satelitarnych podczas przetwarzania dużych zbiorów (np. czasowych) obrazów satelitarnych z jednego satelity możliwa jest automatyzacja tego procesu. Pozwala to zaoszczędzić dużo czasu analitykom zajmującym się obróbką danych. Pamięci masowe ogromne zbiory danych potrzebne do przeprowadzania różnorakich analiz muszą być umieszczane na odpowiednio pojemnych dyskach. Jako, że najczęściej dane te są cenne, konieczne jest również odpowiednie ich zabezpieczenie, np. poprzez tworzenie kopii zapasowych. Wymaga to użycia odpowiednich macierzy dyskowych.

Time [ms] Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU Lee filter with OpenMP parallelization 2 000 1 800 1 600 1 400 1 200 1 000 800 600 400 200 000 1 thread 2 threads 3 threads 4 threads 5 threads 6 threads 7 threads 8 threads process 1 346 680 468 418 392 354 329 297 make_coeff 456 230 157 133 121 104 091 084 SPAN 020 010 008 006 008 007 006 006 READ 063 064 065 063 062 064 066 065

Time [s] Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU 60,00 Lee filter performance gain with GPU 50,00 40,00 30,00 20,00 10,00 0,00 CPU GPU 1 GPU 2 init GPU 0,00 0,08 0,08 write 0,84 0,84 0,87 read 1,63 1,63 1,61 span 0,49 0,49 0,49 make_coeff 10,70 10,70 0,38 processing 36,38 3,89 2,34

Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU Dekompozycja H/A/alfa

Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU Dekompozycja H/A/alfa

Time [ms] Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU Dekompozycja H/A/alfa 6000 Speed up of H/A/alpha decomposition GPU vs multicore CPU 5000 4000 3000 2000 1000 0 1 thread 8 threads GPU read 1022 1018 990 T3/C3 4166 775 191 write 75 87 69

Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU Dekompozycja H/A/alfa

Dedykowane systemy z bezpośrednim dostępem do zbiorów danych - Geohazards Exploitation Platform and Portal Serwis stworzony przez Europejską Agencję Kosmiczną Ma za zadanie wspierać wykorzystanie satelitarnych zobrazowań Ziemi do monitoringu aktywności wulkanicznej Łączy w sobie dane EO oraz narzędzia do ich przetwarzania w chmurze 1. Globalne obserwacje wszystkich wulkanów 2. Tygodniowe obserwacje aktywnych wulkanów 3. Codzienne obserwacje wybuchających wulkanów 4. Rozwój nowoczesnych metod pomiarowych 5. Dostęp do danych z ostatnich 20 lat

Dedykowane systemy z bezpośrednim dostępem do zbiorów danych

Dedykowane systemy z bezpośrednim dostępem do zbiorów danych CloudToolbox maszyny wirtualne od ESA

Dedykowane systemy z bezpośrednim dostępem do zbiorów danych CloudToolbox maszyny wirtualne od ESA