PROBLEMATYKA OBLICZEŃ MASOWYCH W NAUKACH O ZIEMI. Satelitarny monitoring środowiska

Transkrypt

1 Satelitarny monitoring środowiska Dane satelitarne to obecnie bardzo ważne źródło informacji o powierzchni Ziemi i procesach na niej zachodzących. Obliczono, że na początku roku 2014 na orbitach okołoziemskich znajdowało się blisko 200 satelitów EO (Earth Observation). Każdy z nich wyposażony jest w jedno lub więcej urządzeń, które często w trybie ciągłym dostarczają danych o naszym globie. Dane satelitarne wykorzystywane są m. in. do zarządzania kryzysowego w przypadku wystąpienia katastrof naturalnych takich jak powodzie, wybuchy wulkanów, czy trzęsienia ziemi. Stąd niezbędne jest jak najszybsze przetwarzania tych danych. Ze względu na rozmiar danych nie jest to zadanie proste.

2 Główne problemy obliczeniowe pojawiające się w przypadku analizy danych satelitarnych związane są z: Rozmiarem danych satelitarnych Ilością napływających danych satelitarnych Złożonymi algorytmami przetwarzania

3 Przykładowe rozmiary obrazów satelitarnych Satelita Okres działania Przybliżony rozmiar pojedynczego obrazu Ilość danych dostarczanych w 1 dzień ERS-1, ERS MB - ENVISAT MB 250 GB/dzień ALOS ,7 GB GB/dzień Radarsat MB 600 GB/dzień ALOS MB 1 TB 900 GB/dzień Sentinel GB 2,4 TB/dzień Przykładowo: dane z satelity Sentinel-1 są całkowicie otwarte dla każdego zainteresowanego, ale udostępniane są de facto jedynie obrazy wykonane w przeciągu ostatnich dwóch miesięcy. Powodem tego są techniczne ograniczenia związane z ilością danych dostarczanych przez tego satelitę.

4 Przetwarzanie satelitarnych obrazów Proces przetwarzania i analizy satelitarnych obrazów (zarówno multispektralnych, jak i radarowych) wymaga różnego rodzaju przekształceń i operacji na tych obrazach. Te operacje to m. in.: Koregistracja (dopasowywanie) obrazów tego samego obszaru wykonanych w różnym czasie Wyznaczanie wskaźników środowiskowych Wyznaczanie interferogramów Filtracja Georeferencja (wpasowywanie obrazów w układ współrzędnych) Wykrywanie kształtów

5 Przetwarzanie satelitarnych obrazów cd Duża część analiz wykorzystuje serie obrazów tego samego obszaru, ale wykonanych w różnych momentach w czasie w celu zbadania wybranego procesu środowiskowego. Tego typu analizy wymagają wykorzystania dużych zbiorów danych oraz technik obliczeń masowych na tych danych. W przypadku analizy obrazów satelitarnych pozyskanych przez nowoczesne satelity, rozmiar danych do przetworzenia może sięgać kilkudziesięciu GB. Dane te, podczas przetwarzania mogą zwiększyć swą objętość nawet 10-krotnie w wyniku tworzenia różnorakich wyników pośrednich oraz plików tymczasowych.

6 Przykład: odwijanie fazy interferogramu Interferogram wyznaczony na podstawie satelitarnych obrazów radarowych SAR służy do wyznaczania osiadań terenu. Interferogram to obraz różnicowy dwóch obrazów fazowych. Odwijanie fazy pozwala na wyznaczenie bezwzględnej ilości cykli fali radarowej podczas drogi przebytej do obiektu. Na tej podstawie wyznacza się następnie wielkości osiadania terenu. Czas potrzebny na odwinięcie całej sceny (np. 50x50 km) to w przybliżeniu 7 dni przy użyciu nowoczesnej maszyny typu IBM Blade. Problem odwijania fazy jest niestety niemożliwy do zrównoleglenia. Interferogram przed odwinięciem fazy Interferogram po odwinięciu fazy

7 Rozwiązania W celu poradzenia sobie z problemami związanymi z dużą ilością oraz objętością danych satelitarnych stosuje się różnorakie techniki czy technologie. Są to m. in.: Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU algorytmy przetwarzania obrazów bardzo często cechują się możliwością rozłożenia obliczeń na wiele procesorów GPU lub GPU. Pozwala to na uzyskanie przyspieszeń rzędu od 2 do nawet kilkudziesięciu razy. Dedykowane systemy z bezpośrednim dostępem do zbiorów danych są to systemy dostarczane przez niektórych operatorów satelitarnych, którzy umożliwiają przeprowadzanie operacji na danych w chmurze, bez potrzeby ich pobierania Automatyzacja przetwarzania danych satelitarnych podczas przetwarzania dużych zbiorów (np. czasowych) obrazów satelitarnych z jednego satelity możliwa jest automatyzacja tego procesu. Pozwala to zaoszczędzić dużo czasu analitykom zajmującym się obróbką danych. Pamięci masowe ogromne zbiory danych potrzebne do przeprowadzania różnorakich analiz muszą być umieszczane na odpowiednio pojemnych dyskach. Jako, że najczęściej dane te są cenne, konieczne jest również odpowiednie ich zabezpieczenie, np. poprzez tworzenie kopii zapasowych. Wymaga to użycia odpowiednich macierzy dyskowych.

8 Time [ms] Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU Lee filter with OpenMP parallelization thread 2 threads 3 threads 4 threads 5 threads 6 threads 7 threads 8 threads process make_coeff SPAN READ

9 Time [s] Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU 60,00 Lee filter performance gain with GPU 50,00 40,00 30,00 20,00 10,00 0,00 CPU GPU 1 GPU 2 init GPU 0,00 0,08 0,08 write 0,84 0,84 0,87 read 1,63 1,63 1,61 span 0,49 0,49 0,49 make_coeff 10,70 10,70 0,38 processing 36,38 3,89 2,34

10 Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU Dekompozycja H/A/alfa

11 Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU Dekompozycja H/A/alfa

12 Time [ms] Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU Dekompozycja H/A/alfa 6000 Speed up of H/A/alpha decomposition GPU vs multicore CPU thread 8 threads GPU read T3/C write

13 Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU Dekompozycja H/A/alfa

14 Dedykowane systemy z bezpośrednim dostępem do zbiorów danych - Geohazards Exploitation Platform and Portal Serwis stworzony przez Europejską Agencję Kosmiczną Ma za zadanie wspierać wykorzystanie satelitarnych zobrazowań Ziemi do monitoringu aktywności wulkanicznej Łączy w sobie dane EO oraz narzędzia do ich przetwarzania w chmurze 1. Globalne obserwacje wszystkich wulkanów 2. Tygodniowe obserwacje aktywnych wulkanów 3. Codzienne obserwacje wybuchających wulkanów 4. Rozwój nowoczesnych metod pomiarowych 5. Dostęp do danych z ostatnich 20 lat

15 Dedykowane systemy z bezpośrednim dostępem do zbiorów danych

16 Dedykowane systemy z bezpośrednim dostępem do zbiorów danych CloudToolbox maszyny wirtualne od ESA

17 Dedykowane systemy z bezpośrednim dostępem do zbiorów danych CloudToolbox maszyny wirtualne od ESA