Satelitarny monitoring środowiska Dane satelitarne to obecnie bardzo ważne źródło informacji o powierzchni Ziemi i procesach na niej zachodzących. Obliczono, że na początku roku 2014 na orbitach okołoziemskich znajdowało się blisko 200 satelitów EO (Earth Observation). Każdy z nich wyposażony jest w jedno lub więcej urządzeń, które często w trybie ciągłym dostarczają danych o naszym globie. Dane satelitarne wykorzystywane są m. in. do zarządzania kryzysowego w przypadku wystąpienia katastrof naturalnych takich jak powodzie, wybuchy wulkanów, czy trzęsienia ziemi. Stąd niezbędne jest jak najszybsze przetwarzania tych danych. Ze względu na rozmiar danych nie jest to zadanie proste.
Główne problemy obliczeniowe pojawiające się w przypadku analizy danych satelitarnych związane są z: Rozmiarem danych satelitarnych Ilością napływających danych satelitarnych Złożonymi algorytmami przetwarzania
Przykładowe rozmiary obrazów satelitarnych Satelita Okres działania Przybliżony rozmiar pojedynczego obrazu Ilość danych dostarczanych w 1 dzień ERS-1, ERS-2 1992-2011 350 MB - ENVISAT 2002-2011 400 MB 250 GB/dzień ALOS 2006-2011 1,7 GB 200-400 GB/dzień Radarsat-2 2007-600-800 MB 600 GB/dzień ALOS-2 2014-600 MB 1 TB 900 GB/dzień Sentinel-1 2014-1 46 GB 2,4 TB/dzień Przykładowo: dane z satelity Sentinel-1 są całkowicie otwarte dla każdego zainteresowanego, ale udostępniane są de facto jedynie obrazy wykonane w przeciągu ostatnich dwóch miesięcy. Powodem tego są techniczne ograniczenia związane z ilością danych dostarczanych przez tego satelitę.
Przetwarzanie satelitarnych obrazów Proces przetwarzania i analizy satelitarnych obrazów (zarówno multispektralnych, jak i radarowych) wymaga różnego rodzaju przekształceń i operacji na tych obrazach. Te operacje to m. in.: Koregistracja (dopasowywanie) obrazów tego samego obszaru wykonanych w różnym czasie Wyznaczanie wskaźników środowiskowych Wyznaczanie interferogramów Filtracja Georeferencja (wpasowywanie obrazów w układ współrzędnych) Wykrywanie kształtów
Przetwarzanie satelitarnych obrazów cd Duża część analiz wykorzystuje serie obrazów tego samego obszaru, ale wykonanych w różnych momentach w czasie w celu zbadania wybranego procesu środowiskowego. Tego typu analizy wymagają wykorzystania dużych zbiorów danych oraz technik obliczeń masowych na tych danych. W przypadku analizy obrazów satelitarnych pozyskanych przez nowoczesne satelity, rozmiar danych do przetworzenia może sięgać kilkudziesięciu GB. Dane te, podczas przetwarzania mogą zwiększyć swą objętość nawet 10-krotnie w wyniku tworzenia różnorakich wyników pośrednich oraz plików tymczasowych.
Przykład: odwijanie fazy interferogramu Interferogram wyznaczony na podstawie satelitarnych obrazów radarowych SAR służy do wyznaczania osiadań terenu. Interferogram to obraz różnicowy dwóch obrazów fazowych. Odwijanie fazy pozwala na wyznaczenie bezwzględnej ilości cykli fali radarowej podczas drogi przebytej do obiektu. Na tej podstawie wyznacza się następnie wielkości osiadania terenu. Czas potrzebny na odwinięcie całej sceny (np. 50x50 km) to w przybliżeniu 7 dni przy użyciu nowoczesnej maszyny typu IBM Blade. Problem odwijania fazy jest niestety niemożliwy do zrównoleglenia. Interferogram przed odwinięciem fazy Interferogram po odwinięciu fazy
Rozwiązania W celu poradzenia sobie z problemami związanymi z dużą ilością oraz objętością danych satelitarnych stosuje się różnorakie techniki czy technologie. Są to m. in.: Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU algorytmy przetwarzania obrazów bardzo często cechują się możliwością rozłożenia obliczeń na wiele procesorów GPU lub GPU. Pozwala to na uzyskanie przyspieszeń rzędu od 2 do nawet kilkudziesięciu razy. Dedykowane systemy z bezpośrednim dostępem do zbiorów danych są to systemy dostarczane przez niektórych operatorów satelitarnych, którzy umożliwiają przeprowadzanie operacji na danych w chmurze, bez potrzeby ich pobierania Automatyzacja przetwarzania danych satelitarnych podczas przetwarzania dużych zbiorów (np. czasowych) obrazów satelitarnych z jednego satelity możliwa jest automatyzacja tego procesu. Pozwala to zaoszczędzić dużo czasu analitykom zajmującym się obróbką danych. Pamięci masowe ogromne zbiory danych potrzebne do przeprowadzania różnorakich analiz muszą być umieszczane na odpowiednio pojemnych dyskach. Jako, że najczęściej dane te są cenne, konieczne jest również odpowiednie ich zabezpieczenie, np. poprzez tworzenie kopii zapasowych. Wymaga to użycia odpowiednich macierzy dyskowych.
Time [ms] Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU Lee filter with OpenMP parallelization 2 000 1 800 1 600 1 400 1 200 1 000 800 600 400 200 000 1 thread 2 threads 3 threads 4 threads 5 threads 6 threads 7 threads 8 threads process 1 346 680 468 418 392 354 329 297 make_coeff 456 230 157 133 121 104 091 084 SPAN 020 010 008 006 008 007 006 006 READ 063 064 065 063 062 064 066 065
Time [s] Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU 60,00 Lee filter performance gain with GPU 50,00 40,00 30,00 20,00 10,00 0,00 CPU GPU 1 GPU 2 init GPU 0,00 0,08 0,08 write 0,84 0,84 0,87 read 1,63 1,63 1,61 span 0,49 0,49 0,49 make_coeff 10,70 10,70 0,38 processing 36,38 3,89 2,34
Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU Dekompozycja H/A/alfa
Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU Dekompozycja H/A/alfa
Time [ms] Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU Dekompozycja H/A/alfa 6000 Speed up of H/A/alpha decomposition GPU vs multicore CPU 5000 4000 3000 2000 1000 0 1 thread 8 threads GPU read 1022 1018 990 T3/C3 4166 775 191 write 75 87 69
Programowanie równoległe na maszyny multiprocesorowe oraz na karty graficzne GPU Dekompozycja H/A/alfa
Dedykowane systemy z bezpośrednim dostępem do zbiorów danych - Geohazards Exploitation Platform and Portal Serwis stworzony przez Europejską Agencję Kosmiczną Ma za zadanie wspierać wykorzystanie satelitarnych zobrazowań Ziemi do monitoringu aktywności wulkanicznej Łączy w sobie dane EO oraz narzędzia do ich przetwarzania w chmurze 1. Globalne obserwacje wszystkich wulkanów 2. Tygodniowe obserwacje aktywnych wulkanów 3. Codzienne obserwacje wybuchających wulkanów 4. Rozwój nowoczesnych metod pomiarowych 5. Dostęp do danych z ostatnich 20 lat
Dedykowane systemy z bezpośrednim dostępem do zbiorów danych
Dedykowane systemy z bezpośrednim dostępem do zbiorów danych CloudToolbox maszyny wirtualne od ESA
Dedykowane systemy z bezpośrednim dostępem do zbiorów danych CloudToolbox maszyny wirtualne od ESA