Tytuł: Testowanie wybranych metod integracji obrazów o różnej rozdzielczości geometrycznej i spektralnej na danych symulowanych i rzeczywistych.

Transkrypt

1 Autorzy: Ewa Hocheker, Jurand Grobelski, Paweł Mackiewicz, Marcin Ossowski Koło Naukowe Satelitarnych Obserwacji Ziemi Wydział Geodezji i Gospodarki Przestrzennej Uniwersytet Warmińsko-Mazurski w Olsztynie Tytuł: Testowanie wybranych metod integracji obrazów o różnej rozdzielczości geometrycznej i spektralnej na danych symulowanych i rzeczywistych. Wstęp Teledetekcyjne obrazy lotnicze i satelitarne charakteryzuje zróżnicowana rozdzielczość geometryczna i spektralna. Stosunek wielkości piksela obrazów wielo- lub superspektralnych do wielkości piksela obrazów szerokopasmowych (panchromatycznych lub pseudo-panchromatycznych) dla większości systemów zawiera się w przedziale od 1/2 do 1/6. Ważnym zagadnieniem implikującym skuteczność wykorzystania teledetekcji w opracowaniach kartograficznych jest udane połączenie (integracja) obrazów o wysokiej rozdzielczości przestrzennej (0.6 5 m) z obrazami o niskiej rozdzielczości przestrzennej (10-30 m) ale o dużej rozdzielczości spektralnej (10-18 zakresów), w taki sposób, aby utracić jak najmniej (albo nic) z pierwotnej charakterystyki spektralnej obiektów. W pracy podjęliśmy próbę analizy efektów integracji ("fuzji") obrazów o różnej rozdzielczości uzyskanych z zastosowaniem czterech metod: 1. transformacji przestrzeni barw RGB-HSV, 2. transformacji Brovey'a, 3. ortogonalizacji Grama-Schmidta, 4. transformacji metodą głównych składowych (PCA). Są to metody zaimplementowane w oprogramowaniu ENVI 4.1. firmy VTT (dawniej Research Systems). Celem integracji jest zawsze podwyższenie rozdzielczości przestrzennej obrazów wielospektralnych, ale przy zachowaniu pierwotnych charakterystyk spektralnych. Ten wymóg jest jednak trudny do spełnienia gdyż metody transformacji przenoszą nie tylko cechy teksturalne i strukturalne obrazu, ale też jego radiometrię. Niektóre metody integracji zakładają, że obraz o wyższej rozdzielczości jest obrazem panchromatycznym, tzn. obejmującym swoim zakresem wszystkie zakresy kanałów widzialnych obrazu wielospektralnego. W przypadku kilku systemów satelitarnych (np. ETM, Ikonos, Quickbird) kanał panchromatyczny można nazwać "pseudo-panchromatycznym", gdyż obejmuje poza zakresami widzialnymi również zakres bliskiej podczerwieni. W pracy wykonaliśmy przetworzenia poprawiające rozdzielczość dla symulowanego zbioru danych na podstawie zdjęcia lotniczego oraz wysokorozdzielczego zdjęcia IKONOS, które jest przykładem rejestracji satelitarnej z kanałem "pseudo-panchromatycznym". Materiały i metodyka. W pracy posłużyliśmy się zeskanowanym zdjęciem lotniczym barwnym wykonanym w dniu roku, dla miasteczka studenckiego Kortowo w Olsztynie, w skali 1: 8 000, o terenowej wielkości piksela 17cm, aby zasymulować na jego podstawie rejestracje satelitarne o różnych rozdzielczościach przestrzennych, przyjmując, że uśrednienie trzech składowych

2 RGB skanowanego zdjęcia można potraktować jako odpowiednik wypadkowej luminancji sceny w zakresie panchromatycznym. Symulacje te wykorzystaliśmy do testowania czterech ww. metod w warunkach "idealnej" zgodności kanałów spektralnych RGB oraz kanału panchromatycznego V = (R+G+B)/3. W pierwszej fazie zostały utworzone cztery zbiory symulacyjne o typowych ilorazach rozdzielczości kanałów panchromatycznego i wielospektralnych jak dla znanych systemów satelitarnych. Rys. 1. Symulacja polegała na uśrednianiu wartości sąsiednich pikseli oryginalnego zdjęcia w kanałach RGB, które potraktowano jako ciągłą reprezentację luminancji powierzchni (przy pikselu 17x17cm), stosownie do zdegradowanej, nowo-wyznaczanej "rozdzielczości satelitarnej": 2.4m, 4.0m, 10m, 30m. Dla kanału panchromatycznego wyznaczono obrazy o rozdzielczościach: 0.6m, 1.0m, 2.5m oraz 10m. Tą samą metodą zasymulowano obrazy kontrolne, tj. "wielospektralne" RGB (barwne) o rozdzielczościach równych: 0.6m, 1.0m, 2.5m oraz 10m. Potencjalne "imperfekcje", czy też raczej właściwości danej metody integracji powinny się ujawnić w konfrontacji obrazów wytworzonych przez każdą z metod, z obrazami kontrolnymi. Za liczbowe wskaźniki podobieństwa obrazów przyjęto współczynniki korelacji odpowiednich kanałów RGB. Dokładnie te same procedury przetwarzania i weryfikacji zastosowano dla zbioru danych Ikonos, z tym odstępstwem, że integracji poddawano najpierw zestaw kanałów R,G,B, a później NIR,R,G. Dodatkowo należy zaznaczyć, że metody HSV oraz Brovey a działają tylko na zbiorze trzech składowych obrazu barwnego, natomiast metody Grama-Schmidta i PCA pozwalają również na przetwarzanie przestrzeni spektralnej wielowymiarowej (n > 3). Dla dwu pierwszych metod zbiory danych IKONOS (obrazy barwne) analizowane były więc jako przypadki "E" kompozycja 321 (RGB), oraz "F" kompozycja 432 (NIR, Red, Green jako barwy rgb). Krótki opis metod transformacji. Metoda HSV. Model HSV nawiązuje do sposobu, w jakim widzi ludzki narząd wzroku, gdzie wszystkie barwy postrzegane są jako światło pochodzące z oświetlenia. Według tego modelu wszelkie barwy wywodzą się ze światła białego, gdzie część widma zostaje wchłonięta a część odbita od oświetlanych przedmiotów. Symbole w nazwie modelu to pierwsze litery nazw angielskich dla składowych opisu barwy: H częstotliwość światła (ang. Hue) wyrażona kątem na kole barw przyjmująca wartości od 0 do 360. Model jest rozpatrywany jako stożek, którego podstawą jest koło barw. Wymiary stożka opisuje składowa S nasycenie koloru (ang. Saturation) jako promień podstawy oraz składowa V (ang. Value) równoważna nazwie B moc światła białego (ang. Brightness) jako wysokość stożka. Przyporządkowanie częstotliwości fal świetlnych na kole barw w modelu HSV jest takie same jak w modelach HLS lub HSL, tzn. centrum barwy czerwonej odpowiada kąt 0 lub 360. Centrum barwy zielonej odpowiada kąt 120. Centrum barwy niebieskiej odpowiada kąt 240. Pozostałe barwy pośrednie dla składowej Hue są odpowiednio rozłożone pomiędzy kolorami czerwonym, zielonym i niebieskim. 2

3 Zdjęcie oryginalne lotnicze barwne Skala 1: Terenowa wielkość piksela 17x17cm Symulacja rejestracji PANCHROMATYCZNEJ Symulacja rejestracji WIELOSPEKTRALNEJ Analogie do rejestracji satelitarnych Quickbird A IKONOS B SPOT -5 C SPOT/ETM D 0.6 x 0.6 m PANCHROMATYCZNY 1 x 1 m PANCHROMATYCZNY 2.5 x 2.5 m PANCHROMATYCZNY 10 x 10 m PANCHROMATYCZNY Degradacja rozdzielczości I + N T E + G R A + C J A x 2.4 m 4 x 4 m 10 x 10 m 30 x 30 m = = = = Obrazy barwne po integracji 0.6 x 0.6 m 1 x 1 m 2.5 x 2.5 m 10 x 10 m???? Symulacje wielospektralne K_MS_0.6 x 0.6 m K_MS_1 x 1 m K_MS_2.5 x 2.5 m K_MS_10 x 10 m Rys.1. Metodyka badawcza

4 Metoda oparta o transformacje Brovey'a Przykładem rozwiązania wykorzystującego stosunek jasności odpowiadających sobie pikseli z różnych obrazów jest transformacja Brovey'a (Hallada i Cox, 1983; ERDAS, 1999). Każdy z trzech kanałów spektralnych dzieli się przez sumę trypletu kanałów (normalizacja kanałów multispektralnych wchodzące w skład koła barw) a rezultat mnoży się przez dowolne inne dane obrazowe zawierające informację przestrzenną. Pomimo generowanych dużych zniekształceń spektralnych metoda ta jest często używana dla różnych zastosowań o charakterze fotointerpretacyjnym, np. detekcji zmian na terenach miejskich (Vaughan i in., 1999; Ranchin i Wald, 2000), monitoringu kopalni odkrywkowej (Mularz i in., 2000a, 2000b). Występuje często w zestawieniach porównawczych różnych metod integracji (Ranchin i Wald 2000; Hill i in. 1999). Zbliżone podejścia stosuje się w metodzie Synthetic Variable Ratio (Munechica, 1993) oraz New Synthetic Variable Ratio (Zhang, 1999). Ortogonalizacja Grama-Schmidta To metoda, za pomocą której można przekształcić zbiór liniowo niezależnych wektorów przestrzeni unitarnej w zbiór wektorów ortogonalnych. Przestrzenie liniowe, rozpinane przez zbiory przed i po ortogonalizacji są tożsame, tak więc proces może służyć do ortogonalizowania bazy. Proces został nazwany na cześć Jørgena Grama, matematyka duńskiego, oraz Erharda Schmidta, matematyka niemieckiego. Algorytm zaimplementowany w programie ENVI jest oparty na rozwiązaniu objętym patentem Laben'a i in. "Process for Enhancing the Spatial Resolution of Multispectral Imagery Using Pan-Sharpening, US Patent 6,011,875. Rozwiązanie polega na symulowaniu kanału panchromatycznego o niskiej rozdzielczości na podstawie kanałów wielospektralnych, dołączenie go do zbioru jako kanału pierwszego, wykonanie ortogonalizacji, zamiana pierwszej składowej transformacji GS na kanał panchromatyczny wysokorozdzielczy i wykonanie transformacji powrotnej. Analiza Składowych Głównych (PCA) Analiza składowych głównych (Principal Component Analysis, PCA) znajduje bazę, w której macierz kowariancji sygnału wielowymiarowego przyjmuje postać diagonalną (baza Karhunena-Loève). Pierwsza składowa tej znanej transformacji obrazów wielospektralnych zostaje Rysunek: Kierunki składowych PCA w dwóch wymiarach zamieniona przez obraz panchromatyczny, którego histogram jest do niej dopasowywany w celu uniknięcia dystorsji radiometrycznych. Wykonywana jest następnie transformacja powrotna do początkowej przestrzeni spektralnej, ale już z wyższą rozdzielczością przestrzenną. 4

5 Krótki opis danych. Ze względów oczywistych korelacje kanałów RGB zdjęcia lotniczego z wygenerowanym kanałem panchromatycznym są bliskie jedności. Współczynniki korelacji obrazu (dla czterech symulacji) panchromatycznego ze składowymi Red Green Blue D_MS_10m C_MS_2i5m B_MS_1m A_MS_06m Natomiast w przypadku danych Ikonos wartości są następujące: (iloraz rozdzielczości równy jest ¼, czyli jak w przypadku B dla zdjęć lotniczych). Korelacja Blue Green Red NIR Panchro Blue Green Red NIR Panchro Wyraźnie widać, że kanał panchromatyczny jest silniej skorelowany z kanałem bliskiej podczerwieni niż z jakimkolwiek innym kanałem zakresu widzialnego. Stąd uprawnione jest nazywanie go "pseudo-panchromatycznym". Zdjęcie lotnicze obszaru badań Kompozycja barwna Ikonos kanały 432 (4m) 5

6 Symulowany obraz panchromatyczny (pix.1m) Symulowany obraz barwny (pix. 4m) Zdjęcie panchromatyczne Ikonos (1m) Kompozycja barwna Ikonos kanały 321 (4m) Wyniki. Wskaźniki porównania liczbowego uzyskanych wyników integracji przedstawiają poniższe wykresy. W sposób wizualny można to Współczynnik korelacji Współczynniki korelacji składowej R obliczonej różnymi metodami z wartościami oryginału. Red_A Red_B Red_C Red_D Red_E Red_F Met. HSV Met. Brovey'a Met. Grama Met. PCA Analizowany przypadek (A,B,C,D,E lub F) Met. HSV Met. Brovey'a Met. Grama Met. PCA prześledzić na dalszych ilustracjach. Zauważono, że spadek korelacji dla danych lotniczych jest minimalny (poniżej 1 %) i właściwie nie zauważalny optycznie dla wszystkich metod z wyjątkiem HSV. W tym przypadku maksymalny spadek korelacji notuje się dla kanału niebieskiego i wynosi on około 3%. Wartość niewielka, jednak już wyraźnie zauważalna na zdjęciu. W przypadku obrazów IKONOS grupy E - (321RGB) metody PCA i Grama- Schmidta utrzymują współczynnik korelacji na poziomie nie mniejszym niż

7 Natomiast metody HSV i Brovey a na poziomie Potwierdza się to w sposób wizualny na poniższych obrazach, na których obserwujemy znaczne zniekształcenia pierwotnych barw. Dla grupy F wszystkie metody charakteryzuje zbliżony współczynnik korelacji ( ) za wyjątkiem korelacji kanału R dla metody HSV. Współczynniki korelacji składowej G obliczonej różnymi metodami z wartościami oryginału. Współczynniki korelacji składowej B obliczonej różnymi metodami z wartościami oryginału. Współczynnik korelacji Green_A Green_B Green_C Green_D Green_E Green_F Met.HSV Met. Brovey'a Met. Grama Met. PCA Analizowany przypadek (A,B,C,D,E lub F) Met.HSV Met. Brovey'a Met. Grama Met. PCA Współczynnik korelacji Blue_A Blue_B Blue_C Blue_D Blue_E Blue_F Met. HSV Met. Brovey'a Met. Grama Met. PCA Analizowany przypadek (A,B,C,D,E lub F) Met. HSV Met. Brovey'a Met. Grama Met. PCA Rys. Współczynniki korelacji między oryginałem a przetworzeniem obliczone dla poszczególnych składowych RGB w grupach danych. (A-D zdjęcie lotnicze, E-F - Ikonos). Zdjęcie lotnicze barwne Wynik przetworzenia wyostrzającego metodą symulacja kontrolna 1m HSV (przypadek "B" - 1m). Spadek korelacji 3%. Ikonos321 ( E ) metoda Grama-Schmidta Ikonos321 ( E ) metoda Brovey a 7

8 Ikonos321 ( E ) metoda PCA Ikonos321 ( E ) metoda HSV Ikonos432 ( F ) metoda Grama-Schmidta Ikonos432 ( F ) metoda Brovey a Ikonos432 ( F ) metoda PCA Ikonos432 ( F ) metoda HSV Podsumowanie. Uzyskane wyniki wskazują, że dla zbioru danych symulowanych na podstawie zdjęć lotniczych: 1. metoda HSV najbardziej zniekształciła pierwotna radiometrię, 2. pozostałe metody mogą być stosowane zamiennie, 8

9 3. wniosek ten należy oczywiście potwierdzić na rzeczywistych danych satelitarnych z kanałem panchromatycznym, np. EO-1 / ALI co będzie przedmiotem dalszych prac. Dla zbioru danych IKONOS: 4. Metody PCA oraz Grama-Schmidta gwarantują uzyskanie obrazów o najmniej zakłóconej radiometrii w przypadku wykonywania kompozycji z kanałów 321, tj. w barwach naturalnych, 5. Metody HSV i Brovey a generują kompozycje o drastycznie pogorszonej kolorystyce, 6. Dla przypadku integracji kanałów 432 ( F ), wysokie skorelowanie kanału podczerwieni (4) z kanałem panchromatycznym właściwie dopuszcza wszystkie metody, z niewielkim zastrzeżeniem, co do jakości metody HSV. 9