Wyszukiwanie punktów charakterystycznych na potrzeby ³¹czenia zdjêæ lotniczych***

Transkrypt

1 AUTOMATYKA 2006 Tom 10 Zeszyt 3 Piotr Pawlik*, S³awomir Mikrut** Wyszukiwanie punktów charakterystycznych na potrzeby ³¹czenia zdjêæ lotniczych*** 1. Wstêp Artyku³ dotyczy problemu dopasowania fotogrametrycznych zdjêæ lotniczych. Istot¹ zagadnienia jest znalezienie i pomiar odpowiednich punktów charakterystycznych na dwóch zdjêciach lotniczych (fotogrametrycznych), wykonanych z odpowiedniej bazy. Pomiar tych punktów jest niezbêdny do opracowañ fotogrametrycznych (wykonywania map cyfrowych, cyfrowych modeli terenu itp.). Wyszukiwanie i pomiar tych punktów w sposób automatyczny pozwoli na podniesienie efektywnoœci opracowañ mapowych. W literaturze podanych jest kilka podejœæ pozwalaj¹cych na wykonywanie tego typu prac [4]. W niniejszym artykule podjêto próbê wykorzystania metody Scale Invariant Feature Transform (SIFT) [1, 2, 3]. Metoda SIFT nale y do metod detekcji stabilnych cech lokalnych i jest wykorzystywana m.in. do automatycznego tworzenia zdjêæ panoramicznych, wyszukiwania wzorcowych obiektów na obrazach cyfrowych, nawigacji robotów (równie w zastosowaniach przemys³owych). Przewagê tej metody nad innymi sposobami opisu punktów charakterystycznych potwierdzaj¹ m.in. badania Mikolajczyka i Schmid [5]. W celu rozwi¹zania problemu znalezienia odpowiadaj¹cych sobie punktów na parze zdjêæ lotniczych, opracowano algorytm oparty na metodzie SIFT oraz dokonano jego wstêpnej implementacji i weryfikacji. 2. Zarys metody SIFT Metoda SIFT, zaproponowana przez Davida Lowe [1, 2], znajduje stabilne cechy lokalne (punkty charakterystyczne), bazuj¹c na stworzeniu piramidy obrazów o coraz mniejszej rozdzielczoœci. Obrazy tworz¹ce piramidê s¹ obrazami ró nicowymi. S¹ one uzyskiwane w wyniku odjêcia dwóch obrazów powsta³ych przez przefiltrowanie obrazu pocz¹tko- * Katedra Automatyki, Akademia Górniczo-Hutnicza w Krakowie; piotrus@agh.edu.pl ** Zak³ad Fotogrametrii i Informatyki Teledetekcyjnej, Akademia Górniczo-Hutnicza w Krakowie; smikrut@agh.edu.pl *** Pracê wykonano w ramach grantu KBN nr 4 T12E

2 408 Piotr Pawlik, S³awomir Mikrut wego filtrami Gaussa o ró nych parametrach σ. Operacja ta jest zatem rodzajem filtracji górnoprzepustowej, a uzyskane obrazy sa obrazami gradientowymi. Piramida jest podzielona na tzw. oktawy. Obrazy sk³adaj¹ce siê na jedn¹ oktawê posiadaj¹ t¹ sam¹ rozdzielczoœæ, a ró ni¹ siê wielkoœci¹ zastosowanego filtru Gaussa. W kolejnej oktawie znajduj¹ siê obrazy o zmniejszonej rozdzielczoœci przefiltrowane tymi samymi filtrami. Cechami lokalnymi s¹ minima i maksima wyszukiwane w obrazach piramidy, poddane nastêpuj¹cym ograniczeniom: jasnoœæ punktów musi przekraczaæ zadany próg, punkty nie mog¹ le eæ wzd³u linii prostej. Dla tak wyznaczonych punktów oblicza siê wektor cech, bêd¹cy rodzajem histogramu gradientów liczonych w ich otoczeniu. Takie cechy s¹ w du ej mierze niewra liwe na natê- enie oœwietlenia (ze wzglêdu na u ycie gradientów), obrót (kierunek gradientów zapisuje siê wzglêdem kierunku gradientu punktu charakterystycznego) i skalê (dziêki stosowaniu piramidy DOG (Difference of Gaussian). Tak uzyskane wektory cech stanowi¹ pewien opis obrazu. Porównuj¹c opisy dwóch obrazów, mo na (np. metod¹ najbli szego s¹siada) znaleÿæ wspólne cechy (punkty charakterystyczne) obu obrazów. 3. Algorytm wyszukiwania najlepszych punktów wspólnych pary zdjêæ lotniczych Proponowany algorytm bazuje na fakcie, i metoda SIFT znajduje wiele wspólnych punktów charakterystycznych pary zdjêæ lotniczych. Pozwala to na ich dok³adn¹ analizê statystyczn¹ w celu odrzucenia (niewielu) b³êdnych detekcji metody SIFT oraz umo liwia wybór najlepszych punktów spoœród wielu kandydatów (rys. 1). Rys. 1. Fragmenty porównywanych zdjêæ lotniczych wraz z wyznaczonymi metod¹ SIFT punktami charakterystycznymi

3 Wyszukiwanie punktów charakterystycznych na potrzeby ³¹czenia zdjêæ lotniczych 409 Warto zwróciæ uwagê na fakt, i zdecydowana wiêkszoœæ znalezionych punktów le y poza obiektami o znacznej wysokoœci (np. budynki). Ma to niebagatelne znaczenie dla algorytmu ³¹cz¹cego zdjêcia, gdy nie wprowadza zniekszta³ceñ spowodowanych k¹tem widzenia tych obiektów. W pierwszej fazie algorytmu nastêpuje ocena przesuniêcia k¹towego obu zdjêæ. Pozwala to wstêpnie odrzuciæ punkty, które zosta³y b³êdnie wykryte przez metodê SIFT (wykazuj¹ce du ¹ niezgodnoœæ k¹ta obrotu). Druga faza polega na sprawdzeniu dok³adnoœci wyznaczenia wspó³rzêdnych proponowanych przez SIFT par punktów za pomoc¹ korelacji ich otoczeñ. Warto zauwa yæ, e korelacja ta mo e zostaæ znacznie uproszczona ze wzglêdu na znajomoœæ przesuniêcia k¹towego obu zdjêæ wyznaczonego w pierwszej fazie algorytmu. Je eli przesuniêcie to jest niewielkie (a tak zazwyczaj jest w wypadku zdjêæ lotniczych), to wystarczy sprawdziæ korelacjê otoczeñ pary punktów. W przeciwnym wypadku nale a³oby dokonaæ korekty jednego z otoczeñ (maski korelacji), obracaj¹c go o wyliczony k¹t. W obu przypadkach unika siê czasoch³onnej korelacji uwzglêdniaj¹cej wszystkie mo - liwe obroty maski. Realizacja pierwszej fazy polega³a na obliczeniu dyspersji k¹ta obrotu dla wszystkich par punktów charakterystycznych. Wektor utworzony przez wspó³rzêdne punktów z pierwszej wyznaczonej przez metodê SIFT pary by³ brany jako wektor przesuniêcia pomiêdzy oboma obrazami. Natomiast wspó³rzêdne pierwszego punktu pary stanowi³y œrodek obrotu. Dane te pos³u y³y do wyliczenia k¹tów obrotu w pozosta³ych parach punktów charakterystycznych i policzenia wartoœci oczekiwanej k¹ta obrotu oraz odchylenia standardowego. Du a dyspersja œwiadczy³a o b³êdnym sparowaniu punktów przez metodê SIFT. Taka para zosta³a odrzucana, a obliczenia ponawiano dla kolejnej pary punktów. Powy sza metoda pozwala na skuteczne wyeliminowanie b³êdnych par punktów charakterystycznych. W implementacji drugiej fazy algorytmu zdecydowano siê na prost¹ korelacjê otoczeñ odpowiadaj¹cych sobie punktów charakterystycznych obu obrazów. Ze wzglêdu na to, e wzajemny obrót testowanych zdjêæ nie przekracza³ 3 stopni, zdecydowano siê nie wprowadzaæ korekty obrotu do maski korelacji. U yto maski korelacji o rozmiarze pikseli. 4. Wyniki testowania poprawnoœci wyznaczenia wspó³rzêdnych punktów charakterystycznych Dla przetestowania algorytmu opisanego w poprzednim punkcie u yto danych pozyskanych z kilku par zdjêæ lotniczych, z których wyciêto fragmenty pokrywaj¹ce siê w oko³o 60 procentach. Wyciêcie fragmentów by³o spowodowane chêci¹ sprawdzenia algorytmu na obrazach testowych (zdjêæ) w ich naturalnej rozdzielczoœci (tzn. 600 dpi, w wypadku u ytych zdjêæ lotniczych oznacza³o to obrazy o rozdzielczoœciach oko³o pikseli). Do wyznaczania punktów charakterystycznych u yto oryginalnego oprogramowania autora metody SIFT, które nie posiada mo liwoœci przetwarzania tak du ych obrazów. Z tego wzglêdu konieczny by³ podzia³ zdjêæ na fragmenty. U ycie w³asnej implementacji metody SIFT, pozbawionej tego ograniczenia, jest planowane w trakcie dalszych badañ. W sumie uzyskano 102 pary obrazów o rozdzielczoœci pikseli.

4 410 Piotr Pawlik, S³awomir Mikrut Liczba oktaw ¹cznie Do 2 oktawy Pow. 2 okt Odleg³oœæ od maksimum korelacji Rys. 2. Histogramy odleg³oœci pomiêdzy punktami wyznaczonymi przez metodê SIFT, a punktami maksimum korelacji Jak to zosta³o opisane, poprawnoœæ dopasowania wykrytych par punktów sprawdzono za pomoc¹ korelacji. Rysunek 2 przedstawia histogramy ró nic pomiêdzy wspó³rzêdnymi punktów wyznaczonymi przez metodê SIFT a wspó³rzêdnymi maksimum korelacji. Histogramy zosta³y liczone osobno dla oktaw do 2 (wysokie rozdzielczoœci) i pozosta³ych (ni - sze rozdzielczoœci). Widaæ tu gwa³towny spadek liczby punktów o odleg³oœciach od maksimum korelacji wiêkszych ni dwa piksele. Tabela 1 Sumaryczne zestawienie punktów (par) o odleg³oœciach do 2 pikseli od maksimum korelacji ¹czna liczba par Liczba par odl. do 2 pikseli Procent par odl. do 2 pikseli Do 2 okt ,93 Pow. 2 okt ,93 ¹cznie ,43 Analizuj¹c otrzymane rezultaty (por. tab. 1), mo na zauwa yæ, e wspó³rzêdne wiêkszoœci punktów znajdowane s¹ przez metodê SIFT poprawnie (odleg³oœæ jest mniejsza ni dwa piksele). Pozosta³e punkty, dla których odleg³oœci przekraczaj¹ dwa piksele, stanowi¹ 5,75% liczby wszystkich punktów. Je eli jednak uwzglêdni siê podzia³ punktów w zale noœci od oktawy, dla której zosta- ³y wyznaczone, okazuje siê, e liczba punktów o odleg³oœci przekraczaj¹cej dwa piksele stanowi jedynie niespe³na 2% liczby wszystkich punktów niskich oktaw. W przypadku

5 Wyszukiwanie punktów charakterystycznych na potrzeby ³¹czenia zdjêæ lotniczych 411 oktaw wy szych (powy ej drugiej), liczba punktów przekraczaj¹cych graniczn¹ odleg³oœæ roœnie do 13,55%. Uzyskany wynik sugeruje, e dla wyznaczenia par punktów przydatnych do ³¹czenia dwóch zdjêæ lotniczych bardziej odpowiednie s¹ pary wyznaczone dla niskich oktaw (wyznaczone w wysokich rozdzielczoœciach). W takich przypadkach wyznaczone pary powinny w zupe³noœci wystarczyæ do wyliczenia wzajemnego po³o enia dwóch zdjêæ lotniczych. 5. Zakoñczenie Dalsze prace skupi¹ siê na dok³adnej analizie par punktów celem wyznaczenia tych par, które zajmuj¹ korzystne po³o enie (na obrze ach wspólnego obszaru obu zdjêæ) oraz zawieraj¹ w swoim otoczeniu unikalne wzorce pozwalaj¹ce na dok³adne wyznaczenie wspó³rzêdnych podpikselowych. Du a liczba pozosta³ych kandydatów powinna tak e pozwoliæ na dalsz¹, dok³adniejsz¹ analizê statystyczn¹, celem wychwycenia par le ¹cych na podobnym poziomie ziemi. Planuje siê równie w³asn¹ implementacjê metody SIFT ze wzglêdu na wspomniane ograniczenia oryginalnego programu dotycz¹ce przetwarzania zdjêæ du ej rozdzielczoœci. W³asna implementacja pozwoli na skupienie siê na parach wyznaczanych w niskich oktawach (co jest bezpoœrednim wnioskiem z niniejszego artyku³u). Ponadto bêdzie w niej mo na zastosowaæ sieci neuronowe, celem przyspieszenia znajdowania par punktów charakterystycznych. Literatura [1] Lowe D.G.: Object recognition from local scale-invariant features. International Conference on Computer Vision, 1999, [2] Lowe D.G.: Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 60, 2, 2004, [3] Ke Y., Sukthankar R.: PCA-SIFT: A More Distinctive Representation for Local Image Descriptors. Computer Vision and Pattern Recognition, 2004 [4] Kraus K.: Photogrammetry. Photogrammetry, Ferd. Dümmlers Verlag, Bonn, 1997 [5] Mikolajczyk K., Schmid C.: A performance evaluation of local descriptors. Proceedings of the 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003

6 412 Piotr Pawlik, S³awomir Mikrut