GENEROWANIE I WIZUALIZACJA W INTERNECIE ANAGLIFOWYCH OBRAZÓW PRZESTRZENNYCH Z NIEMETRYCZNYCH APARATÓW CYFROWYCH

Transkrypt

1 Archiwum Fotogrametrii, Kartografii i eledetekcji, Vol. 18, 2008 ISBN GENEROWANIE I WIZUALIZACJA W INERNECIE ANAGLIFOWYCH OBRAZÓW PRZESRZENNYCH Z NIEMERYCZNYCH APARAÓW CYFROWYCH GENERAION AND VISUALISAION OF ANAGLYPHIC SPAIAL IMAGES FROM NON-MERIC DIGIAL IMAGES VIA HE INERNE Zygmunt Paszotta Zakad Fotogrametrii i eledetekcji,uniwersytet Warmisko-Mazurski w Olsztynie SOWA KLUCZOWE: obrazy cyfrowe, macierz fundamentalna, rozkad SVD, Java, Internet. SRESZCZENIE: Problem generowania obrazów rzestrzennych w fotogrametrii rozwizywany jest za omoc obrazów eiolarnych. Odowiedni metod rzedstawi Kreiling w 1976 roku. Dotyczy ona jednak zdj fotogrametrycznych, dla których znana jest orientacja wewntrzna. W rzyadku obrazów cyfrowych ozyskiwanych kamerami niemetrycznymi naley stosowa inne rozwizanie korzystajce z ojcia macierzy fundamentalnej, wrowadzonego rzez Luonga w 1992 roku. W celu wyznaczania tej macierzy okrelajcej zwizek midzy rawym i lewym obrazem cyfrowym, otrzeba co najmniej osiem unktów homologicznych. Do wyznaczenia rozwizania stosuje si tzw. rozkad SVD. Korzystajc z macierzy fundamentalnej wyznacza si linie eiolarne, które czy si w obrazy. Odowiednie odstawy matematyczne oraz ilustracje zamieszczono w ublikacji. Oracowane algorytmy oraz orogramowanie ozwala rzez Internet generowa trójwymiarowe obrazy anaglifowe rzy wykorzystaniu obrazów ozyskanych z niemetrycznych aaratów cyfrowych. Alikacja internetowa zrealizowana jest w architekturze klient-serwer, gdzie klientem jest rzegldarka internetowa. Macierz fundamentaln oblicza si na serwerze. Wszystkie funkcje orogramowane s w jzyku Java i rozdzielone midzy klientem i serwerem. Jest to rzykad alikacji rozroszonej ozwalajcej interaktywnie tworzy anaglifowe obrazy rzestrzenne. Ma due walory oznawcze i edukacyjne. Alikacja jest dostna na stronie internetowej autora htt:// 1. WSP W klasycznej fotogrametrii bazujcej na zdjciach fotogrametrycznych generowanie obrazów trójwymiarowych jest rocesem znanym. Przeomowe znaczenie dla tego rocesu miao oracowanie rzez Kreilinga w 1976 roku metody generowania obrazów eiolarnych. Rzutowanie obrazów stereogramu na wsóln aszczyzn jest jednak moliwe, gdy znane s stae kamer oraz elementy orientacji wzajemnej. Generowanie i nakadanie skadowych obrazów cyfrowych te jest rocesem znanym. Wraz z uowszechnieniem aaratów cyfrowych ojawia si moliwo ozyskiwania niemetrycznych, cyfrowych zdj naziemnych a co za tym idzie roblem uzyskiwania obrazów rzestrzennych (3D modeli) z tych zdj. Rozwizanie ojawio si w 1992 roku o wrowadzeniu w racy doktorskiej Luonga ojcia macierzy fundamentalnej (Luong 1992, Hartley 1992). Mimo, e nie moemy za omoc rzutu 465

2 Generowanie i wizualizacja w Internecie anaglifowych obrazów rzestrzennych z niemetrycznych aaratów cyfrowych rodkowego rzutowa obrazów, to jednak moemy wyznacza linie eiolarne. Przy narzuceniu dodatkowych warunków i arametrów na obraz moemy wygenerowa obraz rzestrzenny. Zatem kolejnym zagadnieniem jest wykonanie odowiedniego orogramowania, które generowaoby obrazy rzestrzenne. Orogramowa naley wiele czynnoci i funkcji, realizujcych wykonywanie omiarów oraz obliczenia. Okazuje si, e moliwa jest internetowa interaktywna realizacja zadania generowania obrazów rzestrzennych z wykorzystaniem koncecji obrazów anaglifowych. Proonowane rozwizanie racuje jako alikacja internetowa naisanaw jzyku JAVA i wykorzystuje technologi klient-serwer, co w raktyce oznacza komunikacj midzy aletami i servletem. W dalszej czci artykuu rzedstawione zostan odstawy teoretyczne rzyjtego rozwizania oraz schemat realizacji. 2. PODSAWY EOREYCZNE Pojcie macierzy fundamentalnej wrowadza si wychodzc od znanego warunku komlanarnoci, tj naleenia unktów homologicznych do aszczyny rdzennej. Zgodnie z rysunkiem 1 seniona musi by równo: Drugi czynnik moemy zaisa jako: r t "( b r' ) 0. (1) i j k bz ry ' by rz ' b r' bx by bz = bz rx ' bxrz ' rx ' ry ' rz ' byrx ' bxry ' 0 bz by rx ' = 0 ' bz bx ry Br' 0 b ' y bx rz = (2) Jeeli Q jest macierz obrotu wektora r" do ukadu wsórzdnych (O,x,y,z) tzn. rt " Qr", (3) to iloczyn skalarny zaisujemy w ostaci r " Br' ( r") Q Br' 0 t (4) 466

3 Zygmunt Paszotta R 3 z y b O 1 x O 2 r t =Qr O r y P x r P r O 2 t =Qr P(x,y,z ) Rys. 1. Geometryczne zwizki midzy unktem na 3D modelu a jego obrazami Przechodzimy do wsórzdnych jednorodnych i zaisujemy transformacj z ukadu wsórzdnych towych do ukadu wsórzdnych ikselowych jako Otrzymujemy wtedy 1 1 Niech r ' A1 r' r " A2 r" 1 1 A Q B A r ' 0 (5) ( r ") (6) 2 1 F A 2 Q B A1 Macierz t nazywa si macierz fundamentaln. Pozwala ona wyznaczy linie eiolarne. Dla unktu na rawym zdjciu o wsórzdnych r " linia eiolarna na lewym zdjciu ma równanie (we wsórzdnych jednorodnych): r " u" 0, gdzie u Fr ' (7) " Macierz F osiada wymiar 3x3. Naley wyznaczy 8 wsóczynników (oza czynnikiem skalujcym). Aby je wyznaczy, otrzeba co najmniej 8 unktów homologicznych. Autorem odowiedniego algorytmu jest Longuest-Higgins (Longuest-Higgins, 1982). Korzystamy z równania (6) zaisanego w uroszczonej ostaci, ( r ") F r ' 0 (8) 467

4 Generowanie i wizualizacja w Internecie anaglifowych obrazów rzestrzennych z niemetrycznych aaratów cyfrowych Wszystkie linie eiolarne na danej aszczynie obrazowej lewej lub rawej, rzechodz rzez jeden unkt eiolarny. Stanowi one k rostych rzechodzcych rzez unkt eiolarny. Jeeli oznaczymy je rzez e i e " to senione s zalenoci (Forstner 2000): Fe ' 0 ', e " F 0 (9) 3. REALIZACJA KOMPUEROWA Internetowa realizacja metody wymaga orogramowania wykonujcego kolejne oeracje zarówno o stronie klienta jak i serwera. Peny diagram czynnoci rzedstawiony jest na rysunku 2. Wyznaczenie macierzy fundamentalnej jest ierwszym elementem w rocesie budowy obrazów rzestrzennych. W tym celu mierzymy wsórzdne unktów homologicznych i korzystamy z wyraenia (8), które zaiszemy w ostaci Mf 0 (10) gdzie: f [ f 11, f12, f13, f 21,..., f 33 ] wektor uorzdkowanych elementów macierzy F. Otrzymujemy ukad równa jednorodnych z 9 niewiadomymi elementami macierzy F. Jeeli rzd macierzy M równy k, jest mniejszy od 9 to osiada on nieskoczenie wiele niezerowych rozwiza zalenych od k arametrów. Do rozwizania tego ukadu zastosujemy rozkad na wartoci szczególne zwany rozkadem SVD. Szczególnie uyteczna jest wasno, e rzd macierzy M jest równy liczbie niezerowych wartoci szczególnych macierzy M, a zatem liczbie niezerowych elementów na rzektnej macierzy diagonalnej V. Aby uzyska Rank(M)=8 a waciwie Rank(M )=8 naley wyzerowa najmniejsz warto szczególn. Jeeli nasze omiary wsórzdnych unktów homologicznych byy rawidowe to owinien istnie wyrany skok midzy ósm a dziewit wartoci szczególn. Przyjmujc jedn niewiadom jako arametr, otrzymujemy ukad jednorodny, który rozwizujemy korzystajc z rozkadu SVD. Porawione macierze V i M oznaczymy rzez V i M, gdzie M' S' V' D' (11) Macierz M ma teraz rzd równy 8, a ukad równa osta : M ' f b (12) Aby uzyska jednoznaczne rozwizanie otrzeba 8 unktów. Dla wikszej liczby unktów 2 2 warunek M' f b 0 zastujemy warunkiem r ( M' f b) min, co zaisujemy M ' f b (13) Korzystajc z równania (11) wyraenie to mona zaisa nastujco (Brandt 1999) V' D' f S' b (14) 468

5 Zygmunt Paszotta Klient Server Uytkownik Identyfikacja unktów homologicznych Wyznaczenie macierzy fundamentalnej Wyznaczenie zakresu anaglifu na stereoarach Wycicie fragmentów zdj Generowanie obrazów eiolarnych Zesolenie obrazów eiolarnych Wizualizacja anaglifu ransformacja do formatu JPEG Rys. 2. Diagram czynnoci w rocesie generowania anaglifowych obrazów rzestrzennych Przyjmujc oznaczenia: otrzymujemy S' b g, D' f, (15) V g ' (16) Ostatecznie uzyskujemy rozwizanie: f D' (17) Kod JAVA algorytmu rozkadu na wartoci osobliwe nie zawiera duo miejsca, dlatego moe by zawarty w alecie klienta. Jest to translacja kodu svdcm.c, 469

6 Generowanie i wizualizacja w Internecie anaglifowych obrazów rzestrzennych z niemetrycznych aaratów cyfrowych bazujcego na algorytmie Golub-Reinsch (Press et. al., 1992), a wic rogramu naisanego w jzyku C, na jzyk JAVA. 4. INERNEOWA REALIZACJA PRZYKADU Rys. 3. Stereogram i wsórzdne unktów homologicznych Pierwszym zadaniem jest wybór zdj stereogramu i omiar wsórzdnych unktów (rys. 3). Dane te mona modyfikowa korzystajc z iramid utworzonych dla 470

7 Zygmunt Paszotta lewego i rawego obrazu. Nastnie wyznaczamy macierz M z wzoru (10). Wartoci jej elementów odane s w tabeli 1. Elementy macierzy ortogonalnych S i D oraz macierzy diagonalnej V s rzedstawione w tabelach 2,3 i 4. abela 1. Elementy macierzy M m ] [ ij i\j S [ ij abela 2. Elementy ortogonalnej macierzy ] i\j ,0266 0,0232-0,0044-0,1681 0,5075-0,1073-0,6486 0,4297 0, ,0749-0,1994-0,1164 0,5622 0,1732 0,5549-0,3923-0,2273-0, ,1306-0,5683-0,7010-0,3543 0,0105 0,1306 0,1233 0,0091 0, ,2943 0,6161-0,6059 0,2348-0,2185-0,1110-0,0681 0,2072-0, ,4141 0,1501 0,1061 0,1181 0,1424 0,3178 0,2497-0,2306 0, ,6990-0,0233 0,2843-0,4152-0,2979 0,1085-0,2831-0,0535-0, ,1220 0,1995-0,1437-0,1756 0,5610-0,3392 0,0193-0,6411-0, ,2654 0,0171 0,1019 0,0364 0,4896 0,1824 0,5122 0,5004-0, ,3804-0,4404 0,0695 0,5064-0,0333-0,6246 0,0177 0,0569 0,0724 abela 3. Elementy ortogonalnej macierzy D d ] i\ j ,7464 0,5970-0,2935 0,0184-0,0008 0,0002-0,0000-0,0000-0, ,4089-0,2578 0,5579 0,6746-0,0044-0,0006 0,0001 0,0003-0, ,0004 0,0002-0,0004 0,0044 0,6430-0,3345-0,3095-0,6155 0, ,4303-0,3037 0,4306-0,7329 0,0051 0,0005-0,0001 0,0003-0, ,3008-0,6963-0,6460 0,0857-0,0013-0,0007-0,0000-0,0000-0, ,0002-0,0004-0,0004 0,0028 0,3435 0,6244-0,6186 0,3305-0, ,0004-0,0005-0,0005 0,0036 0,6129-0,3134 0,3604 0,6295-0, ,0002-0,0004-0,0004 0,0027 0,3047 0,6324 0,6257-0,3400 0, ,0000-0,0000-0,0000 0,0000 0,0009 0,0002-0,0172 0,0096 0,9998 s [ ij abela 4. Elementy diagonalnej macierzy V v ] v 11 v 22 v 33 v , , , ,0836 [ ij v 55 v 66 v 77 v 88 v , , ,3382 5,2684 0,0092 Macierz M rozkadamy wzgldem wartoci szczególnych. Zerujemy element v99 i zgodnie z wzorami (13) (17) otrzymujemy elementy macierzy F rzedstawione w tabeli

8 Generowanie i wizualizacja w Internecie anaglifowych obrazów rzestrzennych z niemetrycznych aaratów cyfrowych abela 5. Elementy macierzy F f ] [ ij i\j , , , , , , , , ,0 Element f 33 jest arametrem, od którego zale ozostae elementy macierzy F. Przyjmujc jego warto uzyskujemy rozwizanie seniajce warunek (8). Uzyskanie tego rozwizania koczy eta drugi w diagramie na rysunku GENEROWANIE OBRAZÓW PRZESRZENNYCH MEOD ANAGLIFOW Macierz fundamentalna nie wyznacza od razu obrazów skadowych obrazu rzestrzennego. Zgodnie z wzorem 9 moemy wyznacza odowiadajce sobie linie eiolarne. Istot roblemu rzedstawia rysunek 4, gdzie okazany jest ukad linii eiolarnych na lewym i rawym zdjciu dla zadanej kolumny ikseli na rawym zdjciu. Elementy tej kolumny wybierane s rostoadle do linii eiolarnej. Dla czytelnoci obrazu wybrany jest, co dwudziesty iksel w kolumnie. W rozwizaniu internetowym nie generuje si obrazu rzestrzennego dla caego obszaru wsólnego okrycia, lecz dla wybranego rzez uytkownika fragmentu stereogramu. Nastuje to rzez wskazanie rodka obszaru na lewym i rawym zdjciu oraz rzez wybór jego wielkoci, n. 500x500 ikseli. Generowanie wygodnie zacz od naronika, który ustalamy dla rawego zdjcia. Na odstawie wzoru (7), wyznaczamy równanie odowiadajcej linii eiolarnej na lewym zdjciu i na niej szukamy unktu ocztkowego. Potrzebn wsórzdn x 1, czyli numer kolumny okrela si z rzyblionej zalenoci midzy wsórzdnymi wczeniej wyznaczonych unktów homologicznych uytych do wyznaczenia macierzy fundamentalnej. Przyjmujc jej osta jako uzyskujemy wsóczynniki: x 1 a0 a1 x2 a2 y2 (18) a 1 = 0, a 2 = 0, a 0 = -7,

9 Zygmunt Paszotta Rys. 4. Ukad linii eiolarnych Kolejne unkty zadajemy rzesuwajc si w wierszu na ierwszej linii eiolarnej na rawym obrazie. Prosta ta wyznaczona jest rzez wybrany unkt ocztkowy oraz unkt rdzenny. Odowiadajcy unkt na odowiedniej linii eiolarnej lewego zdjcia wybieramy na odstawie skoku a1 okrelonego z wczeniej wyznaczonej rzyblionej zalenoci midzy wsórzdnymi. Obrazy rzestrzenne generujemy bez dodatkowej zmiany skali z obrazów iramidy. Przy interolacji oziomów jasnoci wybranych barw odstawowych (niebieskiej i czerwonej) stosujemy metod najbliszego ssiada. Unikamy resamlingu, który ogorszyby ostro anaglifu oraz wyduy czas jego generowania na serwerze. 6. PODSUMOWANIE Z rzestawionych rozwaa wynika, e mona generowa obrazy rzestrzenne na odstawie niemetrycznych obrazów cyfrowych rzy wykorzystaniu Internetu. Zamieszczone zdjcia wykonano amatorskim aaratem cyfrowym. Pokazany na rysunku 5, lub odobny anaglif mona wygenerowa rzez Internet ze strony htt:// Przedstawione rozwizanie orócz walorów naukowych ma due walory edukacyjne. Autor ma nadziej, e stanowi ono skromny wkad do rozwoju i oularyzacji technologii fotogrametrycznych. 473

10 Generowanie i wizualizacja w Internecie anaglifowych obrazów rzestrzennych z niemetrycznych aaratów cyfrowych Rys. 5. Przykadowy anaglif uzyskany w oknie rzegldarki internetowej 7. LIERAURA Brandt S., Analiza danych. Wydawnictwo Naukowe PWN, Warszawa, s Forstner W., New Orientation Procedures. he International Archives of Photogrammetry and Remote Sensing, Amsterdam, he Netherlands, July, 2000 Vol. XXXIII-B3A, str Hartley R. I., Estimation of relative camera ositions for uncalibrated cameras. Proceedings of the Second Euroean Conference on Comuter Vision. s Luong Q.., Fundamental matrix and self-calibration. PhD hesis, University of Paris, Orsay. Longuest-Higgins H., 1982, A comuter algorithm for reconstructing a scene from two rojections. Nature Vol. 293, s Press W., Flannery B., eukolsky S., Vetterling W.,1992, Numerical Recies in C: he Art of Scientific Comuting. second edition, Cambridge University Press, ISBN-10: , s

11 Zygmunt Paszotta GENERAION AND VISUALISAION OF ANAGLYPHIC SPAIAL IMAGES FROM NON-MERIC DIGIAL IMAGES VIA HE INERNE KEY WORDS: digital image, fundamental matrix, Singular Value Decomosition, Internet, Java. Summary Inferring three-dimensional information from images taken from different viewoints is a central roblem in terrestrial hotogrammetry and comuter vision. In classic hotogrammetry (which is based on hotogrammetric images), generating 3D images is a well-known rocess. A breakthrough in the rocess was made in 1976, when Kreiling develoed a method of generating eiolar images. However, it is ossible to roject stereogram images onto the common lane if the camera constants and the elements of relative orientation are known. As digital cameras have become ubiquitous, it is now ossible to obtain non-metric, digital terrestrial images; however, obtaining satial images from such hotograhs has become a roblem. Recent work has shown that it is ossible to recover the rojective structure of a scene from oint corresondences only, without the need for camera calibration. he solution came with the introduction of the fundamental matrix in 1992 in a PhD thesis by Luong and in Faugeras and Hartley (1992). After alying additional conditions and arameters to an image, a satial image can be generated. herefore, the next task is to develo software to generate satial images. It aears that it is ossible to generate satial images with the use of the idea of anaglyhic images interactively on the Internet and taking measurement on them. he roosed solution works as an Internet alication in JAVA and emloys client-server technology, which in ractical terms means communication between alets and the servlet. his aer resents the theoretical foundations of the satial image construction from nonmetric digital images. It is also aimed at showing the web-based hotogrammetric alications located on the Deartment of Photogrammetry and Remote Sensing server (htt:// he eiolar geometry is the intrinsic rojective geometry between two views. It is indeendent of scene structure and deendent on the camera s internal arameters and relative orientations of images. his intrinsic geometry is encasulated in the fundamental matrix F. he dimension of matrix F is 3x3. A total of 9 coefficients minus one scaling coefficient remain to be determined. o determine them, at least 8 homologous oints are needed. Determination of this matrix is the first stage in the rocess of creating satial images. o find the solution of elements of the fundamental matrix, the authors aly singular value decomosition (SVD). When the matrix F is known it is ossible to determine the eiole lines and to build the satial image. In the next art of the aer, the authors describe such Internet alication. In constructing a Web alication, it can be assumed that hotos will be stored on different comuters data servers. he software necessary to read data from these servers will be installed on another comuter called an alication server. In addition, users will be communicating with the alication server by means of their Web browser. During the rocess of construction of an anaglyh, the coordinates of at least 8 homologous oints should be measured and collected in the table. By correct arrangement and careful measurements, homologous oint arameters of the fundamental matrix should be fixed. At the next ste, an anaglyh is created over the Internet. dr hab. Zygmunt Paszotta, rof. UWM aszotta@uwm.edu.l tel fax: