Archiwum Fotogrametrii, Kartografii i eledetekcji, Vol. 18, 2008 ISBN 978-83-61576-08-2 GENEROWANIE I WIZUALIZACJA W INERNECIE ANAGLIFOWYCH OBRAZÓW PRZESRZENNYCH Z NIEMERYCZNYCH APARAÓW CYFROWYCH GENERAION AND VISUALISAION OF ANAGLYPHIC SPAIAL IMAGES FROM NON-MERIC DIGIAL IMAGES VIA HE INERNE Zygmunt Paszotta Zakad Fotogrametrii i eledetekcji,uniwersytet Warmisko-Mazurski w Olsztynie SOWA KLUCZOWE: obrazy cyfrowe, macierz fundamentalna, rozkad SVD, Java, Internet. SRESZCZENIE: Problem generowania obrazów rzestrzennych w fotogrametrii rozwizywany jest za omoc obrazów eiolarnych. Odowiedni metod rzedstawi Kreiling w 1976 roku. Dotyczy ona jednak zdj fotogrametrycznych, dla których znana jest orientacja wewntrzna. W rzyadku obrazów cyfrowych ozyskiwanych kamerami niemetrycznymi naley stosowa inne rozwizanie korzystajce z ojcia macierzy fundamentalnej, wrowadzonego rzez Luonga w 1992 roku. W celu wyznaczania tej macierzy okrelajcej zwizek midzy rawym i lewym obrazem cyfrowym, otrzeba co najmniej osiem unktów homologicznych. Do wyznaczenia rozwizania stosuje si tzw. rozkad SVD. Korzystajc z macierzy fundamentalnej wyznacza si linie eiolarne, które czy si w obrazy. Odowiednie odstawy matematyczne oraz ilustracje zamieszczono w ublikacji. Oracowane algorytmy oraz orogramowanie ozwala rzez Internet generowa trójwymiarowe obrazy anaglifowe rzy wykorzystaniu obrazów ozyskanych z niemetrycznych aaratów cyfrowych. Alikacja internetowa zrealizowana jest w architekturze klient-serwer, gdzie klientem jest rzegldarka internetowa. Macierz fundamentaln oblicza si na serwerze. Wszystkie funkcje orogramowane s w jzyku Java i rozdzielone midzy klientem i serwerem. Jest to rzykad alikacji rozroszonej ozwalajcej interaktywnie tworzy anaglifowe obrazy rzestrzenne. Ma due walory oznawcze i edukacyjne. Alikacja jest dostna na stronie internetowej autora htt://www.kfit.uwm.edu.l/z/. 1. WSP W klasycznej fotogrametrii bazujcej na zdjciach fotogrametrycznych generowanie obrazów trójwymiarowych jest rocesem znanym. Przeomowe znaczenie dla tego rocesu miao oracowanie rzez Kreilinga w 1976 roku metody generowania obrazów eiolarnych. Rzutowanie obrazów stereogramu na wsóln aszczyzn jest jednak moliwe, gdy znane s stae kamer oraz elementy orientacji wzajemnej. Generowanie i nakadanie skadowych obrazów cyfrowych te jest rocesem znanym. Wraz z uowszechnieniem aaratów cyfrowych ojawia si moliwo ozyskiwania niemetrycznych, cyfrowych zdj naziemnych a co za tym idzie roblem uzyskiwania obrazów rzestrzennych (3D modeli) z tych zdj. Rozwizanie ojawio si w 1992 roku o wrowadzeniu w racy doktorskiej Luonga ojcia macierzy fundamentalnej (Luong 1992, Hartley 1992). Mimo, e nie moemy za omoc rzutu 465
Generowanie i wizualizacja w Internecie anaglifowych obrazów rzestrzennych z niemetrycznych aaratów cyfrowych rodkowego rzutowa obrazów, to jednak moemy wyznacza linie eiolarne. Przy narzuceniu dodatkowych warunków i arametrów na obraz moemy wygenerowa obraz rzestrzenny. Zatem kolejnym zagadnieniem jest wykonanie odowiedniego orogramowania, które generowaoby obrazy rzestrzenne. Orogramowa naley wiele czynnoci i funkcji, realizujcych wykonywanie omiarów oraz obliczenia. Okazuje si, e moliwa jest internetowa interaktywna realizacja zadania generowania obrazów rzestrzennych z wykorzystaniem koncecji obrazów anaglifowych. Proonowane rozwizanie racuje jako alikacja internetowa naisanaw jzyku JAVA i wykorzystuje technologi klient-serwer, co w raktyce oznacza komunikacj midzy aletami i servletem. W dalszej czci artykuu rzedstawione zostan odstawy teoretyczne rzyjtego rozwizania oraz schemat realizacji. 2. PODSAWY EOREYCZNE Pojcie macierzy fundamentalnej wrowadza si wychodzc od znanego warunku komlanarnoci, tj naleenia unktów homologicznych do aszczyny rdzennej. Zgodnie z rysunkiem 1 seniona musi by równo: Drugi czynnik moemy zaisa jako: r t "( b r' ) 0. (1) i j k bz ry ' by rz ' b r' bx by bz = bz rx ' bxrz ' rx ' ry ' rz ' byrx ' bxry ' 0 bz by rx ' = 0 ' bz bx ry Br' 0 b ' y bx rz = (2) Jeeli Q jest macierz obrotu wektora r" do ukadu wsórzdnych (O,x,y,z) tzn. rt " Qr", (3) to iloczyn skalarny zaisujemy w ostaci r " Br' ( r") Q Br' 0 t (4) 466
Zygmunt Paszotta R 3 z y b O 1 x O 2 r t =Qr O r y P x r P r O 2 t =Qr P(x,y,z ) Rys. 1. Geometryczne zwizki midzy unktem na 3D modelu a jego obrazami Przechodzimy do wsórzdnych jednorodnych i zaisujemy transformacj z ukadu wsórzdnych towych do ukadu wsórzdnych ikselowych jako Otrzymujemy wtedy 1 1 Niech r ' A1 r' r " A2 r" 1 1 A Q B A r ' 0 (5) ( r ") (6) 2 1 F A 2 Q B A1 Macierz t nazywa si macierz fundamentaln. Pozwala ona wyznaczy linie eiolarne. Dla unktu na rawym zdjciu o wsórzdnych r " linia eiolarna na lewym zdjciu ma równanie (we wsórzdnych jednorodnych): r " u" 0, gdzie u Fr ' (7) " Macierz F osiada wymiar 3x3. Naley wyznaczy 8 wsóczynników (oza czynnikiem skalujcym). Aby je wyznaczy, otrzeba co najmniej 8 unktów homologicznych. Autorem odowiedniego algorytmu jest Longuest-Higgins (Longuest-Higgins, 1982). Korzystamy z równania (6) zaisanego w uroszczonej ostaci, ( r ") F r ' 0 (8) 467
Generowanie i wizualizacja w Internecie anaglifowych obrazów rzestrzennych z niemetrycznych aaratów cyfrowych Wszystkie linie eiolarne na danej aszczynie obrazowej lewej lub rawej, rzechodz rzez jeden unkt eiolarny. Stanowi one k rostych rzechodzcych rzez unkt eiolarny. Jeeli oznaczymy je rzez e i e " to senione s zalenoci (Forstner 2000): Fe ' 0 ', e " F 0 (9) 3. REALIZACJA KOMPUEROWA Internetowa realizacja metody wymaga orogramowania wykonujcego kolejne oeracje zarówno o stronie klienta jak i serwera. Peny diagram czynnoci rzedstawiony jest na rysunku 2. Wyznaczenie macierzy fundamentalnej jest ierwszym elementem w rocesie budowy obrazów rzestrzennych. W tym celu mierzymy wsórzdne unktów homologicznych i korzystamy z wyraenia (8), które zaiszemy w ostaci Mf 0 (10) gdzie: f [ f 11, f12, f13, f 21,..., f 33 ] wektor uorzdkowanych elementów macierzy F. Otrzymujemy ukad równa jednorodnych z 9 niewiadomymi elementami macierzy F. Jeeli rzd macierzy M równy k, jest mniejszy od 9 to osiada on nieskoczenie wiele niezerowych rozwiza zalenych od k arametrów. Do rozwizania tego ukadu zastosujemy rozkad na wartoci szczególne zwany rozkadem SVD. Szczególnie uyteczna jest wasno, e rzd macierzy M jest równy liczbie niezerowych wartoci szczególnych macierzy M, a zatem liczbie niezerowych elementów na rzektnej macierzy diagonalnej V. Aby uzyska Rank(M)=8 a waciwie Rank(M )=8 naley wyzerowa najmniejsz warto szczególn. Jeeli nasze omiary wsórzdnych unktów homologicznych byy rawidowe to owinien istnie wyrany skok midzy ósm a dziewit wartoci szczególn. Przyjmujc jedn niewiadom jako arametr, otrzymujemy ukad jednorodny, który rozwizujemy korzystajc z rozkadu SVD. Porawione macierze V i M oznaczymy rzez V i M, gdzie M' S' V' D' (11) Macierz M ma teraz rzd równy 8, a ukad równa osta : M ' f b (12) Aby uzyska jednoznaczne rozwizanie otrzeba 8 unktów. Dla wikszej liczby unktów 2 2 warunek M' f b 0 zastujemy warunkiem r ( M' f b) min, co zaisujemy M ' f b (13) Korzystajc z równania (11) wyraenie to mona zaisa nastujco (Brandt 1999) V' D' f S' b (14) 468
Zygmunt Paszotta Klient Server Uytkownik Identyfikacja unktów homologicznych Wyznaczenie macierzy fundamentalnej Wyznaczenie zakresu anaglifu na stereoarach Wycicie fragmentów zdj Generowanie obrazów eiolarnych Zesolenie obrazów eiolarnych Wizualizacja anaglifu ransformacja do formatu JPEG Rys. 2. Diagram czynnoci w rocesie generowania anaglifowych obrazów rzestrzennych Przyjmujc oznaczenia: otrzymujemy S' b g, D' f, (15) V g ' (16) Ostatecznie uzyskujemy rozwizanie: f D' (17) Kod JAVA algorytmu rozkadu na wartoci osobliwe nie zawiera duo miejsca, dlatego moe by zawarty w alecie klienta. Jest to translacja kodu svdcm.c, 469
Generowanie i wizualizacja w Internecie anaglifowych obrazów rzestrzennych z niemetrycznych aaratów cyfrowych bazujcego na algorytmie Golub-Reinsch (Press et. al., 1992), a wic rogramu naisanego w jzyku C, na jzyk JAVA. 4. INERNEOWA REALIZACJA PRZYKADU Rys. 3. Stereogram i wsórzdne unktów homologicznych Pierwszym zadaniem jest wybór zdj stereogramu i omiar wsórzdnych unktów (rys. 3). Dane te mona modyfikowa korzystajc z iramid utworzonych dla 470
Zygmunt Paszotta lewego i rawego obrazu. Nastnie wyznaczamy macierz M z wzoru (10). Wartoci jej elementów odane s w tabeli 1. Elementy macierzy ortogonalnych S i D oraz macierzy diagonalnej V s rzedstawione w tabelach 2,3 i 4. abela 1. Elementy macierzy M m ] [ ij i\j 1 2 3 4 5 6 7 8 9 1 317975 103500 575 129402 42120 234 553 180 1 2 301376 540150 554 548896 983775 1009 544 975 1 3 221952 645888 384 977398 2844262 1691 578 1682 1 4 4650220 399832 2173 460100 39560 215 2140 184 1 5 4353176 2156600 2104 2207623 1093675 1067 2069 1025 1 6 6625280 3985920 2560 4182208 2516112 1616 2588 1557 1 7 1740840 303045 1335 352080 61290 270 1304 227 1 8 2582368 1493184 1616 1538874 889812 963 1598 924 1 9 2608081 2587242 1603 2695939 2674398 1657 1627 1614 1 S [ ij abela 2. Elementy ortogonalnej macierzy ] i\j 1 2 3 4 5 6 7 8 9 1-0,0266 0,0232-0,0044-0,1681 0,5075-0,1073-0,6486 0,4297 0,3100 2-0,0749-0,1994-0,1164 0,5622 0,1732 0,5549-0,3923-0,2273-0,2855 3-0,1306-0,5683-0,7010-0,3543 0,0105 0,1306 0,1233 0,0091 0,1027 4-0,2943 0,6161-0,6059 0,2348-0,2185-0,1110-0,0681 0,2072-0,0632 5-0,4141 0,1501 0,1061 0,1181 0,1424 0,3178 0,2497-0,2306 0,7376 6-0,6990-0,0233 0,2843-0,4152-0,2979 0,1085-0,2831-0,0535-0,2723 7-0,1220 0,1995-0,1437-0,1756 0,5610-0,3392 0,0193-0,6411-0,2295 8-0,2654 0,0171 0,1019 0,0364 0,4896 0,1824 0,5122 0,5004-0,3630 9-0,3804-0,4404 0,0695 0,5064-0,0333-0,6246 0,0177 0,0569 0,0724 abela 3. Elementy ortogonalnej macierzy D d ] i\ j 1 2 3 4 5 6 7 8 9 1-0,7464 0,5970-0,2935 0,0184-0,0008 0,0002-0,0000-0,0000-0,0000 2-0,4089-0,2578 0,5579 0,6746-0,0044-0,0006 0,0001 0,0003-0,0000 3-0,0004 0,0002-0,0004 0,0044 0,6430-0,3345-0,3095-0,6155 0,0001 4-0,4303-0,3037 0,4306-0,7329 0,0051 0,0005-0,0001 0,0003-0,0000 5-0,3008-0,6963-0,6460 0,0857-0,0013-0,0007-0,0000-0,0000-0,0000 6-0,0002-0,0004-0,0004 0,0028 0,3435 0,6244-0,6186 0,3305-0,0143 7-0,0004-0,0005-0,0005 0,0036 0,6129-0,3134 0,3604 0,6295-0,0004 8-0,0002-0,0004-0,0004 0,0027 0,3047 0,6324 0,6257-0,3400 0,0136 9-0,0000-0,0000-0,0000 0,0000 0,0009 0,0002-0,0172 0,0096 0,9998 s [ ij abela 4. Elementy diagonalnej macierzy V v ] v 11 v 22 v 33 v 44 13064508,6405 4067181,1052 1599500,0784 92448,0836 [ ij v 55 v 66 v 77 v 88 v 99 1462,9138 472,7960 27,3382 5,2684 0,0092 Macierz M rozkadamy wzgldem wartoci szczególnych. Zerujemy element v99 i zgodnie z wzorami (13) (17) otrzymujemy elementy macierzy F rzedstawione w tabeli 5. 471
Generowanie i wizualizacja w Internecie anaglifowych obrazów rzestrzennych z niemetrycznych aaratów cyfrowych abela 5. Elementy macierzy F f ] [ ij i\j 1 2 3 1-0,00006115 0,00536364 1,07731701 2-0,00188916 0,00096248-142,85998874 3-3,59923894 136,09426319 10000,0 Element f 33 jest arametrem, od którego zale ozostae elementy macierzy F. Przyjmujc jego warto uzyskujemy rozwizanie seniajce warunek (8). Uzyskanie tego rozwizania koczy eta drugi w diagramie na rysunku 2. 5. GENEROWANIE OBRAZÓW PRZESRZENNYCH MEOD ANAGLIFOW Macierz fundamentalna nie wyznacza od razu obrazów skadowych obrazu rzestrzennego. Zgodnie z wzorem 9 moemy wyznacza odowiadajce sobie linie eiolarne. Istot roblemu rzedstawia rysunek 4, gdzie okazany jest ukad linii eiolarnych na lewym i rawym zdjciu dla zadanej kolumny ikseli na rawym zdjciu. Elementy tej kolumny wybierane s rostoadle do linii eiolarnej. Dla czytelnoci obrazu wybrany jest, co dwudziesty iksel w kolumnie. W rozwizaniu internetowym nie generuje si obrazu rzestrzennego dla caego obszaru wsólnego okrycia, lecz dla wybranego rzez uytkownika fragmentu stereogramu. Nastuje to rzez wskazanie rodka obszaru na lewym i rawym zdjciu oraz rzez wybór jego wielkoci, n. 500x500 ikseli. Generowanie wygodnie zacz od naronika, który ustalamy dla rawego zdjcia. Na odstawie wzoru (7), wyznaczamy równanie odowiadajcej linii eiolarnej na lewym zdjciu i na niej szukamy unktu ocztkowego. Potrzebn wsórzdn x 1, czyli numer kolumny okrela si z rzyblionej zalenoci midzy wsórzdnymi wczeniej wyznaczonych unktów homologicznych uytych do wyznaczenia macierzy fundamentalnej. Przyjmujc jej osta jako uzyskujemy wsóczynniki: x 1 a0 a1 x2 a2 y2 (18) a 1 = 0,957681 a 2 = 0,080965 a 0 = -7,010352 472
Zygmunt Paszotta Rys. 4. Ukad linii eiolarnych Kolejne unkty zadajemy rzesuwajc si w wierszu na ierwszej linii eiolarnej na rawym obrazie. Prosta ta wyznaczona jest rzez wybrany unkt ocztkowy oraz unkt rdzenny. Odowiadajcy unkt na odowiedniej linii eiolarnej lewego zdjcia wybieramy na odstawie skoku a1 okrelonego z wczeniej wyznaczonej rzyblionej zalenoci midzy wsórzdnymi. Obrazy rzestrzenne generujemy bez dodatkowej zmiany skali z obrazów iramidy. Przy interolacji oziomów jasnoci wybranych barw odstawowych (niebieskiej i czerwonej) stosujemy metod najbliszego ssiada. Unikamy resamlingu, który ogorszyby ostro anaglifu oraz wyduy czas jego generowania na serwerze. 6. PODSUMOWANIE Z rzestawionych rozwaa wynika, e mona generowa obrazy rzestrzenne na odstawie niemetrycznych obrazów cyfrowych rzy wykorzystaniu Internetu. Zamieszczone zdjcia wykonano amatorskim aaratem cyfrowym. Pokazany na rysunku 5, lub odobny anaglif mona wygenerowa rzez Internet ze strony htt://www.kfit.uwm.edu.l/z/z.html Przedstawione rozwizanie orócz walorów naukowych ma due walory edukacyjne. Autor ma nadziej, e stanowi ono skromny wkad do rozwoju i oularyzacji technologii fotogrametrycznych. 473
Generowanie i wizualizacja w Internecie anaglifowych obrazów rzestrzennych z niemetrycznych aaratów cyfrowych Rys. 5. Przykadowy anaglif uzyskany w oknie rzegldarki internetowej 7. LIERAURA Brandt S., 1999. Analiza danych. Wydawnictwo Naukowe PWN, Warszawa, s. 537-538. Forstner W., 2000. New Orientation Procedures. he International Archives of Photogrammetry and Remote Sensing, Amsterdam, he Netherlands, 16-23 July, 2000 Vol. XXXIII-B3A, str.297-304. Hartley R. I., 1992. Estimation of relative camera ositions for uncalibrated cameras. Proceedings of the Second Euroean Conference on Comuter Vision. s. 579-587. Luong Q.., 1992. Fundamental matrix and self-calibration. PhD hesis, University of Paris, Orsay. Longuest-Higgins H., 1982, A comuter algorithm for reconstructing a scene from two rojections. Nature Vol. 293, s.133-135. Press W., Flannery B., eukolsky S., Vetterling W.,1992, Numerical Recies in C: he Art of Scientific Comuting. second edition, Cambridge University Press, ISBN-10: 0521431085, s. 59-70. 474
Zygmunt Paszotta GENERAION AND VISUALISAION OF ANAGLYPHIC SPAIAL IMAGES FROM NON-MERIC DIGIAL IMAGES VIA HE INERNE KEY WORDS: digital image, fundamental matrix, Singular Value Decomosition, Internet, Java. Summary Inferring three-dimensional information from images taken from different viewoints is a central roblem in terrestrial hotogrammetry and comuter vision. In classic hotogrammetry (which is based on hotogrammetric images), generating 3D images is a well-known rocess. A breakthrough in the rocess was made in 1976, when Kreiling develoed a method of generating eiolar images. However, it is ossible to roject stereogram images onto the common lane if the camera constants and the elements of relative orientation are known. As digital cameras have become ubiquitous, it is now ossible to obtain non-metric, digital terrestrial images; however, obtaining satial images from such hotograhs has become a roblem. Recent work has shown that it is ossible to recover the rojective structure of a scene from oint corresondences only, without the need for camera calibration. he solution came with the introduction of the fundamental matrix in 1992 in a PhD thesis by Luong and in Faugeras and Hartley (1992). After alying additional conditions and arameters to an image, a satial image can be generated. herefore, the next task is to develo software to generate satial images. It aears that it is ossible to generate satial images with the use of the idea of anaglyhic images interactively on the Internet and taking measurement on them. he roosed solution works as an Internet alication in JAVA and emloys client-server technology, which in ractical terms means communication between alets and the servlet. his aer resents the theoretical foundations of the satial image construction from nonmetric digital images. It is also aimed at showing the web-based hotogrammetric alications located on the Deartment of Photogrammetry and Remote Sensing server (htt://www.kfit.uwm.edu.l/z/wzasik.html). he eiolar geometry is the intrinsic rojective geometry between two views. It is indeendent of scene structure and deendent on the camera s internal arameters and relative orientations of images. his intrinsic geometry is encasulated in the fundamental matrix F. he dimension of matrix F is 3x3. A total of 9 coefficients minus one scaling coefficient remain to be determined. o determine them, at least 8 homologous oints are needed. Determination of this matrix is the first stage in the rocess of creating satial images. o find the solution of elements of the fundamental matrix, the authors aly singular value decomosition (SVD). When the matrix F is known it is ossible to determine the eiole lines and to build the satial image. In the next art of the aer, the authors describe such Internet alication. In constructing a Web alication, it can be assumed that hotos will be stored on different comuters data servers. he software necessary to read data from these servers will be installed on another comuter called an alication server. In addition, users will be communicating with the alication server by means of their Web browser. During the rocess of construction of an anaglyh, the coordinates of at least 8 homologous oints should be measured and collected in the table. By correct arrangement and careful measurements, homologous oint arameters of the fundamental matrix should be fixed. At the next ste, an anaglyh is created over the Internet. dr hab. Zygmunt Paszotta, rof. UWM e-mail: aszotta@uwm.edu.l tel. 089 523 47 12 fax: 089 523 32 10 475