GENEROWANIE I WIZUALIZACJA W INTERNECIE ANAGLIFOWYCH OBRAZÓW PRZESTRZENNYCH Z NIEMETRYCZNYCH APARATÓW CYFROWYCH

Transkrypt

1 GENEROWANIE I WIZUALIZACJA W INERNECIE ANAGLIFOWYCH OBRAZÓW PRZESRZENNYCH Z NIEMERYCZNYCH APARAÓW CYFROWYCH GENERAION AND VISUALISAION OF ANAGLYPHIC SPAIAL IMAGES FROM NON-MERIC DIGIAL IMAGES VIA HE INERNE Zygmunt Paszotta Zakład Fotogrametrii i eledetekcji,uniwersytet Warmińsko-Mazurski w Olsztynie SŁOWA KLUCZOWE: obrazy cyfrowe, macierz fundamentalna, rozkład SVD, Java, Internet. SRESZCZENIE: Problem generowania obrazów rzestrzennych w fotogrametrii rozwiązywany jest za omocą obrazów eiolarnych. Odowiednią metodę rzedstawił Kreiling w 1976 roku. Dotyczy ona jednak zdjęć fotogrametrycznych, dla których znana jest orientacja wewnętrzna. W rzyadku obrazów cyfrowych ozyskiwanych kamerami niemetrycznymi należy stosować inne rozwiązanie korzystające z ojęcia macierzy fundamentalnej, wrowadzonego rzez Luonga w 1992 roku. W celu wyznaczania tej macierzy określającej związek między rawym i lewym obrazem cyfrowym, otrzeba co najmniej osiem unktów homologicznych. Do wyznaczenia rozwiązania stosuje się tzw. rozkład SVD. Korzystając z macierzy fundamentalnej wyznacza się linie eiolarne, które łączy się w obrazy. Odowiednie odstawy matematyczne oraz ilustracje zamieszczono w ublikacji. Oracowane algorytmy oraz orogramowanie ozwala rzez Internet generować trójwymiarowe obrazy anaglifowe rzy wykorzystaniu obrazów ozyskanych z niemetrycznych aaratów cyfrowych. Alikacja internetowa zrealizowana jest w architekturze klient-serwer, gdzie klientem jest rzeglądarka internetowa. Macierz fundamentalną oblicza się na serwerze. Wszystkie funkcje orogramowane są w języku Java i rozdzielone między klientem i serwerem. Jest to rzykład alikacji rozroszonej ozwalającej interaktywnie tworzyć anaglifowe obrazy rzestrzenne. Ma duże walory oznawcze i edukacyjne. Alikacja jest dostęna na stronie internetowej autora htt:// 1. WSĘP W klasycznej fotogrametrii bazującej na zdjęciach fotogrametrycznych generowanie obrazów trójwymiarowych jest rocesem znanym. Przełomowe znaczenie dla tego rocesu miało oracowanie rzez Kreilinga w 1976 roku metody generowania obrazów eiolarnych. Rzutowanie obrazów stereogramu na wsólną łaszczyznę jest jednak możliwe, gdy znane są stałe kamer oraz elementy orientacji wzajemnej. Generowanie i nakładanie składowych obrazów cyfrowych też jest rocesem znanym.

2 Wraz z uowszechnieniem aaratów cyfrowych ojawiła się możliwość ozyskiwania niemetrycznych, cyfrowych zdjęć naziemnych a co za tym idzie roblem uzyskiwania obrazów rzestrzennych (3D modeli) z tych zdjęć. Rozwiązanie ojawiło się w 1992 roku o wrowadzeniu w racy doktorskiej Luonga ojęcia macierzy fundamentalnej (Luong 1992, Hartley 1992). Mimo, że nie możemy za omocą rzutu środkowego rzutować obrazów, to jednak możemy wyznaczać linie eiolarne. Przy narzuceniu dodatkowych warunków i arametrów na obraz możemy wygenerować obraz rzestrzenny. Zatem kolejnym zagadnieniem jest wykonanie odowiedniego orogramowania, które generowałoby obrazy rzestrzenne. Orogramować należy wiele czynności i funkcji, realizujących wykonywanie omiarów oraz obliczenia. Okazuje się, że możliwa jest internetowa interaktywna realizacja zadania generowania obrazów rzestrzennych z wykorzystaniem koncecji obrazów anaglifowych. Proonowane rozwiązanie racuje jako alikacja internetowa naisanaw języku JAVA i wykorzystuje technologię klient-serwer, co w raktyce oznacza komunikację między aletami i servletem. W dalszej części artykułu rzedstawione zostaną odstawy teoretyczne rzyjętego rozwiązania oraz schemat realizacji. 2. PODSAWY EOREYCZNE Pojęcie macierzy fundamentalnej wrowadza się wychodząc od znanego warunku komlanarności, tj należenia unktów homologicznych do łaszczyźny rdzennej. Zgodnie z rysunkiem 1 sełniona musi być równość: r t "( b r') = 0. (1) Drugi czynnik możemy zaisać jako: i j k bz ry ' + by rz ' b r' = bx by bz = bz rx ' bxrz ' = rx ' ry ' rz ' byrx ' + bxry ' 0 bz by rx ' = 0 ' bz bx = Br' (2) ry 0 b ' y bx rz Jeżeli Q jest macierzą obrotu wektora r" do układu wsółrzędnych (O,x,y,z) tzn. r t " = Qr", (3) to iloczyn skalarny zaisujemy w ostaci ( r ") Br' = ( r") Q Br' = 0 t (4)

3 R 3 z y b O 1 x O 2 r y r r t =Qr O P x r t =Qr P O 2 P(x,y,z) Rys. 1. Geometryczne związki między unktem na 3D modelu a jego obrazami. Przechodzimy do wsółrzędnych jednorodnych i zaisujemy transformację z układu wsółrzędnych tłowych do układu wsółrzędnych ikselowych jako r ' = A1 r' r " = A 2 r" (5) Otrzymujemy wtedy 1 1 ( r ") A Q B A r ' (6) ( 2 ) 1 = ( A ) Q B F = A Niech 2 1 Macierz tę nazywa się macierzą fundamentalną. Pozwala ona wyznaczyć linie eiolarne. Dla unktu na rawym zdjęciu o wsółrzędnych r " linia eiolarna na lewym zdjęciu ma równanie (we wsółrzędnych jednorodnych): r " u" = 0, gdzie u " = Fr ' (7) Macierz F osiada wymiar 3x3. Należy wyznaczyć 8 wsółczynników (oza czynnikiem skalującym). Aby je wyznaczyć, otrzeba co najmniej 8 unktów homologicznych.

4 Autorem odowiedniego algorytmu jest Longuest-Higgins (Longuest-Higgins, 1982). Korzystamy z równania (6) zaisanego w uroszczonej ostaci, ( r ") F r ' = 0 (8) Wszystkie linie eiolarne na danej łaszczyźnie obrazowej lewej lub rawej, rzechodzą rzez jeden unkt eiolarny. Stanowią one ęk rostych rzechodzących rzez unkt eiolarny. Jeżeli oznaczymy je rzez e ' i e " to sełnione są zależności (Forstner 2000): Fe ' = 0, e " F = 0 (9) 3. REALIZACJA KOMPUEROWA Internetowa realizacja metody wymaga orogramowania wykonującego kolejne oeracje zarówno o stronie klienta jak i serwera. Pełny diagram czynności rzedstawiony jest na rysunku 2. Wyznaczenie macierzy fundamentalnej jest ierwszym elementem w rocesie budowy obrazów rzestrzennych. W tym celu mierzymy wsółrzędne unktów homologicznych i korzystamy z wyrażenia (8), które zaiszemy w ostaci Mf = 0 (10) gdzie: f = [ f 11, f12, f13, f 21,..., f 33 ] wektor uorządkowanych elementów macierzy F. Otrzymujemy układ równań jednorodnych z 9 niewiadomymi elementami macierzy F. Jeżeli rząd macierzy M równy k, jest mniejszy od 9 to osiada on nieskończenie wiele niezerowych rozwiązań zależnych od k arametrów. Do rozwiązania tego układu zastosujemy rozkład na wartości szczególne zwany rozkładem SVD. Szczególnie użyteczna jest własność, że rząd macierzy M jest równy liczbie niezerowych wartości szczególnych macierzy M, a zatem liczbie niezerowych elementów na rzekątnej macierzy diagonalnej V. Aby uzyskać Rank(M)=8 a właściwie Rank(M )=8 należy wyzerować najmniejszą wartość szczególną. Jeżeli nasze omiary wsółrzędnych unktów homologicznych były rawidłowe to owinien istnieć wyraźny skok między ósmą a dziewiątą wartością szczególną. Przyjmując jedną niewiadomą jako arametr, otrzymujemy układ jednorodny, który rozwiązujemy korzystając z rozkładu SVD. Porawione macierze V i M oznaczymy rzez V i M, gdzie M ' = S' V' D' (11) Macierz M ma teraz rząd równy 8, a układ równań ostać : M ' f = b (12) Aby uzyskać jednoznaczne rozwiązanie otrzeba 8 unktów. Dla większej liczby unktów warunek M ' f b = 0 zastęujemy warunkiem 2 r 2 = ( M' f b) = min, co zaisujemy M' f b (13) Korzystając z równania (11) wyrażenie to można zaisać nastęująco (Brandt 1999) V' D' f S' b (14)

5 Klient Server Użytkownik Identyfikacja unktów homologicznych Wyznaczenie macierzy fundamentalnej Wyznaczenie zakresu anaglifu na stereoarach Wycięcie fragmentów zdjęć Generowanie obrazów eiolarnych Zesolenie obrazów eiolarnych Wizualizacja anaglifu ransformacja do formatu JPEG Rys. 2. Diagram czynności w rocesie generowania anaglifowych obrazów rzestrzennych Przyjmując oznaczenia: S ' b = g, D ' f =, (15) otrzymujemy V g ' (16) Ostatecznie uzyskujemy rozwiązanie: f = D' (17) Kod JAVA algorytmu rozkładu na wartości osobliwe nie zawiera dużo miejsca, dlatego może być zawarty w alecie klienta. Jest to translacja kodu svdcm.c, bazującego

6 na algorytmie Golub-Reinsch (Press et. al., 1992), a więc rogramu naisanego w języku C, na język JAVA. 4. INERNEOWA REALIZACJA PRZYKŁADU Rys. 3. Stereogram i wsółrzędne unktów homologicznych.

7 Pierwszym zadaniem jest wybór zdjęć stereogramu i omiar wsółrzędnych unktów (rys. 3). Dane te można modyfikować korzystając z iramid utworzonych dla lewego i rawego obrazu. Nastęnie wyznaczamy macierz M z wzoru (10). Wartości jej elementów odane są w tabeli 1. Elementy macierzy ortogonalnych S i D oraz macierzy diagonalnej V są rzedstawione w tabelach 2,3 i 4. abela 1. Elementy macierzy M = m ] i\j [ ij abela 2. Elementy ortogonalnej macierzy S = ] i\j ,0266 0,0232-0,0044-0,1681 0,5075-0,1073-0,6486 0,4297 0, ,0749-0,1994-0,1164 0,5622 0,1732 0,5549-0,3923-0,2273-0, ,1306-0,5683-0,7010-0,3543 0,0105 0,1306 0,1233 0,0091 0, ,2943 0,6161-0,6059 0,2348-0,2185-0,1110-0,0681 0,2072-0, ,4141 0,1501 0,1061 0,1181 0,1424 0,3178 0,2497-0,2306 0, ,6990-0,0233 0,2843-0,4152-0,2979 0,1085-0,2831-0,0535-0, ,1220 0,1995-0,1437-0,1756 0,5610-0,3392 0,0193-0,6411-0, ,2654 0,0171 0,1019 0,0364 0,4896 0,1824 0,5122 0,5004-0, ,3804-0,4404 0,0695 0,5064-0,0333-0,6246 0,0177 0,0569 0,0724 abela 3. Elementy ortogonalnej macierzy D = ] i\ j ,7464 0,5970-0,2935 0,0184-0,0008 0,0002-0,0000-0,0000-0, ,4089-0,2578 0,5579 0,6746-0,0044-0,0006 0,0001 0,0003-0, ,0004 0,0002-0,0004 0,0044 0,6430-0,3345-0,3095-0,6155 0, ,4303-0,3037 0,4306-0,7329 0,0051 0,0005-0,0001 0,0003-0, ,3008-0,6963-0,6460 0,0857-0,0013-0,0007-0,0000-0,0000-0, ,0002-0,0004-0,0004 0,0028 0,3435 0,6244-0,6186 0,3305-0, ,0004-0,0005-0,0005 0,0036 0,6129-0,3134 0,3604 0,6295-0, ,0002-0,0004-0,0004 0,0027 0,3047 0,6324 0,6257-0,3400 0, ,0000-0,0000-0,0000 0,0000 0,0009 0,0002-0,0172 0,0096 0,9998 d [ ij s [ ij abela 4. Elementy diagonalnej macierzy V = ] v 11 v 22 v 33 v , , , ,0836 v [ ij v 55 v 66 v 77 v 88 v , , ,3382 5,2684 0,0092

8 Macierz M rozkładamy względem wartości szczególnych. Zerujemy element v99 i zgodnie z wzorami (13) (17) otrzymujemy elementy macierzy F rzedstawione w tabeli 5. abela 5. Elementy macierzy F = ] f [ ij i\j , , , , , , , , ,0 Element f 33 jest arametrem, od którego zależą ozostałe elementy macierzy F. Przyjmując jego wartość uzyskujemy rozwiązanie sełniające warunek (8). Uzyskanie tego rozwiązania kończy eta drugi w diagramie na rysunku GENEROWANIE OBRAZÓW PRZESRZENNYCH MEODĄ ANAGLIFOWĄ Macierz fundamentalna nie wyznacza od razu obrazów składowych obrazu rzestrzennego. Zgodnie z wzorem 9 możemy wyznaczać odowiadające sobie linie eiolarne. Istotę roblemu rzedstawia rysunek 4, gdzie okazany jest układ linii eiolarnych na lewym i rawym zdjęciu dla zadanej kolumny ikseli na rawym zdjęciu. Elementy tej kolumny wybierane są rostoadle do linii eiolarnej. Dla czytelności obrazu wybrany jest, co dwudziesty iksel w kolumnie. W rozwiązaniu internetowym nie generuje się obrazu rzestrzennego dla całego obszaru wsólnego okrycia, lecz dla wybranego rzez użytkownika fragmentu stereogramu. Nastęuje to rzez wskazanie środka obszaru na lewym i rawym zdjęciu oraz rzez wybór jego wielkości, n. 500x500 ikseli. Generowanie wygodnie zacząć od narożnika, który ustalamy dla rawego zdjęcia. Na odstawie wzoru (7), wyznaczamy równanie odowiadającej linii eiolarnej na lewym zdjęciu i na niej szukamy unktu oczątkowego. Potrzebną wsółrzędną x 1, czyli numer kolumny określa się z rzybliżonej zależności między wsółrzędnymi wcześniej wyznaczonych unktów homologicznych użytych do wyznaczenia macierzy fundamentalnej. Przyjmując jej ostać jako uzyskujemy wsółczynniki: x + 1 a0 + a1 x2 a2 y2 = (18) a 1 = 0, a 2 = 0, a 0 = -7,010352

9 Rys. 4. Układ linii eiolarnych. Kolejne unkty zadajemy rzesuwając się w wierszu na ierwszej linii eiolarnej na rawym obrazie. Prosta ta wyznaczona jest rzez wybrany unkt oczątkowy oraz unkt rdzenny. Odowiadający unkt na odowiedniej linii eiolarnej lewego zdjęcia wybieramy na odstawie skoku a1 określonego z wcześniej wyznaczonej rzybliżonej zależności między wsółrzędnymi. Obrazy rzestrzenne generujemy bez dodatkowej zmiany skali z obrazów iramidy. Przy interolacji oziomów jasności wybranych barw odstawowych (niebieskiej i czerwonej) stosujemy metodę najbliższego sąsiada. Unikamy resamlingu, który ogorszyłby ostrość anaglifu oraz wydłużył czas jego generowania na serwerze. 6. PODSUMOWANIE Z rzestawionych rozważań wynika, że można generować obrazy rzestrzenne na odstawie niemetrycznych obrazów cyfrowych rzy wykorzystaniu Internetu. Zamieszczone zdjęcia wykonano amatorskim aaratem cyfrowym. Pokazany na rysunku 5, lub odobny anaglif można wygenerować rzez Internet ze strony htt:// Przedstawione rozwiązanie orócz walorów naukowych ma duże walory edukacyjne. Autor ma nadzieję, że stanowi ono skromny wkład do rozwoju i oularyzacji technologii fotogrametrycznych.

10 Rys. 5. Przykładowy anaglif uzyskany w oknie rzeglądarki internetowej. 7. LIERAURA Brandt S., Analiza danych. Wydawnictwo Naukowe PWN, Warszawa, s Forstner W., New Orientation Procedures. he International Archives of Photogrammetry and Remote Sensing, Amsterdam, he Netherlands, July, 2000 Vol. XXXIII-B3A, str Hartley R. I., Estimation of relative camera ositions for uncalibrated cameras. Proceedings of the Second Euroean Conference on Comuter Vision. s Luong Q.., Fundamental matrix and self-calibration. PhD hesis, University of Paris, Orsay. Longuest-Higgins H., 1982, A comuter algorithm for reconstructing a scene from two rojections. Nature Vol. 293, s Press W., Flannery B., eukolsky S., Vetterling W.,1992, Numerical Recies in C: he Art of Scientific Comuting. second edition, Cambridge University Press, ISBN-10: , s

11 GENERAION AND VISUALISAION OF ANAGLYPHIC SPAIAL IMAGES FROM NON-MERIC DIGIAL IMAGES VIA HE INERNE KEY WORDS: digital image, fundamental matrix, Singular Value Decomosition, Internet, Java. Summary Inferring three-dimensional information from images taken from different viewoints is a central roblem in terrestrial hotogrammetry and comuter vision. In classic hotogrammetry (which is based on hotogrammetric images) generating 3D images is a well-known rocess. A breakthrough in the rocess was made in 1976, when Kreiling develoed a method of generating eiolar images. However, it is ossible to roject stereogram images onto the common lane if the camera constants and the elements of relative orientation are known. As digital cameras have become ubiquitous, it is ossible now to obtain non-metric, digital terrestrial images; a roblem has also arisen of obtaining satial images from such hotograhs. Recent work has shown that it is ossible to recover the rojective structure of a scene from oint corresondences only, without the need for camera calibration. he solution came with the introduction of the fundamental matrix in 1992 in a PhD thesis by Luong and in Faugeras and Hartley, After alying additional conditions and arameters to an image, a satial image can be generated. herefore, the next task is to develo software to generate satial images. It aears that it is ossible to generate satial images with the use of the idea of anaglyhic images interactively on the Internet and taking measurement on them. he roosed solution works as an Internet alication in JAVA and emloys client-server technology, which in ractical terms means communication between alets and the servlet. his aer resents the theoretical foundations of the satial image construction from the nonmetric digital images. It is also aimed at showing the web-based hotogrammetric alications located on the Deartment of Photogrammetry and Remote Sensing server (htt:// he eiolar geometry is the intrinsic rojective geometry between two views. It is indeendent of scene structure and deendent on the camera s internal arameters and relative orientations of images. he fundamental matrix F encasulates this intrinsic geometry. he dimension of matrix F is 3x3. o be determined are 9 coefficients minus one scaling coefficient. In order to determine them, at least 8 homologous oints are needed. Determination of this matrix is the first stage in the rocess of creating satial images. o find the solution of elements of the fundamental matrix authors aly singular value decomosition (SVD). When the matrix F is known it is ossible to determine the eioles lines and built the satial image. In the next art of the aer authors describe such Internet alication. In constructing a Web alication, it can be assumed that hotos will be stored on different comuters data servers. Software which is necessary to read data from these servers will be installed on another comuter called an alication server. Moreover, users will be communicating with the alication server by means of their Web browser. During the rocess of construction of an anaglyh the coordinates of at least 8 homologous oints should be measured and collected in the table. By correctly arranging and carefully measuring homologous oint arameters of the fundamental matrix should be fixed. he next ste is created an anaglyh over the Internet. Dane autora: dr hab. Zygmunt Paszotta, rof. UWM aszotta@uwm.edu.l telefon: fax: