Dr hab. Zygmunt Paszotta rof. UWM Zakład Fotogrametrii i eledetekcji Uniwersytet Warmińsko-Mazurski w Olsztynie Generowanie i wizualizacja w Internecie anaglifowych obrazów rzestrzennych z niemetrycznych aaratów cyfrowych Wstę W klasycznej fotogrametrii bazującej na zdjęciach fotogrametrycznych generowanie obrazów trójwymiarowych jest rocesem znanym. Przełomowe znaczenie dla tego rocesu miało oracowanie rzez Kreilinga w 1976 roku metody generowania obrazów eiolarnych. Rzutowanie obrazów stereogramu na wsólną łaszczyznę jest jednak możliwe, gdy znane są stałe kamer oraz elementy orientacji wzajemnej. Generowanie i nakładanie składowych obrazów cyfrowych też jest rocesem znanym. Wraz z uowszechnieniem aaratów cyfrowych ojawiła się możliwość ozyskiwania niemetrycznych, cyfrowych zdjęć naziemnych a co za tym idzie roblem uzyskiwania obrazów rzestrzennych z tych zdjęć. Rozwiązanie ojawiło się z chwilą wrowadzenia macierzy fundamentalnej w 1992 roku w racy doktorskiej Luonga (Luong 1992, Hartley 1992). Mimo, że nie możemy za omocą rzutu środkowego rzutować obrazów, to jednak możemy wyznaczać linie eiolarne. Przy narzuceniu dodatkowych warunków i arametrów na obraz możemy wygenerować obraz rzestrzenny. Zatem kolejnym zagadnieniem jest wykonanie odowiedniego orogramowania, które generowałoby obrazy rzestrzenne. Orogramować należy wiele czynności i funkcji, realizujących wykonywanie omiarów oraz obliczenia. Okazuje się, że możliwa jest internetowa interaktywna realizacja zadania generowania obrazów rzestrzennych z wykorzystaniem koncecji obrazów anaglifowych. Proonowane rozwiązanie racuje jako alikacja internetowa naisana w języku JAVA i wykorzystuje technologię klient serwer, co w raktyce oznacza komunikację między aletami i srevletem. W dalszej części artykułu rzedstawione zostaną odstawy teoretyczne rzyjętego rozwiązania oraz schemat realizacji. Podstawy teoretyczne Pojęcie macierzy fundamentalnej wrowadza się wychodząc od znanego warunku leżenia unktów homologicznych w łaszczyźnie rdzennej.
R 3 z y b O 1 x O 2 r y r r t =Qr O P x r t =Qr P O 2 r Rys. 1. Geometryczne związki na stereogramie. P(x,y,z) Zgodnie z rysunkiem 1 sełniona musi być równość: r t "( b r') = 0. (1) Drugi czynnik możemy zaisać jako: i j k bz ry ' + by rz ' 0 bz by rx ' b r' = bx by bz = bz rx ' bxrz ' = 0 ' bz bx ry = Br' (2) rx ' ry ' rz ' byrx ' + bxry ' 0 b ' y bx rz Jeżeli Q jest macierzą obrotu wektora r" do okładu wsółrzędnych (O,x,y,z) tzn. r t " = Qr", (3) to iloczyn skalarny zaisujemy w ostaci ( r ") Br' = ( r") Q Br' = 0 t (4)
Przechodzimy do wsółrzędnych jednorodnych i zaisujemy transformację z układu wsółrzędnych tłowych do układu wsółrzędnych ikselowych jako r ' = A1 r' r " = A 2 r" (5) Otrzymujemy wtedy ( r ") 1 A 2 Q B A1 r ' = 0 (6) 1 Niech F = A 2 Q B A1 Macierz tę nazywa się macierzą fundamentalną. Pozwala ona wyznaczyć linie eiolarne. Dla unktu na rawym zdjęciu o wsółrzędnych r " linia eiolarna na lewym zdjęciu ma równanie (we wsółrzędnych jednorodnych): r " u" = 0, gdzie u = Fr ' (7) " Macierz F osiada wymiar 3x3. Mamy do wyznaczenia 9 wsółczynników -1 wsółczynnik skalujący co daje 8 wsółczynników. Aby je wyznaczyć, otrzeba co najmniej 8 unktów homologicznych. Autorem odowiedniego algorytmu jest Longuest-Higgins (Longuest- Higgins, 1982). Korzystamy z równania (6) możemy zaisanego w uroszczonej ostaci, ( r ") F r ' = 0 (8) Wszystkie linie eiolarne na danej łaszczyźnie obrazowej lewej lub rawej, rzechodzą rzez jeden unkt eiolarny. Stanowią one ęk rostych rzechodzących rzez unkt eiolarny. Jeżeli oznaczymy je rzez e ' i " to sełnione są zależności (Forstner 2000): e Fe ' = 0, e " F = 0 (9) Realizacja komuterowa Internetowa realizacja metody wymaga orogramowania wykonującego kolejne oeracje o stronie klienta jak i serwera. Pełny diagram czynności rzedstawiony jest na rysunku 2. Wyznaczenie macierzy fundamentalnej jest ierwszym elementem w rocesie budowy obrazów rzestrzennych. W tym celu mierzymy wsółrzędne unktów homologicznych i korzystamy z wyrażenia (8), które zaiszemy w ostaci Mf = 0 (10) gdzie: f = f, f, f, f f ] wektor uorządkowanych elementów macierzy F. [ 11 12 13 21,..., 33
Klient Server Użytkownik Identyfikacja unktów hhomologicznych Wyznaczenie macierzy fundamentalnej Wyznaczenie zakesu anaglifu na stereoarach Wycięcie fragmentów zdjęć Generownie obrazów eiolarnych Zesolenie obrazów eiolarnych Wizualizacja anglifu ransformacja do formatu JPEG Rys. 2. Diagram czynności w rocesie generowania anaglifowych obrazów rzestrzennych Otrzymujemy układ równań jednorodnych z 9 niewiadomymi elementami macierzy F. Jeżeli rząd macierzy M równy k, jest mniejszy od 9 to osiada on nieskończenie wiele niezerowych rozwiązań zależnych od k arametrów. Do rozwiązania tego układy zastosujemy rozkład na wartości szczególne zwany rozkładem SVD. Szczególnie użyteczna jest własność, że rząd macierzy M jest równy liczbie niezerowych wartości szczególnych macierzy M a zatem liczbie niezerowych elementów na rzekątnej macierzy diagonalnej V. Aby uzyskać Rank(M)=8 a właściwie Rank(M )=8 należy wyzerować najmniejszą wartość szczególną. Jeżeli nasze omiary wsółrzędnych unktów homologicznych były rawidłowe to owinien istnieć wyraźny skok między ósmą a dziewiątą wartością szczególną. Przyjmując jedną
niewiadomą jako arametr otrzymujemy układ jednorodny, który rozwiązujemy korzystając z rozkładu SVD. Porawione macierze V i M oznaczymy rzez V i M, gdzie M ' = S' V' D' Macierz M ma teraz rząd równy 8, a układ równań ostać. (11) M ' f = b. (12) Aby uzyskać jednoznaczne rozwiązanie otrzeba 8 unktów. Dla większej liczby unktów 2 2 warunek M ' f b = 0 zastęujemy warunkiem r = ( M' f b) = min, co zaisujemy M' f b (13) Korzystając z równości (11) wyrażenie to można zaisać nastęująco (Brandt 1999) V' D' f S' b (14) Przyjmując oznaczenia: S ' b = g, D ' f =, (15) otrzymujemy V' g (16) Ostatecznie uzyskujemy rozwiązanie f = D' (17) Kod JAVA algorytmu rozkładu na wartości osobliwe nie zawiera dużo miejsca, dlatego może być zawarty w alecie klienta. Jest to translacja kodu svdcm.c, bazującego na algorytmie Golub-Reinsch (Press et. al., 1992), a więc rogramu naisanego w języku C, na język JAVA. Internetowa realizacja rzykładu Pierwszym zagadnieniem jest wybór zdjęć. Możliwe jest zainstalowanie własnego stereogramu na serwerze, i wykonanie całego rocesu. Na oczątek jednak leiej skorzystać z zamieszczonych tam zdjęć i dołączonych danych testowych. Wybieramy, zatem stereogram i dane jak na rysunku 3. Dane te można modyfikować korzystając z iramid utworzonych dla lewego i rawego obrazu. Nastęnie wyznaczamy macierz M z wzoru (10). Wartości jej elementów odane są w tabeli 1.
Rys. 3. Stereogram i wsółrzędne unktów homologicznych. abela 1 Elementy macierzy M = m ] i j 1 2 3 4 5 6 7 8 9 1 317975 103500 575 129402 42120 234 553 180 1 2 301376 540150 554 548896 983775 1009 544 975 1 3 221952 645888 384 977398 2844262 1691 578 1682 1 4 4650220 399832 2173 460100 39560 215 2140 184 1 5 4353176 2156600 2104 2207623 1093675 1067 2069 1025 1 6 6625280 3985920 2560 4182208 2516112 1616 2588 1557 1 7 1740840 303045 1335 352080 61290 270 1304 227 1 8 2582368 1493184 1616 1538874 889812 963 1598 924 1 9 2608081 2587242 1603 2695939 2674398 1657 1627 1614 1 [ ij
Macierz M rozkładamy względem wartości szczególnych. abela 2 Elementy ortogonalnej macierzy S = s ] i j 1 2 3 4 5 6 7 8 9 1-0,0266 0,0232-0,0044-0,1681 0,5075-0,1073-0,6486 0,4297 0,3100 2-0,0749-0,1994-0,1164 0,5622 0,1732 0,5549-0,3923-0,2273-0,2855 3-0,1306-0,5683-0,7010-0,3543 0,0105 0,1306 0,1233 0,0091 0,1027 4-0,2943 0,6161-0,6059 0,2348-0,2185-0,1110-0,0681 0,2072-0,0632 5-0,4141 0,1501 0,1061 0,1181 0,1424 0,3178 0,2497-0,2306 0,7376 6-0,6990-0,0233 0,2843-0,4152-0,2979 0,1085-0,2831-0,0535-0,2723 7-0,1220 0,1995-0,1437-0,1756 0,5610-0,3392 0,0193-0,6411-0,2295 8-0,2654 0,0171 0,1019 0,0364 0,4896 0,1824 0,5122 0,5004-0,3630 9-0,3804-0,4404 0,0695 0,5064-0,0333-0,6246 0,0177 0,0569 0,0724 [ ij abela 3 Elementy ortogonalnej macierzy D = d ] i j 1 2 3 4 5 6 7 8 9 1-0,7464 0,5970-0,2935 0,0184-0,0008 0,0002-0,0000-0,0000-0,0000 2-0,4089-0,2578 0,5579 0,6746-0,0044-0,0006 0,0001 0,0003-0,0000 3-0,0004 0,0002-0,0004 0,0044 0,6430-0,3345-0,3095-0,6155 0,0001 4-0,4303-0,3037 0,4306-0,7329 0,0051 0,0005-0,0001 0,0003-0,0000 5-0,3008-0,6963-0,6460 0,0857-0,0013-0,0007-0,0000-0,0000-0,0000 6-0,0002-0,0004-0,0004 0,0028 0,3435 0,6244-0,6186 0,3305-0,0143 7-0,0004-0,0005-0,0005 0,0036 0,6129-0,3134 0,3604 0,6295-0,0004 8-0,0002-0,0004-0,0004 0,0027 0,3047 0,6324 0,6257-0,3400 0,0136 9-0,0000-0,0000-0,0000 0,0000 0,0009 0,0002-0,0172 0,0096 0,9998 [ ij abela 4 Elementy diagonalnej macierzy V = v ] v 11 v 22 v 33 v 44 13064508,6405 4067181,1052 1599500,0784 92448,0836 [ ij v 55 v 66 v 77 v 88 v 99 1462,9138 472,7960 27,3382 5,2684 0,0092 Zerujemy element v99 i zgodnie z wzorami (13) (17) otrzymujemy abela 5. Elementy macierzy F = f ] i j 1 2 3 1-0,00006115 0,00536364 1,07731701 2-0,00188916 0,00096248-142,85998874 3-3,59923894 136,09426319 10000,0 [ ij
Element f 33 jest arametrem, od którego zależą ozostałe elementy macierzy F. Przyjmując jego wartość uzyskujemy rozwiązanie sełniające warunek (8). Uzyskanie tego rozwiązania kończy eta drugi w diagramie na rysunku 2. Generowanie obrazów rzestrzennych metodą anaglifową Macierz fundamentalna nie wyznacza od razu obrazów składowych obrazu rzestrzennego. Zgodnie z wzorem 34 możemy wyznaczać odowiadające sobie linie eiolarne. Nie będziemy w tym miejscu rowadzić rozważań na temat linii eiolarnych odsyłając czytelnika do odowiedniej literatury. Istotę roblemu rzedstawia rysunek 4. Jest tam układ linii eiolarnych na lewym i rawym zdjęciu, odowiadających kolumnie ikseli na rawym zdjęciu. Elementy tej kolumny wybierane są rostoadle do linii eiolarnej. Dla czytelności obrazu wybrany jest co dwudziesty iksel w kolumnie. Rys. 4. Układ linii eiolarnych. W rozwiązaniu internetowym nie generuje się obrazu rzestrzennego dla całego obszaru wsólnego okrycia lecz dla wybrany rzez użytkownika obszaru. Nastęuje to rzez wskazanie środka obszaru na lewym i rawym zdjęciu i rzez wybór jego wielkości n. 500x500 ikseli. Problem olega na tym, że generowanie wygodnie zacząć od narożnika. Ustalamy taki narożnik dla rawego zdjęcia. Na odstawie wzoru (7), wyznaczamy równanie odowiadającej linii eiolarnej na lewym zdjęciu i na niej szukamy unktu oczątkowego. Potrzebną wsółrzędną x 1, czyli numer kolumny wyznaczymy z rzybliżonej zależności między wsółrzędnymi wcześniej wyznaczonych unktów homologicznych użytych do wyznaczenia macierzy fundamentalnej. Przyjmując jej ostać jako x = + + (18) 1 a0 a1 x2 a2 y2 uzyskujemy wsółczynniki: a 1 = 0,957681 a 2 = 0,080965 a 0 = -7,010352
Kolejne unkty zadajemy rzesuwając się w wierszu na ierwszej linii eiolarnej na rawym obrazie. Prosta ta wyznaczona jest rzez wybrany unkt oczątkowy oraz unkt rdzenny. Odowiadający unkt na odowiedniej linii eiolarnej lewego zdjęcia wybieramy na odstawie skoku a1 określonego z wcześniej wyznaczonej rzybliżonej zależności między wsółrzędnymi. Obrazy rzestrzenne generujemy bez dodatkowej zmiany skali z obrazów iramidy. Przy interolacji oziomów jasności wybranych barw odstawowych (niebieskiej i czerwonej) stosujemy metodę najbliższego sąsiada. Unikamy resamlingu, który ogorszyłby ostrość anaglifu oraz wydłużył czas jego generowania na serwerze. Rys. 5. Przykładowy anaglif. Posumowanie Z rzestawionych rozważań wynika, że można generować obrazy rzestrzenne na odstawie niemetrycznych obrazów cyfrowych rzy wykorzystaniu Internetu. Zamieszczone zdjęcia wykonano amatorskim aaratem cyfrowym. Zamieszczony na rysunku 5, lub odobny anaglif można wygenerować rzez Internet ze strony htt://www.kfit.uwm.edu.l/z/z.html Przedstawione rozwiązanie orócz walorów naukowych ma duże walory edukacyjne i można mieć nadzieję, że stanowi wkład do rozwoju i oularyzacji technologii fotogrametrycznych. Literatura Brandt S., 1999 Analiza danych, Wydawnictwo Naukowe PWN Warszawa 1999, str 537-538. Forstner,W., 2000, New Orientation Procedures, he International Archives of Photogrammetry and Remote Sensing, Amsterdam, he Netherlands, 16-23 July, 200 Vol. XXXIII-B3A, str.297-304. Hartley, R. I., 1992, "Estimation of relative camera ositions for uncalibrated cameras". Proceedings of the Second Euroean Conference on Comuter Vision, str. 579-587.
Luong, Q.., 1992, Fundamental matrix and self-calibration, PhD hesis, University of Paris, Orsay. Longuest-Higgins H., 1982, A comuter algorithm for reconstructing a scene from two rojections. Nature vol. 293 str.133-135. Press W., Flannery B., eukolsky S., Vetterling W.,1992, Numerical Recies in C: he Art of Scientific Comuting., secon edition, Cambridge University Press, ISBN-10: 0521431085, str. 59-70. Streszczenie Problem generowania obrazów rzestrzennych w fotogrametrii rozwiązywany jest za omocą obrazów eiolarnych. Rozwiązanie tego roblemu rzedstawił Kreiling w 1976 roku. Dotyczy ono jednak zdjęć fotogrametrycznych, dla których znana jest orientacja wewnętrzna. W rzyadku obrazów cyfrowych ozyskiwanych kamerami niemetrycznymi należy stosować inne rozwiązanie korzystające z ojęcia macierzy fundamentalnej, wrowadzonego rzez Luonga w 1992 roku. W celu wyznaczania tej macierzy określającej związek między rawym i lewym obrazem cyfrowym, otrzeba co najmniej osiem unktów homologicznych. Do wyznaczenia rozwiązania stosuje się tzw. rozkład SVD. W artykule rzedstawiona jest internetowa metoda generowania trójwymiarowych obrazów anaglifowych rzy wykorzystaniu obrazów ozyskanych z niemetrycznych aaratów cyfrowych. Alikacja internetowa zrealizowana jest w technologii klient-serwer, gdzie klientem jest rzeglądarka internetowa. Macierz fundamentalną oblicza się na serwerze. Wszystkie funkcje orogramowane są w języku Java i rozdzielone między klientem i serwerem. Jest to rzykład alikacji rozroszonej ozwalającej interaktywnie tworzyć anaglifowe obrazy rzestrzenne, i ma duże walory oznawcze i edukacyjne. ABSRAC Inferring three-dimensional information from images taken from different viewoints is a central roblem in terrestrial hotogrammetry and comuter vision. In classic hotogrammetry (which is based on hotogrammetric images) generating 3D images is a well-known rocess. A breakthrough in the rocess was made in 1976, when Kreiling develoed a method of generating eiolar images. However, it is ossible to roject stereogram images onto the common lane if the camera constants and the elements of relative orientation are known. Generating and suerimosing comonent digital images is also a well-known rocess. As digital cameras have become ubiquitous, it is ossible now to obtain non-metric, digital terrestrial images; a roblem has also arisen of obtaining satial images from such hotograhs. Recent work has shown that it is ossible to recover the rojective structure of a scene from oint corresondences only, without the need for camera calibration. he solution came with the introduction of the fundamental matrix in 1992 in a PhD thesis by Luong and in Faugeras and Hartley, 1992. It is widely used for orientations and calibration rocedures and to 3D reconstructions. After alying additional conditions and arameters to an image, a satial image can be generated. herefore, the next task is to develo software to generate satial images. Many functions and actions must be rogrammed which erform measurements and comutations. It aears that it is ossible to generate satial images with the use of the idea of anaglyhic images interactively on the Internet and taking measurement on them.. he roosed solution works as an Internet alication in JAVA and emloys client-server technology, which in ractical terms means communication between alets and the servlet.
his aer resents the theoretical foundations of the satial image construction from the nonmetric digital images. It is also aimed at showing the web-based hotogrammetric alications located on the Deartment of Photogrammetry and Remote Sensing server (htt://www.kfit.uwm.edu.l/z/wzasik.html). he eiolar geometry is the intrinsic rojective geometry between two views. It is indeendent of scene structure and deendent on the camera s internal arameters and relative orientations of images. he fundamental matrix F encasulates this intrinsic geometry. he dimension of matrix F is 3x3. o be determined are 9 coefficients minus one scaling coefficient, which makes 8 coefficients altogether. In order to determine them, at least 8 homologous oints are needed. Determination of this matrix is the first stage in the rocess of creating satial images. o find the solution of elements of the fundamental matrix authors aly singular value decomosition (SVD). When the matrix F is known it is ossible to determine the eioles lines and built the satial image. he Internet-based solution generates a satial image in the anaglyh form. In the next art of the aer authors describe such Internet alication. In constructing a Web hotogrammetric alication, it can be assumed that hotos will be stored on different comuters data servers. Software which is necessary to read data from these servers will be installed on another comuter called an alication server. Moreover, users will be communicating with the alication server by means of their own software. In this case a user is only using Web browser. During the rocess of construction of an anaglyh the coordinates of at least 8 homologous oints should be measured and collected in the table. By correctly arranging and carefully measuring homologous oint arameters of the fundamental matrix should be fixed. he next ste is created an anaglyh over the Internet. Users do not have to take measurements of homologous oints and calculate the elements of matrix F each time they visit the Web site. he set of test data is stored on the server. If users do not execute the rocedures described above the eiolar images are constructed based on the elements determined reviously. hese considerations have shown that satial images can be generated from non-metric digital images with the use of the Internet.his solution based on distributed alications has great educational and cognitive merits.