Bi u l e t y n WAT Vo l. LXI, Nr 4, 2012 Integracja danych z Naziemnego Skaningu Laserowego i danych obrazowych pozyskanych kamerą wideo Paulina Deliś Wojskowa Akademia Techniczna, Wydział Inżynierii Lądowej i Geodezji, Zakład Teledetekcji i Fotogrametrii, 00-908 Warszawa, ul. S. Kaliskiego 2, pdelis@wat.edu.pl Streszczenie. W artykule zaproponowano metodę uzupełnienia danych z Naziemnego Skaningu Laserowego (NSL) w postaci chmury punktów o zbiór punktów wygenerowanych z obrazów wideo, w przypadku gdy z pewnych przyczyn dany obiekt nie został w pełni zeskanowany. Niniejszy artykuł zawiera pełny opis procesu opracowania modelu 3D obiektu na podstawie obrazów wideo wraz z wyprowadzeniem algorytmu umożliwiającego obliczenie n-tej klatki wideo wykorzystanej do opracowania Numerycznego Modelu Obiektu. Proponowaną metodę wyróżnia zastosowanie w komercyjnej kamerze video obiektywu o stałej ogniskowej. Analizę dokładności chmury punktów wygenerowanych z obrazów wideo wykonano w oparciu o dane referencyjne w postaci punktów z Naziemnego Skaningu Laserowego. W tym celu odjęto od siebie modele 3D wygenerowane na podstawie danych video i NSL. Przeprowadzone badania wykazały, że dla powierzchni płaskich błąd średni danych wideo względem danych NSL wynosi około 4 cm (dla badanych obiektów: 3,7 cm i 4,4 cm), natomiast dla obiektu o zróżnicowanym kształcie wynosi 5,7 cm. Słowa kluczowe: fotogrametria, integracja danych, wideo, Naziemny Skaning Laserowy, model 3D 1. Wstęp Jednym z zadań fotogrametrii bliskiego zasięgu jest modelowanie 3D obiektów. W realistycznym modelu 3D prezentowane są zarówno geometryczne zależności pomiędzy głównymi elementami, jak również rzeczywista tekstura na jego wszystkich elementach. Celem modelowania 3D obiektów architektonicznych jest jak najwierniejsze odtworzenie kształtów, wymiarów i wyglądu obiektu na podstawie danych pomiarowych. Numeryczne Modele Obiektów znalazły szerokie zastosowanie m.in. w dokumentacji obiektów architektonicznych dziedzictwa kulturowego.
40 P. Deliś Modele trójwymiarowe wykorzystywane są m.in. do inwentaryzacji obiektów architektonicznych oraz przy konserwacji zabytków [1, 2, 3]. Dane pomiarowe do modelowania 3D mogą pochodzić z różnych źródeł. Najczęściej wykorzystywanym narzędziem do celów dokumentacyjnych była analogowa kamera fotogrametryczna, która została wyparta przez kamerę cyfrową. W oparciu o geometrię stereogramu możliwe jest wyznaczenie współrzędnych każdego punktu na obiekcie. Narzędziem pozyskiwania danych do modelowania 3D obiektów architektonicznych, które w ciągu ostatnich lat zyskało dużą popularność zarówno w Polsce jak i na świecie, jest naziemny skaner laserowy. Tym, co wyróżnia metodę Naziemnego Skaningu Laserowego (NSL) spośród pozostałych metod pomiarowych, jest możliwość jednoczesnego pozyskania tysięcy punktów 3D na sekundę mierzonych na powierzchni obiektu wraz z informacją o intensywności powracającego sygnału. Opracowane na podstawie danych z NSL produkty charakteryzują się dużą szczegółowością i dokładnością, sięgającą kilku milimetrów [4, 5]. Niestety, podczas pomiarów naziemnym skanerem laserowym zdarza się, że pomiar pewnych fragmentów obiektu, np. wnęk, figur, pomników, rzeźb usytuowanych w małej odległości od ściany, jest niemożliwy lub znacznie wydłużyłby czas pozyskiwania danych. Niejednokrotnie sytuacja wokół skanowanego obiektu uniemożliwia ustawienie stanowiska naziemnego skanera laserowego. Rozwój naziemnych skanerów laserowych oraz ich coraz szersze zastosowanie w modelowaniu 3D obiektów architektonicznych przyczyniły się do zaproponowania metody uzupełnienia danych trudno dostępnych fragmentów obiektów dla naziemnego skanera laserowego o dane z kamery wideo. 2. Technika wideo w modelowaniu 3D obiektów Spośród istniejących metod pozyskiwania danych fotogrametrycznych technikę wideo wyróżnia: krótki czas pozyskiwania danych wynikający z braku potrzeby rozstawiania stanowisk kamery, pozyskiwanie w krótkim czasie całej sekwencji obrazów, a nie pojedynczego obrazu (jak w przypadku kamery cyfrowej), a także powszechny dostęp do danych wideo, jako że technika wideo jest dość często wykorzystywana m.in. przez turystów, co daje możliwość opracowania modeli 3D obiektów architektonicznych na podstawie archiwalnych obrazów wideo. Powszechnie do ograniczeń związanych z danymi wideo zalicza się: niestabilność elementów orientacji wewnętrznej, co w największym stopniu wpływa na dokładność opracowania, relatywnie niską rozdzielczość oraz zmienność radiometrii obrazów video. Dodatkowym problemem, jaki może nieść filmowanie kamerą wideo, jest oświetlenie obiektu. Z racji krótkiego czasu naświetlania, co jest związane z pozyskiwaniem w ciągu sekundy dużej liczby obrazów, w celu
Integracja danych z Naziemnego Skaningu Laserowego i danych obrazowych... 41 pozyskania obrazu o odpowiedniej jakości kamera wideo potrzebuje dostatecznej ilości światła. Jak dotąd zastosowanie techniki wideo w modelowaniu 3D obiektów sprowadzało się do tworzenia prostych modeli 3D wykorzystywanych w grafice komputerowej, gdzie dokładność geometryczna modelu 3D odgrywa drugorzędną rolę. Tego typu modele generowane są automatycznie, na podstawie sekwencji obrazów wideo, bez znajomości elementów orientacji wewnętrznej kamery. Większość metod generowania modeli 3D z danych wideo wykorzystuje algorytm SFM (ang. Structure From Motion). W literaturze światowej istnieje szereg publikacji poruszających zagadnienie modelowania 3D obiektów z wykorzystaniem obrazów wideo [6, 7, 8]. Proponowana metoda zakłada wykorzystanie komercyjnej kamery wideo z obiektywem o stałej ogniskowej. Zastosowanie takiego obiektywu umożliwiło wyznaczenie, za pomocą testu kalibracyjnego, elementów orientacji wewnętrznej, ze szczególnym uwzględnieniem dystorsji obiektywu. Znajomość tychże elementów oraz ich niezmienność wpłynęła na poprawę dokładności Numerycznych Modeli Obiektów generowanych techniką wideo, jak również na zmniejszenie wymaganej liczby fotopunktów w procesie orientacji obrazów wideo, w stosunku do liczby fotopunktów, gdy elementy orientacji wewnętrznej nie są znane. 2.1. Problem integracji danych wideo i NSL W artykule zaproponowano metodę integracji danych pozyskanych metodą NSL z danymi pozyskanymi z kamery wideo ze stałoogniskowym obiektywem. Istnieją różne podejścia do kwestii integracji danych z Naziemnego Skaningu Laserowego i danych obrazowych [9, 10]. W celu opracowania ortofoto, chmurę punktów z NSL można wykorzystać jako Numeryczny Model Obiektu [11]. Opracowano także metody modelowania 3D obiektów architektonicznych zarówno na podstawie danych NSL jak obrazowych [12]. W metodach tych podstawowe kształty obiektów, jak również detale o regularnych kształtach, np. kolumny, okna, łuki, są modelowane na podstawie zdjęć cyfrowych. Wówczas pomiarom NSL poddane są jedynie szczegóły o skomplikowanej geometrii, co znacznie wpływa na skrócenie czasu prac terenowych. W literaturze kwestia integracji danych ze skaningu laserowego i wideo jest dość często poruszana w kontekście skanowania mobilnego (ang. mobile mapping) [13]. O integracji można mówić także w przypadku nałożenia tekstury z obrazów wideo na chmurę punktów z NSL [14]. Teksturowanie polega wówczas na przepróbkowaniu obrazów wideo w taki sposób, aby każdemu punktowi w chmurze punktów nadać wartość gęstości optycznej piksela obrazu wideo. Inny przykład opisuje aspekty integracji danych wideo oraz chmury punktów ze skaningu, w sytuacji gdy obydwa sensory, zarówno kamera wideo jak i skaner, zostały zamontowane na pokładzie bezpilotowca [15].
42 P. Deliś Zaproponowana w artykule metoda uzupełnienia danych trudno dostępnych fragmentów obiektów dla naziemnego skanera laserowego o dane z kamery wideo wprowadza nowe podejście do kwestii integracji danych NSL i wideo. Badania dotyczące integracji techniki wideo z techniką NSL wykonano na dwóch obiektach, które z pewnych przyczyn nie zostały w pełni zeskanowane. Brakujące fragmenty danych NSL zostały uzupełnione danymi pozyskanymi techniką wideo. Ponadto, na wybranych fragmentach badanych obiektów, przeprowadzono także analizę porównawczą modeli 3D wygenerowanych z danych wideo względem modeli 3D wygenerowanych z danych NSL. 3. Pozyskanie i opracowanie danych NSL Wykorzystane w badaniach obiekty to budynek znajdujący się na terenie Wojskowej Akademii Technicznej w Warszawie, posiadający trudno dostępną dla naziemnego skanera laserowego wnękę, oraz kula symbolizująca glob ziemski zdobiąca wnętrze kościoła św. Anny w Warszawie. Rys. 1. Wnęka budynku przedstawiona w postaci chmury punktów z NSL Rys. 2. a) kula element zdobiący wnętrze kościoła św. Anny w Warszawie; b) chmura punktów przedstawiająca kulę wygenerowana z danych NSL
Integracja danych z Naziemnego Skaningu Laserowego i danych obrazowych... 43 Obydwa obiekty zostały zeskanowane naziemnym, impulsowym skanerem laserowym, Leica ScanStation 2. Dokładność wyznaczenia położenia punktu i odległości wynosi odpowiednio 6 mm i 4 mm, natomiast rozmiar plamki lasera na odcinku 0-50 m jest równy 4 mm. Uzyskane w ten sposób chmury punktów zostały poddane rejestracji polegającej na połączeniu i zorientowaniu względem siebie chmur punktów pozyskanych z kolejnych stanowisk. Informacje dotyczące dokładności pomiarów metodą NSL badanych obiektów znajdują się w poniższej tabeli. Dokładność pomiarów wybranych obiektów metodą NSL Tabela 1 Obiekt Rozdzielczość chmury punktów [m] Błąd rejestracji [m] Błąd pomiaru punktów w chmurze [m] Kula 0,010 0,001 0,010 Wnęka 0,020 0,001 0,020 4. Pozyskanie i opracowanie danych wideo W badaniach do pozyskania danych techniką wideo wykorzystano komercyjną kamerę wideo z obiektywem szerokokątnym o stałej ogniskowej 16 mm. Najważniejsze parametry wykorzystanej kamery wideo Tabela 2 Parametry kamery wideo Nazwa kamery Sony Handycam NEX-VG10E Przetwornik CMOS 23,4 mm 15,6 mm Szybkość przechwytywania obrazu przez przetwornik 25 fps Całkowita liczba pikseli matrycy 14 600 000 Format zapisu obrazu zgodny z MPEG-4AVC/H.264 AVCHD Obiektyw ogniskowa 16 mm, ekwiwalent 24 mm Opracowanie danych pozyskanych kamerą wideo w celu integracji z danymi NSL polegało na wygenerowaniu chmury punktów na podstawie danych obrazowych wideo. Postawiony problem obejmował następujące etapy: 1) Wybór klatek wideo jako stereopar do przeprowadzenia procesu orientacji; 2) Orientacja obrazów wideo; 3) Wygenerowanie Numerycznego Modelu Obiektu w formacie TIN; 4) Eksport modelu TIN do postaci chmury punktów.
44 P. Deliś Z uwagi na to, że do badań wykorzystano kamerę wideo z obiektywem o stałej ogniskowej, opracowanie pozyskanych danych powinno być poprzedzone procesem kalibracji kamery wideo. 4.1. Kalibracja kamery wideo W przypadku, gdy elementy orientacji wewnętrznej nie są znane, konieczne jest przeprowadzenie samokalibracji. Problem samokalibracji kamery wideo był wielokrotnie poruszany, m.in. [16, 17]. W celu wyznaczenia elementów orientacji kamery wideo Sony Handycam NEX-VG10E wykorzystano test kalibracyjny typu 2D. Elementy orientacji wewnętrznej kamery wideo otrzymano w oparciu o uśrednione wyniki kalibracji wykonanej dla 10 zestawów obrazów wideo. Dystorsja badanego obiektywu ma charakterystyczny kształt, łączący cechy dystorsji beczkowatej i poduszkowatej. Rys. 3. Krzywa dystorsji badanego obiektywu. Czerwona linia przedstawia dystorsję przed korekcją. Linia czarna oznacza obiektyw pozbawiony zniekształceń. Skala 20:1 4.2. Wybór klatek wideo Danych do opracowania modelu 3D obiektu nie dostarczył sam film wideo, lecz wybrane z niego klatki wideo. Stanowiły one stereopary, które następnie zostały poddane orientacji. Wybór klatek wideo do procesu orientacji wykonano automatycznie, posługując się wzorem, którego wyprowadzenie znajduje się poniżej. Wzór ten znajduje zastosowanie w przypadku gdy podczas pozyskiwania danych wideo odległość kamery wideo od filmowanego obiektu oraz elementy kątowe orientacji zewnętrznej pozostawały niezmienne. Wychodząc z zależności: f d =, (1) P P s T
Integracja danych z Naziemnego Skaningu Laserowego i danych obrazowych... 45 gdzie: f ogniskowa obiektywu; d odległość od fotografowanego obiektu; P S wymiar piksela na obrazie; P T terenowy wymiar piksela. Ps d PT =. (2) f Uwzględniając, że terenowy wymiar matrycy S w kierunku poziomym jest równy: S = PT LP H, (3) gdzie: L P H liczba pikseli matrycy kamery wideo w kierunku poziomym. Zakładając pokrycie poprzeczne pomiędzy kolejnymi wykorzystanymi do orientacji klatkami wideo równe 60%, odległość pomiędzy kolejnymi środkami rzutów powinna wynosić 40% S. Wychodząc z ogólnego wzoru na prędkość, można wyznaczyć czas, w którym zostanie przebyta odległość równa 40% S: 40% S t =, (4) v gdzie v oznacza prędkość, z jaką porusza się kamera wideo. Oznaczając za I liczbę klatek Q na sekundę: Q= t I. (5) Uwzględniając wzory (2), (3), (4), otrzymano wzór na n-tą klatkę wideo wykorzystaną do opracowania Numerycznego Modelu Obiektu. 2 Ps d Q= LP I. f v 5 H (6) Dokonując wyboru klatki wideo do procesu orientacji, należy uwzględnić również stopień rozmazania obrazu. Rozmazanie obrazu może bowiem pogorszyć wyniki zarówno orientacji jak i automatycznej korelacji obrazu. Proponowana metoda wyboru klatek wideo do procesu orientacji nie uwzględnia stopnia rozmazania obrazu. W sytuacji gdy n-ta klatka wideo wykorzystywana do orientacji cechowała się zbyt dużym rozmazaniem, wybierano najbliższą do n-tej klatkę wideo, na której szczegóły obiektu były wyraźne. Niemniej jednak w literaturze istnieje wiele metod automatycznego eliminowania obrazów wideo o największym stopniu rozmazania obrazu. Jedna z nich opiera się na pomiarze rozmazania obrazów wideo w dziedzinie częstotliwości [18].
46 P. Deliś Rys. 4. Zależność pomiędzy pokryciem klatek wideo a odległością pomiędzy kolejnymi środkami rzutów P1, P2 4.3. Orientacja obrazów wideo Do opracowania modelu 3D obiektu niezbędna jest znajomość elementów orientacji zewnętrznej, tj. położenia i kątów nachylenia kamery wideo w momencie pozyskiwania obrazu wideo. Proces precyzyjnego wyznaczenia elementów orientacji zewnętrznej każdego obrazu wideo i określenia błędu tej orientacji nazywamy terratriangulacją. W procesie terratriangulacji wykorzystano metodę niezależnych wiązek, która umożliwia dokładne wyznaczenie elementów orientacji zewnętrznej zdjęcia wraz z pełną oceną dokładności i analizą statystyczną wyrównania. Metoda wyrównania niezależnych wiązek w ujęciu klasycznym jest powszechnie wykorzystywana do przeprowadzenia terratriangulacji [19]. Jest uznawana za najdokładniejszą i najczęściej wykorzystywaną metodę w fotogrametrii. Dzięki niej możliwe jest uzyskanie modelu 3D o dokładności podpikselowej [20]. Orientację obrazów wideo wykonano w oparciu o fotopunkty oraz punkty wiążące. Za fotopunkty posłużyły wybrane punkty z opracowanych chmur punktów ze skaningu laserowego o współrzędnych w układzie lokalnym. Wykorzystanie do procesu orientacji punktów NSL jest korzystne z dwóch powodów. Po pierwsze, zastosowanie punktów o znanych współrzędnych zapewni większą dokładność orientacji. Po drugie, dzięki temu uniknie się problemu transformacji układów współrzędnych w celu integracji danych pozyskanych z obydwu źródeł. Przyjęto, że dokładność orientacji obrazów wideo jest w przybliżeniu równa terenowej rozdzielczości modelu geometrycznego. Rozdzielczości terenowe w płaszczyźnie XY ( XY) oraz wzdłuż kierunku fotografowania Z ( Z) zostały obliczone na podstawie poniższych wzorów [21]: H XY = p, (7) f
Integracja danych z Naziemnego Skaningu Laserowego i danych obrazowych... 47 gdzie: H Z = XY, (8) B XY rozdzielczość terenowa modelu w płaszczyźnie XY; Z rozdzielczość terenowa modelu wzdłuż kierunku fotografowania Z; f odległość obrazowa; δp rozdzielczość zdjęcia; H odległość fotografowania; B baza. Dokładność orientacji w płaszczyźnie XY dla obiektów Wnęka budynku i Kula wynosi odpowiednio 6 mm i 5 mm. Dokładność orientacji w kierunku fotografowania Z dla obydwu obiektów jest dużo niższa i wynosi 68 mm dla obiektu Wnęka budynku i 22 mm dla obiektu Kula. Tabela 3 Dokładność orientacji obrazów wideo dla obiektu Wnęka budynku Wnęka budynku stereopara B [m] H [m] B/H XY [m] Z [m] 1-2 1,614 9,909 0,16 0,0067 0,0409 2-3 0,914 10,122 0,09 0,0068 0,0755 3-4 2,287 11,054 0,21 0,0074 0,036 4-2 0,540 8,031 0,07 0,0054 0,0804 5-6 0,525 9,143 0,06 0,0062 0,1071 średnia 0,006 0,068 σ 0 0,001 0,023 Dokładność orientacji obrazów wideo dla obiektu Kula Tabela 4 Kula stereopara B [m] H [m] B/H XY [m] Z [m] 1-2 2,155 8,932 0,24 0,0060 0,0249 2-3 0,885 7,317 0,12 0,0049 0,0407 3-4 0,850 6,365 0,13 0,0043 0,0321 4-5 1,110 5,595 0,20 0,0038 0,0190 średnia 0,005 0,022 σ 0 0,001 0,009
48 P. Deliś 4.4. Generowanie modelu 3D obiektów architektonicznych z obrazów wideo Podstawą techniki automatycznego generowania modelu 3D jest cyfrowa korelacja obrazów. W celu wygenerowania modeli 3D obiektów zastosowano jedną z metod powierzchniowych cyfrowej korelacji obrazów metodę LSM (ang. Least Square Matching). Metoda powierzchniowa, oparta na algorytmach analizy sygnału, poszukuje charakterystycznych wartości lub różnic sygnałów, np. gęstości optycznych pikseli. Korelacja badana jest w dwóch oknach: pierwotnym i poszukiwawczym. Metoda LSM, opracowana przez Förstnera [22], polega na iteracyjnym znajdowaniu takiego położenia okna i jego wielkości, aby suma kwadratów różnic gęstości optycznych pikseli w oknie na obrazie pierwotnym i poszukiwawczym osiągnęła wartość minimalną. VV = min, (9) Vij = ri rj, (10) gdzie: r i gęstość optyczna pikseli na obrazie pierwotnym; r j gęstość optyczna pikseli na obrazie poszukiwawczym. Dokładność metody LSM zależy od tekstury obrazów i może osiągać nawet 1/50 piksela [3]. Metoda ta może jednak okazać się nieskuteczna w przypadku wystąpienia szumów na analizowanych obrazach. W oparciu o metodę cyfrowej korelacji obrazu wygenerowano Numeryczne Modele Obiektów w formacie TIN, z oczkiem siatki wynoszącym 2 cm. Następnie, na podstawie wygenerowanych modeli, utworzono chmury punktów, w których punktami były wierzchołki TIN. Aby chmury punktów wygenerowane z obrazów wideo były bardziej czytelne, wykorzystano teksturę pochodzącą z obrazów wideo. Rys. 5. Numeryczny Model Obiektu Wnęka budynku w formacie TIN: a) model bez tekstury; b) model z nałożoną teksturą
Integracja danych z Naziemnego Skaningu Laserowego i danych obrazowych... 49 Rys. 6. Wnęka budynku: uzupełnienie chmury punktów z NSL (kolor zielony) o chmurę punktów wygenerowaną na podstawie obrazów wideo (kolor czerwony) Rys. 7. Numeryczny Model Obiektu Kula w formacie TIN: a) model bez tekstury; b) z nałożoną teksturą Rys. 8. Obiekt kula : uzupełnienie chmury punktów z NSL (kolor zielony) o chmurę punktów wygenerowaną na podstawie obrazów wideo (kolor czerwony) 5. Analiza dokładności chmur punktów wygenerowanych z obrazów wideo Analizę dokładności chmur punktów wygenerowanych z obrazów wideo wykonano na podstawie punktów o znanych współrzędnych pochodzących z NSL.
50 P. Deliś Analizie dokładności zostały poddane wybrane, wspólne fragmenty obiektów, które zostały pomierzone metodami NSL i wideo. Badanie dokładności chmury punktów wideo przeprowadzono zarówno dla powierzchni płaskich, jak w przypadku obiektu wnęka budynku, gdzie analizie zostały poddane znajdujące się pod oknami fragmenty ścian, jak również dla powierzchni o zróżnicowanym kształcie, tj. łuk znajdujący się pod obiektem kula. Rys. 9. Wybrane fragmenty obiektów, dla których przeprowadzono analizę dokładności: A fragment ściany nr 1; B fragment ściany nr 2; C łuk W celu przeprowadzenia analizy dokładności dla wybranych fragmentów obiektów (obiekty A, B i C), na podstawie uzyskanych chmur punktów wygenerowano Numeryczne Modele Powierzchni w formacie GRID, o oczku równym 5 cm. Następnie na ich podstawie wygenerowano modele różnicowe, odejmując od modelu powierzchni wygenerowanego z chmury punktów z danych wideo model powierzchni wygenerowany na podstawie chmury punktów z NSL. Dla uzyskanych w ten sposób modeli różnicowych wykonano mapy warstwicowe, obrazujące odchyłki pomiędzy modelami 3D powierzchni wybranych fragmentów obiektów wygenerowanych z danych NSL i wideo. Analizę porównawczą modeli 3D powierzchni wybranych fragmentów obiektów wygenerowanych z danych wideo względem modeli 3D wygenerowanych z danych NSL przedstawia poniższa tabela. Analiza porównawcza modeli 3D wygenerowanych z danych NSL i wideo Tabela 5 Obiekt Wnęka budynku Kula fragment ściany nr 1 fragment ściany nr 2 łuk średnia 0,041 m 0,065 m 0,044 m max 0,246 m 0,239 m 0,427 m σ 0 0,037 m 0,044 m 0,057 m
Integracja danych z Naziemnego Skaningu Laserowego i danych obrazowych... 51 Rys. 10. Mapy warstwicowe ilustrujące różnice pomiędzy modelami 3D powierzchni wygenerowanymi dla wybranych fragmentów obiektów, tj.: a) dla fragmentu ściany nr 1; b) dla fragmentu ściany nr 2; c) dla łuku 6. Podsumowanie Na podstawie przeprowadzonych badań można przyjąć, że dane wideo mogą być wykorzystywane do uzupełnienia danych z Naziemnego Skaningu Laserowego. Jednakże, należy przy tym pamiętać, że na dokładność Numerycznego Modelu Obiektu generowanego z obrazów wideo, którego wierzchołki mogą stanowić punkty uzupełniające chmurę punktów NSL, mają wpływ następujące czynniki: 1) Na etapie kalibracji kamery wideo: stałość elementów orientacji wewnętrznej kamery, rodzaj testu kalibracyjnego. 2) Podczas filmowania obiektu: zachowanie stałości kątowych elementów orientacji zewnętrznej, zachowanie stałej odległości od obiektu,
52 P. Deliś prędkość, z jaką porusza się kamera w celu uniknięcia rozmazania obrazów wideo, dostateczne oświetlenie obiektu, rozdzielczość obrazów wideo. 2) W procesie orientacji obrazów: zachowanie odpowiedniego stosunku bazowego pomiędzy klatkami wideo, liczba i rozmieszczenie fotopunktów. 3) W procesie automatycznej korelacji obrazów: wykorzystana metoda korelacji obrazów, tekstura obrazów wideo, kształt obiektu. Ponadto, w celu uzyskania Numerycznego Modelu Obiektu charakteryzującego się jak największą dokładnością, niezbędna jest manualna edycja modelu, polegająca na usunięciu błędnie wygenerowanych punktów. W najbliższej przyszłości planowane są kolejne badania, których celem będzie zwiększenie dokładności modelu 3D generowanego z danych wideo. Artykuł wpłynął do redakcji 10.07.2012 r. Zweryfikowaną wersję po recenzji otrzymano w październiku 2012 r. LITERATURA [1] J. Jachimski, Fotogrametryczna inwentaryzacja obiektów zabytkowych, Archiwum Fotogrametrii, Kartografii i Teledetekcji, 7, Kraków, 1997. [2] M. Kędzierski, P. Walczykowski, A. Fryśkowska, Wybrane aspekty opracowania dokumentacji architektonicznej obiektów zabytkowych, Archiwum Fotogrametrii, Kartografii i Teledetekcji, 18a, Międzyzdroje, 2008. [3] F. Remondino, S. El-Hakim, A. Gruen, L. Zhang, Turning images into 3-D models Development and performance analysis of image matching for detailed surface reconstruction of heritage objects, IEEE Signal Processing Magazine, 25(4), 2008, 55-65. [4] M. Kędzierski, P. Walczykowski, A. Fryśkowska, Aspekty pozyskiwania danych z naziemnego skaningu laserowego, Biul. WAT, 59, 2, 2010. [5] M. Kędzierski, A. Fryśkowska, M. Wilińska, Naziemny skaning laserowy obiektów inżynieryjno-drogowych, Biul. WAT, 59, 2, 2010. [6] J.M. Frahm, M. Pollefeys, B. Clipp, D. Gallup, R. Raguram, C. Wu, C. Zach, 3D Reconstruction of architectural scenes from uncalibrated video sequences, 3D Virtual Reconstruction and Visualization of Complex Architectures (3D-ARCH), 2008. [7] W. Hansen, U. Thönnessen, U. Stilla, Detailed relief modeling of building facades from wideo sequences, The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 35 B3, 2004, 967-972. [8] Y. Tian, M. Gerke, G. Vosselman, Q. Zhu, Knowledge based building reconstruction from terrestrial video sequences, ISPRS Journal of Photogrammetry and Remote Sensing, 65 (4), 2010, 395-408.
Integracja danych z Naziemnego Skaningu Laserowego i danych obrazowych... 53 [9] D. Gonzalez-Aguilera, P. Rodriguez-Gonzalvez, J. Gomez-Lahoz, Camera and Laser Robust Integration in Engineering and Architecture Applications, Sensor Fusion and its Applications, Ciza Thomas, InTech, 2010, 115-151. [10] P. Rönnholm, E. Honkavaara, P. Litkey, H. Hyyppä, J. Hyypp, Integration of laser scanning and photogrammetry, IAPRS, 36, Part 3/W52, 2007. [11] B. Mitka, A. Rzonca, Integration of photogrammetric and 3d laser scanning data as a flexible and effective approach for heritage documentation, 3D Virtual Reconstruction and Visualization of Complex Architecture, Trento, 2009. [12] S. El-Hakim, J.A. Beraldin, M. Picard, G. Godin, Detailed 3D Reconstruction of Large-Scale Heritage Sites with Integrated Techniques, IEEE Computer Graphics and Applications, 2004. [13] I. Puente, H. González-Jorge, P. Arias, J. Armesto, Land-based mobile laser scanning systems: A review, ISPRS Archives, 38-5/W12, 2011. [14] V. Balis, S. Karamitsos, I. Kotsis, Ch. Liapakis, N. Simpas, 3D-Laser Scanning: Integration of Point Cloud and CCD Camera Video Data for the Production of High Resolution and Precision RGB Textured Models: Archaeological Monuments Surveying Application in Ancient Ilida, FIG Working Week: The Olympic Spirit in Surveying, Ateny, 2004. [15] M. Nagai, T. Chen, A. Ahmed, R. Shibasaki, UAV Borne Mapping by Multi Sensor Integration, The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, ISPRS Congress, Beijing, 37 (B1), 2008, 1215-1221. [16] S. Bauer, A. Luber, R. Reulke, Evaluation of Camera Calibration Approaches for Video Image Detection Systems, The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, ISPRS Congress, Beijing, 37 (B1), 2008, 5-11. [17] M. Pollefeys, R. Koch, L. Van Gool, Self-Calibration and Metric Reconstruction in spite of Varying and Unknown Internal Camera Parameters, International Journal of Computer Vision, 32(1), 1999, 7-25. [18] J.R. Fulton, C.S. Fraser, Automated Reconstruction of Buildings Using a Hand Held Video Camera, Innovations in Remote Sensing and Photogrammetry, Part 3, 2009, 393-404. [19] E.M. Mikhail, J.S. Bethel, J.C. McGlone, Introduction to Modern Photogrammetry, John Wiley & Sons, 2001, 123. [20] T. Luhmann, S. Robson, S. Kyle, I. Harley, Close Range Photogrammetry: Principles, Techniques and Applications, Whittles Publishing, Irlandia, 2006. [21] Topcon, Podręcznik do oprogramowania Image Master, 2007. [22] W. Förstner, On the geometric precision of digital correlation, International Archives of Photogrammetry and Remote Sensing, 26 (3), 1982, 150-166. P. DELIŚ Integration of Terrestrial Laser Scanning data with image data acquired by a video camera Abstract. In a paper, a method of complement Terrestrial Laser Scanning (TLS) data with a set of points from video data is proposed. The method can be useful when an object has not been fully scanned. The paper contains a complete description of a process of creating 3D models of objects on the basis of video images. In the paper, a new algorithm of automatic video frames selection for the model 3D creating is proposed. As distinct from other techniques, the proposed method uses a video camera with the fixed focal length. In order to assess the accuracy of the developed 3D models of measured objects, points with known coordinates from Terrestrial Laser Scanning were used. The accuracy
54 P. Deliś analysis relied on subtracting of the 3D surface models in a GRID form which had been extracted from TLS and video data. The accuracy analysis showed that the accuracy of 3D models generated from video images is about 4 cm for flat surfaces (for measured objects: 3.7 cm and 4.4 cm), and 5.7 cm for an object with complicated shape. Keywords: photogrammetry, data integration, video, Terrestrial Laser Scanning, 3D model