Kalibracja kamery. Kalibracja kamery

Transkrypt

1 Cel kalibracji Celem kalibracji jest wyznaczenie parametrów określających zaleŝności między układem podstawowym a układem związanym z kamerą, które występują łącznie z transformacją perspektywy oraz parametrów związanych z kamerą i układem optycznym. Parametry kamery Ogólnie parametry wyznaczane w procedurze kalibracji kamery dzieli się na dwie grupy: parametry zewnętrzne (ang. Extrinsic) związane z przesunięciem i rotacją układu kamery względem układu związanego z obserwowaną sceną parametry wewnętrzne (ang. Intrinsic) określające właściwości optyczne i elektryczne kamery, których liczba zaleŝy od przyjętego modelu układu optycznego i kamery W przypadku parametrów wewnętrznych oprócz ogniskowej obiektywu modeluje się zazwyczaj zniekształcenia radialne i styczne związane z układem optycznym. Wyznacza się równieŝ rzeczywiste współrzędne środka obrazu kamery, które nie muszą leŝeć w geometrycznym środku matrycy przetwornika ze względu na skrzywienie osi optycznej obiektywu oraz zniekształcenia liniowe. 1 Podstawowy model kamery perspektywicznej Dla podstawowego modelu kamery, punkty z przestrzeni trójwymiarowej rzutowane są na płaszczyznę przetwornika kamery zgodnie z transformacją perspektywiczną, która wynika z fizykalnego sposobu tworzenia obrazu w kamerze 2

2 Transformacja perspektywiczna w ujęciu współrzędnych jednorodnych Niech współrzędne punktu w przestrzeni kartezjańskiej reprezentuje wektor, co w postaci jednorodnej moŝna zapisać jako, gdzie jest dowolną niezerową stałą. Macierz transformacji perspektywicznej moŝna zapisać jako Wektor współrzędnych jednorodnych odpowiadający punktowi we współrzędnych obrazowych moŝna zapisać w następujący sposób Dla danych jednorodnych współrzędnych obrazowych współrzędne kartezjańskie punktu wyznacza się przez podzielenie pierwszych trzech elementów przez czwarty 3 Odwrotna transformacja perspektywiczna odwzorowuje punkt obrazu z powrotem do przestrzeni trójwymiarowej zgodnie z zaleŝnością Prowadzi to do następujących zaleŝności na współrzędne punktu w przestrzeni trójwymiarowej na podstawie jego rzutu na obrazie Na podstawie pojedynczego obrazu, bez pewnej wiedzy na temat obserwowanej sceny, np. składowej Z punktów, nie moŝna w pełni wyznaczyć punktu w przestrzeni trójwymiarowej na podstawie jego współrzędnych w układzie obrazowym. Dlatego teŝ w celu wyznaczenia pełnej informacji o połoŝeniu punktów w przestrzeni trójwymiarowej często stosuje się np. stereowizyjny układ kamer 4

3 Transformacje między układem podstawowym a układem kamery Macierz transformacji jednorodnej określa przesunięcie między układem podstawowym a układem kamery i jest wyraŝona jako 5 Macierz transformacji jednorodnej, związana z rotacją układu podstawowego względem układu kamery, złoŝona jest z trzech rotacji elementarnych dla jednej z moŝliwych kombinacji kątów Eulera. Przykładowo dla reprezentacji kątów Eulera obrotu wokół osi układu podstawowego w notacji RPY (ang. roll, pitch, yaw) Przyjmując równanie transformacji jednorodnej moŝna zapisać jako 6

4 Na podstawie współrzędnych kartezjańskich punktów w układzie kamery pierwszy, drugi oraz czwarty element wektora moŝna zapisać jako Uwzględniając powyŝsze zaleŝności otrzymuje się w rezultacie układ dwóch równań liniowych z 12 niewiadomymi postaci PowyŜsza procedura kalibracji kamery wymaga zatem określenia minimum 6 punktów o znanych współrzędnych w układzie podstawowym oraz odpowiadających im punktów na płaszczyźnie obrazu w układzie kamery. Uzyskany układ równań rozwiązuje się z uŝyciem metod numerycznych. Nie uwzględnia on zniekształceń optycznych jak równieŝ nie umoŝliwia bezpośrednio wyznaczenia fizycznych parametrów kamery. 7 Model kamery typu pin-hole Często stosowanym modelem kamery w kalibracji jest model typu otworkowego (ang. pinhole), w którym następuje rzutowanie z przestrzeni trójwymiarowej na płaszczyznę obrazu zgodnie z transformacją perspektywiczną z dodatkową rotacją o w płaszczyźnie obrazu. W modelu tym układ związany z kamerą ma początek w ognisku, którego oś pokrywa się z osią optyczną. Układ współrzędnych obrazowych, umieszczony jest przed ogniskiem w odległości ogniskowej zamiast, co daje ten sam efekt co rotacja o w płaszczyźnie obrazu. Uzyskuje się w ten sposób teoretyczny model kamery, który w praktyce nie istnieje, ale jest prostszy w analizie. 8

5 Dla modelu kamery pin-hole moŝna zapisać następujące zaleŝności między połoŝeniem punktu w układzie kamery a jego rzutem na płaszczyznę obrazu we współrzędnych obrazowych Współrzędne obrazowe punktu są współrzędnymi znormalizowanymi tylko względem współrzędnej punktu w układzie kamery, co stanowi dogodniejszą postać w porównaniu do samej transformacji perspektywicznej W sytuacji, gdy układ podstawowy nie jest identyczny z układem kamery, przed rzutowaniem punktu na płaszczyznę obrazu, naleŝy dokonać transformacji związanej z rotacją i przesunięciem z układu podstawowego do układu kamery gdzie macierz określa rotację a wektor przesunięcie, które oznaczają parametry zewnętrzne kamery 9 Zniekształcenia optyczne w modelu kamery J. Heikkila, O. Silven, A Four-step Camera Calibration Procedure with Implicit Image Correction, Proceedings of the 1997 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, str J.Y. Bouguet, Camera Calibration Toolbox for Matlab, Zniekształcenia toru optycznego zazwyczaj modeluje się zwykle jako radialne, styczne (tangensowe) oraz liniowe. Zniekształcenia radialne powodują przesunięcie współrzędnych na obrazie w sposób promienisty i mają decydujący wpływ na dokładność pomiarów. MoŜna je aproksymować za pomocą równania gdzie są współczynnikami zniekształcenia radialnego,. Zwykle stosuje się od jednego do trzech współczynników, co wystarcza do kompensacji zniekształceń tego rodzaju. 10

6 Zniekształcenia styczne, które są prostopadłe do radialnych, wynikają z faktu, iŝ środki krzywizny soczewek obiektywu nie zawsze są dokładnie współliniowe. Modeluje się je za pomocą następującego wyraŝenia gdzie i są współczynnikami zniekształceń stycznych Zniekształcenia liniowe mogą być opisane za pomocą pojedynczego współczynnika krzywizny. Powstają gdy osie układu obrazowego nie są idealnie prostopadłe do siebie. Na wartość błędu wprowadzanego przez zniekształcenia liniowe ma wpływ precyzja wykonania przetwornika zastosowanego w kamerze 11 Parametry wewnętrzne modelu kamery z uwzględnieniem zniekształceń Uwzględniając w modelu kamery zniekształcenia, moŝna podać następujące parametry wewnętrzne do procedury kalibracji: dwuelementowy wektor długości ogniskowej, którego elementy są liniową zaleŝnością ogniskowej kamery i współczynników wynikających z przeliczenia rozmiaru pikseli w obu osiach z jednostek metrycznych do obrazowych, wyraŝony w pikselach dwuelementowy wektor, zawierający rzeczywiste współrzędne połoŝenia środka rzutowania punktów na obrazie, tzw. punktu głównego współczynnik krzywizny zniekształceń liniowych, który określa kąt skręcenia pomiędzy osiami pikseli w kierunku poziomym i pionowym na matrycy pięcioelementowy wektor zniekształceń, zawierający współczynniki zniekształceń radialnych i stycznych, gdzie 12

7 Rzeczywiste współrzędne punktu w układzie obrazowym z uwzględnieniem parametrów wewnętrznych Znormalizowane współrzędne punktu w układzie obrazowym Dla wprowadzonych parametrów wewnętrznych oraz znormalizowanych współrzędnych obrazowych punktu rzeczywiste współrzędne punktu z uwzględnieniem równań określających zniekształcenia radialne i styczne moŝna zapisać jako Wektor jest wektorem zniekształceń stycznych postaci 13 Uwzględniając wektor ogniskowej kamery, faktyczne połoŝenie środka obrazu i współczynnik krzywizny, współrzędne punktu w układzie obrazowym moŝna przedstawić jako PowyŜsze zaleŝności przedstawia się często w postaci równania macierzowego gdzie macierz jest tzw. macierzą kamery postaci Elementy macierzy oraz wektora zniekształceń naleŝy wyznaczyć w procedurze kalibracji kamery razem z parametrami zewnętrznymi 14

8 Procedury kalibracji kamery Większość metod kalibracji rozwiązuje problem kalibracji w dwóch etapach, odnosząc się do metody Tsai, w której pierwszy raz zaproponowano dwuetapową procedurę kalibracji. W pierwszym etapie metodami liniowymi znajduje się przybliŝone rozwiązanie, które wykorzystuje się w drugim etapie jako warunek początkowy do optymalizacji nieliniowej. Dzięki dekompozycji zagadnienia na dwa etapy uzyskuje się przyspieszenie obliczeń w procedurze kalibracji przy jednoczesnym zwiększeniu dokładności w porównaniu do metod klasycznych uwzględniających zniekształcenia. KaŜda metoda kalibracji wymaga znajomości serii punktów w przestrzeni oraz współrzędnych ich rzutów na płaszczyznę obrazu. Ze względu na sposób określania punktów w przestrzeni techniki kalibracji moŝna typowo podzielić na trzy kategorie: Pierwsza opiera się na trójwymiarowym obiekcie referencyjnym, którego kształt i wymiary są znane z duŝą precyzją. Odmianą takiego podejścia jest uŝycie wzorca płaskiego ze znaną zmianą połoŝenia podczas wyznaczania punktów do kalibracji Drugi sposób wywodzi się z obserwacji wzorca płaskiego umieszczanego w róŝnych połoŝeniach względem kamery. Nie jest tu jednak potrzebna znajomość pozycji wzorca a jedynie rozmieszczenie punktów na wzorcu Trzecia kategoria określana jest samokalibracją, w której nie uŝywa się Ŝadnego obiektu, którą przeprowadza się na podstawie odpowiadających sobie punktów z obrazów rejestrowanych podczas ruchu kamery obserwującej statyczną scenę 15 Wzorzec do kalibracji z dowiązanym układem współrzędnych oraz punktami kalibracyjnymi 16

9 Rozkład zniekształceń radialnych oraz stycznych Kamera VISTEK SVS 084MSCL + obiektyw PENTAX H612A Zniekształcenia radialne Zniekształcenia styczne 17 Zadanie odwrotne Rozwiązanie zadania odwrotnego umoŝliwia realizację korekcji zniekształceń na obrazie, reprojekcji punktów z układu obrazowego i dalej wykonywanie pomiarów metrycznych w układzie podstawowym przy znanych przekształceniach związanych z rotacją i przesunięciem. Zadanie odwrotne polega na wyznaczeniu wektora współrzędnych punktu znormalizowanych na podstawie współrzędnych obrazowych piksela, przy znajomości parametrów modelu kamery. Ze względu na nieliniowy charakter transformacji związanej ze zniekształceniami modelu kamery, nie moŝna podać ogólnego algorytmu rozwiązującego zagadnienie odwrotne! MoŜna znaleźć szereg propozycji, które opierają się na metodach gradientowych lub jakobianowych. Dla wprowadzonego modelu zniekształceń radialnych i stycznych znormalizowane współrzędne punktu moŝna wyznaczyć w następującej procedurze 1. Dla współrzędnych obrazowych piksela wyznaczyć początkowe współrzędne znormalizowane wektora jako 18

10 2. obliczyć wektor zniekształceń stycznych oraz współczynnik zniekształceń radialnych jako 3. obliczyć nowe współrzędne znormalizowane 4. powtarzać kroki przyjętą ilość razy lub badać czy błąd dopasowania jest mniejszy od załoŝonego, błąd dopasowania moŝna wyznaczyć jako 19 Model stereowizyjnego układu dwóch kamer - dysparycja 20