Analiza w czasie rzeczywistym ruchu kamery wzglêdem sceny na podstawie analizy wektorów ruchu

Transkrypt

1 AUTOMATYKA 2005 Tom 9 Zeszyt 3 Marek Zachara * Analiza w czasie rzeczywistym ruchu kamery wzglêdem sceny na podstawie analizy wektorów ruchu 1. Wprowadzenie Jednym z celów robotyki jest skonstruowanie autonomicznych jednostek, które zdolne bêd¹ poradziæ sobie w rzeczywistym otoczeniu. W tym celu musz¹ one zidentyfikowaæ obiekty znajduj¹ce siê w swoim s¹siedztwie. Dla ludzi podstawowym zmys³em wykorzystywanym do tego celu jest wzrok, poniewa dostarcza on nam najwiêkszej iloœci informacji. Analogicznie, w przypadku robotów bardzo wiele istotnych informacji mo na uzyskaæ z sygna³u kamery zainstalowanej na poruszaj¹cym siê robocie. Analiza obrazu dostarczonego z poruszaj¹cej siê kamery jest jednak zadaniem nietrywialnym. Wynika to z faktu, e w takiej sytuacji w zasadzie nie istniej¹ sta³e punkty odniesienia, wed³ug których mo na porównywaæ kolejne klatki. W przypadku analizy obrazu ze stacjonarnej kamery opracowano wiele technik, jak choæby opisane w [7], jednak wiêkszoœæ z nich nie mo e byæ zastosowana w omawianym przypadku. Ka dy ruch kamery wzglêdem sceny powoduje zmiany w praktycznie ka dym punkcie ramki. Obrót kamery wzglêdem pionowej osi mo na na ogó³ przybli yæ liniowym przesuniêciem ca³ej ramki, natomiast ruch do przodu lub do ty³u mo na ju tylko opisaæ za pomoc¹ przekszta³cenia nieliniowego (elementy blisko brzegu pola widzenia bêd¹ siê przemieszczaæ szybciej ni oddalone od niego, elementy w centrum obrazu ulegaj¹ powiêkszeniu lub pomniejszeniu). Niniejszy artyku³ opisuje podejœcie do analizy ruchu kamery wzglêdem otoczenia oparte na idei wektorów ruchu (motion vectors). Wektory ruchu s¹ podstawow¹ koncepcj¹ wykorzystywan¹ przy kompresji wideo MPEG [3, 4]. Wektory te okreœlaj¹ przemieszczenia wybranych fragmentów obrazu pomiêdzy kolejnymi klatkami. Powsta³y nawet aplikacje pozwalaj¹ce na odtworzenie ruchu kamery na podstawie danych strumienia wideo MPEG [6]. Choæ w przypadku kompresji strumienia wideo nie ma znaczenia, czy ruch elementu obrazu zostanie rzeczywiœcie dobrze opisany (a jedynie, czy pozwoli to na zredukowanie iloœci danych), to jednak idea ta po pewnych modyfikacjach dobrze nadaje siê do opisu przedstawionego zagadnienia. * Akademia Górniczo-Hutnicza, Kraków; mzachara@agh.edu.pl 499

2 500 Marek Zachara W celu zapewnienia przetwarzania obrazu w czasie rzeczywistym, najistotniejszym zagadnieniem jest wykorzystanie algorytmów, które zapewni¹ uzyskanie odpowiednio wysokiej liczby przetwarzanych ramek na sekundê (frame rate). Wbrew pozorom nie jest to tylko tautologia. Im mniejsza liczba przetwarzanych ramek na sekundê, tym wiêkszy wzglêdny ruch obiektów na scenie. Przy sta³ej prêdkoœci poruszania siê kamery wektor ruchu obiektu bêdzie dwa razy wiêkszy dla dwukrotnie mniejszej prêdkoœci przetwarzania ramek. Wymusza to z kolei czterokrotne poszerzenie zakresu poszukiwania wektora ruchu, a zatem czêsto czterokrotne zwiêkszenie iloœci obliczeñ. Aby zapewniæ efektywne i szybkie przetwarzanie strumienia obrazu, zaproponowano algorytm polegaj¹cy na wyodrêbnieniu z ka dej ramki najbardziej charakterystycznych (zró nicowanych) obszarów, których dopasowanie na kolejnej ramce bêdzie obarczone nisk¹ stop¹ b³êdu. Niewielki rozmiar ka dego z takich obszarów pozwala na znaczne zredukowanie obliczeñ i precyzyjne ich dopasowanie. Z kolei du a liczba obszarów pozwala na stworzenie ogólnej mapy wektorów ruchu obrazu. Na podstawie tej mapy obliczany jest nastêpnie ruch kamery wzglêdem obserwowanej sceny. 2. Wybór obszarów Wybór obszarów do porównania na kolejnych klatkach jest kluczowy dla uzyskania precyzyjnych i wiarygodnych wyników koñcowych. Obszar o niewielkim zró nicowaniu, w szczególnoœci np. jednolita powierzchnia, nie nadaje siê do porównywania na dwóch kolejnych klatkach z tego wzglêdu, e na ogó³ prowadziæ bêdzie do b³êdnego dopasowania. Znane s¹ ró ne techniki wyboru takich obszarów, np. bazuj¹ce na cechach charakterystycznych (features) jak np. podane w [2], jednak ze wzglêdu na za³o enia szybkoœci przetwarzania zdecydowano siê na prost¹ dyskretn¹ wersjê pochodnej przestrzennej jasnoœci punktów obrazu. Najbardziej po ¹dane obszary to takie, które zawieraj¹ wiele ró norodnych szczegó- ³ów, najlepiej zaœ krawêdzie pomiêdzy obszarami o ró nej jasnoœci. W celu zlokalizowania takich obszarów, dla ka dej klatki liczona jest zmiana wartoœci jasnoœci pomiêdzy s¹siednimi punktami obrazu w pionie i poziomie, wed³ug nastêpuj¹cego wzoru 1 dxy (, ) = ( pxy (, ) px ( + 1, y) + pxy (, ) pxy (, + 1) ) (1) 2 gdzie: d(x, y) wartoœæ okreœlaj¹ca zró nicowanie otoczenia punktu o wspó³rzêdnych x, y, p(x, y) wartoœæ luminancji punktu o wspó³rzêdnych x, y. Nastêpnie pierwotna klatka obrazu dzielona jest na pola o ustalonej wielkoœci i dla ka dego takiego pola liczona jest uœredniona wartoœæ zmiennoœci przestrzennej punktów obrazu 1 t r k = d( x, y) (2) ( y y )*( x x ) = = t b r l y yb x xl y x

3 Analiza w czasie rzeczywistym ruchu kamery gdzie: k uœredniona wartoœæ zmiennoœci danego obszaru; d(x, y) wartoœæ okreœlaj¹ca zró nicowanie otoczenia punktu o wspó³rzêdnych x, y; y t, y b, x r, x l parametry okreœlaj¹ce granice obszaru (odpowiednio: górn¹, doln¹, praw¹, lew¹). W ten uzyskujemy informacje o obszarach charakteryzuj¹cych siê najwiêksz¹ zmiennoœci¹ jasnoœci, co pozwala wybraæ je do dalszego przetwarzania i obliczenia mapy wektorów ruchu Dyskryminacja s¹siednich obszarów Aby zapobiec sytuacji skupienia wybranych obszarów w jednym miejscu analizowanej klatki, wprowadzono dodatkow¹ regu³ê do opisanego wy ej algorytmu wybieraj¹cego, polegaj¹c¹ na zmniejszeniu atrakcyjnoœci obszarów znajduj¹cych siê w bezpoœrednim s¹siedztwie wybranego. Dziêki temu uda³o siê uzyskaæ bardziej równomierny rozk³ad, pozwalaj¹cy na wiarygodn¹ budowê mapy wektorów ruchu. Wynik dzia³ania tego algorytmu mo na zobaczyæ na rysunku 1. Jak widaæ, algorytm efektywnie dobiera rozk³ad analizowanych obszarów do istniej¹cej sceny. Rys. 1. Przyk³ad dzia³ania algorytmu dokonuj¹cego wyboru obszarów 3. Dopasowanie obszarów z dwóch klatek Wybór sposobu dopasowania obszarów na kolejnych klatkach jest kluczowy dla uzyskania odpowiedniej wydajnoœci ca³ego procesu. Jak wykaza³ profiling, procedura ta zajmuje od 50 90% ca³ego czasu przetwarzania. Poszerzenie zakresu przeszukiwania, jak

4 502 Marek Zachara by³o to ju wspomniane wczeœniej, zwiêksza wyk³adniczo liczbê operacji, z drugiej strony pozwala jednak prawid³owo rozpoznaæ znacznie szybsze ruchy sceny a zarazem zmniejszyæ liczbê b³êdów. W celu ograniczenia liczby operacji przy jednoczesnym zachowaniu du ego pola przeszukiwania, zastosowano metodê wielokrotnych przybli eñ (tzw. piramidkê) opisan¹ m.in. w [1] i [5]. Polega to na dopasowaniu regionu w kilku skalach (poczynaj¹c od najmniejszej). W najmniejszej skali (przyk³adowo pomniejszenie 16 ) przeszukiwany i dopasowywany jest ca³y obszar, natomiast potem kolejno w wy szych skalach przeszukiwanie odbywa siê jedynie w otoczeniu wektora ruchu znalezionego w skali ni szej. Dziêki temu w wy szych skalach dokonywane jest jedynie 9 przeszukañ najbli szego s¹siedztwa. Zmniejsza to istotnie iloœæ niezbêdnych operacji i pozwala na zwiêkszenie efektywnoœci ca³ego procesu. Koñcowym efektem tego etapu przetwarzania jest uzyskanie listy sk³adaj¹cej siê z wektorów ruchu dla ka dego z wybranych obszarów. Wizualizacja tych wektorów zosta³a przedstawiona na rysunku 2. Taki sposób analizy obrazu jest okreœlany w literaturze jako optical flow. Rys. 2. Wizualizacja wektorów ruchu dla przypadku ruchu kamery na wprost z równoczesnym lekkim obrotem w lewo 4. Korekcja dopasowania mapa ci¹g³oœci W przypadku analizy statycznej sceny, mo na zastosowaæ dodatkowy mechanizm, który pozwoli na zwiêkszenie dok³adnoœci i wiarygodnoœci procesu odtworzenia ruchu kamery. Mechanizm ten, nazwany przez autora map¹ ci¹g³oœci opiera siê na za³o eniu, e w przypadku statycznej sceny przemieszczenie ka dego obszaru pomiêdzy kolejnymi

5 Analiza w czasie rzeczywistym ruchu kamery klatkami jest zbli one do przemieszczenia obszarów s¹siaduj¹cych. Oczywiœcie dopuszczalne s¹ ró nice, jednak wektory ruchu s¹siednich obszarów s¹ podobne co do wartoœci i kierunku. Wychodz¹c z tego za³o enia, w kolejnym kroku przetwarzania dla ka dego obszaru, dla którego obliczony zosta³ wektor ruchu, wybierane zostaj¹ najbli ej po³o one s¹siednie obszary, a nastêpnie porównywane s¹ ich wektory ruchu. Ostateczny wektor ruchu dla danego obszaru uwzglêdnia z odpowiednimi wagami pierwotnie wyliczony wektor ruchu, jak równie wektory ruchu wybranych s¹siadów 1 r r r r c = wo* vo + wn* vi wo r* w + n i= 1 (3) gdzie: c wynikowy wektor ruchu badanego obszaru, v o pierwotnie znaleziony wektor ruchu badanego obszaru, r liczba branych pod uwagê s¹siednich obszarów, v i wektor ruchu danego s¹siedniego i-tego obszaru, w 0 waga wektora ruchu danego obszaru, w n waga s¹siednich wektorów ruchu. Jak wykaza³y doœwiadczenia, wykorzystanie tej metody pozwala skutecznie dyskryminowaæ wektory ruchu bêd¹ce wynikiem b³êdnego dopasowania obszaru na s¹siednich klatkach w efekcie zwiêkszaj¹c spójnoœæ ca³ej mapy wektorów ruchu. Dobre efekty doœwiadczalne uzyskano dla czterech s¹siednich obszarów przy w s = 3 i w s = Obliczanie ruchu kamery Uzyskana mapa wektorów jest ostatecznie analizowana w celu okreœlenia ruchu kamery. Ocena obejmuje trzy podstawowe mo liwe przemieszczenia: 1) przód/ty³, 2) obrót lewo/prawo, 3) obrót góra/dó³. Przy zastosowaniu opisanej techniki mo liwe jest te ³atwe okreœlenie rotacji kamery wzglêdem osi optycznej, choæ dotychczas nie by³o to wykorzystywane. Ocena ruchu odbywa siê poprzez dopasowanie wektorów ruchu do odpowiednich wzorców. Dla przyk³adu: wektory ruchu skierowane w lewo w lewej czêœci klatki i w prawo w prawej czêœci klatki, ze wzrostem wartoœci wektorów w miarê oddalania od centrum oznaczaj¹ ruch kamery w przód. Wspó³rzêdna pozioma uœrednionego wektora wszystkich wektorów ruchu okreœla obrót kamery lewo/prawo itp. W celu obliczenia bezwzglêdnych wartoœci ruchu kamery (tj. w centymetrach czy stopniach) niezbêdne jest przeprowadzenie doœwiadczeñ i kalibracji wspó³czynników dla konkretnego zastosowanego sprzêtu.

6 504 Marek Zachara Wp³yw bowiem na to ma wiele czynników, m.in.: rozdzielczoœæ, wielkoœæ matrycy, d³ugoœæ ogniskowej. 6. Podsumowanie W niniejszej pracy przedstawiony zosta³ sposób dynamicznego doboru obszarów porównywania kolejnych ramek wideo, pozwalaj¹cy na osi¹gniêcie du ej prêdkoœci przetwarzania przy zachowaniu wysokiej precyzji analizy. Przedstawiony proces oceny ruchu kamery pozwala³ w doœwiadczeniach praktycznych na osi¹gniêcie stabilnych i wiarygodnych wyników. Szczególnie zastosowanie du ej iloœci ma³ych obszarów dopasowywanych niezale nie (jak na rys. 1) pozwoli³o podnieœæ jakoœæ procesu ze wzglêdu na zminimalizowanie wp³ywu pojedynczych b³êdnych dopasowañ. Wybór ma³ych obszarów pozwala na uwzglêdnienie rotacji kamery wed³ug dowolnej osi poniewa przy du ej szybkoœci przetwarzania, a co za tym idzie ma³ych zmianach po³o enia elementów sceny oraz przy niewielkim rozmiarze dopasowywanych elementów, ka dy z tych ruchów mo e byæ z dobrym przybli eniem potraktowany jako przemieszczenie liniowe. Pozwala to na unikniêcie czasoch³onnych obliczeñ zwi¹zanych z przekszta³ceniem nieliniowym. Aktualnie dalsze prace przy wykorzystaniu opisanego algorytmu s¹ skoncentrowane na odtworzeniu g³êbi przestrzeni (3D) za pomoc¹ analizy wektorów ruchu poszczególnych elementów obrazu wzglêdem kamery. Literatura [1] Burt P.J. et al.: The Laplacian pyramid as a compact image code. IEEE Trans. Commun., vol. COM-31, 1983, [2] Espiau F. et al.: Robust features tracking for robotic applications. personnel/malis/papers/malis_icra-02_tr.pdf [3] ISO Coding of Moving Pictures and Associated Audio (MPEG1) [4] ISO Generic Coding of Moving Pictures and Associated Audio (MPEG2) [5] Minh N. Do. et al.: Framing Pyramids. IEEE Trans. On Signal Processing, vol. 51, No. 9, 2003 [6] Pilu M.: On Using Raw MPEG Motion Vectors To Determine Global Camera Motion. HP Laboratories Bristol, 1997, [7] Viet H. et al.: Recognition of Motion in Depth by a Fixed Camera. Proc. 7th Digital Image Computing: Techniques and Applications, Sydney, 2003