Szybka metoda wektoryzacji krawêdzi odcinkami w czasie rzeczywistym

Transkrypt

1 AUTOMATYKA 2006 Tom 10 Zeszyt 3 Marek Zachara* Szybka metoda wektoryzacji krawêdzi odcinkami w czasie rzeczywistym 1. Wprowadzenie Przedstawiony w niniejszej pracy algorytm wektoryzacji obrazu powsta³ w wyniku prac nad aplikacj¹ zdoln¹ w czasie rzeczywistym analizowaæ i interpretowaæ obserwowan¹ scenê. Aplikacja taka by³aby bowiem u yteczna do konstrukcji samodzielnych robotów zdolnych do poruszania siê w nieznanym dok³adnie terenie (np. hala magazynowa). Jednym z podstawowych problemów zwi¹zanym z tworzeniem takiej aplikacji jest wielkoœæ strumienia danych, który musi byæ przetworzony. Osi¹gniêcie wiêkszej precyzji analizy wymaga na ogó³ zwiêkszenia rozdzielczoœci przetwarzanych ramek obrazu a co za tym idzie, wielokrotnego zwiêkszenia iloœci danych na ka d¹ ramkê. O ile w przypadku obrazów statycznych nie rodzi to powa nych problemów, to inaczej jest w przypadku przetwarzania rzeczywistego strumienia wideo. Na przyk³ad, czterokrotne zwiêkszenie rozdzielczoœci wzd³u ka dej z osi (poziomej i pionowej) powoduje 16-krotne zwiêkszenie strumienia danych. Porównywanie dwóch klatek (np. pod k¹tem przesuniêcia) powoduje dalszy wyk³adniczy wzrost liczby koniecznych obliczeñ. W rezultacie okazuje siê, e przy du ej rozdzielczoœci obrazu, wielu operacji nie da siê wykonaæ w czasie rzeczywistym nawet przy zastosowaniu maszyn wieloprocesorowych. Poniewa wzrost szybkoœci obliczeniowej komputerów nie jest wystarczaj¹cy do skompensowania w przewidywalnym czasie kilku lat wymagañ obliczeniowych takich procesów, niezbêdne jest opracowanie algorytmów, które zredukuj¹ stopieñ z³o onoœci problemu, b¹dÿ te znacz¹ce zmniejszenie strumienia danych przy zachowaniu istotnej informacji [1]. Wektoryzacja jest ogólnie metod¹ przekszta³cenia informacji wizyjnej w struktury przestrzenne oparte na zbiorach odcinków (a czasem równie powi¹zane z nimi tekstury), pozwalaj¹ce dokonaæ zadowalaj¹cej rekonstrukcji treœci obrazu przy jednoczesnej istotnej redukcji danych. Wekotryzacja niestety jest procesem z³o onym prezentowana jednak w niniejszym artykule metoda pozwala na szybk¹ wektoryzacjê rzeczywistego strumienia danych, którego Ÿród³em jest kamera wideo. * Katedra Automatyki, Akademia Górniczo-Hutnicza w Krakowie; mzachara@agh.edu.pl 427

2 428 Marek Zachara Istniej¹ce implementacje algorytmów wektoryzacji s¹ na ogó³ œciœle zwi¹zane z wykonywanym zadaniem, co wynika z faktu, i jest to proces nie tylko bardzo z³o ony obliczeniowo, ale i niejednoznaczny (istnieje zwykle wiele mo liwoœci skonstruowania zbioru wektorów dla danego obrazu rastrowego). Istniej¹ce implementacje obejmuj¹ najczêœciej wektoryzacjê rysunków technicznych [7], pisma [6] oraz zdjêæ i grafik komputerowych [9]. Istniej¹ te metody wektoryzacji w oparciu o bazê wiedzy (co wymaga znajomoœci wektoryzowanych obiektów) [10]. Dobry przegl¹d technik wektoryzacji mo na te znaleÿæ w [8] oraz [11]. Wszystkie te metody maj¹ jednak podstawow¹ wadê nastawione s¹ na wektoryzacjê statycznych obrazów. Podstawowym priorytetem jest wysoka jakoœæ odwzorowania wektorowego, przy niewielkiej wadze przywi¹zywanej do czasu przetwarzania. Choæ czêœæ z tych metod osi¹ga rezultaty kilku kilkunastu sekund na jeden wektoryzowany obraz, nie jest to akceptowalne w przypadku zastosowañ do przetwarzania w czasie rzeczywistym. St¹d te powsta³a potrzeba opracowania metody, która nawet kosztem mniejszej dok³adnoœci bêdzie w stanie realizowaæ szybk¹ wektoryzacjê obrazu z kamery. 2. Opis metody Przedstawiona poni ej metoda wektoryzacji sk³ada siê z trzech podstawowych etapów: 1. detekcji krawêdzi, 2. aproksymacji krótkimi odcinkami, 3. ³¹czenia krótkich odcinków le ¹cych wzd³u jednej prostej oraz posiadaj¹cych wspólne punkty w jeden d³u szy odcinek. Taki podzia³ operacji jest wymuszony zastosowanym algorytmem, którego konstrukcja sprawia, e znacznie spada wydajnoœæ w przypadku ograniczenia restrykcji poszukiwania wektorów (co by³oby niezbêdne do znajdywania d³u szych odcinków) Przetwarzanie wstêpne Pierwszym etapem przetwarzania jest akwizycja obrazu. W celu zapewnienia p³ynnoœci procesu i zredukowania liczby utraconych ramek, stosowane jest podwójne buforowanie kolejnych ramek obrazu. W zale noœci od warunków oœwietleniowych korzystne mo e byæ zastosowanie metod poprawienia kontrastu. Wskazane jest w takim przypadku zastosowanie szybkich metod np. równowa enia histogramu [2]. Poniewa metoda ta wymaga tylko dwóch odczytów na jeden piksel ramki, nie powoduje zauwa alnego zmniejszenia szybkoœci ca³ego procesu. Przyk³ad dzia³ania tej metody zosta³ zaprezentowany na rysunku 1. Poprawa kontrastu z regu³y zwiêksza skutecznoœæ wydzielania krawêdzi z ramki obrazu, choæ konkretny wp³yw na przetwarzanie zale y od wybranego algorytmu detekcji krawêdzi.

3 Szybka metoda wektoryzacji krawêdzi odcinkami w czasie rzeczywistym Detekcja krawêdzi Rys. 1. Wstêpna obróbka obrazu wyrównanie histogramu Kolejnym krokiem przetwarzania, wci¹ przy zachowaniu rastrowej struktury danych ramki, jest wykorzystanie algorytmu detekcji krawêdzi. Istnieje mo liwoœæ wykorzystania ró nych rozwi¹zañ w zale noœci od potrzeb i przetwarzanej sceny. Dobre porównanie rezultatów dzia³ania popularnych algorytmów mo na znaleÿæ w [3]. Dla celów wektoryzacji przedstawionej w niniejszym artykule zosta³ wybrany algorytm Canny [4] ze wzglêdu na dobr¹ ci¹g³oœæ wynikowych krawêdzi oraz akceptowalny poziom artefaktów w wynikowym obrazie. Rezultat dzia³ania tego algorytmu mo na zaobserwowaæ na rysunku 2. Rys. 2. Rezultat dzia³ania algorytmu detekcji krawêdzi

4 430 Marek Zachara Detekcja krawêdzi ogranicza iloœæ przetwarzanych danych zgodnie z intencj¹ przedstawion¹ na pocz¹tku artyku³u, w dalszym ci¹gu jednak rezultatem jej dzia³ania jest rastrowy komplet pikseli (choæ zredukowany do binarnego zakresu). Aby efektywnie interpretowaæ informacjê znajduj¹c¹ siê w obrazie, niezbêdna jest wektoryzacja czyli zamiana informacji rastrowej (to jest informacji o jasnoœci ka dego punktu) na wektory, czyli odcinki okreœlone przez pocz¹tek i koniec w kartezjañskiej przestrzeni ramki obrazu Wektoryzacja Proces zamiany informacji rastrowej na wektorow¹ nie jest trywialny ze wzglêdu na zmianê sposobu reprezentacji danych, a tak e na fakt, e przekszta³cenie to jest niejednoznaczne tj. w szczególnoœci mo e istnieæ wiele reprezentacji wektorowych odpowiadaj¹cych jednej reprezentacji rastrowej. Wieloœæ mo liwych reprezentacji wektorowych wynika m.in. z faktu, i ka dy wektor mo e byæ w niej reprezentowany jako suma mniejszych wektorów. Nie jest to po ¹dane z punktu widzenia dalszego wykorzystania informacji, niemniej mo e byæ rezultatem dzia³ania algorytmu wektoryzacji. Prezentowany algorytm opiera siê czêœciowo na idei kodu Freemana i metodzie œledzenia krawêdzi [5] tj. znajdywania przebiegu linii poprzez wyszukiwanie kolejnych zapalonych pikseli w s¹siedztwie aktualnie przetwarzanego. Œledzenie rozpoczyna siê od znalezienia punktu, który nie nale y do adnego skonstruowanego ju wektora. Tworzony jest wektor zerowy v o wspó³rzêdnych pocz¹tku i koñca znajduj¹cych siê w punkcie startowym r x0, y o v = x0, y 0 gdzie: x 0, y 0 wspó³rzêdne x i y punktu pocz¹tkowego, v budowany wektor. (1) Tworzona jest te dodatkowa tablica p, w której zapisywane s¹ wspó³rzêdne punktów wchodz¹cych w sk³ad konstruowanego wektora. Tabela p dla n punktów wygl¹da nastêpuj¹co {(, ),(, ),..., (, )} p = x0 y0 x1 y1 xn yn (2) gdzie: p tabela zawieraj¹ca wspó³rzêdne punktów buduj¹cych wektor v, x n, y n wspó³rzêdne n-tego punktu w tabeli. Nastêpnie algorytm przeszukuje najbli sze s¹siedztwo punktu koñca wektora v, szukaj¹c zapalonych punktów. W przypadku znalezienia takiego punktu, konstruowany jest hipotetyczny wektor v h r x0, yo vh = xh, y h (3)

5 Szybka metoda wektoryzacji krawêdzi odcinkami w czasie rzeczywistym 431 Przed konstruowaniem tego wektora sprawdzane jest, czy punkt x h, y h nie nale y ju do tablicy p. W takiej sytuacji wektor ten jest odrzucany i procedura nie jest kontynuowana. Dziêki temu unikniêto zagro enia zapêtlenia poprzez ci¹g³e dopisywanie tych samych punktów do konstruowanego wektora. Wektor v h jest nastêpnie testowany na zgodnoœæ z istniej¹c¹ tablic¹ p. Innymi s³owy, sprawdzane jest, czy ka dy punkt znajduj¹cy siê w tablicy p nie jest oddalony od wektora v h bardziej ni predefiniowane dopuszczalne odchylenie d max. y0 y dla : h y0 y 1; h < *( px( n) px(0)) + py(0) py( n) < dmax x0 xh x0 xh pn ( ) y dla : 0 yh x 1; 0 xh *( py( n) py(0)) px(0) px( n) d + < max x0 xh y0 y h (4) gdzie: x 0, y 0 wspó³rzêdne x i y punktu pocz¹tkowego, x n, y n wspó³rzêdne n-tego punktu w tabeli, p(n) n-ty punkt z tabeli p, p x (n) wspó³rzêdna x n-tego punktu z tabeli p, p y (n) wspó³rzêdna y n-tego punktu z tabeli p. Jeœli dla danego wektora v h wszystkie dotychczasowe punkty tablicy p spe³niaj¹ okreœlone wy ej kryterium, wektor v h jest przyjmowany za prawid³owy i s³u y za podstawê do dalszej rozbudowy o kolejne punkty. Jednoczeœnie wspó³rzêdne punktu x h, y h s¹ dodawane do tablicy p. Procedura wyszukiwania kolejnego s¹siedniego zapalonego punktu jest nastêpnie powtarzana rekurencyjnie. Po osi¹gniêciu stanu, gdzie nie jest mo liwe dodanie kolejnego punktu do konstruowanego wektora, jest on zwracany i nastêpuje poszukiwanie kolejnego wektora w innym miejscu obrazu. Dziêki temu rozwi¹zaniu, algorytm zapewnia elastycznoœæ poszukiwania odcinków dopuszczaj¹c pewne odchylenia punktów od idealnej prostej co jest niezbêdne choæby ze wzglêdu na dyskretny charakter po³o enia punktów, ale równie ogranicza poszukiwania do punktów le ¹cych w okreœlonym obszarze marginesu wzd³u budowanego wektora. Dobór wspó³czynnika d max ma istotne znaczenia dla efektywnoœci dzia³ania algorytmu. Wspó³czynnik ma³y (d max < 0,5) spowoduje szybkie dzia³anie algorytmu, jednoczeœnie generuj¹c w rezultacie du ¹ liczbê krótkich wektorów, o d³ugoœci kilku punktów. Zwiêkszenie wspó³czynnika d max do ok. 0,8 0,9 powoduje zwiêkszenie d³ugoœci wyszukiwanych wektorów jednak przy zauwa alnym wzroœcie czasu przetwarzania. Dla d max > 1 algorytm mo e przestaæ funkcjonowaæ poprawnie, ze wzglêdu na fakt wyszukiwania wszystkich mo liwych kombinacji tras, czyli permutacji tabeli p tworz¹cej kolejne wektory v h. W implementacji doœwiadczalnej najlepsze wyniki da³ model kombinowany, w którym pocz¹tkowo przyjmowane jest d max = 0,5, a w trakcie budowy wektora, gdy jego d³ugoœæ osi¹gnie 4 punkty d max, jest zwiêkszany do wartoœci 0,85. Jak by³o to opisane wczeœniej, procedura budowy wektora kontynuuje poszukiwania nowych punktów mo liwych do w³¹czenie do wektora do czasu, a nie uda siê znaleÿæ

6 432 Marek Zachara nowych. W takiej sytuacji wektor jest zwracany. Procedura szuka zaœ w ramach obrazu kolejnego punktu, który móg³by s³u yæ za pocz¹tek wektora. Istotnym elementem tego procesu jest sposób wyboru punktów startowych oraz zapewnienie, aby nie by³y one wielokrotnie u ywane. W tym celu konstruowana jest kopia oryginalnego obrazu (ramki). Na kopii tej szukane s¹ punkty startowe wybierany jest pierwszy zapalony punkt. Jednak po znalezieniu wektora wszystkie punkty, które go tworzy³y (zapisane w tablicy p), s¹ z tej kopii oryginalnego obrazu usuwane. Dziêki temu punkty, które ju stanowi¹ czêœæ utworzonych wektorów, nie bêd¹ wykorzystywane jako startowe dla poszukiwania nowych. Warto zwróciæ uwagê, e rozwi¹zanie to nie uniemo liwia wykorzystania tych samych punktów przez ró ne wektory co mo e mieæ miejsce np. w sytuacji, gdy linie przecinaj¹ siê. Poniewa szukanie punktów w ramach rozbudowy wektora v h odbywa siê na oryginalnej ramce obrazu, wszystkie punkty s¹ tam obecne. Usuwaj¹c jednak z puli punktów startowych (czyli tych, od których zaczyna siê tworzenie wektorów) punkty, które ju zosta³y wykorzystane przy budowie poprzednich wektorów, eliminujemy redundancjê w wynikowej grupie wektorów. Rezultat dzia³ania opisanego algorytmu zosta³ zaprezentowany na rysunku 3. Rys. 3. Rezultat dzia³ania algorytmu wektoryzacji 3. Podsumowanie Przedstawiony algorytm dobrze radzi³ sobie z przetwarzaniem ró nego rodzaju rzeczywistych scen. Wyniki dzia³ania dla przyk³adowych obrazów zosta³y zamieszczone w tablicy 1.

7 Szybka metoda wektoryzacji krawêdzi odcinkami w czasie rzeczywistym 433 Tablica 1 Wyniki dzia³ania algorytmu wektoryzacji na rzeczywistych obrazach Przyk³adowa ramka obrazu z kamery Obraz po wektoryzacji Rozk³ad liczby znalezionych wektorów dla wszystkich d³ugoœci 1: 58 2: 948 3: : 640 5: 385 6: 240 7: 77 8: 32 9: 36 1: 79 2: : : 624 5: 240 6: 120 7: 21 8: 8 9: 18 1: 126 2: : : : 615 6: 210 7: 63 8: 8 9: 0 10: 50 11: 44 12: 36 13: 52 14: 14 15: 0 16: 0 17: 34 18: 0 10: 0 11: 0 12: 0 13: 0 14: 0 15: 0 16: 0 17: 0 18: 0 10: 10 11: 1 12: 11 13: 0 14: 14 15: 0 16: 0 17: 0 18: 0 Jak widaæ, rezultatem dzia³ania by³o na ogó³ wektorów na ramkê, niezale nie od analizowanej sceny. Znalezione wektory mia³y w przewa aj¹cej liczbie d³ugoœæ od 2 do 6 pikseli co wynika z charakteru stosowanego algorytmu i za³o onego ograniczenia d max. D³u sze wektory s¹ znajdowane tylko w przypadku, gdy s¹ zorienotwane dok³adnie pionowo lub poziomo wzglêdem ramki obrazu. Warunkiem skutecznego dzia³ania algorytmu by³o dostarczenie dobrego jakoœciowo sygna³u wejœciowego z kamery (odpowiednie oœwietlenie, niski poziom szumu). Bior¹c pod uwagê wielkoœæ ramki obrazu ( ), uzyskane kilka tysiêcy wektorów oznacza prawie 50-krotn¹ redukcjê informacji, co oczy-

8 434 Marek Zachara wiœcie u³atwia dalsz¹ analizê obrazu. Wydajnoœæ algorytmu równie by³a zadowalaj¹ca wiêkszoœæ czasu przetwarzania zajmowa³a detekcja krawêdzi przez algorytm Canny. O ile samo wykorzystanie tego algorytmu pozwala³o osi¹gn¹æ wynik na poziomie 6 ramek na sekundê, to wektoryzacja z zastosowaniem przedstawionego algorytmu redukowa³a go do przeciêtnie 4 5 ramek na sekundê. Wad¹ algorytmu jest niew¹tpliwie ograniczenie d³ugoœci wyszukiwanych odcinków. W dalszym etapie prac planowane jest jednak poprawienie tych rezultatów przez odpowiednie ³¹czenie znalezionych wektorów. ¹czenie to bêdzie szczególnie efektywne jeœli uda siê poprawnie zinterpretowaæ niewielkie (np. jedno pikselowe) nieci¹g³oœci. Literatura [1] Zachara M.: Real time object tracking and recognition. MSc Thesis, University of Bristol, England, 1998 [2] Reinhardt J.: Histogram equalization. Equalization.htm [3] Heath M. et al.: Comparision of edge detectors. [4] Parker J.R.: Algorithms for Image Processing and Computer Vision. Wiley Computer Publishing, USA, 1997, [5] Klette R., Zamperoni P.: Handbook of Image Processing Operators. Wiley & Sons Ltd., Chichester, England, 1996, [6] Gribov A., Bodansky E.: Vectorization with the Vornoi L-diagram. Seventh International Conference on Document Analysis and Recognition ICDAR2003 [7] Song J., Su F., Tai C., Cai S.: An object-oriented progressive-simplification based vectorization system for engineering drawings: model, algorithm and performance. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(8), August 2002, [8] Wenyin L., Dov Dori D.: Extracting Visual Information from Line Drawings. utah.edu/~tch/notes/wang/raster.pdf [9] Battiato S., Puglisi G., Impoco G.: Vectorialisation of Raster Colour Images. unict.it/iplab/administrator/users/pubblicazioni/conference/gdc_06.pdf [10] Delalandare M., Saidali Y., Ogier J., Trupin E.: Vectorisation System Based on Strategic Knowledge and XML Representation. Workshop on Graphics Recognition (GREC), 2003, [11] Tombre K., Ah-Soon C., Dosch P., Masini G, Tabbone S.: Stable and robust vectorization: How to make the right choices. Lecture Notes in Computer Science, 1941, 2000, 3 17