JANUSZ SZPYTKO, PAWEŁ HYLA ODWZOROWANIE PRZESTRZENI ROBOCZEJ ŚRODKA TRANSPORTU TECHNOLOGICZNEGO Z UŻYCIEM UKŁADU WIZYJNEGO MATERIAL HANDLING DEVICES WORK SPACE MAPPING WITH DYNAMIC VISION SYSTEM S t r e s z c z e n i e A b s t r a c t Przedmiot artykułu stanowi próba syntetycznego zebrania wiedzy z zakresu rozwoju technik pozyskiwania obrazu 3D przy pomocy pojedynczego urządzenia rejestrującego obraz. W artykule przedstawiono także koncepcję systemu pozyskiwania możliwie pełnej informacji o przestrzeni roboczej środka transportu bliskiego na przykładzie fizycznego modelu laboratoryjnej suwnicy pomostowej i jego przestrzeni roboczej. Słowa kluczowe: mapa przestrzeni roboczej, system wizyjny, stereowizja The object of statement is an attempt of synthetic collecting the knowledge about acquiring 3D data form 2D image. The paper summarizes the methods of use single camera for the possibility of obtain the 3D information about work space of material handling devices, especially double girder bridge crane. The described methods was tested on the physical model of laboratory bridge crane. Keywords: work space mapping, vision systems, stereovision Prof. Dr hab. inż. Janusz Szpytko, mgr inż. Paweł Hyla, Katedra Systemów Wytwarzania, Wydział Inżynierii Mechanicznej i Robotyki, Akademia Górniczo-Hutnicza im. Stanisława Staszica.
506 Oznaczenia B, d RL odległość między osiami optycznymi kamer, dysparycja f p ogniskowa kamery wyrażona w pikselach współrzędna środka obrazu, przez którą przechodzi oś kamery x 0 1. Wstęp Ewolucja systemów skanowania przestrzennego wykorzystujących interferometrię jest ściśle związana z rozwojem informatyki, techniki komputerowej oraz optoelektronikki [17]. W latach sześćdziesiątych ubiegłego wieku do rejestracji obrazów prążkowych wykorzystywano aparaty fotograficzne kliszowe, a do ich analizy tak zwane densytometry. Pierwsze publikacje omawiające możliwość zastąpienia kliszy fotograficznej matrycami fotodiod, pojawiają się dopiero na przełomie lat osiemdziesiątych dwudziestego wieku [1]. Jedne z pierwszych skonstruowanych układów światłoczułych, dyskretyzujących sygnał napięciowy pozyskany przy pomocy fotodiody, kodują obraz w rozdzielczości maksymalnej wynoszącej zaledwie 32 32 pikseli z 6-bitowym poziomem jasności. Istotnym w rozwoju było opracowanie standardów kodowania obrazu dla telewizji analogowej. Systemy kodowania obrazu i koloru dla potrzeb przesyłania transmisji telewizyjnych (CCIR, PAL, NTSC, SECAM, RS-170 oraz inne) [9], umożliwiły przenoszenie obrazów i uzyskanie rozdzielczości przestrzennej wynoszącej 512 512 pikseli z jednoczesnym rozróżnieniem 256 poziomów jasności (standard używany aktualnie). Dotychczasowe metody przetwarzania interferometrycznego obrazu prążkowanego można podzielić na metody intensywnościowe (pasywne) oraz metody fazowe (aktywne). Metody pasywne analizują interferogram bez jakichkolwiek modyfikacji, natomiast w metodach aktywnych czynnie modyfikuje się fazę analizowanego obrazu prążkowanego. Niezależnie od metod pasywnych i aktywnych w literaturze prezentowane są nowe koncepcje, jak przykładowo interferometria herodynowa [20] realizowana w całym polu widzenia, wymagająca kamer wspomaganych sprzętowo do bardzo szybkiej akwizycji danych z wstępnym przetworzeniem tzw. inteligentnych układów kamerowych (ang. smart camera) oraz cyfrowa interferometria holograficzna wymagająca kamer o wysokiej rozdzielczości [12]. W artykule przedstawiono sposoby identyfikacji przestrzeni roboczej [16, 18, 19] środków transportu technologicznego oraz pozyskania informacji na temat potencjalnych przeszkód w niej się znajdujących z wykorzystaniem interferometrii i systemu wizyjnego składającego się z kamery wyposażonej w układy wstępnego przetwarzania obrazu oraz układów umożliwiających jej przemieszczanie. 2. Odwzorowanie obiektów typu 3D z zastosowaniem układów wizyjnych W praktyce znanych jest wiele metod odwzorowywania trójwymiarowych obiektów z wykorzystaniem dwóch [10] lub trzech kamer [21]. Istotą wyróżnionych rozwiązań jest stereoskopowy obraz z perspektywą pozwalająca oceniać odległość do obiektu. Z punktu widzenia analizy obrazu pozyskanie dodatkowych informacji ze zdjęcia typu 2D jest również możliwe poprzez zastosowanie markerów sprzęgniętych z obrazem macierzystym.
507 Zastosowanie znaczników integrujących się z zarejestrowanym obrazem umożliwia pozyskanie obrazu trójwymiarowego z wykorzystaniem jednej stacjonarnej kamery. Pierwsze znane z publikacji (1930 r.) rozwiązania uzyskania efektu obrazu w układzie 3D wykorzystywały układ luster odpowiednio położeniowo skonfigurowanych i dających wyobrażenie o wymiarach geometrycznych przedmiotu niewidocznych z pierwszego planu dla obserwatora [5]. Kolejne prace skutkowały opracowaniem alternatywnych metod analizy obrazu łączących techniki fotogrametryczne oraz metody renderingu SFS (ang. Shape From Silhouette) oraz SFM (ang. Structure From Motion) [8], aktualnie używane w analizie zdjęć satelitarnych [2]. Współczesne metody wykorzystujące jedną kamerę w celach pozyskania obrazu typu 3D polegają na sprzęgnięciu rejestrowanego obrazu z zespołem skonfigurowanych przestrzennie markerów/ znacznikach w postaci: projekcji punktów laserowych (rys. 1) [3, 4], pasków (rys. 2) [13], naklejek (rys. 3.) [5], projekcji wzoru Moiré a (rys. 4) [15] oraz fizycznych wzorców długości (rys. 5) [6]. Rys. 1. Projekcja markerów w postaci siatki laserowej Fig. 1. Laser matrix projector Rys. 2. Projekcja markerów w postaci naprzemian ległych biało-czarnych pasów Fig. 2. Strip projector Rys. 3. Markery zintegrowane z obiektem (naklejki) Fig. 3. Markers integrated with scanned object (the stickers) Rys. 4. Projekcja wzoru Moiré na obrotowy przedmiot oświetlany lampą stroboskopową Fig. 4. Moiré strip and stroboscope effect
508 Rys. 5. System Tritop firmy GOM GmbH Fig. 5. Tritop measure system from GOM GmbH 3. Rejestracja przestrzeni roboczej środka transport technologicznego z użyciem inteligentnej maszyny Rejestrację cyfrową przestrzeni roboczej środka transportu technologicznego można realizować z zastosowaniem mobilnego układu wizyjnego obejmującego kamerę typu inteligentnego z opcją wstępnego przetwarzania obrazu oraz z możliwością zmiany położenia w przestrzeni roboczej [11]. Dla potrzeb odwzorowania przestrzeni roboczej fizycznego modelu laboratoryjnej suwnicy pomostowej o udźwigu Q = 150 kg zaproponowano koncepcję układu złożonego z inteligentnej kamery i markera w postaci linii laserowej (rys. 6) [16, 19]. Rys. 6. Projekcja markera w postaci linii laserowej Fig. 6. Laser line emitter as a marker Podczas akwizycji obrazu w pole widzenia kamery (a tym samym w rejestrowany obraz) zostaje wprowadzony znacznik w postaci linii laserowej (rys. 7a). Konstrukcja uchwytu inteligentnej kamery rejestrującej przemieszczający się znacznik (rys. 7b) umożliwia uzyskanie równoległości pomiędzy przestrzenią obrazową, a warstwami przestrzeni roboczej urządzenia stanowiącymi przestrzeń obiektu badań.
509 Rys. 7. Układ pomiarowy od lewej: a) znacznik laserowy na ładunku, b) sposób mocowania kamery na moście suwnicy Fig. 7. Measurement system from left: a) laser marker on the cargo, b) camera handle on the crane girder Zaistnienie powyższego warunku umożliwia pomiar wymiarów przedmiotu badań w przestrzeni roboczej w kierunkach osi x oraz y po wstępnym skalibrowaniu kamery. Uzyskanie wymiaru w kierunku osi z jest przeprowadzane w sposób pośredni przy użyciu wiązki laserowej (w postaci linii) przemieszczanej pod znanym kątem α. Zmierzona odległość w płaszczyźnie XOY pomiędzy załamanymi wiązkami laserowymi obserwowana z płaszczyzny obrazowej kamery, umożliwia wyznaczenie wysokości obiektu w funkcji trygonometrycznej kąta padania linii laserowej oraz odległości między rozproszonymi wiązkami. Najważniejsze zadanie systemu wizyjnego nadzorującego przestrzeń roboczą w trybie off-line polega na archiwizacji materiału video. Most suwnicy z zainstalowanym systemem wizyjnym wykonuje tak zwany przejazd inspekcyjny w celu pozyskania informacji dotyczących przestrzeni roboczej oraz znajdujących się obiektów. Pozyskane informacje wraz z danymi dotyczącymi gabarytów ładunku przeznaczonego do transportu mogą posłużyć, jako dane wejściowe do procedury projektowania bezkolizyjnej trajektorii ruchu/ przemieszczania ładunków pomiędzy zadanymi punktami. Ze względu na fakt, iż przestrzeń robocza środka transportowego jest dynamicznie zmienna, nadzorowanie jej w trybie off-line w niektórych przypadkach może okazać się niewystarczające lub mało skuteczne. Implementacja proponowanej architektury na potrzeby systemu działającego w trybie on-line, wymusza istotną zmianę w konfiguracji sprzętowej opisanego systemu. W systemie pasywnym kąt padania wiązki laserowej jest stały, tym samym parametry obiektywu kamery, od którego zależy kształt rejestrowanego obszaru są jednoznacznie zdeterminowane. W systemie działającym w trybie on-line jednym z głównych problemów stanowi sprzęgnięcie ruchów roboczych suwnicy (ruch mostu) wraz z fragmentem przestrzeni roboczej zarejestrowanym przez kamerę. W użytkowaniu suwnicy prędkość jazdy mostu jest zależna od wielu czynników. Tak więc przy zmiennej prędkości jazdy mostu konieczna jest automatyczna rekonfiguracja parametrów systemu nadzorowania wizyjnego (w tym kąta padania linii laserowej oraz ogniskowej obiektywu, ze względu na fakt iż w danej chwili czasu kamera może rejestrować jedynie fragment przestrzeni roboczej uzależniony od doboru parametrów technicznych) dopasowująca rozmiar skanowanego wycinka przestrzeni roboczej do aktualnej prędkości jazdy. Dobranie odpowiednich parametrów jest uzależnione od minimalnego przedziału czasu niezbędnego do podjęcia działań prewencyjnych w celu zapobiegania sytuacjom niebezpiecznym (pojawienie się przeszkody na trasie zaprojektowanej trajektorii
510 przemieszczanego ładunku). Na rysunku 8 przedstawiono symulację kształtowania się strefy czułości (definiowanej jako możliwy graniczny obszar omiatany wiązką laserową) w funkcji odległości od przeszkody oraz kąta α pod którym wiązka pada na obiekt. Rys. 8. Przebieg strefy czułości w zależności od odległości od obiektu i kąta padania linii laserowej α [ ] Fig. 8. Sensitivity zone in laser line angle and distance to target function α [ ] 4. Stereowizyjny system pozyskiwania informacji o przestrzeni roboczej z wykorzystaniem jednej kamery Stereowizja jest działem wiedzy wchodzącej w dział nauki poświeconej zagadnieniom widzenia komputerowego. Binokularne (stereoskopowe) widzenie komputerowe jest wzorowane na wykształconym w procesie ewolucji organizmów żywych (w tym i człowieka) systemie oceny perspektywy. W stereoskopowym systemie widzenia komputerowego para kamer usytuowana horyzontalnie względem siebie, rejestruje obraz w sposób podobny do ludzkiego systemu HBV (ang. Human Binocular Vision) [18]. Jedyna różnica polega na tym że obraz rejestrowany przez kamery umożliwia ich zmienne usytuowaniu względem siebie co pozwala pozyskać informacje na temat głębi w funkcji różnic determinujących rejestrowane obrazy (mapa dysparycji), które są odwrotnie proporcjonalne do odległości od obserwowanego przedmiotu. Tak więc stereowizja jest techniką wizyjną umożliwiającą wyznaczanie współrzędnych punktów 3D na podstawie obrazów, które mogą być wykonane przy użyciu jednego urządzenia pod warunkiem kontrolowanego (znanego) przesunięcia urządzenia (kamery) rejestrującego obraz. W celu uzyskania wzajemnie jednoznacznego odwzorowania współrzędnych przestrzeni (x, y, z) konieczna jest informacja o rzucie punktów przestrzeni na więcej niż jeden obraz [14]. Na rysunku 9 przedstawiono trzy punkty: P 1, P 2, P 3 reprezentujące wierzchołki odwzorowanej bryły w systemie stereoskopowym poprzez punkty p 1L, p 2L, p 3L w lewej kamerze oraz punkty p 1R, p 2R, p 3R w obrazie kamery prawej. W układzie kanonicznym odpowiadające sobie punkty w prawej i lewej płaszczyźnie obrazowej kamery są połączone tzw. liniami epipolarnymi [7].
511 Rys. 9. Odwzorowanie stereoskopowe Fig. 9. Stereovision system Linia epipolarna dla danego punktu w obrazie kamery prawej/ lewej jest linią będącą obrazem prostej wychodzącej z ogniska c L /c R i przechodzącą przez odpowiednie punkty p R /p L. W szczególnym przypadku układu kamer (w układzie kanonicznym) [14], liniami epipolarnymi są proste równoległe do osi x przechodzącej przez obraz kamery prawej i lewej. W specyficznym przypadku można rozważyć użycie jednej kamery przeznaczonej do akwizycji obrazu wyposażonej w układ mechaniczny umożliwiający przemieszczenie wzdłuż odcinka c L c R. Realizacja sformułowanego celu wykorzystuje mechanizmy urządzenia, którego przestrzeń roboczą należy nadzorować pod warunkiem doposażenia w czujniki impulsowo obrotowe pozwalające na weryfikację drogi członów wykonawczych: mostu oraz wciągarki przejezdnej (rys. 10) z zamocowanym urządzeniem rejestrującym obraz. Rys. 10. Rozmieszczenie czujników impulsowo-obrotowych oraz urządzenia rejestrującego obraz na fizycznym modelu laboratoryjnej suwnicy pomostowej Fig. 10. Encoder sensors and the image recorder on the physical model of the laboratory double girder bridge crane
512 Głównym problem rekonstrukcji obrazu typu 3D na podstawie obrazów stereowizyjnych jest rozwiązanie problemu odpowiedniości (ang. correspondence problem). Dla kanonicznego (przedstawionego) układu kamer problem ten ulega uproszczeniu, gdyż współrzędne y obrazów dowolnego punktu przestrzeni są sobie równe, y L = y R. Zatem zadanie poszukiwania punktu p L odpowiadającego punktowi p R można ograniczyć jedynie do linii wzdłuż jednego wiersza o znanej współrzędnej. Rozwiązaniem problemu odpowiedniości jest wyznaczenie obrazu dysparycji stanowiącego różnicę współrzędnych związanych z wzajemnym przesunięciem obrazów każdego punktu przestrzeni (x, y, z) w obu rejestrowanych obrazach. Przy obliczaniu dysparycji zakłada się, że jeden z obrazów jest obrazem odniesienia. Tak więc jeżeli danemu punktowi p R z obrazu odniesienia o współrzędnych (x R, y R ) odpowiada punkt p L z drugiego obrazu o współrzędnych (x L, y L ), gdzie y R = y L, to przesuniecie (dysparycja) między prawym, a lewym punktem jest równe zależności (1): d RL = x x (1) Dodatkowo pomiędzy parą punktów p L, p L i punktem P(x, y, z) przestrzeni można wyznaczyć współrzędne P(x, y, z), rejestrowane w obrazach obu kamer dla układu kanonicznego z wykorzystaniem wzorów (2): B x + x x B Bf x =, y =, z = 2( d ) d d L R ( R L 2 0 p (2) RL gdzie: B odległość między osiami optycznymi kamer, y y R = y L, d RL dysparycja dana wzorem (1), f p ogniskowa kamery wyrażona w pikselach, x 0 współrzędna środka obrazu, przez którą przechodzi oś kamery. Z zależności (2) wynika, że dysparycja stanowi kluczowy parametr rekonstrukcji obrazu trójwymiarowego. Znając przesuniecie obrazów punktu przestrzeni w obu obrazach wykonanych jedna kamerą ze znana ogniskową, można wyznaczyć tzw. głębię punktu. Dysponując komputerem o odpowiedniej mocy obliczeniowej, można obliczyć dysparycję dla każdego punktu obrazu i otrzymać tzw. gęstą mapę dysparycji [14], która stanowi odzwierciedlenie perspektywy przy pomocy pary zdjęć stereowizyjnych. RL RL 5. Wnioski Artykuł jest próbą syntetycznego zebrania wiedzy z zakresu rozwoju technik pozyskiwania obrazu typu 3D z użyciem pojedynczego urządzenia rejestrującego obraz. W artykule przedstawiono także koncepcję systemu pozyskiwania możliwie pełnej informacji o przestrzeni roboczej środka transportu bliskiego na przykładzie fizycznego modelu laboratoryjnej suwnicy pomostowej i jego przestrzeni roboczej. Nadzorowanie przestrzeni roboczej, zwłaszcza dla potrzeb zautomatyzowanych suwnic pomostowych, jest zagadnieniem złożonym. Pozyskiwanie materiału pomiarowego z wykorzystaniem metod wizyjnych może stanowić jedynie uzupełnienie dla alternatywnych
513 metod elektronicznego wyrażania przestrzeni roboczej wykorzystujących koherentne źródła światła strukturalnego, przykładowo skanerów laserowych. Dodatkowym utrudnieniem metrologicznym są zakłócenia środowiskowe, pochodzących od zanieczyszczeń (zapylone pomieszczenia), stopnia refleksyjności przeszkód (odbijanie pochłanianie światła) oraz od termoklin (mas powietrza o skrajnie różnych temperaturach) powodujących zjawisko płynięcia koherentnej wiązki (linii) światła laserowego. Tak więc niezbędne są dalsze badania umożliwiające zastosowanie metod wizyjnych dla potrzeb rzeczywistego odwzorowania przestrzeni roboczej dla potrzeb środków transportu technologicznego klasy WSUT (Wielkogabarytowe Szynowe Urządzenia Transportowe), do jakich zalicza się suwnice pomostowe. Praca naukowa finansowana ze środków budżetowych na naukę w latach 2008-2011 jako projekt badawczy. L i t e r a t u r a [1] B r u n i n g J.H., H e r r i o t D.R., G a l l a g h e r J.E., R o s e n f e l d D.P., W h i t e A.D., B r a n g a c c i o D.J., Digital wavefront measurement interferometr for testing optical surfaces and lenses. Appl. Opt., Vol. 13, 1974, 2693-2703. [2] d A n g e l o P., W ö h l e r Ch., Image-based 3D surface reconstruction by combination of photometric, geometric, and real-aperture methods, ISPRS Journal of Photogrammetry & Remote Sensing, Vol. 63, 2008, 297-321. [3] D i p a n d a A., W o o S., M a r z a n i F., B i l b a u l t J.M., 3-D shape reconstruction in an active stereo vision system using genetic algorithms, Pattern Recognition, Vol. 36, 2003, 2143-2159. [4] D i p a n d a A., W o o S., Towards a real-time 3D shape reconstruction using a structured light system, Pattern Recognition, Vol. 38, 2005, 1632-1650. [5] E i a n J., P o p p e l e R.E., A single-camera method for three-dimensional video imaging, Journal of Neuroscience Methods, Vol. 120, 2002, 65-83. [6] GOM GmbH., Measuring systems: Tritop, Optical Measuring Techniques, 6 pages, 2009. [7] H a r t l e y R., Z i s s e r m a n A., Multiple View Geometry in Computer Vision, Cambridge University Press, 2004. [8] J a g e r s a n d M., B i r k b e c k N., C o b z a s D., A Three-tier Hierarchical Model for Capturing and Rendering of 3D Geometry and Appearance from 2D Images, Proceedings of 3DPVT'08 the Fourth International Symposium on 3D Data Processing, Visualization and Transmission, 8 pages, Atlanta, 18 20 June, 2008. [9] J a v i d i B., O k a n o F., S o n J.Y. (eds.), Three-Dimensional Imaging, Visualization and Display, 2009. [10] L a n e a Ch., H a r r e l l W., Completing the 3-dimensional picture, American Journal of Orthodontics and Dentofacial Orthopedics, Vol. 133, No. 4, 2008, 612-620. [11] N i e m W., Automatic reconstruction of 3D objects using a mobile camera, Image and Vision Computing, Vol. 17, 1999, 125-134. [12] P a t o r s k i K. (red.), Interferometria laserowa z automatyczną analizą obrazu, Oficyna Wydawnicza Politechniki Warszawskiej, Warszawa 2005.
514 [13] R y c h l i k M., Skanery 3D wrota do wirtualnego świata, DESIGN VIEW Polska, kwiecień 2007, 36-40. [14] R z e s z o t a r s k i D., S t r u m i ł ł o P., P e ł c z y n s k i P., W i e c e k B., L o r e n c A., System obrazowania stereoskopowego sekwencji scen trójwymiarowych, Elektronika: prace naukowe, Nr 10, 2005, 165-184. [15] S u X., Z h a n g Q., Dynamic 3-D shape measurement method: A review, Optics and Lasers in Engineering, Article in Press, 14 pages, Elsevier, 2009. [16] S z p y t k o J., H y l a P., Material handling devices operation environment 3D-type presentation based on laser scanning systems, Journal of KONES, Vol. 17, No. 2, 2010, 451-458. [17] S z p y t k o J., H y l a P., Reverse engineering vision technique applying in transport systems, Journal of KONES Powertrain and Transport, Vol. 16, No. 3, Warsaw 2009, 395-400. [18] S z p y t k o J., H y l a P., Stereovision 3D type workspace mapping system architecture for transport devices, Journal of KONES, Vol. 17, No. 4, 2010, 495-504. [19] S z p y t k o J., H y l a P., Work space supervising for material handling devices with machine vision assistance, Journal of KONBiN, Safety and reliability systems, No. 3 4, Warsaw 2009, 7-16. [20] T k a c z y k T., J óźwicki R., Full-field heterodyne interferometer for shape measurement: experimental characteristics of the system, Optical Enginieering, Vol. 42, Issue 8, 2003, 2391-2399. [21] Y a s u s h i S., Y u t a k a I., F u m i a k i T., Robot-vision architecture for real-time 6-DOF object localization, Computer Vision and Image Understanding, Vol. 105, 2007, 218-230.