KALIBRACJA WIZYJNEGO SYSTEMU POZYCJONOWANIA PRZEDMIOTU OBRABIANEGO NA OBRABIARCE CNC

MODELOWANIE INŻYNIERSKIE n 46, ISSN 1896-771X KALIBRACJA WIZYJNEGO SYSTEMU POZYCJONOWANIA PRZEDMIOTU OBRABIANEGO NA OBRABIARCE CNC 1a Stefan Domek, 2b Miosław Pajo, 2c Maek Gudziński, 3d Kzysztof Okama, 1e Paweł Dwoak Zachodniopomoski Uniwesytet Technologiczny w Szczecinie 1 Kateda Automatyki Pzemysłowej i Robotyki 2 Instytut Technologii Mechanicznej 3 Kateda Pzetwazania Sygnałów i Inżynieii Multimedialnej e-mail: a stefan.domek@zut.edu.pl, b mioslaw.pajo@zut.edu.pl, c maek.gudzinski@zut.edu.pl, d kzysztof.okama@zut.edu.pl, e pawel.dwoak@zut.edu.pl Steszczenie W pacy pzedstawiono dedykowany układ pomiaowy do skanowania geometii pzedmiotu obabianego na obabiace CNC, wymagający jednak pecyzyjnego zoientowania skanea 3D względem maszynowego układu odniesienia obabiaki CNC. Pzedstawiono techniki kalibacji z użyciem wielobawnych tablic kalibacyjnych i świateł stuktualnych, jak też stosowane w kalibacji i skanowaniu metody geometyczne oaz techniki twozenia obazów do kalibacji z tzw. kamey witualnej. Ponadto pzedstawiono wpływ nieliniowej chaakteystyki wyświetlania pojektoa i sposoby jej kompensacji. CALIBRATION OF THE VISION BASED SYSTEM FOR POSITIONING THE WORKPIECES ON THE CNC MACHINE TOOLS Summay In the pape a dedicated measuement system fo the 3D geomety scanning of the wokpieces on the CNC machine tools is pesented, which equies a pecise knowledge about its elative position and oientation accoding to the efeence coodinate system of the CNC machine tool. We pesent the calibation methods based on the colou calibation pattens and stuctual light as well as some geometical methods used fo the calibation and scanning. Moeove, some methods applied fo the synthesis of images fom vitual cameas ae discussed as well as the influence of the nonlinea chaacteistics of the light pojectos and methods of its compensation. 21

KALIBRACJA WIZYJNEGO SYSTEMU POZYCJONOWANIA PRZEDMIOTU 1. WSTĘP Układy wizyjne do skanowania tójwymiaowego w ostatnich latach znajdują coaz szesze zastosowanie w óżnych dziedzinach techniki. Szczególny nacisk położony jest na uzyskiwanie coaz większych dokładności odtwazania tójwymiaowych modeli. Jednym z nowatoskich zastosowań tego odzaju technik wizyjnych jest ich integacja z obabiakami steowanych numeycznie. Rola systemu wizyjnego wykozystującego infomacje pozyskane z kame związana jest ze zlokalizowaniem pzedmiotu obabianego na stole maszyny CNC, dokładnym zeskanowaniem jego geometii oaz pzyjęciem bazy do obóbki bez konieczności manualnego pozycjonowania na stole obabiaki. Dodatkowo, poza automatycznym pozycjonowaniem pzedmiotów obabianych, dzięki wykozystaniu technik steeowizyjnych i obliczeń fotogametycznych możliwe są detekcja zmian położenia pzedmiotu oaz wykywanie kolizji nazędzia z pzedmiotem. pzemysłowej skaney 3D muszą być zdolne do pacy w niekozystnych waunkach podukcyjnych. Dobze pzygotowane algoytmy skanowania i pzetwazania obazów z kame muszą posiadać umiejętność automatycznego dobou paametów takich jak czas ekspozycji, czułość sensoa optycznego, watości pogowe jasności, ozpoznawanie i wyodębnianie z obazów infomacji istotnych oaz eliminacji zakłóceń i nieliniowości w zależności od odzaju oświetlenia. Pawidłowa paca układu skanującego, poza efektywnymi algoytmami, wymaga ównież pawidłowej i pecyzyjnej kalibacji, na któą składa się kompensacja zniekształceń toów optycznych kame i pojektoów, oaz ozpoznanie geometii ozmieszczeniaj podzespołów układu skanującego. Poces kalibacji wizyjnego systemu pozycjonowania pzedmiotów obabianych ma zatem na celu pzede wszystkim powiązanie elementów składowych Rys.1. Widok fagmentu stanowiska badawczego waz z tablicą kalibacyjną Wykozystując nowoczesne kamey, możliwe jest uzyskanie dokładności pozycjonowania zędu mikometów, co pozwolić może na całkowite wyeliminowanie czasochłonnego pozycjonowania za pomocą sond pomiaowych. Światło z natuy jest tudnym do jednoznacznego opisania zjawiskiem i istnieje szeeg czynników i zagadnień wpływających jednocześnie i bezpośednio na dokładność wyników skanowania. W paktyce systemu, tj. kame oaz pojektoów światła stuktualnego we wspólnym układzie współzędnych, któy może być następnie łatwo pzetansfomowany do układu efeencyjnego obabiaki. Służą do tego poceduy wyznaczania tzw. paametów zewnętznych kame oaz pojektoów, okeślających ich położenie w okeślonym układzie współzędnych. Waunkiem ich dokładnego okeślenia jest jednakże wcześniejsze wyznaczenie oaz skompensowanie tzw. 22

Stefan Domek, Miosław Pajo, Maek Gudziński, Kzysztof Okama, Paweł Dwoak paametów wewnętznych, chaakteyzujących układy optyczne kame oaz pojektoów światła stuktualnego wykozystywanych w systemie, dzięki czemu minimalizowany jest wpływ zniekształceń o chaakteze adialnym oaz zniekształceń stycznych wynikających głównie z niedoskonałości soczewek. Kolejnym istotnym elementem, mającym wpływ na dokładność kalibacji pojektoów, jest nieliniowość ich chaakteystyki, wynikająca z wbudowanej koekcji gamma stosowanej pzez poducentów. Choć ma to dobe uzasadnienie dla pezentacji multimedialnych, związane z nieliniową chaakteystyką czułości oka ludzkiego, w zastosowaniach pomiaowych istnieje potzeba stosowania koekcji odwotnej. 2. KALIBRACJA KAMER Elementy wchodzące w skład systemu skanującego muszą podczas pacy skanea znajdować się w ściśle okeślonym, niezmiennym położeniu. Poponowane gotowe ozwiązania takich systemów bazują na sztywnej konstukcji nośnej utzymującej niezmienną geometię układu, gdzie ama mocowana jest na uchomym statywie, lub jako manipulato obota, i pozwala dowolnie ustawić skane względem skanowanej powiezchni. Dzięki takiemu sztywnemu połączeniu geometia układu pozostaje niezmienna i jedynym zadaniem kalibacji jest wyznaczenie paametów wewnętznych i modeli dystosji układów optycznych, np.: pzy zmianie pzestzeni pomiaowej, wiążącej się ze zmianą obiektywów. W zakładanej ealizacji paktycznej dla dowolnego typu obabiaki kamea i pojekto mogą być zlokalizowane w abitalnie wybanych pozycjach, nie mogą jednak zostać umieszczone pecyzyjnie w pzestzeni obabiaki. Ich lokalizacje mogą być tylko zbliżone do zakładanych, a dokładne ich zoientowanie możliwe jest dzięki wspomaganym komputeowo algoytmom kalibacji. W wyniku kalibacji globalnej wyznaczone zostają punkty śodkowe opisujące optyczny śodek kamey i pojektoa, a także całkowite tansfomacje (otacje i tanslacje) układu globalnego do układów lokalnych, związanych z kameami i pojektoami. Wyznaczenie paametów wewnętznych każdej kamey opate jest na zasadzie zutowania pespektywicznego punktów z pzestzeni 3D na powiezchnię obazu wg modelu: gdzie: u v 1 = [ A R A T] X Y Z 1 (1) 23 α A = 0 0 γ β 0 u0 v0, 1 R = t T = t t x y z 11 21 32 12 22 32 13 23 33, (2) Maciez A nazywana jest maciezą paametów wewnętznych, gdzie; α oaz β oznaczają ogniskowe. wyażone względem obu wymiaów matycy; (u0,v0) oznacza współzędne punktu pzecięcia sensoa i osi optycznej, zaś γ skośność sensoa. Kamea umieszczona jest w pzestzeni względem globalnego układu odniesienia, gdzie R jest maciezą otacji kamey natomiast T jest maciezą tanslacji kamey względem początku tego układu. Tym samym okeślone zostają paamety zewnętzne kamey, okeślające jej położenie oaz oientację względem okeślonej pzestzeni 3D. Wykonując pojekcję odwotną, uzyskuje się dla każdego punktu (u,v) sensoa wekto kieunkowy zaczepiony w śodku optycznym, zaś jego koniec ma współzędne wyażone względem globalnego układu zewnętznego. Rzeczywisty układ optyczny zbudowany na soczewkach w odóżnieniu od modelu otwokowego (ang. pinhole) wpowadza dodatkowe zniekształcenia obazu, wynikające ze zmiennej gubości soczewek i nieównomienego załamania pomieni światła. Zniekształcenia takie mają chaakte dominujący w obazach pozyskiwanych z typowych kame powodując pzesunięcia współzędnych w obazie w sposób pomienisty (tzw. dystosja adialna). Z kolei obecność zniekształceń skośnych (ang. tangential distotions) wynika głównie z niepawidłowej lokalizacji sensoa względem osi optycznej. Skoygowane pozycje wszystkich pikseli uzyskać można, stosując dla danego obazu następujące pzekształcenie: x y d d = 2 4 6 ( 1 + k (1) + k (2) + k (5) ) X Z 2 kc(3) + Y Z kc(3) c c 2 2 u v + k ( + ) ( ) c(4) 2u 2 2 + 2v + 2 kc(4) u v c (3) gdzie kc jest wektoem współczynników opisujących zniekształcenia obu odzajów pzy założeniu, iż 2 =u 2 +v 2. W celu wyznaczenia współczynników zniekształceń konieczna jest wielokotna obsewacja zniekształceń jednoodnej tablicy kalibacyjnej (zwykle mającej postać szachownicy) znajdującej się w óżnych położeniach, dzięki czemu po wyznaczeniu ozkładu naożników jej pól, z dokładnością subpikselową, możliwe jest uzyskanie paametów wewnętznych oaz zewnętznych kamey.

KALIBRACJA WIZYJNEGO SYSTEMU POZYCJONOWANIA ONOWANIA PRZEDMIOTU Rys.2. Ilustacja zmiany położenia tablicy kalibacyjnej względem kamey Zapoponowany układ pozycjonowania składa się z tzech współpacujących platfom skanujących i konieczne jest okeślenie wzajemnego położenia tzech kame i tzech pojektoów. Wykonuje się to popzez pzyjęcie jednego z położeń tablicy kalibacyjnej, któe będzie wspólne dla wszystkich kame i pojektoów znajdujących się w systemie. Wówczas możliwe jest wyznaczenie ich paametów zewnętznych względem wspólnego punktu odniesienia, zwykle naożnika lub śodka tablicy. W celu dokonania kalibacji kame możliwe jest wykozystanie pzybonika Camea Calibation Toolbox dla śodowiska Matlab [1] lub też jego implementacji dla biblioteki OpenCV. Pzykładowe wyniki kalibacji uzyskane dla kamey Basle Scout sca1600-14gm 14gm pzedstawiono poniżej: Paamety wewnętzne: - ogniskowa [α β] ] = [ 3753.54718 3751.60214 ] ± [ 4.84906 5.54300 ] - punkt śodkowy [u0 v0] = [ 828.14524 653.95402 ] ± [ 6.87879 6.29311 ] - skośność γ = [ 0.00000 ] ± [ 0.00000 ] - współczynniki zniekształceń: kc = [ -0.02296-1.93514 0.00105-0.00190 0.00000 ] ± [ 0.01168 0.32152 0.00048 0.00050 0.00000 ] Paamety zewnętzne: (w odniesieniu do tablicy n 10 na ys. 2) - tanslacja [T]: [ -68.341408 4.317789 902.673928 ] - otacja [R]: [ -0.098227 0.991372-0.086798 ; 0.686590 0.004374-0.727032 ; -0.720379-0.131009-0.681095 ] 3. KALIBRACJA PROJEKTORÓW Obsewacja tablic kalibacyjnych pzez pojekto możliwa jest jedynie po zastosowaniu techniki kamey witualnej, umieszczonej dokładnie w miejscu pojektoa (co fizycznie nie jest możliwe do zealizowania). W tym celu pzepowadzono ekspeyment polegający na ejestacji zdjęć tablicy kalibacyjnej pzez zeczywistą kameę umieszczoną obok pojektoa, pzy czym tablica jest oświetlana dodatkową seią poziomych oaz pionowych sinusoidalnych pążków. Po oświetleniu i zdekodowaniu ze zdjęć sinusów otzymuje się tzw. mapę fazy (dla zakesu ф=0:128π). Taką samą mapę fazy twozy się dla syntetycznych obazów bezpośednio wyświetlanych z pojektoa. Mapy te, na obu sensoach kamey i pojektoa, indeksują każdy piksel unikalnym adesem (фx,ф фy). Poszukując pozycji pikseli ze zgodnymi adesami, należy wyznaczyć ich wzajemne pzesunięcie, tym samym w wyniku tansfomacji obazu (piksel po pikselu) otzymuje się obaz, jaki widziałby pojekto. Podczas tansfomacji uwzględnia się jednocześnie nie zmianę ozdzielczości obazu z kamey do do ozdzielczości natywnej pojektoa, stosując tansfomacje na poziomie subpikselowym. Seia tak uzyskanych obazów, z óżnymi widokami tablicy, służy do dalszej właściwej kalibacji, wykonywanej analogicznie jak dla kamey. Pzed kalibacją pojektoa, w celu kompensacji błędów wpowadzanych pzez układy optyczne kamey, wszystkie obazy z zeczywistej kamey muszą zostać dodatkowo skoygowane na podstawie wcześniej wyznaczonego modelu zniekształceń kamey. Pzykładowe wyniki kalibacji uzyskane dla pojektoa ACER e700 pzedstawiono poniżej: 24

Stefan Domek, Miosław Pajo, Maek Gudziński, Kzysztof Okama, Paweł Dwoak Paamety wewnętzne: - ogniskowa [α β] = [ 2104.22379 2099.30263 ] ± [ 57.60993 63.96398 ] - punkt śodkowy [u0 v0] = [ 644.99697 792.65539 ] ± [ 0.00000 0.00000 ] - skośność γ = [ 0.00000 ] ± [ 0.00000 ] - współczynniki zniekształceń: kc = [ -0.06017 0.03166-0.00789 0.00289 0.00000 ] ± [ 0.07119 0.21293 0.00928 0.00256 0.00000 ] Paamety zewnętzne: (w odniesieniu do tablicy n 10 na ys. 4) - tanslacja [T]: [ -77.645549-198.807047 635.300825 ] - otacja [R]: [ 0.182442 0.926451 0.329246; 0.837294 0.029146-0.545975; -0.515416 0.375285-0.770395] aby pojekto wyświetlał obaz o liniowej chaakteystyce jasności, co można osiągnąć pzez wykonanie odwotnej koekcji gamma. Poponowane pzez autoów metody kompensacji nieliniowości pojektoa pzedstawiono w jednej z wcześniejszych pac [2], natomiast wpływ tej nieliniowości na uzyskiwany techniką kamey witualnej obaz szachownicy widziany pzez pojekto ilustuje ys. 4. Widoczne na obazie błędy odwzoowania kawędzi pól szachownicy mają istotny wpływ na wynik detekcji naożników, któy decyduje o dokładności wyznaczenia paametów kalibacji pojektoa. Znając wszystkie paamety kalibacji, możliwe jest wykonanie wstecznej pojekcji obazu z pzestzeni 2D (senso CCD kamey) do pzestzeni 3D, otzymując zbió wektoów kieunkowych s(x,y,z). Rys.3. Pzykładowy efekt zastosowania techniki kamey witualnej do uzyskania widoku tablicy kalibacyjnej widzianej z pozycji pojektoa Rys.4. Wpływ nieliniowej chaakteystyki pojektoa na obaz wzoca kalibacyjnego uzyskiwanego techniką kamey witualnej (po lewej), oaz wynik wpowadzenia odwotnej koekcji gamma i dodatkowej filtacji błędów mapy fazy (po pawej) Jednym z istotnych czynników wpływających na dokładność kalibacji pojektoów jest ich nieliniowa chaakteystyka pojekcji światła, co ma szczególne znaczenie pzy zastosowaniu pążków sinusoidalnych. Aby móc odwzoować geometię skanowanego elementu w pawidłowy sposób, należy mieć pewność, iż wzozec wyświetlony na płaskiej jednolitej powiezchni jest ejestowany pzez senso kamey z zachowaniem jego chaakteu. Wymaga się zatem, Do uzyskania jednoznacznych współzędnych ekonstuowanych punktów potzebna jest dodatkowa infomacja z dugiej kamey lub z pojektoa światła stuktualnego, co zilustowano na ys. 6. Koodynaty każdego punktu obliczane są popzez znalezienie punktu pzecięcia wektoa kieunkowego, wynikającego z pojekcji odwotnej, z płaszczyzną pążka o watości fazy pzypisanemu danemu punktowi na etapie dekodowania mapy fazy. Z kolei 25

KALIBRACJA WIZYJNEGO SYSTEMU POZYCJONOWANIA ONOWANIA PRZEDMIOTU Rys.6. Ilustacja pojekcji odwotnej. Dugi punkt obsewacji pozwala na okeślenie długości wektoa kieunkowego dla wybanego punktu (u,v). Rys.7. Ilustacja pzykładowego uzyskanego wyniku kalibacji (położenie tzech kame w jednej z ekspeymentalnych konfiguacji) kąty pojekcji płaszczyzn są ściśle znane i wynikają ze znajomości wzoca stuktualnego i paametów optycznych pojektoa. Dzięki otzymanym paametom kalibacji i powiązaniu wszystkich uządzeń uzyskany pzez skane model 3D pzedmiotu obabianego ównież może zostać wyażony w maszynowym układzie odniesienia obabiaki. W tym celu wystaczy wypozycjonować tablicę kalibacyjną na stole tej maszyny lub zastosować dodatkowe punkty odniesienia dla obu układów. Możliwe jest tym samym automatyczne pzyjęcie bazy obóbkowej i ozpoczęcie obóbki. 4. PODSUMOWANIE Stosując techniki kalibacji paametów uządzeń optycznych, wchodzących w skład skanea 3D, możliwe jest pawidłowe odwzoowanie geometii skanowanego pzedmiotu obabianego. Kompensowane są wszystkie zniekształcenia, powodowane pzez fizyczne układy optyczne oaz nieliniowy chaakte wyświetlanego z pojektoa obazu. Możliwe jest jednocześnie ulokowanie pzedmiotu obabianego w pzestzeni oboczej obabiaki, stosując dodatkowy widok tablicy kalibacyjnej, zamocowanej na stole maszyny w ściśle okeślonym położeniu. Zastosowanie opisanych metod skanowania i kalibacji pozwala łatwo wpowadzić poceduę automatycznego 26

Stefan Domek, Miosław Pajo, Maek Gudziński, Kzysztof Okama, Paweł Dwoak pzyjmowania bazy do obóbki pzedmiotu, któy można będzie zamocować na stole maszyny CNC w dowolnym położeniu. Atykuł powstał częściowo dzięki wspaciu w amach gantu Ministestwa Nauki i Szkolnictwa Wyższego n N502 147238 pt. Wykozystanie technik wizyjnych do pozycjonowania pzedmiotów obabianych na obabiakach CNC umowa n 1472/B/T02/2010/38. Liteatua 1. Bouguet J.: Camea calibation toolbox. www.vision.caltech.edu/bouguetj/calib_doc, 2005. 2. Domek S., Gudziński M., Okama K., Pajo M: Koekcja nieliniowości chaakteystyki pojekcji światła stuktualnego w wizyjnym systemie pozycjonowania pzedmiotu obabianego. Pzegląd Elektotechniczny 2012, 88, 10a, s. 143-146. 3. Fechtele P., Eiset P., Ruainsky J.: Fast and high esolution 3d face scanning. In: Poceedings of the Intenational Confeence on Image Pocessing ICIP 2007, Vol. III, p. 81-84. 4. Luhmann T., Robson S., Kyle S., Haley I.: Close ange photogammety: pinciples, techniques and applications. New Yok: John Wiley & Sons, 2008. 5. Notni G.H., Notni G.: Digital finge pojection in 3D shape measuement an eo analysis. Poceedings of SPIE 5144, 2003, p. 372-380. 6. Peng T., Gupta S.K.: Model and algoithms fo point cloud constuction using digital pojection pattens. Jounal of Computing and Infomation Science in Engineeing 2007, 7, 4, p. 372-381. 7. Rahman T., Kouglicof N.: An efficient camea clibation technique ofeing obustness and accuacy ove a wide ange of lens distotion. IEEE Tansactions on Image Pocessing 2012, 21, 2, p. 626-637. 8. Zhang S.: High-esolution, eal-time 3-D shape measuement. PhD thesis, Stony Book Univesity, 2005. 9. Zhu F., Shi H., Bai P., He X.: Thee-dimensional shape measuement and calibation fo finge pojection by consideing unequal height of the pojecto and the camea. Applied Optics 2011, 50, 11, p. 1575-1583. Poszę cytować ten atykuł jako: Domek S., Pajo M., Gudziński M., Okama K., Dwoak P.: Kalibacja wizyjnego systemu pozycjonowania pzedmiotu obabianego na obabiace CNC. Modelowanie Inżyniesjie 2013, n 46, t. 15, s, 21 27. 27