Wpływ oświetlenia i czasu ekspozycji na dokładność kalibracji kamer w wizyjnym systemie pozycjonowania detali na obrabiarkach CNC

Transkrypt

1 VII Lubuska Konferenja Naukowo-Tehnizna i-mitel 1 Stefan DMEK 1, Paweł DWRAK 1, Marek GRUDZIŃSKI Krzsztof KARMA 3, Mateusz TEŁAW 3 Zahodniopomorski Uniwerstet Tehnologizn w Szzeinie Wdział Elektrzn, Katedra Automatki Przemsłowej i Robotki (1) Wdział Inżnierii Mehaniznej i Mehatroniki, Insttut Tehnologii Mehaniznej () Wdział Elektrzn, Katedra Przetwarzania Sgnałów i Inżnierii Multimedialnej (3) Wpłw oświetlenia i zasu ekspozji na dokładność kalibraji kamer w wizjnm sstemie pozjonowania detali na obrabiarkah N Abstrat. The artile presents the results of eperimental studies on the impat of lighting on the aura of the amera alibration proess in the sstem of the vision based positioning of workpiees on numeriall ontrolled mahine tools. The influene of eposure time on the aura of the obtained amera parameters neessar for its alibration has been also analsed, allowing to develop a method of automati adjustment of eposure time useful for more aurate alibration results. Słowa kluzowe: kalibraja kamer, obrabiarki N, pozjonowanie detali, sstem wizjne Wprowadzenie Dokładność kalibraji kamer, jak również projektorów światła strukturalnego stanowi kluzow element każdego sstemu skanowania trójwmiarowego, mają istotn wpłw na dokładność odzworowania skanowanego obiektu. Wizjn sstem pozjonowania przedmiotów obrabianh na obrabiarkah N wkorzstwan w niniejszej pra, stanowi zasadniz element projektu badawzego realizowanego aktualnie w entrum Mehatroniki Zahodniopomorskiego Uniwerstetu Tehnologiznego w Szzeinie. Składa się on z trzeh zestawów kamera-projektor zamontowanh na stelażu umożliwiająm niezależną regulaję ih położenia oraz stolika obrotowego, jak również sstemu komputerowego zapewniająego poprawną współpraę urządzeń, a także akwizję i analizę obrazów. W elu stworzenia trójwmiarowego modelu skanowanego detalu, poza akwizją obrazu z kamer, niezbędne jest pozskanie informaji o głębokośi poszzególnh punktów reprezentująh obiekt na obrazie. Dane te uzskiwane są za pomoą proedur fotogrametrznh wkorzstująh tehnikę oświetlenia strukturalnego. W wniku analiz prążków oświetlająh skanowan obiekt, tworzona jest mapa fazowa odzwieriedlająa zmianę głębokośi poszzególnh punktów, o pozwala następnie na uzskanie hmur punktów reprezentująh fragment detalu widozn z jednej kamer. Końow model tworzon jest w wniku fuzji danh pozskanh z trzeh kamer. Wmagania dotząe prezji modelu, jak również koniezność dopasowania punktów uzskanh z trzeh zestawów kamera-projektor, stanowią o potrzebie wkonania kalibraji kamer (oraz projektorów), dzięki której możliwe jest prezjne określenie ih wzajemnej lokalizaji oraz skompensowanie błędów wnikająh z niedoskonałośi ih optki.

2 Kalibraja kamer w sstemah wizjnh Algortm kalibraji kamer w sstemah wizjnh mogą bć podzielone na dwie zasadnize grup tj. kalibraję fotogrametrzną oraz tehniki autokalibraji (ang. selfalibration). Fotogrametrzna kalibraja kamer wkonwana jest zwkle na podstawie analiz zarejestrowanh przez nie obrazów przedstawiająh trójwmiarow wzorze testow. Wmagana jest w takim wpadku bardzo dokładna znajomość trójwmiarowej geometrii wzora kalibrajnego warunkująa efektwną kalibraję. Druga grupa metod nie wkorzstuje żadnh obiektów kalibrajnh bazują na informajah wnikająh z ruhu kamer prz założeniu braku zmian jej parametrów podzas pozskiwania o najmniej trzeh obrazów. Możliwe jest w takim wpadku pozskanie zarówno parametrów wewnętrznh, jak również zewnętrznh kamer pozwalająh na rekonstrukję struktur obiektu w przestrzeni 3D. sobną grupę metod stanowią tehniki wkorzstująe obrót kamer. Zamiast użwania nieruhomego trójwmiarowego obiektu wmagająego zaawansowanh proedur kalibraji, najzęśiej wkorzstuje się szahownię, znajdująą się w różnh położeniah względem kamer oraz nahloną pod różnmi kątami. Jako tpowe, stanowiąe swego rodzaju połązenie obu przedstawionh podejść, zostało ono wkorzstane również w niniejszej pra. Do parametrów wewnętrznh kamer zaliza się długość ogniskowej f (ang. foal length), położenie środka obrazu (ang. prinipal point), współznnik pohlenia (ang. skew) oraz wektor zniekształeń k (ang. vetor of distortion oeffiients). Najbardziej tpowm rodzajem zniekształeń układu optznego kamer są zniekształenia radialne, które są zwkle modelowane za pomoą wielomianów. lub. stopnia. Zniekształenia takie mają harakter dominują w obrazah pozskiwanh z tpowh kamer powodują przesunięia współrzędnh w obrazie w sposób promienist. Poza tego rodzaju zniekształeniami wróżnić można także zniekształenia stzne (ang. tangential) prostopadłe do radialnh, wnikająe z niewspółliniowośi środków krzwizn sozewek obiektwu, a także błęd położenia środka obrazu. Zakładają brak jakihkolwiek zniekształeń dla tpowego modelu kamer bazująego na ostrosłupie (ang. pinhole amera), rzut obrazu wznazć można z równań rzutowania perspektwiznego dla każdego punktu: Z (1) Z Zakładają r = + po uwzględnieniu zniekształeń sozewki współrzędne tego samego punktu można wznazć jako: d d () 1 k (1) r k (3) r k (5) r d gdzie zniekształenia stzne obliza się jako: (3) k (3) d k (3) k () r r k () Wektor k zawiera współznniki opisująe oba rodzaje zniekształeń, które po uwzględnieniu pozostałh parametrów wewnętrznh kamer pozwalają na uzskanie skorgowanh współrzędnh rzutowanh punktów jako: Z Z

3 VII Lubuska Konferenja Naukowo-Tehnizna i-mitel 1 () p p f (1) d d (1) f () () d W efekie zależnośi pomiędz wznazonmi współrzędnmi piksela a jego położeniem wnikająm z rzutowania perspektwiznego z uwzględnieniem korekji zniekształeń można zapisać w układzie jednorodnm z zastosowaniem maierz kamer (ang. amera matri): (5) p f (1) p 1 f (1) f () (1) d () d 1 1 gdzie stosunek f ()/f (1) stanowi współznnik kształtu piksela (ang. aspet ratio). sobną grupę stanowią parametr zewnętrzne kamer związane z jej położeniem oraz kątami obrotu (współznniki translaji oraz rotaji). W sstemah kalibraji kamer zakłada się, iż jeden z narożników wzora kalibrajnego (szahowni) stanowi środek układu współrzędnh, względem którego wznazane jest położenie kamer, natomiast szahownia zlokalizowana jest na płaszzźnie. Poprawne wznazenie parametrów zewnętrznh kamer ma kluzowe znazenie dla kalibraji ałego sstemu wizjnego ze względu na fakt, iż umożliwia ono poprawne wznazenie wzajemnh pozji kamer, jak też położenia skanowanego przedmiotu w przestrzeni obróbkowej. Warunkiem ih prawidłowego wznazenia jest jednak uwzględnienie parametrów wewnętrznh kamer, którh dokładność wznazenia jest z kolei silnie uzależniona od efektów działania algortmu detekji narożników w obrazie kalibrajnm. Ze względu na fakt, iż detekja narożników powinna odbwać się z dokładnośią subpikselową, najzęśiej wkorzstwan jest detektor Harrisa [3] z dodatkowmi modfikajami w elu poprawienia dokładnośi wznazenia położenia narożników. Idea tego rodzaju detekji narożników jest stosunkowo prosta, ponieważ opiera się na wszukiwaniu punktów, dla którh następuje znazna zmiana lokalnej jasnośi obrazu prz przesunięiu okna w każdm kierunku. Zgodnie z tm założeniem gwałtowne zmian jasnośi nie następują nigd dla płaskih obszarów obrazu, natomiast w wpadku krawędzi nie wstępują prz przesuwaniu okna wzdłuż niej. Biorą pod uwagę fakt, iż detekja narożników jest oparta na analizie gradientu jasnośi obrazu, istotn wpłw na uzskiwane wniki może mieć zarówno kontrast obrazu, jak również jego ostrość, a także kształt wkorzstwanego okna oraz wartość współznnika progowego. W sstemie wizjnm wkorzstwanm w niniejszej pra wkorzstwane są projektor światła strukturalnego w postai rzutników multimedialnh, które mogą również emitować jednolite światło o ustalonm kolorze, któr może mieć wpłw na dokładność kalibraji kamer, w szzególnośi ze względu na fakt, iż stosowane są kamer monohromatzne. W takim wpadku stosują światło białe należ ozwiśie wbrać odpowiednio krótsz zas ekspozji aniżeli dla kolorów podstawowh z palet RGB. Przeprowadzone na tm stanowisku badania ekspermentalne miał na elu określenie wpłwu oświetlenia i zasu ekspozji na dokładność kalibraji kamer, w szzególnośi wznazenia ih parametrów zewnętrznh. W elah testowh posłużono się przbornikiem amera alibration Toolbo [1] dla środowiska Matlab (możliwe jest także wkorzstanie jego odpowiednika z bibliotek penv).

4 Badania ekspermentalne W badaniah testowh dokonano akwizji kilkudziesięiu zestawów obrazów prz oświetleniu światłem białm oraz kolorami podstawowmi RGB dla różnh zasów ekspozji dobranh w taki sposób, ab nie uzskać niedoświetlenia lub prześwietlenia obrazu utrudniająego poprawną detekję narożników pól wzora. Wkorzstano dwa rodzaje wzorów testowh w postai szahowni zarno-białej oraz zerwononiebieskiej. Zestaw przkładowh 9 obrazów testowh wraz z wkrtmi narożnikami przedstawiono na rsunku 1. Długośi strzałek są powiększone proporjonalnie do błędu reprojekji. Rozkład błędu reprojekji pikseli dla przkładowh zestawów obrazów Image zilustrowano 1 - Image points (+) na and reprojeted rsunku grid points, (o) natomiast rsunek 3 przedstawia lokalizaję wzora testowego względem kamer podzas akwizji obrazów testowh. Proedura akwizji obrazów testowh przeprowadzana bła dla nieruhomh tabli kalibrajnh oświetlanh kolejno światłem zerwonm, zielonm, niebieskim oraz białm prz programowej zmianie zasu akwizji dla kamer, o zapewnia porównwalne dane wejśiowe dla proedur kalibraji. Dzięki zastosowaniu takiego podejśia parametr wewnętrzne oraz zewnętrzne kamer powinn bć identzne dla każdego zestawu obrazów testowh. Image 9 - Image points (+) and reprojeted Image grid points 8 - Image (o) points (+) and reprojeted grid points (o) 8 1 Image - Image points (+) and reprojeted grid points (o) Image 7 - Image points (+) and reprojeted grid points (o) Image - Image points (+) and reprojeted grid points (o) Image 3 - Image 1 points (+) and reprojeted grid points (o) Image 1 - Image points (+) and reprojeted grid points (o) Image - Image points (+) and reprojeted grid points (o) Rs. 1. Zestaw przięth 9 obrazów testowh uzskanh dla światła zerwonego prz zasie ekspozji 1 ms wraz z zaznazonmi wkrtmi narożnikami oraz wnikami ih reprojekji

5 VII Lubuska Konferenja Naukowo-Tehnizna i-mitel 1.5 Reprojetion error (in piel) - To eit: right button.5 Reprojetion error (in piel) - To eit: right button światło zerwone dla 1 ms światło niebieskie dla ms.5 Reprojetion error (in piel) - To eit: right button.5 Reprojetion error (in piel) - To eit: right button światło białe dla 1 ms światło białe dla ms Rs.. Wkres rozrzutu błędów reprojekji pikseli (wartośi wrażone w pikselah) dla przkładowh zestawów obrazów testowh prz różnh zasah ekspozji. Etrinsi parameters (amera-entered) Z Rs. 3. Ilustraja grafizna parametrów zewnętrznh kamer podzas ekspermentów dla wzora zarno-białego położenie wzora testowego względem kamer.

6 Ilustraję zmian względnej dokładnośi wznazenia wewnętrznh parametrów kamer tj. długośi ogniskowej kamer (wartość średnia z f (1) oraz f ()) oraz położenia środka obrazu (średnia z (1) oraz ()) dla wzora zarno-białego przedstawiono na rsunku (dla wzora zerwono-niebieskiego uzskano nieo niższą dokładność kalibraji). Wkres uzskanego modelu zniekształeń radialnh oraz stznh dla składowej zerwonej prz zasie ekspozji 15 ms przedstawiono na rsunku 5. Rs.. Względna dokładność wznazenia długośi ogniskowej kamer (wkres górn) oraz położenia środka obrazu (wkres doln) dla różnh zasów ekspozji i różnh kolorów oświetlenia.

7 1.8.. VII Lubuska Konferenja Naukowo-Tehnizna i-mitel 1 Radial omponent of the Distortion Model Tangential 5 omponent of the Distortion 1 Model 15. Piel error = [.8111,.779] Foal Length = (377.71, 377.3) Prinipal Point = (87.91, 55.19) Skew = Radial oeffiients = (-.185, -.318, ) Tangential oeffiients = (.185, -.175) /- [3.887,.53] +/- [5.355,.95] +/- +/- [.9,., ] +/- [.371,.381] Rs. 5. Wkres uzskanego modelu zniekształeń radialnh (wkres górn) oraz stznh (wkres doln) dla światła zerwonego prz zasie ekspozji 15 ms. Piel error = [.8111,.779] Foal Length = (377.71, 377.3) Prinipal Point = (87.91, 55.19) Skew = Radial oeffiients = (-.185, -.318, ) Tangential oeffiients = (.185, -.175) +/- [3.887,.53] +/- [5.355,.95] +/- +/- [.9,., ] Dokładność wników uzskanh dla kolorów RGB jest zbliżona - najwższą +/- [.371,.381] dokładność uzskano dla światła zerwonego. Jak wspomniano wześniej, dla światła białego (W) prz kamerze monohromatznej należ odpowiednio skróić zas ekspozji, jednak uzskana wówzas dokładność kalibraji jest znaząo niższa. Automatzn dobór zasu ekspozji jest również możliw na podstawie analiz histogramów obrazów i detekji wraźnie separowalnh maksimów lokalnh histogramu reprezentująh odienie szarośi dla pól szahowni.

8 Analizują wartośi współznników zniekształeń radialnh oraz stznh (rsunek 5) można łatwo zauważć dominują harakter zniekształeń radialnh, w związku z zm uzskan pełn model zniekształeń dla badanej kamer różni się od modelu zniekształeń radialnh w sposób niezauważaln (stąd zrezgnowano z jego zamieszzenia). Podsumowanie Kalibraja kamer w sstemah wizjnh jest szzególnie ważna w zastosowaniah przemsłowh związanh z estmają wmiarów obiektów i odległośi wkonwaną na podstawie analiz obrazu. W niektórh aplikajah, w szzególnośi związanh z rozpoznawaniem wzorów, z też klasfikają np. opartą na algortmah wmagająh redukji lizb analizowanh eh, dokładność kalibraji kamer ma nieo mniejsze znazenie. Biorą jednakże pod uwagę możliwość stosunkowo łatwego doboru zasu ekspozji oraz zastosowania światła o jednolitej barwie, możliwe jest uzskanie zauważalnie większej dokładnośi kalibraji. Jest to szzególnie istotne w sstemah wielokamerowh, jak również w wpadku, gd dodatkowo zahodzi potrzeba kalibraji projektorów, jak ma to miejse w zastosowaniah fotogrametrznh oparth na projekji światła strukturalnego. Pomimo, iż algortm kalibraji kamer są oraz powszehniej stosowane, m.in. w sstemah skanowania 3D, z też zastosowaniah sterowizjnh, ulegają one nadal modfikajom i ulepszeniom [, -] wnikająm zarówno ze wzrastająej mo oblizeniowej powszehnie dostępnh urządzeń, jak również postępu tehnologiznego związanego z rozwojem szeroko pojętego sprzętu optznego i fotografiznego. Bibliografia 1. Bouguet Jean-ves. amera alibration Toolbo for Matlab Funk Nathan, ang ee-hong. Using a raster displa for photometri stereo. Proeedings of the th anadian onferene on omputer and Robot Vision - RV'7, Montreal, anada, Harris hris, Stephens Mike. A ombined orner and edge detetion. Proeedings of the th Alve Vision onferene AV, Manhester, UK, Komagata Hideki, Ishii Ikuo, Takahashi Akira, Wakatsuki Daisuke, Imai Hiroei. A geometri method for alibration of internal amera parameters of fish-ee lenses. Sstems and omputers in Japan, Vol. 38 1, Mazurek Przemsław Mobile sstem for the estimation of internal parameters of distributed ameras. Pomiar Automatka Kontrola 1, Vol. 5 11, Warsaw, Poland.. Zhan Zongqian. amera alibration based on Liquid rstal Displa (LD). The International Arhives of the Photogrammetr, Remote Sensing and Spatial Information Sienes. Vol. VII, Part B3b, 8. Artkuł powstał zęśiowo dzięki wspariu w ramah grantu MNiSW nr N pt. Wkorzstanie tehnik wizjnh do pozjonowania przedmiotów obrabianh na obrabiarkah N umowa nr 17/B/T/1/38 Autorz: dr hab. inż. Stefan Domek, prof. ZUT; dr inż. Paweł Dworak; dr inż. Krzsztof karma; mgr inż. Mateusz Teław; Zahodniopomorski Uniwerstet Tehnologizn w Szzeinie, Wdział Elektrzn, ul. Sikorskiego 37, Szzein, stefan.domek@zut.edu.pl; pawel.dworak@zut.edu.pl; krzsztof.okarma@zut.edu.pl; mateusz.telaw@zut.edu.pl; mgr inż. Marek Grudziński, Zahodniopomorski Uniwerstet Tehnologizn w Szzeinie, Wdział Inżnierii Mehaniznej i Mehatroniki, al. Piastów 19, 7-31 Szzein, marek.grudzinski@zut.edu.pl;