Inspekcja parametrów geometrycznych obiektów trójwymiarowych przy zastosowaniu techniki projekcji linii laserowej

Transkrypt

1 Inspekcja parametrów geometrycznych obiektów trójwymiarowych przy zastosowaniu techniki projekcji linii laserowej mgr inż. WIESŁAW MAŁKIŃSKI, mgr inż. ŁUKASZ MISZKURKA, dr inż. JERZY ZAJĄC mgr inż. MARCIN KARLIŃSKI, mgr inż. HALINA CHODOROWICZ Przemysłowy Instytut Elektroniki, Warszawa W wielu praktycznych zastosowaniach systemów inspekcji mamy do czynienia z trójwymiarowym obiektem, gdzie wszystkie trzy wymiary muszą być traktowane równoprawnie. Klasyczne podejście realizowane w systemach automatycznej inspekcji optycznej opierało się do niedawna tylko na analizie 2-wymiarowych obrazów, będących odwzorowaniami obiektu na poszczególne rzutnie. Takie podejście wnosiło wiele ograniczeń i zawężało obszar zastosowań systemów AOI. Wśród kilku technik, których zadaniem jest odwzorowanie trzeciego wymiaru badanych obiektów, na szczególną uwagę zasługują metody analizy obrazów wykorzystujące techniki oświetlenia strukturalnego. Z obserwacji tendencji rozwoju systemów AOI, obejmujących analizę 3. wymiaru wynika, że właśnie ta grupa metod wydaje się być najbardziej dopracowana i dojrzała do zastosowań w praktycznych aplikacjach. Dlatego też właśnie ta klasa rozwiązań została wytypowana przez nas do rozwiązywania złożonych zagadnień inspekcji 3D. W chwili obecnej w obszarze klas systemów wizyjnych PC Based Vision oraz SmartCamer istnieją specjalizowane rozwiązania przeznaczone do inspekcji 3D metodą projekcji linii laserowej. Jednak w niektórych sytuacjach niewielkim nakładem środków korzystne jest rozszerzenie właściwości metrologicznych już posiadanego sprzętu i oprogramowania do analiz 2D w taki sposób, aby system mógł dodatkowo zawierać elementy analizy 3D. W Przemysłowym Instytucie Elektroniki opracowano i wykonano stanowisko badawcze do inspekcji optycznej, wykorzystujące technikę projekcji linii laserowej. Z punktu widzenia sprzętu i oprogramowania stanowisko to bazuje na środowiskach projektowo uruchomieniowych, przeznaczonych do konwencjonalnej analizy obrazów 2D. W artykule skupiono się na zagadnieniach akwizycji obrazów 3D, kalibracji 3D, a także na możliwościach aplikacyjnych tego typu systemów. Metoda może być zastosowana w odniesieniu do analizy wymiarów badanych obiektów oraz stanu ich powierzchni. Opis metody W metodzie projekcji linii laserowej na powierzchnię badanego obiektu rzutowana jest linia laserowa. Odkształcony na przedmiocie obraz linii obserwowany przez kamerę przekształcany jest ze współrzędnych obrazu na współrzędne kartezjańskie. W rozwiązaniu przyjętym do realizacji światło lasera pada prostopadle na płaszczyznę, na której znajduje się obiekt, podczas gdy kamera obserwuje odbicie pod pewnym kątem (rys. 1). Taka geometria umożliwia prostą kalibrację układu. Dodatkowy ruch obiektu (lub kamery wraz z laserem) w kierunku prostopadłym do płaszczyzny lasera pozwala zebrać serię przekrojów i uzyskać pełną informację o trzech wymiarach badanego obiektu. W przyjętym rozwiązaniu, które od strony programowej bazuje na środowisku evision firmy Euresys, seria przekrojów uzyskana po zeskanowaniu obiektu, po dokonaniu operacji przetwarzania i transformacji tworzy standardowy obiekt ob- Rys. 1. System akwizycji obrazów obiektów trójwymiarowych technika projekcji linii laserowej Fig. 1. The organisation system for 3D objects the technique of laser line projection razowy EBW8Image (EBW16Image), w którym zakodowane są informacje o trzecim wymiarze badanego obiektu. Stanowisko badawcze do skanowania liniowego i obrotowego obiektów Strukturę stanowiska badawczego do skanowania liniowego i obrotowego obiektów przedstawiono na rys. 2. Poniżej zamieszczono specyfikację sprzętu, na którego bazie skonfigurowano stanowisko badawcze do skanowania liniowego i obrotowego obiektów. Parametry techniczne systemu skanowania Szybkość akwizycji obrazu 50 ms; System podawania materiału napęd liniowy o rozdzielczości 0,05 mm lub obrotowy 0,9 stopnia; Maksymalna liczba przekrojów dla celów rekonstrukcji obrazu 3D 800; System oświetlenia oświetlenie strukturalne linia laserowa; Maksymalne wymiary skanowanego obiektu mm; Rys. 2. Struktura stanowiska badawczego Fig. 2. The structure of the research stand Elektronika 8/

2 Parametry obiektywów o stałej ogniskowej firmy Computar Parameters of fixed focal length lenses from Computar Długość ogniskowej Maksymalny format struktury CCD Przesłona Pole widzenia kątowe [ ] Pole widzenia dla min. odległości przedmiotowej Minimalna odległość przedmiotowa 8 mm 2/3 F1.4-16C 42,5 78 mm 0,10 m 12 mm 2/3 F1.4-16C 30,0 80 mm 0,15 m 16 mm 2/3 F1.4-16C 22,7 120 mm 0,30 m 25 mm 2/3 F1.4-16C 14,6 77 mm 0,30 m 50 mm 2/3 F1.8-16C 7,6 66 mm 0,50 m Sposób sprzężenia systemu wizyjnego z systemem mechatronicznym skanera za pośrednictwem interfejsu RS- 232C; Środowisko programowe Windows XP; Narzędzia programowe evision, Visual Basic 6.0. Sprzęt wizyjny W stanowisku badawczym do skanowania liniowego i obrotowego obiektów zastosowano kamerę monochromatyczną CCD typu JAI CV-A50 o rozdzielczości 768x576 pixeli i szybkości akwizycji 25 ramek/s oraz system projekcyjny typu SNF-XX-635S-5 firmy StockerYale Inc. W metodzie inspekcji parametrów geometrycznych obiektów trójwymiarowych przy zastosowaniu techniki projekcji linii laserowej system oświetlenia sceny odgrywa szczególną rolę i w bardzo dużym stopniu decyduje o dokładności odwzorowania 3D. Z tego względu w artykule poświęcono mu więcej uwagi. Należy zwrócić uwagę na dwie bardzo istotne cechy systemu projekcji znaczników laserowych zastosowanego w stanowisku badawczym: Jednorodny poziom jasności linii projekcyjnej. Duża liczba spotykanych obecnie rozwiązań generatorów linii projekcyjnych bazuje na optyce konwencjonalnej cylindrycznej. W konsekwencji otrzymuje się rozkład intensywności światła wzdłuż linii, zbliżony do rozkładu Gaussa Gaussian distribution (rys. 3). Nie jest to korzystne z punktu widzenia jakości akwizycji obrazu obiektu ze względu na fakt, że późniejsze przetwarzanie i binaryzacja obrazu może uczynić niektóre fragmenty linii niewidocznymi dla systemu. System optyczny, zastosowany w układzie projekcji w stanowisku badawczym, zbudowany jest na bazie specjalnych soczewek, które zapewniają równomierny rozkład jasności linii projekcyjnej non-gaussian distribution (rys. 4). Jednorodność linii dotyczy także sytuacji, w której laser umieszczony jest pod kątem różnym od 90 w stosunku do powierzchni projekcyjnej. Możliwość ustawienia lasera pod kątem różnym od 90 w stosunku do powierzchni projekcji (tzw. ustawienie offaxis) przy zachowaniu jednorodności linii. Efekt ten osiągnięto przez zastosowanie odpowiedniego systemu mocowania końcówek projekcyjnych. Z rozkładem jasności linii laserowej wiążą się dodatkowo dwa zagadnienia. Po pierwsze, Gaussowski rozkład jasności sprawia dodatkowe trudności kalibracji kamery CCD. Oddzielna kalibracja musi zostać dokonana dla pixeli znajdujących się w jasnej (centralnej) części obszaru i tych, które znajdują się na skraju. Obszar o zbyt małej intensywności nie może być brany pod uwagę, ponieważ jest niewidoczny dla systemu. Po drugie, centralna część linii Gaussowskiej jest obszarem o bardzo dużej intensywności światła i ona decyduje o przeklasyfikowaniu systemu do kolejnej (wyższej klasy) z punktu widzenia wymagań bezpieczeństwa. Jak wynika z tych rozważań, rola jednorodności linii projekcyjnych w systemach oświetlenia strukturalnego jest bardzo duża. W celu dostosowania wymagań układu optycznego do warunków skanowania obiektu, stanowisko wyposażono w następujące rodzaje obiektywów do kamery CCD: Rys. 3. Nierównomierny rozkład jasności linii projekcyjnej Gaussian distribution Fig. 3. Non uniform distribution of the light intensity Gaussian distribution Obiektywy o stałej i zmiennej ogniskowej firmy Tamron LTC-16F Tamron C Mount 16 mm Lens, LTS-03Z Tamron CS MOUNT 3-8 mm Zoom Lens, LTC-05Z Tamron CS Mount mm Zoom Lens; Obiektywy o stałej ogniskowej firmy Computar o parametrach wg tabeli. Rys. 4. Równomierny rozkład jasności linii projekcyjnej non-gaussian distribution Fig. 4. Uniform distribution of the light intensity non-gaussian distribution Do akwizycji obrazów zastosowano kartę framegrabbera PCI typu Picolo Pro 2 firmy Euresys. Umożliwia ona podłączenie do czterech kanałów wideo (PAL lub NTSC). Rozdzielczość obrazu 768 x 576. Połączenie z kamerą za pośrednictwem czterech standardowych wejść BNC. Karta może współpracować zarówno z kamerą monochromatyczną, jak i kolorową. Dodatkowo dostępne są wejścia i wyjścia binarne ogólnego przeznaczenia. 78 Elektronika 8/2007

3 Ekstrakcja linii z treści obrazu, odwzorowanie serii linii w obraz 3D Tworzenie obiektu, stanowiącego reprezentację skanowanego obiektu 3D składa się z kilku faz i obejmuje: ekstrakcję pojedynczych linii z treści obrazu według zastosowanego algorytmu ekstrakcji, odwzorowanie serii tak wyodrębnionych linii w obraz 3D i w efekcie końcowym w obiekt obrazowy standardowy dla środowiska 2D evision, w którym zakodowane są informacje o współrzędnych XYZ punktów badanego obiektu. Ekstrakcja linii z treści obrazu polega na selektywnym wyodrębnieniu z obrazu widzianego przez kamerę, obrazu linii laserowej odbitej od przedmiotu. Uzyskuje się to za pomocą operacji progowania jasności całego obrazu z bardzo precyzyjnie dobranym poziomem binaryzacji. Wartość poziomu progowania można dobrać na podstawie histogramu w taki sposób, aby tło obrazu znalazło się poniżej progu jasności (rys. 5 i 6). Interpretując stopień deformacji linii, można wyciągnąć wnioski dotyczące rozkładu wysokości obiektu w badanym przekroju. Położenie linii wyznaczane jest na podstawie współrzędnych środka ciężkości obrazu dla każdej z kolumn, biorąc pod uwagę wartości leżące powyżej poziomu progowania (rys. 7). Sekwencja obrazów zebranych przez kamerę jest przekształcana na mapę wysokości o rozmiarach m n, gdzie m jest liczbą kolumn obrazu, a n całkowitą liczbą obrazów skanowanego obiektu. Informacje o współrzędnych punktu są przechowywane wraz z numerem kolumny i obrazu, w którym się on znajduje. Jeżeli punkt nie zostaje odnaleziony, przypisywana mu jest wartość -1. Zebrane dane można także przechowywać w postaci chmury punktów P(x, y, z), wtedy jednak nie zachowa się informacji o sąsiedztwie punktów. Algorytmy rekonstrukcji 3D umożliwiają zbudowanie modelu obiektu 3D na podstawie serii warstw uzyskanych w procesie skanowania. W przyjętym rozwiązaniu, które od strony programowej bazuje na środowisku evision firmy Euresys, seria przekrojów uzyskana po ze- Rys. 5. Wybór wartości poziomu progowania Fig. 5. Treshold level selection Rys. 6. Obraz z kamery przed i po operacji progowania Fig. 6. The camera view before and after object binarization Rys. 7. Poziom jasności wzdłuż linii dla wybranej kolumny obrazu Fig. 7. The light intensity along the line (for selected image column) Rys. 8. Przykłady obiektów 3D utworzonych przy zastosowaniu techniki projekcji linii laserowej Fig. 8. Examples of 3D objects obtained using laser line projection technique Elektronika 8/

4 skanowaniu obiektu, po dokonaniu operacji przetwarzania i transformacji, tworzy standardowy obiekt obrazowy EBW8Image (EBW16Image), w którym zakodowane są informacje o trzech wymiarach badanego obiektu. Taki sposób podejścia do rozwiązania problemu umożliwia zastosowanie do przetwarzania i analizy obrazów obiektów 3D dużej grupy standardowych narzędzi programowych środowiska evision, przeznaczonych do analizy obrazów obiektów 2D. W artykule przestawiono efekt odwzorowania serii linii w obraz 3D dla skomplikowanego detalu podlegającego inspekcji oraz dla kilku prostych detali, wzajemnie na siebie zachodzących [3] (rys. 8). Polepszenie jakości akwizycji obrazu Jednym z ważniejszych problemów występujących w aplikacjach systemów wizyjnych wykorzystujących oświetlenie strukturalne, jest właściwa separacja treści obrazu (widoku zdeformowanej linii laserowej) od części stanowiącej Rys. 9. Widok klina pomiarowego, efekt zastosowania filtra 640 nm Fig. 9. The view of the calibrating wedge the result of using 640 nm filter tło. Stosowanie konwencjonalnych metod operowania światłem (ustawienia optyki oraz czasu ekspozycji kamery) pozwala na poprawne wyeksponowanie obrazu linii laserowej. W trakcie realizacji tematu przeprowadzono próby polepszenia zdolności separacji linii od treści tła. Zastosowano filtr optyczny wąskoprzepustowy, przepuszczający światło o długości 640 nm, który pozwala na rejestrację wyłącznie światła lasera i odcięcie odblasków pochodzących od światła zewnętrznego. Na rys. 9 (po lewej stronie) pokazano widok fragmentu klina pomiarowego, na którym wyeksponowano obraz linii laserowej. Zastosowanie opisanej techniki jest bardzo efektywne i powinno przyczynić się do zwiększenia dokładności wyznaczania położenia linii laserowej oraz wyeliminowanie niejednoznaczności oceny przynależności punktów o dużej jasności do obrazu linii laserowej (np. górna pozioma krawędź klina). Kalibracja 3D Celem kalibracji stanowiska badawczego jest wyznaczenie parametrów transformacji serii punktów reprezentujących środek ciężkości obrazu linii laserowej, wyrażonych w pikselach, na współrzędne rzeczywiste xyz. Przeprowadzenie prawidłowej kalibracji jest warunkiem koniecznym dokładnego odwzorowania przestrzennego badanego obiektu. W przyjętym rozwiązaniu kalibracja musi obejmować wszystkie punkty analizowanego przekroju elementarnego (w płaszczyźnie linii laserowej). Zagadnienie kalibracji w tym przypadku jest o tyle istotne, że już z samej zasady obserwacji analizowanego przekroju (ustawienie kamery pod znacznym kątem w stosunku do obserwowanego przekroju rys. 1) wynika duży poziom zniekształceń geometrycznych obrazu, który powinien być skompensowany w procesie kalibracji. Istnieją co najmniej dwa podejścia do rozwiązania problemu kalibracji stanowiska o przyjętej architekturze. Pierwsza metoda polega na wyznaczeniu parametrów geometrycznych układu Rys. 10. Widok okna aplikacji do kalibracji stanowiska badawczego Fig. 10. The view of the application window for the stand calibration 80 Elektronika 8/2007

5 i kamery (takich jak orientacja kamery, ogniskowa itp.). Wykorzystuje się tu model kamery typu pin hole. Następnie na podstawie tych parametrów dokonuje się triangulacji, czyli wyliczenia wysokości danego punktu na podstawie jego położenia na obrazie. Druga metoda kalibracji polega na bezpośrednim przekształceniu obrazu z przetwornika kamery na przestrzeń euklidesową. Należy zauważyć, że obszar skanowania znajduje się w nieruchomej względem kamery płaszczyźnie lasera. Przyjmujemy, że jest ona równoległa do płaszczyzny YZ i przecina oś X w punkcie zero. Mając pewną ilość punktów leżących w tej płaszczyźnie, o znanych współrzędnych rzeczywistych i obrazowych, można wyznaczyć macierz transformacji z jednego układu do drugiego. Rys. 11. Wizualizacja detalu w postaci mapy wysokości (skanowanie liniowe i obrotowe z rozwinięciem) przykładowe obrazy uzyskane w programie Przekroje Fig. 11. Object visualization in the form of height map (linear and rotary scanning) image examples obtained in programm Przekroje Rys. 12. Przekrój detalu wzdłuż zadanej linii. Fig. 12. Cross-section of object along selected line W prezentowanym rozwiązaniu wykorzystano metodę bezpośrednią (jednokrokową). Jej zaletą w odróżnieniu od pierwszej metody jest prostota i dokładność rozwiązania dzięki uniknięciu dwóch kroków kalibracji, z których każdy może wprowadzać błędy. Najprostszą implementacją tej metody jest wykorzystanie funkcji Unwarp pakietu evision. Rys. 10 przedstawia okno aplikacji służące do kalibracji skanera. Po lewej stronie widoczna jest siatka kalibracyjna, leżąca w płaszczyźnie linii lasera, obserwowana przez kamerę. Po prawej stronie widoczna jest ta sama siatka po dokonaniu operacji Unwarp. Pionowe i poziome linie widoczne na siatce służą do określenia rozdzielczości [mm/piksel] i zerowego poziomu odniesienia. Aplikacja do oceny jakości powierzchni detali Zadaniem systemu inspekcji optycznej jest w tym przypadku ocena jakości fragmentów powierzchni detalu. Na rys. 13. pokazano widok detalu przy skanowaniu liniowym i obrotowym. Inspekcji poddany jest obszar przylgni określony przez prostokątny obszar ROI. W dolnej części rysunku przedstawiono widok przekroju pionowego wzdłuż zadanego profilu. Należy zwrócić uwagę na fakt, że dla tego typu detali i rodzajów inspekcji najlepszy efekt daje skanowanie obrotowe, m.in. ze względu na łatwość definiowania obszarów ROI. Na rys. 14. podano mapę wysokości dla powiększonego fragmentu przylgni. Wizualizacja zeskanowanych obrazów 3D Jednym z przykładów aplikacji do wizualizacji obrazów 3D jest program Przekroje (rys. 11). Program ten jest aplikacją napisaną w środowisku MS VB6, umożliwiającą wizualizację chmury punktów w postaci kolorowej mapy wysokości. Ponadto pozwala na wykonanie przekrojów poprzecznych oraz przekrojów wzdłuż zadanej linii (rys. 12). Na rys. 11. przedstawiono dwa przykłady wizualizacji tego samego detalu, dla którego przeprowadzono skanowanie liniowe i obrotowe. Przykładowe aplikacje zagadnień inspekcji 3D Wykorzystując stanowisko badawcze, opracowano kilka przykładowych aplikacji w zakresie akwizycji i przetwarzania obrazów 3D, ukierunkowanych na zagadnienia kontroli jakości produktów oraz kontroli procesów montażu. Rys. 13. Widok detalu przy skanowaniu liniowym i obrotowym skanowanie obrotowe z rozwinięciem powierzchni [3] Fig. 13. The object view (linear and rotary scanning) Elektronika 8/

6 Rysunek 15. ilustruje przekroje pionowe wzdłuż powierzchni przylgni detali dla powierzchni przylgni wyszczerbionej i prawidłowej. Pokazano też efekt falowania przekroju spowodowanego niewłaściwym mocowaniem elementu. Poziomy referencyjne dla celów klasyfikacji oznaczono liniami poziomymi. Aplikacja do identyfikacji położenia przestrzennego detali Zadaniem systemu inspekcji optycznej jest w tym przypadku ocena położenia poszczególnych detali, np. w celu ich sepa- Rys. 14. Mapa wysokości dla powiększonego fragmentu przylgni Fig. 14. The height map of enlarged fragment of the object Rys. 15. Przekroje pionowe wzdłuż powierzchni przylgni detali Fig. 15. Vertical cross-section of the object surface 82 Elektronika 8/2007

7 racji. Na rys. 16. przedstawiono widok 2D detali przed i po operacji binaryzacji. W tym przypadku nie istnieją takie warunki oświetlenia sceny bądź doboru parametrów binaryzacji, aby jednoznacznie ocenić przestrzenne położenie obiektów. Akwizycja i analiza obrazu 2D nie może rozwiązać zagadnienia inspekcji. Na rysunku 17. pokazano obraz grupy detali uzyskany metodą skanowania 3D oraz mapę wysokości. W tym przypadku zidentyfikowanie położenia poszczególnych detali nie stanowi problemu. Zawężając obszary ROI, można uzyskać mapy wysokości poszczególnych detali (rys. 18), co umożliwia ich separację. Rys. 16. Obraz grupy detali uzyskany kamerą 2D przed i po operacji binaryzacji Fig. 16. The view of a group of objects obtained using 2D camera before and after binarization Podsumowanie Po przeanalizowaniu wyników prowadzonych prac można stwierdzić, że systemy oparte na projekcji linii laserowej mogą być stosowane do rozwiązywania wielu problemów inspekcji, dla których stosowane systemy 2D nie są wystarczające. Dokładność systemów wizyjnych z projekcją linii laserowej zależy od wielu czynników, takich jak: rozdzielczość zastosowanej kamery, parametry układy optycznego, parametry linii laserowej, warunki oświetlenia obiektu, zastosowanie dodatkowych technik pozwalających na wyeliminowanie tła (np. metoda selektywnej filtracji), rodzaj przyjętego mechatronicznego systemu skanowania, potencjał zastosowanego środowiska programowego, lub warunki środowiskowe. Dokładność opracowanego w PIE systemu, uzyskana w przykładowych aplikacjach, wynosi 50 μm i powinna być wystarczająca dla wielu zagadnień inspekcji przemysłowej. Należy zwrócić uwagę na fakt, że o ile w warunkach laboratoryjnych lub w warunkach kontroli wybranych egzemplarzy produktów szybkość systemu na poziomie ok. 10 skanów na sekundę może okazać się wystarczająca, o tyle w warunkach inspekcji przemysłowej w przypadku wysokowydajnej inspekcji 100% produkcji, konieczne jest zastosowanie specjalizowanych rozwiązań kart framegrabberów lub kamer klasy Smart, specjalizowanych do rozwiązań 3D. Rys. 17. Obraz grupy detali uzyskany metodą skanowania 3D oraz mapa wysokości Fig. 17. The view of a group of objects obtained using 3D scanning and height map Literatura [1] Hartley R., Zisserman A.: Multiple View Geometry in computer vision. Cambridge University Press, [2] Cyganek B.: Komputerowe przetwarzanie obrazów trójwymiarowych. Akademicka Oficyna Wydawnicza EXIT, Warszawa [3] Mesh 3D oprogramowanie do edycji danych pomiarowych w postaci chmur punktów. SMART- TECH Sp. z o.o. ( Rys. 18. Widok map wysokości dla zawężonych obszarów ROI separacja obiektów Fig. 18. The view of the height map for ROI regions isolation of objects Elektronika 8/