Dr inż. Jarosław PANASIUK Dr inż. Wojciech KACZMAREK Wojskowa Akademia Techniczna WYKORZYSTANIE SYSTEMU WIZYJNEGO NA STANOWISKACH ZROBOTYZOWANYCH Streszczenie: W referacie przedstawiono zagadnienie wykorzystania systemu wizyjnego jako źródła informacji na stanowisku zrobotyzowanym. Autorzy przedstawili zarówno kwestie dotyczące integracji sprzętowej, jak i programowej systemu wizyjnego oraz robota na przykładzie systemów irvision i Cognex. Przedstawione zostały również możliwości symulacji systemu wizyjnego w komórce zrobotyzowanej w środowisku do modelowania i programowania robotów Roboguide firmy FANUC. USE OF VISION SYSTEM IN ROBOTIC CELL Abstract: The paper presents the problem of the use of the vision system as a source of information in the robotic cell. The authors present the issues related to the integration of both hardware as well as software and robot vision system as an example of irvision systems and Cognex. It also includes a vision system for the simulation in a cell in a robotic environment for modeling and programming ROBOGUIDE FANUC robots. Słowa kluczowe: głowica optoelektroniczna, parametry głowicy optoelektronicznej, stanowisko badawcze Keywords: optoelectronic head, head optoelectronic parameters, test stand 1. WPROWADZENIE Systemy wizyjne stają się coraz popularniejszym elementem stanowisk zrobotyzowanych, pozwalającym z jednej strony podnieść elastyczność rozwiązania, zaś z drugiej wpłynąć na jego efektywność. Wiąże się to nierozerwalnie ze znacznym uproszczeniem konstrukcji samego stanowiska, jak również z uzyskiwaniem dodatkowych informacji wykorzystywanych w procesie zautomatyzowanym. Roboty i systemy wizyjne zaczęto łączyć już w latach 70. ubiegłego wieku. Okazało się wówczas, że połączenie to znacznie zwiększa możliwości wykorzystania robotów przemysłowych, które dotychczas nie były brane pod uwagę przy realizacji niektórych zadań z racji sztywnych algorytmów ich działania. Implementacja wyłącznie sterowania pozycyjnego zazwyczaj okazywała się niewystarczająca, gdy zmiany otoczenia musiały wpływać na pracę robota. Do rozpowszechnienia systemów wizyjnych w robotyce przyczynił się także rozwój przemysłowych standardów komunikacji oraz metod kalibracji systemów wizyjnych. Coraz krótsze serie produkcyjne, częste zmiany profilu działalności firm czy też różnorodność wytwarzanych produktów powodują, że dąży się do tego, aby robot przemysłowy, który zastąpił człowieka na linii produkcyjnej, stał się nie tylko szybki i precyzyjny, ale również choć trochę inteligentny. 581
Inteligencja w tym przypadku wiąże się nierozerwalnie z koniecznością odbierania informacji z otoczenia, a w przypadku stanowiska zrobotyzowanego informacji istotnych z punktu widzenia realizowanego procesu technologicznego. Jednym z najbardziej istotnych źródeł informacji są w tym przypadku właśnie systemy wizyjne dostarczające informacji 2D oraz 3D. Proces integracji systemu wizyjnego z systemem zrobotyzowanym nie jest jednak zagadnieniem trywialnym, ponieważ wymaga umiejętności połączenia informacji zdobytej często przez zupełnie niezależne systemy. O ile systemy wizyjne jako odrębny element stanowiska zautomatyzowanego zdołały zająć i umocnić swoją pozycję jeśli chodzi o funkcje, możliwości rozwiązania sprzętowe i programowe, o tyle wykorzystanie informacji z systemu wizyjnego na robocie często jest dość mocno ograniczone. Wynika to bezpośrednio z tego, że z jednej strony system wizyjny musi posiadać odpowiedni interfejs, zaś z drugiej strony musi być w stanie wystawić na ten interfejs informację użyteczną z punktu widzenia robota. W zależności od stopnia integracji systemu wizyjnego z robotem przemysłowym, możemy mówić o wymianie informacji dotyczącej stanu sprawdzenia, jak ma to miejsce w przypadku czujników wizyjnych lub też przesyłaniu informacji o położeniu i orientacji elementów znajdujących się w polu widzenia. Drugie rozwiązanie wymaga jednak określenia wspólnej przestrzeni, na której dojdzie do integracji obszaru działania systemu wizyjnego i robota przemysłowego. 2. TYPY PRZEMYSŁOWYCH SYSTEMÓW WIZYJNYCH Typy przemysłowych systemów wizyjnych oferowanych obecnie na rynku mogą być generalnie podzielone ze względu na konfigurację układu, możliwości funkcjonalne oraz moc przetwarzania. W zależności od tych parametrów możemy wyróżnić takie systemy, jak: czujnik wizyjny (ang. soft sensors) składający się z kamery i procesora w jednej obudowie (niektóre czujniki wyposażone są w mały monitor LCD). Programowanie czujnika polega w tym przypadku na ustawieniu parametrów funkcji wizyjnych wewnętrznego oprogramowania, które jest zazwyczaj realizowane za pośrednictwem komputera PC i dedykowanego oprogramowania producenta systemu. Funkcje czujników wizyjnych ograniczają się do prostych zadań, m.in.: czytanie kodu, zliczanie obiektów, inspekcja wizyjna, co prowadzi do tego, że możliwości ich wykorzystania w systemach zrobotyzowanych są dość ograniczone i sprowadzają się zazwyczaj do prostych operacji inspekcyjnych oraz identyfikacji obiektów na podstawie kodów; Rys. 1. Czujnik wizyjny BVS firmy BALLUFF (źródło: http://automatykab2b.pl/prezentacja-artykul/2419-czujnik-wizyjny-bvswszechstronny-czujnik-wizyjny-ktory-zastepuje-wiele-specjalistycznych-czujnikow) 582
kamera inteligentna (ang. smart camera, intelligent camera) składająca się z kamery i komputera zintegrowanych w jednej obudowie. Kamery takie (o rozdzielczościach w zakresie od 640 x 480 do 1600 x 1200 pikseli) zazwyczaj pracują pod własnym systemem operacyjnym i programowane są w językach wysokiego poziomu stworzonych przez producenta kamery. Do konfiguracji stosowane są podobnie jak miało to miejsce w przypadku czujników wizyjnych, aplikacje na PC, pozwalające na programowanie procesu wizyjnego. Producenci kamer oferują szeroki wybór dedykowanych akcesoriów, tj.: dedykowane kable, interfejsy, zasilacze, monitory, oświetlacze, czy też osłony. Kamery inteligentne mogą dysponować wieloma wejściami i wyjściami w różnych standardach oferują szeroki zakres realizowanych funkcji i często wykorzystywane są w systemach zrobotyzowanych; Rys. 2. Inteligentna kamera przemysłowa SICK IVC-2D (źródło:http://www.sick.com/group/en/home/pr/press_releases/pages/smart_kamera_ IVC-2D_UXGA.aspx) układ kamera komputer (kontroler) system składający się z kamery i oddzielnego komputera, dający największą elastyczność i najszersze możliwości; w tej konfiguracji sprzętowej dostępne są wszystkie rozdzielczości kamer, kamery liniowe i matrycowe, monochromatyczne i kolorowe z jedną lub trzema matrycami, w małych i dużych obudowach; integracja systemu o takiej konfiguracji wymaga szerokiej wiedzy z zakresu techniki kamer i techniki komputerowej, gdyż należy optymalnie wybrać właściwą kamerę, optymalny interfejs, wydajny komputer i oprogramowanie z niezbędną funkcjonalnością, na koniec trzeba to zaprogramować i uruchomić; Rys. 3. System wizyjny firmy KEYENCE (źródło http://www.keyence.com/products/vision/vision-sys/cv-3000/index.jsp) 583
3. ZASTOSOWANIE PRZEMYSŁOWYCH SYSTEMÓW WIZYJNYCH NA STANOWISKACH ZROBOTYZOWANYCH Zakres zastosowania systemów wizyjnych na stanowiskach zrobotyzowanych wydaje się z roku na rok coraz szerszy z racji rosnących też możliwości systemów wizyjnych i konieczności uelastycznienia stanowisk zrobotyzowanych. Do najczęstszych zadań realizowanych przez przemysłowe systemy wizyjne na stanowiskach zrobotyzowanych należą: identyfikacja obiektu (przez porównanie ze wzorcem lub przez analizę cech), pomiary wymiarów geometrycznych, odczyt kodów, analiza znaków ASCII, kontrola jakości, analiza obecności (w tym zliczanie obiektów) lub analiza pozycji i orientacji, analiza stanu powierzchni, ocena barwy, sortowanie wyrobów. W zależności od konkretnych potrzeb stosuje się odpowiednie rozwiązania zarówno jeśli chodzi o rozwiązania sprzętowe, jak i rozwiązania software owe. W przypadku prostych operacji nie wymagających analizy pozycji i orientacji, mogą być wykorzystywane proste i stosunkowo tanie czujniki wizyjne. W przypadku gdy konieczne jest pozycjonowanie efektora robota względem elementu obrabianego (np. podczas spawania) czy też określanie położenia i orientacji elementów poddawanych manipulacji (cała gama operacji poczynając od przenoszenia, sortowania, paletyzacji, a kończąc na montażu), konieczne jest wykorzystanie bądź kamer inteligentnych, bądź systemów wykorzystujących kamerę i kontroler realizujący funkcje programowe oraz komunikacyjne. W zależności od wymogów konkretnej aplikacji, często istnieje konieczność analizy nie tylko obrazów 2D. Wiele firm dostarczających systemy wizyjne udostępnia też rozwiązania 3D, jak ma to miejsce w przypadku firm Cognex, czy SICK. W rodzinie rozwiązań irvision firmy Fanuc możemy wyróżnić zarówno rozwiązania 2D, jak i 2½D, na 3D kończąc. 4. INTEGRACJA SYSTEMU WIZYJNEGO Z ROBOTEM PRZEMYSŁOWYM System wizyjny, aby mógł być właściwie wykorzystany na stanowisku zrobotyzowanym, musi być poddany procesowi integracji. W tym celu konieczne jest zapewnienie z jednej strony komunikacji sprzętowej, zaś z drugiej strony integracji w zakresie określenia wspólnej przestrzeni roboczej i kalibracji systemu wizyjnego w tej przestrzeni tak, aby to, co widzi kamera, było poprawnie interpretowane przez system robota przemysłowego. Jednym z najpopularniejszych interfejsów wykorzystywanych do komunikacji pomiędzy systemem wizyjnym a robotem przemysłowym jest standard RS232. W przypadku większości systemów wizyjnych dla realizacji takiej komunikacji jest konieczny moduł wejść/wyjść stanowiący niejako bramę komunikacyjną pomiędzy systemem wizyjnym a robotem. Za pośrednictwem tego modułu, po wcześniejszej konfiguracji w dedykowanej aplikacji przesyłane są dane o pozycji i orientacji elementów wykrytych przez system wizyjny, jak również inne parametry istotne z punktu widzenia realizowanej aplikacji. Za pośrednictwem tego modułu mogą być również przesyłane informacje służące do zmiany programu czy też parametrów procesu wizyjnego realizowanego w systemie wizyjnym. Najczęściej tą drogą realizowane jest wyzwalanie procesu wizyjnego zachodzącego w sposób synchroniczny. 584
Rys. 4. System wizyjny COGNEX In-Sight 5100 oraz moduł wejść/wyjść model 1400 wykorzystywany do podłączenia systemu wizyjnego do robota przemysłowego (źródło: http://www.systemy-wizyjne.pl/produkty/systemy wizyjne/insight_5000_cognex.html) Integracja tego typu jak przedstawiona na przykładzie systemu firmy Cognex, jest typowa dla większości systemów wizyjnych. W niektórych przypadkach, jak w przypadku integracji systemu Cognex z robotami firmy Fanuc, istnieje jeszcze konieczność dodatkowego opracowania aplikacji w języku niskiego poziomu, jakim jest Karel. W większości przypadków kontrolerów robotów istnieje jednak możliwość pełnej integracji programowej na poziomie podstawowego języka programowania danego kontrolera. Rys. 5. Sposób komunikacji systemy Cognex z robotem przemysłowym FANUC LrMate 200iC W przypadku systemu irvision integracja sprzętowa sprowadza się do podłączenia kamery do kontrolera i uruchomienia modułu programowego znajdującego się na kontrolerze robota za pośrednictwem sieci Ethernet. Po zaprogramowaniu systemu wizyjnego za pośrednictwem komputera PC istnieje możliwość odłączenia PC i dalszej pracy w oparciu o kontroler robota, jak również podglądu obrazu na panelu TeachPendant. W najnowszych rozwiązaniach firmy FANUC całość procesu może być już realizowana za pośrednictwem TeachPendant, co możliwe jest dzięki zastosowaniu nowego panelu pracującego pod systemem operacyjnym Windows, wyposażonego w port USB, do którego można podłączyć myszkę komputerową, jak też posiadającego dotykowy ekran. 585
Rys. 6. Sposób komunikacji i wymiany informacji w systemie irvision firmy FANUC (programowanie systemu wizyjnego) Rys. 7. Sposób komunikacji i wymiany informacji w systemie irvision firmy FANUC (praca systemu wizyjnego) Integracja musi jednak obejmować również poziom programowy, w którym będzie dokonana konfiguracja komunikacji pomiędzy systemem wizyjnym a kontrolerem robota. W przypadku systemu Cognex jest to aplikacja In-Sight Explorer zawiera dwa środowiska zarządzania i programowania systemów wizyjnych In-Sight: EasyBuilder i Spreadsheer. EasyBuilder pozwala w łatwy sposób, krok po kroku zaprojektować aplikację wizyjną. EasyBuilder opiera się na interfejsie obrazu, gdzie wykonywane są czynności lokalizacji bądź kontroli za pomocą odpowiednich narzędzi. Rys. 8. Widok okna głównego programu In-Sight Explorer. Okno interfejsu EasyBuilder 586
Rys. 9. Okno interfejsu Spreadsheet Spreadsheet okno arkusza kalkulacyjnego środowiska In-Sight Explorer, służy do programowania projektowanej aplikacji wizyjnej. Arkusz kalkulacyjny zawiera szeroki wybór narzędzi znajdujących się w panelu Palette, z którego funkcje można zastosować w projekcie, wstawiając je metodą przeciągnij i upuść. Inne firmy produkujące systemy wizyjne dostarczają podobne rozwiązania jak firma Cognex. Przykładem może tutaj być firma SICK udostępniająca do swoich systemów wizyjnych aplikację IVC Studio, za pośrednictwem której istnieje możliwość zarówno konfiguracji komunikacji pomiędzy system wizyjnym i robotem przemysłowym, jak i opracowania programu, który zostanie następnie wgrany na kamerę. Rys. 10. Okno edycyjne programu IVC Studio 3.0 587
5. SYMULACJA IRVISION W ŚRODOWISKU ROBOGUIDE System irvision (Intgrated Robot Vision) jako jedyny system wizyjny zintegrowany z robotem przemysłowym posiada pełne możliwości jego symulacji w trybie off-line, co jest możliwe za pośrednictwem środowiska Roboguide. W wersji 7.0 Roboguide udostępniona została możliwość nakładania tekstur, dzięki czemu istnieje możliwość uczenia systemu wizyjnego na podstawie obrazów zarejestrowanych na rzeczywistym stanowisku za pośrednictwem fizycznej kamery. Rys. 11. Komórka zrobotyzowana w środowisku Roboguide z naniesionymi teksturami prezentującymi opakowania Pampers Rys. 12. Konfiguracja systemu irvision w środowisku Roboguide firmy FANUC (praca systemu wizyjnego) Większość opcji dostępnych dla rzeczywistego systemu, jak też dla systemu modelowanego w Roboguide jest zgodna. Istnieje nawet możliwość uwzględniania oświetlenia, choć nie ma 588
to bezpośredniego przełożenia na proces wizyjny na etapie symulacji. Rozwiązanie takie pozwala jednak na naukę programowania systemu wizyjnego, jak również całego procesu integracji w oderwaniu od fizycznego robota. Cały tok postępowania związany z kalibracją i programowaniem procesu wizyjnego jest realizowany identycznie jak ma to miejsce w przypadku rzeczywistego fizycznego systemu. Aplikacja jako jedyna tego typu na rynku umożliwia symulację pracy systemu wizyjnego 2D i 3D w połączeniu z pracą robota przemysłowego. 6. PODSUMOWANIE W artykule przedstawiono zagadnienia wykorzystania systemów wizyjnych na stanowiskach zrobotyzowanych. Integracja systemu wizyjnego z robotem przemysłowym, niezależnie od rodzaju systemu jest zagadnieniem złożonym, ponieważ musi uwzględniać wymianę informacji pomiędzy dwoma często zupełnie odrębnymi rozwiązaniami sprzętowymi i programowymi. Niektórzy producenci systemów wizyjnych, tak jak firma Cognex, opracowują i udostępniają integratorom gotowe interfejsy i wzorce programów pozwalających na odczyt danych przesyłanych przez system wizyjny. Pozwala to na znacznie szybszy proces integracji elementów stanowiska zrobotyzowanego, jak również uzyskanie większej elastyczności całego stanowiska. W chwili obecnej rozwiązania firmy Cognex stosowane mogą być praktycznie we współpracy z większością robotów przemysłowych dostępnych na rynku. Część firm produkujących roboty przemysłowe, takich jak ABB, Mitsubishi czy Kawasaki, standardowo do swoich stanowisk stosuje systemy wizyjne tej firmy. W przypadku firmy ABB opracowane zostały specjalistyczne aplikacje, takie jak PickMaster, pracujące po stronie robota przemysłowego, umożliwiające pełną integrację systemu wizyjnego ze środowiskiem programowania robota. Rozwiązania takie ograniczają się jednak zazwyczaj do pewnego zakresu operacji, w jakich może być wykorzystany system wizyjny. W przypadku PickMaster są to operacje związane z przenoszeniem, sortowaniem i pakowaniem. Zupełnie innym rozwiązaniem jest przedstawione w referacie rozwiązanie firmy Fanuc, która wiele lat temu zdecydowała się na budowę i integrację ze swoimi robotami własnego systemu wizyjnego. Na chwilę obecną można powiedzieć, iż system ten staje się porównywalny pod względem oferowanych funkcji związanych z przetwarzaniem i analizą obrazu z przodującymi rozwiązaniami z zakresu systemów wizyjnych takich firm, jak PPTVision, Cognex czy Keyence. Dodatkowo system irvision posiada jako jedyny pełną integrację z robotem przemysłowym, a jego programowanie w najnowszej odsłonie, kontrolerów robotów R30iB pozwala na programowanie przy wykorzystaniu panelu TeachPendant robotów Fanuc. Należy się spodziewać, że systemy wizyjne coraz częściej będą stanowiły element stanowisk zrobotyzowanych, gdyż pozwala to na zwiększenie elastyczności stanowisk, jak również w znacznej mierze upraszcza samą konstrukcję stanowiska. Obecny trend w robotyce prowadzi ku coraz większej inteligencji w sterowaniu robotem, a co za tym idzie wymusza zastosowanie dodatkowych elementów sensorycznych. Systemy wizyjne jako jedyne dostarczają takiej ilości informacji i to zarówno 2D, jak i 3D. Obecnie systemy wizyjne wykorzystywane są już niemal we wszystkich aplikacjach zrobotyzowanych. Praca naukowa finansowana ze środków na naukę w latach 2010-2012 jako projekt rozwojowy. 589
LITERATURA [1] Koch T.: Systemy zrobotyzowanego montażu, Oficyna Wydawnicza Politechniki Wrocławskiej, Wrocław, 2006. [2] Zdanowicz R.: Robotyzacja procesów wytwarzania, Wydawnictwo Politechniki Śląskiej, Gliwice, 2007. [3] Fanuc Robot series R-30iA CONTROLLER irvision 2D Vision START-UP GUIDANCE. FANUC LTD, 2008. [4] Fanuc Robot series R-30iA CONTROLLER irvision OPERATOR S MANUAL. FANUC LTD, 2008. 590