PROCEDURA TESTOWA WIZYJNYCH SYSTEMÓW BEZPIECZEŃSTWA OPARTA NA WYKORZYSTANIU SYNTETYCZNYCH OBRAZÓW

Transkrypt

1 Dr hab. inż. Andrzej GRABOWSKI, profesor CIOP-PIB Mgr inż. Jarosław JANKOWSKI Centralny Instytut Ochrony Pracy Państwowy Instytut Badawczy, Pracownia Technik Rzeczywistości Wirtualnej PROCEDURA TESTOWA WIZYJNYCH SYSTEMÓW BEZPIECZEŃSTWA OPARTA NA WYKORZYSTANIU SYNTETYCZNYCH OBRAZÓW Streszczenie: W pracy przedstawiona jest metoda umożliwiająca wykorzystanie nowoczesnych technik rzeczywistości wirtualnej do testowania optoelektronicznych urządzeń ochronnych wyposażonych w układ wizyjny VBPD (ang. Vision Based Protective Devices). Wykorzystanie tej metody pozwoli na znaczące przyspieszenie i ułatwienie badań algorytmów analizy obrazu stosowanych w VBPD. THE TEST PROCEDURE OF VISION BASED SAFETY SYSTEMS BASED ON THE USE OF ARTIFICIAL IMAGES Abstract: The paper describes a method that allows the use of virtual reality techniques for testing optoelectronic protective devices equipped with a video system (often called Vision-Based Protective Devices VBPD). Using this method allows to facilitate and accelerate research in the field of image analysis algorithms used in VBPD. Słowa kluczowe: systemy wizyjne, systemy bezpieczeństwa, rzeczywistość wirtualna Keywords: vision systems, safety systems, virtual reality 1. WPROWADZENIE W ostatnich latach można zaobserwować powszechny trend do takiej modyfikacji urządzeń niezwiązanych z zagadnieniami bezpieczeństwa, aby można je było zastosować w systemach bezpieczeństwa [1]. Dobrym przykładem są właśnie powszechnie stosowane w przemyśle kamery, m.in. do kontroli jakości produkcji. Kamery są wykorzystywane również np. na zrobotyzowanym stanowisku przenoszącym, gdzie system wizyjny rozpoznaje i na bieżąco analizuje położenie elementów, przekazując niezbędne informacje do układu sterowania trajektorią ruchu i położeniem końcówki robota. Do najczęstszych zastosowań systemów wizyjnych wymienianych w literaturze należy wykrywanie obecności osób w określonej strefie [1, 2] oraz umożliwienie bezpiecznej współpracy człowieka z robotem przemysłowym [3-6]. W ostatnich latach można zaobserwować w literaturze dużą liczbę prac dotyczących badania systemów optoelektronicznych [7-11], jednakże ze względu na swoją specyfikę systemy wyposażone w układ wizyjny wymagają przygotowania nowych metod prowadzenia badań. 221

2 Urządzenia ochronne, ze względu na istotną rolę, jaką odgrywają w zapobieganiu wypadkom przy obsłudze maszyn, wymagają stosowania szczególnych procedur badań i oceny ich parametrów. Dlatego też zostały one objęte zakresem dyrektywy maszynowej 2006/42/WE. Dyrektywa ta wymaga, aby maszyny i urządzenia ochronne przed wprowadzeniem na rynek lub do użytkowania poddane były procedurom oceny zgodności. Ponadto procedura testów powinna być zgodna również z wymaganiami raportu technicznego IEC/TR :2007 Safety of machinery Electro-sensitive protective equipment Part 4: Particular requirements for equipment using vision based protective devices (VBPD), specyfikującego szczegółowe wymagania dotyczące wyłącznie systemów wizyjnych. Wśród testów systemów wizyjnych (VBPD Vision Based Protective Devices), jakie powinny być przeprowadzone, możemy wyróżnić następujące grupy: testy funkcjonalne dotyczące funkcji wykrywania (Tabela 1, punkty 1-4,13-16), testy środowiskowe (tabela 1, punkty 5-11), testy dotyczące wpływu zakłóceń oświetlenia na funkcję wykrywania (tabela 1, punkt 12) oraz testy związane z wyznaczeniem rozmiaru strefy tolerancji. Dodatkowo testy 1-4 z tabeli 1 powinny być powtarzane dla różnych wartości natężenia oświetlenia (minimalnej oraz maksymalnej). Tabela 1. Zestawienie testów, jakim poddawane powinny być VBPD. Oznaczenia: GB szare tło, WTP biały obiekt próbny, GTP szary obiekt próbny, BTP czarny obiekt próbny, RRTP obiekt próbny o odblaskowej powierzchni Lp. cel testu Warunki testu Odległość obiektu próbnego od VBPD oraz jego umiejscowienie Maksymalna średnia minimalna Centrum obrazu Róg obrazu Centrum obrazu Róg obrazu Centrum obrazu GB, GTP GB, GB, GTP GB, GB, GTP GTP GTP GB, BTP GB, GB, BTP GB, GB, BTP BTP BTP GB, GB, 1 Funkcja wykrywania Prędkość obiektu od 0m/s do 2m/s 2 Funkcja wykrywania Prędkość obiektu od 0m/s do 2m/s 3 Funkcja wykrywania Prędkość obiektu od 0m/s do 2m/s WTP 4 Funkcja wykrywania Prędkość obiektu GB, GB, GB, od 0m/s do 2m/s RRTP RRTP RRTP 5 Zużycie elementów VBPD 6 Odporność na 0 C zmiany temperatury 7 Odporność na 50 C zmiany temperatury 8 Odporność na zmiany wilgotności 9 Zakłócenia elektryczne 10 Wibracje 11 Uderzenie 12 Zakłócenia oświetlenia 13 Zabrudzenie układu optycznego 14 Zanieczyszczenia w dym, pył, mgła. strefie wykrywania 15 Ręczne zakłócenia 16 Przesłanianie optyczne WTP GB, RRTP GB, RRTP Róg obrazu GB, GTP GB, BTP GB, RRTP Testy związane z wpływem zakłóceń oświetlenia dotyczą przede wszystkim wpływu: światła stroboskopowego, żarowego, fluoroscencyjnego, laserowego oraz wpływu zmiany natężenia 222

3 oświetlenia. Większość testów powinna być wykonana dwukrotnie, gdy dodatkowe źródło światła jest skierowane na tło (podłogę) lub w stronę VBPD. Testy związane z wyznaczeniem rozmiaru strefy tolerancji polegają na wykonaniu dużej liczby pomiarów dla obiektu próbnego znajdującego się w pobliżu granicy strefy wykrywania. Dla każdego położenia obiektu należy wykonać co najmniej 10 4 różnych testów, a położenie obiektu powinno być zmieniane, tak aby oszacować prawdopodobieństwo wykrycia w różnych odległościach od granicy strefy wykrywania (zarówno wewnątrz, jak i na zewnątrz strefy wykrywania). 2. ZAKRES BADAŃ, JAKIE MOGĄ BYĆ WYKONANE Z WYKORZYSTANIEM TECHNIK RZECZYWISTOŚCI WIRTUALNEJ Techniki rzeczywistości wirtualnej mogą być zastosowane w przypadku tych testów, których wykonuje się najwięcej i są najbardziej czasochłonne. W szczególności chodzi tu o testy dotyczące funkcji wykrywania (testy 1-4 z tabeli 1), testy dotyczące zakłóceń w obrazie (testy z tabeli 1, zakłócenia te polegają m.in. na przesłonięciu jednego z obiektywów VBPD), testy dotyczące wyznaczenia rozmiaru strefy tolerancji oraz testy dotyczące wpływu zakłóceń oświetlenia (punkt 12 w tabeli 1). Jednakże w przypadku tych ostatnich nie jest możliwe pełne zasymulowanie wpływu układu optycznego VBPD, tzn. jeżeli system przejdzie poprawnie testy z wykorzystaniem obrazów syntetycznych, należy powtórzyć te testy w warunkach rzeczywistych. Techniki rzeczywistości wirtualnej nie umożliwiają zasymulowania efektów testów środowiskowych (np. zmiany temperatury i wilgotności), wobec czego testów z numerami 5-11 z tabeli 1 nie można wykonać z wykorzystaniem tych technik. 3. PROCEDURA PRZYGOTOWANIA SYNTETYCZNYCH OBRAZÓW Schemat przedstawiający procedurę przygotowania syntetycznych obrazów do badań optoelektronicznego urządzenia ochronnego wyposażonego w układ wizyjny zawiera rys. 1. W pierwszej kolejności należy przygotować kamery do przeprowadzenia rekonstrukcji 3D stanowiska pracy [12, 13], w szczególności należy przeprowadzić kalibrację kamer. Zebrana dokumentacja fotograficzna jest podstawą do przygotowania komputerowego modelu miejsca pracy, który może być następnie zintegrowany z komputerowymi modelami obiektów próbnych oraz komputerowym modelem pracownika. Dopiero tak przygotowane syntetyczne obrazy mogą zostać wykorzystane do testowania algorytmów optoelektronicznego urządzenia ochronnego wyposażonego w układ wizyjny, tzn. na przeprowadzenie części badań funkcjonalnych. Działania opisane w punktach 1-5 należy wykonać tylko raz, gdyż uzyskane w ten sposób modele mogą być wykorzystane wielokrotnie do testowania różnych systemów bezpieczeństwa. 4. METODA TESTOWANIA ALGORYTMÓW OPTOELEKTRONICZNYCH URZĄDZEŃ OCHRONNYCH WYPOSAŻONYCH W UKŁAD WIZYJNY Przed przygotowaniem syntetycznych obrazów przeznaczonych do testów należy określić parametry układu optycznego optoelektronicznego urządzenia ochronnego wyposażonych w układ wizyjny. Procedura kalibracji kamer została opisana m.in. w pracach [12, 13]. 223

4 Najważniejszymi parametrami niezbędnymi do przygotowania obrazów syntetycznych są rozdzielczość oraz pole widzenia FoV (Field of View) rys. 2. Niezmierne ważne jest również określenie zakresu zakłóceń (szumów) pochodzących od elementów światłoczułych kamery. Procedura wyznaczenia poziomu szumów jest następująca: wykonujemy co najmniej 10 4 ujęć jednorodnego tła przy niezmiennych warunkach oświetlenia wyznaczamy wartość średnią dla każdego piksela obrazu, niezależnie dla każdego kanału w przypadku kamer kolorowych uzyskany rozkład odchyleń należy dopasować do rozkładu Gaussa (rozkładu normalnego), niezależnie dla każdego kanału w przypadku kamer kolorowych Opisaną powyżej procedurę powtarzamy dla trzech różnych rodzajów tła: jasnego, ciemnego i pośredniego. Następnie każdy przygotowany obraz syntetyczny powinien być zmodyfikowany tak, aby uwzględnić poziom szumów elementów światłoczułych kamery do wartości jasności każdego piksela powinna zostać dodana wartość z rozkładu Gaussa o parametrach wyznaczonych na podstawie wcześniejszych testów. Dodatkowo parametry rozkładu powinny być dobrane z uwzględnieniem jasności piksela spośród trzech rozkładów wyznaczonych dla trzech rodzajów tła powinien zostać wybrany ten, którego wartość średnia jest najbliższa jasności piksela. 1. Przygotowanie kamer do rekonstrukcji 3D stanowiska pracy 2. Przeprowadzenie kalibracji kamer 3. Zebranie dokumentacji fotograficznej przedstawiającej miejsce pracy 4. Przygotowanie fotorealistycznego komputerowego modelu miejsca pracy 5. Wzbogacenie komputerowego modelu miejsca pracy o obiekty próbne oraz komputerowy model pracownika 6. Przygotowanie syntetycznych obrazów przeznaczonych do testowania optoelektronicznych urządzeń ochronnych wyposażonych w układ wizyjny 7. Przeprowadzenie badań funkcjonalnych VBPD Rys. 1. Schemat ukazujący pełną procedurę przygotowania syntetycznych obrazów do testów oraz przeprowadzenie testów optoelektronicznego urządzenia ochronnego wyposażonego w układ wizyjny 224

5 MECHANIK 7/2013 Rys. 2. Ta sama scena przygotowana dla różnych wartości parametru opisującego pole widzenia (FoV Field of View) kamer kolejno od góry do dołu: 40, 80 i 120 stopni Testy będą (rys. 3): a) b) c) prowadzone dla różnych położeń obiektu próbnego w obrębie strefy wykrywania w maksymalnej odległości od kamer (na granicy strefy wykrywania), w minimalnej odległości od kamer (na granicy strefy wykrywania), w pośredniej odległości od kamer, pomiędzy odległością a maksymalną. 225 minimalną

6 Procedurę testów wykonujemy dla następujących typów obiektów próbnych: obiekt próbny typu I cylinder o średnicy 14 mm używany w przypadku, gdy producent deklaruje, że VBPD jest w stanie wykrywać położenie palców dłoni, obiekt próbny typu II - ścięty stożek o mniejszej średnicy 20 mm, większej średnicy 40 mm i długości 160 mm, gdy producent deklaruje, że VBPD jest w stanie wykrywać położenie dłoni, obiekt próbny typu III ścięty stożek o mniejszej średnicy 40 mm, większej średnicy 55 mm i długości 175 mm wraz z cylindrem o średnicy 55 mm i długości 260 mm (całkowita długość 435 mm), gdy producent deklaruje, że VBPD jest w stanie wykrywać położenie ręki, obiekt próbny typu IV ścięty stożek o mniejszej średnicy 50 mm, większej średnicy 117 mm i długości 1000 mm, gdy producent deklaruje, że VBPD jest w stanie wykrywać położenie nogi, obiekt próbny typu V sfera o średnicy 200 mm, obiekt próbny typu VI sześcian o boku o długości 150 mm. strefa ograniczonego wykrywania strefa wykrywania układ wizyjny b) minimalna odległość od kamer w obrębie strefy wykrywania c) pośrednia odległość od kamer w obrębie strefy wykrywania a) maksymalna odległość od kamer w obrębie strefy wykrywania Rys. 3. Umiejscowienie obiektu próbnego w obrębie strefy wykrywania 226

7 Rys. 4. Przykładowe zdjęcie obiektu oświetlonego dodatkowym deseniem zwiększającym kontrast W przypadku systemów, które korzystają z techniki PAPT (pattern projection technique), która polega na wyświetleniu specjalnych deseni w celu zwiększenia kontrastu w obrazie obserwowanym przez kamery, desenie te powinny być dodane do obrazów syntetycznych (rys. 4). 5. PODSUMOWANIE Osiągnięcie niezakłóconej pracy w przemyśle wymaga zastosowania różnych typów systemów bezpieczeństwa wykrywających obecność pracownika. Konieczne to jest zwłaszcza w przypadku, gdy obszary pracy maszyny i człowieka nie mogą być od siebie całkowicie odseparowane. Klasyczne systemy bezpieczeństwa, takie jak maty czułe na nacisk, kurtyny świetlne oraz lasery skanerowe mają pewne wady, w szczególności uniemożliwiają bądź poważnie utrudniają pracę w pobliżu maszyny (np. robota), nawet w obszarze odległym od ruchomych elementów, co może przyczyniać się do spadku wydajności pracy. Ponadto w przypadku skanerów laserowych i kurtyn świetlnych skanowana przestrzeń ograniczona jest do jednej płaszczyzny (warto zaznaczyć, że systemy wyposażone w kamery są tego ograniczenia pozbawione). Badania optoelektronicznych urządzeń ochronnych wyposażonych w układ wizyjny (VBPD Vision Based Protective Devices) wymagają odpowiedniego przygotowania strefy obserwowanej przez kamery. W strefie tej umieszczane są różne obiekty (próbniki), których obecność powinna być wykryta przez VBPD. Trudności związane z przygotowaniem dużej liczby próbników charakteryzujących się różnym kształtem, rozmiarem oraz nałożoną teksturą) oraz przeprowadzeniem dużej liczby testów (co jest powiązane między innymi z badaniami wpływu prędkości przemieszczania się próbnika na działanie systemu bezpieczeństwa) można rozwiązać dzięki zastosowaniu nowoczesnych technik rzeczywistości wirtualnej. W tym celu w rzeczywistości wirtualnej odwzorowane zostają wybrane elementy środowiska pracy, których właściwości (np. rozmiar, kształt, tekstura, prędkość) będą mogły być w łatwy sposób modyfikowane. Takie podejście ułatwi i znacznie przyspieszy procedurę testów VBPD. 227

8 Zastosowanie nowoczesnych optoelektronicznych urządzeń ochronnych wyposażonych w układ wizyjny, posiadających lepsze możliwości wykrywania sytuacji niebezpiecznych na stanowiskach pracy w porównaniu do obecnie stosowanych urządzeń, przyczyni się do ograniczenia ryzyka wypadkowego na tych stanowiskach. Wizyjne systemy ochronne wymagają udziału jednostki notyfikowanej w procesie oceny zgodności. W Polsce jednostką notyfikowaną do oceny urządzeń ochronnych jest między innymi CIOP-PIB. Oznacza to, że CIOP-PIB zobowiązany jest dysponować zapleczem i kompetencjami do oceny takich urządzeń. Ponieważ wizyjne systemy ochronne są urządzeniami nowej generacji, brak jest jeszcze metod ich badania i oceny. Opracowanie i zweryfikowanie takiej metody jest celem prac prowadzonych w CIOP-PIB. Publikacja opracowana na podstawie wyników II etapu programu wieloletniego pn. Poprawa bezpieczeństwa i warunków pracy w latach dofinansowywanego w zakresie służb państwowych ze środków Ministerstwa Pracy i Polityki Społecznej. Koordynator programu: Centralny Instytut Ochrony Pracy Państwowy Instytut Badawczy. LITERATURA [1] Gardeux F.: Detection of persons based on digital vision: advantages and limits, INRS, HST, ND, , [2] Lu J., Hamajima K., Jiang W.: Monitoring a wide manufacture field automatically by multiple sensors, Acta Autom. Sin. 32, , [3] Cervera E., Garcia-Aracil N., Martinez E., Nomdedeu L., Del Pobil A.: Safety for a robot arm moving amidst humans by using panoramic vision, In: IEEE International Conference on Robotics and Automation, art. no , pp [4] Kruger J., Nickolay V., Schulz O.: Image-based 3D-surveillance in man-robot cooperation, In: 2nd IEEE International Conference on Industrial Informatics, Berlin, pp , [5] Hagele M., Schaaf W., Helms E.: Robot assistants at manual workplaces: effective cooperation and safety aspects, In: Proceedings of the 33rd ISR (International Symposium onrobotics), [6] Grabowski A., Kosiński R.A., Dźwiarek M.: Vision safety system based on cellular neural networks, Machine Vision and Applications, DOI /s , [7] Dźwiarek M.: A method for Response Time Measurement of Electrosensitive Protective Devices, International Journal of Occupational Safety and Ergonomics, vol. 2, no. 3, [8] Dźwiarek M.: Measurement of the response time of an electrosensitive protective device in the process of its certification, International Journal of Occupational Safety and Ergonomics, Special Issue, 2000, [9] Dźwiarek M., Strawiński T.: Wymagania bezpieczeństwa dla wybranych urządzeń ochronnych, Bezpieczeństwo Pracy, 7-8/2000, 1-5. [10] Dźwiarek M.: An analysis of Accident Caused by Improper Functioning of Machine Control Systems, International Journal of Occupational Safety and Ergonomics, vol. 10, no. 2, 2004,

9 [11] Dźwiarek M.: Basic Principles for Protective Equipment Application. In: Handbook of Occupational Safety and Health Koradecka D. (ed.) CRC Press, Taylor & Francis Group, LCC, 2010, pp [12] Grabowski A.: Rekonstrukcja 3D jako narzędzie do wspomagania projektowania wirtualnych środowisk, Mechanik, 7/2012, [13] Grabowski A.: Wykorzystanie otwartego oprogramowania do rekonstrukcji stanowisk pracy, Pomiary Automatyka Robotyka, 2/2012, s

10 230