Sieciowe Sterowanie Robotem Przemysłowym KUKA KR3 Sprzężonego z Systemem Wizyjnym oraz Systemem Rozpoznawania Mowy

Transkrypt

1 Sieciowe Sterowanie Robotem Przemysłowym KUKA KR3 Sprzężonego z Systemem Wizyjnym oraz Systemem Rozpoznawania Mowy Jakub Machnik, Michał Grycman, Mateusz Konieczny Politechnika Śląska, Gliwice, Polska {jakumac939, michgry907, matekon832}@student.polsl.pl Abstract. Artykuł ten przedstawia wyniki projektu wykonanego w ramach studenckiego koła naukowego. Głównym założeniem projektu było stworzenie systemu integrującego robota przemysłowego z kamerą oraz systemem rozpoznawania mowy. Użytkownik za pomocą mowy wydaje polecenia głosowe, nakazujące robotowi przeniesienie określonych przedmiotów w inne miejsca. Zadane przedmioty są następnie wykrywane na stole roboczym, obliczane są ich współrzędnie, które są wysyłane do sterownika robota. Ten z kolei wykonuje sekwencję ruchów pozwalającą na zmianę położenia określonych przedmiotów. 1 Wprowadzenie W jakim miejscu znajdował by się obecnie światowy przemysł gdybyśmy nie dysponowali robotami przemysłowymi? Bez wątpienia istotną rolę w obecnych zakładach pracy pełnią właśnie roboty przemysłowe, które cechują się wysoką precyzją, bardzo dobrą powtarzalnością a dodatkowo mogą pracować w trudnych warunkach środowiskowych. Tak naprawdę sam manipulator to tylko połowa sukcesu. Doposażenie takiego robota w narząd "wzroku i słuchu " czyni go bardzo inteligentnym narzędziem. Wykonanie ściśle określonej czynności przez robota wymagałoby minimalnej ingerencji ze strony operatora. Idealną sytuacją byłoby stworzenie takiego systemu, w którym wydanie polecenia głosowego przez osobę nadzorującą wiązało się z automatyczną pracą robota(tj. detekcja przedmiotu + wykonanie ruchu).

2 2 Jakub Machnik, Michał Grycman, Mateusz Konieczny 2 Założenia Projektu Głównym założeniem projektu było stworzenie systemu wizyjnego oraz systemu rozpoznawania mowy dedykowanego dla robota przemysłowego KUKA KR3. Robot ten(a dokładnie sterownik robota) jest połączony z komputerem nadrzędnym za pomocą protokołu TCP/IP. Celem komputera nadrzędnego jest integracja systemu wizyjnego(w skład którego wchodzą 2 kamery) oraz systemu rozpoznawania mowy. Komputer ten posiada także odpowiednie oprogramowanie, za pomocą którego dane otrzymywane z kamery i mikrofonu są przetwarzane, a specjalny algorytm steruje pracą robota. Główne etapy na jakie został podzielony projekt: Stworzenie wielowątkowej aplikacji sieciowej typu klient-serwer do sterowania robotem przemysłowym KUKA KR3. Rolę serwera pełnić będzie sterownik robota. Klientem będzie dowolny komputer z odpowiednim oprogramowaniem, połączony za pomocą sieci Ethernet ze sterownikiem. Implementacja systemu wizyjnego. System ten będzie odpowiedzialny za przechwytywanie obrazu z kamer oraz jego obróbkę w celu uzyskania współrzędnych opisujących położenie przedmiotów w przestrzeni roboczej manipulatora. Implementacja systemu rozpoznawania mowy. Głównym zadaniem będzie rozpoznawanie poleceń wypowiadanych przez operatora systemu. 3 Główna Aplikacja Podstawą do wykonania niniejszego projektu jest aplikacja sieciowa do zdalnego sterowania robotem przemysłowym KUKA KR3. Łączność pomiędzy aplikacją serwera i klienta ta została oparta na protokole TCP/IP z wykorzystaniem mechanizmu SOCKETów. Program serwera został napisany w języku C++ z wykorzystaniem biblioteki MFC. Wybór takiego a nie innego języka programowania był podyktowany faktem, iż biblioteka do obsługi robota KUKA została napisana właśnie w języku C++. Oczywistą sprawą było zapewnienie wielowątkowości, umożliwiającej jednoczesne sterowanie robotem i odbieranie wiadomości od klientów. W odróżnieniu od programu serwera, część kliencką zdecydowano się pisać

3 Sieciowe Sterowanie Robotem Przemysłowym KUKA KR w języku C#, biorąc pod uwagę późniejszą implementację systemu wizyjnego oraz systemu rozpoznawania mowy. 4 System Wizyjny Głównym elementem systemu wizyjnego jest kamerka internetowa Logitech C270 o rozdzielczości 720p przetwarzająca obraz z szybkością 30 klatek na sekundę. Drugim elementem systemu jest odpowiednie oprogramowanie. W tym celu wykorzystaliśmy bibliotekę OpenCV, która cechuje się wysoką wydajnością oraz sporą liczbą budowanych mechanizmów. Niewątpliwą zaletą tej biblioteki jest możliwość przetwarzania obrazu w "locie" czyli bezpośrednio strumienia wideo z kamery. Poniższy schemat prezentuje uproszczony algorytmu wykrycia obiektu: Fig. 1. Algorytm rozpoznawania obiektów Wynikiem przetworzenia obrazu z kamery są współrzędne obiektu podane w pikselach. Muszą zostać one przeliczone na współrzędne kartezjańskie, które odpowiadają współrzędnym znajdującym się w przestrzeni roboczej robota.

4 4 Jakub Machnik, Michał Grycman, Mateusz Konieczny Dodatkowo za pomocą wbudowanych funkcji mogliśmy obliczyć środki ciężkości zidentyfikowanych obiektów. W celu wizualizacji aktualnie przetwarzanego obiektu wykorzystaliśmy funkcję 'Draw' do wyrysowania w czasie rzeczywistym obwodu wykrytej figury. Fig. 2.Wykryty obiekt widziany przez system wizyjny 5 System Rozpoznawania Mowy Rozpoznawanie mowy zostało oparte na bibliotece System.Speech dostępnej w angielskiej wersji systemu Windows 7. System rozpoznawania mowy pozwala na bezdotykowe sterowanie robotem KUKA KR3. By zwiększyć dokładność działania systemu zbiór wyrazów rozpoznawanych został zawężony do kilkunastu, niezbędnych do działania aplikacji. Dzięki temu uniknęliśmy błędnego rozpoznania wyrazów, spowodowanego akcentem, osoby wypowiadającej słowa. Przykłady rozpoznawanych słów przez aplikację: "square" - po wypowiedzeniu tego słowa, system wizyjny znajduje na stole roboczym figurę o kształcie kwadratu, wyznacza współrzędne krawędzi, a następnie wyznaczane są współrzędne środka ciężkości figury "base one" - stwierdzenie to oznacza wybranie zdefiniowanej bazy jako punktu końcowego, do którego zostanie przeniesiony obiekt "start" - inicjalizuje przeniesienie przedmiotu do miejsca zdefiniowanego przez użytkownika

5 Sieciowe Sterowanie Robotem Przemysłowym KUKA KR Wnioski W ramach projektu został wykonany program do komunikacji sieciowej z robotem przemysłowym. Komunikacja na podstawie protokołu TCP/IP w sieci Ethernet okazała się być wystarczająco szybka do naszych celów. W kolejnych etapach program ten został doposażony w elementy pozwalające na detekcję obrazu(konkretnie przedmiotów na stole roboczym). Moduł ten został oparty na bibliotece OpenCV. W podstawowej wersji naszego programu, wykrywane są takie obiekty jak: trójkąt, kwadrat, prostokąt, okrąg czy trapez. W przyszłości istnieje możliwość rozbudowy tej grupy o bardziej rozbudowane i skomplikowane kształty odpowiadające takim przedmiotom jak wkrętarka czy nożyczki. Całość systemu jest sterowana głosem osoby operującej urządzeniem. Do tych celów wykorzystaliśmy bibliotekę System.Speech zawierającą spory zestaw zdefiniowanych "szablonów". Przygotowany przez nas projekt oferuje bardzo duże możliwości pod względem wykorzystania go do celów praktycznych takich jak: asystowanie w zabiegach chirurgicznych, przenoszenie i dozowanie substancji niebezpiecznych czy też montaż urządzeń elektronicznych. Informacja o finansowaniu. Praca współfinansowana przez Unię Europejską ze środków Europejskiego Funduszu Społecznego w ramach projektu Wiedza i doświadczenie projektowe wizytówką absolwenta kierunku automatyka i robotyka na Wydziale Automatyki, Elektroniki i Informatyki Politechniki Śląskiej nr POKL /10. Bibliografia 1. W. Kasprzak, Rozpoznawanie obrazów i sygnałów mowy, Warszawa R. Tadeuszewicz, Systemy wizyjne robotów przemysłowych, Warszawa T.Szkodny, Kinematyka robotów przemysłowych, Gliwice MSDN, Dokumentacja [Dok. elektr.]. [dostęp ]. Dostępny w internecie: 5. OpenCV, Dokumentacja [Dok. elektr.]. [dostęp ]. Dostępny w internecie:

6 6 Jakub Machnik, Michał Grycman, Mateusz Konieczny