ALGORYTMY APROKSYMACYJNEGO PROGRAMOWANIA DYNAMICZNEGO W GENEROWANIU I REALIZACJI TRAJEKTORII RUCHU ROBOTA MOBILNEGO PIONEER 2-DX

Transkrypt

1 MODELOWANIE INŻYNIERSKIE nr 51, ISSN X ALGORYTMY APROKSYMACYJNEGO PROGRAMOWANIA DYNAMICZNEGO W GENEROWANIU I REALIZACJI TRAJEKTORII RUCHU ROBOTA MOBILNEGO PIONEER 2-DX Marcin Szuster 1a 1 Katedra Mechaniki Stosowanej i Robotyki, Politechnika Rzeszowska a mszuster@prz.edu.pl Streszczenie W pracy przedstawiono nowe podejście do generowania i realizacji ruchu mobilnego robota kołowego z zastosowaniem algorytmów aproksymacyjnego programowania dynamicznego (APD). Zaproponowano hierarchiczny układ sterowania ruchem robota w nieznanym środowisku ze statycznymi przeszkodami, składający się z warstwy generowania trajektorii oraz warstwy realizacji ruchu. W warstwie generowania trajektorii zrealizowano dwa podstawowe zadania: podążaj do celu, oraz omijaj przeszkody, stosując algorytmy APD w konfiguracji zależnego od sterowania heurystycznego programowania dynamicznego. Wygenerowana trajektoria ruchu jest realizowana przez układ sterowania ruchem nadążnym, w którym zastosowano algorytm dualnego heurystycznego programowania dynamicznego. Weryfikację algorytmu sterowania przeprowadzono z zastosowaniem robota Pioneer 2-DX. Słowa kluczowe: aproksymacyjne programowanie dynamiczne, mobilny robot kołowy, sieci neuronowe, sterowanie behawioralne, sterowanie nadążne. APPROXIMATE DYNAMIC PROGRAMMING ALGORITHMS IN GENERATING AND REALISATION OF THE WHEELED MOBILE ROBOT PIONEER 2-DX TRAJECTORY Summary In the article a new approach to generating and realisation of the trajectory of the Wheeled Mobile Robot is presented. In this approach Approximate Dynamic Programming (APD) algorithms were used. The hierarchical control system of the WMR movement in the unknown environment with static obstacles was proposed. It consists of two layers: the trajectory generating layer and the tracking control layer. In the trajectory generating layer two basic tasks: the goal seeking task and the obstacle avoiding task, were realised. APD algorithms in the Action Dependant Heuristic Dynamic Programming configuration were used. Using the tracking control system the trajectory is realised. In the tracking control system APD algorithm in the Dual Heuristic Dynamic Programming configuration was used. Using the WMR Pioneer 2-DX verification of the proposed hierarchical control system was performed. Keywords: approximate dynamic programming, behavioral control, neural networks, wheeled mobile robot, tracking control. 100

2 Marcin Szuster 1. WSTĘP Generowanie w czasie rzeczywistym trajektorii ruchu mobilnego robota kołowego (MRK), z jej jednoczesną realizacją, jest złożonym problemem wymagającym zastosowania odpowiednich algorytmów sterowania [1,2,3,4,,12,13], korzystających z informacji z układu sensorycznego robota. Zazwyczaj problem ten dekomponuje się na dwa zadania realizowane przez dedykowane algorytmy, tworzące warstwy układu sterowania, z których jedna pełni rolę nadrzędną w stosunku do drugiej. Warstwa planowania trajektorii ruchu na podstawie informacji o stanie otoczenia robota generuje trajektorię ruchu, która jest realizowana przez warstwę sterowania ruchem nadążnym. Zadaniem tej warstwy jest wygenerowanie sygnałów sterowania silnikami, zapewniających realizację zadanej trajektorii z minimalnymi wartościami błędów nadążania. Takie podejście do problemu generowania trajektorii jest charakterystyczne dla tzw. metod lokalnych planowania trajektorii, w których proces generowania trajektorii ruchu odbywa się na podstawie ograniczonej wiedzy o stanie otoczenia robota, dostarczanej przez układ sensoryczny. Drugim typem metod generowania trajektorii ruchu MRK są tzw. metody globalne, które umożliwiają wyznaczanie trajektorii ruchu robota na podstawie znajomości mapy otoczenia. W przypadku tych metod proces generowania trajektorii może się odbywać off-line, jednak ich wadą jest brak możliwości zastosowania w zadaniu planowania trajektorii ruchu w nieznanym środowisku. Wady tej pozbawione są metody lokalne, umożliwiające jednoczesne generowanie i realizację trajektorii, na podstawie informacji z układu sensorycznego. Przykładami takich metod są algorytmy sterowania behawioralnego, których idea wywodzi się z obserwacji świata zwierząt. Polegają one na realizacji elementarnych zadań typu podążaj do celu (GS, ang. Goal Seeking), czy omijaj przeszkody (OA, ang. Obstacle Avoiding) przez robot. Pierwsze z zadań polega na wygenerowania sterowania behawioralnego, które umożliwia wyznaczenie zadanych parametrów ruchu kół MRK, których realizacja powoduje przemieszczenie MRK z położenia początkowego, do zadanego celu we współrzędnych mapy, przy czym lokalizacje przeszkód nie są brane pod uwagę. W zadaniu typu OA, na podstawie pomiarów układu sensorycznego MRK, generowana jest bezkolizyjna trajektoria ruchu robota. Realizując trajektorię MRK, zajmuje środek dostępnej wolnej przestrzeni, przy czym nie jest możliwe zadanie celu ruchu. Realizacja tak skomplikowanych zadań, jak generowanie trajektorii ruchu, czy realizacja ruchu nadążnego MRK, wymaga zastosowania złożonych metod. Z tego powodu w algorytmach sterowania robotów stosowane są nowoczesne metody sztucznej inteligencji (AI, ang. Artificial Intelligence) [2,3,,13], takie jak algorytmy z logiką rozmytą (FL, ang. Fuzzy Logic System) czy sztuczne sieci neuronowe (SN, ang. Neural Networks). W ostatnich latach można również zaobserwować wzrost zainteresowania algorytmami aproksymacyjnego programowania dynamicznego (APD, ang. Approximate Dynamic Programming), nazywanymi również algorytmami neuronowego programowania dynamicznego (NPD, ang. Neuro-Dynamic Programming). Ich idea bazuje na programowaniu dynamicznym Bellmana, które w połączeniu z możliwościami aproksymacji nieliniowych przebiegów przez SN z zadaną dokładnością, umożliwiają generowanie sterowania suboptymalnego w procesach on-line. W prezentowanym w artykule hierarchicznym układzie sterowania ruchem MRK Pioneer 2-DX zastosowano algorytmy APD. W warstwie generowania trajektorii ruchu, w zadaniach typu GS i OA, zastosowano algorytmy zależnego od sterowania heurystycznego programowania dynamicznego (ADHDP, ang. Action Dependant Heuristic Dynamic Programming), w warstwie realizacji ruchu algorytm dualnego heurystycznego programowania dynamicznego (DHP, ang. Dual- Heuristic Dynamic Progrmming). Wyniki prac prezentowane w artykule stanowią kontynuację wcześniejszych prac autora, związanych z algorytmami generowania trajektorii ruchu MRK [9,10,11] oraz układami realizacji ruchu nadążnego [8], w których zastosowano metody AI. Artykuł składa się z następujących części: w części pierwszej zawarto wprowadzenie w tematykę badań, w części drugiej przedstawiono obiekt sterowania, MRK Pioneer 2-DX, część trzecia prezentuje rodzinę algorytmów APD, w części czwartej przedstawiono hierarchiczny układ sterowania ruchem MRK. Części piąta zawiera opis stanowiska laboratoryjnego, kolejna część prezentuje wyniki badań weryfikacyjnych algorytmu sterowania, ostatnia część stanowi podsumowanie artykułu. 2. MOBILNY ROBOT KOŁOWY PIONEER 2-DX Obiektem sterowania jest MRK Pioneer 2-DX, wyposażony w dwa koła napędzające oraz samonastawne koło podpierające. Robot wyposażony jest w układ sensoryczny zbudowany z 8 czujników ultradźwiękowych wbudowanych w ramę oraz dodatkowy czujnik laserowy przestrzeni. Ruch robota analizowany jest w płaszczyźnie xy. MRK Pioneer 2-DX przedstawiono na rys. 1.b, jego schemat w laboratoryjnym torze pomiarowym ze statycznymi przeszkodami przedstawiono na rys. 1.a. MRK składa się z dwóch kół napędzających 1 i 2, koła samonastawnego 3 oraz ramy 4, na której zamontowano skaner laserowy przestrzeni. Jest to obiekt nieholonomiczny, którego dynamika jest opisana nieliniowymi równaniami ruchu. W artykule zaproponowano 101

3 ALGORYTMY APROKSYMACYJNEGO PROGRAMOWANIA DYNAMICZNEGO hierarchiczny układ sterowania ruchem MRK, w którym warstwa generowania trajektorii realizuje sterowanie behawioralne typu GS lub OA. Zadaniem algorytmu sterowania jest wygenerowanie bezkolizyjnej trajektorii ruchu MRK na podstawie sygnału z układu sensorycznego (OA) lub trajektorii do celu G(, ), znajdującego się w odległości od punktu A(, ) ramy robota. Z punktem A związano ruchomy układ współrzędnych x1y1, gdzie: - kąt pomiędzy prostą pg a osią x, - kąt obrotu ramy MRK, - kąt pomiędzy prostą pg a osią x1 ruchomego układu współrzędnych,,, - odległości do przeszkód zmierzone przez skaner laserowy przed MRK, po prawej i lewej stronie ramy robota,,, - kąty pomiędzy osią i-tego pomiaru i osią ramy MRK, i=1,2,3, - sygnał sterujący j-tego koła, j=1,2, - prędkość kątowa j-tego koła. gdzie h parametr dyskretyzacji czasu, k indeks kroków iteracji, M dodatnio określona macierz bezwładności MRK Pioneer 2-DX, wektor kątów obrotu kół napędzających, &' ( wektor momentów od sił odśrodkowych i Coriolis a, )' ( wektor oporów ruchu, * + wektor zakłóceń o ograniczonych wartościach,, wektor sygnałów sterowania. 3. ALGORYTMY APD Rozwój algorytmów AI umożliwił realizację idei programowania dynamicznego Bellmana w formie algorytmów APD [14,15]. Dekompozycja problemu na generowanie suboptymalnego prawa sterowania u, realizowanego przez strukturę aktora, oraz aproksymację funkcji wartości V, realizowaną przez strukturę krytyka, w których zastosowano SN, umożliwia zastosowanie tych algorytmów w sterowaniu on-line obiektami dynamicznymi. Rodzina algorytmów APD, schematycznie przedstawiona na rys. 2, obejmuje sześć struktur. Rys. 2. Schemat rodziny algorytmów adaptacyjnego programowania dynamicznego Rys. 1. a) Schemat robota mobilnego w laboratoryjnym torze pomiarowym, b) robot Pioneer 2-DX Korzystając z formalizmu Maggiego [5,6], sformułowano dynamiczne równania ruchu MRK Pioneer 2-DX. Model ciągły dynamiki MRK został dyskretyzowany poprzez stosowanie metody Eulera. Przyjęto wektor stanu,, w którym wektor, odpowiada wektorowi prędkości kątowych w zapisie ciągłym. Dyskretny model dynamiki MRK przyjęto w postaci układu równań!", #"$ % &' (!)' ( #"$ % * + #,, (1) Algorytm heurystycznego programowania dynamicznego (HDP, ang. Heuristic Dynamic Programming) jest podstawowym przedstawicielem rodziny algorytmów APD. Składa się z SN aktora, generującej suboptymalne prawo sterowania u, oraz SN krytyka, która aproksymuje funkcję wartości V. W algorytmie DHP SN aktora również generuje suboptymalne prawo sterowania, natomiast SN krytka aproksymują pochodne funkcji wartości względem stanu obiektu. Powoduje to zwiększenie złożoności struktury krytyka, oraz algorytmu adaptacji wag jego SN, jednocześnie umożliwia osiągnięcie wyższej jakości sterowania. Trzecim algorytmem z grupy podstawowych struktur APD, jest algorytm Globalnego Dualnego Heurystycznego Programowania Dynamicznego (GDHP, ang. Globalised Dual Heuristic Dynamic Programming). W algorytmie tym struktury aktora i krytyka są zrealizowane w sposób analogiczny jak w HDP, natomiast algorytm adaptacji wag SN krytyka jest 102

4 Marcin Szuster złożony, gdyż jest połączeniem algorytmów adaptacji wag SN krytyka struktur HDP i DHP. Sprawia to, iż pomimo złożoności struktury krytyka analogicznej jak w algorytmie HDP, i uproszczonej w stosunku do DHP, algorytm GDHP, przez zastosowanie złożonego prawa adaptacji wag SN, zapewnia wysoką jakość realizacji sterowania. Pozostałe struktury rodziny algorytmów APD to wersje zależne od sterowania (AD-, ang. Action Dependant) podstawowych algorytmów, w których sygnał wyjściowy z SN aktora jest jednocześnie sygnałem wejściowym do SN krytyka. Wszystkie algorytmy rodziny APD, z wyjątkiem ADHDP, wymagają znajomości modelu matematycznego sterowanego obiektu w celu wyznaczenia algorytmów adaptacji wag SN aktora i/lub krytyka. 4. HIERARCHICZNY UKŁAD STEROWANIA W artykule zaprezentowano hierarchiczny układ sterowania ruchem MRK Pioneer 2-DX, który składa się z warstwy generowania trajektorii ruchu, realizującej koncepcję sterowań behawioralnych w zadaniach typu GS i OA, oraz z warstwy realizacji ruchu. 4.1 REALIZACJA RUCHU gdzie, 2 6 2, 2,, /0 8 0.,, 1 "Λ- # +9, (5) gdzie 6 2 macierz diagonalna, : 2, 1 jeżeli <= <>?, w przeciwnym przypadku : 2, 0,? dodatnia stała, i=1,2, 2 - wektor sygnałów sterowania nadzorującego, wyznaczonych stosując analizę stabilności układu zamkniętego z zastosowaniem teorii stabilności Lapunov a, 8 0 dodatnio określona macierz diagonalna wzmocnień regulatora PD. Sygnał sterowania generowanego przez SN RVFL struktury aktora określony jest zależnością 'A,B (B C'D A (, (6) gdzie A wektor wejść do i-tej SN aktora, B wektor wag warstwy wyjściowej sieci, adaptowanych w czasie ruchu MRK, S(.) wektor sigmoidlanych bipolarnych funkcji aktywacji neuronów, DA macierz stałych wag warstwy wejściowej. Schematycznie warstwę realizacji ruchu MRK przedstawiono na rys. 3. Problem realizacji ruchu nadążnego zdefiniowano jako wygenerowanie sygnałów sterowania modułami napędowymi MRK, które zapewnią realizację zadanej trajektorii ruchu + +, +, generowanej w czasie ruchu przez warstwę planowania trajektorii, przy minimalnych wartościach błędów nadążania - # +, - # +, (2) gdzie + - wektor zadanych kątów obrotu kół, + - wektor zadanych prędkości kątowych. Na podstawie błędów (2) zdefiniowano uogólniony błąd nadążania. -!Λ-, (3) gdzie Λ - stała macierz diagonalna dodatnio określona. W warstwie tej zastosowano algorytm DHP, zrealizowany z zastosowaniem SN RVFL. Całkowity sygnał sterowania ruchem nadążnym MRK,, składa się z sygnału sterowania generowanego przez strukurę aktor-krytyk DHP,, sygnału sterowania regulatora PD,, /0, dodatkowego sygnału sterowania, 1, oraz sygnału sterowania nadzorującego, 2, o strukturze wynikającej z analizy stabilności zamkniętego układu sterowania, zrealizowanej z zastosowaniem teorii stabilności Lyapunov a. Całkowity sygnał sterowania ruchem nadążnym przyjęto w formie zależności, 3 $4#,!, 2 #, /0 #, 1 5, (4) Rys. 3. Schemat warstwy realizacji ruchu MRK Neuronowy algorytm sterowania ruchem nadążnym został szczegółowo omówiony w [8]. 4.2 REALIZACJA ZADANIA TYPU PODĄŻAJ DO CELU Warstwa planowania trajektorii ruchu MRK w zadaniu typu GS składa się ze struktury generujacej behawioralne sygnały sterowania, zbudowanej z dwóch algorytmów ADHDP oraz regulatora proporcjonalnego P. Generuje sygnały sterowania behawioralnego, E F, G H I, gdzie F - sygnał sterujący zadaną prędkością ruchu punktu A ramy MRK, G H - sygnał sterujący zadaną prędkością kątową obrotu ramy MRK H. Sygnały sterowania behawioralnego, są wyznaczane na podstawie znajomości położenia i orientacji ramy MRK oraz na podstawie znajomości położenia celu G. W algorytmie sterowania zastosowano innowacyjne podejście do generowania sterowań behawioralnych w nieznanym środowisku, 103

5 ALGORYTMY APROKSYMACYJNEGO PROGRAMOWANIA DYNAMICZNEGO z zastosowaniem algorytmów ADHDP, w których nie jest wymagana znajomość modelu matematycznego sterowanego obiektu do syntezy algorytmów adaptacji wag. Zastosowano regulator P, który w początkowym etapie adaptacji wag wskazuje algorytmom ADHDP właściwy kierunek przeszukiwania przestrzeni rozwiązań, przez co nie jest konieczne stosowanie metody uczenia typu prób i błędów, a generowana trajektoria ruchu już przy pierwszym przebiegu procesu adaptacji wag SN umożliwia realizację założonego zadania. Zadaniem algorytmów APD jest wygenerowanie suboptymalnego prawa sterowania, które minimalizuje funkcję wartości J'A,, (, która w przypadku ogólnym jest funkcją stanu obiektu A, oraz sygnału sterowania,, wyrażoną zależnością J'A,, ( M NOPL Q R 'A,, (, (6) gdzie n ostatni krok skończonego procesu dyskretnego, L współczynnik dyskontacji przyszłych kar/nagród, 0SLS1, Q R 'A,, ( - funkcja kosztu w kroku k. Przyjęto błąd generowania prędkości ruchu T F oraz kąt między osią ramy MRK, a prostą pg,, w posatci zależności T F U' (#V /V, #, () gdzie f(.) funkcja sigmoidalna unipolarna, V - zdefiniowana maksymalna prędkość punktu A, V - chwilowa prędkość punktu A, min' (/ [\ minimalna znormalizowana odległość do przeszkód przed MRK. 4.3 REALIZACJA ZADANIA TYPU OMIJAJ PRZESZKODY Warstwa generowania trajektorii w zadaniu typu OA jest zbudowana w sposób analogiczny. Algorytm generowania sygnałów sterowania behawioralnego, h bazuje na sygnałach z układu sensorycznego MRK. Przyjęto błąd generowania prędkości ruchu T hf, oraz błąd zajmowania środka wolnej przestrzeni T hg H T hf U' T hg H (#V /V, #, (11) gdzie [ min' ( minimalna odległość do przeszkód po lewej stronie MRK, [ min' ( minimalna odległość do przeszkód po prawej stronie, 2Ea [ /' [! [ (b#0.5i znormalizowana minimalna odległość do przeszkód po lewej stronie ramy robota, 2Ea [ /' [! [ (b#0.5i - znormalizowana minimalna odległość do przeszkód po prawej stronie MRK. Przyjęto funkcje kosztu struktur ADHDP oraz całkowite sygnały sterowania warstwy generowania trajektorii w zadaniu typu OA, analogicznie jak w punkcie 4.2. Schematycznie strukturę warstwy generowania trajektorii w zadaniach typu GS i OA przedstawiono na rys. 4.a) i b) odpowiednio. Przyjęto funkcje kosztu struktur ADHDP w postaci Q RF 'T F, F ( ]^_FT F Q RF at G H, GH b]^_gh gdzie _ F, `F, _ G H, `G H dodatnie stałe.! ]^`F F,! ]^`GH G H, (8) Całkowity sygnał sterowania behawioralnego typu GS, składający się z sygnałów sterowania struktur aktor-krytyk, oraz sygnałów sterowania regulatora P, został przyjęty w postaci,,!, /, (9) gdzie, / 8 T F,, 8 stała macierz diagonalna. Na podstawie sygnałów, są generowane zadane prędkości kątowe obrotu kół napędzających MRK zgodnie z zależnością c + d fv H e + V # H g c F d, (10) G H gdzie r, l1 wymiary wynikające z geometrii MRK, H - maksymalna prędkość kątowa obrotu ramy MRK. Rys. 4. Schemat warstwy generowania trajektorii ruchu MRK w zadaniu typu: a) GS, b) OA. 5. STANOWISKO BADAWCZE Prezentowany hierarchiczny układ sterowania, realizujący zadania typu GS lub OA, przetestowano na stanowisku badawczym składającym się z MRK Pioneer 104

6 Marcin Szuster 2-DX, wyposażonego w skaner laserowy przestrzeni Hokuyo UBG-4LX-F01, układ zasilania oraz komputer PC z kartą kontrolno-pomiarową dspace DS1102, oraz oprogramowaniem Matlab/Simulink i dspace Control- Desk. Stanowisko badawcze przedstawiono na rys. 5. przebieg wartości kąta ψ, zawartego między osią ramy MRK, a prostą pg. Rys. 5. Schemat stanowiska badawczego 6. WYNIKI BADAŃ W przedstawionym środowisku testowym przeprowadzono szereg eksperymentów weryfikacyjnych zaprojektowanego algorytmu generowania trajektorii w zadaniach typu GS i OA. W dalszej części pracy, w celu uproszczenia zapisu zmiennych, w oznaczeniach pominięto symbol k. Podczas eksperymentów wartość parametru dyskretyzacji czasu wynosiła h=0.01 [s]. Trajektorie ruchu w zadaniach typu GS i OA były generowane on-line przez warstwę generowania ruchu i realizowane przez algorytm sterowania ruchem nadążnym. 6.1 REALIZACJA ZADANIA TYPU PODĄŻAJ DO CELU Zrealizowano zadanie typu GS do celów G1(9.5, 5.0), G2(9.5, 9.5), G3(0.5, 9.5), G4(0.5, 0.5), G5(9.5, 0.5), przy czym ruch rozpoczynał się w pozycji startowej punktu A ramy MRK S(5.0, 5.0). Trajektoria ruchu była generowana na postawie odległości punktu A ramy MRK do celu G,, oraz orientacji ramy MRK. Tory ruchu MRK do celów zlokalizowanych w poszczególnych punktach mapy otoczenia przedstawiono na rys. 6. Rys.. Przebieg wartości odległości lg do celu G4, b) przebieg wartości kąta ψ Odległość do celu jest redukowana w trakcie ruchu MRK, natomiast początkowa wartość kąta wynika z orientacji ramy w pozycji startowej. Wartość kąta jest redukowana w trakcie eksperymentu do wartości bliskiej zeru, co oznacza, że rama MRK porusza się w kierunku celu. Wygenerowanie sygnałów sterowania F i G H, których przebiegi przedstawiono odpowiednio na rys. 8.a) i b), umożliwiło realizację zadania typu GS. Rys. 6. Mapa otoczenia z torami ruchu MRK Poniżej zostaną przedstawione wyniki eksperymentu, w którym wygenerowana została trajektoria ruchu do punktu G4(0.5, 0.5), w zadaniu typu GS. Na rys..a) przedstawiono przebieg odległości do celu lg, na rys..b) Rys. 8. Przebieg wartości sygnału sterowania a) ugv, b) G H. Sygnały sterowania F i G H składają się z sygnałów generowanych przez algorytmy ADHDP oraz regulator P. 105

7 ALGORYTMY APROKSYMACYJNEGO PROGRAMOWANIA DYNAMICZNEGO W początkowej fazie ruchu duży wpływ na wartości sygnałów F i G H mają sygnały sterowania generowane przez regulator P, ze względu na zastosowanie zerowych wartości początkowych wag SN struktur ADHDP. Jednak proces adaptacji wag SN powoduje redukcję udziału sygnałów sterowania regulatora P w całkowitych sygnałach sterowania warstwy generowania trajektorii, gdzie dominujacy wpływ przejmują sygnały F i G H algorytmów ADHDP. Wartość sygnału sterowania F 1 powoduje generowanie trajektorii, w której MRK poruszą się z maksymalną zadaną wartością prędkości, dopiero gdy punkt A znajuje się w zadanej odległości do celu, prędkość jest redukowana, następuje etap hamowania i zatrzymanie robota w pobliżu celu. Wartość sygnału G H powoduje wygenerowanie takiego przebiegu wartości prędkości kątowej obrotu ramy MRK, aby było możliwe osiągnięcie celu. Na rys. 9.a przedstawiono przebiegi zadanych prędkości kątowych obrotu kół, na rys. 9.b wygenerowane sygnały sterowania ruchem nadążnym MRK, na rys. 9.c przebiegi wartości błędów nadążania koła 2 MRK. 6.2 REALIZACJA ZADANIA TYPU OMIJAJ PRZESZKODY Zrealizowano zadanie typu OA, w którym na podstawie sygnałów z układu sensorycznego MRK warstwa planowania trajektorii wygenerowała bezolizyjną trajktorię ruchu MRK. Tor ruchu MRK pokazano na rys. 10, gdzie szarymi kropkami zaznaczono lokalizacje przeszkód wykrytych przez skaner laserowy. Rys. 10. Mapa otoczenia z trajektorią ruchu MRK Bezkolizyjna trajektoria ruchu została wygenerowana z zastosowaniem sygnałów sterowania hf i hg H, przedstawionych na rys. 11. Rys. 11. Przebieg wartości sygnału sterowania a) uov, b) hg H Rys. 9. a) Przebiegi wartości zadanych prędkości kątowych kół, b) sygnały sterowania ruchem nadążnym, c) błędy nadążania koła 2 MRK Największe wartości błędów nadążania występują w początkowym okresie ruchu, ze względu na zastosowanie zerowych wartości początkowych wag SN. Składają się one z sygnałów sterowania generowanych przez regulator P oraz sygnałów sterowania algorytmów ADHDP, których wartości mają dominujący udział w całkowitych sygnałach sterowania. Przebiegi wartości wag SN algorytmu ADHDP, generującego sygnał sterujący uoav, przedstawiono na rys. 11. Struktury aktora oraz krytyka zostały zrealizowane w formie SN RVFL. Zastosowano zerowe wartości początkowe wag warstw wyjściowych SN, wartości te pozostają ograniczone w trakcie procesu generowania trajektorii ruchu MRK Pioneer 2-DX. 106

8 Marcin Szuster Rys. 12. Przebieg wartości wag SN a) krytyka, b) aktora, algorytmu ADHDP generującego sygnał sterowania uoav. PODSUMOWANIE Zaproponowano hierarchiczny układ sterowania ruchem MRK Pioneer 2-DX, składający się z warstwy generowania trajektorii ruchu, oraz warstwy realizacji ruchu. W warstwie generowania trajektorii ruchu zastosowano koncepcję sterowania behawioralnego typu GS i OA. W układzie sterowania zastosowano algorytmy APD w konfiguracji ADHDP oraz DHP, z SN RVFL. Algorytm umożliwia generowanie i realizację trajektorii ruchu w zadaniu typu GS, z położenia początkowego do celu, oraz w zadaniu typu OA, gdzie generowana jest bezkolizyjna trajektoria ruchu MRK, a cel nie jest sprecyzowany. Zaproponowany algorytm sterowania działa on-line i nie wymaga fazy wstępnego uczenia wag SN. Badania weryfikacyjne przeprowadzono z zastosowanie MRK Pioneer 2-DX, wyposażonego w skaner laserowy przestrzeni Hokuyo UBG-4LX-F01. Literatura 1. Arkin R. C.: Behavioural-based robotics. Cambridge: MIT Press, Burghardt A.: Sterowanie behawioralne minirobota kołowego. PAK 2004, Vol. 11, p Drainkov D., Saffiotti A.: Fuzzy logic techniques for autonomous vehicle navigation. New York: Springer, Fahimi F.: Autonomous robots: modeling, path planning, and control. New York: Springer, Giergiel J., Zylski W.: Description of motion of a mobile robot by Maggie s Equations. J. Theor. and App. Mech. 2005, 3, Vol. 43, p Giergiel M., Hendzel Z., Żylski W.: Modelowanie i sterowanie mobilnych robotów kołowych. Warszawa: PWN, Hendzel Z.: Fuzzy reactive control of wheeled mobile robot. J. Theor. App. Mech. 2004, 3, Vol. 42, p Hendzel Z., Szuster M.: Discrete model-based adaptive critic designs in wheeled mobile robot control. L. Rutkowski et al. (Eds.): ICAISC 2010, Part II, LNCS 2010, Vol. 6114, p Hendzel Z., Szuster M.: Neuronowe programowanie dynamiczne w sterowaniu behawioralnym mobilnym robotem kołowym. Acta Mech. Automatica 2011, 1, Vol. 5, p Hendzel Z., Szuster M.: Neural dynamic programming in reactive navigation of wheeled mobile robot. L. Rutkowski et al. (Eds.): ICAISC 2012, Part II, LNCS 2012, Vol. 268, p Hendzel Z., Szuster M.: Neural sensor-based navigation of wheeled mobile robot in unknown environment. PAR 2013, 1, p Maaref H., Barret, C.: Sensor-based navigation of a mobile robot in an indoor environment. Robot. Auton. Syst. 2002, Vol. 38, p Millan J.: Reinforcement learning of goal-directed obstacle-avoiding reaction strategies in an autonomous mobile robot. Robot. Auton. Syst. 1995, 4, Vol. 15, p Powell W.B.: Approximate dynamic programming: solving the curses of dimensionality. Princeton: Willey- Interscience, Prokhorov D., Wunch D.: Adaptive critic designs. IEEE Trans. Neural Netw 199, Vol. 8, p