NEURONOWE PROGRAMOWANIE DYNAMICZNE W STEROWANIU BEHAWIORALNYM MOBILNYM ROBOTEM KOŁOWYM

Transkrypt

1 Neronowe programowanie dynamiczne w sterowani behawioralnym mobilnym robotem kołowym NEURONOWE PROGRAMOWANIE DYNAMICZNE W SEROWANIU BEHAWIORALNYM MOBILNYM ROBOEM KOŁOWYM Zenon HENDZEL, Marcin SZUSER Katedra Mechaniki Stosowanej i Robotyki, Wydział Bdowy Maszyn i Lotnictwa, Politechnika Rzeszowska, Al. Powstańców Warszawy 8, Rzeszów zenhen@prz.ed.pl, mszster@prz.ed.pl Streszczenie: W pracy przedstawiono problematykę generowania bezkolizyjnych trajektorii rch mobilnego robota kołowego (MRK) z zastosowaniem algorytmów Neronowego Programowania Dynamicznego (NDP Neral Dynamic Programming) oraz kładów z logiką rozmytą (FL Fzzy Logic). Proponowany hierarchiczny kład sterowania składa się z warstwy generowania trajektorii rch, opartej na odrchowej nawigacji MRK w nieznanym środowisk dwwymiarowym ze statycznymi przeszkodami, oraz warstwy realizacji rch. Badania symlacyjne zaproponowanego algorytm generowania bezkolizyjnych trajektorii oraz realizacji rch MRK Pioneer -DX przeprowadzono w wirtalnym środowisk obliczeniowym.. WPROWADZENIE Rozwój robotyki mobilnej znacznie poszerzył obszary jej zastosowań, jednocześnie zwiększając poziom złożoności realizowanych zadań, co pociągnęło za sobą konieczność opracowania odpowiednich algorytmów sterowania realizacją rch platform mobilnych. Wzrost złożoności konstrkcji MRK, ilości dostępnej informacji o otaczającym środowisk, oraz stopnia zaawansowania jednostek obliczeniowych, otworzyły możliwość projektowania kładów sterowania generjących trajektorię rch na bieżąco, w czasie rch MRK, z możliwością jej modyfikowania pod wpływem warnków środowiska, np. pojawiających się przeszkód. W zagadnieniach tych szerokie zastosowanie znalazły nowoczesne metody sztcznej inteligencji, obejmjące sztczne sieci neronowe (SN) oraz kłady z logiką rozmytą (Drainkov i Saffiotti, 00; Hendzel, 004). W pracy przedstawiono nowe jęcie problematyki generowania bezkolizyjnych trajektorii rch MRK z zastosowaniem algorytmów NDP. Proponowany hierarchiczny kład sterowania składa się z warstwy generowania trajektorii rch, opartej na odrchowej nawigacji MRK w nieznanym środowisk dwwymiarowym ze statycznymi przeszkodami, oraz warstwy realizacji rch. Zagadnienie odrchowej nawigacji MRK, w prezentowanym algorytmie generowania bezkolizyjnych trajektorii rch, obejmje implementację realizacji dwóch elementarnych zachowań: podążaj do cel (GS Goal Seeking) oraz podążaj środkiem wolnej przestrzeni/omijaj przeszkody (OA Obstacle Avoiding) z zastosowaniem algorytmów NDP w postaci strktry Zależnego od Sterowania Herystycznego Programowania Dynamicznego (ADHDP - Acion Dependent Heristic Dynamic Programming) (Ferrari i Stengel, 00; Hendzel, 007; Hendzel i Szster, 009, Powell, 007; Prokhorov i Lnch, 997; Stton i Barto, 999). Połączenie dwóch elementarnych zachowań (CB Combination of Bahaviors) odrchowej nawigacji GS oraz OA, w cel realizacji złożonego zadania generowania bezkolizyjnej trajektorii rch MRK w nieznanym środowisk, obejmjącego podążanie do cel z omijaniem statycznych przeszkód, zrealizowano przy pomocy kład FL. Zadanie generowania sterowania dla rch nadążnego, w warstwie realizacji rch, zrealizowano z zastosowaniem SN do kompensacji nieliniowości MRK. Badania symlacyjne zaproponowanego algorytm generowania bezkolizyjnych trajektorii oraz realizacji rch MRK Pioneer -DX przeprowadzono w wirtalnym środowisk symlacyjnym. Wyniki badań przedstawione w artykle stanowią kontynację wcześniejszych prac atorów związanych z opracowaniem kładów generowania bezkolizyjnych trajektorii rch dla MRK oraz ich realizacji z zastosowaniem nowoczesnych metod sztcznej inteligencji, takich jak SN (Giergiel i inni, 00), kłady FL (Hendzel, 004), oraz algorytmy oparte na czeni ze wzmocnieniem (Hendzel, 007; Hendzel i Szster, 009). Artykł składa się z sześci części. Część pierwsza zawiera krótkie wprowadzenie, w części drgiej przedstawiono model MRK Pioneer -DX. Część trzecia zawiera syntezę warstwy realizacji rch nadążnego, w części czwartej przedstawiono algorytm NDP w postaci strktry ADHDP. Część piąta zawiera syntezę warstwy generowania bezkolizyjnej trajektorii rch MRK, część szósta podsmowje projekt badawczy.. MOBILNY ROBO DWUKOŁOWY W pracy analizowany jest rch dwkołowego MRK z trzecim kołem samonastawnym, w płaszczyźnie xy. Schemat MRK Pioneer -DX pokazano na Rys.. W model matematycznym MRK względniono dynamiczne równania rch Maggie go (Giergiel i inni, 00; Giergiel i Żylski, 005) oraz własności dynamiczne kładów wykonawczych, zbdowanych z silnika elektrycznego 8

2 acta mechanica et atomatica, vol.5 no. (0) prąd stałego, przekładni oraz enkodera. Przyjęto wektor współrzędnych ogólnionych [ α, ] α, q = () gdzie α=[α i ], α i to kąt obrot własnego odpowiedniego koła napędowego MRK, i=,. Dynamiczne równania rch MRK przyjmją postać M q + C(q)q + F(q) + τ d =, () gdzie bdowa macierzy M, C oraz wektora F wynika z zastosowania dynamicznych równań rch Maggie go do opis dynamiki MRK, oraz względnienia dynamiki kładów wykonawczych, τ d jest wektorem ograniczonych zakłóceń, natomiast oznacza wektor sterowań. Rys.. Schemat MRK Pioneer -DX 3. WARSWA REALIZACJI RUCHU W zadani sterowania rchem nadążnym MRK warstwy realizacji rch załóżmy, że znana jest zadana trajektoria rch [ ] qd, qd, qd R. Celem syntezy kład sterowania nadążnego z zastosowaniem SN do kompensacji nieliniowości MRK (Giergiel i inni, 00), jest taki dobór strktry sygnał sterowania oraz prawa adaptacji wag SN, dla którego realizowana trajektoria rch MRK będzie zbieżna do trajektorii zadanej. Przyjęto błąd nadążania e, ogólniony błąd nadążania s oraz sygnał v dane zależnościami e = q d q, (3) s = e + Λe, (4) v = q d + Λe, (5) gdzie Λ to diagonalna macierz projektowa dodatnio określona. Wówczas równanie () opisjące dynamikę MRK możemy zapisać w postaci ( ) s + Mv + C( q ) v + F( q). s = C q τ d (6) M + f Zdefiniowano nieliniową fnkcję ( x) Mv + C( q ) v + F( q ), = (7) gdzie [ ] x = v, v,q, oraz przyjęto prawo sterowania z względnieniem kompensacji nieliniowości MRK w postaci zależności ( x ) K D s, = f + (8) gdzie K D to diagonalna macierz projektowa dodatnio określona. W praktyce prawo sterowania MRK (8) jest trdne do zrealizowania z powod brak znajomości dokładnych wartości parametrów MRK oraz możliwości ich zmiany w czasie rch np. pod wpływem zmiany przewożonego obciążenia czy zmiany rodzaj nawierzchni, po której MRK się porsza. W prezentowanym algorytmie realizacji rch MRK do aproksymacji nieliniowej fnkcji f(x) zastosowano liniową ze względ na wagi SN Random Vector Fnctional Link (RVFL) z losowym doborem wag warstwy wejściowej, sigmoidalnymi bipolarnymi fnkcjami aktywacji neronów oraz adaptowanymi wagami warstwy wyjściowej. Na Rys. przedstawiono schemat kład sterowani z zastosowaniem SN do kompensacji nieliniowości MRK. Rys.. Schemat kład sterowania rchem nadążnym Estymatę nieliniowej fnkcji f(x) realizowaną przez SN zapiszemy jako ( ) ˆ x W S( V x), f ˆ = (9) gdzie Ŵ to macierz wag warstwy wyjściowej, S(.) to wektor sigmoidalnych bipolarnych fnkcji aktywacji neronów opisanych zależnością S ( x) = + exp ( βv x), (0) 9

3 Neronowe programowanie dynamiczne w sterowani behawioralnym mobilnym robotem kołowym gdzie β odpowiada za pochylenie fnkcji sigmoidalnych, natomiast V to macierz stałych wag warstwy wejściowej dobranych losowo w procesie inicjalizacji sieci. Prawo sterowania (8) przyjmje postać ( x) K s. ˆ = W S V + () D Stabilność zamkniętego kład sterowania zagwarantowano, korzystając z teorii stabilności Lapnowa, poprzez odpowiedni dobór prawa adaptacji wag SN ˆ W = ΓS V ( x) s, () gdzie Γ to stała macierz diagonalna, dodatnio określona, zawierająca współczynniki wzmocnienia czenia neronów. 4. NEURONOWE PROGRAMOWANIE DYNAMICZNE NDP, zwane również Aproksymacyjnym Programowaniem Dynamicznym (ADP Approximate Dynamic Programming) wywodzi się z tradycyjnej teorii optymalizacji Bellman a (957). Zastosowanie nowoczesnych metod sztcznej inteligencji w postaci SN możliwiło zastosowanie metod opartych na programowani dynamicznym w obliczeniach prowadzonych on-line, od pierwszego etap proces iteracyjnego do etap ostatniego (FDP Forward Dynamic Programming), w przeciwieństwie do podejścia klasycznego (Bacward DP). NPD obejmje grpę algorytmów (Powell, 007; Prokhorov i Wnch, 997; Stton i Barto, 999), w których zakłada się dekompozycję problem generowania optymalnego prawa sterowania na dwa zagadnienia: generowanie prawa sterowania realizowane przez adaptacyjną strktrę aktora oraz estymację fnkcji koszt realizowaną przez krytyka. Fnkcja koszt V w przypadk ogólnym zależy od stan obiekt x k oraz generowanego sterowania k w k-tym krok proces dyskretnego, i może być zapisana w postaci zależności V n k k = γ C k,k (3) k= 0 k ( x, ) L ( x ), gdzie n jest liczbą kroków proces, γ jest tzw. współczynnikiem zapominania, który przyjmje wartości z zakres 0<γ<, L C (x k, k ) jest lokalnym kosztem w k-tym krok. W projektowanych kładach przyjęto lokalny koszt L C (x k, k ) w ogólnej postaci jako L Ci ( xik, ik ) = { eik Piie ik } + { ik Riiik }, (4) gdzie i=,, P oraz R to dodatnio określone, stałe macierze diagonalne określające wpływ błędów oraz generowanych sterowań na wartość fnkcji koszt. Zadaniem algorytm NDP jest wygenerowanie prawa sterowania które minimalizje fnkcję koszt (3) dla lokalnego koszt (4). W prezentowanym hierarchicznym kładzie sterowania algorytmy NDP w konfigracji ADHDP zastosowano w warstwie generowania trajektorii rch do realizacji elementarnych zachowań podążania do cel (GS) oraz podążania środkiem wolnej przestrzeni (OA). Algorytm ADHDP jako jedyny z rodziny algorytmów NDP nie wymaga znajomości model sterowanego obiekt w procedrach czenia strktr adaptacyjnych. Algorytm składa się z: - krytyka - zrealizowanego w postaci SN, którego zadaniem jest estymacja fnkcji koszt ( ˆ ) ˆ x, W W S( x ), V ˆ = (5) ik Cik Cik Cik Cik gdzie i=,, Ŵ C to macierz wag warstwy wyjściowej, S(x C ) to wektor fnkcji aktywacji neronów SN, x Ci - wektor wejść do i-tej sieci. Wagi SN krytyka są adaptowane z zastosowaniem metody wstecznej propagacji błęd poprzez minimalizację błęd dyskretnych różnic czasowych (D - emporal Difference error) e Dk ( x ) + Vˆ ( x, Wˆ ) Vˆ ( x, Wˆ ), = LC k, k Ck+ Ck+ Ck Ck (6) aktora zrealizowanego w postaci SN, którego zadaniem jest estymacja optymalnego prawa sterowania ( ˆ ) ˆ x W W S( x ), Aik Aik, Aik = Aik Aik (7) gdzie i=,, Ŵ A to macierz wag warstwy wyjściowej, S(x A ) to wektor fnkcji aktywacji neronów SN, x Ai - wektor wejść do i-tej sieci aktora. Wagi SN aktora są adaptowane z zastosowaniem metody wstecznej propagacji błęd poprzez minimalizację wskaźnika jakości eak LC = k ( x ) ˆ (, ˆ k V xck+ WCk ) + γ J, J x k x (8) gdzie J to wektor jedynkowy. Schematycznie strktrę ADHDP przedstawiono na Rys. 3. Rys. 3. Schemat strktry ADHDP 30

4 acta mechanica et atomatica, vol.5 no. (0) Strktra ADHDP składa się z SN aktora w krok k-tym, oraz SN krytyka w krok k-tym oraz k+. 5. WARSWA PLANOWANIA RAJEKORII RUCHU W proponowanym hierarchicznym kładzie sterowania warstwa generowania bezkolizyjnej trajektorii rch w nieznanym środowisk składa się z dwóch algorytmów realizjący elementarne zachowania nawigacji odrchowej: podążania środkiem wolnej przestrzeni (OA) i podążania do cel (GS), oraz algorytm łączącego elementarne zachowania (CB) w cel realizacji złożonych zadań. Algorytmy realizjące elementarne zachowania nawigacji odrchowej zaimplementowano w postaci strktr NDP w konfigracji ADHDP, natomiast algorytm słżący do łączenia tych zachowań zbdowano w oparci o kład z logiką rozmytą. Schematycznie zagadnienia realizacji elementarnych zachowań nawigacji odrchowej OA oraz GS przedstawiono na Rys. 4. Rys. 4. a) Schemat realizacji elementarnego zachowania podążania środkiem wolnej przestrzeni (OA), b) schemat realizacji zachowania podążania do cel (GS) Schemat proponowanego hierarchicznego kład sterowania przedstawiono na Rys. 5. Rys. 5. Schemat hierarchicznego kład sterowania z warstwą generowania trajektorii rch W nierchomym globalnym kładzie odniesienia (x,y) położenie MRK opisją współrzędne zdefiniowane jako [x A,y A,β], gdzie współrzędne wybranego pnkt A wynoszą (x A,y A ), natomiast β to kąt obrot ramy MRK. Kinematykę robota opisje równanie x y β A A v = v A A cos sin 0 ( β) 0 CBv ( β) 0, ω CBβ (9) gdzie v A to maksymalna prędkość liniowa rch pnkt A, ω to maksymalna prędkość kątowa obrot własnego ramy mobilnego robota. W przypadk realizacji jednego z zachowań behawioralnych wektor CB jest zastępowany przez GS lb OA. MRK Pioneer -DX jest wyposażony w 8 sonarów ltradźwiękowych (s,,s 8 ), dla których maksymalny zasięg pomiar wynosi d smax =6 [m]. Sensory podzielono na grpy składające się z dwóch sąsiednich sensorów (odrzcając pierwszy oraz ostatni), rejestrją one odległości od przeszkód d L, d L dla grpy czjników s oraz s 3 znajdjących się po lewej stronie ramy MRK, d F, d F dla grpy czjników znajdjących się z przod (s 4, s 5 ), oraz d R, d R dla grpy czjników znajdjących się z lewej strony ramy (s 6, s 7 ). Wartość pomiarów z sensorów ltradźwiękowych mieści się w przedziale d smin d(.) d smax, przy czym d smin =0.5 [m]. Kąty odchylenia osi pomiarów czjników względem osi ramy MRK wynoszą odpowiednio α Li, α Fi, α Ri, dla i=,. Zadaniem warstwy generowania trajektorii hierarchicznego kład sterowania jest wygenerowanie w czasie rzeczywistym współrzędnych wybranego pnkt A ramy 3

5 Neronowe programowanie dynamiczne w sterowani behawioralnym mobilnym robotem kołowym MRK, zdefiniowanych jako x d =[x A,y A,β]. Współrzędne te są generowane przez jedną ze strktr warstwy generowania trajektorii w zależności od typ realizowanego zadania, na podstawie informacji ze środowiska w postacie pomiarów z sonarów ltradźwiękowych d(.), Rozważane są dwa elementarne zachowania zrealizowane przy pomocy algorytmów NDP: podążaj środkiem wolnej przestrzeni (OA) i podążaj do cel (GS), w których zadana trajektoria rch generowana jest poprzez zadanie odpowiednich wartości wektora OA =[ OAv, OAβ ] lb GS =[ GSv, ]. Rozpatrje się również kombinację powyższych elementarnych zachowań zrealizowaną przy pomocy kład FL, w cel realizacji złożonego zadania podążania do cel z omijaniem przeszkód, w którym trajektoria zadana generowana jest poprzez zadanie odpowiednich wartości wektora CB =[ CBv, CBβ ]. Sygnały wejściowe do strktr warstwy generowania trajektorii rch kład sterowania znormalizowano do przedział <-,> lb <0,> poprzez odpowiednią transformację: dla pomiar odległości przez prawą grpę czjników d R=d R /(d L +d R ), przez lewą grpę czjników d L=d L /(d L +d R ), oraz przez przednią grpę czjników d F=d F /d smax, gdzie d F =min(d F,d F ), d L =min(d L,d L ), d R =min(d R,d R ). 5.. Zadanie podążania środkiem wolnej przestrzeni (OA) Elementarne zachowanie podążania środkiem wolnej przestrzeni polega na wyborze trajektorii rch MRK, która maksymalizje odległość od przeszkód. Zdefinijmy błąd prędkości e OAv oraz błąd podążania środkiem wolnej przestrzeni e OAβ gdzie K OA to stała diagonalna macierz projektowa wzmocnień reglatora proporcjonalnego. Całkowity sygnał sterowania opisje zależność OAk = OANDPk + OAPk. (4) Dla kład sterowania złożonego z warstwy generowania trajektorii rch dla zadania OA, oraz warstwy realizacji rch, w środowisk obliczeniowym przeprowadzono symlację rch MRK Pioneer -DX w zadanej przestrzeni roboczej, przedstawionej na Rys. 6. Rys. 6. Realizacja elementarnego zadania podążania środkiem wolnej przestrzeni (OA) przez MRK Sygnały sterowania wygenerowane przez warstwę generowania trajektorii przedstawiono na Rys. 7. eoav = df va /v A, (0) e OAβ R L = d d, () gdzie v A to realizowana prędkość rch p. A, v A =0.6 [m/s] to maksymalna liniowa prędkość rch MRK. Przyjęto fnkcję koszt lokalnego w postaci zależności L Ci OAik, OAik OA OA OAik ii OAik + OAik ii OA ik () ( e ) = { e P e } { R }, gdzie i=,, e OA =[e OAv, e OAβ ], P OA, R OA to diagonalne macierze projektowe dodatnio określone. Algorytm ADHDP OA składa się z dwóch strktr aktorkrytyk, z których każda zawiera SN aktora oraz krytyka. Sygnał sterowania generowany przez strktrę ADHDP OA, OANDP =[ OAvNDP, ], poszerzono o sygnał regla- OAβ NDP tora proporcjonalnego, generjącego sterowanie OAPk = K OAeOAk, (3) Rys. 7. a) Przebieg wartości sygnałów sterowania OAv, OAvNDP oraz OAvP, b) przebieg wartości sygnałów sterowania OAβ, OAβNDP, OAβP 3

6 acta mechanica et atomatica, vol.5 no. (0) 5.. Zadanie podążania do cel (GS) Elementarne zachowanie podążania do cel polega na wygenerowani trajektorii rch MRK, która gwarantje osiągnięcie przez wybrany pnkt A MRK zadanego położenia (p. G). Zadanie to może być widziane jako zagadnienie minimalizacji odległości l G = A,G oraz kąta ψ G zdefiniowanego jako odchylenie osi ramy MRK od prostej przechodzącej przez p. A i G. Zadanie wyznaczenia sterowań GS =[ GSv, ], gwarantjących realizację zachowania GS, zrealizowano przy pomocy strktry NDP w postaci algorytm ADHDP GS. Zdefinijmy błąd prędkości e GSv oraz błąd odchylenia osi ramy MRK od kiernk prostej przechodzącej przez p. A i G, e gdzie K GS to stała diagonalna macierz projektowa wzmocnień reglatora proporcjonalnego. Całkowity sygnał sterowania w zadani GS opisje zależność GSk = GSNDPk + GSPk. (30) Dla zadania GS, przeprowadzono symlację rch MRK Pioneer -DX w zadanej przestrzeni roboczej. Na Rys. 8 przedstawiono tor rch p. A MRK dla realizacji zadania GS dla wybranych współrzędnych p. G. Sygnały sterowania wygenerowane przez warstwę generowania trajektorii rch MRK dla elementarnego zachowania GS i pnkt G o współrzędnych G(0.5;0.5), przedstawiono na Rys. 9. ( l ) v, egsv = vad G A (5) e gdzie = ψ β, (6) G v Ad ( lg ) =. (7) + exp ( l ) G Przyjęto fnkcję koszt lokalnego dla strktry NDP w postaci zależności L Ci ( egsik ) { } {, GSik = e GS GS }, GSik P iiegsik + GSik R ii (8) GS ik gdzie i=,, e GS =[e GSv, e ], P GS, R GS to diagonalne macierze projektowe dodatnio określone. Rys. 9. a) Przebieg wartości sygnałów sterowania GSv, GSvNDP oraz GSvP, b) przebieg wartości sygnałów sterowania, NDP, P 5.3. Rozmyta kombinacja elementarnych zachowań (CB) Rys. 8. Realizacja elementarnego zadania podążania środkiem wolnej przestrzeni (OA) przez MRK Algorytm ADHDP GS składa się z dwóch strktr aktorkrytyk, z których każda zawiera SN aktora oraz krytyka. Sygnał sterowania generowany przez strktrę ADHDP GS, GSNDP =[ GSvNDP, ], poszerzono o sterowanie ge- NDP nerowane przez reglator proporcjonalny GSPk = K GSeGSk, (9) Zadaniem rozmytego kład nawigacji jest dobór współczynnika skalowania zachowań behawioralnych OA oraz GS, który zagwarantje realizację złożonego zadania podążania do cel z omijaniem statycznych przeszkód w nieznanym środowisk dwwymiarowym. W prezentowanym kładzie rozmytej nawigacji, słżącym do koordynacji elementarnych zachowań (CB), fnkcje przynależności do zbiorów rozmytych zostały dostrojone metodą prób i błędów. Zastosowano model rozmyty Mamdaniego, z rozmytą implikacją typ MIN, trójkątnymi lb trapezowymi fnkcjami przynależności do zbiorów rozmytych przesłanek i konklzji, oraz metodą wyostrzania typ średnia z maksimów (Center Average Deffzyfication). Układ z logiką rozmytą CB posiada bazę m=5 regł o postaci 33

7 Neronowe programowanie dynamiczne w sterowani behawioralnym mobilnym robotem kołowym m R CB : JEŻELI ( l G jest lbm) I ( d min jest dbm) O (a CB jest abd), (3) gdzie l G to znormalizowana odległość od cel, d min to znormalizowana minimalna odległość od przeszkód, a CB <0,> jest współczynnikiem skalowania poszczególnych zachowań elementarnych OA oraz GS zgodnie z zależnością = a ) + a. (3) CB OA ( CB GS FB Zastosowanie bazy 5 regł (3) jest związane z podziałem przestrzeni znormalizowanej odległości od cel l G na pięć zbiorów rozmytych trójkątnych oraz trapezowych: bardzo mała (l GBM), mała (l GM), średnia (l GS), dża (l GD), bardzo dża (l GBD). Fnkcje przynależności do odpowiednich zbiorów rozmytych pokazano na Rys. 0. Przestrzeń znormalizowanej minimalnej odległości od przeszkód d min podzielono na pięć zbiorów rozmytych trójkątnych oraz trapezowych: bardzo mała (d BM), mała (d ), średnia (d ), dża (d D), bardzo dża (d BD). Do podział przestrzeni wyjścia z kład rozmytego - współczynnika skalowania elementarnych zachowań a CB zastosowano siedem fnkcji przynależności do zbiorów rozmytych trójkątnych oraz trapezowych, oznaczonych etykietami lingwistycznymi: bardzo mały, bliski zera (a0bm), bardzo mały (abm), mały (am), średni (as), dży (ad), bardzo dży (abd), bardzo dży, bliski jeden (abd). Ilstrację graficzną bazy regł pokazano na Rys.. Dla bazy 5 regł rozmytego kład koordynacji elementarnych zachowań CB w warstwie generowania trajektorii rch hierarchicznego kład sterowań, wyznaczono powierzchnię model a CB (l G,d min ), pokazaną na Rys.. Rys.. Ilstracja bazy 5 regł Rys.. Graficzna interpretacja powierzchni model rozmytego a CB (l G, d min ) Rys. 0. a) Rozkład fnkcji przynależności do zbiorów rozmytych przesłanek dla odległości od cel l G, b) rozkład fnkcji przynależności do zbiorów rozmytych przesłanek dla minimalnej odległości od przeszkód d min, c) rozkład fnkcji przynależności do zbiorów rozmytych konklzji dla współczynnika skalowania a CB Kształt powierzchni model rozmytego związany z doborem bazy regł kład FL można interpretować jako wybór: elementarnego zachowania OA gdy odległość od przeszkód jest bardzo mała, bez względ na odległość od cel (poza sytacją, gdy odległość do cel jest bardzo mała), 34

8 acta mechanica et atomatica, vol.5 no. (0) elementarnego zachowania GS, gdy odległość od cel jest bardzo mała, płynne przełączanie zachowań OA i GS w zależności od odległości od cel oraz przeszkód. Rys. 3. Realizacja rozmytego połączenia dwóch elementarnych zachowań: GS oraz OA przez MRK Zadanie generowania bezkolizyjnej trajektorii rch MRK w nieznanym środowisk z pnkt startowego A 0 (0.5,.3) do pnkt G(5.0,4.4), oraz realizację zadanej trajektorii przez zaprojektowany hierarchiczny kład sterowania przedstawiono na Rys. 3. Przebieg sygnał a CB skaljącego sygnały sterowania zachowań behawioralnych w czasie rch MRK przedstawiono na Rys. 4.a). W początkowej fazie rch, gdy odległość od cel jest dża i odległość od przeszkód mała, dominjący dział w całkowitym sterowani warstwy generowania trajektorii CB (Rys. 4.b) ma sygnał generowany przez zachowanie OA OA (Rys. 4.c), jednakże gdy odległość do cel zmniejsza się, oraz odległość od przeszkód jest większa, decydjącą rolę w sterowani ma zachowanie GS GS (Rys. 4.d). Dobór odpowiedniej bazy regł oraz fnkcji przynależności do zbiorów rozmytych wejść kład FL pozwoliły na gładkie przełączenie realizacji elementarnych zachowań OA i GS podczas rch MRK w nieznanym środowisk, oraz realizację złożonego zadania podążania do cel z ominięciem przeszkód. Rys. 4. a) Współczynnik skalowania elementarnych zachowań a CB, b) przebieg wartości sygnałów CBv oraz sygnałów OAv oraz OAβ, d) przebiegi wartości sygnałów GSv oraz GS β CBβ, c) przebiegi wartości 6. PODSUMOWANIE W pracy zaproponowano zastosowanie hierarchicznego kład sterowania, składającego się z warstwy generowania bezkolizyjnej trajektorii rch w nieznanym otoczeni ze statycznymi przeszkodami, oraz warstwy realizacji rch. Warstwa realizacji rch realizje zadanie generowania sterowań w rch nadążnym, dla trajektorii zadanej wygenerowanej przez wyższą warstwę kład sterowania. Zadanie generowania bezkolizyjnej trajektorii rch w nieznanym otoczeni zostało dekomponowane na dwa elementarne zachowania: omijania przeszkód oraz podążania do cel, zrealizowane w postaci strktr NDP z zastosowaniem nowoczesnych metod sztcznej inteligencji. Każde z elementarnych zachowań jest realizowane poprawnie, pozwalając na generowanie bezkolizyjnej trajektorii rch (OA) lb trajektorii gwarantjącej osiągnięcie założonego cel (GS). 35

9 Neronowe programowanie dynamiczne w sterowani behawioralnym mobilnym robotem kołowym Kombinację dwóch elementarnych zachowań zrealizowano przy pomocy kład z logiką rozmytą w oparci o wiedzę eksperta, co pozwoliło na płynne przełączanie realizacji poszczególnych zachowań elementarnych w zależności od sygnał ze środowiska. Badania symlacyjne przeprowadzono na emlatorze MRK Pioneer -DX. Analizowany hierarchiczny kład sterowania składający się z warstwy generowania bezkolizyjnej trajektorii rch oraz realizacji rch MRK pracje poprawnie realizjąc założone zadania w nieznanym otoczeni ze statycznymi przeszkodami. Analizowane rozwiązania zostaną zastosowane w nawigacji MRK w czasie rzeczywistym. LIERAURA. Bellman R., (957), Dynamic programming, Princeton University Press, New York.. Drainkov D., Saffiotti A. (00), Fzzy logic techniqes for atonomos vehicle navigation, Springer-Verlag, New York. 3. Ferrari S., Stengel R.F. (004), Model-based adaptive critic design, W: Handbook of Learning and Approximate Dynamic Programming, Willey - IEEE Press, New York, Giergiel J., Zylski W. (005), Description of motion of a mobile robot by Maggie s Eqations, J. heor. and App. Mech., Vol. 43, No 3, Giergiel M., Hendzel Z., Żylski W. (00), Modelowanie i sterowanie mobilnych robotów kołowych, PWN, Warszawa. 6. Hendzel Z. (004), Fzzy reactive control of wheeled mobile robot, J. heor. App. Mech., Vol. 4, No 3, Hendzel Z. (007), An adaptive critic neral network for motion control of a wheeled mobile robot, Nonlin. Dyn., Vol. 50, No 4, Hendzel Z., Szster M. (009), Discrete action dependant heristic dynamic programming in wheeled mobile robot control, W: V International Conf. on Mechatronic Systems and Materials 009, Wilno, Powell W.B. (007), Approximate dynamic programming: Solving the crses of dimensionality, Willey-Interscience, Princeton. 0. Prokhorov D., Wnch D.C. (997), Adaptive critic designs, IEEE rans. on Neral Net, Vol. 8, No 5, Stton R.S., Barto A.G. (999), Reinforcement learning: an introdction, MI Press, Cambridge, 999. NEURAL DYNAMIC PROGRAMMING IN BEHAVIOURAL CONROL OF A WHEELED MOBILE ROBO Abstract: In this paper an innovative approach to a collision-free trajectory generating for a wheeled mobile robot (WMR) with Neral Dynamic Programming (NDP) and Fzzy Logic (FL) algorithms, is proposed. he presented hierarchical control system consists of a trajectory generating algorithm based on reactive navigation of the WMR in nknown D environment with static obstacles, and a tracking control system. A strategy of reactive navigation is developed inclding two main behaviors: obstacle avoiding behavior (OA) and goal-seeking behavior (GS) realized in a form of NDP algorithms. hese simple, individal behaviors are combined by the fzzy combiner of behaviors (CB), that determines inflence of the individal behaviors according to environment conditions. A compter simlations of the proposed control algorithm have been condcted in virtal environment for the WMR Pioneer -DX. 36