ZASTOSOWANIE UCZENIA ZE WZMOCNIENIEM W UKŁADACH STEROWANIA RUCHEM STATKU

Transkrypt

1 Andrzej Rak Akademia Morska w Gdyni ZASTOSOWANIE UCZENIA ZE WZMOCNIENIEM W UKŁADACH STEROWANIA RUCHEM STATKU W arykule przedsawiono ideę zasosowania algorymów uczenia ze wzmocnieniem do wyznaczania rajekorii saku na ograniczonym akwenie, w obecności przeszkód nawigacyjnych. Program serujący sakiem pełni rolę ucznia, kóry poprzez dynamiczne inerakcje z ooczeniem zdobywa informację warościującą (wzmocnienie), oceniającą akcje podejmowane przez en program. Ciąg akcji ma doprowadzić do wykonania zadania zgodnie z obraną sraegią decyzyjną. W proponowanym rozwiązaniu zadaniem dla ucznia jes znalezienie możliwej do przebycia, bezpiecznej rajekorii ruchu saku mającego wykonać manewry na ograniczonym akwenie. 1. WPROWADZENIE Zagadnienie auomaycznego serowania sakiem dzieli się zazwyczaj na kilka zadań wykonywanych odrębnie w zależności od eapu podróży, na jakim znajduje się saek. Dla niekórych z ych zadań, jak sabilizacja kursu na owarym akwenie czy serowanie wzdłuż rajekorii, zaproponowano kompleksowe i skueczne meody serowania [, 9]. Isnieją jednak zadania, związane przede wszyskim ze serowaniem jednoskami o nieypowych właściwościach dynamicznych albo z wielowymiarowym serowaniem precyzyjnym, kóre nie mają zadowalających rozwiązań lub kórych rozwiązania można znacząco udoskonalić. Proces manewrowania na wodach ograniczonych z małą prędkością jes jednym z zadań nasręczających najwięcej rudności w budowie w pełni zauomayzowanego układu serowania ruchem saku. Trudności e wynikają przede wszyskim z: nieliniowości dynamiki saku przejawiających się szczególnie podczas ruchu z niewielkimi prędkościami, silnych, nieliniowych sprzężeń pomiędzy urządzeniami wykonawczymi (sery srumieniowe, napęd główny, sery płewowe), silnych zakłóceń środowiskowych, jak porywy wiaru, pływy, prądy, inerakcje z dnem i nabrzeżami oraz innymi manewrującymi jednoskami, niskiego sosunku mocy urządzeń wykonawczych do całkowiej masy saku zmniejsza o zakres dopuszczalnych błędów w manewrowaniu oraz nie pozwala na kompensacje zakłóceń o dużej wariancji (uderzenia szkwałów).

2 13 ZESZYTY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr, grudzień 009 Propozycje rozwiązań serowania na wodach ograniczonych można znaleźć w pracach [5,, 9]. Wykorzysują one zarówno klasyczną eorię serownia, jak i meody ineligencji obliczeniowej. Wspólną ich cechą jes o, że wielkości zadane, opisane najczęściej w formie sekwencji manewrów przemieszczenia i zmiany prędkości, określane są przez operaora. Niniejszy arykuł opisuje koncepcję i wyniki wsępnych badań nad zasosowaniem algorymów uczenia ze wzmocnieniem (ang. Reinforcemen Learning RL) do generowania rajekorii zadanej. Idee leżące u podsaw ych algorymów przedsawiono w drugim punkcie arykułu. W punkcie rzecim opisano, jak algorymy RL można dososować do problemu określania zadanej rajekorii saku. Nasępnie zaprezenowano wyniki badań symulacyjnych wybranych algorymów. Arykuł zamykają uwagi końcowe.. ALGORYTMY UCZENIA ZE WZMOCNIENIEM W pewnym uproszczeniu algorym RL można określić jako uczenie się na podsawie prób i błędów [1]. Uczeń, zwany eż agenem, wchodzi w inerakcje ze środowiskiem, w kórym ma wykonać swoje zadanie. Inerakcje e odbywają się zazwyczaj w dyskrenych chwilach czasu, zwanych krokami. Uczeń obserwuje san środowiska x i wykonuje akcję a wybraną zgodnie z przyjęą sraegią decyzyjną. Po wykonaniu akcji środowisko zwraca uczniowi rzeczywisoliczbową warość sanowiącą nagrodę (wzmocnienie) r. Warość a jes miarą oceny działania sysemu. Wykonanie akcji może akże powodować zmianę sanu środowiska. W przedsawionej konwencji nazw uczenie jes procesem modyfikacji sraegii wykorzysywanej podczas wybierania akcji na podsawie kolejnych obserwacji sanów, akcji i nagród. Obserwowane czwórki <x, a, r, x +1 > nazywane są doświadczeniem i o właśnie prakyczne realizacje procesu modyfikacji sraegii na podsawie doświadczenia wyróżniają poszczególne algorymy RL. W niniejszej pracy wykorzysano dwa najlepiej opracowane algorymy: Q- Learning i SARSA. Jak już wspomniano wyżej, podsawą działania wszyskich algorymów RL jes modyfikacja sraegii. Opisowo można ją określić jako program, kóry dosarcza uczniowi informacji, jaką akcję należy wykonać w określonym sanie. Zależność pomiędzy sanem s a preferowaną akcją a ma charaker probabilisyczny i jes reprezenowana w posaci funkcji warości dla określonego sanu lub funkcji warości akcji. W celu przedsawienia szkicu obydwu algorymów będziemy posługiwać się funkcją warości akcji, kórą definiuje się dla sraegii jako: Q s,a E R s s,a a, (1)

3 A. Rak, Zasosowanie uczenia ze wzmocnieniem w układach sreowania ruchem saku 135 przy czym E { } oznacza warość oczekiwaną zdyskonowanej sumy przyszłych nagród R, jakie orzyma uczeń rozpoczynający działanie w sanie s od akcji a i posługujący się sraegią..1. Algorym Q-Learning Jak już sama nazwa wskazuje, algorym en uczy się funkcji warości akcji. Dokładniej rzecz biorąc, uczy się on oszacowania opymalnej funkcji warości akcji, aby móc wyznaczyć sraegię zachłanną (maksymalizującą Q dla dowolnego a ) względem niej. Można go zapisać w posaci: Q przy czym: , + 1 a 1A () s,a = Q s,a + r + max Q s a Q s,a e s,, + 1 a współczynnik uczenia z przedziału (0,1], r +1 warość wzmocnienia (nagrody) za wykonanie akcji, współczynnik dyskonowania, e (s,a ) nazywane śladem akywności, reprezenuje malejący wykładniczo wpływ akcji, podjęej w bieżącym kroku, na algorym uczenia w kolejnych krokach. Uważny czyelnik zauważy zapewne, że przedsawiony wyżej paradygma uczenia jes modyfikacją równania opymalności Bellmana, w kórym nieznane warości oczekiwane zasąpiono znanymi realizacjami odpowiednich zmiennych losowych. Wykazano, że po spełnieniu pewnych formalnych warunków algorym Q-Learning jes zbieżny do opymalnej funkcji warości akcji [3]... Algorym SARSA Algorym en jes blisko spokrewniony z przedsawionym powyżej. O ile dla Q-Learning reguła modyfikacji funkcji warości akcji opiera się na wyznaczeniu maksymalnej warości oczekiwanej wzmocnienia, o yle w algorymie SARSA (Sae, Acion, Reward, Sae, Acion) scenariusz przewiduje uwzględnienie w regule akualizacji funkcji Q warości akcji, kóra rzeczywiście zosała wybrana w sanie s : Q s,a =Q s,a + r + Q s a Q s,a e s, a ,. (3) Usunięcie maksymalizacji warości akcji z reguły akualizacji eliminuje mechanizm, kóry w algorymie Q-Learning prowadził w kierunku zbieżności do opymalnej funkcji warości akcji. W celu uzyskania podobnego efeku w opisywanym algorymie wymaga się, aby posługiwał się on sraegią zachłanną względem wyznaczanej funkcji warości akcji. Oznacza o, że SARSA jes algorymem zależnym od sraegii (on-policy raining). Posługuje się on sraegią, kórej się uczy, naomias Q-Learning jes od sraegii niezależny (off-policy + 1

4 13 ZESZYTY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr, grudzień 009 raining). Różnice w działaniu obydwu algorymów znalazły swe odbicie w wynikach badań symulacyjnych. 3. ALGORYTMY RL W ZADANIU MANEWROWANIA NA AKWENIE OGRANICZONYM Przedsawione wyżej algorymy znajdują najczęściej zasosowanie w układach serowania ruchem saku, według doychczas isniejących publikacji [, 7, ], jako elemeny regulaora, kórego sygnałem wyjściowym jes ką wychylenia seru. Niniejsza praca, jak już wspomniano we wprowadzeniu, doyczy zasosowania algorymów RL do generowania rajekorii zadanej ruchu saku. Jes o zagadnienie znacznie słabiej opracowane. Naomias dla problemu serowania, również w układach wielowymiarowych, isnieje wiele saysfakcjonujących rozwiązań [5,, 9]. Wsępny charaker prezenowanych rozważań wymusza przyjęcie pewnych założeń upraszczających problem generowania rajekorii zadanych. Dobrze opracowane, zbieżne algorymy dosępne są dla procesów dyskrenych. Rozsądne więc wydaje się założenie, że pozycja saku będzie zdyskreyzowana siaką kwadraów o boku równym długości saku []. Z poprzednim założeniem wiąże się zagadnienie wysarczającego sopnia eksploracji przesrzeni sanów, niezbędnego do osiągnięcia opymalnego lub subopymalnego rozwiązania w procesie uczenia. Ogranicza o sosowanie sysemu do niewielkich obszarów ( rozsądnej wielkości przesrzeni sanu), gdyż zwłaszcza przy ablicowej reprezenacji funkcji warości wymagana moc obliczeniowa do rozwiązania problemu w akcepowalnym czasie może przekroczyć rozsądne warości. Saek morski nie jes najczęściej obiekem holonomicznym, sysem docelowy musi więc włączyć do algorymu preferencje ruchu wzdłuż osi podłużnej saku. Prezenowane wyniki uwzględniają ylko zmianę pozycji saku. Opracowane algorymy nie uwzględniają przeszkód ruchomych. Proponowane rozwiązanie, w przeciwieńswie do sysemów anykolizyjnych, sosowanych na większych akwenach czy na pełnym morzu, ogranicza się do obszarów, na kórych ruch obieków jes bardzo powolny. Problem, na obecnym eapie badań, uznaje się zaem za sayczny (lub quasi-sayczny). Niezbędne jes eż ogólne założenie: sysem powinien działać na podsawie informacji o bieżącej oraz docelowej pozycji saku. Konieczna jes akże wiedza (w posaci elekronicznej) o akwenie o obszarach dosępnych do bezpiecznej żeglugi (ory wodne, srefy rozgraniczenia ruchu ec.) i o warunkach manewrowania na nich.

5 A. Rak, Zasosowanie uczenia ze wzmocnieniem w układach sreowania ruchem saku 137. WYNIKI BADAŃ SYMULACYJNYCH Symulacje kompuerowe, kórych wyniki przedsawiono na rysunku 1, przeprowadzono, wykorzysując programy napisane w języku MATLAB. Symulowana przesrzeń sanu ma posać ablicy o wymiarach x. Saek może więc znajdować się w jednej ze 0 pozycji. Zadanym sanem począkowym jes s(9,), oznaczony na rysunkach symbolem x. Zadany san końcowy, oznaczony ciemnym kółkiem, ma indeks s(,9). SARSA: funkcja warości SARSA: sraegia Q-Learning: funkcja warości Q-Learning: sraegia SARSA: rajekoria Q-Learning: rajekoria Rys. 1. Wyniki działania algorymów dla 00 epizodów W każdym sanie dopuszczalnych jes 9 akcji: przejście do dowolnej sąsiedniej komórki lub pozosanie w miejscu. Wyjąkiem są sany brzegowe, dla kórych akcje polegające na opuszczeniu obszaru są zabronione. Z akcją polegającą na przejściu do kolejnego sanu związane jes wzmocnienie ( nagroda ) o warości -1. Przejście do sanu końcowego nagradzane jes wzmocnieniem równym 0. Zdefiniowano więc klasyczne zadanie do sukcesu. Maksymalizacja nagrody (minima-

6 13 ZESZYTY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr, grudzień 009 lizacja warości bezwzględnej sumy ujemnych wzmocnień) zmusza algorym do poszukiwania jak najkrószej drogi między sanem począkowym i końcowym. Dodakowym urudnieniem jes obszar zabroniony w posaci pięciu sanów na przecięciu wierszy od do i 5. kolumny. Przejście do każdego z ych sanów skukuje uzyskaniem wzmocnienia o warości -0. SARSA: funkcja warości SARSA: sraegia Q-Learning: funkcja warości Q-Learning: sraegia SARSA: rajekoria Q-Learning: rajekoria Rys.. Wyniki działania algorymów dla 000 epizodów Rysunek 1 przedsawia funkcje warości sanów, sraegie i rajekorie osaniego epizodu dla eksperymenu przerwanego po 00 próbach zakończonych osiągnięciem sanu docelowego. Jak ławo zauważyć, żaden z algorymów nie dysponuje jeszcze skueczną sraegią, choć w obu wypadkach funkcja warości sanu począkowego zbliża się do. Jednakże żadna ze sraegii nie proponuje przejścia do sanów zabronionych. Algorym SARSA ma przy ym znacznie silniejszą endencję do eksploracji przesrzeni sanów, a Q-Learning do eksploaacji bieżącej sraegii. Na rysunku zaprezenowano e same paramery, lecz dla procesu uczenia rwającego 000 epizodów. Warość sanu począkowego w obu przypadkach jes bardzo bliska. Oba algorymy dysponują już akże opymal-

7 A. Rak, Zasosowanie uczenia ze wzmocnieniem w układach sreowania ruchem saku 139 nymi sraegiami. Q-Learning preferuje, zgodnie z rachunkiem prawdopodobieńswa, omijanie przeszkody górą, lecz ma również opymalną sraegię omijania jej dołem na wypadek, gdyby algorym uczenia wymusił przejście ze sanu począkowego, na przykład do sanu s(9,3) lub s(,3). SARSA posługuje się sraegią omijającą przeszkodę ylko dołem. Sraegie górne, gdyby zosały wymuszone, są nieopymalne. Algorym en wciąż eksploruje przesrzeń sanów, co widać na przebiegu realizowanej rajekorii. Uczeń ze sanu s(7,7) przeszedł do s(7,), choć sraegia wskazuje na s(,). 5. UWAGI KOŃCOWE Wyniki przeprowadzonych badań wskazują na o, że algorym Q-Learning, wyznaczając sraegię zachłanną względem funkcji warości akcji (parz punk ), prowadzi do lepszych rozwiązań w zadaniu generowania rajekorii zadanej. Z drugiej srony, słabsza endencja do eksploracji przesrzeni sanów może prowadzić do syuacji, w kórej algorym uknie w eksremum lokalnym i nie odnajdzie sraegii opymalnej. Zasadniczą korzyścią z powsania sysemu mogącego wyznaczyć bezpieczną rajekorię zadaną w procesie uczenia się bez nadzoru, dla manewrów na podejściu do poru, w kanale czy w porcie, byłoby znaczne zwiększenie zakresu auonomii sysemu serowania ruchem saku względem operaora. To oznacza zwiększenie odporności na błędy, kórych źródłem jes człowiek. Nauralnym kierunkiem przyszłych badań powinny być algorymy, dla kórych nie będzie sosować się uproszczeń przesawionych w punkcie 3 ego arykułu. LITERATURA 1. Baro G. A., Suon S. R., Reinforcemen Learning: An Inroducion, MIT Press, Cambridge 199 (dosępne on-line: hp:// Chazidimiriou K., CS0 Projec: Ship Seering Using Reinforcemen Learning, Colorado Sae Universiy 00 (dosępne on-line: hp://en.scienificcommons.org/ 03). 3. Cichosz P., Sysemy uczące się, Wydawnicwa Naukowo-Techniczne, Warszawa Fossen T. I., Marine Conrol Sysems: Guidance, Navigaion and Conrol of Ships, Rigs and Underwaer Vehicles, Marine Cyberneics AS, Trondheim Gierusz W., Syneza wielowymiarowych układów serowania precyzyjnego ruchem saku z wykorzysaniem wybranych meod projekowania układów odpornych, Wydawnicwo Akademii Morskiej w Gdyni, Gdynia Gyoungwoo L., Surendan S., Sang-Hyun Kim, Algorihms o conrol he moving ship during harbour enry, Applied Mahemaical Modelling, vol. 33 (009), no. 5, s

8 ZESZYTY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr, grudzień Łącki M., Reinforcemen learning in ship handling, TransNav'07 Symposium, Gdynia Misubori K., Kamio T., Tanaka T., On A Course Deerminaion based on he Reinforcemen Learning in Maneuvering moion of a ship wih he idal curren effec, Inernaional Symposium on Nonlinear Theory and is Applicaions, Xi an Morawski L., Nguyen Cong V., Rak A., Full-Mission Marine Auopilo Based on Fuzzy Logic Techniques, Wydawnicwo Akademii Morskiej w Gdyni, Gdynia 00. APPLICATION OF REINFORCEMENT LEARNING TO SHIP MOTION CONTROL SYSTEMS Summary The paper presens an idea of reinforcemen learning applicaion o reference rajecory generaion for he ship maneuvering in he confined waers. The ship conroller acs as an agen, which gahers a reinforcemen signal evaluaing is acions by he ineracion wih he environmen. A series of he acions chosen according o he specified policy should finish wih he predefined goal. In he proposed soluion he course of acions is defined as consecuive poins of safe, execuable, reference rajecory of he ship maneuvering in he confined waers.