Gry dynamiczne w syntezie sterowania obiektami ruchomymi Józef Lisowski Akademia Morska w Gdyni, lis@am.gdynia.pl Artykuł przedstawia zastosowanie teorii gier różniczkowych, wieloetapowych pozycynych i wielokrokowych macierzowych do automatyzaci procesu sterowania obiektami ruchomymi, na przykładzie bezpiecznego sterowania własnym statkiem w sytuacach kolizynych podczas miania się ze spotkanymi statkami. Przedstawiono algorytmy wyznaczania bezpieczne traektorii statku wspomagaące decyzę manewrową nawigatora w sytuaci kolizyne. Rozważania zilustrowano przykładami komputerowe symulaci w oprogramowaniu Matlab/Simulink bezpiecznych traektorii statku w rzeczywiste sytuaci na morzu. 1. Wstęp Do ednych z ważnieszych zagadnień transportowych należą procesy optymalnego i bezpiecznego sterowania statkami, samolotami i samochodami ako obiektami ruchomymi. Procesy takie dotyczą kierowania ruchem wielu obiektów ednocześnie, o różnym stopnia współdziałania, wpływie czynników przypadkowych o nie znanym rozkładzie prawdopodobieństwa i dużym udziale subiektywności operatora w podemowaniu decyzi manewrowe. Dlatego kierowanie takimi procesami dokonue się za pomocą rozgrywaących układów sterowania, których syntezę prowadzi się metodami teorii gier. Teoria gier est działem matematyki, obemuącym teorię sytuaci konfliktowych, budowę i analizę ich modeli. Konflikt może być: woskowy, polityczny, społeczny, ekonomiczny, w grze towarzyskie, w grze z naturą, w realizaci procesu sterowania podczas oddziaływania zakłóceń lub innych obiektów sterowania. Grą w uęciu teorii sterowania nazywa się proces złożony z kilku obiektów sterowania pozostaących ze sobą w sytuaci konfliktowe, bądź proces z nieokreślonymi zakłóceniami lub z niepełną informacą. Gracze ako obiekty sterowania uczestniczący w sytuaci konfliktowe dysponuą pewnymi zbiorami strategii. Strategia est zbiorem reguł działania - sterowania gracza, których nie mogą zmienić działania przeciwnika lub natury. Strategie realizue: człowiek, automat, regulator, komputer. Strategie mogą być czyste, ako elementy zbioru strategii lub mieszane ako rozkład prawdopodobieństwa na zbiorze strategii czystych. Wynikiem gry est wypłata w postaci wygrane, przegrane lub prawdopodobieństwa realizaci pewnego działania sterowania [7, 11, 12, 14]. Pierwszą koncepcę teorii gier oraz twierdzenie o mini-maksie sformułował E. Borel 1921, 1927). Pierwszą polską pracą z teorii gier est praca H. Steinhausa 1925). Głównymi twórcami teorii gier są: John von Neumann 1928) oraz O. Morgenstern 1944). Nawiększą klasę gier, mogących znaleźć zastosowanie przy rozgrywaącym sterowaniu dynamicznymi procesami transportowymi, a wśród nich sterowaniu ruchem statków, samolotów i samochodów, 1
reprezentuą gry różniczkowe, opisane równaniami stanu i wyścia oraz ograniczeniami stanu i sterowania [3, 4, 10]. Zastosowaniem teorii gier różniczkowych w teorii sterowania, w tym i do sterowania ruchem obiektów zamowali się: W.H. Fleming 1957-1964), L.S. Pontriagin 1964-1966), R. Isaacs 1965), N.N. Krasovski 1965-1974), W.P. Paciukov 1968-1976), A.W. Merz i J.S. Karmarkar 1976), J. Kazimierczak 1973), T. Miloh i S.D. Sharma 1977), V. Kudriaszov i J. Lisowski 1979-1980), P.N. Tiep i J. Lisowski 1993-1997), M. Mohamed-Seghir i J. Lisowski 1979-2013), Z. Zwierzewicz 1994-2013). 2. Rodzae procesów sterowania obiektami ruchomymi Ruch obiektów w czasie odbywa się pod wpływem wielkości steruących u z odpowiednich dopuszczalnych zbiorów sterowania U: u U U θ) 0, U θ) ) 1) gdzie: U θ) 0 zbiór strategii własnego obiektu, U θ) zbiór strategii obiektu spośród ogólne liczby n obiektów, θ = 0 oznacza symbolicznie stabilizacę zadane traektorii ruchu obiektu, θ = 1 oznacza symbolicznie realizacę manewru antykolizynego w celu minimalizaci ryzyka kolizi, co w praktyce osiąga się spełnieniem nierówności: D min = min D t) D b = 1, 2,..., n 2) D min namniesza odległość zbliżenia własnego obiektu do spotkanego obiektu, D aktualna odległość do obiektu, D b bezpieczna odległość zbliżenia w danych warunkach otoczenia, reguł ruchu oraz własności dynamicznych obiektu, θ = 1 oznacza symbolicznie manewrowanie obiektem w celu osiągnięcia namniesze odległości zbliżenia, na przykład podczas przekazywania ładunku [6]. W przyęte symbolice zapisu można wyróżnić następuące rodzae sterowania ruchem obiektów: 1) sterowanie optymalne a) stabilizaca zadane traektorii ruchu: U 2) gry ednostronne U 0) 0 U 0) ) a) unikanie kolizi za pomocą: manewrów własnego obiektu: U U 1) 0 U 0) ) manewrów spotkanego obiektu: U U 0) 0 U 1) ) manewrów kooperuących: U U 1) 0 U 1) ) b) spotkanie obiektów: U U 1) 0 U 1) ) 2
3) gry konfliktowe a) sytuace ednostronne gry dynamiczne: U b) sytuace pościgu: U U 1) 0 U 1) ) oraz U U 1) 0 U 0) U 1) 0 U 1) ). ) oraz U U 0) 0 U 1) ). 3. Modele gier dynamicznych procesów sterowania obiektami ruchomymi 3.1. Model gry różniczkowe Nabardzie adekwatnym modelem procesu sterowania własnym obiektem w sytuaci z n spotkanymi obiektami est model gry różniczkowe n uczestników rys. 1). Rysunek 1: Schemat modelu gry różniczkowe procesu sterowania obiektami ruchomymi. Własności procesu opisane są przez równanie stanu: ) ) ] ẋ i = f i [x z 0 0, xz 1 1,..., xz,..., xzn n, u s 0 0, us 1 1,..., us,..., usn n, t i = 1, 2,..., nz + z 0 ), = 1, 2,..., n 3) gdzie: x z 0 0 t) z 0 wymiarowy wektor stanu własnego obiektu, x z t) z wymiarowy wektor stanu -tego obiektu, u s 0 0 t) s 0 wymiarowy wektor sterowania własnego obiektu, u s t) s wymiarowy wektor sterowania -tego obiektu. Na przykład równania stanu procesu sterowania statkiem w sytuacach kolizynych, po uwzględnieniu równań hydromechaniki własnego statku oraz równań kinematyki ruchu względnego własnego statku i spotkanego statku przymą postać 4). Zmienne stanu własnego statku x z 0 0 są reprezentowane przez: x1 0 kurs, x2 0 prędkość kursową, x 3 0 prędkość liniową, x4 0 kąt dryfu, x5 0 prędkość obrotową i x6 0 skok śruby nastawne napędu głównego. Zmienne stanu spotkanego statku określone są przez następuące wielkości: x 1 odległość, x 2 namiar oraz x3 kurs i x4 prędkość. 3
ẋ 1 0 = x 2 0 ẋ 2 0 = a 1 x 2 0x 3 0 + a 2 x 3 0 x 3 0 x 4 0 + b 1 x 3 0 x 3 0 u 1 0 ) ẋ 3 0 = a 4 x 3 0 x 3 0 x 4 0 x 4 0 1 + x 4 0 + a 5 x 2 0x 3 0x 4 0 x 4 0 + a 6 x 2 0x 3 0x 4 0 + a 7 x 3 0 + b 2 x 3 0x 4 0 x 3 0 u 1 0 ẋ 4 0 = a 3 x 3 0x 4 0 + a 4 x 3 0x 4 0 x 4 0 + a 5 x 2 0x 4 0a 9 x 2 0 + b 2 x 3 0u 1 0 ẋ 5 0 = a 10 x 5 0 + b 3 u 2 0 x 3 0 + a 8 x 5 0 x 5 0 x 6 0 4) ẋ 6 0 = a 11 x 6 0 + b 4 u 3 0 ẋ 1 = x 3 0 + x 2 x 2 0 + x 3 cos x 3 ẋ 2 = x 2 0x 1 + x 3 sin x 3 ẋ 3 = x 2 0 + b 4+ x 3 u 1 ẋ 4 = a 11+ x 4 x 4 + b 5+ u 2 Wielkościami steruącymi ruch własnego statku u s 0 0 są: u1 0 kąt wychylenia steru, u2 0 zadana wartość prędkości obrotowe i u 3 0 zadana wartość skoku śruby nastawne napędu głównego, zaś wielkościami steruącymi ruch spotkanego statku u s są: u 1 kurs i u2 prędkość liniowa. Na przykład, dla sytuaci miania się własnego statku z n = 20 spotkanymi statkami, model gry różniczkowe tego procesu est reprezentowany przez i = 86 zmiennych stanu. Ograniczenia stanu i sterowania wynikaą z zachowania przez własny statek bezpieczne odległości miania D b zgodnie z prawnymi regułami manewrowania z każdym spotkanym statkiem: g x z ), us 0 = 1, 2,..., n 5) Synteza sterowania rozgrywaącego obiektem polega na minimalizaci kryterium akości sterowania danego w postaci wypłaty całkowe i końcowe: I tk 0 = [x z 0 0 t)]2 dt + r t k ) + d t k ) min 6) t 0 Jeżeli za zmienną stanu własnego obiektu przymie się ego prędkość, to wypłata całkowa przedstawi długość traektorii własnego obiektu podczas wymiania spotkanych obiektów. Wypłata końcowa określa końcowe ryzyko kolizi własnego statku do -tego obiektu, na przykład wyznaczone dla statków według zależności 13), oraz końcowe odchylenie traektorii własnego obiektu od wcześnie zadane traektorii ruchu [2, 6, 8]. 3.2. Model gry pozycyne Model gry różniczkowe sprowadza się do modelu wieloetapowe gry pozycyne, w które dynamikę obiektu uwzględnia się za pomocą czasu wyprzedzenia manewru. Istotą gry pozycyne est uzależnienie strategii własnego obiektu od pozyci pt) spotkanych obiektów. W ten sposób uwzględnia się w modelu procesu ewentualne zmiany kursu i prędkości spotkanych obiektów w trakcie realizaci sterowania. Bieżący stan procesu w chwili t k est określony przez współrzędne pozyci własnego obiektu x 0 i spotkanych obiektów x : pt k ) = [ x0 t k ) x t k ) ], x 0 = X 0, Y 0 ), x = X, Y ) = 1, 2,..., n k = 1, 2,..., K 7) 4
Zakłada się, zgodnie z ogólną koncepcą pozycyne gry wieloetapowe, że w każde dyskretne chwili czasu t k na własnym obiekcie znana est pozyca spotkanych obiektów. Ograniczenia współrzędnych stanu są nawigacynymi ograniczeniami otoczenia obiektów: {x 0 t), x t)} P 8) Ograniczenia sterowania uwzględniaą kinematykę ruchu obiektów, zalecenia prawne przepisów ruchu prawo drogi morskie, prawo ruchu lotniczego, kodeks drogowy) i warunek zachowania bezpieczne odległości miania: u 0 U 0, u U = 1, 2,..., m 9) Zbiory dopuszczalnych strategii uczestników gry względem siebie, są zależne co oznacza, że wybór sterowania u przez -ty obiekt zmienia zbiory dopuszczalnych strategii innych obiektów: { } U 0 [pt)], U 0 [pt)] 10) Wypadkowy obszar dopuszczalnych manewrów własnego obiektu w stosunku do n obiektów: n U 0 = U 0 = 1, 2,..., n 11) =1 Optymalne sterowanie rozgrywaące własnego obiektu, zapewniaące minimalne straty drogi na bezpieczne wymianie spotkanych obiektów, wyznacza się metodą optymalizaci statyczne ze zbioru dopuszczalnych sterowań: u 0 U 0 12) 3.3. Model gry macierzowe Model gry różniczkowe sprowadza się do modelu wielokrokowe gry macierzowe, w które dynamikę obiektu uwzględnia się za pomocą czasu wyprzedzenia manewru. Macierz gry R[r s 0, s )] zawiera wartości ryzyka kolizi r wyznaczone dla dopuszczalnych strategii s 0 własnego obiektu i dopuszczalnych strategii s poszczególnych -tych obiektów. Wartość ryzyka kolizi definiue się ako odniesienie aktualne sytuaci zbliżenia, opisane przez parametry D min i T min do założone oceny sytuaci ako bezpieczne, określone przez bezpieczną odległość zbliżenia D b i czas bezpieczny T b, niezbędne do wykonania manewru uniknięcia kolizi oraz odległość D : r = 1 ) D a 2 min 1 D b + a 2 T min T b ) 2 + a 3 D D b ) 2 gdzie: a 1, a 2, a 3 współczynniki zależne od stanu otoczenia ruchu obiektów. W grze macierzowe własny obiekt ako gracz I ma możliwość użycia s 0 różnych strategii czystych, a spotkane obiekty reprezentuące gracza II maą s różnych strategii czystych: R = [r s 0, s )] = r 1,1 r 1,2... r 1,s... r 1,sn r 2,1 r 2,2... r 2,s... r 2,sn r 3,1 r 3,2... r 3,s... r 3,sn r 4,1 r 4,2... r 4,s............ r 4,sn. r s0 1,1 r s0 1,2... r s0 1,s... r s0 1,s n r s0,1 r s0,2... r s0,s... r s0,s n Ograniczenia na wybór strategii s 0, s ) wynikaą z zaleceń prawnych przepisów ruchu. Ponieważ naczęście gra nie ma punktu siodłowego, więc nie ma zagwarantowanego stanu równowagi [9, 13]. 13) 14) 5
4. Algorytmy sterowania rozgrywaącego statkiem Syntezę algorytmów rozgrywaącego sterowania obiektami ruchomymi przeprowadzono na przykładzie procesu bezpiecznego sterowania ruchem własnego statku podczas spotkania innych statków. Poszczególnym modelom procesu można przyporządkować odpowiednie algorytmy komputerowego wspomagania decyzi manewrowe nawigatora w sytuacach kolizynych. Przy czym dokładny, ale złożony model gry różniczkowe służy ako model symulacyny do sprawdzenia poprawności działania algorytmów sterowania zbudowanych w oparciu o przybliżone modele gry pozycyne i macierzowe. 4.1. Algorytm grapoz nk gry pozycyne niekooperacyne Optymalne sterowanie własnym statkiem u 0 [ pt)] określa się wyznaczaąc zbiory dopuszczalnych strategii spotkanych statków względem własnego statku oraz zbiory dopuszczalnych strategii własnego statku względem każdego ze spotkanych statków. Następnie wyznacza się optymalną strategię pozycyną własnego statku z warunku: I = min u 0 max u min I[x 0, P k ] = s u 0 15) 0 Funkcę celu sterowania własnego statku s 0 charakteryzue odległość własnego statku do nabliższego punktu zwrotu P k na zadane trasie resu. Kryterium wyboru optymalne traektorii własnego statku sprowadza się do wyznaczenia ego kursu i prędkości zapewniaących namniesze straty drogi na bezpieczne mianie spotkanych statków, w odległości nie mniesze niż założona wartość D b, z uwzględnieniem dynamiki własnego statku w postaci czasu wyprzedzenia manewru. Napierw wyznacza się sterowanie własnego statku zapewniaące nakrótszą traektorię wyminięcia, czyli namniesze straty drogi warunek min) dla sterowania niekooperacynego każdego spotkanego statku, przyczyniaącego się do nawiększego wydłużenia traektorii własnego statku warunek max). Na końcu ze zbioru sterowań własnego statku do poszczególnych spotkanych statków, wybiera się sterowanie własnego statku w stosunku do wszystkich n spotkanych statków, zapewniaące namniesze straty drogi warunek min). Stosownie do trzech warunków optymalizaci min max min), do rozwiązania gry stosue się potrónie metodę programowania liniowego, uzyskuąc wartości optymalne kursu i prędkości własnego statku. Namniesze straty drogi osiąga się dla maksymalnego rzutu wektora prędkości własnego statku na kierunek zadanego kursu. Optymalne sterowanie oblicza się wielokrotnie na każdym dyskretnym etapie ruchu stosuąc metodę Simpleks do rozwiązywania zadania programowania liniowego dla zmiennych w postaci składowych wektora prędkości własnego statku [1, 5]. 4.2. Algorytm grapoz k gry pozycyne kooperacyne Dla gry kooperacyne kryterium sterowania 15) przymie następuącą postać: I = min u 0 min u min I[x 0, P k ] = s u 0 16) 0 Różnica w stosunku do poprzedniego algorytmu wynika z zachowania kooperaci w uniknięciu kolizi przez wszystkie spotkane obiekty n i zastąpieniu drugiego warunku max na min. 4.3. Algorytm gramac nk gry macierzowe niekooperacyne Do wyznaczenia optymalnego sterowania można wykorzystać metodę dualnego programowania liniowego. 6
W zagadnieniu dualnym gracz I dąży do minimalizaci ryzyka kolizi, natomiast gracz II w grze niekooperacyne dąży do maksymalizaci ryzyka kolizi. Składowe strategii mieszane wyrażaą rozkład prawdopodobieństwa użycia przez graczy ich strategii czystych. W rezultacie dla kryterium sterowania w postaci: I = min max r 17) u 0 u otrzymue się macierz prawdopodobieństwa użycia poszczególnych strategii czystych. Rozwiązaniem zadania bezpiecznego sterowania własnym statkiem est strategia o nawiększym prawdopodobieństwie p : u 0 = u s 0) { } 0 [p s 0, s )] max 18) Stosuąc zasadę dualnego programowania liniowego do rozwiązania gry macierzowe uzyskue się wartości optymalne kursu własnego statku oraz -tego spotkanego statku, przy namnieszych odchyleniach od ich wartości początkowych. 4.4. Algorytm gramac k gry macierzowe kooperacyne Dla gry kooperacyne kryterium sterowania 17) przymie następuącą postać: I = min min r 19) u 0 u Różnica w stosunku do poprzedniego algorytmu wynika z zachowania kooperaci w uniknięciu kolizi przez wszystkie spotkane obiekty n i zastąpieniu drugiego warunku max na min. 5. Symulaca komputerowa bezpieczne traektorii statku Na rysunkach 2, 3, 4 i 5 przedstawiono traektorie rozgrywaące własnego statku wyznaczone według algorytmów grapoz nk, grapoz k, gramac nk i gramac k w oprogramowaniu Matlab/Simulink, w sytuaci = 34 spotkanych statków w Cieśninie Kattegat, w warunkach: a) dobre widzialności na morzu dla D b = 0, 3 Mm, b) ograniczone widzialności na morzu dla D b = 1, 5 Mm. Gra kończy się w chwili t k, gdy ryzyko własnego statku r w stosunku do każdego spotkanego statku osiągnie wartość zero r t k ) = 0 i wówczas ocenia się końcowe odchylenie traektorii własnego statku od traektorii zadane dt k ). 6. Zakończenie Zastosowanie uproszczonych modeli gry różniczkowe procesu sterowania obiektami ruchomymi, w postaci wieloetapowe gry pozycyne i wielokrokowe gry macierzowe, do syntezy algorytmów sterowania umożliwia wyznaczenie bezpieczne traektorii optymalne i rozgrywaące własnego obiektu w sytuacach miania się z większą ilością spotkanych obiektów ako sekwenci manewrów kursem i prędkością. Opracowane algorytmy sterowania uwzględniaą prawne reguły ruchu obiektów i czas wyprzedzenia manewru, aproksymuący własności dynamiczne własnego obiektu oraz oceniaą odchylenie końcowe traektorii rzeczywiste od zadane. Przedstawione algorytmy sterowania stanowią formalne modele rzeczywistych procesów decyzynych nawigatora prowadzącego statek i mogą być zastosowane w systemie komputerowego wspomagania nawigatora przy podemowaniu decyzi manewrowe w sytuacach kolizynych. 7
Rysunek 2: Bezpieczna traektoria własnego statku w sytuaci miania się z n=34 spotkanymi statkami, wyznaczona przez algorytm grapoz nk. Rysunek 3: Bezpieczna traektoria własnego statku w sytuaci miania się z n=34 spotkanymi statkami, wyznaczona przez algorytm grapoz k. 8
Rysunek 4: Bezpieczna traektoria własnego statku w sytuaci miania się z n=34 spotkanymi statkami, wyznaczona przez algorytm gramac nk. Rysunek 5: Bezpieczna traektoria własnego statku w sytuaci miania się z n=34 spotkanymi statkami, wyznaczona przez algorytm gramac k. 9
Literatura [1] Basar T., Olsder G.J., Dynamic noncooperative game theory, Siam, Philadelphia 2013) [2] Engwerda J.C., LQ dynamic optimization and differential games, John Wiley & Sons, West Sussex 2005) [3] Isaacs R., Differential games, John Wiley & Sons, New York 1965) [4] Kowalik S., Wykorzystanie teorii gier do podemowania decyzi w górnictwie, Wydawnictwo Politechniki Śląskie, Gliwice 1997) [5] Lazarowska A., Lisowski J., The radar data transmission to computer support system of ship safety, Solid State Phenomena, Vol. 196, pp. 95-101 2013) [6] Lisowski J., The sensitivity of computer support game algorithms of a safe ship control, International Journal Applied Mathematics and Computer Science, Vol. 23, No. 2, pp. 439-446 2013) [7] Luce R.D., Raiffa H., Gry i decyze, Państwowe Wydawnictwo Naukowe, Warszawa 1964) [8] Millington I., Funge J., Artificial intelligence for games, Elsevier, Amsterdam-Tokyo 2009) [9] Nisan N., Roughgarden T., Tardos E., Vazirani V.V., Algorithmic game theory, Cambridge University Press, New York 2007) [10] Nowak A.S, Szaowski K., Advances in dynamic games, applications to economics, finance, optimization and stochastic control, Birkhauser, Boston, Basel, Berlin 2000) [11] Osborne M.J., An introduction to game theory, Oxford University Press, New York 2004) [12] Płonka E, Wykłady z teorii gier, Wydawnictwo Politechniki Śląskie, Gliwice 2001) [13] Radzik T., Characterization of optimal strategies in matrix games with convexity properties, Game Theory, Vol. 29, No. 2, pp. 211-228 2000) [14] Straffin P.D., Teoria gier, Wydawnictwo Naukowe Scholar, Warszawa 2001) 10