Algorytm Stentz a D. Przemysław Klęsk Katedra Metod Sztucznej Inteligencji i Matematyki Stosowanej

Transkrypt

1 Algorytm tentz a D Przemysław Klęsk pklesk@wi.zut.edu.pl Katedra Metod ztucznej Inteligencji i Matematyki tosowanej

2 Zadanie W nieznanym terenie (lub znanym tylko częściowo) należy dojść do celu o podanych współrzędnych. Koszty przejść i przeszkody poznawane są na bieżąco w trakcie przechodzenia ścieżki (przykłady: rzeczywiste roboty mobilne, postaci w grach komputerowych).

3 Ilustracja przykładu ()

4 Ilustracja przykładu ()

5 Ilustracja przykładu ()

6 O algorytmie tentz a ogólnie Algorytm tentz a () własności Znany również pod nazwą D, z intencją rozumienia nazwy jako dynamic A. Mimo nazwy, przeprowadzany w sposób bliższy algorytmowi Dijkstry. Algorytm realizuje optymalne postępowanie w świetle poznawanych na bieżąco ormacji. Przemysław Klęsk (KMIiM, ZUT) /

7 O algorytmie tentz a ogólnie Algorytm tentz a własności Algorytm działa iteracyjnie ścieżka jest wyznaczana wielokrotnie. Pierwszy przebieg jest wsteczną wersją a. Dijkstry budujemy kolejkę stanów idąc od celu do startu. Przy fizycznym przechodzeniu ścieżki i natrafieniu na niezgodność doświadczenia z dotychczasową wiedzą aktualizujemy ścieżkę. tany w kolejce mogą wielokrotnie zmieniać swoje koszty i wielokrotnie trafiać do kolejki. Algorytm jest efektywniejszy niż wielokrotne uruchamianie algorytmu Dijkstry od zera. Przemysław Klęsk (KMIiM, ZUT) /

8 Oznaczenia i reprezentacja mapy Zbiór akcji i stanów Niech A oznacza zbiór możliwych akcji. W szczególności dla siatki kwadratów: A={,,, }. Niech X oznacza zbiór stanów. Dla siatki kwadratów: X={x ij }, gdzie i numer wiersza, j numer kolumny. Przez A(x) będzie oznaczany zbiór akcji możliwych dla stanu x. Przemysław Klęsk (KMIiM, ZUT) /

9 Oznaczenia i reprezentacja mapy Wykonywanie akcji Niech t(x, a) (transition) oznacza funkcję przenoszącą pewien stan x z użyciem akcji a w nowy stan x, tzn. t(x, a)=x. Na przykład dla siatki kwadratów t(x, )=x. Formalnie t jest funkcją t: X A X. Przemysław Klęsk (KMIiM, ZUT) /

10 Koszty przejść Oznaczenia i reprezentacja mapy Niech c(x, a) (costs of transition) oznacza funkcję ponoszonego kosztu, który trzeba ponieść wykonując w x akcję a. Formalnie c: X A R + { }. Jeżeli wykonanie w x akcji a jest niemożliwe (przeszkoda lub brzeg mapy), to c(x, a) =. Taka postać funkcji c pozwala na ogólną reprezentację mapy, gdzie przejścia w pewien stan, ale z różnych kierunków mogą mieć różne koszty. Jeżeli dla siatki kwadratów chcemy utożsamić koszty przejścia do tego samego stanu x ij, to: c(x i,j, )=c(x i+,j, )=c(x i,j, )=c(x i,j+, )=map(i, j). dla wszystkich i, j. Przemysław Klęsk (KMIiM, ZUT) /

11 Oznaczenia i reprezentacja mapy dy koszty przejść utożsamione z mapą map= c(, )= c(, )= c(, )= c(, )= Przemysław Klęsk (KMIiM, ZUT) /

12 Oznaczenia i reprezentacja mapy Założenie początkowe W najbardziej pesymistycznym przypadku zakładamy pełną niewiedzę o mapie, z wyjątkiem ormacji o współrzędnych startowych i docelowych. Jeżeli przyjmiemy, że nieutrudnione niczym przejście kosztuje jednostkę, w przypadku pełnej niewiedzy, należy nastawić: x, a c(x, a)=. W szczególności przyjmujemy, że nie znamy również brzegów planszy. Przemysław Klęsk (KMIiM, ZUT) /

13 Oznaczenia i reprezentacja mapy Wielkości używane w algorytmie Niech g current (x) oznacza aktualnie znany koszt przejścia ze stanu x do stanu docelowego. Niech g via (x, x ) oznacza aktualnie zany koszt przejścia ze stanu x do stanu docelowego, gdy podróżujemy przez stan x. Funkcja g via będzie tak naprawdę rozpatrywana tylko dla x, x będących bezpośrednimi sąsiadami. Niech a będzie akcją, taką że t(x, a)=x. Wówczas: g via (x, x )=c(x, a)+g current (x ). () Przemysław Klęsk (KMIiM, ZUT) /

14 Oznaczenia i reprezentacja mapy Wielkości używane w algorytmie Niech Q oznaczą kolejkę stanów przechowywaną w algorytmie (analogicznie do algorytmów Dijkstry i A ). Niech V oznaczą mapę odwiedzonych stanów. Niech g best (x) oznacza najlepszą (najmniejszą) znaną wartość kosztu dla stanu x podczas jego historii życia w kolejce Q. Wiadomo, że: Kolejka Q jest posortowana według g best. g best (x) g current (x). () Przemysław Klęsk (KMIiM, ZUT) /

15 Oznaczenia i reprezentacja mapy Tymczasowy plan Niech p(x) oznacza planowaną akcję przyporządkowaną obecnie do wykonania w stanie x. Algorytm będzie wielokrotnie wyznaczał tymczasowy plan, czyli pewien ciąg akcji p, p,...,p k, p k+,..., które pozwalają przeprowadzić aktualny stan początkowy w stan docelowy wg obecnej znajomości kosztów przejść c. Tym samym, określona zostanie ścieżka stanów taka że x, x,...,x k, x k+,..., x k+ = t(x k, p(x k )). Postać (agent, robot) będzie podążała zgodnie z planem, aż do doświadczenia niezgodności pomiędzy znanym (zakładanym) kosztem przejścia a faktycznym. Przemysław Klęsk (KMIiM, ZUT) /

16 Oznaczenia i reprezentacja mapy Clue algorytmu tentz a Dla pewnego stanu x załóżmy, że istnieje akcja a przeprowadzająca go w sąsiada x. Jeżeli mamy że: g via (x, x )<g current (x), to istnieje szansa, że koszt g current (x) może być zredukowany. Jeżeli dodatkowo: g current (x ) g best (x), to na pewno koszt g current (x ) jest optymalny w świetle znanych ormacji. dy zachodzą oba te warunki to g current (x) jest aktualizowane do g via (x, x ) i p(x) jest aktualizowane do a. Przemysław Klęsk (KMIiM, ZUT) /

17 Algorytm Algorytm zewnętrzny Zainicjalizuj wszystkie wartości g best, g current, g via zerami, oraz wszystkie p na puste. Włóż stan docelowy do kolejki Q. Wykonuj w pętli algorytm tentz a, aż do momentu, kiedy jako jego wynik zostanie zwrócony stan początkowy. (w tym momencie algorytm tentz a zadziała równoważnie do wstecznego algorytmu Dijkstry) łówna pętla: Wykonuj obecny plan p, p,... odwiedzając ciąg stanów x k+ = t(x k, p k ), gdzie x oznacza aktualny stan. Jeżeli dla pewnego x k widać, że zastosowanie akcji p k skutkowałoby kosztem większym niż znane c(x k, p k ), to uaktualnij c(x k, p k ) na prawdziwe, i przypisz: g via (x k, x k+ ) := c(x k, p k )+g current (x k+ ), g current (x k ) := g via (x k, x k+ ). Przerwij dalsze wykonywanie planu. Jeżeli x k = to przerwij algorytm. (punkt stopu) Wstaw x k do Q. Zapamiętaj g last := g current (x k ). Ustaw := x k. Dopóki Q jest niepusta lub dopóki nie osiągnięto sytuacji, że g best (x) g last dla wszystkich x w Q: Wykonaj algorytm tentz a. Przemysław Klęsk (KMIiM, ZUT) /

18 Algorytm Algorytm tentz a (część ) Pobierz z Q stan x o najmniejszym g best. Jeżeli g best (x)<g current (x) (tzn. że x zwiększył swój koszt będąc w Q, i jeżeli można ten koszt poprawić podróżując przez jakiegoś sąsiada, dla którego optymalny koszt jest znany, to należy tak zrobić) Dla każdego a A(x), takiego że c(x, a)<, sprawdź dla x = t(x, a) czy: g via (x, x )<g current (x) i g current (x ) g best (x)? Jeżeli tak, to: g current (x) := g via (x, x ). p(x) := a. Dla wszystkich x, takich że istnieje a A(x ) powodujące t(x, a )=xoraz c(x, a )< : g via (x, x) := c(x, a )+g current (x).. Jeżeli x nie jest w V, to: g current (x ) := g via (x, x), g best (x ) := g via (x, x). p(x ) := a. Włóż x do Q. Jeżeli koszt dla x wydaje się niepoprawny, bo p(x )=a, ale g via (x, x) g current (x ), to: g current (x ) := g via (x, x). Włóż x do Q. Przemysław Klęsk (KMIiM, ZUT) /

19 Algorytm Algorytm tentz a (część ). (ciąg dalszy ciała pętli ) Jeżeli p(x ) a i g via (x, x)<g current (x ), to: (tzn. że lepiej iść z x przez x niż użyć akcji p(x )) Jeżeli g current (x)=g best (x), to: p(x ) := a i włóż x do Q, bo optymalny koszt dla x jest znany. W przeciwnym razie: g best (x) := g current (x) (o ile x Q), oraz włóż x do Q. (unikanie cykli w p) Jeżeli x V i x Q, oraz p(x ) a i g via (x, x )<g current (x) i g current (x)>g best (x), to włóż x do Q ponownie. Umieść x w V. Przemysław Klęsk (KMIiM, ZUT) /

20 Przykład ślepa uliczka ()

21 Przykład ślepa uliczka () Na rysunkach g current pisane w środku, g best w nawiasie, g via przy bokach. W opisie Q schemat: x g best (x){g current(x)},... (a) (b) x=(, ) pobrane z Q. wykonany dla x = (, ). wykonany dla x = (, ). wykonany dla x = (, ) Q : (, ) {}, (, ) {}, (, ) {} x=(, ) pobrane z Q. wykonany dla x = (, ). wykonany dla x = (, ) Q : (, ) {}, (, ) {}, (, ) {}, (, ) {}

22 Przykład ślepa uliczka () (c) (d) (wsteczny a. Dijkstry zakończony) x=(, ) pobrane z Q. wykonany dla x = (, ). wykonany dla x = (, ). wykonany dla x = (, ) Q : (, ) {}, (, ) {}, (, ) {}, (, ) {}, (, ) {}... Q : (, ) {}, (, ) {}, (, ) {}, (, ) {}, (, ) {}, (, ) {}, (, ) {}

23 Przykład ślepa uliczka () Plan z aktualnego : (,,,, ). Osiągnięto stan (, ). Niezgodność wykryta dla c ((, ), ). (, ) włożony do Q g last =, Q : (, ) { }, (, ) {}, (, ) {}, (, ) {}, (, ) {}, (, ) {}, (, ) {}, (, ) {}

24 Przykład ślepa uliczka () Po pierwszym przebiegu algorytmu tentz a. x=(, ) pobrane z Q. wykonany dla x = (, ). wykonany dla x = (, ). wykonany dla x = (, ) Q : (, ) {}, (, ) { }, (, ) {}, (, ) {}, (, ) {} (, ) {}, (, ) {}, (, ) {}, (, ) {}, (, ) {}

25 Przykład ślepa uliczka () Po drugim przebiegu algorytmu tentz a. x=(, ) pobrane z Q. wykonany dla x = (, ) (neutralny).. wykonany dla x = (, ) przekierowanie z x na x Q : (, ) { }, (, ) {}, (, ) {}, (, ) {}, (, ) {} (, ) {}, (, ) {}, (, ) {}, (, ) {}, (, ) {}

26 Przykład ślepa uliczka () Po trzecim przebiegu algorytmu tentz a. x=(, ) pobrane z Q. wykonany dla x = (, ). wykonany dla x = (, ). wykonany dla x = (, ) Q : (, ) {}, (, ) { }, (, ) { }, (, ) {}, (, ) {} (, ) {}, (, ) {}, (, ) {}, (, ) {}, (, ) {}, (, ) { }

27 Przykład ślepa uliczka ()... Kolejka opróżniona po przebiegach algorytmu tentz a. Osiągnięty stan algortymu: Q :

28 Przykład ślepa uliczka () Plan z aktualnego : (,,,, ). Osiągnięto stan (, ). Niezgodność wykryta dla c ((, ), ). (, ) włożony do Q g last =, Q : (, ) { }

29 Przykład ślepa uliczka () Kolejka opróżniona po przebiegu algorytmu tentz a. x=(, ) pobrane z Q. wykonany dla x = (, ) przekierowanie z x na x Q :

30 Przykład ślepa uliczka () Plan z aktualnego : (,,,, ). Osiągnięto stan (, ). Niezgodność wykryta dla c ((, ), ). (, ) włożony do Q g last =, Q : (, ) { }

31 Przykład ślepa uliczka () Kolejny plan wyprowadzony po przebiegach algorytmu tentz a. Plan z aktualnego : (,,,,, ). Osiągnięto stan (, ). Niezgodność wykryta dla c ((, ), ). (, ) włożony do Q g last =, Q : (, ) { }

32 Przykład ślepa uliczka () Kolejny plan wyprowadzony po przebiegach algorytmu tentz a. Plan z aktualnego : (,,,,,, ). Osiągnięto stan (, ). Niezgodność wykryta dla c ((, ), ). (, ) włożony do Q g last =, Q : (, ) { }

33 Przykład ślepa uliczka () Kolejny plan wyprowadzony po przebiegach algorytmu tentz a. Plan z aktualnego : (,,,,,, ). Osiągnięto stan (, ). Niezgodność wykryta dla c ((, ), ). (, ) włożony do Q g last =, Q : (, ) { }

34 Przykład ślepa uliczka () Kolejny plan wyprowadzony po przebiegu algorytmu tentz a. Plan z aktualnego : (,,, ). Osiągnięto stan = (, ).

35 Przykład przejść czy obejść? c ((, ), )= c ((, ), )=

36 Przykład dla siatki

37 Uwagi końcowe Uwagi końcowe Pole widzenia Algorytm łatwo pozwala wprowadzić większe pole widzenia, jako otoczenie postaci o pewnym promieniu. Wystarczy przy podążaniu wg planu p, p,... uaktualnić wszelkie niezgodności funkcji c wykryte w otoczeniu. Zmiany wymaga tylko krok. algorytmu zewnętrznego. Większe pole widzenia w przypadku średnim, powinno poprawiać trasę zmniejszać tendencje do błądzenia. Algorytm bywa często wypowiadany w formie wprowadzającej etykiety dla stanów: RAIE, LOWER. Etykieta RAIE sygnalizuje, że koszt stanu jest większy niż ostatnio znany w kolejce Q (związane z krokiem. w podanym algorytmie tentz a). Etykieta LOWER sygnalizuje, że koszt stanu jest niższy niż ostatnio znany w kolejce Q (związane z krokiem. w podanym algorytmie tentz a). Praktyczne zastosowania militarne do w eksploracyjnych pojazdach bezzałogowych m.in.: Automated Cross-Country Unmanned Vehicle (XUV). Przemysław Klęsk (KMIiM, ZUT) /