Zastosowanie metody UCT i drzewa strategii behawioralnej do aproksymacji stanu równowagowego Stackelberga w grach wielokrokowych

Transkrypt

1 Zastosowanie metody UCT i drzewa strategii behawioralnej do aproksymacji stanu równowagowego Stackelberga w grach wielokrokowych Jan Karwowski Zakład Sztucznej Inteligencji i Metod Obliczeniowych Wydział Matematyki i Nauk Informacyjnych PW 17 I 2018 Jan Karwowski (MiNI) 17 I / 26

2 Plan 1 Motywacja 2 Equilibrium Stackelberga 3 Metoda oparta o drzewo strategii 4 Wyniki Jan Karwowski (MiNI) 17 I / 26

3 Cele Equilibrium Stackelberga: Istniejące rozwiązania Oparte o LP i MILP Uniwersalne ale wolne i pamięciożerne lub wykorzystujące własności konkretnych gier do przyspieszenia i aproksymacji wyniku Macierze rosną wykładniczo względem liczby rund Nowe podejście Metoda dobrze działająca z dyskretnymi grami wielokrokowymi Metoda dobrze skalująca się z długością gry (szczególnie pamięć) Metoda łatwa do dostosowania do różnych rodzajów gier Rozwiązania przybliżone Jan Karwowski (MiNI) 17 I / 26

4 Postać normalna gry o sumie (nie)zerowej Macierz wypłat gracza P1 P1/P2 a b c d A B C U P1 (A, b) = 4 U P2 (A, b) = 4 Macierz wypłat gracza P2 P1/P2 a b c d A B C U P2 (A, b) = 3 Jan Karwowski (MiNI) 17 I / 26

5 Postać normalna gry o sumie (nie)zerowej Macierz wypłat gracza P1 P1/P2 a b c d A B C U P1 (A, b) = 4 U P2 (A, b) = 4 Macierz wypłat gracza P2 P1/P2 a b c d A B C U P2 (A, b) = 3 Jan Karwowski (MiNI) 17 I / 26

6 Strategia mieszana E H T H 1 1 T 1 1 O H T H 1 1 T 1 1 Strategia podstawowa (wybór jednego ruchu) π Strategia mieszana rozkład prawdopodobieństwa nad π σ Jan Karwowski (MiNI) 17 I / 26

7 Równowaga Stackelberga Asymetryczni gracze: Leader, Follower Follower zna strategię Leadera w momencie wyboru swojej strategii. (Ale niekoniecznie wykonuje ruch po leaderze). Follower rozstrzyga remisy (swojej wypłaty) na korzyść Leadera Gra Equilibrium Leader Pr. U l 0.4 L L2 3 F1 F2 L L Follower Pr. U f U l 1 F F F1 F2 L L Zaburzone equilirbium Leader Pr. U l 0.39 L L2 15 Follower Pr. U f U l 0 F F Jan Karwowski (MiNI) 17 I / 26

8 Równowaga Stackelberga Asymetryczni gracze: Leader, Follower Follower zna strategię Leadera w momencie wyboru swojej strategii. (Ale niekoniecznie wykonuje ruch po leaderze). Follower rozstrzyga remisy (swojej wypłaty) na korzyść Leadera Gra F1 F2 L L F1 F2 L L Dwupoziomowy problem optymalizacyjny arg max σ l Σ l U l (σ l, R f (σ l )) R f (σ l ) = arg max σf Σ f U f (σ l, σ f ) funkcja schodkowa Jan Karwowski (MiNI) 17 I / 26

9 Strategie followera Można pokazać, że dla dowolnego equilirbium (σ l, σ f ) układ (σ l, π f ) dla dowolnego π f mającego niezerowe prawdopodobieństwo w σ f też jest equilibrium. Wniosek: wystarczy rozważać tylko strategie podstawowe followera (ale mieszane leadera!!). Jan Karwowski (MiNI) 17 I / 26

10 Gry wielokrokowe I Gra i 1 i 2 h 1 h 2 m 1 m 2 h 3 m 1 m 2 i 3 i 4 i 6 i 7 i 8 i 9 h 4 h 5 h 6 h 7 h 8 h 9 h 10 h 11 h 12 h 13 h 14 h 15 h 16 h 17 i 5 Jan Karwowski (MiNI) 17 I / 26

11 Gry wielokrokowe II Gracz Gra i 1 i 2 i1 i2 m 1 m 2 h1 m1 h2 m2 m1 h3 m2 i3 i4 i6 i7 i8 i9 i 3 i 4 i 5 i 6 i 8 i 7 i 9 h4 h5 h6 h7 h8 h9 h10 h11 h12 h13 h14 h15 h16 h17 i5 Strategia podstawowa przypisanie akcji do każdego punktu decyzyjnego (information setu). Strategia zredukowana tylko potencjalnie osiągalne IS. Strategia mieszana rozkład prawdopodobieństwa nad strategiami podstawowymi Strategia behawioralna przypisanie rozkładu prawdopodobieństwa akcji w każdym punkcie decyzyjnym Jan Karwowski (MiNI) 17 I / 26

12 Security Games Obrońcy i atakujący Asymetria graczy Różne rodzaje przestrzeni Zwykle obrońca ma większą przestrzeń decyzyjną Brak jednolitej definicji Zazwyczaj równowaga Stackelberga Jan Karwowski (MiNI) 17 I / 26

13 Typowe podejście Przegląd wszystkich strategii followera i rozwiązanie LP poszukującego dobrego leadera MILP, który łączy przegląd followera i poszukiwanie leadera MILP max q,z,a i X j Q R ijz ij s.t. i X j Q z ij = 1 ( i X ) j Q z i,j 1 ( j Q ) q j i X z ij 1 j Q q j = 1 ( j Q ) 0 (a i X C ij( h Q z ih)) ( j Q ) (a i X C ij( h Q z ih)) (1 q j )M z ij [0, 1], q j {0, 1}, a R Praveen Paruchuri et al. Efficient Algorithms to Solve Bayesian Stackelberg Games for Security Applications.. In: AAAI. 2008, pp Jan Karwowski (MiNI) 17 I / 26

14 Pomysł Heurystyka wyboru interesujących strategii folllowera + przybliżone znalezienie strategii obrońcy. Szukanie leadera Strategia obrońcy musi spełniać ograniczenie wymuszające założoną odpowiedź followera. Jan Karwowski (MiNI) 17 I / 26

15 Przegląd strategii followera z użyciem UCT I UCT Levente Kocsis and Csaba Szepesvári. Bandit based monte-carlo planning. In: Machine Learning: ECML Springer, 2006, pp Metaheurystyka wyboru najlepszego ruchu w grze Estimated reward Visit counter Jan Karwowski (MiNI) 17 I / 26

16 Przegląd strategii followera z użyciem UCT II Gra Stany etykietowane potencjalnie osiągalnymi stanami followera Wykonanie ruchu oznacza ustalenie decyzji w strategii podstawowej. Wynikiem gry jest zredukowana strategia podstawowa Jan Karwowski (MiNI) 17 I / 26

17 Przegląd strategii followera z użyciem UCT III Przegląd MCTS/UCT Selection Expansion Simulation Backpropagate defender s reward Return best defender s strategy Attacker s strategy Find defender s strategy and get defender s reward Defender s reward Update best defender s strategy Jan Karwowski (MiNI) 17 I / 26

18 Drzewo strategii obrońcy s1 m1, 0.8 m2, 0.2 m6, 0.0 s3 s2 s4 s9 sa m3, 1.0 m4, 0.5 m5, 0.5 m7, 1.0 m8, 0.3 m9, 0.4 ma, 0.3 s5 s6 s7 s8 sb sc sd se Jan Karwowski (MiNI) 17 I / 26

19 Dostosowanie strategii I Zarys metody Initialize defender s mixed strategy Does better attacker exist? Not found Found BAS Feasibility pass Adjust defender not to prefer BAS over DAS Store best defender strategy Stop condition? Positive pass No Improve defender payoff against DAS Yes Return best feasible defender strategy Jan Karwowski (MiNI) 17 I / 26

20 Dostosowanie strategii II Dostosowanie strategii w punkcie 1 Dodaj nowy ruch wraz ze ścieżką do liścia wychodzący z węzła 2 Zejdź do potomków 3 Dostosuj strategię w węźle Jan Karwowski (MiNI) 17 I / 26

21 Metoda dostosowywania węzła Struktury danych Moment wektor o długości równej liczbie ruchów Współczynnik normalizacji momentu Data: prob [0, 1] M probabilities vector, mom (R + {0}) M momentum vector, w momentum normalization factor, as R M assessments vector. All vectors contain values for i-th move at i-th position mom mom + as; w w + L 1 (as); prob max{prob + mom/w, 0}// max at each position prob normalizeorequal(prob)// Normalize vector values so their sum is 1 or as a fallback assign uniform probability Jan Karwowski (MiNI) 17 I / 26

22 Problemy Czy zbiega do optymalnej strategii Jan Karwowski (MiNI) 17 I / 26

23 MILP: metoda do porównań MILP max q,z,a i X i X j Q R ijz ij s.t. j Q z ij = 1 ( i X ) j Q z i,j 1 ( j Q ) q j i X z ij 1 j Q q j = 1 ( j Q ) 0 (a i X C ij( h Q z ih)) ( j Q ) (a i X C ij( h Q z ih)) (1 q j )M z ij [0, 1] q j {0, 1} a R Złożoność X liczba strategii (sekwencji) leadera, Q liczba strategii (sekwencji) followera O( X Q ) zmiennych, w tym Q binarnych. O( X + Q ) ograniczeń Jan Karwowski (MiNI) 17 I / 26

24 Gra na grafie i generator budynków Każdy z graczy operuje jednostkami chodzącymi po grafie Obaj wykonują ruch jednocześnie Nie widzą siebie nawzajem Przykładowa gra Generator budynków 1: A(5,-1) D(3,-12) 0: A(20,-1) D(3,-15) 4:A(-1) D(1) 3:A(-1) D(1) 10:A(-1) D(1) 9:A(-1) D(1) 11 1 D(-9) A(10) 2 D(-6) A(3) : A(-1),D(1) : A(30,-1) D(5,-10) 5:A(-1) D(1) 6:A(-1) D(1) 7:A(-1) D(1) Jan Karwowski (MiNI) 17 I / 26

25 game New MixedUCT R MILP Sc Sc payoff p. max sd time sd payoff time payoff payoff time MU new game game game3a game3d game game6a game6b sb sb sb sb sb sb sb sb sb sb sb sb sb sb sb sb sb sb sb sb

26 Dalsze badania Gwarancje zbieżności Skalowanie się wraz ze wzrostem liczby kroków w grze Porównanie skalowania z innymi metodami Jan Karwowski (MiNI) 17 I / 26

27 * Jan Karwowski (MiNI) 17 I / 26

28 (Koniec) Jan Karwowski (MiNI) 17 I / 26