Punkty równowagi w grach koordynacyjnych

Transkrypt

1 Uniwersytet Śląski w Katowicach, Instytut Informatyki ul. Będzińska Sosnowiec 9 grudnia 2014, Chorzów

2 1 Motywacja Wnioski i dalsze badania

3 Motywacja 1 są klasą gier, w których istnieje duża liczba strategii optymalnych, a jednostki użyteczności wypłacane są graczom tylko wtedy, gdy wybiorą te same strategie; 2 Zaproponowane podejście bazuje na algorytmie ewolucji różnicowej. Funkcja oceny umożliwia wyznaczenie maksymalnego odchylenia od strategii optymalnych poszczególnych graczy; 3 Metoda ta umożliwia wyznaczenie optymalnych strategii mieszanych, które są znacznie mniej popularne, niż czyste strategie optymalne.

4 Podstawowe definicje Wizualizacja równowagi Nasha Rysunek: Przykładowy podział gier

5 Podstawowe definicje Wizualizacja równowagi Nasha Definicja gry Formalnie, jednoetapowa gra w postaci strategicznej dla n graczy definiowana jest jako: Γ = N, {A i }, M, i = 1, 2,..., n gdzie: N = {1, 2,..., n} jest zbiorem graczy; {A i } jest skończonym zbiorem strategii dla gracza i o m strategiach; M = {µ 1, µ 2,..., µ n } to zbiór funkcji wypłat dla graczy.

6 Podstawowe definicje Wizualizacja równowagi Nasha Rysunek: Gry n-osobowe

7 Podstawowe definicje Wizualizacja równowagi Nasha Układ strategii Przez a = ( a 1,..., a n ) oznaczmy profil strategii mieszanych wszystkich graczy, określany dalej jako układ strategii. a i = ( a 1,..., a i 1, a i+1,..., a n ), będzie układem strategii z wyłączeniem gracza i. Mieszana strategia gracza i określana jest jako: a i = (P(a i1 ), P(a i2 ),..., P(a im )), gdzie P(a i1 ) prawdopodobieństwo wyboru strategii 1 przez gracza i, natomiast a i oznacza tutaj dyskretny rozkład prawdopodobieństwa nad zbiorem strategii.

8 Podstawowe definicje Wizualizacja równowagi Nasha strategie B1 B2 A1 1, 4 0, 6 A2 4, 1-1, -1 Tablica: Prosta gra 2-osobowa Równowaga Nasha w grze n-osobowej jest układem strategii, w którym żaden z graczy znając strategię przeciwników nie zyskuje odstępując od wybranej strategii. Rysunek: Graficzna reprezentacja równowagi Nasha

9 Przykład gry koordynacyjnej Przegląd literatury Czym jest gra koordynacyjna? problem wyboru tej samej strategii przez każdego z graczy; gry koordynacyjne odpowiadają problemowi koordynacji - gracze zyskują tylko, jeżeli wybiorą tę samą strategię; liczne równowagi Nasha w strategiach czystych; istnieją także równowagi w strategiach mieszanych; rozwiązanie w strategiach mieszanych jest zdominowane przez rozwiązania w strategiach czystych; w grze jednoetapowej równowaga Nasha w strategiach mieszanych może okazać się lepszym wyborem.

10 Przykład gry koordynacyjnej Przegląd literatury Rysunek: Klasyczny przykład gry koordynacyjnej - wybór stron W powyższym przykładzie mamy dwa punkty równowagi w strategiach czystych. Problemem jest jednoczesny wybór strategii przez graczy.

11 Przykład gry koordynacyjnej Przegląd literatury Rysunek: Czysta gra koordynacyjna Dwa punkty równowagi. Tylko jedna pareto równowaga Nasha. Zakładając racjonalność graczy można przyjąć, iż wybiorą pierwszą strategię.

12 Przykład gry koordynacyjnej Przegląd literatury Rysunek: Gra koordynacyjna - wojna płci Dwa punkty równowagi. W powyższym przypadku istnieje konflikt interesów dwóch stron.

13 Przykład gry koordynacyjnej Przegląd literatury Rysunek: Gra koordynacyjna - uogólnienie W przypadku koordynacyjnej gry 2-osobowej spełnione są następujące warunki: A > B; D > C; a > c; d > b.

14 Przykład gry koordynacyjnej Przegląd literatury Przegląd literatury koncepcja punktu ogniskowego - Schelling, Thomas C. (1960, First Edition). The strategy of conflict, Cambridge: Harvard University Press; problem komunikacji w grach koordynacyjnych - R. Cooper, D. Dejong, R. Forsythe, T. Ross Communication in Coordination Games, The Quarterly Journal of Economics (1992) Vol. 107 (2), pp ; punkty ogniskowe w grach czysto koordynacyjnych - J. Mehta, Ch. Starmer, R. Sugden Focal Points in Pure Coordination Games An Experimenta Investigation, Theory and Decision (1994), Vol. 36 (2), pp ;

15 Przykład gry koordynacyjnej Przegląd literatury Przegląd literatury II wybór punktu równowagi w grze n-osobowej - K. Youngse Equilibrium Selection in n-person Coordination Games, Games and Economic Behavior, 1996, Vol. 15, pp koncepcja rozwiązania opartego o grę fikcyjną - GW Brown Iterative solution of games by fictitious play, Activity analysis of production and allocation, (1951) rozwiązania oparte o grę fikcyjną (ang. fictitious play) gdzie ruch gracza wyznaczany jest w oparciu o szereg fikcyjnych decyzji - A. Sela, D. Herreiner Fictitious play in coordination games, International Journal of Game Theory (1999), Vol. 28, pp ;

16 Przykład gry koordynacyjnej Przegląd literatury Przegląd literatury III artykuł wskazujący, że niektóre typy gier koordynacyjnych nie mogą zostać rozwiązane przy pomocy tzw. gry fikcyjnej - D. Foster On the Nonconvergence of Fictitious Play in Coordination Games, Games and Economic Behavior (1998), Vol. 25, pp 79-96; podejście oparte na kooperacji w grach iterowanych - V. Crawford, H. Haller Learning How to Cooperate: Optimal Play in Repeated Coordination Games, Econometrica, (1990), Vol. 58 (3), pp ; interesująca koncepcja równowagi Nasha z filmu Piękny umysł - S. Anderson, M. Engers, A Beautiful blonde: a Nash coordination game.

17 Ogólny opis Podstawowy schemat DE Ewolucja różnicowa Ewolucja różnicowa jest algorytmem populacyjnym opracowanym przez R. Storna i K. Price a. 1 Stosowana najczęściej do optymalizacji funkcji ciągłych. 2 Adaptacyjny schemat mutacji. 3 Operatory genetyczne: Mutacja, Krzyżowanie. 4 Trzy populacje: Populacja rodziców; Populacja próbna; Populacja potomków.

18 Ogólny opis Podstawowy schemat DE Rysunek: Ewolucja różnicowa

19 Ogólny opis Podstawowy schemat DE Rysunek: Ewolucja różnicowa

20 Ogólny opis Podstawowy schemat DE 1 Mutacja : V ij = X r1j + F (X r2j X r3j) 2 Krzyżowanie : { Vi,j gdy RAND[0, 1) < CR, U i,j = w przeciwnym wypadku. 3 Selekcja : X i,j { Ui,t gdy f ( U X i,t+1 = i,t ) f ( X i,t ), X i,t w przeciwnym wypadku.

21 Genotyp osobnika Funkcja przystosowania Rysunek: Tworzenie genotypu osobnika

22 Genotyp osobnika Funkcja przystosowania Funkcja przystosowania W przypadku gier koordynacyjnych w strategii optymalnej wypłaty dla wszystkich stron są równe. f 1 = n n c u i u j ; i j i=1 j=1 gdzie u i oznacza wypłatę i-tego gracza, a c jest wartością stałą. Dodatkowa zależność dotycząca prawdopodobieństwa przedstawiona została poniżej: f 2 = n 1 m P(a ij ) i=1 j=1

23 Genotyp osobnika Funkcja przystosowania Funkcja przystosowania II W kolejnych iteracjach wartości genotypu powinny odpowiadać prawdopodobieństwom wyboru strategii optymalnych dla poszczególnych graczy. Dodana została także funkcja kary dla równowag czystych: { f3 + c if g[i] = 1, i, f 3 = w przeciwnym wypadku, f 3 gdzie g[i] jest i-tym genem w genotypie. Suma trzech powyższych funkcji to funkcja przystosowania: f = f 1 + c f 2 + f 3. c - wartość stała jest stosowana w celu zwiększenia wartości funkcji kary. Wartość funkcji przystosowania równa 0 to optimum globalne.

24 Narzędzia i ustawienia Wartości ɛ Wartości wypłat Stosowany program GAMUT - narzędzie stosowane do generowania różnych typów gier stosowane powszechnie w teorii gier. Wartości parametrów wielkość populacji jest równa iloczynowi liczby graczy oraz liczby strategii; podstawowy schemat mutacji z wartością F = 0.7; krzyżowanie dwumianowe CR = 0.5; 10 różnych typów gier dla każdej wielkości problemu (3, 4 i 5 graczy); Każdy eksperyment został powtórzony 30 razy.

25 Narzędzia i ustawienia Wartości ɛ Wartości wypłat Rysunek: Wykres pudełkowy wartosci ɛ dla poszczególnych gier 3 - osobowych

26 Narzędzia i ustawienia Wartości ɛ Wartości wypłat Rysunek: Wykres pudełkowy wartosci ɛ dla poszczególnych gier 4 - osobowych

27 Narzędzia i ustawienia Wartości ɛ Wartości wypłat Tablica: Wartosci wypłat dla poszczegególnych gier 3 - osobowych Gra 3 - osobowa Minimum Mediana Maksimum Średnia Odchylenie standardowe gra gra gra gra gra gra gra gra gra gra

28 Narzędzia i ustawienia Wartości ɛ Wartości wypłat Tablica: Wartosci wypłat dla poszczegególnych gier 4 - osobowych Gra 4 - osobowa Minimum Mediana Maksimum Średnia Odchylenie standardowe gra gra gra gra gra gra gra gra gra gra

29 Narzędzia i ustawienia Wartości ɛ Wartości wypłat Rysunek: Wypłaty dla gier 3-osobowych

30 Narzędzia i ustawienia Wartości ɛ Wartości wypłat Rysunek: Wypłaty dla gier 4-osobowych

31 Narzędzia i ustawienia Wartości ɛ Wartości wypłat Podsumowanie Ewolucja różnicowa może być w prosty sposób dostosowana do wyszukiwania punktów równowag w grach kooperacyjnych. Ponadto, poprzez wielokrotne uruchomienie algorytmu możliwe jest wygenerowanie kilku różnych rozwiązań. W przypadku bardzo złożonych problemów algorytm ten pozwala na wygenerowanie rozwiązań przybliżonych, czyli ɛ-równowag Nasha. Do funkcji oceny możliwe jest też dodanie funkcji kary, która uniemożliwi pojawienie się rozwiązań w strategiach czystych, a nawet zagwarantuje, iż rozwiązanie będzie zawierało wszystkie strategie dostępne dla gracza - ɛ-well supported Nash.

32 Narzędzia i ustawienia Wartości ɛ Wartości wypłat Dalsze badania ograniczenia kostkowe dla genotypu osobnika. Wartości genów w genotypie maleją w kolejnych iteracjach, dlatego można założyć, że ograniczenia kostkowe mogą się zmieniać; interesujące wydaje się być także sprawdzenie, czy koncepcja punktu ogniskowego w grach koordynacyjnych może stanowić alternatywę dla klasycznego rozwiązania - równowagi Nasha.

33 Narzędzia i ustawienia Wartości ɛ Wartości wypłat Storn R. and Price K. Differential evolution - a simple and efficient heuristic for global optimization over continuous spaces. Journal of Global Optimization, Vol. 11, No. 4, , Sela, A. and Herreiner D. Fictitious play in coordination games. International Journal of Game Theory, Vol. 28, pp , Daskalakis C. Mehta A. and Papadimitriou Ch. A note on approximate Nash equilibria. Journal Theoretical Computer Science, Vol. 410, pp , 2009 Etessami K. and Yannakakis M. On the Complexity of Nash Equilibria and Other Fixed Points(Extended Abstract). Proceedings of the 48th Annual IEEE Symposium on Foundations of Computer Science, pp , 2007.

34 Narzędzia i ustawienia Wartości ɛ Wartości wypłat Dziękuję za uwagę