Gry niekooperacyjne w postaci strategicznej

Transkrypt

1 Rozdział 1 Gry niekooperacyjne w postaci strategicznej Zacznijmy od odpowiedzenia sobie na pytanie czym będziemy się zajmować na tym kursie. Otóż teoria gier zajmuje się wszystkimi sytuacjami, w których istnieje kilka podmiotów, podejmujących decyzje, które wpływają na interesy nie tylko ich samych, ale także pozostałych. W związku z tym nie mogą podejmować tych decyzji tak, jakby sytuacja wokół była już znana (dopasowując się tylko do niej) muszą zastanowić się, co zrobią w tej sytuacji inni (i czy nasza decyzja nie zmieni decyzji tych innych ) w związku z tym analiza musi być bardziej złożona. Żeby dojść do tego, w jaki sposób takie sytuacje opisywać w sposób ścisły, spróbujmy zobaczyć na prostym przykładzie, co do takiego opisu będzie potrzebne. Przykład: Rozważmy sobie taką sytuację: mamy plażę oraz dwóch sprzedawców lodów (piwa, innych napojów chłodzących), którzy zastanawiają się, gdzie wzdłuż plaży ulokować swoje sklepiki. Każdy z nich sprzedaje produkty podobnej jakości, więc mogą zakładać, że plażowicze będą zawsze kupować w tej z budek, do której będą mieli bliżej. Dodatkowo wiedzą, że zainteresowanie ich asortymentem jest odwrotnie proporcjonalne do odległości od najbliższej budki. No i oczywiście każdy z nich stara się zarobić jak najwięcej. W naszym przykładzie założymy sobie, że plaża podzielona jest na cztery odcinki równej długości i sklepikarze podejmują jedynie decyzję, na którym z tych odcinku postawić swój interes. W związku z tym każdy z nich wybiera jedną z 4 lokalizacji sklepiku. Poza tym, żeby uściślić naszą sytuację, załóżmy, że popyt na lody zależy od odległości d (przy założeniu, że długość każdego z odcinków plaży jest równa 1) od najbliższego sklepiku w ten sposób (1 jest maksymalnym popytem): 1 d. Dodatkowo niech maksymalny 4 zysk z jednego odcinka plaży niech będzie równy 1. Możemy przy takich założeniach zapisać sobie, jakich zysków mogą się spodziewać ze sprzedaży nasi gracze ( 1 5, ) ( ( , ), ) ( 17 7, 7 ( ) 2 9, ( 4 1) 3, ( ), ( ), ) ( 17, ) ( 11 7, ) ( 7 3, ( 3 9 ( ), 4 1) 4 7, ) ( 7 11, ) ( 17 9, ( ) 5, ) W powyższej tabelce liczby z lewej strony oznaczają odcinek plaży, na którym zdecydował się postawić swój sklep 1. z graczy, zaś te na górze odcinek, na którym postawił 1

2 swój sklep 2. z graczy. Liczby w nawiasach to zysk odpowiednio pierwszego i drugiego gracza. Ten przykład w zasadzie już nam pokazuje, w jaki sposób możemy opisać taką sytuację konfliktową potrzebne nam są trzy obiekty: zbiór możliwych wyborów pierwszego gracza (tu {1, 2, 3, 4}), zbiór wyborów drugiego gracza (w naszej grze taki sam) oraz tabelka (macierz) wypłat graczy. W ten sposób dostajemy obiekt, który w literaturze teoriogrowej nazywa się grą dwumacierzową (dwu-, bo tak naprawdę mamy dwie macierze wypłat pierwszego i drugiego gracza). Gry dwumacierzowe Grą dwumacierzową nazywamy czwórkę: X = {1, 2,..., m} zbiór strategii gracza 1., Y = {1, 2,..., n} zbiór strategii gracza 2, A = [a ij ] m n macierz wypłat gracza 1., B = [b ij ] m n macierz wypłat gracza 2. (Oczywiście, wypłaty graczy mogą być czysto subiektywne, i mówią o tym, co dany gracz myśli o danej sytuacji, a nie muszą oznaczać jakichś konkretnych wypłat, które jeden z graczy wypłaca drugiemu, lub ktoś trzeci (Pan Bóg) wypłaca graczom). Teraz powróćmy do naszego przykładu i zastanówmy się, co moglibyśmy uznać za rozwiązanie dla takiej gry (oczywiście rozwiązaniem musi być para strategii 1. i 2. gracza). Czy może nim być na przykład układ strategii (1, 1)? Nie - bo jeśli obaj gracze ulokują swoje sklepy ne pierwszym odcinku, to któryś z nich (np. pierwszy) stwierdzi, że bardziej opłaca mu się przenieść swój sklep na 3. odcinek (i w ten sposób powiększyć swoją wypłatę z 5 do 17 ). Czy w takim razie ten nowy układ strategii ((3, 1)) będzie 4 8 rozwiązaniem? Znowu nie, bo teraz 2. z graczy przeniesie swój interes na 2. odcinek, zyskując 3. Tym razem jednak dochodzimy do takiej pary strategii, że żaden z graczy nie 8 będzie próbował przenosić swojej budki, bo każdy z nich na tym straci. A więc rozwiązaniem jest (3, 2), i w dodatku potrafimy powiedzieć, dlaczego właśnie to jest rozwiązanie (bo żaden z graczy nie będzie próbował go zmienić). Formalnie to, co teraz opisaliśmy, można zapisać następująco: Definicja: Rozwiązaniem dla gry dwumacierzowej zdefiniowanej przez macierze A i B wymiaru m n jest tzw. równowaga w sensie Nasha, tzn. taka para strategii (i, j ), że a i j a ij dla każdego i m oraz b i j b i j dla każdego j n. (Nietrudno zauważyć, że w naszej grze są dwie równowagi: (3, 2) i (2, 3)). Niestety, jak się okazuje, tak zdefiniowane rozwiązanie ma pewne wady, które obrazują trzy najbardziej znane przykłady gier dwumacierzowych. Przykład 1 (Papier, nożyce, kamień): Tę grę wszyscy znają do wyboru są trzy startegie: papier, nożyce i kamień kamień bije nożyce, nożyce biją papier, a papier bije kamień. Jeśli za wypłaty wygrywającego przyjmiemy sobie 1, a za wypłaty przegrywającego 1 (jeśli mamy remis, wypłaty obu będą równe 0), to macierzami wypłat w tej grze będą: A = B =

3 Jak nietrudno zauważyć, ta gra równowagi nie ma, czyli istnieją gry (i jest ich nawet bardzo dużo), które nie mają rozwiązania. Przykład 2: Mamy parę, która chce spędzić razem wieczór, tylko zastanawiają się jak. Kanoniczna wersja tej historyjki jest taka, że Pani chce iść na balet, Pan na boks. Niestety nie umówili się, gdzie mają iść, a właśnie padła sieć i nie są w stanie się w żaden sposób skontaktować. Jeśli nie skoordynują miejsc, w które się wybiorą nici ze wspólnego wieczoru i obie strony będą na tym stratne. Jeśli spotkają się na balecie, Pani będzie wniebowzięta, Pan jakby mniej, ale na pewno skorzysta z profitów, jakie niesie za sobą wspólnie spędzony wieczór. W drugą stronę podobnie. Macierze wypłat graczy w tej grze będą wyglądały tak: A (Pani) = [ ] B (Pan) = Ta gra ma dwie równowagi: (boks,boks) i (balet, balet) Co z tego przykładu wynika? [ Może istnieć wiele różnych równowag Nasha ze znacząco różnymi wypłatami. Może się zdarzyć, że jedna równowaga jest bardziej opłacalna dla jednego z graczy, a inna dla drugiego. 2. Strategii w różnych równowagach nie można między sobą wymieniać. Bez uzgodnienia, która równowaga będzie grana, nie da się racjonalnie wybrać strategii do gry. 3. Wiedząc, jaki jest zbiór równowag Nasha w danej grze, nie potrafimy powiedzieć, jak będą zachowywać się gracze (nawet przy założeniu, że grają racjonalnie.) Przykład 3 (dylemat więźnia najbardziej znany przykład w teorii gier): Historyjka jest taka: dwóch więźniów podejrzanych o jakieś przestępstwo, jest przesłuchiwanych w oddzielnych pokojach. Są winni, ale każdy z nich zastanawia się, czy się przyznać, czy nie. Jeśli się przyzna (zrzucając przy okazji większość winy na drugiego), a drugi więzień będzie szedł w zaparte, pierwszy może liczyć na to, że dostanie wyrok w zawiasach, ale kosztem wspólnika. Jeśli żaden się nie przyzna, to głównej winy nikt im nie udowodni, ale przymkną ich na rok za to, co są w stanie im udowodnić bez współpracy żadnego z nich. Jeśli przyznają się obaj, sąd nie uwerzy w ich skruchę, ale odpowiedzialnością obarczy w tym samym stopniu, i dostaną wyrok nieco niższy niż ten, który się nie przyzna, a cała wina zostanie jemu przypisana. Macierze wypłat w tej grze wyglądają tak: [ ] 5 0 A = 10 1 B = [ Ta gra posiada dokładnie jedną równowagę obaj się przyznają. Problem w tym, że gdyby obaj odstąpili od równowagi, zyskaliby na tym. A wniosek z tego przykładu taki, że równowaga nie musi dawać optymalnych wypłat w grze. Jeśli osiągnięcie takich wypłat wiąże się z kooperacją, nie będzie to równowaga. Czy te wymienione wady oznaczają, że równowaga Nasha jest złym rozwiązaniem? Nie w przypadku wad widocznych w dwóch ostatnich przykładach, to nie są wady rozwiązania ludzie naprawdę w tego typu sytuacjach postępują w taki (zdawałoby się, ]. ]. 3

4 nieoptymalny) sposób jak w ostatnim przykładzie, też mają problemy z wyborem sposobu postępowania, jeśli nie ma między nimi komunikacji itp. Pozostaje ostatni problem możliwość nieistnienia rozwiązania Nasha. Ten problem da się jednak usunąć. Pomysł tego, jak to zrobić pochodzi od twórcy teorii gier Johna von Neumanna. Wymyślił on mianowicie, że gracze, zamiast wskazywać konkretną kolumnę albo konkretny wiersz macierzy wypłat, mogą wybierać rozkład prawdopodobieństwa, zgodnie z którym ma być wylosowana ich strategia. W ten sposób zbiór strategii graczy zostanie znacząco powiększony, i dzięki temu będzie łatwiej o równowagę w takiej grze. Formalnie takie uogólnienie zapisujemy następująco: Rozszerzenie mieszane gry dwumacierzowej Niech, jak poprzednio, X = {1,..., m}, Y = {1,..., n} będą odpowiednio zbiorami wierszy i kolumn macierzy wypłat graczy A i B. Za zbiory strategii graczy przyjmujemy P (X) i P (Y ) (gdzie P (A) oznacza zbiór rozkładów prawdopodobieństwa na zbiorze A). Elementy µ P (X) oraz σ P (Y ) będziemy nazywać strategiami mieszanymi graczy (w odróżnieniu od elementów X i Y, które nazywamy strategiami czystymi), a wypłaty graczy definiujemy następująco: u 1 (µ, σ) = i a ij µ i σ j, j u 2 µ, σ) = i b ij µ i σ j, j gdzie µ i to prawdopodobieństwo wylosowania i z rozkładu µ, a σ j prawdopodobieństwo wylosowania j z σ (czyli wypłaty są wartościami oczekiwanymi wypłat w oryginalnej grze dwumacierzowej, jeśli gracze losują swoje strategie zgodnie z rozkładami µ i σ). Przypomnijmy sobie teraz przykład gry, która nie miała równowagi w strategiach czystych. Tym przykładem były Papier, nożyce i kamień, z macierzami wypłat A = B = Nietrudno zauważyć, że tutaj równowagą w strategiach mieszanych będzie µ = ( 1, 1, ) i σ = ( 1, 1, ) (Jest tak, ponieważ u1 (µ, σ ) = 0 i jednocześnie dla dowolnej innej strategii 1. gracza, µ = (µ 1, µ 2, µ 3 ), również u 1 (µ, σ ) = 0, więc gracz 1. nie będzie miał powodu do zmiany swojej strategii; podobnie (a nawet dokładnie tak samo) jest w przypadku 2. gracza). Oczywiście zastosowanie strategii mieszanych ma swoje wady przede wszystkim zakłada nie wprost, że gra będzie rozgrywana wielokrotnie (bo inaczej trudno byłoby w praktyce używać rozkładów prawdopodobieństwa jako strategii przy jednej rozgrywce ta strategia byłaby zawsze jakąś konkretną strategią czystą). Jednak zysk, jaki pojawia się w zamian, jest potężny nie tylko Papier, nożyce i kamień, ale każda gra dwumacierzowa będzie miała w strategiach mieszanych równowagę. Mniej więcej to udowodnił Nash. Twierdzenie 1.1 Każda gra dwumacierzowa posiada równowagę w sensie Nasha. Nie będziemy dowodzić tego twierdzenia. Udowodnimy twierdzenie trochę ogólniejsze, które za chwilkę podam (czyli to, co naprawdę udowodnił Nash; potem pokażemy, dlaczego twierdzenie dla gier dwumacierzowych z tej ogólniejszej wersji wynika). Żeby je podać, zdefiniuję ogólnie, co nazywamy grą niekooperacyjną. 4.

5 Definicja 1.1 n-osobową grą niekooperacyjną nazwiemy Γ = (X 1,..., X n, u 1,..., u n ), gdzie X i (niepuste) zbiory strategii poszczególnych graczy, u i : X 1 X n R ograniczone funkcje wypłaty poszczególnych graczy. Gracze wybierają niezależnie od siebie odpowiednio x 1 X 1, x 2 X 2,..., x n X n, w wyniku czego gracz k-ty otrzymuje u k (x 1,..., x n ). W powyższej definicji nie precyzujemy, czy X i są zbiorami strategii czystych, czy mieszanych. Pokażemy, że przy pewnych założeniach na te zbiory, oraz na funkcje wypłaty graczy, gra będzie posiadała równowagę w strategiach należących właśnie do tych zbiorów. Definicja 1.2 Równowagą w sensie Nasha w grze Γ zdefiniowanej powyżej nazwiemy układ strategii x = (x 1,..., x n) takich, że dla każdego gracza i oraz y i X i mamy u i (x ) u i ((x 1,..., x i 1, y i, x i+1,..., x n)). Oznacza to, jak poprzednio, że pojedynczemu graczowi nie opłaca się odstąpić od równowagi, gdy inni pozostają przy swoich strategiach x i. Prawdziwe będzie następujące twierdzenie: Twierdzenie 1.2 (Nash, 1950) Załóżmy, że każdy ze zbiorów X i jest zwartym wypukłym podzbiorem R k. Załóżmy ponadto, że dla każdego i funkcja u i jest ciągła na X 1 X n oraz jest wklęsła względem i-tej zmiennej, przy ustalonych pozostałych zmiennych. Wtedy gra Γ, określona przez zbiory X i i funkcje u i, posiada równowagę Nasha. Uwaga 1.1 Dla tych, którzy nie wiedzą podzbiór przestrzeni metrycznej nazywamy zwartym, jeśli każdy ciąg elementów tego zbioru posiada podciąg zbieżny. W R k zbiór jest zwarty iff jest domknięty i ograniczony. Zanim przejdziemy do dowodu tej uogólnionej wersji twierdzenia Nasha, sformułujemy twierdzenie, które będzie punktem wyjściowym dla tego dowodu. Twierdzenie 1.3 (Twierdzenie Kakutaniego o punkcie stałym) Niech S będzie zwartym wypukłym podzbiorem R k i niech ψ będzie operatorem przyporządkowującym każdemu s S zwarty, wypukły podzbiór S, o wykresie domkniętym, (tzn. jeśli x n S, x n x 0, y n ψ(x n ), y n y 0, to y 0 ψ(x 0 )). Istnieje wtedy takie x, że x ψ(x ) (punkt stały multifunkcji ψ). Tak naprawde chętnie przeprowadziłbym dowód też tego twierdzenia, żeby wychodzić od faktów przez Państwa znanych, ale to wymagałoby wprowadzenia ileś dodatkowej teorii (sympleks, współrzędne barycentryczne, podział symplicjalny, twierdzenie Brouwera o punkcie stałym), w związku z tym twierdzenie Kakutaniego będę traktował jako punkt wyjściowy, natomiast osobom zainteresowanym dowodem tego twierdzenia polecam przeczytanie XX rozdziału Wstępu do teorii mnogości i topologii Kuratowskiego (Sympleks i jego własności). Wtedy poniższy dowód powinien być zrozumiały. Dowód tw Kakutaniego: 1 Bez straty ogólności możemy założyć, że S jest sympleksem. Niech {π µ } będzie ciągiem rozbić symplicjalnych sympleksu S, takich że średnica każdego sympleksu z π µ nie przekracza δ µ i δ µ 0. 1 Tego nie było na wykładzie 5

6 Zdefiniujmy ψ µ : S S w następujący sposób: jeśli x jest wierzchołkiem sympleksu z π µ, to za ψ µ (x) przyjmujemy dowolne s ψ(x), a następnie przedłużamy ψ µ liniowo na każdy z sympleksów rozbicia, tzn. jeśli x = k+1 j=1 λ jx j, λ i 0, λ j = 1, gdzie {x 1,..., x k+1 } wierzchołki ustalonego sympleksu z π µ, to ψ µ (x) = k+1 j=1 λ jψ µ (x j ). Tak zdefiniowane ψ µ jest ciągłe, a zatem na mocy twierdzenia Brouwera ma punkt stały, który możemy oznaczyć przez x µ. Ponadto k+1 x µ = λ µ k+1 j xµ j, λ µ j = 1, λµ j 0. j=1 j=1 Ze zwartości S można założyć bez straty ogólności, że x µ i, λµ i, ψµ (x µ i ) są zbieżne przy µ ; x µ i oraz x µ mają tę samą granicę x S. Niech lim µ λ µ j = λ j, a lim µ ψ µ (x µ j ) = η j. Mamy x µ = ψ µ (x µ ) = λ µ j ψµ (x µ j ). Wtedy x = λ j η j, a z własności, które spełnia ψ wynika, że ηj ψ(x ) dla każdego j. Stąd x ψ(x ), bo ψ(x ) jest wypukły, a więc x jest szukanym punktem zbioru S. Dowód tw. Nasha: Idea tego dowodu polega na tym, żeby skonstruować odwzorowanie, które będzie miało punkt stały wtedy i tylko wtedy, gdy gra posiada równowagę Nasha. Wtedy sprawdzimy, że to odwzorowanie spełnia założenia twierdzenia Kakutaniego, zatem ma punkt stały, a gra ma równowagę. Dowód twierdzenia przeprowadzimy dla przypadku, gdy jest dwóch graczy. Ta zmiana upraszcza jedynie notację, natomiast dowód w ogólnym przypadku nie jest ani trochę bardziej skomplikowany. Niech: B 1 (y) = {a X 1 : u 1 (a, y) = max x X 1 u 1 (x, y)}, B 2 (x) = {b X 2 : u 2 (x, b) = max y X 2 u 2 (x, y)}. Zbiór B 1 (y) interpretujemy jako zbiór najlepszych odpowiedzi 1. gracza na strategię y drugiego. Podobną interpretację ma zbiór B 2 (x). Jeśli teraz zdefiniujemy sobie multifunkcję F (x, y) = B 1 (y) B 2 (x), to to będzie to odwzorowanie, którego szukamy, bo ewentualny punkt stały takiego odwzorowania (x, y ) F (x, y ) będzie miał taką własność, że x będzie najlepszą odpowiedzią na strategię y i na odwrót, czyli to będzie równowaga Nasha. Sprawdźmy zatem, czy spełnione są założenia twierdzenia Kakutaniego. 1. Multifunkcja F jest zdefiniowana na zbiorze U = X 1 X 2, który jest zwarty. To można uzasadnić na wiele sposobów (wyciągając podciąg zbieżny z jednej współrzędnej, a potem z niego podciąg zbieżny po drugiej, lub mówiąc, że produkt zbiorów domkniętych i ograniczonych też ma tę własność). Jest też wypukły jako produkt zbiorów wypukłych. 2. Zbiory B 1 (y) (B 2 (x)) są zawsze niepuste, bo każda funkcja ciągła na zbiorze zwartym osiąga swoje supremum na tym zbiorze. 3. Funkcja u 1 (, y) jest wklęsła dla każdego y X 2, stąd jeśli dla ustalonego y osiąga ona maksimum dla x 1 oraz x 2, to musi osiągać je także dla kombinacji wypukłych tych punktów, a to oznacza, że dla każdego y, zbiór B 1 (y) jest wypukły. Podobnie można uzasadnić wypukłość B 2 (x). Ponieważ iloczyn kartezjański dwóch zbiorów wypukłych też jest wypukły, to F (x, Y ) jest zbiorem wypukłym dla dowolnych x i y. 6

7 4. Weźmy teraz dowolny ciąg {x i } elementów zbioru B 1 (y) dla dowolnego ustalonego y, zbieżny do pewnego x. Ponieważ funkcja u 1 jest ciągła, to x też należy do B 1 (y). Zatem zbiór ten jest domknięty. Jako podzbiór X 1 jest także ograniczony, a zatem zwarty. Podobnie pokazujemy, że B 2 (x) są zbiorami zwartymi. Oczywiście F (x, y), jako iloczyn kartezjański zbiorów zwartych, jest dla dowolnych x i y także zbiorem zwartym (patrz punkt 1.). 5. Domkniętość wykresu. Znowu (bez utraty ogólności) ograniczymy się do jednej współrzędnej. Załóżmy nie wprost, że wykres B 1 nie jest domknięty, czyli istnieje ciąg {(x n, y n )} zbieżny do (x, y) taki, że x n B 1 (y n ), ale x B 1 (y). Pierwsza z tych równości oznacza, że u 1 (a, y n ) u 1 (x n, y n ) a X 1, ale ponieważ u 1 jest ciągła, więc prawdziwe musi być także u 1 (a, y) u 1 (x, y) a X 1, co jest równoważne x B 1 (y) sprzeczność. Czyli wykres naszego odwzorowania jest domknięty. A zatem wszystkie założenia twierdzenia Kakutaniego są spełnione, więc gra Γ posiada równowagę Nasha. Uwaga 1.2 Ktoś mógłby się zapytać, jaki sens ma udowadnianie twierdzenia, korzystając z innego twierdzenia, którego słuchacze nie znają. Otóż głównym celem przedstawienia tutaj tego dowodu jest pokazanie jego ogólnego schematu, bo właściwie wszystkie twierdzenia o istnieniu równowagi Nasha udowadnia się według tego schematu. Innymi słowy, żeby była szansa na to, że dla jakiegoś typu gier, przy jakichś założeniach, gra będzie musiała posiadać równowagę, to przy podobnych założeniach, dla takich samych przestrzeni, powinno być prawdziwe twierdzenie o punkcie stałym. Wniosek 1.1 Twierdzenie Nasha dla gier dwumacierzowych wynika z powyższego twierdzenia w następujący sposób: Niech X 1 = P (W ), gdzie W = {1,..., m} zbiór wierszy macierzy, a X 2 = P (K), gdzie K = {1,..., n} zbiór kolumn. Dowolny rozkład prawdopodobieństwa µ = (µ 1,..., µ m ) P (W ) jest układem m liczb spełniających warunki i µ i = 1, µ i 0 i. Zbiór takich µ jest wypukłym i zwartym podzbiorem R m. Podobnie w przypadku zbioru strategii mieszanych 2. gracza. Z kolei wypłata gracza 1. (podobnie z wypłatą 2.), gdy używane są strategie µ i σ, u 1 (µ, σ) = i j A ij µ i σ j jest funkcją liniową (właściwie afiniczną) względem µ i σ z osobna; taka funkcja jest też w szczególności ciągła i wklęsła względem µ i σ z osobna. 2 A zatem spełnione są założenia udowodnionego przez nas uogólnionego twierdzenia Nasha, i gra posiada równowagę w strategiach z X 1 i X 2, czyli strategiach mieszanych w wyjściowej grze dwumacierzowej. 2 Na wykładzie usiłowałem pokazać, że jest wklęsła względem obu zmiennych naraz, co oczywiście nie jest prawdą, dlatego nic z tego nie wyszło. Natomiast w twierdzeniu Nasha nie ma założenia o wklęsłości funkcji wypłaty względem strategii obu graczy, tylko o wklęsłości wypłaty każdego gracza względem jego własnej strategii, a względem dowolnej pojedynczej zmiennej ta wypłata jest wklęsła, bo jest liniowa. 7