Materiały wykładowe (fragmenty)

Transkrypt

1 Materiały wykładowe (fragmenty) 1

2 Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL kontakt osobisty Centrum Wykładowe, blok informatyki, pok. 7 2

3 Wyłączenie odpowiedzialności Prezentowane materiały, będące dodatkiem pomocniczym do wykładów, z konieczności fragmentarycznym i niedopracowanym, naleŝy wykorzystywać z pełnąświadomością faktu, Ŝe mogą nie być pozbawione przypadkowych błędów, braków, wypaczeń i przeinaczeń :-) Autor 3

4 Teoria gier 4

5 Teoria gier #1 Teoria gier matematyczna teoria zajmująca się modelowaniem sytuacji konfliktowych inspiracja: gry hazardowe (podobnie jak w przypadku rachunku prawdopodobieństwa) modelowanie działań wojennych 5

6 Teoria gier #2 Podział gier oraz ich modeli ze względu na: liczbę etapów gry jednostopniowe wielostopniowe liczbę moŝliwych ruchów/posunięć/strategii kaŝdego z graczy skończone nieskończone liczbę graczy jednostronne dwustronne wielostronne zaleŝność pomiędzy wygranymi a stratami graczy gry o sumie zerowej gry o sumie niezerowej 6

7 Teoria gier #3 Jednostopniowe, skończone, dwustronne gry o sumie zerowej nazywa się grami macierzowymi informacje o nich moŝna przedstawić wygodnie w postaci jednej macierzy, zwanej macierzą wypłat dwuwymiarowość macierzy odpowiada temu, Ŝe gra jest dwustronna (skończona) liczba wierszy m odpowiada liczbie strategii jednego gracza, a (skończona) liczba kolumn n odpowiada liczbie strategii drugiego gracza istnieje m n kombinacji róŝnych strategii, czyli m n moŝliwych przebiegów gry (trzeba więc podać m n wypłat kaŝdemu graczowi) suma zerowa oznacza, Ŝe dla kaŝdej kombinacji strategii suma zysku jednego gracza i straty drugiego gracza jest równa zero, czyli zysk jednego gracza jest stratą drugiego gracza inaczej: dla kaŝdej kombinacji strategii podaje się jedną wartość, która (jednocześnie) wyraŝa zysk gracza pierwszego i stratę gracza drugiego 7

8 Gra macierzowa jako model konfliktu #1 Przykład gry macierzowej (o sumie zerowej) w pewnej sytuacji konfliktowej znalazły się dwie strony, zwane dalej graczami, np.: gracz G1 i gracz G2 kaŝda ze stron ma do wyboru kilka moŝliwych moŝliwości zachowania się, zwanych dalej strategiami, np.: gracz G1 ma do wyboru 3 moŝliwe strategie: G1-1, G1-2 oraz G1-3 gracz G2 ma do wyboru 4 moŝliwe strategie: G2-1, G2-2, G2-3 oraz G2-4 zysk gracza G1 (a stratę gracza G2) będący/ą rezultatem sytuacji konfliktowej po wybraniu przez gracza G1 strategii G1-i a przez gracza G2 strategii G2-j przedstawia tzw. macierz wypłat w prezentowanym przykładzie jest to macierz o rozmiarach 3x4, co wynika z liczby moŝliwych strategii dostępnych dla obu graczy 8

9 Gra macierzowa jako model konfliktu #2 Przykład gry macierzowej postawienie problemu przykładowa macierz wypłat: zyski G1/straty G2 G2-1 G2-2 G2-3 G2-4 G G G wartość +3 na przecięciu strategii G1-1 i G2-3 oznacza: jeŝeli gracz G1 wybierze strategię G1-1 a G2 strategię G2-3 to: gracz G1 wygrywa +3 gracz G2 wygrywa 3 (czyli przegrywa +3) 9

10 Gra macierzowa jako model konfliktu #3 Przykład gry macierzowej postawienie problemu przykładowa macierz wypłat: zyski G1/straty G2 G2-1 G2-2 G2-3 G2-4 G G G dylemat przed którym stoją obie strony: na jaką strategię wybrać, aby zapewnić sobie maksymalną wygraną (a tym samym minimalną przegraną)? 10

11 Gra macierzowa jako model konfliktu #4 Przykład gry macierzowej postawienie problemu G2-1 G2-2 G2-3 G2-4 G G G największą wartością macierzy (a tym samym największym moŝliwym zyskiem gracza G1) jest 5 warunkiem koniecznym jego zdobycia przez gracza G1 jest wybranie strategii G1-2 w praktyce wybranie strategii G1-2 przez gracza G1 jest jednak niebezpieczne, poniewaŝ jeŝeli przeciwnik zdecyduje się na strategię G2-3 to gracz G1 wygrywa wtedy 6 (a więc traci 6) 11

12 Gra macierzowa jako model konfliktu #5 Przykład gry macierzowej rozwiązanie problemu G2-1 G2-2 G2-3 G2-4 G G G okazuje się, Ŝe w celu zapewnienia sobie najmniej niekorzystnego wyniku gry gracz G1 powinien wybrać taką strategię, dla której moŝliwa strata jest minimalna w praktyce: naleŝy wybrać ten wiersz, którego wartość minimalna jest jak największa (problem max-min) 12

13 Gra macierzowa jako model konfliktu #6 Przykład gry macierzowej rozwiązanie problemu G2-1 G2-2 G2-3 G2-4 G G G minimalne wartości w kaŝdym wierszu: wiersz G1-1: min {+2, 3,+3, 2} = 3 wiersz G1-2: min { 3, 6,+5,+4} = 6 wiersz G1-3: min { 1,+4, 4,+2} = 4 wybór wiersza: max { 3, 6, 4} = 3 (wiersz G1-1) 13

14 Gra macierzowa jako model konfliktu #7 Przykład gry macierzowej rozwiązanie problemu formalny zapis procesu decyzyjnego dla gracza G1 max " po wierszach" problem typu max-min min " po kolumnach" { + 2, 3, + 3, 2} { 3, 6, + 5, + 4} { 1, 4, 4, 2} + + max " po wierszach" wynik: gracz G1 powinien wybrać strategię G1-1 = 3 6 =

15 Gra macierzowa jako model konfliktu #8 Przykład gry macierzowej rozwiązanie problemu punkt widzenia gracza G2: aby maksymalizować swoje zyski gracz G2 powinien zachowywać się analogicznie do gracza G1, jednak ze względu na wymienność zysków/strat powinien on jednak stosować rozumowanie min-max formalny zapis procesu decyzyjnego dla gracza G2 problem typu min-max min " po kolumnach" " po max wierszach" { + 2, 3, + 3, 2} { 3, 6, + 5, + 4} { 1, 4, 4, 2} + + min " po kolumnach" wynik: gracz G2 powinien wybrać strategię G2-1 = { + 2, + 4, + 5, + 4} =

16 Rozwiązywanie gier #1 Poszukiwanie strategii optymalnych dana jest gra macierzowa o sumie zerowej opisana macierzą wypłat, w której kaŝdy element jest (jednocześnie) zyskiem gracza pierwszego i stratą gracza drugiego poszukujemy ogólnej metody znajdowania optymalnych strategii dla jednego z graczy przy załoŝeniu, Ŝe gracz drugi takŝe optymalizuje swoje postępowanie rozsądne jest wtedy minimalizowanie moŝliwych strat (zabezpieczanie się przed inteligentnym posunięciem drugiego gracza) 16

17 Rozwiązywanie gier #2 Poszukiwanie strategii optymalnych, c.d. ze względów historycznych strategie w prezentowanym tutaj sensie nazywa się takŝe strategiami czystymi nazwa ta (jak wiele nazw ugruntowanych historycznie) jest mało intuicyjna w praktyce oznaczają one rozwiązania pojedynczej gry takŝe wtedy, gdy gra ma być powtórzona wielokrotnie (przy identycznej macierzy wypłat), jednak gracz tego z góry nie wiedział i za kaŝdym razem podejmował decyzję od nowa w teorii gier waŝną rolę odgrywają teŝ zw. strategie mieszane takŝe ta (ugruntowana historycznie) nazwa jest mało intuicyjna i oznacza w praktyce rozkład strategii wykorzystywanych w grze, o której wiadomo z góry, Ŝe moŝe być rozegrana wielokrotnie strategię mieszaną definiuje zestaw prawdopodobieństw, które informują o tym, jak często dana strategia powinna być stosowana 17

18 Rozwiązywanie gier #3 Poszukiwanie strategii optymalnych, c.d. ogólna metoda znajdowania optymalnych (tzn. minimalizujących ewentualne straty) strategii dla gracza pierwszego, G1 (strategie = wiersze macierzy) strategia gracza pierwszego jest optymalna, jeŝeli wyznacza ten wiersz macierzy wypłat, który charakteryzuje się maksymalną wartością minimalną (zasada max-min) uwaga: ze względu na symetrię zysków i strat zapisanych w macierzy wypłat A, identyczna strategia zostanie wybrana po zastosowaniu zasady odwrotnej (tzn. zasady min-max) do identyfikacji optymalnej kolumny w macierzy A T 18

19 Rozwiązywanie gier #4 Poszukiwanie strategii optymalnych, c.d. ogólna metoda znajdowania optymalnych (tzn. minimalizujących ewentualne straty) strategii dla gracza drugiego G2 (strategie = kolumny macierzy) strategia gracza drugiego jest optymalna, jeŝeli wyznacza tę kolumnę macierzy wypłat, która charakteryzuje się minimalną wartością maksymalną (min-max) uwaga: ze względu na symetrię zysków i strat zapisanych w macierzy wypłat A, identyczna strategia zostanie wybrana po zastosowaniu zasady odwrotnej (tzn. zasady max-min) do identyfikacji optymalnego wiersza w macierzy A T 19

20 Rozwiązywanie gier #5 Poszukiwanie strategii optymalnych przykład 1 G2-1 G2-2 G2-3 G2-4 G G G gracz G1: strategia G1-1 gracz G2: strategia G2-1 minimalne wartości w wierszach: maksymalne wartości w kolumnach: wiersz 1: 3 kolumna 1: +2 wiersz 2: 6 kolumna 2: +4 wiersz 3: 4 kolumna 3: +5 kolumna 4: +4 20

21 Rozwiązywanie gier #6 Poszukiwanie strategii optymalnych przykład 2 G2-1 G2-2 G2-3 G2-4 G G G gracz G1: strategia G1-2 gracz G2: strategia G2-3 minimalne wartości w wierszach: maksymalne wartości w kolumnach: wiersz 1: 5 kolumna 1: +5 wiersz 2: 3 kolumna 2: 0 wiersz 3: 7 kolumna 3: 3 kolumna 4: +6 21

22 Realne zyski/straty graczy Rozwiązywanie gier #7 istnienie strategii optymalnych p i q zapewnia graczom: graczowi pierwszemu zysk wynoszący co najmniej a pq graczowi drugiemu stratę wynoszącą co najwyŝej a pq przy ustalonym a pq faktyczny zysk (w sensie realnej wygranej/przegranej) obu graczy jest uzaleŝniony od znaku a pq : jeŝeli a pq >0 to G1 wygrywa (realnie zyskuje) a G2 przegrywa (ponosi realną stratę) jeŝeli a pq <0 to G2 wygrywa (realnie zyskuje) a G1 przegrywa (ponosi realną stratę) 22

23 Rozwiązywanie gier #8 Słaba interpretacja optymalności: załóŝmy, Ŝe w pewnej grze istnieją optymalne strategie p i q oraz, Ŝe a pq >0 w wyniku rozegrania tej gry gracz G1 uzyskuje realny zysk a gracz G2 ponosi realną stratę optymalność strategii q moŝe wydawać się dziwne, Ŝe gracz G2, pomimo zastosowania strategii optymalnej (czyli strategii q) poniósł realną stratę zachodzi pytanie, czy fakt ten nie podwaŝa optymalności strategii gracza G2? inaczej, czy graczowi G2 warto stosować tę strategię? 23

24 Rozwiązywanie gier #9 Słaba interpretacja optymalności, c.d.: poniesienie realnej straty w grze przez gracza G2 po zastosowaniu strategii optymalnej uzyskanej zgodnie z zasadą min-max (tj. zasadą stosowaną przez gracza G2) nie neguje optymalności tej strategii, poniewaŝ zasada min-max nie gwarantuje uzyskania realnego zysku, a jedynie minimalizację strat w rezultacie inteligentnych posunięć strony przeciwnej analogicznie działa zasada max-min naleŝy rozumieć, Ŝe w niektórych grach realne straty występują, poniewaŝ są nieuniknione np. w grze reprezentowanej przez macierz, której wszystkie wartości są dodatnie, gracz G2 poniesie stratę bez względu na to, czy wybrana przez niego strategia będzie optymalna, czy nie poniesiona strata moŝe być jednak większa lub mniejsza, wybierając strategię optymalną gracz G2 gwarantuje sobie minimalną stratę, i dlatego powinien on stosować tę strategię 24

25 Strategie właściwe #1 Problem powtarzalności gry przykład 1 załóŝmy, Ŝe rozegrano grę zadaną poniŝszą tablicą wypłat A=[a ij ] gracze zastosowali swoje strategie optymalne, tzn.: G1-1 i G2-1 elementem macierzy wypłat o współrzędnych p=1 i q=1 jest a 11 =+2 (wniosek: gracz G1 zyskał 2, gracz G2 stracił 2) G2-1 G2-2 G2-3 G2-4 G G G Gra ma być rozegrana ponownie (w niezmienionej postaci) zachodzi pytanie: jakie teraz strategie powinni zastosować obaj gracze (a w szczególności gracz G2, który poniósł realną stratę), czy te same? 25

26 Strategie właściwe #2 Problem powtarzalności gry przykład 1, c.d. gracz G1 poszukiwał swojej strategii optymalnej następująco: minimalne wartości w wierszach: wiersz 1: 3 wiersz 2: 6 wiersz 3: 4 wiersz charakteryzujący się maksymalną wartością minimalną: 1 maksymalna wartość spośród minimalnych: 3 z punktu widzenia gracza G1 oznacza to stratę 3 (inaczej: zysk 3) (wynika to z faktu, Ŝe ujemne wartości w tablicy wypłat oznaczają realne straty gracza G1) 26

27 Strategie właściwe #3 Problem powtarzalności gry przykład 1, c.d. gracz G2 poszukiwał swojej strategii optymalnej następująco: maksymalne wartości w kolumnach: kolumna 1: +2 kolumna 2: +4 kolumna 3: +5 kolumna 4: +4 kolumna charakteryzująca się minimalną wartością maksymalną : 1 minimalna wartość spośród maksymalnych: +2 z punktu widzenia gracza G2 oznacza to stratę 2 (inaczej: zysk 2) (wynika to z faktu, Ŝe dodatnie wartości w tablicy wypłat oznaczają realne straty gracza G2) 27

28 Strategie właściwe #4 Problem powtarzalności gry przykład 1, c.d. gracz G1, wnioski: był przygotowany na stratę 3 tylko tyle mógł bowiem uzyskać w najgorszym dla niego przypadku to gwarantuje mu stosowana przez niego strategia optymalna w rzeczywistości jednak zyskał 2 wynik był niezgodny z oczekiwaniami: korzystniejszy! wydaje się więc, Ŝe gracz G1 powinien dalej stosować tę strategię gracz G2, wnioski: był przygotowany na stratę 2 tylko tyle mógł bowiem uzyskać w najgorszym dla niego przypadku to gwarantuje mu stosowana przez niego strategia optymalna w rzeczywistości stracił 2 wynik był w pełni zgodny z oczekiwaniami, jednak poniesiona realna strata moŝe pchnąć go w stronę zmiany swojej strategii 28

29 Strategie właściwe #5 Problem powtarzalności gry przykład 1, c.d. gracz G2 dalsze wnioski: przygotowując się do następnej rozgrywki gracz G2 moŝe załoŝyć, Ŝe gracz G1 znowu wybierze swoją strategię optymalną (czyli G1-1) załoŝenie to jest szczególnie uzasadnione wtedy, gdy gra rozgrywana była juŝ wielokrotnie i we wszystkich poprzednich rozgrywkach gracz G1 stosował swoją strategię optymalna, czyli G1-1 zakładając, Ŝe gracz G1 wybierze strategię G1-1 gracz G2 moŝe ograniczyć się do analizy pierwszego wiersza macierzy wypłat, tzn.: G2-1 G2-2 G2-3 G2-4 G wybierając w tych warunkach (nieoptymalną) strategię G2-2 lub G2-4 gracz G2 przechyla szalę zwycięstwa na swoją stronę (przy czym G2-2 jest korzystniejsza dla G2 niŝ G2-4) 29

30 Strategie właściwe #6 Problem powtarzalności gry przykład 1, c.d. załóŝmy, Ŝe w ponownej rozgrywce gracz G1 zastosował ponownie (optymalną) strategię G1-1, natomiast gracz G2 zdecydował się na (nieoptymalną) strategię G2-2 elementem macierzy wypłat o współrzędnych p=1 i q=2 jest a 12 = 3 (wniosek: gracz G1 stracił 3, gracz G2 zyskał 3) wnioski: gracz G1 poniósł realną stratę pomimo zastosowania strategii optymalnej gracz G2 realnie zyskał mimo zastosowania strategii nieoptymalnej oznacza to, Ŝe gracz G2 moŝe być skłonny do stosowania tej strategii w kolejnych rozgrywkach tej samej gry 30

31 Strategie właściwe #7 Problem powtarzalności gry przykład 1, c.d. zastosowanie przez gracza G2 strategii G2-2 (a szczególnie stosowanie jej przez dłuŝszy czas) moŝe doprowadzić gracza G1 do wniosku, Ŝe gracz G2 zastosuje tę strategię w kolejnej rozgrywce zakładając, Ŝe gracz G2 wybierze G2-2 i chcąc poprawić wyniki gracz G1 powinien rozwaŝyć drugą kolumnę macierzy wypłat, tzn.: G2-2 G1-1 3 G1-2 6 G korzystną dla gracza G1 strategią jest wtedy G1-3 31

32 Strategie właściwe #8 Problem powtarzalności gry przykład 1, c.d. w tej konkretnej grze gracze są skłonni do zmieniania strategii na początku nastąpiła/y rozgrywka/i z uŝyciem strategii optymalnych, tzn. G1-1 i G2-1 realne zyski odnosił G1 w rezultacie gracz G2 postanawia wypróbować strategię G2-2 następuje/ą rozgrywka/i z uŝyciem strategii optymalnej G1-1 i nieoptymalnej G2-2 realne zyski odnosi G2 w rezultacie gracz G1 postanawia wypróbować strategię G1-3 następuje/ą rozgrywka/i z uŝyciem strategii nieoptymalnej G1-3 i nieoptymalnej G2-2 realne zyski odnosi G1 itd. w rezultacie gracz G2 postanawia... przyczyna: decyzja gracza G2, który zakładając, Ŝe gracz G1 zastosuje strategię optymalną, uznał, Ŝe zastosowanie strategii nieoptymalnej pozwoli na osiągnięcie korzystniejszego wyniku 32

33 Strategie właściwe #9 Problem powtarzalności gry przykład 2 załóŝmy, Ŝe rozegrano grę zadaną poniŝszą tablicą wypłat A=[a ij ] gracze zastosowali swoje strategie optymalne, tzn.: G1-2 i G2-3 elementem macierzy wypłat o współrzędnych p=2 i q=3 jest a 23 = 3 (wniosek: gracz G1 stracił 3, gracz G2 zyskał 3) G2-1 G2-2 G2-3 G2-4 G G G Gra ma być rozegrana ponownie (w niezmienionej postaci) zachodzi pytanie: jakie teraz strategie powinni zastosować obaj gracze (a w szczególności gracz G1, który poniósł realną stratę), czy te same? 33

34 Strategie właściwe #10 Problem powtarzalności gry przykład 2, c.d. gracz G1 poszukiwał swojej strategii optymalnej następująco: minimalne wartości w wierszach: wiersz 1: 5 wiersz 2: 3 wiersz 3: 5 wiersz charakteryzujący się maksymalną wartością minimalną: 2 maksymalna wartość spośród minimalnych: 3 z punktu widzenia gracza G1 oznacza to stratę 3 (inaczej: zysk 3) (wynika to z faktu, Ŝe ujemne wartości w tablicy wypłat oznaczają realne straty gracza G1) 34

35 Strategie właściwe #11 Problem powtarzalności gry przykład 2, c.d. gracz G2 poszukiwał swojej strategii optymalnej następująco: maksymalne wartości w kolumnach: kolumna 1: +5 kolumna 2: +7 kolumna 3: 3 kolumna 4: +6 kolumna charakteryzująca się minimalną wartością maksymalną : 3 minimalna wartość spośród maksymalnych: 3 z punktu widzenia gracza G2 oznacza to zysk 3 (inaczej: stratę 3) (wynika to z faktu, Ŝe ujemne wartości w tablicy wypłat oznaczają realne zyski gracza G2) 35

36 Strategie właściwe #12 Problem powtarzalności gry przykład 2, c.d. gracz G1, wnioski: był przygotowany na stratę 3 tylko tyle mógł bowiem uzyskać w najgorszym dla niego przypadku to gwarantuje mu stosowana przez niego strategia optymalna w rzeczywistości stracił 3 wynik był w pełni zgodny z oczekiwaniami gracz G2, wnioski: był przygotowany na zysk 3 tylko tyle mógł bowiem uzyskać w najgorszym dla niego przypadku to gwarantuje mu stosowana przez niego strategia optymalna w rzeczywistości zyskał 3 wynik był w pełni zgodny z oczekiwaniami 36

37 Strategie właściwe #13 Problem powtarzalności gry przykład 2, c.d. gracz G1 dalsze wnioski: gracz G1 poniósł stratę 3, co wprawdzie było zgodne z oczekiwaniami, ale moŝe być bodźcem do zmiany jego strategii zakładając, Ŝe gracz G2 wybierze znowu G2-3 i chcąc poprawić wynik gracz G1 rozwaŝa trzecią kolumnę macierzy wypłat, tzn.: G2-3 G1-1 5 G1-2 3 G1-3 5 okazuje się, Ŝe gracz G1 nie moŝe poprawić wyniku, poniewaŝ Ŝadna wartość w trzeciej kolumnie nie jest większa od 3 37

38 Strategie właściwe #14 Problem powtarzalności gry przykład 2, c.d. gracz G2 dalsze wnioski: gracz G2 zyskał w rozgrywce, w której obydwaj gracze zastosowali strategie optymalne, jednak nadal moŝe próbować poprawić ten wynik (zwiększyć zyski) zakładając, Ŝe gracz G1 wybierze znowu G1-2 i chcąc poprawić wynik gracz G2 rozwaŝa drugi wiersz macierzy wypłat, tzn.: G2-1 G2-2 G2-3 G2-4 G okazuje się, Ŝe gracz G1 nie moŝe poprawić wyniku, poniewaŝ Ŝadna wartość w trzeciej kolumnie nie jest mniejsza od 3 38

39 Strategie właściwe #15 Problem powtarzalności gry przykład 2, c.d. w tej konkretnej grze gracze nie są skłonni do zmieniania swoich strategii przyczyna: Ŝaden z graczy nie jest w stanie poprawić swojego wyniku przy załoŝeniu, Ŝe przeciwnik zastosuje swoją strategię optymalną strategie optymalne w takiej grze nazywa się strategiami właściwymi ich istnienie jest wyznaczone odpowiednią strukturą macierzy wypłat charakteryzującej tę konkretną grę konsekwencją istnienia strategii właściwych dla tej konkretnej macierzy jest to, Ŝe gracz G1 będzie przegrywał (ponosił realną stratę) we wszystkich kolejnych rozgrywkach tej gry stosowanie przez niego jego strategii optymalnej pozwala mu jedynie na minimalizowanie ponoszonych strat 39

40 Strategie właściwe #16 Definicja strategii właściwych niech p oznacza strategię gracza G1 a q strategię gracza G2 para strategii (p,q) jest parą strategii właściwych wtedy i tylko wtedy, gdy w macierzy A występuje element a pq taki, Ŝe: a pq = max min a i= 1.. m j= 1.. n oraz jednocześnie: a pq = min max a j= 1.. n i= 1.. m [ ] ij [ ] ij wartość a pq o ile istnieje w macierzy wartość spełniająca powyŝsze warunki, a tym samym istnieją strategie właściwe p oraz q nazywana jest wartością gry 40

41 Strategie właściwe #17 Poszukiwanie strategii właściwych, przykład 1, c.d. max i= 1..3 G2-1 G2-2 G2-3 G2-4 G G G min [ a ] = 3 min max [ ] a = + 2 j= 1..4 ij j= 1..4 i= 1..3 wniosek: strategie właściwe nie istnieją (bo max-min min-max) ij 41

42 Strategie właściwe #18 Poszukiwanie strategii właściwych, przykład 2, c.d. max i= 1..3 G2-1 G2-2 G2-3 G2-4 G G G min [ ] = 3 j= 1..4 ij a min max [ a ] = 3 j= 1..4 i= 1..3 wniosek: strategie właściwe istnieją: p=2 (strategia G1 2), q=3 (strategia G2 3) a pq = 3 ij 42

43 Punkty siodłowe #1 Punkt siodłowy funkcji ciągłej dwóch zmiennych trójwymiarowy wykres powierzchniowy z kolorami 43

44 Punkty siodłowe #2 Punkt siodłowy funkcji ciągłej dwóch zmiennych trójwymiarowy wykres powierzchniowy z kolorami 44

45 Punkty siodłowe #3 Punkt siodłowy funkcji ciągłej dwóch zmiennych dwuwymiarowy wykres konturowy

46 Punkty siodłowe #4 Punkt siodłowy funkcji ciągłej dwóch zmiennych dwuwymiarowy wykres konturowy z kolorami

47 Punkty siodłowe #5 Punkt siodłowy funkcji a punkt siodłowy macierzy dwuwymiarowy wykres konturowy a obraz macierzy 47

48 Punkty siodłowe #6 Punkt siodłowy macierzy obraz macierzy o rozmiarach 20x20 48

49 Punkty siodłowe #7 PołoŜenie punktu siodłowego macierzy powyŝsze przykłady sugerują połoŝenie w pobliŝu środka 49

50 Punkty siodłowe #8 PołoŜenie punktu siodłowego macierzy ale tak nie musi być! 50

51 Strategie mieszane #1 Strategie czyste istnienie punktu siodłowego macierzy wypłat, a tym samym strategii właściwych: p (dla gracza G1) i q (dla gracza G2) gwarantuje stabilność gry, element macierzy a pq jest wtedy wartością gry (wygraną gracza G1) pytanie: czy istnieją odpowiedniki strategii optymalnych oraz odpowiednik wartości gry w sytuacji, gdy macierz wypłat nie posiada strategii właściwych? Strategie mieszane wobec braku punktu siodłowego moŝliwe jest jedynie uzyskanie stabilności w kategoriach strategii mieszanych strategia mieszana jest po prostu informacją o względnej częstości zastosowania poszczególnych strategii czystych w sytuacji, gdy gra rozgrywana jest wielokrotnie 51

52 Strategie mieszane #2 Przykłady strategii dla gracza G1 przy macierzy wypłat o rozmiarach 3x4 jedna rozgrywka (strategia czysta): stwierdzenie, Ŝe czystą strategią optymalną jest np. G1-1 oznacza dokładnie tyle, Ŝe G1 powinien zastosować G1-1 wiele rozgrywek (strategia mieszana): stwierdzenie, Ŝe mieszaną strategią optymalną jest np. G1-1 oznacza dokładnie tyle, Ŝe G1 powinien cały czas stosować G1-1 sytuację tę moŝna opisać następującym wektorem p=[1 0 0] T interpretacja wektora: przy N rozgrywkach G1 powinien zastosować:» strategię G1-1: N*1=N razy» strategię G1-2: N*0=0 razy» strategię G1-3: N*0=0 razy wniosek: strategia czysta jest szczególnym przypadkiem strategii mieszanej 52

53 Strategie mieszane #3 Przykłady strategii dla gracza G1 przy macierzy wypłat o rozmiarach 3x4, c.d. warunki poprawności wektora reprezentującego strategię mieszaną p: p 0 (elementy nieujemne) 1 T p=1 (suma elementów równa jeden) inna strategia mieszana: p=[ ] przy N rozgrywkach G1 powinien zastosować: strategię G1-1: N*0.5=N/2 razy strategię G1-2: N*0.5=N/2 razy strategię G1-3: N*0.0=0 razy inna strategia mieszana: p=[1/3 1/3 1/3] G1 powinien stosować strategie G1-1, G1-2 i G1-3 równie często 53

54 Strategie mieszane #4 Mieszane strategie optymalne problem: jak dobierać wartości wektora p (gracz G1) oraz wektora q (gracz G2) aby zagwarantować ich optymalność? dla określonych wektorów p i q wartość gry moŝe być zapisana jako E(p,q) E jak expected, czyli wartość oczekiwana, poniewaŝ w tym przypadku wartość gry moŝe być tylko rozumiana jedynie jako wartość do której wynik dąŝy w rezultacie rozegrania gry bardzo wiele (teoretycznie: nieskończenie wiele) razy dla ustalonych wektorów p i q zachodzi: E(p,q) = p T Aq 54

55 Strategie mieszane #5 Mieszane strategie optymalne, c.d. stosując strategię mieszaną opisaną wektorem p gracz G1 moŝe się spodziewać wygranej nie mniejszej od: min E ( p, q) q dlatego gracz ten powinien tak dobrać wektor p, aby uzyskać maksymalną wartość oczekiwaną (E 1 ), tzn.: E 1 = max{min E( p, q)} p q analogicznie, gracz G2 powinien tak dobrać wektor q, aby uzyskać minimalną wartość oczekiwaną (E 2 ), tzn.: E 2 = min{max E( p, q)} q p 55

56 Strategie mieszane #6 Mieszane strategie optymalne, c.d. jeŝeli zdarzy się, Ŝe E 1 =E 2 to będzie to odpowiednik sytuacji, w której znaleziono czyste strategie właściwe (co z kolei oznacza, Ŝe są to strategie optymalne; dodatkowo sytuacja ta jest równowaŝna faktowi istnienia punktu siodłowego macierzy A) z pewnych względów sytuacja taka będzie zachodziła zawsze, co oznacza, Ŝe dla kaŝdej macierzy A moŝna znaleźć mieszane strategie optymalne p i q, a to jest równowaŝne istnieniu punktu siodłowego funkcji p T Aq formalny warunek przedstawia się następująco: max{min p q E ( p, q)} = min{max q p E( p, q)} pytanie: jak poszukiwać rozwiązań obu problemów? 56

57 Strategie mieszane #7 Mieszane strategie optymalne, c.d. niech będzie dana dowolna macierz A o rozmiarach mxn dla dowolnego wektora p wyraŝenie p T A ma rozmiar 1xn i reprezentuje pewien wektor (wierszowy) w T, a więc p T Aq = w T q dla wektora q spełniającego warunki: q 0 (elementy nieujemne) 1 T q=1 (suma elementów równa jeden) zapis w T q wyraŝa kombinację wypukłą elementów wektora w T czyli opisuje kaŝdy punkt jednowymiarowej powłoki wypukłej wyznaczonej przez elementy wektora w T oznacza to, Ŝe problem: min E( p, q) q jest poszukiwaniem minimalnej wartości w powłoce wypukłej wyznaczonej przez elementy wektora w T 57

58 Strategie mieszane #8 Mieszane strategie optymalne, c.d. dla kaŝdego punktu jednowymiarowej powłoki wypukłej w T q wyznaczonej przez elementy wektora w T zachodzi: w T q min{w i }, max{w i } interpretacja: kaŝda wartość jednowymiarowej kombinacji wypukłej mieści się w przedziale wyznaczonym przez minimalną i maksymalną wartość wyznaczającą tę kombinację zachodzi więc: min E( p, q) = minp q gdzie a i są kolumnami macierzy A q T Aq = min{ p T a, p T a,..., p T a 1 2 n } 58

59 Strategie mieszane #9 Mieszane strategie optymalne, c.d. wniosek: obliczanie min E( p, q) q moŝna sprowadzić bez straty ogólności problemu do obliczenia min{ p T a, p T a,..., 1 2 n gdzie a i są kolumnami macierzy A p T a } podstawowa zaleta: obliczanie minimum przebiegającego po wszystkich wektorach q spełniających q 0 oraz 1 T q=1 (istnieje nieskończenie wiele takich wektorów) sprowadza się do obliczenia minimum przebiegającego po wszystkich kolumnach macierzy A (liczba tych kolumn jest skończona i wynosi n) 59

60 Strategie mieszane #10 Mieszane strategie optymalne problem: jak dobierać wartości wektora p (gracz G1) oraz wektora q (gracz G2) aby zagwarantować ich optymalność? rozwiązanie: zastosowanie programowania liniowego wymagany etap wstępny: modyfikacja macierzy wypłat A: B = A+c (formalnie: B = A+cE, gdzie E jest macierzą jedynek), w której c jest skalarem tak dobranym, aby dla wynikowej macierzy B zachodziło: B>0 rozwiązywany problem PL dla gracza G1: dla gracza G2: min 1 T p max 1 T q p.o. B T p 1 p.o. Bq 1 p 0 wartość gry (oczekiwana): p T Aq q 0 (p T Bq c = p T (A+cE)q c = p T Aq+cp T Eq c = p T Aq+c 1 c = p T Aq) 60

61 Gry z naturą #1 Gra z naturą losem, przypadkiem, przeciwnikiem nierozumnym przeciwnik (los, przypadek,...) nie jest zainteresowany wynikiem rozgrywki (nie maksymalizuje swojego zysku), oznacza to, Ŝe gracz nie musi skupiać się na minimalizowaniu swoich ewentualnych strat (nie musi prowadzić rozgrywki defensywnej) co jest rozsądnym postępowaniem w przypadku, gdy prowadzimy rozgrywkę z przeciwnikiem rozumnym gracz moŝe więc postępować bardziej ofensywnie, np. wybierając te strategie, które mogą mu przynieść większy zysk w sytuacjach, gdy nierozumny gracz wykona mało rozsądny ruch 61

62 Gry z naturą #2 Przykład gry z naturą postawienie problemu pewien areał moŝe być obsiany Ŝytem, pszenicą albo jęczmieniem, przy czym zyski z wymienionych zbóŝ są róŝne, a dodatkowo zmieniają się wraz z warunkami klimatycznymi (tzw. rodzajem roku ) wyróŝnia się następujące lata: (I) dŝdŝyste-chłodne, (II) dŝdŝysteciepłe, (III) suche-ciepłe, (IV) suche-chłodne poniewaŝ decyzję o tym, które zboŝe zostanie wysiane trzeba podjąć wcześniej, sytuację powyŝszą moŝna traktować jako grę: Ŝyto, pszenica i jęczmień to strategie gracza G1, który próbuje maksymalizować swoje zyski wystąpienie konkretnego rodzaju roku (dŝdŝysto-chłodnego, dŝdŝysto-ciepłego, itp.) moŝna traktować jako strategię drugiego gracza (natury), którego zachowanie jest jednakŝe obojętne 62

63 Gry z naturą #3 Przykład gry z naturą postawienie problemu zyski z uprawy, w zaleŝności od rodzaju wybranego zboŝa oraz rodzaju roku, jaki nastanie, przedstawia macierz A=[a ij ] (zakładamy dalej, Ŝe i=1..m, j=1..n) A I II III IV śyto Pszenica Jęczmień na jaką strategię powinien zdecydować się gracz G1? 63

64 Gry z naturą #4 Przykład gry z naturą metody rozwiązywania kryterium Walda: oparte na maksymalizacji minimalnego zysku dla kaŝdej strategii (zasada max-min) v(i) = min {a i1, a i2,..., a in } rozwiązanie: maksymalizowany współczynnik: v( Ŝyto ) = 16.0 v( pszenica ) = 18.0 v( jęczmień ) = 15.0 optymalna strategia: pszenica stosując kryterium Wald a przejawiamy bardzo ostroŝne działanie (postępujemy tak, jakbyśmy grali z przeciwnikiem rozumnym) 64

65 Gry z naturą #5 Przykład gry z naturą metody rozwiązywania kryterium optymistyczne: oparte na maksymalizacji maksymalnego zysku dla kaŝdej strategii v(i) = max {a i1, a i2,..., a in } rozwiązanie: maksymalizowany współczynnik: v( Ŝyto ) = 24.5 v( pszenica ) = 32.0 v( jęczmień ) = 26.0 optymalna strategia: pszenica stosując kryterium optymistyczne przejawiamy bardzo nieostroŝne działanie (postępujemy tak, jakbyśmy grali ze sprzyjającym nam przeciwnikiem) 65

66 Gry z naturą #6 Przykład gry z naturą metody rozwiązywania kryterium Hurwicza: oparte na maksymalizacji współczynnika zaleŝnego od minimalnego oraz maksymalnego zysku dla kaŝdej strategii v(i) = γ min {a i1, a i2,..., a in } + (1 γ) max {a i1, a i2,..., a in } współczynnik ten jest tzw. kombinacją wypukłą minimalnego (waga γ) oraz maksymalnego (waga 1 γ) zysku, gdzie γ 0,1 (γ jest zwany stopniem ostroŝności ) rozwiązanie maksymalizowany współczynnik dla γ=0.8: v( Ŝyto ) = v( pszenica ) = v( jęczmień ) = optymalna strategia: pszenica kryterium Hurwicza jest identyczne z: kryterium Walda dla γ=1 kryterium optymistycznym dla γ=0 66

67 Gry z naturą #7 Przykład gry z naturą metody rozwiązywania kryterium Laplace a: oparte na maksymalizacji współczynnika wyraŝającego średnią wartość zysku v(i) = (a i1 + a i a in )/n rozwiązanie maksymalizowany współczynnik: v( Ŝyto ) = v( pszenica ) = v( jęczmień ) = optymalna strategia: pszenica 67

68 Gry z naturą #8 Przykład gry z naturą metody rozwiązywania kryterium Bayes a: oparte na maksymalizacji współczynnika wyraŝającego oczekiwaną wartość zysku do obliczenia tego współczynnika niezbędne są informacje o prawdopodobieństwach (p j ) wystąpienia róŝnych stanów natury v(i) = p 1 a i1 + p 2 a i p n a in dla prawdopodobieństw musi zachodzić: p 1 + p p n = 1 rozwiązanie maksymalizowany współczynnik dla p 1 =0.3, p 2 =0.4, p 3 =0.2 i p 4 =0.1 v( Ŝyto ) = v( pszenica ) = v( jęczmień ) = optymalna strategia: pszenica jeŝeli prawdopodobieństwa nie są znane, moŝna je przybliŝać najprosza metoda przybliŝania: przyjmujemy p j = 1/n, gdzie n jest liczbą róŝnych stanów natury (strategii gracza G2), w tej sytuacji kryterium Bayes a jest identyczne z kryterium Laplace a 68

69 Gry z naturą #9 Przykład gry z naturą metody rozwiązywania kryterium Savage a: oparte na minimalizacji współczynnika wyraŝającego maksymalną wartość straty wynikłej z podjęcia decyzji gorszej niŝ najlepsza moŝliwa dla danego stanu natury; róŝnicę tę określa się takŝe mianem Ŝalu (ang. regret) wymaga utworzenia tzw. tabeli strat relatywnych s ij : s ij = max {a 1j, a 2j,..., a mj } a ij S I II III IV śyto Pszenica Jęczmień

70 Gry z naturą #10 Przykład gry z naturą metody rozwiązywania kryterium Savage a: c.d. v(i) = max {s i1, s i2,..., s in } rozwiązanie: minimalizowany współczynnik: v( Ŝyto ) = 14.0 v( pszenica ) = 6.5 v( jęczmień ) = 13.0 optymalna strategia: pszenica 70

71 ... 71