WPROWADZENIE DO SZTUCZNEJ INTELIGENCJI

Transkrypt

1 POLITECHNIKA WARSZAWSKA WYDZIAŁ MECHANICZNY ENERGETYKI I LOTNICTWA MEL WPROWADZENIE DO SZTUCZNEJ INTELIGENCJI NS 586 Dr inż. Franciszek Dul

2 6. GRY POSZUKIWANIA W OBECNOŚCI PRZECIWNIKA

3 Gry Pokażemy, w jaki sposób agent może osiągnąć zamierzony cel jeżeli musi kooperować lub konkurować albo nawet walczyć z innymi agentami.

4 6.1. Czym są gry? Gry są to zadania poszukiwania z wieloma agentami działającymi (i konkurującymi) w tym samym środowisku. Gry: służą do zabawy ale i hazardu; są łatwe do sformułowania; agenci mogą zwykle wykonywać niewiele działań; są to zagadnienia interesujące, ale często bardzo trudne; Analiza gier może służyć ogólniejszym celom np. budowie robotów które mają działać w środowisku nieprzyjaznym;

5 6.1. Gry Relacja gier i poszukiwań Poszukiwania nie ma przeciwnika. Rozwiązanie jest heurystyczną metodą osiągnięcia celu. Heurystyki mogą znaleźć rozwiązanie optymalne. Funkcja szacująca - oszacowanie kosztu przejścia od startu do celu poprzez dany węzeł. Przykłady: planowanie dróg, opracowywanie harmonogramów. Gry są przeciwnicy. Rozwiązanie jest strategią gry, czyli odpowiedzią na każde działanie przeciwnika; Ograniczenia czasowe gry wymuszają znajdywanie rozwiązań przybliżonych. Funkcja szacująca oszacowanie dobroci sytuacji. Przykłady: szachy, warcaby, brydż, poker, trik-trak, kółko i krzyżyk, Go,...

6 6.1. Gry Klasyfikacja gier Informacja pełna Informacja niepełna Deterministyczne Szachy, Warcaby, Go, Kółko i krzyżyk Hazardowe Trik-trak (backgammon), Monopoly Brydż, Poker, Scrabble, wojna atomowa

7 6.2. Definicja gry W grze uczestniczą dwaj gracze: MAX i MIN. grę rozpoczyna MAX; ruchy wykonują naprzemian aż do zakończenia gry; zwycięzca otrzymuje nagrodę, przegrany ponosi karę. Gra jako poszukiwanie rozwiązania Stan początkowy: np. ustawienie szachów na szachownicy; Funkcja następnika: lista ruchów (stanów) spełniających reguły gry; Test końca: np. mat w szachach. Funkcja użyteczności - definiuje wartości stanów końcowych, np. zwycięzca (+1), przegrany (-1) lub remis(0). Do wyznaczenia następnego ruchu gracze używają algorytmu przeszukiwania drzewa.

8 6.2. Definicja gry Drzewo gry w kółko i krzyżyk

9 6.2. Definicja gry Drzewo gry w kółko i krzyżyk

10 6.2. Definicja gry Drzewo gry w kółko i krzyżyk

11 6.2. Definicja gry Drzewo gry w kółko i krzyżyk

12 6.2. Definicja gry Drzewo gry w kółko i krzyżyk Dla każdego stanu s drzewo gry określa możliwe ścieżki działań prowadzące do wygranej.

13 6.2. Definicja gry Strategie optymalne Znaleźć strategię warunkową dla gracza MAX przy założeniu, że MIN jest przeciwnikiem nieomylnym. Założenie - obaj gracze grają optymalnie. Znając drzewo gry można wyznaczyć strategię optymalną na podstawie wartości minimax dla każdego węzła. Należy wybrać ruch do węzła który ma największą wartość minimax. Odpowiada to uzyskaniu najkorzystniejszego wyniku przy najlepszej grze.

14 6.2. Definicja gry Algorytm MINIMAX Zasada algorytmu minimax dla dwóch graczy MAX i MIN Drzewo gry dla dwóch przeciwników.

15 6.2. Definicja gry Algorytm MINIMAX Zasada algorytmu minimax dla dwóch graczy MAX i MIN Wartości funkcji kosztu dla węzłów końcowych. Gracz MAX dąży do uzyskania największej wartości funkcji kosztu, zaś gracz MIN - najmniejszej.

16 6.2. Definicja gry Algorytm MINIMAX Zasada algorytmu minimax dla dwóch graczy MAX i MIN MIN wybiera posunięcia odpowiadające wartościom najmniejszym...

17 6.2. Definicja gry Algorytm MINIMAX Zasada algorytmu minimax dla dwóch graczy MAX i MIN Wybór minimax zaś MAX posunięcia odpowiadające wartościom największym. Algorytm minimax maksymalizuje więc najgorszy wynik gracza MAX.

18 6.2. Definicja gry Własności algorytmu MINIMAX Zupełność Tak, jeżeli drzewo jest skończone. Czas O(b m ) Pamięć O(bm) (poszukiwanie w głąb) Optymalność Tak (przeciwko grającemu optymalnie przeciwnikowi) Największą wadą algorytmu MINIMAX jest wykładniczy wzrost czasu wyznaczania rozwiązania ze wzrostem liczby ruchów. Rozwiązaniem problemu jest zastosowanie algorytmów obcinania gałęzi drzewa poszukiwań.

19 6.3. Algorytm przycinania α β 6.3. Algorytm przycinania α β Idea: odrzcanie (przycinanie) tych gałęzi drzewa poszukiwań, które są nieperspektywiczne. Zasada ogólna przycinania α - β Rozważmy węzeł v leżący gdzieś na drzewie. Jeżeli gracz MAX może dokonać lepszego wyboru w węźle rodzica lub gdziekolwiek wyżej (α) węzeł v nigdy nie biędzie osiągnięty. Gałąź z węzłem v może być przycięta.

20 6.3. Algorytm przycinania α β Przykład Idea: odrzcanie (przycinanie) tych gałęzi drzewa poszukiwań, które są nieperspektywiczne. Zakres możliwych wartości [-,+ ] [-, + ]

21 6.3. Algorytm przycinania α β Idea: odrzcanie (przycinanie) tych gałęzi drzewa poszukiwań, które są nieperspektywiczne. [-,+ ] [-,3]

22 6.3. Algorytm przycinania α β Idea: odrzcanie (przycinanie) tych gałęzi drzewa poszukiwań, które są nieperspektywiczne. [-,+ ] [-,3]

23 6.3. Algorytm przycinania α β Idea: odrzcanie (przycinanie) tych gałęzi drzewa poszukiwań, które są nieperspektywiczne. [3,+ ] [3,3]

24 6.3. Algorytm przycinania α β Idea: odrzcanie (przycinanie) tych gałęzi drzewa poszukiwań, które są nieperspektywiczne. [3,+ ] Ten węzeł jest gorszy dla MAX [3,3] [-,2]

25 6.3. Algorytm przycinania α β Własności algorytmu przycinania α - β Przycinanie nie wpływa na końcowy wynik gry. Przycinać można całe poddrzewa. Właściwa kolejność ruchów zwiększa efektywność przycinania. Czas obliczeń przy idealnym uporządkowaniu ruchów ~O(b m/2 ). Pozwala to podwoić głębokość poszukiwań.

26 6.4. Gry z niepełną informacją Algorytmy MINMAX i przycinania α - β wymagają jednak zbyt wielu oszacowań wartości na gałęziach, co zajęłoby za dużo czasu w grach rzeczywistych. Poprawa efektywności algorytmów gier (Shannon, 1950) Wprowadzenie ustalonej głębokości poszukiwań tak, aby nie przekroczyć limitu czasu ustalonego w danej grze (CUTOFF-TEST); Zastąpienie testu końcowego (TERMINAL-TEST) przez test obcięcia; Zastosowanie heurystycznej funkcji EVAL w przycinaniu α - β zamiast funkcji użyteczności końcowej UTILITY: UTILITY informacja tylko NA KOŃCU gry EVAL informacja o sytuacji także W TRAKCIE gry.

27 6.4. Gry z niepełną informacją Heurystyczna funkcja szacująca EVAL Idea: oszacowanie przewidywanego wyniku gry począwszy od aktualnego stanu. Efektywność gry zależy od jakości funkcji EVAL: funkcja EVAL powinna porządkować węzły kończące grę w taki sam sposób jak funkcja UTILITY, obliczenia nie mogą trwać zbyt długo, dla stanów niekońcowych funkcja EVAL powinna być silnie skorelowana z aktualną szansą wygranej. W szachach EVAL jest zazwyczaj liniową sumą ważoną, np.: EVAL(s) = w 1 f 1 (s) + w 2 f 2 (s) + + w n f n (s) Funkcje stanu f k (s) opisują różne elementy konfiguracji szachowych: starszeństwo figur, specyficzne układy figur, itp., np.: f k (s) = (liczba białych królowych) (liczba czarnych królowych) Współczynniki w k mogą być określone przez ekspertów mistrzów szachowych lub też mogą być wyuczone. Addytywność funkcji EVAL zakłada niezależność sytuacji szachowych.

28 6.4. Gry z niepełną informacją Efekty nieliniowe - wyjście poza horyzont Funkcja EVAL w postaci liniowej kombinacji sytuacji jest jednak użyteczna tylko dla stanów zmieniających się umiarkowanie. Poszukiwania o ustalonej głębokości nie zauważą możliwej zmiany pionka na królową - zmiana ta jest mocno nieliniowa! Użycie nieliniowej funkcji szacującej EVAL(s) = NLIN( f 1 (s), f 2 (s),, f n (s) ) pozwala lepiej szacować interakcje pomiędzy własnościami.

29 6.4. Gry z niepełną informacją Jak to działa w praktyce gry w szachy? Załóżmy, że na jeden ruch mamy 100 sekund, a możemy sprawdzać 10 4 węzłów/s. Możemy zatem sprawdzać 10 6 węzłów na jeden ruch. b = 35, b m = 10 6 m = 4 posunięcia naprzód Analiza mniej niż czterech posunięć cechuje jednak gracza bardzo słabego! 4 ruchy - nowicjusz, 8 ruchów - mistrz, komputer PC, 12 ruchów - arcymistrz Kasparow, komputer Deep Blue. Dla typowej partii szachów: b ~ 35, m ~ 100 co oznacza, że rozwiązanie ścisłe jest zupełnie nieosiągalne, ~ ~ Dla porównania liczba atomów we Wszechświecie ~10 80

30 6.5. Gry z losowością W wielu grach występują elementy losowe, odzwierciedlające nieprzewidywalność rzeczywistości. Gra Trik-Trak (Backgammon) zawiera losowość w postaci rzutów kostką Wynik rzutów kostką: 5, 6. Możliwe ruchy pionków: (5-10,5-11), (5-11,19-24), (5-10,10-16), (5-11,11-16)

31 6.5. Gry z losowością Do analizy gier losowych nie wystarcza drzewo MAX MIN. Należy je uzupełnić węzłami losowymi (chance nodes). C W węzłach losowych wyboru gałęzi dokonuje się na podstawie prawdopodobieństw poszczególnych możliwości. Algorytm EXPECTIMINMAX wykorzystuje wartość oczekiwaną obliczaną dla wszystkich możliwych zdarzeń. Problem gigantyczny koszt O(b m n m ).

32 6.5. Gry z losowością Karty gry losowe z niepełną informacją Gry w karty są interesujące, gdyż występują w nich zarówno losowość jak i niepełność informacji: początkowy rozkład kart jest losowy (losowość występuje tylko na początku gry), gracze nie znają rozkładu kart przeciwników - można wykorzystywać tylko tę informację, która jest dostępna w danej chwili. Do analizy gier w karty można użyć algorytmu MINIMAX. Idea: obliczyć wartości MINIMAX dla każdego ruchu w każdym rozdaniu i wybrać ruchy z największymi wartościami oczekiwanymi. Tak działa mistrzowski program GIB do gry w brydża: generuje sto rozdań zgodnych z licytacją, wybiera te ruchy, które wygrają więcej lew.

33 6.6. Osiągnięcia programów AI dla gier Szachy W roku 1997 komputer Deep Blue pokonał arcymistrza świata Garego Kasparowa w sześciu partiach. DeepBlue analizował sześć milionów pozycji w ciągu sekundy używając bardzo wyszukanego szacowania oraz pewnych metod tajnych, co umożliwiło przedłużanie ścieżek poszukiwań nawet do 40 ruchów naprzód.

34 6.6. Osiągnięcia programów AI dla gier Warcaby W roku 1994 program Chinook zakończył czterdziestoletnie panowanie geniusza warcabów, wielokrotnego mistrza świata, dr Mariona Tinsleya. Chinook używał w tym celu bazy danych zawierającej wstępnie obliczone końcówki gry opisujące 444,000,000,000 pozycji dla ośmiu lub mniejszej liczby pionków.

35 6.6. Osiągnięcia programów AI dla gier Othello (Reversi) Mistrzowie odrzucają grę z komputerami, gdyż są one zbyt dobre. Program Logistello wygrał mistrzostwa świata w roku 1997 wynikiem 6:0. Go Mistrzowie odrzucają grę z komputerami, gdyż są one za słabe. W tej grze b > 361 więc większość programów używa baz wiedzy które sugerują możliwe ruchy. Najlepsze programy: Goemate i Go4++, osiągają zaledwie poziom słabych amatorów. Brydż Program Bridge Baron wygrał po raz pierwszy mistrzostwa świata w roku 1997, a ogółem - pięciokrotnie. Program GIB wygrał mistrzostwa świata w roku Trik-Trak (Backgammon) Program TD-GAMMON uważany jest za jednego z trzech najlepszych graczy na świecie.

36 Podsumowanie Gry są przyjemne (ale czasami niebezpieczne...) W grach dwóch graczy o sumie zerowej z pełną informacją algorytm MINIMAX pozwala wyznaczyć ruchy optymalne. Niemożność analizy całego drzewa zmusza do użycia funkcji szacujących użyteczności stanów w grze. Gry ilustrują wiele ważnych kwestii dotyczących AI: gra perfekcyjna jest nieosiągalna, konieczna jest aproksymacja; niepewność wymaga użycia metod statystycznych. Gry dorównują mistrzom w wielu przypadkach: szachach, warcabach, Othello, Trik-Traku i innych. Uważa się, że gry są tym dla sztucznej inteligencji, czym wyścigi Grand Prix Formuły I są dla rozwoju automobilizmu.

37 Wątpliwość Wprawdzie programy AI są w stanie pokonać nawet arcymistrzów, ale muszą one korzystać z heurystyk wymyślonych przez człowieka. Czy zatem można uważać, że są to rzeczywiście byty cechujące się sztuczną inteligencją?

38 Poziomy sztucznej inteligencji Sztuczna świadomość? Uczenie się Planowanie i podejmowanie decyzji Uwzględnianie niepewności Wnioskowanie logiczne Rozwiązywanie problemów