Alfa-beta Ulepszenie minimax Liczba wierzchołk ow w drzewie gry. maksymalnie wd. minimalnie wbd/2c + wdd/2e Algorytmy przeszukiwania drzewa gry 5

Wielkość: px

Rozpocząć pokaz od strony:

Download "Alfa-beta Ulepszenie minimax Liczba wierzchołk ow w drzewie gry. maksymalnie wd. minimalnie wbd/2c + wdd/2e Algorytmy przeszukiwania drzewa gry 5"

Zofia Dobrowolska
7 lat temu
Przeglądów:

1 Zastosowanie metody Samuela doboru współczynników funkcji oceniajacej w programie grajacym w anty-warcaby Daniel Osman promotor: dr hab. inż. Jacek Mańdziuk 1

2 Spis treści Algorytmy przeszukiwania drzewa gry opis algorytmów wyniki Uczenie si e gry w anty-warcaby funkcja oceny metoda Samuela algorytm T D(λ) wyniki 2

3 Anty-warcaby Zasady jak w warcabach Celem jest pozbycie si e własnych pionków 3

4 Algorytmy przeszukiwania drzewa gry Minimax Alfa-beta Tablica transpozycji Heurystyka historyczna Iteracyjne pogłebianie MTD(f), MTD-bi 4

5 Alfa-beta Ulepszenie minimax Liczba wierzchołków w drzewie gry maksymalnie minimalnie w d w d/2 + w d/2 Algorytmy przeszukiwania drzewa gry 5

6 Tablica transpozycji Służy do zapami etywania: oceny stanu gry dokładności tej oceny najlepszego ruchu dla tego stanu Implementacja w postaci tablicy haszujacej Algorytmy przeszukiwania drzewa gry 6

7 Heurystyka historyczna Oceniać ruchy niezależnie od stanu Wykorzystywać oceny do sortowania kolejności odwiedzania nast epników Możliwych ruchów jest nie wi ecej niż 32 x 32 = 24 Algorytmy przeszukiwania drzewa gry 7

8 Iteracyjne pogł ebianie Przeszukiwanie drzewa gry kolejno na gł ebokość d 0, (d 0 + k), (d 0 + 2k), (d 0 + 3k),... Można zatrzymać obliczenia w dowolnym momencie Lepsze posortowanie dzi eki tablicy transpozycji Algorytmy przeszukiwania drzewa gry 8

9 MTD(f) Funkcja MT : (Memory enhanced Test) alfa-beta z zerowym oknem szybkie ustalenie ograniczenia górnego albo dolnego Funkcja MT D(f) wielokrotne wywoływanie funkcji M T w celu ustalenia szukanej wartości parametr f: przybliżenie poczatkowe Najszybszy znany dzisiaj algorytm przeszukiwania drzewa gry Algorytmy przeszukiwania drzewa gry 9

10 MTD-bi Bisekcja Zalety prosty, szybki i tak samo dokładny jak minimax niepotrzebne przybliżenie poczatkowe można stosować z ciagł a funkcja oceny Wady MTD-step Algorytmy przeszukiwania drzewa gry

11 Wyniki czas [s] glebokosc drzewa MM AB TT TT+MO Średni czas oczekiwania na ruch w zależności od gł ebokości drzewa Algorytmy przeszukiwania drzewa gry 11

12 Wyniki czas [s] glebokosc drzewa 0 AB HH TT+MO TT+MO+HH Średni czas oczekiwania na ruch w zależności od gł ebokości drzewa Algorytmy przeszukiwania drzewa gry 12

13 Wyniki MTD F MTD C ID TT+MO+HH czas [s] glebokosc drzewa 0 Średni czas oczekiwania na ruch w zależności od gł ebokości drzewa Algorytmy przeszukiwania drzewa gry 13

14 Wyniki czas [s] TT+MO+HH MTD-bi glebokosc drzewa Średni czas oczekiwania na ruch w zależności od gł ebokości drzewa Algorytmy przeszukiwania drzewa gry 14

15 Uczenie Arthur L. Samuel 15

16 Funkcja oceniajaca Ocena stanu s: S(s, w) = w 1 x 1 (s) + w 2 x 2 (s) w n x n (s) x i - heurystyki Samuela w i - wagi funkcji oceniajacej Uczenie polega na doborze wag w i Uczenie 16

17 Metoda Samuela Bład funkcji oceniajacej: P (t+1) P (t) Uczenie 17

18 Temporal difference learning Algorytm T D(λ) ) t w (t) = α (P (t+1) P (t) i=1 dla λ = 1: metoda Widrowa-Hoffa dla λ = 0: metoda Samuela λ t i w P (i) Uczenie 18

19 Opis przeprowadzonych doświadczeń Gracz uczacy sie Przeciwnicy Gł ebokość przeszukiwania drzewa gry: d = 4 19

20 Problem z remisami Opis przeprowadzonych doświadczeń

21 Problem z remisami Zastosowane rozwiazania: pełna implementacja remisów gra z wieloma przeciwnikami Wzrost skuteczności uczenia Opis przeprowadzonych doświadczeń 21

22 Grupa treningowa - grupa testowa Trening (zdobywanie doświadczenia) jak gracz uczacy sie radzi sobie z bezpośrednimi przeciwnikami Testowanie (możliwość generalizacji) jak gracz uczacy sie radzi sobie z nowymi przeciwnikami Opis przeprowadzonych doświadczeń 22

23 Paramety α i λ Faza I α = 1.0e 4 λ = 0.95 Faza II α = 1.0e 5 λ = 0.7 Wynik zgodny z rezultatami innych badaczy Opis przeprowadzonych doświadczeń 23

24 TD(λ) liczba wygranych wygrane srednia remisy liczba gier liczba punktow wygrane 4 srednia liczba gier Liczba wygranych gracza uczacego sie w grupie treningowej ( przeciwników) oraz liczba zdobytych punktów w grupie testowej (16 przeciwników). Opis przeprowadzonych doświadczeń 24

25 Metody treningu Skład grupy treningowej liczba przeciwników jakość przeciwników Czy zmieniać przeciwników? Jak długo trenować? Opis przeprowadzonych doświadczeń 25

26 Metody treningu liczba wygranych wygrane srednia remisy liczba wygranych wygrane srednia remisy liczba gier x 00 liczba gier Zastosowanie mało efektywnej metody treningu Opis przeprowadzonych doświadczeń 26

27 Ulepszenia Uczenie na porażkach Algorytm TDLeaf Uczenie na ruchach przewidzianych przez gracza uczacego sie Opis przeprowadzonych doświadczeń 27

28 Ulepszenia liczba wygranych wygrane srednia remisy liczba gier x liczba punktow punkty 4 srednia liczba gier Najlepszy uzyskany wynik: trening na grupie zróżnicowanych jakościowo przeciwnikach,,000 gier, uczenie na porażkach. Opis przeprowadzonych doświadczeń 28

29 Zwi ekszenie gł ebokości przeszukiwania drzewa gry liczba wygranych wygrane srednia liczba gier liczba punktow punkty 4 srednia liczba gier Gł ebokość przeszukiwania drzewa gry d = 6 Opis przeprowadzonych doświadczeń 29

30 Zanotowany post ep w nauczaniu 0 90 wygrane srednia wygrane srednia liczba wygranych liczba wygranych liczba gier x 00 liczba gier x 00 Gracz losowy - gracz uczacy sie (trening) Opis przeprowadzonych doświadczeń 30

31 Porównanie z innymi programami zestaw współczynników wygrane przegrane remisy wynik dla TD-GAC program 1 - poziom novice TD-GAC (niski poziom) : TD-GAC (średni poziom) : TD-GAC (wysoki poziom) program 2 - poziom weak : 51 2 TD-GAC (niski poziom) : 1 2 TD-GAC (średni poziom) : 0 TD-GAC (wysoki poziom) : 1 2 program 2 - poziom normal TD-GAC (niski poziom) : 1 TD-GAC (średni poziom) : 0 TD-GAC (wysoki poziom) : 1 2 program 2 - poziom strong TD-GAC (niski poziom) : 1 TD-GAC (średni poziom) : 1 TD-GAC (wysoki poziom) : 1 2 Opis przeprowadzonych doświadczeń 31

32 Gra z ludźmi zestaw współczynników wygrane przegrane remisy wynik dla TD-GAC gracz 1 TD-GAC (niski poziom) : 41 2 TD-GAC (średni poziom) : 51 2 TD-GAC (wysoki poziom) : 1 2 gracz 2 TD-GAC (niski poziom) : 41 2 TD-GAC (średni poziom) : 4 TD-GAC (wysoki poziom) : 2 gracz 3 TD-GAC (niski poziom) : 6 TD-GAC (średni poziom) : 5 TD-GAC (wysoki poziom) : 6 gracz 4 TD-GAC (niski poziom) : 7 TD-GAC (średni poziom) TD-GAC (wysoki poziom) : : 51 2 Opis przeprowadzonych doświadczeń 32

33 Arthur L. Samuel Żył w latach Jeden z pionierów sztucznej inteligencji Napisał program grajacy w warcaby w 1959 Rote learning Generalization learning (Temporal difference learning) 33

34 Podsumowanie T D(λ) jako obiecujaca metoda nauczania Automatyzacja doboru wag bez udziału człowieka Wiele miejsca na popraw e wieksza gł ebokość przeszukiwania drzewa gry różne funkcje oceny w zależności od sytuacji na planszy 34

Podobne dokumenty

METODY SZTUCZNEJ INTELIGENCJI 2 Opis projektu

Kamil Figura Krzysztof Kaliński Bartek Kutera METODY SZTUCZNEJ INTELIGENCJI 2 Opis projektu Porównanie metod uczenia z rodziny TD z algorytmem Layered Learning na przykładzie gry w warcaby i gry w anty-warcaby