1/ 39 Algorytmy przeszukiwania grafów i drzew dla gier i łamigłówek Przemysław Klęsk pklesk@wi.ps.pl
Zagadnienia i algorytmy 2/ 39 1 Zachłanne (wyczerpujące) przeszukiwanie grafu (algorytm Breadth First Search) 2 Sudoku, minimalne sudoku, problem n-hetmanów (algorytm Best-First Search) 3 Puzzle n 2 1, labirynty, poruszanie się postaci w grach komputerowych (algorytm A ) 4 Jak A ma się do Best First Search i algorytmu Dijkstry? 5 Szachy, warcaby, GO,...(algorytm MIN-MAX)
Czy istnieje ścieżka do celu? 3/ 39 v 1 v 6 v 7 v 2 v 4 v5 v 8 v 3
Własności algorytmu Breadth First Search 4/ 39 Wykonuje zachłanne (w skrajnym przypadku wyczerpujące) przeszukiwanie całego grafu wszeż, ażdo natrafienia na węzeł docelowy. Algorytm ten można traktować, jako ogólny schemat, którego szczególne (usprawnione) przypadki to algorytmy: Best First Search, A, algorytm Dijkstry, i inne. Breadth First Search operuje na dwóch zbiorach: Open (zawiera węzły, które mają być jeszcze rozpatrzone) i Closed (zawiera węzły, które już rozpatrzono). Każdy z węzłów ma możliwość zapamiętania jednego swojego poprzednika, tak aby po znalezieniu rozwiązania można było prześledzić ścieżkę.
Breadth First Search 5/ 39 Algorytm 1 Ustaw w węźle początkowym pustego poprzednika i dodaj ten węzeł do zbioru Open. 2 Dopóki zbiór Open pozostaje niepusty powtarzaj: 2.1 Pobierz (i usuń) jeden węzeł ze zbioru Open. Nazwijmy ten węzeł v. 2.2 Jeżeli v jest węzłem docelowym (spełnia warunek stopu), to przerwij cały algorytm i zwróć v jako wynik. 2.3 Włóż do zbioru Open tych wszystkich potomków węzła v, którzy nie występują w zbiorze Closed. Zapamiętaj w nich v jako ich poprzednika. 2.4 Włóż v do zbioru Closed.
Breadth First Search 6/ 39 Śledzenie ścieżki 1 Przypiszmy do roboczego węzła o nazwie v, węzeł będący rozwiązaniem. 2 Inicjalizujemy ciąg reprezentujący ścieżkę zawartością v: Path =(v). 3 Dopóki v ma niepustego poprzednika, powtarzaj: 3.1 Przypisz w miejsce v jego poprzednika (v v.parent). 3.2 Dopisz z przodu ścieżki Path zawartość v.
Przykładowe działanie (dla grafu ze str. 3) 7/ 39 1 Open = {v 1 },Closed= {}. 2 Open = {v 1 } więc wykonujemy ciało pętli: 2.1 v = v 1,Open= {}. 2.2 v = v 1 v 8 (warunek stopu niespełniony). 2.3 Open = {v 2, v 6 }. 2.3 Closed = {v 1 }. 2 Open = {v 2, v 6 } więc wykonujemy ciało pętli: 2.1 v = v 2,Open= {v 6 }. 2.2 v = v 2 v 8 (warunek stopu niespełniony). 2.3 Open = {v 6, v 3 }. 2.3 Closed = {v 1, v 2 }. 2 Open = {v 6, v 3 } więc wykonujemy ciało pętli: 2.1 v = v 6,Open= {v 3 }. 2.2 v = v 6 v 8 (warunek stopu niespełniony). 2.3 Open = {v 3, v 7 } (uwaga: v 1 jako potomek v 6 nie jest dodawany do Open, bo jest już w Closed. 2.4 Closed = {v 1, v 2, v 6 }. 2...
Uwagi o Breadth First Search 8/ 39 Zbiory Open i Closed w przypadku Breadth First Search zazwyczaj implementuje się jako zwykłe kolejki FIFO. Dopiero w specjalizowanych wersjach algorytmu tj. w algorytmach BestFirstSearch i A, zbiory te implementuje się odpowiednio jako: kolejkę priorytetową i hashmapę. Jeżeli przeszukiwanie dotyczy drzewa (grafu bez cykli), to zbiór Closed można pominąć. Breadth First Search nie jest w żaden sposób ukierunkowany na szybsze dotarcie do rozwiązania (przeszukuje wszeż): nie minimalizuje długości ścieżki, nie wykorzystuje żadnej heurystyki.
Własności algorytmu Best First Search (Judea Pearl) 9/ 39 Każdemu przeszukiwanemu stanowi (węzłowi) v nadawana jest heurystyczna ocena liczbowa f (v), szacująca na ile daleko dany stan jest od docelowego. Algorytm przeszukuje w pierwszej kolejności stany o najniższej wartości funkcji heurystycznej. Zbiór Open implementowany jest przez kolejkę priorytetową (ang. PriorityQueue) porządkującą stany wg heurystyki. Wstawienie nowego elementu do kolejki z zachowaniem porządku ma złożoność O(log n). Wyciągnięcie elementu z kolejki ma złożoność O(1). Zbiór Closed implementowany jest przez hashmapę. Sprawdzenie, czy pewien stan już był rozpatrzony i jest w zbiorze Closed, ma złożoność O(1). Każdy stan przechowuje dotychczas najkorzystniejszego dla niego poprzednika.
Sudoku Mając dany pewien stan początkowy planszy 9 9, podzielonej dodatkowo na 9 podkwadratów o wymiarach 3 3 każdy, należy napełnić planszę tak, aby w każdym wierszu, w każdej kolumnie i w każdym podkwadracie były wykorzystane wszystkie liczby ze zbioru {1, 2,...,9}. 1*5 *37 **8 *7* *** *** **8 1** *** **3 *7* **1 74* *1* *63 2** *4* 9** *** **5 1** *** *** *8* 4** 62* 5*7 195 237 648 674 859 312 328 164 759 853 976 421 749 512 863 216 348 975 962 785 134 537 491 286 481 623 597 (Best First Search w Javie: czas = 1607 ms (procesor 2 GHz), odwiedzonych stanów = 3168.) 10/ 39
Ogólne sudoku n 2 11/ 39 Mając dany pewien stan początkowy planszy n 2 n 2, podzielonej dodatkowo na n 2 podkwadratów o wymiarach n n każdy, należy napełnić planszę tak, aby w każdym wierszu, w każdej kolumnie i w każdym podkwadracie były wykorzystane wszystkie liczby ze zbioru {1, 2,...,n 2 }.
Problem n-hetmanów 12/ 39 Na szachownicy n n należy ustawić n hetmanów, w taki sposób, aby żaden przez żadnego nie był szachowany. Dla n = 2, 3 rozwiązanie nie istnieje. Przykład rozwiązania dla n = 4: Q Q Q Q
Best First Search Algorytm 1 Ustaw w stanie początkowym pustego poprzednika i dodaj ten stan do zbioru Open. 2 Dopóki zbiór Open pozostaje niepusty powtarzaj: 2.1 Pobierz (i usuń) jeden stan v ze zbioru Open (jest to stan najlepszy w sensie zadanej heurystyki). 2.2 Jeżeli v jest stanem docelowym (spełnia warunek stopu), to przerwij cały algorytm i zwróć v jako wynik. 2.3 Wygeneruj wszystkie stany potomne dla v i dla każdego z nich wykonaj: 2.3.1 Jeżeli stan występuje w Closed, to nie badaj go dalej. 2.3.2 Policz wartość heurystyki dla tego stanu. 2.3.2 Jeżeli stan nie występuje w Open, to dodaj go ustawiając v jako jego poprzednik. 13/ 39 2.3.3 Jeżeli stan występuje w Open, to podmień w nim wartość heurystyki i poprzednika, o ile nowo obliczona wartość jest korzystniejsza. 2.4 Włóż v do zbioru Closed.
Przykładowe proste heurystyki Dla sudoku Rozpoczynamy od zadanej planszy (stan początkowy) i dostawiamy w puste pola dopuszczalne liczby (maks. 9 potomków na każdym poziomie drzewa). {, jeżeli stan jest niepoprawny; f (v) = liczba pustych pól. Dla n-hetmanów Rozpoczynamy od pustej szachownicy i dostawiamy w kolejnych wierszach hetmany. 14/ 39 f (v) = {, jeżeli hetmany szachują się; liczba pustych wierszy.
Uwagi o Best First Search 15/ 39 Best First Search przeszukuje wgłąb (a nie wszeż) coraz bardziej oddalając się od stanu początkowego. Przy natknięciu się na stan niepoprawny (w szczególności, gdy wszyscy potomkowie są niepoprawni), algorytm wycofuje się do stanów o gorszej wartości heurystyki. Liczba takich wycofań zależy od: jakości podanej heurystyki i od sposobu budowania stanów potomnych (pewną wiedzę o problemie można zawrzeć już tu, aby nie dopuszczać do stanów bezpośrednio niepoprawnych).
Minimalne sudoku 16/ 39 Problem (w ogólności dla sudoku n 2 ) Znaleźć wszystkie początkowe układy sudoku, dla których istnieje dokładnie jedno rozwiązanie i które mają minimalną liczbę ustalonych pól w stanie początkowym. Dowód, że takie stany istnieją Poczynając od dowolnej rozwiązanej planszy (całkowicie wypełnionej) odbieramy kolejno po jednej liczbie i sprawdzamy, czy nadal można będzie rozwiązać sudoku jednoznacznie. Przerywamy, gdy będzie istniało więcej niż jedno rozwiązanie. Zważywszy na fakt, że całkowicie pusta plansza nie jest jednoznacznie rozwiązywalna, widać że takie postępowanie będzie miało punkt stopu przy pewnym częściowym zapełnieniu planszy.
Poszukiwanie minimalnych sudoku 17/ 39 Zarys algorytmu zachłannego Rozpoczynamy od pełnej (rozwiązanej) planszy. Potomkami danego stanu są stany powstałe przez odebranie jednej liczby z rodzica. Zatem możemy utworzyć n 2 potomków tyle, ile jest pól. Dla każdego potomka sprawdzamy, wykonując algorytm Best First Search dla zwykłego problemu sudoku, czy istnieją co najmniej 2 rozwiązania. Jeżeli pewien stan ma jedno rozwiązanie, a wszystkie jego potomki mają więcej niż jedno, to należy go zapamiętać jako kandydata na minimalne sudoku. Algorytm musimy jednak wykonać, aż do przejrzenia pełnego grafu. Nie można zatrzymać się na pierwszym rozwiązaniu, jako że w innych rejonach grafu, mogą istnieć rozwiązania o mniejszej liczbie elementów na planszy początkowej.
Poszukiwanie minimalnych sudoku 18/ 39 Dla n = 2 Rozpoczynając od poniższej planszy znaleziono 128 minimalnych sudoku (mających 4 pozycje ustalone). 12 34 34 12 23 41 41 23 ** ** ** 12 ** ** 4* *3, ** ** ** 12 ** ** 41 **, ** ** ** 12 ** *1 4* **,... Oczywiście, aby poznać prawdziwą liczbę wszystkich rozwiązań bazowych należałoby: (1) utożsamić wszystkie układy równoważne sobie ze względu na jedną z osi symetrii planszy, (2) utożsamić wszystkie stany równoważne sobie ze względu na permutację symboli, (3) uruchomić przeszukiwanie dla wszystkich nietożsamych układów początkowych.
Poszukiwanie minimalnych sudoku 19/ 39 Dla n = 3 Nie udało się wykonać programu do końca przy 2GB pamięci RAM, a swap owanie bardzo istotnie spowalnia pracę programu. Sugestia: można próbować zadanie obliczyć w sposób rozproszony (na wielu maszynach). Udało się na pewno wykryć, że minimalne sudoku 3 2 są o liczności początkowej 18.
Własności algorytmu A (Hart, Nilsson, Raphael, 1968) Funkcja decydująca o porządku wyciągania stanów ze zbioru Open jest sumą dwóch funkcji: f (v) =g(v)+h(v), gdzie g(v) wyraża faktyczny koszt (odległość) przebyty od stanu początkowego do v, natomiasth(v) jest heurystyką szacującą koszt (odległość) od stanu v do stanu docelowego. Funkcja h musi być tzw. dopuszczalną heurystyką, tzn. nie wolno jej przeszacowywać kosztu (odległości) do stanu docelowego (o tym dokładniej jeszcze później...). W zastosowaniach typu routing (gdzie mamy fizyczny/geograficzny graf) częstym i poprawnym wyborem dla h, jest zwykła odległość w linii prostej od v do stanu docelowego (na pewno nie przeszacowujemy). 20/ 39
Własności algorytmu A (Hart, Nilsson, Raphael, 1968) 21/ 39 W odróżnieniu od Best First Search, A bierze pod uwagę także g(v), a nie tylko heurystykę zorientowaną na cel. A zatem w budowanej ścieżce z jednej strony preferowane są stany bliskie początkowemu, a z drugiej jednocześnie bliskie końcowemu (w sensie minimalizacji tej sumy). W algorytmie, każdy stan v musi mieć możliwość zapamiętania swoich trzech wartości: g(v), h(v), f (v). Przechodząc od pewnego stanu v do pewnego stanu w, wartość funkcji g wyznaczamy jako: g(w) =g(v)+d(v, w), gdzie d(v, w) oznacza koszt przejścia z v do w.
A Algorytm 1 Dla stanu początkowego wyznacz wartość h, a następnie ustaw: g = 0, f = 0 + h. Ustaw także pustego poprzednika i wstaw stan początkowy do zbioru Open. 2 Dopóki zbiór Open pozostaje niepusty powtarzaj: 2.1 Pobierz (i usuń) jeden stan v ze zbioru Open (jest to stan najlepszy w sensie wartości f ). 2.2 Jeżeli v jest stanem docelowym (spełnia warunek stopu), to przerwij cały algorytm i zwróć v jako wynik. 2.3 Wygeneruj wszystkie stany w potomne dla v idla każdego z nich wykonaj: 2.3.1 Jeżeli stan w występuje w Closed, to nie badaj go dalej. 2.3.2 Policz: g(w) =g(v) +d(v, w) i f (w) =g(w) +h(w). 2.3.2 Jeżeli stan nie występuje w Open, to dodaj go ustawiając v jako jego poprzednik. 22/ 39 2.3.3 Jeżeli stan występuje w Open, to podmień w nim wartości g i f (oraz poprzednika), o ile są korzystniejsze. 2.4 Włóż v do zbioru Closed.
Zastosowania A 23/ 39 Ogólnie: poszukiwanie najkrótszej ścieżki w grafie... routing problems, poruszanie się postaci (boot ów) w grach komputerowych, przechodzenie labiryntów, układanki, łamigłówki, gdzie należy dodatkowo zminimalizować liczbę ruchów (np. puzzle n 2 1),...
Labirynty wyniki A Rozmiary siatki: 30 30, odwiedzonych stanów do momentu rozwiązania: 258. 24/ 39
Labirynty wyniki A Rozmiary siatki: 30 30, odwiedzonych stanów do momentu rozwiązania: 331. 25/ 39
Labirynty wyniki A Rozmiary siatki: 50 50, odwiedzonych stanów do momentu rozwiązania: 1441. 26/ 39
Dobra i zła (przeszacowująca) heurystyka 27/ 39 h(v) = (v x goal x ) 2 +(v y goal y ) 2 lub h(v) = v x goal x + (v y goal y ) h(v) =4 (v x goal x ) 2 +(v y goal y ) 2
Puzzle n 2 1 28/ 39 Dla n = 3 Wychodząc od stanu początkowego i przesuwając pola z liczbami w miejsce puste 9 (w ogólności niech pole puste równe jest n 2 ), należy w jak najmniejszej liczbie ruchów dojść do stanu docelowego: 1 2 3 4 5 6 7 8 9
Puzzle n 2 1 29/ 39 Przykładowa heurystyka Dla danego węzła v niech v ix oraz v iy oznaczają odpowiednio współrzędne x i y, na których położona jest liczba i w układance. Niech lewe górne pole ma współrzędne (0, 0) aprawe dolne (n 1, n 1). Przykładowa funkcja heurystyczna może mieć wówczas postać: h(v) = 1 2 i {1,2,...,n 2 } ( ) v ix ((i 1) mod n) + v iy (i 1)/n.
Przykładowa ścieżka A dla puzzle 2 2 1 30/ 39 Odwiedzonych stanów: 15.
Przykładowa ścieżka A dla puzzle 3 2 1 31/ 39 Odwiedzonych stanów: 19.
Własności A i monotoniczność heurystyki 32/ 39 Heurystyka jest na pewno dopuszczalna, jeżeli jest monotoniczna, tzn.: v, w h(v) d(v, w)+h(w). (1) Innymi słowy, dodanie do jakiejkolwiek ścieżki dodatkowego węzła powoduje, że nowa ścieżka jest niekrótsza od poprzedniej. A równość może mieć miejsce tylko, gdy dodamy węzeł poruszając się po prostej do celu. Jeżeli heurystyka h spełnia w/w warunek to algorytm A gwarantuje, że: (1) znalezione rozwiązanie jest optymalne (ścieżka najkrótsza), (2) sam algorytm jest optymalny w ramach h, tj. żaden inny algorytm używający h jako heurystyki nie odwiedzi mniejszej liczby stanów niż A. Niech h oznacza doskonałą heurystykę tj. taką, która ani nie przeszacowuje, ani nie niedoszacowuje. Algorytm pracujący na podstawie h jest także doskonały odwiedza możliwie najmniej węzłów. Stąd też oryginalnie rozróżniano dwie nazwy tego algorytmu A i A.
Jak A ma się do algorytmu Dijkstry i Best First Search? 33/ 39 Przy ustawieniu v h(v) =0 algorytm A staje się klasycznym algorytmem Dijkstry do poszukiwania najkrótszej ścieżki w grafie z punktu do punktu. Przy ustawieniu v g(v) =0 algorytm A staje się algorytmem Best First Search. Nieistotna jest długość ścieżki, liczy się tylko osiągnięcie/odkrycie rozwiązania/rozwiązań (np. sudoku, problem n hetmanów).
Algorytm MIN-MAX (lub MINIMAX) Stosuje się do gier dwuosobowych jak np. szachy, warcaby, GO, itp.. Algorytm w wersji niezmodyfikowanej składa się z dwóch części: (1) budującej drzewo gry do zadanej głębokości (np. poprzez Breadth First Search), (2) przechodzącej drzewo od dołu w górę i nadającej oceny poszczególnym stanom gry, tak że w efekcie ocenione zostają możliwe ruchy pochodzące od stanu podstawowego. Przechodzenie drzewa w górę rozpoczyna się od wystawienia ocen stanom końcowym (liściom). Zwykle jest to heurystyka np. różnica pomiędzy liczbą bierek białych i czarnych. Następnie drzewo przechodzone jest poziomami w górę. Każdy poziom jest skojarzony z ruchami jednego z graczy. Jeden z graczy nazywany jest minimalizującym, drugi maksymalizującym. 34/ 39
Algorytm MIN-MAX (lub MINIMAX) 35/ 39 Zwycięstwo gracza maksymalizującego reprezentowane jest przez (w szachach: białe matują czarne), a minimalizującego (czarne matują białe). Pozycje inne niż zwycięskie musimy oceniać heurystycznie. Np. jedna z najprostszych heurystyk dla szachów mierzy różnicę pomiędzy materiałem białych a czarnych, licząc piony za 1 pkt., skoczki za 3 pkt., gońce za 3.5 pkt, wieże za 5 pkt., hetmana za 9 pkt. Tylko poziom najniższy (stany liście) jest oceniany heurystycznie. Oceny dla wyższych poziomów wynikają z minimaksowej procedury przechodzenia drzewa w górę. Uwaga: w literaturze ruch jednego z graczy nazywany jest często półruchem (ang. ply), a przesuwanie się o jeden poziom w drzewie liczone jest jako ± 1. Dopiero 2 ruchy 2 obu graczy traktowane są jako całe posunięcie.
Ilustracja fragmentu drzewa gry dla szachów 36/ 39
Algorytm MIN-MAX (lub MINIMAX) 37/ 39 Rysunek: Źródło: http://en.wikipedia.org/wiki/image:minimax.svg
Algorytm MIN-MAX (lub MINIMAX) 38/ 39 Podstawowym problemem algorytmu w wersji niezmodyfikowanej jest duża złożoność pamięciowa. Niech dla uproszczenia n oznacza średnią lub stałą liczbę ruchów dostępną na każdym poziomie dla każdego z graczy (dla szachów n 40). Wówczas przejrzenie m poziomów głębokości wymaga O(n } n {{ n} )=O(n m ) pamięci. m Najbardziej znaną modyfikacją algorytmu, która redukuje w pewnym stopniu złożoność pamięciową, jest przycinanie α-β (ang. α-β cutoffs). Nie ma wydzielonych osobnych dwóch części (budowanie drzewa, minmax), drzewo jest po części budowane i oceniane równocześnie. Dla każdego stanu przechowywana jest para (α, β) oznaczająca odpowiednio gwarantowane dotychczas: minimalny zysk gracza maksymalizującego i maksymalną stratę gracza minimalizującego. Poddrzewa, które na pewno nie mogą wpłynąć na (α, β), sąpomijane (nie byłyby one wynikiem optymalnego postępowania obu graczy). W efekcie algorytmowi można zadać większą głębokość przeszukiwania.
Algorytm MIN-MAX (lub MINIMAX) 39/ 39 Efekt horyzontu Z uwagi na ograniczoną głębokość przeszukiwania, algorytm może cierpieć na tzw. efekt horyzontu następny ruch poza najgłębszym przejrzanym poziomem może okazać się katastrofalny dla jednego z graczy, mimo że poziom wyżej oceny są dla niego korzystne (np. w szachach nie rozpatrzenie aż do tzw. pozycji martwej kombinacji zbić).