MTODY HURYTYCZN wykład M3, sem.. I prowadzący cy: dr inż.. Witold Beluch (p. 49) wykład: h laboratorium: h ZAJĘCIA KOŃCZ CZĄ IĘ GZAMINM OCNA KOŃCOWA: O=0.6+0.3L - ocena z egzaminu L - ocena z laboratorium obydwie oceny muszą być pozytywne! 2 LITRATURA:. Arabas J., Wykłady z algorytmów w ewolucyjnych,, WNT, Warszawa, 2003 2. Michalewicz Z., Algorytmy genetyczne + struktury danych = programy ewolucyjne,, WNT, Warszawa, 996 (992) 3. Rutkowski L., Metody i techniki sztucznej inteligencji,, PWN, Warszawa, 2006 4. Tadeusiewicz R., lementarne wprowadzenie do techniki sieci neuronowych z przykładowymi programami, Akad.. Oficyna Wyd. PLJ, Warszawa, 998. Bolc L., Cytowski J., Metody przeszukiwania heurystycznego.. Tom,2. PWN, Warszawa, 989, 99. Włodzisław Duch: http://www.phys.uni.torun.pl www.phys.uni.torun.pl/~duch/ /~duch/wyklady/ 3 4 http://wazniak.mimuw.edu.pl wazniak.mimuw.edu.pl/index.php?title=ztuczna_inteligencjaindex.php?title=ztuczna_inteligencja - wykład dotyczący cy sztucznej inteligencji HURYTYCZN CO TO ZNACZY?! Z greckiego: heuriskein znaleźć źć,, odkryć. Heuristic methods don't work... if they did, they would be called algorithms. -- Unknown Praktyczna, oparta na doświadczeniu, inteligentna reguła a postępowania, powania, która MOŻ drastycznie uprości cić lub skróci cić proces rozwiązywania zywania problemu, gdy metoda rozwiązania: zania: nie jest znana; jest zawiła a i czasochłonna. onna. 6
CO BĘDZI? B W algorytmice: Metody heurystyczne należą do podstawowych narzędzi sztucznej inteligencji,, często używane u sąs też w różnych r działach ach badań operacyjnych. 7 trategie ślepe Metoda najszybszego wzrostu Najpierw najlepszy (zachłanne, anne, A* i IDA*) ymulowane wyżarzanie Algorytmy genetyczne i algorytmy ewolucyjne ztuczne sieci neuronowe Logika rozmyta i sterowniki rozmyte Algorytmy mrówkowe Algorytmy immunologiczne?... 8 Jedna z najważniejszych niejszych metod informatyki. Częstokro stokroć utożsamiane ze sztuczną inteligencją (AI). 9 Wiele zadań praktycznych można traktować jako konkretne przypadki ogólnego zadania przeszukiwania. Rozwiązania zania mają spełnia niać pewne ustalone kryteria i ograniczenia, Inteligentne techniki obliczeniowe opracowywane do przeszukiwania mają na celu znajdowanie zadowalających rozwiąza zań bez pełnego przeglądania wszystkich możliwo liwości, czyli: dokonanie niewyczerpującego cego przeszukiwania przestrzeni rozwiąza zań. Ślepe przeszukiwanie: trategie ślepe korzystają z informacji dostępnej jedynie w definicji problemu (nie wykorzystują wiedzy o problemie): przeszukiwanie wszerz; strategia jednolitego kosztu; przeszukiwanie w głąg łąb; przeszukiwanie ograniczone w głąg łąb; przeszukiwanie iteracyjnie pogłę łębiane; przeszukiwanie dwukierunkowe; Zadania łatwe to np.: ortowanie. zukanie pierwiastków w wielomianów. w. zukanie maksimum funkcji ciągłej i różniczkowalnej. r Mnożenie macierzy. prawdzenie, czy w grafie istnieje cykl ulera. Niepełnowartościowy algorytm, który umożliwia zna- lezienie w akceptowalnym czasie przynajmniej dosta- tecznie dobrego przybliżonego rozwiązania zania problemu. (Choć nie gwarantuje tego we wszystkich przypadkach). PRZZU- KIWANI Zadania trudne to np.: zukanie maksimum funkcji nieciągłej, ej, nieróżniczko niczko- walnej, zaszumionej,, zmieniającej się w czasie. zukanie najkrótszej postaci danej formuły y logicznej. Rozkładanie liczb na czynniki pierwsze. prawdzenie, czy w grafie istnieje cykl Hamiltona. 2
Cykl Hamiltona: cykl w grafie, w którym każdy wierzchołek ek grafu występuje dokładnie jeden raz. Cykl ulera: cykl w grafie, który przechodzi przez każdą krawędź niezorientowanego grafu dokładnie jeden raz (przez węzły w y może e przechodzić wielokrotnie). (znalezienie cyklu Hamiltona o minimalnej sumie wag krawędzi jest równowar wnoważne ne rozwiązaniu zaniu problemu komiwojażera era). 3 ZŁOŻONOŚĆ ALGORYTMU To ilość zasobów niezbędna do wykonania algorytmu. Mierzona wymaganiami czasowymi T i pamięciowymi. Rzędy złożonoz oności (najczęś ęściej spotykane): stała; a; log 2 n logarytmiczna; n liniowa; n log 2 n liniowo-logarytmiczna; logarytmiczna; n 2 kwadratowa; n 3 sześcienna; n c wielomianowa; c n, n! wykładnicza. n wielkość danych algorytmu 4 ZŁOŻONOŚĆ ALGORYTMU - przykład Za: Zofia Kruczkiewicz,, Algorytmy i struktury danych, Wykład zofia.kruczkiewicz.staff.iiar.pwr.wroc.pl/wyklady wyklady/alg/algusm.pdf ortowanie n obiektów: sprawdzenie wszystkich możliwo liwości: O(n!) wykładnicza algorytm bąbelkowy: b belkowy: O(n 2 ) kwadratowa algorytm szybki - O(n log n) n - liniowo-logarytmiczna logarytmiczna 6 PROBLMY NP Problem NP (nondeterministic polynomial): problem decyzyjny, dla którego rozwiązanie zanie można zweryfikować w czasie wielomianowym. Problem P 0 jest NP-zupe zupełny,, gdy:. P 0 należy y do klasy NP, 2. Każdy problem z klasy NP da się sprowadzić w czasie wielomianowym do problemu P 0. Problem NP-trudny spełnia tylko punkt 2. Problemy NP-zupe zupełne maja postać pytania czy istnieje. Problemy NP-trudne to zwykle ich optymalizacyjne wersje ( znajd( znajdź najmniejszy ). 7 Największy problem: eksplozja kombinatoryczna liczby możliwych dróg. Np. zadanie komiwojażera: Liczba możliwych tras: (N - )! / 2 N=0 minuta N= h40 N=2 7 dni N=3 2 lata... warcaby: 40 węzłów; w; szachy: 20 węzłów; w; go: 260 węzłów. w. 8
PRZZUKIWANI WZRZ TRATGI ŚLP. Utwórz listę węzłów P zawierającą stany początkowe. 2. Niech n będzie pierwszym węzłem w P. Jeżeli P jest puste, zakończ i zwróć NIPOWODZNI. 3. Jeżeli n jest rozwiązaniem, zatrzymaj i podaj ścieżkę od stanu początkowego do n - zwróć UKC. 4. W przeciwnym przypadku usuń nz Pi na końcu listy dopisz wszystkich potomków n (wygenerowanych z pomocą zdefiniowanych reguł) zapamiętując dla każdego ścieżkę od stanu początkowego.. Wróć do kroku 2. 9 20 Metoda ta wykonuje rozwinięcie najpłytszego węzła spośród tych, które nie były jeszcze rozszerzone PRZZUKIWANI W GŁĄG ŁĄB A 2 3 B C 4 6 7 D F G 8 9 2 3 4 H I J K L M N O. Utwórz list węzłów P zawierającą stany początkowe. 2. Niech n będzie pierwszym węzłem w P. Jeżeli P jest puste, zakończ i zwróć NIPOWODZNI. 3. Jeżeli n jest rozwiązaniem, zatrzymaj i podaj ścieżkę od stanu początkowego do n - zwróć UKC. 4. W przeciwnym przypadku usuń nz Pi na początku listy dopisz wszystkich potomków n (wygenerowanych za pomocą reguł produkcji) zapamiętując dla każdego ścieżkę od stanu początkowego.. Wróć do kroku 2. 2 22 TRATGIA JDNOLITGO KOZTU (UNIFORM-COT ARCH) Wykonuje ekspansję węzła a o najmniejszym koszcie spośród d tych, które nie były y jeszcze rozszerzone. Jeśli koszt wszystkich węzłów w w jest jednakowy,, to jest to równowar wnoważne ne szukaniu wszerz. A B C 0 TRATGIA JDNOLITGO KOZTU (UNIFORM-COT ARCH) Wykonuje ekspansję węzła a o najmniejszym koszcie spośród d tych, które nie były y jeszcze rozszerzone. Jeśli koszt wszystkich węzłów w w jest jednakowy,, to jest to równowar wnoważne ne szukaniu wszerz. A B C A B C 23 24
TRATGIA JDNOLITGO KOZTU (UNIFORM-COT ARCH) Wykonuje ekspansję węzła a o najmniejszym koszcie spośród d tych, które nie były y jeszcze rozszerzone. Jeśli koszt wszystkich węzłów w w jest jednakowy,, to jest to równowar wnoważne ne szukaniu wszerz. A B C A B C TRATGIA JDNOLITGO KOZTU (UNIFORM-COT ARCH) Wykonuje ekspansję węzła a o najmniejszym koszcie spośród d tych, które nie były y jeszcze rozszerzone. Jeśli koszt wszystkich węzłów w w jest jednakowy,, to jest to równowar wnoważne ne szukaniu wszerz. A B C A B C 2 26 ÓMKA PRZYKŁADOW PROBLMY 27 Przestrzeń stanów: 9!/2 = 8 440 elementów tan: : macierz 3x3. Operacje: : przesuwanie (najwygodniej: 4 operacje na pustym polu); Ruchy: : zbiór r operatorów: O d, O g, O l, O p. Zbiór r stanów w wyjściowych i końcowych G. Problem zdefiniowany jest jako trójka (,O,G). Rozwiązanie zanie problemu: ciąg goperatorów wprzekształcaj cającychcych G. 28 ÓMKA... PROBLM N KRÓLOWYCH Algorytmy szukania heurystycznego testuje się często na problemie przesuwanki. Klocków Rozmiar Czas sprawdzenia przestrzeni stanów wszystkich stanów 8 8 440 0.8 s 0.6 2 6 dni 24 0. 2 2 bilionów lat...zakładaj adając c sprawdzanie 6 stanów w na sekundę. Dobra funkcja heurystyczna zmniejsza liczbę rozpatrywanych stanów w do <0. 29 tan początkowy: dowolny układ N królowych. Operator: przestaw królową na jedno z pustych pól. Cel: ustawienie N królowych tak, by żadna nie atakowała pozostałych. Cel dodatkowy: znaleźć wszystkie możliwe rozwiązania. 30
http://www.mini.pw.edu.pl/miniwyklady/sieci/hetmany.html 3 KRYPTOARYTMTYKA Zamienić litery na cyfry. tan początkowy tkowy: : słupek s arytmetyczny z literami. Operator: : zamień jednoznacznie literę na cyfrę. Cel: : zamień wszystkie litery tak, by operacje na cyfrach się zgadzały. Np: FORTY + TN + TN IXTY Rozwiązanie: zanie: 29786 + 80 + 80 3486 32 KOLOROWANI MAPY Gdy w październiku 82 roku Francis Guthrie (były y student Augustusa de Morgana) ) kolorował mapę Anglii, zauważył, że e cztery kolory wystarczą, Związek Australijski by każde dwa sąsiadujs siadujące hrabstwa różnir niły y się barwą. Pomyśla lał: Czy cztery barwy wystarczą do pokolorowania dowolnej, nawet najbardziej skomplikowanej mapy? (...)..) Więcej: http://www.mimuw.edu.pl www.mimuw.edu.pl/delta/ /delta/artykuly/delta0604/4barwy.pdf 33 LI I GĘIG Farmer ma przewieźć lisa, gęśg i ziarno małą łódką na drugą stronę rzeki: w łódce mieści się rzecz; lis zjada gęśg ęś, gęś zjada ziarno. tan początkowy tkowy: 6 stanów w tym: 6 niebezpiecznych akceptowalnych pusto... 34 GRAF ROZWIĄZAŃ: Dla większej liczby obiektów ( misjonarze i kanibale ) zadanie nietrywialne: wymagane jest tworzenie etapów pośrednich, chwilowo oddalających od pożądanego rozwiązania. 3 PRAKTYCZN PROBLMY zukanie optymalnej drogi (rutowanie rutowanie pakietów w w sieciach komputerowych, rezerwacje lotnicze itp). Projektowanie układ adów w VLI (very-large scale integration). Optymalizacja drogi robota w zmiennym środowisku. Autonomiczne urządzenia ratunkowe. Plan zajęć w szkole. Gry komputerowe. Dowodzenie twierdzeń matematycznych. Wnioskowanie (znalezienie zależno ności w bazie wiedzy). ystemy diagnozy medycznej. Komunikacja z maszyną za pomocą języka naturalnego. ksploracja danych (data mining). 36
DFINICJA PROBLMU PROBLM I JGO OPI. Baza danych: : fakty, stany, możliwo liwości, opis sytuacji. 2. Możliwe operacje: : zmieniają stan bazy danych. 3. trategia kontrolna: : określa start, koniec i kolejność operacji. Ciąg g operacji tworzy sekwencję działań. Z każdą operacją związany zany jest pewien koszt. Należy y dążd ążyć do minimalizacji całkowitych kosztów. 37 38 RPRZNTACJA PROBLMU Zbiór r konwencji dotyczących cych opisu pewnej klasy rzeczy. PRZYKŁAD PROBLMU: Odpowiednia reprezentacja znaczna część rozwiązania: zania: uwidacznia istotne relacje; ujawnia wszystkie więzy ograniczające ce możliwe relacje; jest zrozumiała, a, kompletna, zwięzła; można jąj efektywnie wykorzystać w modelu komputerowym... Reprezentacja w przestrzeni stanów. 2.. Reprezentacja redukcyjna. Zwykle problemy można konwertować z do 2 (i odwrotnie) 39 formułowanie owanie problemu: stany: : miasta {Arad{ Arad, ibiu, Bucharest, }; akcje: : przejazdy pomiędzy 2 miastami (np( np.: Arad ibiu); cel: Arad Bucharest; koszt akcji: : odległość pomiędzy dwoma miastami. 40 PRZYKŁAD PROBLMU: Montaż przy użyciu u robota Reprezentacja problemu: stan początkowy tkowy: Arad; stan docelowy: : Bukareszt; rozwiazanie: ciag przejazdów (np. Arad ibiu ibiu Fagaras Bukareszt Bukareszt); koszt rozwiązania zania: suma km pomiędzy kolejnymi miastami. 4 formułowanie owanie problemu: stany: : rzeczywiste współrz rzędne kątów k w w złąz łączeniach robota, elementy do zmontowania; akcje: : ciągłe e ruchy złąz łączy robota; cel: kompletny montaż; koszt akcji: : czas montażu. 42
GRAF: Uporządkowana para: G = (V,( ) V - niepusty zbiór r wierzchołków (węzłów, w, punktów); - zbiór r krawędzi (łuk( uków). v x y w skierowane (zorientowane) z v x y w nieskierowane (niezorientowane) z 43 DRZWA: grafy, w których każdy węzew zeł ma tylko poprzednika. v u p x Drzewo to graf: - nieskierowany; - acykliczny; - spójny. r w y q s z t korzeń wierzchołek ek wewnętrzny liść wierzchołek ek = stan krawędź = akcja 44 v u p x r w y q s z t Wysokość wierzchołka (h):( maksymalna długod ugość drogi od tego wierzchołka do liścia. Wysokość drzewa: dł.. najdłuższej drogi od korzenia do liścia. Głębokość (numer poziomu) wierzchołka (p):( długość drogi łącz czącej cej ten wierzchołek ek z korzeniem. h=3, p=0 h=2, p= h=0, p=3 4 RPRZNTACJA RDUKCYJNA Najważniejsze nie stany, ale cele (opisy( problemu). lementy składowe: opis początkowego problemu; zbiór r operatorów w transformujących dany problem na problemy cząstkowe; zbiór r problemów w elementarnych. Np.: Wieże e Hanoi: Krąż ążki:, 2, 3, 4 Kołki: A, B, C. Koszt czasowy algorytmu: T(n)=2 n -. Przy 6 stanów/s - dla n=64 : 0. miliona lat! 46 "W wielkiej świątyni Benares w Hanoi, pod kopułą łą,, która zaznacza środek świata, znajduje się płytka z brązu, na której umocowane sąs trzy diamentowe igły, wysokie na łokieć i cienkie jak talia osy. Na jednej z tych igieł,, w momencie stworzenia świata, Bóg B g umieści cił 64 krąż ążki ze szczerego złota. z Największy z nich leży y na płytce p z brązu, a pozostałe e jeden na drugim, idąc c malejąco od największego do najmniejszego. Jest to wieża Brahma. Bez przerwy we dnie i w nocy kapłani ani przekładaj adają krąż ążki z jednej diamentowej igły y na drugą,, przestrzegając c niewzruszonych praw Brahma.. Prawa te chcą,, aby kapłan an na służbie s brał tylko jeden krąż ążek na raz i aby umieszczał go na jednej z igieł w ten sposób, by nigdy nie znalazł się pod nim krąż ążek mniejszy. Wówczas, gdy 64 krąż ążki zostaną przełożone one z igły, na której umieści cił je Bóg B g w momencie stworzenia świata, na jedną z dwóch pozostałych igieł,, wieża, świątynia, bramini rozsypią się w proch i w jednym oka mgnieniu nastąpi koniec świata". 47 Problem: przesuń n klocków w z A na C. Podproblemy: Przesuń stos n- klocków w z A na B Przesuń jeden klocek z A na C Przesuń stos n- klocków w z B na C Problem elementarny: przesunięcie pojedynczego klocka. Opis problemu: ile jest klocków w na stosie do przesunięcia; z którego kołka ka przesuwać; na który kołek przesuwać. 48
http://chemeng.p.lodz.pl chemeng.p.lodz.pl/zylla/games/hanoi3p.html 49 KRYTRIA OCNY TRATGII ZUKANIA: Zupełno ność czy zawsze znajduje rozwiązanie, zanie, jeśli ono istnieje? Złożoność czasowa liczba wygenerowanych węzłów. w. Złożoność pamięciowa maksymalna liczba węzłów w w pamięci. Optymalność czy znajduje rozwiązanie zanie o minimalnym koszcie? Złożoność czasowa i pamięciowa mierzone w terminach: b maksymalne rozgałę łęzienie drzewa przeszukiwań; d głębokość rozwiązania zania o najmniejszym koszcie; m maks. głęg łębokość drzewa przeszukiwań (możliwa ). 0 MTODY HURYTYCZN MTODY HURYTYCZN ( intuicyjne ): trategie heurystyczne korzystają z dodatkowej, heurystycznej funkcji oceny stanu (np. szacującej cej koszt rozwiązania zania od bieżą żącego stanu do celu). Używają heurystyk, reguł kciuka by określi lić, którą część drzewa decyzji rozwijać najpierw. Heurystyki to reguły y lub metody, które prawie zawsze gwarantują podjęcie lepszej decyzji. 2 Podział metod heurystycznych: ogólne - efektywne dla szerokiego spektrum zadań; Heurystyki wskazują dobre (według pewnego kryte- rium) ) kierunki poszukiwania, ale mogą pominąć ważne rozwiązania zania. szczególne wykorzystują specyficzną wiedzę z da- nej dziedziny. Zalety poszukiwań heurystycznych: uniknięcie eksplozji kombinatorycznej; satysfakcjonujące ce (quasi-optymalne, dobre) rozwiązanie zanie często wystarcza; próby znalezienia heurystyki dla danego problemu często prowadzą do lepszego zrozumienia tematu. 3 Kiedy stosować przeszukiwanie heurystyczne? np.. systemy ekspertowe problem nie posiada jednoznacznego rozwiązania zania ze względu na: niejednoznaczność zadania (celu); nieprecyzyjne lub niepewne dane; niepełne ne dane. Przeszukiwanie przestrzeni stanów w z funkcją oceny gdy istnieją dokładne rozwiązania, zania, ale wymogi co do zasobów w (pamięć ęć,, czas) sąs zbyt duże. Typowe zastosowania: problemy jednoosobowe (np.. zagadki logiczne); zadania optymalizacji (np.. znajdowanie najkrótszej ścieżki); gry dwuosobowe; systemy dowodzenia twierdzeń. 4
FUNKCJA HURYTYCZNA: h: Ψ R gdzie: Ψ zbiór r dozwolonych stanów {s 0, s,..., s n }, R liczby rzeczywiste. Funkcja heurystyczna odwzorowuje stany we współ- czynnik ich użyteczności. Funkcja heurystyczna odwzorowuje stany s ze zbioru Ψ na wartości h(s) służące do oceny względnych kosztów w lub zysków w rozwijania dalszej drogi przez węzeł odpowiadający s. s Węzeł s 0 ma 3 potomków. s 0 s 2 s 3 Określamy koszty utworzenia węzłów s, s 2 i s 3 ; h(s ) = 0.9 h(s 2 ) =.3 h(s 3 ) = 0.6 Z punktu widzenia danej heurystyki s 3 jest najlepszym kandydatem. 6 PRZYKŁADY FUNKCJI HURYTYCZNYCH: Problem komiwojażera era: - suma odległości jaka została a przebyta do osiągni gnięcia danego miasta; Kółko i krzyżyk yk: - wartość dla wierszy, kolumn i przekątnych, w których jest symbol danego gracza i możliwa jest wygrana. - wartość 2 dla wierszy, kolumn i przekątnych, w których są 2 symbole i możliwa jest wygrana. 7