MTODY HURYTYZN wykład M3, sem.. I prowadzący cy: dr hab. inż.. Witold eluch (p. 49) wykład: h laboratorium: h ZJĘI KOŃZ ZĄ IĘ ZLIZNIM ON KOŃOW: O=0.6k+0.3L k - ocena z kolokwiom końcowego L - ocena z laboratorium obydwie oceny muszą być pozytywne! 2 LITRTUR: Włodzisław Duch: http://www.is.umk.pl www.is.umk.pl/~duch/ /~duch/wyklady/index.html. Rutkowski L., Metody i techniki sztucznej inteligencji,, PWN, Warszawa, 2006 2. Mulawka J., ystemy ekspertowe,, WNT, Warszawa, 997 3. rabas J., Wykłady z algorytmów w ewolucyjnych,, WNT, Warszawa, 2003 4. Tadeusiewicz R., lementarne wprowadzenie do techniki sieci neuronowych z przykładowymi programami, kad.. Oficyna Wyd. PLJ, Warszawa, 998. http://wazniak.mimuw.edu.pl wazniak.mimuw.edu.pl/index.php?title=ztuczna_inteligencjaindex.php?title=ztuczna_inteligencja - wykład dotyczący cy sztucznej inteligencji 4 HURYTYZN O TO ZNZY?! Heuristic methods don't work... if they did, they would be called algorithms. -- Unknown Z greckiego: heuriskein znaleźć źć,, odkryć. Praktyczna, oparta na doświadczeniu, inteligentna reguła a postępowania, powania, która MOŻ drastycznie uprości cić lub skróci cić proces rozwiązywania zywania problemu, gdy metoda rozwiązania: zania: nie jest znana; jest zawiła a i czasochłonna. onna. W algorytmice: Niepełnowartościowy algorytm, który umożliwia zna- lezienie w akceptowalnym czasie przynajmniej dosta- tecznie dobrego przybliżonego rozwiązania zania problemu. (hoć nie gwarantuje tego we wszystkich przypadkach). Metody heurystyczne należą do podstawowych narzędzi sztucznej inteligencji,, często używane u sąs też w różnych r działach ach badań operacyjnych. 6
O ĘDZI? trategie ślepe Metoda najszybszego wzrostu Najpierw najlepszy (zachłanne, anne, * i ID*) ymulowane wyżarzanie lgorytmy genetyczne i algorytmy ewolucyjne ztuczne sieci neuronowe Logika rozmyta i sterowniki rozmyte lgorytmy mrówkowe lgorytmy immunologiczne?... 7 PRZZUKIWNI Jedna z najważniejszych niejszych metod informatyki. zęstokro stokroć utożsamiane ze sztuczną inteligencją (I). Wiele zadań praktycznych można traktować jako konkretne przypadki ogólnego zadania przeszukiwania. Rozwiązania zania mają spełnia niać pewne ustalone kryteria i ograniczenia, Inteligentne techniki obliczeniowe opracowywane do przeszukiwania mają na celu znajdowanie zadowalających rozwiąza zań bez pełnego przeglądania wszystkich możliwo liwości, czyli: dokonanie niewyczerpującego cego przeszukiwania przestrzeni rozwiąza zań. 8 Ślepe przeszukiwanie: trategie ślepe korzystają z informacji dostępnej jedynie w definicji problemu (nie wykorzystują wiedzy o problemie): przeszukiwanie wszerz; strategia jednolitego kosztu; przeszukiwanie w głąg łąb; przeszukiwanie ograniczone w głąg łąb; przeszukiwanie iteracyjnie pogłę łębiane; przeszukiwanie dwukierunkowe; 9 Zadania łatwe to np.: ortowanie. zukanie pierwiastków w wielomianów. w. zukanie maksimum funkcji ciągłej i różniczkowalnej. r Mnożenie macierzy. prawdzenie, czy w grafie istnieje cykl ulera. Zadania trudne to np.: zukanie maksimum funkcji nieciągłej, ej, nieróżniczko niczko- walnej, zaszumionej,, zmieniającej się w czasie. zukanie najkrótszej postaci danej formuły y logicznej. Rozkładanie liczb na czynniki pierwsze. prawdzenie, czy w grafie istnieje cykl Hamiltona. 0 ykl ulera: cykl w grafie, który przechodzi przez każdą krawędź niezorientowanego grafu dokładnie jeden raz (przez węzływ może przechodzić wielokrotnie). ykl Hamiltona: cykl w grafie, w którym każdy wierzchołek ek grafu występuje dokładnie jeden raz. (znalezienie cyklu Hamiltona o minimalnej sumie wag krawędzi jest równowar wnoważne ne rozwiązaniu zaniu problemu komiwojażera era). ZŁOŻONOŚĆ LGORYTMU To ilość zasobów niezbędna do wykonania algorytmu. Mierzona wymaganiami czasowymi T i pamięciowymi. Rzędy złożonoz oności (najczęś ęściej spotykane): stała; a; log 2 n logarytmiczna; n liniowa; n log 2 n liniowo-logarytmiczna; logarytmiczna; n 2 kwadratowa; n 3 sześcienna; n c wielomianowa; c n, n! wykładnicza. n wielkość danych algorytmu 2
ZŁOŻONOŚĆ LGORYTMU - przykład Za: Zofia Kruczkiewicz,, lgorytmy i struktury danych, Wykład 0 zofia.kruczkiewicz.staff.iiar.pwr.wroc.pl/wyklady wyklady/lg/lgusm0.pdf ortowanie n obiektów: sprawdzenie wszystkich możliwo liwości: O(n!) wykładnicza algorytm bąbelkowy: b belkowy: O(n 2 ) kwadratowa algorytm szybki - O(n log n) n - liniowo-logarytmiczna logarytmiczna 3 4 PROLMY NP Problem NP (nondeterministic polynomial): problem decyzyjny, dla którego rozwiązanie zanie można zweryfikować w czasie wielomianowym. Problem P 0 jest NP-zupe zupełny,, gdy:. P 0 należy y do klasy NP, 2. Każdy problem z klasy NP da się sprowadzić w czasie wielomianowym do problemu P 0. Problem NP-trudny spełnia tylko punkt 2. Problemy NP-zupe zupełne maja postać pytania czy istnieje. Problemy NP-trudne to zwykle ich optymalizacyjne wersje ( znajd( znajdź najmniejszy ). Największy problem: eksplozja kombinatoryczna liczby możliwych dróg. Np. zadanie komiwojażera: Liczba możliwych tras: (N - )! / 2 N=00 minuta N=0 h40 N=02 7 dni N=03 2 lata... warcaby: 0 40 węzłów; w; szachy: 0 20 węzłów; w; go: 0 260 węzłów. w. 6 PRZZUKIWNI WZRZ TRTGI ŚLP. Utwórz listę węzłów P zawierającą stany początkowe. 2. Niech n będzie pierwszym węzłem w P. Jeżeli P jest puste, zakończ i zwróć NIPOWODZNI. 3. Jeżeli n jest rozwiązaniem, zatrzymaj i podaj ścieżkę od stanu początkowego do n - zwróć UK. 4. W przeciwnym przypadku usuń nz Pi na końcu listy dopisz wszystkich potomków n (wygenerowanych z pomocą zdefiniowanych reguł) zapamiętując dla każdego ścieżkę od stanu początkowego.. Wróć do kroku 2. 7 8
Metoda ta wykonuje rozwinięcie najpłytszego węzła spośród tych, które nie były jeszcze rozszerzone PRZZUKIWNI W GŁĄG ŁĄ 2 3 4 6 7 D F G 8 9 0 2 3 4 H I J K L M N O. Utwórz list węzłów P zawierającą stany początkowe. 2. Niech n będzie pierwszym węzłem w P. Jeżeli P jest puste, zakończ i zwróć NIPOWODZNI. 3. Jeżeli n jest rozwiązaniem, zatrzymaj i podaj ścieżkę od stanu początkowego do n - zwróć UK. 4. W przeciwnym przypadku usuń nz Pi na początku listy dopisz wszystkich potomków n (wygenerowanych za pomocą reguł produkcji) zapamiętując dla każdego ścieżkę od stanu początkowego.. Wróć do kroku 2. 9 20 Metoda ta wykonuje rozwinięcie najpłytszego węzła spośród tych, które nie były jeszcze rozszerzone 2 3 4 6 7 D F G 8 9 0 2 3 4 H I J K L M N O TRTGI JDNOLITGO KOZTU (UNIFORM-OT RH) Wykonuje ekspansję węzła a o najmniejszym koszcie spośród d tych, które nie były y jeszcze rozszerzone. Jeśli koszt wszystkich węzłów w w jest jednakowy,, to jest to równowar wnoważne ne szukaniu wszerz. 0 0 2 22 TRTGI JDNOLITGO KOZTU (UNIFORM-OT RH) Wykonuje ekspansję węzła a o najmniejszym koszcie spośród d tych, które nie były y jeszcze rozszerzone. Jeśli koszt wszystkich węzłów w w jest jednakowy,, to jest to równowar wnoważne ne szukaniu wszerz. 0 TRTGI JDNOLITGO KOZTU (UNIFORM-OT RH) Wykonuje ekspansję węzła a o najmniejszym koszcie spośród d tych, które nie były y jeszcze rozszerzone. Jeśli koszt wszystkich węzłów w w jest jednakowy,, to jest to równowar wnoważne ne szukaniu wszerz. 0 23 24
TRTGI JDNOLITGO KOZTU (UNIFORM-OT RH) Wykonuje ekspansję węzła a o najmniejszym koszcie spośród d tych, które nie były y jeszcze rozszerzone. Jeśli koszt wszystkich węzłów w w jest jednakowy,, to jest to równowar wnoważne ne szukaniu wszerz. 0 0 PRZYKŁDOW PROLMY 2 26 ÓMK ÓMK... Przestrzeń stanów: 9!/2 = 8 440 elementów tan: : macierz 3x3. Operacje: : przesuwanie (najwygodniej: 4 operacje na pustym polu); Ruchy: : zbiór r operatorów: O d, O g, O l, O p. Zbiór r stanów w wyjściowych i końcowych G. Problem zdefiniowany jest jako trójka (,O,G). Rozwiązanie zanie problemu: ciąg g operatorów w przekształcaj cających cych G. 27 lgorytmy szukania heurystycznego testuje się często na problemie przesuwanki. Klocków Rozmiar zas sprawdzenia przestrzeni stanów wszystkich stanów 8 8 440 0.8 s 0.6 0 2 6 dni 24 0. 0 2 2 bilionów lat...zakładaj adając c sprawdzanie 00 6 stanów w na sekundę. Dobra funkcja heurystyczna zmniejsza liczbę rozpatrywanych stanów w do <0. 28 PROLM N KRÓLOWYH http://www.mini.pw.edu.pl/miniwyklady/sieci/hetmany.html tan początkowy: dowolny układ N królowych. Operator: przestaw królową na jedno z pustych pól. el: ustawienie N królowych tak, by żadna nie atakowała pozostałych. el dodatkowy: znaleźć wszystkie możliwe rozwiązania. 29 30
KRYPTORYTMTYK Zamienić litery na cyfry. tan początkowy tkowy: : słupek s arytmetyczny z literami. Operator: : zamień jednoznacznie literę na cyfrę. el: : zamień wszystkie litery tak, by operacje na cyfrach się zgadzały. Np: FORTY + TN + TN IXTY Rozwiązanie: zanie: 29786 + 80 + 80 3486 3 KOLOROWNI MPY Gdy w październiku 82 roku Francis Guthrie (były y student ugustusa de Morgana) ) kolorował mapę nglii, zauważył, że e cztery kolory wystarczą, Związek ustralijski by każde dwa sąsiadujs siadujące hrabstwa różnir niły y się barwą. Pomyśla lał: zy cztery barwy wystarczą do pokolorowania dowol-nej nej, nawet najbardziej skomplikowanej mapy? (...)..) Więcej: http://www.mimuw.edu.pl www.mimuw.edu.pl/delta/ /delta/artykuly/delta0604/4barwy.pdf 32 LI I GĘIG Farmer ma przewieźć lisa, gęśg i ziarno małą łódką na drugą stronę rzeki: w łódce mieści się rzecz; lis zjada gęśg ęś, gęś zjada ziarno. tan początkowy tkowy: GRF ROZWIĄZŃ: 6 stanów w tym: 6 niebezpiecznych 0 akceptowalnych pusto... 33 Dla większej liczby obiektów ( misjonarze i kanibale ) zadanie nietrywialne: wymagane jest tworzenie etapów pośrednich, chwilowo oddalających od pożądanego rozwiązania. 34 PRKTYZN PROLMY zukanie optymalnej drogi (rutowanie rutowanie pakietów w w sieciach komputerowych, rezerwacje lotnicze itp). Projektowanie układ adów w VLI (very-large scale integration). Optymalizacja drogi robota w zmiennym środowisku. utonomiczne urządzenia ratunkowe. Plan zajęć w szkole. Gry komputerowe. Dowodzenie twierdzeń matematycznych. Wnioskowanie (znalezienie zależno ności w bazie wiedzy). ystemy diagnozy medycznej. Komunikacja z maszyną za pomocą języka naturalnego. ksploracja danych (data mining). 3 PROLM I JGO OPI 36
DFINIJ PROLMU. aza danych: : fakty, stany, możliwo liwości, opis sytuacji. 2. Możliwe operacje: : zmieniają stan bazy danych. 3. trategia kontrolna: : określa start, koniec i kolejność operacji. iąg g operacji tworzy sekwencję działań. Z każdą operacją związany zany jest pewien koszt. Należy y dążd ążyć do minimalizacji całkowitych kosztów. 37 RPRZNTJ PROLMU Zbiór r konwencji dotyczących cych opisu pewnej klasy rzeczy... Reprezentacja w przestrzeni stanów. 2.. Reprezentacja redukcyjna. Odpowiednia reprezentacja znaczna część rozwiązania: zania: uwidacznia istotne relacje; ujawnia wszystkie więzy ograniczające ce możliwe relacje; jest zrozumiała, a, kompletna, zwięzła; można jąj efektywnie wykorzystać w modelu komputerowym. Zwykle problemy można konwertować z do 2 (i odwrotnie) 38 PRZYKŁD PROLMU: 7 Zerind 7 rad 8 Timisoara Oradea 40 Lugoj 70 Mehadia 7 Dobreta 20 ibiu 99 80 Fagaras formułowanie owanie problemu: Neamt 87 Iasi Vaslui Rimnicu Vilcea 2 42 97 Pitesti 46 98 Hirsova 0 8 Urziceni 38 ucharest 86 raiova 90 forie Giurgiu stany: : miasta {rad{ rad, ibiu, ucharest, }; akcje: : przejazdy pomiędzy 2 miastami (np.: rad ibiu); cel: rad ucharest; koszt akcji: : odległość pomiędzy dwoma miastami. 92 39 Oradea 7 Neamt Zerind 87 7 Iasi rad 40 92 ibiu 8 99 Fagaras 80 Vaslui Timisoara Rimnicu Vilcea 42 2 Lugoj 97 Pitesti 70 98 Hirsova 46 Mehadia 0 8 Urziceni 7 38 86 ucharest Dobreta 20 90 forie raiova Giurgiu Reprezentacja problemu: stan początkowy tkowy: rad; stan docelowy: : ukareszt; rozwiazanie: ciag przejazdów (np. rad ibiu ibiu Fagaras ukareszt ukareszt); koszt rozwiązania zania: suma km pomiędzy kolejnymi miastami. 40 PRZYKŁD PROLMU: Montaż przy użyciu u robota GRF: Uporządkowana para: G = (V,( ) V - niepusty zbiór r wierzchołków (węzłów, w, punktów); - zbiór r krawędzi (łuk( uków). v w v w formułowanie owanie problemu: stany: : rzeczywiste współrz rzędne kątów k w w złąz łączeniach robota, elementy do zmontowania; akcje: : ciągłe e ruchy złąz łączy robota; cel: kompletny montaż; koszt akcji: : czas montażu. 4 x y skierowane (zorientowane) z x y nieskierowane (niezorientowane) z 42
DRZW: grafy, w których każdy węzew zeł ma tylko poprzednika. v u p x Drzewo to graf: - nieskierowany; - acykliczny; - spójny. r w y q s z t korzeń wierzchołek ek wewnętrzny liść wierzchołek ek = stan krawędź = akcja 43 v u p x r w y q s z t Wysokość wierzchołka (h):( maksymalna długod ugość drogi od tego wierzchołka do liścia. Wysokość drzewa: dł.. najdłuższej drogi od korzenia do liścia. Głębokość (numer poziomu) wierzchołka (p):( długość drogi łącz czącej cej ten wierzchołek ek z korzeniem. h=3, p=0 h=2, p= h=0, p=3 44 RPRZNTJ RDUKYJN Najważniejsze nie stany, ale cele (opisy( problemu). lementy składowe: opis początkowego problemu; zbiór r operatorów w transformujących dany problem na problemy cząstkowe; zbiór r problemów w elementarnych. Np.: Wieże e Hanoi: Krąż ążki:, 2, 3, 4 Kołki:,,. Koszt czasowy algorytmu: T(n)=2 n -. Przy 0 0 6 stanów/s - dla n=64 : 0. miliona lat! 4 "W wielkiej świątyni enares w Hanoi, pod kopułą, która zaznacza środek świata, znajduje się płytka z brązu, na której umocowane są trzy diamentowe igły, wysokie na łokieć i cienkie jak talia osy. Na jednej z tych igieł, w momencie stworzenia świata, óg umieścił 64 krążki ze szczerego złota. Największy z nich leży na płytce z brązu, a pozostałe jeden na drugim, idąc malejąco od największego do najmniejszego. Jest to wieża rahma. ez przerwy we dnie i w nocy kapłani przekładają krążki z jednej diamentowej igły na drugą, przestrzegając niewzruszonych praw rahma. Prawa te chcą, aby kapłan na służbie brał tylko jeden krążek na raz i aby umieszczał go na jednej z igieł w ten sposób, by nigdy nie znalazł się pod nim krążek mniejszy. Wówczas, gdy 64 krążki zostaną przełożone z igły, na której umieścił je óg w momencie stworzenia świata, na jedną z dwóch pozostałych igieł, wieża, świątynia, bramini rozsypią się w proch i w jednym oka mgnieniu nastąpi koniec świata". 46 Problem: przesuń n klocków w z na. Podproblemy: Przesuń stos n- klocków w z na Przesuń jeden klocek z na Przesuń stos n- klocków w z na Problem elementarny: przesunięcie pojedynczego klocka. Opis problemu: ile jest klocków w na stosie do przesunięcia; z którego kołka ka przesuwać; na który kołek przesuwać. 47 KRYTRI ONY TRTGII ZUKNI: Zupełno ność czy zawsze znajduje rozwiązanie, zanie, jeśli ono istnieje? Złożoność czasowa liczba wygenerowanych węzłów. w. Złożoność pamięciowa maksymalna liczba węzłów w w pamięci. Optymalność czy znajduje rozwiązanie zanie o minimalnym koszcie? Złożoność czasowa i pamięciowa mierzone w terminach: b maksymalne rozgałę łęzienie drzewa przeszukiwań; d głębokość rozwiązania zania o najmniejszym koszcie; m maks. głęg łębokość drzewa przeszukiwań (możliwa ). 48
MTODY HURYTYZN ( intuicyjne ): trategie heurystyczne korzystają z dodatkowej, heurystycznej funkcji oceny stanu (np. szacującej cej koszt rozwiązania zania od bieżą żącego stanu do celu). Podział metod heurystycznych: ogólne - efektywne dla szerokiego spektrum zadań; Używają heurystyk, reguł kciuka by określi lić, którą część drzewa decyzji rozwijać najpierw. Heurystyki to reguły y lub metody, które prawie zawsze gwarantują podjęcie lepszej decyzji. 49 Zalety poszukiwań heurystycznych: uniknięcie eksplozji kombinatorycznej; satysfakcjonujące ce (quasi-optymalne, dobre) rozwiązanie zanie często wystarcza; próby znalezienia heurystyki dla danego problemu często prowadzą do lepszego zrozumienia tematu. 0 Kiedy stosować przeszukiwanie heurystyczne? np. systemy ekspertowe problem nie posiada jednoznacznego rozwiązania zania ze względu na: niejednoznaczność zadania (celu); nieprecyzyjne lub niepewne dane; niepełne ne dane. Przeszukiwanie przestrzeni stanów w z funkcją oceny gdy istnieją dokładne rozwiązania, zania, ale wymogi co do zasobów w (pamięć ęć,, czas) sąs zbyt duże. Typowe zastosowania: problemy jednoosobowe (np. zagadki logiczne); zadania optymalizacji (np. znajdowanie najkrótszej ścieżki); gry dwuosobowe; systemy dowodzenia twierdzeń. FUNKJ HURYTYZN: h: Ψ R gdzie: Ψ zbiór r dozwolonych stanów {s 0, s,..., s n }, R liczby rzeczywiste. Heurystyki wskazują dobre (według pewnego kryte- rium) ) kierunki poszukiwania, ale mogą pominąć ważne rozwiązania zania. szczególne wykorzystują specyficzną wiedzę z da- nej dziedziny. Funkcja heurystyczna odwzorowuje stany we współ- czynnik ich użyteczności. Funkcja heurystyczna odwzorowuje stany s ze zbioru Ψ na wartości h(s) służące do oceny względnych kosztów w lub zysków w rozwijania dalszej drogi przez węzeł odpowiadający s. 2 s Węzeł s 0 ma 3 potomków. s 0 s 2 s 3 PRZYKŁDY FUNKJI HURYTYZNYH: Problem komiwojażera era: - suma odległości jaka została a przebyta do osiągni gnięcia danego miasta; Określamy koszty utworzenia węzłów s, s 2 i s 3 ; h(s ) = 0.9 h(s 2 ) =.3 h(s 3 ) = 0.6 Z punktu widzenia danej heurystyki s 3 jest najlepszym kandydatem. 3 Kółko i krzyżyk yk: - wartość dla wierszy, kolumn i przekątnych, w których jest symbol danego gracza i możliwa jest wygrana. - wartość 2 dla wierszy, kolumn i przekątnych, w których są 2 symbole i możliwa jest wygrana. 4