Wyk lad 5: Algorytmy genetyczne

Transkrypt

1 Wyk lad 5: Algorytmy genetyczne Nguyen Hung Son Page 1 of 38

2 Page 2 of Wprowadzenie Algorytmy genetyczne stanowia pewna ga l aź dzia lu obliczeń ewolucyjnych, Jest to dynamicznie rozwijajaca dziedzina w Sztucznej Inteligencji. AG sa inspirowane przez Darwinowska teoria ewolucji. Rozwiazywanie problemu z użyciem AG polega na ewolucji!

3 Page 3 of Historia AG: poczatek: prace biologów Barricelli (1957), Fraser (1960). Symulowali oni procesy genetyczne przy pomocy komputerów. Idea programowania ewolucujnego zosta la wprowadzona w 1960 przez I. Rechenberg w pracy Evolution strategies (Evolutionsstrategie). Holland w pracach nad systemami adaptacyjnymi(1962): pierwsze zastosowania algorytmów genetycznych w zagadnieniach sztucznej adaptacji. To zosta lo opisane w jego ksiażce Adaption in Natural and Artificial Systems publikowanej w Bagley (1967) opracowa l algorytm genetyczny grajacy w prosta gre logiczna. W 1970 zastosowano AG do systemu rozpoznajacego postacie ludzkie (przyk lad problemu nierozwiazywalnych tradycyjnymi metodami). W 1971 pojawi la sie pierwsza praca badajaca skuteczność AG do optymalizacji funkcji (Hollstein). J. Koza (1992): Genetic programming Do dziś, AG znalaz ly setki nowych zastosowań.

4 Page 4 of Chromosomy Żywe organizmy sk ladaj a sie z komórek (cells). W każdej komórce znajduje sie taki sam zbiór chromosomów. Chromosomy sa lańcuchami DNA i pe lnia role modelu ca lego organizmu. Chromosomy sk ladaja sie z genów (bloków DNA). Każdy gen koduje poszczególne bia lko (protein) (ściślej mówiac: każdy gen odpowiada za pewna ceche organizmu, np. kolor oczu). Możliwe ustawienia dla niego nazywamy allelami. Kompletny zbiór materia lu genetycznego (wszystkich chromosomów) jest nazwany genome. Zbiór genów w genome jest zwany genotyp. Genotyp stanowi podstawa do formu lowania fenotypu organizmu, jego fizycznych i mentalnych charakterystyk, np. kolor oczu czy inteligencja,...

5 Page 5 of Reprodukcja Rekombinacja (crossover) jest pierwszym procesem podczas reprodukcji. Geny rodziców tworza nowe geny potomka. Nowo tworzone geny potomka moga ulegać mutacji. Mutacja oznacza, że elementy DNA sa lekko zmodyfikowane (g lównie przez b l edy pope lnione podczas ich kopiowania od rodziców) Stopień dostosowania organizmu do środowiska (fitness) jest mierzony poprzez sukces dokonany przez ten organizm w swoim życiu

6 Page 6 of Jest wyraźna różnica w AG miedzy fenotypem (doros ly osobnik, rozwiazania) a genotypem (tzn. chromosom, reprezentacja); Skoro AG dzia la wy l acznie na genotypach, jakiś proces dekodowania genotypu na fenotyp jest potrzebny (uogólnione rośniecie); Chromosomami sa ciagi znaków (np. 0 i 1 ); Doros lym osobnikiem może być dowolna, która można kodować (dekodować) za pomoca chromosomów. Przyk ladem fenotypów sa wektory parametrów lub list wyborów Genetyka Algorytmy genetyczne chromosom ciag kodowy gen cecha, znak (w ciagu kodowym) allele (odmiany genu) warianty cechy genotyp struktura (zbiór ciagów kodowych) fenotyp zbiór parametrów, rozwiazanie, punkt

7 Page 7 of Zarys podstawowych AG 1. Start: Utwórz losowa populacje zawierajac a n chromosomów; 2. Fitness: Oceń fitness f(x) dla każdego chromosomu x w populacji; 3. Nowa populacja: Utwórz nowa populacje przez powtórzenie nastepuj acych kroków dopóki nowa populacja bedzie pe lna: 4. Selekcja: Wybierz dwóch chromosomów z populacji w sposób losowy ale zgodny z fitness chromosomów; 5. Krzyżowanie: Stwórz 2 nowe chromosomy z wybranych chromosomów (rodzicielskich) przez krzyżowanie z p-wem p c (gdy nie zachodzi krzyżowanie, potomkami sa po prostu kopie rodzicielskich chromosomów) 6. Mutacja: Geny w chromosomie ulegna mutacji z p-wem p m ; 7. Akceptacja: Umieść nowe chromosomy w nowej populacji; 8. Zamiana: Użyj nowej populacji do dalszych dzia lań algorytmu; 9. Test: Jeśli warunek STOPu zachodzi, zatrzymaj algorytm i zwracaj najlepsze rozwiazanie; 10. Powrót: Idź do kroku 2

8 Page 8 of Przyk lad Problem: Znaleźć liczbe w zbiorze {0, 1,..., 255}, której zapis binarny zawiera najwieksz a liczbe sekwencji 01. Znane rozwiazanie: 85 ( ) Ustawienie dla AG: Chromosomy: 8 bitów (bajt). Dekodowanie: konwersja z binarnego zapisu do dziesietnego. Fitness: Liczba sekwencji 01. Populacja: 10 osobników. Selekcja: Wybierz 5 najlepszych osobników do kojarzenia. Klonowanie: Każdy z nich jest kopiowany. Rekombinacja: (kojarzenia) Obcinanie 2 ciagów w losowej pozycji i wymiana ogonów. Mutacja: nie.

9 Page 9 of 38 Inicjalizacja: Selekcja: # Chromosomy Rozwiazanie Fitness a b c d e f g h i j Średnia 2.0 # Chromosomy Rozwiazanie Fitness b d a c e g h i f j

10 Page 10 of 38 # Chromosomy Rozwiazanie Fitness b d Nowa populacja po klonowaniu: a c e Średnia 2.4 # Chromosomy Rozwiazanie Fitness b a b+a d b d+b Kojarzenie: a c a+c b e b+e e d e+d

11 Page 11 of 38 Nowa kompletna populacja po sortowaniu: # Chromosomy Rozwiazanie Fitness b+e b b+a d a+c a c e d+b e+d Średnia 2.6

12 Page 12 of Kodowanie rozwiazań w AG Parametry ca lkowite: Parametry rzeczywiste: Wektor parametrów:

13 3.4. Selekcja Zasada: osobniki lepiej przystosowane do środowiska (wiekszy fitness) ma wieksz a szanse przeżyć (naturalna) selekcje; Selekcja proporcjonalna do fitness: Niech f i > 0: fitness i-tego osobnika, f = 1 f N j j: średnie przystosowanie populacji, wówczas osobnik zostanie wybrany przez selekcje z p-wem: Page 13 of 38 p i = f i j f j = f i Nf Ta metoda może być implementowana przez RULETKI, na przyk lad: W praktyce, implementujemy przez dystrybuant e: Selekcja rankingowa, turniejowa, elitarna,...

14 3.5. Krzyżowanie Krzyżowanie jedno-punktowe; Krzyżowanie dwu-punktowe; Page 14 of 38 Krzyżowanie wielo-punktowe;

15 4. Podstawowe Twierdzenia w GA 4.1. Schematy Schematem jest dowolne s lowo nad alfabetem {0, 1, }. Przyk lad: 010 1, 110,, 10101,... Page 15 of 38 Znak * jest symbolem uniwersalnym oznaczajacym dowolny znak. Schemat jest wzorcem opisujacym wiele ciagów bitowych. E.g. *10*1 reprezentuje 01001, 01011, 11001, o(h) rzad schematu H = liczba pozycji ustalonych (nie * ) w schemacie H. δ(h) rozpi etość schematu H = Odleg lość mi edzy skrajnymi pozycjami ustalonymi (nie-gwiazdkowymi)w schemacie H

16 Page 16 of Przyk lady schematów alfabet Σ = {0, 1} d lugość ciagu kodowego l = 6; schemat H 1 = H 2 = 0 1 H 3 = 1 rzad o(h 1 ) = 5 o(h 2 ) = 2 o(h 3 ) = 1 rozpietość δ(h 1 ) = 5 δ(h 2 ) = 3 δ(h 3 ) = 0 2 l ciagów kodowych; 3 l możliwych schematów; 2 l o(h) osobników (chromosomów) representuj acych schemat H; 2 l schematów reprezentowanych przez jednego osobnika;

17 4.3. Twierdzenie o schematach Przypomnijmy podstawowa wersje algorytmu genetycznego: Page 17 of 38 ALGORYTM_GENETYCZNY() //zwykly { int t = 0; P(t) = populacja_poczatkowa; Ocen_chromosomy(P(t)); while (! warunek_konca()) { t = t+1; C(t) = selekcja (P(t-1)); CR(t) = przetworzenie (C(t), P_c, P_m); P(t) = CR(T); Ocen_chromosomy(P(t)); } }

18 Page 18 of 38 Używamy nastepuj acych oznaczeń dla zbadanego schematu H: m(h, t) : oczekiwana obecność schematu H w chwili t m(h, t + 1) : oczekiwana obecność schematu H w chwili t + 1 f(h) : średnie przystosowanie reprezentantów schematu H w chwili t f = f i : średnie przystosowanie ca lej populacji N p c : prawdopodobieństwo krzyżowania δ(h) : rozpiȩtość schematu H l : : d lugość chromosomów o(h) : rzad schematu H : prawdopodobieństwo mutacji p m wówczas mamy: Twierdzenie (o schematach) m(h, t + 1) m(h, t) f(h) f [ ] δ(h) 1 p c l 1 o(h)p m

19 4.4. Wniosek z twierdzenia o schematach dla schematów niskiego rzedu i o ma lej rozpietości destruktywne efekty krzyżowania i mutacji można pominać, a wtedy: m(h, t + 1) = m(h, t) f(h) f(t) = m(h, t)(1 + ε) Page 19 of 38 przy za lożeniu, że f(h, t) = f (1 + ε), czyli schemat H ma dopasowanie o ε wi eksze niż średnia w populacji. zak ladajac, że ε nie zmienia sie w czasie, wówczas d lugoterminowy efekt przetwarzania schematu H bedzie nastepuj acy: m(h, t + s) = m(h, t)(1 + ε) t czyli oceniane powyżej średniej schematy niskiego rzedu i o ma lej rozpietości uzyskuja wyk ladniczo rosnac a liczbe reprezentantów w kolejnych pokoleniach

20 Page 20 of Hipoteza cegie lek (ang. Building Block Hypothesis) algorytm genetyczny poszukuje lepszych rozwiazań przez zestawianie wysokiej jakości schematów niskiego rzedu i o ma lej rozpietości (tzw. cegie lek) oceniajac poszczególne ciagi kodowe GA pośrednio ocenia jakość repre- zentowanych przez nie schematów; krzyżowanie pozwala na zestawianie ze soba wysokiej jakości schematów niskiego rzedu, budujac tak samo dobre lub lepsze schematy wyższego rzedu; jednocześnie przetwarzanych jest od 2 l do N 2 l schematów, ale cześć z nich jest niszczona Holland oszacowa l, że użytecznie przetwarzanych jest tylko ok. N 3 schematów (ukryta równoleg lość, ang. implicit parallelism)

21 Page 21 of 38 ALGORYTM_GENETYCZNY() //modyfikacja Hollanda { int t = 0; P(t) = populacja_poczatkowa; Ocen_chromosomy(P(t)); while (! warunek_konca()) { t = t+1; while(kompletna(p(t)) { } } chr1 = wybor(p(t-1)); if(random(0,1) < P_c) { chr2 = losowanie(p(t)); // niezaleznie od fitness l = wybor_punktu(1,l-1); krzyzowanie(chr1,chr2); // stworzone sa p_chr1 i p_chr2 dolacz(p_chr1,p(t)); dolacz(p_chr2,p(t)); }else dolacz(chr1,p(t)); } Ocen_chromosomy(P(t));

22 Page 22 of 38 Twierdzenie (o schematach w wersji Hollanda) [ δ(h) 1 p c l 1 m(h, t + 1) m(h, t) f(h) f ( 1 )] m(h, t) l

23 Page 23 of 38 ALGORYTM_GENETYCZNY() //modyfikacja D.Schaffera { int t = 0; P(t) = populacja_poczatkowa; Ocen_chromosomy(P(t)); while (! warunek_konca()) { t = t+1; while(kompletna(p(t)) { } } chr1 = wybor(p(t-1)); if(random(0,1) < P_c) { chr2 = wybor(p(t)); // tu jest roznica l = wybor_punktu(1,l-1); krzyzowanie(chr1,chr2); // stworzone sa p_chr1 i p_chr2 dolacz(p_chr1,p(t)); dolacz(p_chr2,p(t)); }else dolacz(chr1,p(t)); } Ocen_chromosomy(P(t));

24 Twierdzenie (o schematach w wersji D.Schaffera) Page 24 of 38 m(h, t + 1) m(h, t) f(h) [ f ( δ(h) 1 p c 1 f(h) l 1 f )] m(h, t) l

25 Page 25 of 38 Twierdzenie (Banacha o punkcie sta lym) Niech S, δ bȩdzie przestrzeni a metryczn a zupe ln a i niech f : S S bȩdzie odwzorowaniem zwȩżaj acym. Wtedy f ma jednoznaczny punkt sta ly x S taki, że x0 S lim f i (x 0 ) = x i W przypadku algorytmów genetycznych S : przestrzeń wszystkich { możliwych populacji. 0 if P1 = P δ : S S : δ(p 1, P 2 ) = 2, M f(p 1 ) + M f(p 2 ) wpp. f : S S : ALGORYTM_GENETYCZNY() z odw. zw eżaj acym { int t = 0; P(t) = populacja_poczatkowa; Ocen_chromosomy(P(t)); while (! warunek_konca()) { t = t+1; C(t) = selekcja (P(t-1)); CR(t) = przetworzenie (C(t), P_c, P_m); P(t) = CR(T); Ocen_chromosomy(P(t)); if (f(p(t-1)) >= f(p(t))) t = t-1; } }

26 Przekszta lcenie funkcji celu na funkcj e fitness W wielu problemach optymalizacji typu: znaleźć s S taki, że Q(s ) = max s S Q(s) Jeśli s Q(S) > 0, możemy definiować f raw (s) = Q(s) Możemy (1) przesuwać, (2) odwrócić (3) skalować zakres funkcji f raw Page 26 of 38

27 5.2. bezwarunkowej Przyk lad 1: Znaleźć wagi dla sztucznego neuronu Page 27 of 38 I 1 I 2 I 1 OR I U(w 1, w 2, b) = Σ T i O i O(I 1, I 2 ) = sgn(w 1 I 1 + w 2 I 2 + b) Parametry dla AG: 1-punktowe krzyżowanie z p c = 0.7 bez mutacji Selekcja turniejowa (N=2) Chromosomy = ciagi (b 1 b 2 b 3 ) gdzie b i { 1, 0, 1} Fitness = 4 U(w1, w 2, b) Liczba indywiduów = 4 Liczba generacji = 3

28 Kolejny Przyk lad: Znaleźć najlepsza wymierna aproksymacje liczby π za pomoca liczb naturalnych od 0 do Innymi s lowami, minimalizować funkcje U(x 1, x 2 ) = x 1 π x 2 gdzie x 1, x 2 {0,..., 1023}. Wykres tej funkcji wyglada nastepuj aco Page 28 of 38 Wiadomo, że najlepszym u lamkiem jest 355/113 (U < ) 22/7 też jest dobry.

29 Page 29 of 38 Parametry dla AG: 1-punktowe krzyżowanie z p c = 0.7 mutacja p m = 0.01 Selekcja turniejowa Chromosomy = ciagi 20-bitowe Fitness = 1000 U(x 1, x 2 ) Liczba indywiduów = 100 Liczba generacji = 50 Najlepsze znalezione liczby po 50 generacji to: x 1 = 776, x 2 = 247, tzn. U=

30 5.3. warunkowej Minimalizować(maks.) funkcje U(x) z uwzglednieniem warunków: 1. g i (x) 0; 2. h j (x) = 0; Najcześciej stosuje sie metode funkcji kar do transformacji problemu: Zamiast minimalizacji funkcji U(x), minimalizujemy funkcje U(x) + r i Φ[g i (x)] Page 30 of 38 gdzie r jest wsp. kary, a Φ jest funkcja kary, np. { g 2 Φ[g i (x)] = i (x) jeśli g i (x) < 0 0 w p.p. Podobnie możemy postepować z równościami Zalety: prostota Wady: Nie które warunki moga być naruszone poprzez dobre rozwiazania w pobliżu granicy przestrzeni przeszukiwań.

31 Page 31 of kombinatorycznej Rozpatrzmy problem komiwojażera: Aby używać standardowego AG, musimy rozwiazać nastepuj acy problem: Znaleźć taka binarna reprezentacje trasy, aby móc ja latwo przekszta lcić na chromosomy; Funkcja fitness, która uwzglednia warunki zadania; Np. macierz permutacji: { 1 jeśli c jest i-tym miastem na trasie V ct = 0 w p.p. zawierajaca dok ladnie jedna 1 w każdej kolumnie i w każdym wierszu.

32 Np. trasy i dla nast. problemu : Page 32 of 38 może być reprezentowana przez macierz: czas miasto czas miasto i

33 Page 33 of 38 Można je zamienić na chromosomy: χ 1 : i χ 2 : AG może stworzyć chromosomy niebed ace reprezentantami poprawnych rozwiazań. To sie zdarzy: przy inicjalizacji losowych chromosomów; lub przy operatorach genetycznych (mutacja i krzyżowanie). Same k lopoty z reprezentacja macierzowa. Lepiej szukać innej!

34 Page 34 of Inna reprezentacja Reprezentacja permutacyjna, np Potrzebne sa specjalistyczne operacje genetyczne: PMX (partially mapped crossover): Dwu-punktowe krzyżowanie definiuje zamian e. Np., dla v 1 = v 2 = dwu-punktowe krzyżowanie definiuje przedzia l dopasowania liczby w przedziale dopasowania tworza funkcje zamiany, np. 1 3, 2 5. Nowy chromosom otrzymuje sie przez stosowanie funkcji zamiany do pierwszego chromosomu, np. v 1 v 3 = OX (ordered crossover): OX bierze fragment trasy pierwszego rodzica i zachowuje, w miare możliwości, porzadek w trasie drugiego rodzica: Dwu-punktowe krzyżowanie v 1 = v 2 = Tworzymy nowa trase przez kopiowanie środkowego fragmentu pierwszej trasy: v 4 = 25 ; zaczynajac od drugiego punktu ciecia ustawimy kolejność miast wed lug drugiej trasy: [21345] uzupe lniamy trase poczawszy od drugiego punktu ciecia: v 4 = 42513;

35 CX (cycle crossover): Wprowadzenie Wybierzny pierwsze miasto z pierwszej trasy v 1 = v 2 = v 5 = 1 kolejne miasto do rozpatrywania jest definiowane przez druga trase: v 1 = v 2 = v 5 = 1 3 powtarzamy to dopóki spotkania cyklu. Pozosta le miasta sa przepisane z drugiej trasy v 5 = ERX (Edge recombination crossover): potomkowie sa tworzone wy l acznie z krawedzi wystepuj acych u rodziców: Page 35 of 38 Tworzymy macierz po l aczeń z tras rodziców: miasto v 1 = v 2 = otrzymujemy l aczone z Wybierzmy miasto z najmniejsza ilościa po l aczeń: v 6 = 1 i usuwamy informacje z nim zwiazane; miasto l aczone z powinniśmy na końcu dostać v =

36 6. G lówne zastosowanie: optymalizacja funkcji rzeczywistych wielowymiarowych. Zadanie: znaleźć maksimum funkcji f : R n R Page 36 of 38 na danym przedziale D = [a 1, b 1 ]...[a n, b n ] Rozwiazanie: przez x = (x 1,...x n ) oznaczmy przyk ladowe rozwiazanie (punkt z przestrzeni stanów, x i [a i, b i ]). Każdemu wektorowi x przyporzadkujemy pomocniczy wektor wartości rzeczywistych dodatnich: σ = (σ 1,...σ n ). Para (x, σ) bedzie stanowi la kod genetyczny osobnika.

37 Page 37 of 38

38 Page 38 of 38