METODY ANALITYCZNE kontra AG/AE OBLICZENIA EWOLUCYJNE FITNESS F. START COMPUTATION FITNESS F. COMPUTATION INITIAL SUBPOPULATION SENDING CHROM. TO COMPUTERS chromosome EVOLUTIONARY OPERATORS AND RECEIVING FITNESS F. wykład 2 VALUE fitness f. value MIGRATION PHASE FITNESS F. communication COMPUTATION with other SELECTION subpopulations YES TERMINATION CONDITION NO END 1 Metody analityczne: Ścisłe rozwiązanie Wysoka szybkość działania Funkcja celu musi być ciągła. Duże ryzyko zbiegnięcia się algorytmu do optimum lokalnego. Wybór punktu startowego wpływa na zbieżność metody. AG/AE: Jedyną informacją potrzebną do działania jest wartość f. celu Praca na populacji dopuszczalnych rozwiązań Przeszukiwanie wielokierunkowe Stosunkowo wolne Trudności z precyzyjnym znalezieniem optimum 2 ALGORYTMY NAŚLADUJĄCE PROCESY ZACHODZĄCE W NATURZE: algorytmy genetyczne; programowanie ewolucyjne (ewoluujące automaty); programowanie genetyczne; strategie ewolucyjne; sieci neuronowe; algorytmy mrówkowe; algorytmy immunologiczne. algorytmy rojowe... 3 ZASTOSOWANIA PRAKTYCZNE AG (i AE): harmonogramowanie; wyznaczanie trasy połączeń kablowych; sterowanie adaptacyjne; rozgrywanie gier; zadanie plecakowe; zadanie komiwojażera; sterowanie optymalne; optymalizacja obsługi pytań w bazach danych; 4 nieliniowe systemy dynamiczne analiza danych; przewidywanie; projektowanie sieci neuronowych: architektury i wagi; poruszanie robotem; tworzenie programów; planowanie; znajdowanie kształtu molekuł białek; tworzenie grafik i muzyki;... 5 SZTUKA? http://classes.yale.edu/fractals/ca/ga/ga.html Steven Rooke: generowanie fraktali złożonych ze zbioru Mandelbrota. Zaczynał ze 100 obrazków w populacji przypisując każdemu funkcję estetyczną i stosując klasyczny AG. 6 1
MUZYKA? Joanna Kołodziejczyk: Elementy sztucznej inteligencji - http://bijo.wi.ps.pl/ Rozpatrywać można zawsze zadanie maksymalizacji: g (x) = -f (x) min f (x) = max g(x) = max{-f (x)} W chromosomie pamiętane są poziome wysokości tonów. Allele określają półtony mogące być odtwarzane jako akordy. Oceny jakości dokonuje operator nadając wagi odpowiednim chromosomom. 7 Zakłada się również, iż funkcja jest dodatnia w całej dziedzinie (selekcja!) max g(x) = max{g(x )+C} (jeśli g(x) jest ograniczona z dołu) 8 Wielkości zadawane przed uruchomieniem AG: liczebność populacji, prawdopodobieństwo krzyżowania, prawdopodobieństwo mutacji, inne (zależy od algorytmu). C 9 Zazwyczaj wartości dobiera się eksperymentalnie (metodą prób i błędów), indywidualnie dla rozwiązywanego problemu... choć istnieją pewne ogólne zalecenia... 10 KODOWANIE LICZB RZECZYWISTYCH Założenia: f : R k R D i = [a i, b i ] R f (x 1,...x k ) > 0 dla każdego x i D i dokładność do c liczb znaczących po przecinku ODKODOWYWANIE: 1. Przekształcenie łańcucha binarnego o długości m na liczbę dziesiętną x ; 2. Obliczenie rzeczywistej wartości liczby: Wykonanie: 1. Podział D i = [a i, b i ] na r = (b i - a i ) 10 c podprzedziałów. 2. Wyznaczenie najmniejszej liczby całkowitej m: (b i - a i ) 10 c 2 m 1 11 12 2
Przykład: a i = -1; b i = 2; c = 6 f (x) = x sin(10π x) +1 max{ f (x)} liczba podprzedziałów: r = (b i - a i ) 10 c = 3 10 6 (b i - a i ) 10 c 2 m 1 Dziedzina funkcji: x [-1, 2] Liczba miejsc po przecinku: c = 6 Na ilu bitach trzeba zakodować liczbę (wyznaczenie m)? 13 [2 - (-1)] 10 6 +1 = 3 000 001 2 m 2 097 152 = 2 21 3 000 001 2 22 = 4 194 304 m = 22 14 Mając ciąg bitów: 1100101010010101010101 00000000000000000000000 1111111111111111111111 Odkodowywanie: 1. Przekształcenie łańcucha na liczbę dziesiętną x : x =3319125 2. Obliczenie rzeczywistej wartości liczby: x = 0 x = 4194303 =1.374025 a i = -1; b i = 2; c = 6 15 a i = -1; b i = 2 16 Przykład: f (x) = 21.5 + x 1 sin(4πx 1 ) + x 2 sin(20πx 2 ) x 1 [-3.0, 12.1] x 2 [4.1, 5.8] c 1 = c 2 = 4 max{f (x 1, x 2 )} x 1 : x 2 : r 1 = (b 1 - a 1 ) 10 c = 15.1 10 4 15.1 10 4 2 m 1 131 032 = 2 17 151 001 2 18 = 262 144 m 1 = 18 r 2 = (b 2 - a 2 ) 10 c = 1.7 10 4 1.7 10 4 2 m 1 16 384 = 2 14 17 001 2 15 = 32 768 m 2 = 15 m = m 1 + m 2 = 33 17 11001010100101011001110101010101 18 3
SCHEMATY 19 SCHEMAT: OSOBNIK PRZYSTOSOWANIE 11000 576 01011 121 01000 64 10011 361? Alfabet trójkowy: { 0, 1, *} *- symbol uniwersalny, nieistotne Wzorzec opisujący zbiór łańcuchów podobnych ze względu na ustalone pozycje. 20 S 1 =(*111100100) (1111100100) i (0111100100) S 2 =(*1*1100100) (1111100100),(1101100100) (0101100100),(0111100100) Do każdego schematu pasuje 2 r łańcuchów (r liczba * w schemacie) Schemat reprezentuje wszystkie łańcuchy, które zgadzają się z nim na wszystkich pozycjach innych niż *. 21 Ale: Do każdego łańcucha o długości m pasuje 2 m schematów. Np. dla łańcucha (1001): 1001, *001,1*01,10*1,100*, **01,*0*1,*00*,1**1,1*0*,10**, 1***,*0**,**0*,***1, **** 2 m = 2 4 =16 22 Z kolei: Dla wszystkich łańcuchów o długości m istnieje 3 m schematów. (3 = 1 + 0 + * ) Np. dla łańcuchów 5-bitowych: 2 5 = 32 różnych łańcuchów; 3 5 = 243 różne schematy. Rząd schematu o(s): - liczba pozycji ustalonych w schemacie: S 1 = (***001**10), o(s 1 ) = 5; S 2 = (*0**00**1*), o(s 2 ) = 4; S 3 = (1110011*11), o(s 3 ) = 9; Rząd schematu określa jego specyficzność. (***001****) i (00*******1) 23 ten sam rząd, ale... 24 4
Rozpiętość (długość definiująca) schematu δ(s): - odległość pomiędzy pierwszą a ostatnią pozycją ustaloną w schemacie: S 1 = (***001**10), δ(s 1 ) = 10-4=6; S 2 = (*0**00**1*), δ(s 2 ) = 9-2=7; S 3 = (1110011*11), δ(s 3 ) = 10-1=9 Schematy: stanowią narzędzie do ścisłego badania i klasyfikowania podobieństw ciągów kodowych; są podstawowym narzędziem analizy wpływu operacji genetycznych na zachowanie populacji. Rozpiętość schematu określa jego zwartość. 25 26 WPŁYW OPERACJI GENETYCZNYCH NA SCHEMATY 27 v1 = 100110100000001111111010011011111 v2 = 111000100100110111001010100011010 v3 = 000010000011001000001010111011101 v4 = 100011000101101001111000001110010 v5 = 000111011001010011010111111000101 v6 = 000101000010010101001010111111011 v7 = 001000100000110101111011011111011 v8 = 100001100001110100010110101100111 v9 = 010000000101100010110000001111100 v10 = 000001111000110000011010000111011 v11 = 011001111110110101100001101111000 v12 = 110100010111101101000101010000000 v13 = 111011111010001000110000001000110 v14 = 010010011000001010100111100101001 v15 = 111011101101110000100011111011110 v16 = 110011110000011111100001101001011 v17 = 011010111111001111010001101111101 v18 = 011101000000001110100111110101101 v19 = 000101010011111111110000110001100 v20 = 101110010110011110011000101111110 S 0 = (****111**************************) L. łańcuchów pasujących do S 0 w chwili t: ξ(s 0, t)=3 Rząd schematu: o(s 0 ) =3 Rozpiętość schematu: δ(s 0 ) = 7-5 = 2 28 Dopasowanie schematu w chwili t: eval(s 0,t) = (27.316702+30.060205+23.867227)/3 =27.081378 Średnie dopasowanie populacji: = 387.776822/20 = 19.388841 v ij łańcuch pasujący do schematu S pop_size l. osobników w populacji Liczba łańcuchów pasująca do schematu w chwili t+1: ξ(s 0, t+1) = 3 (27.081378 /19.388841) = 3 1.396751 = 4.19 ξ(s 0, t+2) = 4.19 1.396751 = 5.85 (teoretycznie) 29 Selekcja v 1 = 011001111110110101100001101111000 = v11 v 2 = 100011000101101001111000001110010 = v4 v 3 = 001000100000110101111011011111011 = v7 v 4 = 011001111110110101100001101111000 = v11 v 5 = 000101010011111111110000110001100 = v19 v 6 = 100011000101101001111000001110010 = v4 v 7 = 111011101101110000100011111011110 =v15 v 8 = 000111011001010011010111111000101 = v5 v 9 = 011001111110110101100001101111000 = v11 v 10 = 000010000011001000001010111011101 = v3 v 11 = 111011101101110000100011111011110 = v15 v 12 = 010000000101100010110000001111100 = v9 v 13 = 000101000010010101001010111111011 = v6 v 14 = 100001100001110100010110101100111 = v8 v 15 = 101110010110011110011000101111110 = v20 v 16 = 100110100000001111111010011011111 = v1 v 17 = 000001111000110000011010000111011 = v10 v 18 = 111011111010001000110000001000110 = v13 v 19 = 111011101101110000100011111011110 = v15 v 20 = 110011110000011111100001101001011 = v16 nie wprowadza nowych schematów; powiela najlepsze schematy; niweluje najgorsze schematy. 30 5
Krzyżowanie v 18 = 111011111010001000110000001000110 v 18 pasuje do2 33 schematów, np.: S 0 = (****111**************************) S 1 = (111****************************10) v 13 =000101000010010101001010111111011 S 0 = (****111**************************) S 1 = (111****************************10) Rozpiętości schematów: δ(s 0 ) = 7-5=2 δ(s 1 ) = 33-1=32 Prawdopodobieństwo zniszczenia schematu: punkt krzyżowania: pk = 20 p d (S 0 )=2/32=1/16=0.0625 p d (S 1 )=32/32=1 Po krzyżowaniu: v 18 = 111011111010001000111010111111011 Prawdopodobieństwo przetrwania schematu: v 13 = 000101000010010101000000001000110 31 p S (S 0 )= 1-2/32=0.9375 p S (S 1 )= 1-1=0 32 Uwzględniając całą populację (p c ) prawdopodobieństwo przetrwania schematu: Liczba łańcuchów pasujących do schematu S w chwili t+1 uwzględniając selekcję i krzyżowanie: p c = 0.25 p S (S 0 )= 1-0.25*2/32=0.9844 p S (S 1 )= 1-0.25*1=0.75 (RÓWNANIE WZROSTU SCHEMATU) Uwzględniając możliwość pasowania obu partnerów do schematu S: U nas: ξ(s 0, t+1) 3 1.396751 (1-0.25 2/32) = 4.12 33 uwzględniając tylko selekcję: ξ (S 0, t+1) = 4.18 34 Mutacja v 19 = 111011101101110000100011111011110 RÓWNANIE WZROSTU SCHEMATU S 0 = (****111**************************) wylosowano gen nr 8: v 19 = 111011111101110000100011111011110 Prawdopodobieństwo przetrwania bitu: 1- p m Prawdopodobieństwo przetrwania schematu: p s (S) = (1- p m ) o(s) p m << 1 p s (S) 1- o(s) p m 35 U nas: ξ(s 0, t+1) 3 1.396751 (1-0.25 2/32-3 0.01) = 4.0 uwzględniając selekcję i krzyżowanie: ξ (S 0, t+1) = 4.12 uwzględniając tylko selekcję: ξ (S 0, t+1) = 4.18 36 6
TWIERDZENIE O SCHEMATACH: Krótkie, niskiego rzędu i oceniane powyżej średniej schematy uzyskują wykładniczo rosnącą liczbę łańcuchów w kolejnych pokoleniach. HIPOTEZA O BLOKACH BUDUJĄCYCH: Algorytm genetyczny poszukuje działania zbliżonego do optymalnego przez zestawianie krótkich, niskiego rzędu schematów o dużej wydajności działania, zwanych blokami budującymi (cegiełkami). 37 SCHEMATY - problemy 38 Założenie 1: S 1 = (111********) S 2 = (*********11) Dopasowanie ich liniowej kombinacji: S 3 = (111******11) Założenie 2: jest gorsze, niż: S 4 = (000******00) Optymalny osobnik: v 0 = (11111111111) Algorytm genetyczny może mieć trudności ze zbiegnięciem się do v 0 i może się zbiegać do punktów w rodzaju: v 1 = (00011111100) Zjawisko zawodu zadanie zwodnicze 39 EPISTAZA: W biologii (genetyce) efekt maskowania (obecność genu epistatycznego tłumi efekt innego genu); W AG: silne uzależnienie między genami w chromosomie (określa, na ile wpływ jednego genu na dopasowanie chromosomu zależy od wartości innych genów). Sposoby postępowania w przypadku zadań zwodniczych: Specyficzny dla danego zadania sposób kodowania zadania (zakłada się odpowiednią wiedzę o przebiegu funkcji celu); Użycie operatora inwersji; Nieporządny algorytm genetyczny. 40 Inwersja operator jednoargumentowy; wybór 2 punktów w łańcuchu i odwracana kolejność bitów między nimi; konieczność pamiętania początkowej pozycji bitów. np.: v = (00011010001) v=((1,0)(2,0)(3,0) (4,1)(5,1)(6,0)(7,1) (8,0)(9,0)(10,0)(11,1)) v =((1,0)(2,0)(3,0) (7,1)(6,0)(5,1)(4,1) (8,0)(9,0)(10,0)(11,1)) Algorytm korzystający z inwersji poszukuje najlepszego położenia bitów do formowania cegiełek. 41 NIEPORZĄDNY ALGORYTM GENETYCZNY Każdy bit chromosomu jest oznaczony; Łańcuchy mają zmienną długość i nie jest wymagana pełna liczba genów; Możliwa jest: nadmiarowość, powtórzenia i niedookreślenie: v 1 = ((7,1)(1,0)) v 2 = ((3,1)(9,0)(3,1)(3,1)(3,1)) v 3 = ((2,1)(2,0)(4,1)(5,0)(6,0)(7,1)(8,1)); Stosuje się zmodyfikowane operatory (łączenie i cięcie); Operator mutacji jak w AG; Selekcja turniejowa; 42 7
Łączenie: Skleja dwa łańcuchy z pewnym prawdopodobieństwem: Cięcie: v 1 = ((7,1)(1,0)) v 2 = ((3,1)(9,0)(3,1)(3,1)(3,1)) v 4 = ((7,1)(1,0)(3,1)(9,0)(3,1)(3,1)(3,1)) Rozcina (z pewnym prawdopodobieństwem) łańcuch w losowo wybranym miejscu na dwa osobniki potomne: v 3 = ((2,1)(2,0)(4,1)(5,0)(6,0)(7,1)(8,1)) v 5 = ((2,1)(2,0)(4,1)) v 6 = ((5,0)(6,0)(7,1)(8,1)) ZBIEŻNOŚĆ AG NAG dają zaskakująco dobre rezultaty dla niektórych funkcji zawodnych. 43 44 Przedwczesna zbieżność: Przyczyny braku zbieżności AG: Przez przedwczesną zbieżność rozumie się utratę przez algorytm optymalizacyjny zdolności przeszukiwania przestrzeni poszukiwań przed osiągnięciem ekstremum globalnego. Zjawisku temu nie można zapobiec całkowicie, lecz można je ograniczać (np. stosując AE). Kodowanie powoduje, iż algorytmy pracują w innej przestrzeni, niż przestrzeń zadania; Teoretycznie nieograniczona liczba iteracji w praktyce musi być skończona; Teoretycznie nieograniczona liczebność populacji w praktyce musi być skończona. 45 46 Strategie zwalczania przedwczesnej zbieżności: Ad. 1. Mechanizm próbkowania (modyfikacje procedury selekcji). Zapobieganie kazirodztwu; Jednorodne krzyżowanie; Wykrywanie jednakowych łańcuchów w populacji. Większość badań koncentruje się na: 1. Określeniu zakresu i rodzaju błędów związanych z wyborem punktów próbnych (mechanizm próbkowania); 2. Charakterystyce funkcji celu (skalowanie funkcji celu). Istotne czynniki wpływające na znalezienie optimum globalnego: różnorodność populacji; napór selekcyjny. Celem jest osiągnięcie równowagi. 47 48 8
Modele selekcji: Napór selekcyjny (selektywny nacisk): Tendencja algorytmu do poprawiania wartości średniej przystosowania. Algorytm charakteryzuje się tym większym naporem selekcyjnym, im większa jest oczekiwana liczba kopii lepszego osobnika w porównaniu z oczekiwaną liczbą kopii osobnika gorszego. 49 Model elitarny nacisk kładziony na uzyskanie najlepszych osobników (forsowanie najlepszych do następnych pokoleń); Model wartości oczekiwanej licznik ustawiany na wartość początkową [eval(v)/eval śr (v)] i odpowiednio zmniejszany, gdy osobnik podlega reprodukcji. Gdy licznik osiąga 0 śmierć osobnika; Elitarny model wartości oczekiwanej połączenie powyższych metod; Model ze współczynnikiem zatłoczenia: nowy chromosom wymienia stary (stary jest wybierany spośród takich, które są podobne do nowego); 50 Selekcja proporcjonalna nieodporna na dodanie stałej do funkcji celu: y=sin(x); y*=sin(x)+100 Modele selekcji: Metoda stochastycznego próbkowania na podstawie reszty z zamianą - osobniki potomne otrzymuje się uwzględniając część całkowitą wartości oczekiwanej pojawienia się osobnika w następnym pokoleniu. O pozostałe miejsca w populacji osobniki rywalizują na podstawie części ułamkowej. x 1 =80 0, y 1 =0.9848 x 1 =80 0, y* 1 =100.9848 x 2 =50 0, y 2 =0.766 x 2 =50 0, y* 2 =100.766 y 1 /y 2 =1.29 y 1 /y 2 =1.002 W ekstremalnym przypadku błądzenie przypadkowe... 51 Stochastyczne próbkowanie uniwersalne koło ruletki o równych polach; Selekcja turniejowa wybór k osobników (k rozmiar turnieju, zwykle k=2) i selekcja najlepszego z grupy. Powtarzane pop_size razy. Selekcja rankingowa szeregowanie osobników wg wartości przystosowania i selekcja zgodnie z kolejnością (wg tzw. linii rangi) związana z tzw. superosobnikami. 52 Superosobniki: Ad. 2. Skalowanie funkcji celu (regulacja liczby kopii) Skalowanie liniowe: f = a f + b Niepożądane w początkowej fazie działania (przedwczesna zbieżność); Pozytywne pod koniec pracy algorytmu (zawężenie przestrzeni poszukiwań). f przystosowanie pierwotne; f przystosowanie po skalowaniu; a, b współczynniki. f śr = f śr f max = c f śr c współczynnik zwielokrotnienia (typowo c = 1.2 2) 53 54 9
Populacja młoda: Przystosowanie po skalowaniu Populacja dojrzała: Przystosowanie po skalowaniu 2f śr 2f śr f śr 0 f śr f min f min f śr = f śr f min = 0 0 0 f min f sr f max Przystosowanie pierwotne 0 f min f śr f max Przyst. pierwotne 55 56 Inne skalowania: Obcinanie na poziomie odchylenia standardowego: d liczba całkowita (zwykle d = 1 5); σ odchylenie standardowe populacji. Skalowanie zgodne z prawem potęgowym: k parametr bliski 1 (np. k = 1.005); 57 10