OBLICZENIA EWOLUCYJNE

Transkrypt

1 OBLICZENIA EWOLUCYJNE FITNESS F. START COMPUTATION FITNESS F. COMPUTATION INITIAL SUBPOPULATION SENDING CHROM. TO COMPUTERS chromosome AND RECEIVING FITNESS F. wykład VALUE 3 fitness f. value EVOLUTIONARY OPERATORS MIGRATION PHASE FITNESS F. COMPUTATION communication with other subpopulations SELECTION YES TERMINATION CONDITION NO END 1

2 SCHEMATY - problemy 2

3 Założenie 1: S 1 = (111********) S 2 = (*********11) Dopasowanie ich liniowej kombinacji: S 3 = (111******11) Założenie 2: jest gorsze, niż: S 4 = (000******00) Optymalny osobnik: v 0 = ( ) Algorytm genetyczny może e mieć trudności ze zbiegnięciem się do v 0 i może e się zbiegać do punktów w w rodzaju: v 1 = ( ) Zjawisko zawodu zadanie zwodnicze 3

4 EPISTAZA: W biologii (genetyce) efekt maskowania (obecność genu epistatycznego tłumi efekt innego genu); W AG: : silne uzależnienie między genami w chromosomie (określa, na ile wpływ jednego genu na dopasowanie chromo- somu zależy y od wartości innych genów). Sposoby postępowania powania w przypadku zadań zwodniczych: Specyficzny dla danego zadania sposób b kodowania zadania (zakłada ada się odpowiednią wiedzę o przebiegu funkcji celu); Użycie operatora inwersji; Nieporządny algorytm genetyczny. 4

5 Inwersja operator jednoargumentowy; wybór r 2 punktów w w łańcuchu i odwracana kolejność bitów w między nimi; konieczność pamiętania początkowej pozycji bitów. np.: v = ( ) v=(( =((1,0)( )(2,0)(3,0) (4,1)(5,1)(6,0)(7,1) (8,0)(9,0)(10,0)(11,1)) v =(( =((1,0)( )(2,0)(3,0) (7,1)(6,0)(5,1)(4,1) (8,0)(9,0)(10,0)(11,1)) Algorytm korzystający z inwersji poszukuje najlepszego położenia bitów w do formowania cegiełek ek. 5

6 NIEPORZĄDNY ALGORYTM GENETYCZNY Każdy bit chromosomu jest oznaczony; Łańcuchy mają zmienną długość i nie jest wymagana pełna liczba genów; Możliwa jest: nadmiarowość, powtórzenia i niedookreślenie: v 1 = ((7,1)(1,0)) v 2 = ((3,1)(9,0)(3,1)(3,1)(3,1)) v 3 = ((2,1)(2,0)(4,1)(5,0)(6,0)(7,1)(8,1)); Stosuje się zmodyfikowane operatory (łączenie i cięcie); Operator mutacji jak w AG; Selekcja turniejowa; 6

7 Łączenie: Skleja dwa łańcuchy z pewnym prawdopodobieństwem: Cięcie: v 1 = ((7,1)(1,0)) v 2 = ((3,1)(9,0)(3,1)(3,1)(3,1)) v 4 = ((7,1)(1,0)(3,1)(9,0)(3,1)(3,1)(3,1)) Rozcina (z pewnym prawdopodobieństwem) łańcuch w losowo wybranym miejscu na dwa osobniki potomne: v 3 = ((2,1)(2,0)(4,1)(5,0)(6,0)(7,1)(8,1)) v 5 = ((2,1)(2,0)(4,1)) v 6 = ((5,0)(6,0)(7,1)(8,1)) NAG dają zaskakująco dobre rezultaty dla niektórych funkcji zawodnych. 7

8 ZBIEŻNO NOŚĆ AG 8

9 Przedwczesna zbieżno ność: Przez przedwczesną zbieżno ność rozumie się utratę przez algorytm optymalizacyjny zdolności przeszukiwania przestrzeni poszukiwań przed osiągni gnięciem ekstremum globalnego. Zjawisku temu nie można zapobiec całkowicie, lecz można je ograniczać (np.. stosując c AE). 9

10 Przyczyny braku zbieżno ności AG: Kodowanie powoduje, iżi algorytmy pracują w innej przestrzeni,, niż przestrzeń zadania; Teoretycznie nieograniczona liczba iteracji w praktyce musi być skończona; Teoretycznie nieograniczona liczebność populacji w praktyce musi być skończona. 10

11 Strategie zwalczania przedwczesnej zbieżno ności: Zapobieganie kazirodztwu; Jednorodne krzyżowanie; Wykrywanie jednakowych łańcuchów w w populacji. Większo kszość badań koncentruje się na: 1. Określeniu zakresu i rodzaju błęb łędów w związanych zanych z wyborem punktów w próbnych (mechanizm próbkowania) bkowania); 2. Charakterystyce funkcji celu (skalowanie( funkcji celu). 11

12 Ad. 1. Mechanizm próbkowania (modyfikacje procedury selekcji). Istotne czynniki wpływające na znalezienie optimum globalnego: różnorodność populacji; napór selekcyjny. Celem jest osiągnięcie równowagi. 12

13 Selekcja proporcjonalna nieodporna na dodanie sta do funkcji celu: y=sin( =sin(x); y*=sin( *=sin(x)+100 stałej x 1 =80 0, y 1 = x 1 =80 0, y* 1 = x 2 =50 0, y 2 =0.766 x 2 =50 0, y* 2 = y 1 /y 2 =1.29 y 1 /y 2 =1.002 W ekstremalnym przypadku błądzenie przypadkowe... 13

14 Modele selekcji: Model elitarny nacisk kładziony k na uzyskanie najlepszych osobników w (forsowanie najlepszych do następnych pokoleń); Model wartości oczekiwanej licznik ustawiany na wartość początkow tkową [eval(v)/eval śr (v)] ] i odpowiednio zmniejszany, gdy osobnik podlega reprodukcji. Gdy licznik osiąga 0 śmierć osobnika; Elitarny model wartości oczekiwanej połą łączenie powyższych metod; Model ze współczynnikiem zatłoczenia oczenia: : nowy chromosom wymienia stary (stary( jest wybierany spośród d takich, które sąs podobne do nowego); 14

15 Modele selekcji: Metoda stochastycznego próbkowania na podstawie reszty z zamianą - osobniki potomne otrzymuje się uwzględniaj dniając c część całkowit kowitą wartości oczekiwanej pojawienia się osobnika w następnym pokoleniu. O pozostałe e miejsca w populacji osobniki rywalizują na podstawie częś ęści ułamkowej. u Stochastyczne próbkowanie uniwersalne koło o ruletki o równych polach; Selekcja turniejowa wybór r k osobników w (k rozmiar turnieju, zwykle k=2) i selekcja najlepszego z grupy. Powtarzane pop_size razy. Selekcja rankingowa szeregowanie osobników w wg wartości przystosowania i selekcja zgodnie z kolejności cią (wg tzw. linii rangi) związana zana z tzw. superosobnikami. 15

16 Superosobniki: Niepożą żądane w początkowej fazie działania ania (przedwczesna zbieżno ność); Pozytywne pod koniec pracy algorytmu (zawęż ężenie przestrzeni poszukiwań). 16

17 Ad. 2. Skalowanie funkcji celu Skalowanie liniowe: f = a f + b (regulacja liczby kopii) f przystosowanie pierwotne; f przystosowanie po skalowaniu; a, b współczynniki czynniki. a, b f śr = f śr f max = c f śr c współczynnik zwielokrotnienia (typowo c = 1.2 2) 2) 17

18 Populacja młoda: m Przystosowanie po skalowaniu 2f śr f śr f min 0 0 f min f sr f max Przystosowanie pierwotne 18

19 Populacja dojrzała: a: Przystosowanie po skalowaniu 2f śr f śr 0 f min f śr = f śr f min = 0 0 f min f śr f max Przyst. pierwotne 19

20 Inne skalowania: Obcinanie na poziomie odchylenia standardowego: f ' = f + ( f d σ ) d liczba całkowita (zwykle d = 1 5); 1 σ odchylenie standardowe populacji. śr Skalowanie zgodne z prawem potęgowym: f ' = f k k parametr bliski 1 (np( np. k = 1.005); 20

21 LICZEBNOŚĆ POPULACJI 21

22 Istotny parametr AG... Możliwo liwości regulacji liczebności ci populacji: Metaalgorytmy genetyczne sterujące parametrami innego AG; Skorzystanie z różnych algorytmów w ustalania liczebności ci populacji ; AG ze zmienną liczebności cią populacji. 22

23 procedure AGzZLP begin t:=0 wybierz populację początkową P(t) oceń P(t) while (not warunek zakończenia) do begin t:=t+1 podnieś wiek każdego osobnika o 1 zmień P(t) (utwórz P (t)) oceń P (t) usuń osobniki o wieku większym od ich czasu życia end end 23

24 Populacja pomocnicza P (t): pop_size (t) ) = ρ pop_size(t) ρ współczynnik reprodukcji procedure AGzZLP begin t:=0 wybierz populację początkową P(t) oceń P(t) while (not warunek zakończenia) do begin t:=t+1 podnieś wiek każdego osobnika o 1 zmień P(t) oceń P (t) usuń osobniki o wieku większym od ich czasu życia end end Prawdopodobieństwo wyboru do P (t) niezależne ne od dopasowania osobnika. Krzyżowanie i mutacja tylko w populacji P (t); Czas życia przypisywany jest jednorazowo każdemu osobnikowi; Wiek osobnika rośnie od 0; Śmierć osobnika gdy wiek przekracza czas jego życia. 24

25 Liczebność populacji po jednej iteracji: pop_size(t+1) = pop_size(t) ) + pop_size (t) D(t) D(t) liczba osobników, które wyginęł ęły y w pokoleniu t. Ustalanie czasu życia osobników: Wzmacnianie osobników z wartości cią dopasowania powyżej średniej i osłabianie gorszych od średniej; Dostrajanie liczebności ci populacji do bieżą żącego etapu poszukiwań (szczególnie ochrona przed wykładniczym wzrostem populacji). 25

26 Przykład ad: ( ) 2 sin x + y 0.5 f ( x) = ( x + y ), -100 x, y

27 f śr pop_size Numer pokolenia 27

28 AG i dylemat więźnia Dylemat więź ęźnia nia (zdrada czy współpraca) praca): Gracz 1 Gracz 2 P1 P2 Uwagi Z Z 1 1 Kara za wspóln lną zdradę Z W 5 0 Zapłata ata przez naiwnego W Z 0 5 i zachęta do zdrady W W 3 3 Nagroda za współprac pracę Użycie AG do nauki strategii postępowania powania (Axelrod 87) 28

29 A. Reprezentacja zadania: Korzystamy z informacji o 3 poprzednich ruchach 64 bity (4x4x4 możliwo liwości); 3 ruchy wstępne (przesłanki): +6 bitów Łańcuch 70-bitowy Łańcuch: całkowicie reprezentuje strategię; reprezentuje gracza. 29

30 B. Algorytm 1. Wybór r początkowej populacji. 2. Sprawdzenie każdego gracza. Każdy gracz rozgrywa gry z pozostałymi graczami. Wynik średnia ze wszystkich rozgrywanych gier. 3. Wybór r graczy do rozmnożenia. Gracz ze średnim wynikiem dostaje jednego partnera, gracz z wynikiem o 1 odchylenie standardowe lepszym dwóch partnerów, gracz z wynikiem o 1 odch.. st. gorszym nie dostaje żadnego partnera. 4. Kojarzenie wygrywających graczy. Krzyżowanie i mutacja wśród w d wybranych. 30

31 C. Efekty 1. Przedłużaj współprac pracę po 3 kolejnych współpracach pracach W po (WW)(WW)(WW) 2. Zdradzaj, jeśli zdradzono cię po dłuższej d współpracy pracy Z po (WW)(WW)(WZ) 3. Akceptuj przeprosiny W po (WW)(WZ)(ZW) 4. Zapominaj W po (ZW)(WW)(WW) 5. Zdradzaj po 3 kolejnych zdradach Z po (ZZ)(ZZ)(ZZ) 31

32 METODY UWZGLĘDNIANIA OGRANICZEŃ 32

33 Np. Problem komiwojażera: Kodowanie klasyczne klasyczne: (W genie danego miasta zapisany jest numer miasta docelowego). Kodowanie permutacyjne: (W kolejnych genach zapisane są kolejne miasta) Dla kodowania klasycznego: 33

34 1. Metoda kary Kara stała a (w tym kara śmierci); Kara zależna od stopnia naruszenia ograniczenia (zależno ność liniowa, logarytmiczna, wykładnicza itp). 2. Algorytmy naprawy Wady: znaczne wydłużenie czasu obliczeń; - korygowanie rozwiąza zań niedopuszczalnych. algorytm naprawy musi być dopasowany do konkretnego zadania; proces korygowania może e być równie złożony, z ony, jak zadanie początkowe. 34

35 3. Użycie U dekoderów Dekodery przekształcenia reprezentacji gwarantujące (lub zwiększaj kszających prawdopodobieństwo) generowania osobników w spełniaj niających ograniczenia. Wady: wysokie wymagania obliczeniowe; nie wszystkie ograniczenia mogą być w ten sposób uwzględnione; konieczność stosowania dedykowanych dekoderów. 35

36 Zadanie załadunku adunku (plecakowe) Istnieje cały y szereg zadań załadunku adunku (zadań plecakowych). Dany jest zbiór r rzeczy o nadanych rozmiarach i wartościach ciach; Należy y wybrać jeden lub wiele rozłą łącznych podzbiorów tak, by suma rozmiarów w w każdym podzbiorze nie przekroczyła a zadanego ograniczenia (pojemność plecaka) i by suma wartości była maksymalna. Wiele zadań z tej klasy jest NP-trudnych trudnych. 36

37 PROBLEMY NP Problem NP (nondeterministic polynomial): problem decyzyjny, dla którego rozwiązanie zanie można zweryfikować w czasie wielomianowym. Problem P 0 jest NP-zupe zupełny,, gdy: 1. P 0 należy y do klasy NP, 2. Każdy problem z klasy NP da się sprowadzić w czasie wielomianowym do problemu P 0. Problem NP-trudny spełnia tylko punkt 2. Problemy NP-zupe zupełne maja postać pytania czy istnieje. Problemy NP-trudne to zwykle ich optymalizacyjne wersje ( znajd( znajdź najmniejszy ). 37

38 Zero-jedynkowe zadanie załadunku adunku Wybierz wektor binarny x = x[1],..., x[n] spełniaj niający warunki: n i= 1 xi [] W[] i C n Px ( ) = xi [] Pi [] = max i= 1 gdzie: W[i] zbiór wag (rozmiar( rozmiarów); P[i] zbiór zysków; C pojemność ść. 38

39 Wylosowano 3 zbiory danych: W[i] przypadkowe ([1,ν]) o rozkładzie jednostajnym; 1. Nieskorelowane: P[i] przypadkowe ([1,ν]) o rozkładzie jednostajnym. 2. SłaboS skorelowane: P[i] = W[i] + przypadkowe ([-r, r]) o rozkładzie jednostajnym. W[i] zbiór wag (rozmiar( rozmiarów); P[i] zbiór zysków; 2. Silnie skorelowane: P[i]= W[i] + r. Przyjęto parametry: ν = 10, r = 5 Większa korelacja to mniejsza wartość różnicy: max(p[i]/ ]/W[i]) - min(p[i]/ ]/W[i]), i = 1...n co może e powodować większe problemy przy optymalizacji. 39

40 Rozpatrzono 2 rodzaje zadania załadunku: adunku: Z ograniczoną pojemności cią (C 1 ) (Michalewicz) (Rozwiązanie zanie optymalne zawiera bardzo mało artykułów). Ze średnią pojemności cią (C 2 ) (Rozwiązanie zanie optymalne zawiera ok. połowy owy artykułów). Rodzaje użytych u algorytmów: Algorytmy z funkcją kary (A( p [k]); Algorytmy z metodami naprawy (A( r [k]); Algorytmy z dekoderami (A( d [k]). k numer algorytmu 40

41 Ad. 1 ALGORYTMY Z FUNKCJĄ KARY ( A p [k] ) Wektor x jest reprezentowany przez łańcuch binarny o długod ugości n. Artykuł i-ty jest ładowany do plecaka tylko wtedy, gdy: x[i]=1 Dopasowanie: n eval( x) = x[] i P[] i Pen( x) i= 1 gdzie: Pen(x) funkcja kary: a) Pen(x) = 0 dla rozw.. dopuszczalnych; b) Pen(x) > 0 dla pozostałych rozwiąza zań. 41

42 Wzrost kary (ze stopniem przekroczenia ograniczenia): a. logarytmiczny: n Ap[1]: Pen( x) = log2 1 + ρ x[] i W[] i C i= 1 b. liniowy: n Ap[2]: Pen( x) = ρ x[] i W[] i C i= 1 c. kwadratowy: n Ap[3]: Pen( x) = ρ x[ i] W[ i] C i= 1 2 ρ = max{p[i]/ ]/W[i]},]}, i = 1...n 42

43 Ad. 2 ALGORYTMY Z MET. NAPRAWY ( A r [k] ) Wektor x jest reprezentowany przez łańcuch binarny o dł. d n. Artykuł i-ty jest ładowany do plecaka tylko wtedy, gdy x[i]=1. Dopasowanie: n eval( x) = x '[ i] P[ i] i= 1 Można stosować różne metody naprawy. gdzie: x naprawiona wersja wektora x. Zastosowane algorytmy różnir nią jedynie procedurą wybierającą artykuł do wyjęcia z plecaka: A r [1] naprawa losowa; A r [2] naprawa zachłanna anna (Wszystkie artykuły y w plecaku sąs ustawione w porządku malejącym względem stosunków w zysków w do wagi. Procedura wyboru wybiera ostatni artykuł na liście). 43

44 Ad. 3 ALGORYTMY Z DEKODERAMI ( A d [k] ) Wektor x jest reprezentowany przez łańcuch całkowito kowito-liczbowy o długości n,, gdzie i-ty składnik wektora to liczba z zakresu [1, n i + 1]; Artykuł i-ty jest ładowany do plecaka tylko wtedy, gdy znaj-duje się na bieżą żącej liście. Reprezentacja porządkowa korzysta z listy L artykułów, deko-dowanie dowanie za pomocą wektora następuje poprzez wybór artyku-łów z bieżą żącej listy, np: dla listy: L = (1, 2, 3, 4, 5, 6) dekodowanej za pomocą wektora: < 4, 3, 4, 1, 1, 1 > 4,3,6,1,2,5 otrzymujemy ciąg g artykułów : 4, 3, 6, 1, 2, 5 44

45 A d [1] dekodowanie losowe Procedura dekodowania tworzy listę L artykułów w takich, że e ich kolejność na liście odpowiada kolejności artykułów w w zbiorze wejściowym (który jest przypadkowy). A d [2] dekodowanie zachłanne anne Procedura dekodowania tworzy listę L artykułów w w porządku malejącym względem stosunków w zysków w do wagi. Dekodowanie wektora x następuje na podstawie uporządkowanego zbioru. Parametry programu: liczebność populacji pop_size = 100 (sta p m = 0.05; p c = 0.65; (stała); a); liczba pokoleń gen_number = 500. Wyniki średnia z 25 obliczeń 45

46 Korelacja BRAK SŁABA MOCNA Liczba artykułów Typ pojemności C 1 (ograniczona) C 2 (średnia) A p [1] * 398 A p [2] * 341 A p [3] * 243 Metoda A r [1] C 1 * * * C C 1 * * * C C 1 * * * C C 1 * * * C C 1 * * * C C 1 * * * C C 1 * * * C C 1 * * * C A r [2] A d [1] A d [1]

47 Wnioski: Dla zadań ze średnią pojemności cią algorytm A p [1] (z logarytmiczną funkcją kary) jest najskuteczniejszy; Dla zadań z ograniczoną pojemności cią zachłanna anna metoda naprawy (A( r [2]) ) jest najskuteczniejsza. 47

48 BINARNIE CZY INACZEJ? 48

49 Binarnie Niebinarnie A B... Z Ciąg binarny Ciąg niebinarny Wartość Dopasowanie Y L I T

50 Porównanie liczby schematów: jednakowa liczba osobników; ciągi kodowe o różnych r długod ugościach. By liczba punktów w w obu przestrzeniach była jednakowa: 2 l =k l l długość osobnika zakodowanego binarnie, l dł.. osobnika zakodowanego w alfabecie k-elementowym tu: 2 5 =k 1 k = 32 50

51 Liczba schematów: 3 l dla alfabetu dwójkowego (k+1) l dla alfabetu k-elementowego. tu: 3 5 = 243 dla alfabetu dwójkowego (32+1) 1 = 33 dla alfabetu k-elementowego. Kod dwójkowy charakteryzuje się największą ze wszyst-kich liczbą schematów przypadającą na bit informacji. 51

52 Jednakże e jeżeli: eli: 100 zmiennych; dziedzina z zakresu [-500[ 500]; żądana dokładno adność 6 miejsc po przecinku; To: długość łańcucha binarnego wynosi 3000; przestrzeń poszukiwań rzędu Dla tak wielkich przestrzeni AG działaj ają słabo... 52

53 Zasada znaczących cych cegiełek: ek: Kod należy y dobierać w taki sposób, by schematy niskiego rzędu i o małej rozpięto tości wyrażały y własnow asności zadania oraz pozostawały y względnie niezależne ne od schematów w na pozycjach ustalonych. Zasada minimalnego alfabetu: Należy y wybrać najmniejszy alfabet, w którym zadanie wyraża a się w sposób b naturalny. 53

54 Jeden z celów w zmodyfikowanego kodowania: przybliżenie algorytmu do przestrzeni zadania. Dogodne jest, by dwa punkty leżą żące blisko siebie w przestrzeni reprezentacji (genotyp( genotyp) ) leżały y równier wnież blisko siebie w przestrzeni zadania (fenotyp). np.: (Nie zawsze prawdziwe przy kodowaniu binarnym) Binarnie Całkowitoliczbowo

55 KOD GRAYA procedure GrayToBin begin value := g 1 b 1 := value for k := 2 to m do begin if g k = 1 then value := NOT value b k := value end end b = b 1, b 2,..., b m liczba binarna g = g 1, g 2,..., g m liczba w kodzie Graya; m długość ciągu kodowego. procedure BinToGray begin g 1 := b 1 for k := 2 to m do g k := b k 1 XOR b k end a b a XOR b

56 Binarnie Kod Graya Zmiana 1 bitu w kodzie powoduje, że e otrzymana liczba ma szansę być liczbą bezpośrednio bliską liczbie przed zmianą. 56

57 KODOWANIE LOGARYTMICZNE Stosowane w celu zmniejszenia długod ugości łańcucha binarnego. [ b b bin] = ( 1) 1 2 b 1 bit znaku wykładnika funkcji wykładniczej adniczej; b 2 bit znaku funkcji wykładniczej adniczej; b b1 2 ( 1) [ bin] 10 bin reprezentacja wykładnika funkcji wykładniczej [bin] 10 wartość dziesiętna liczby zakodowanej e zakodowanej binarnie. 1 [ 10110] = ( 1) 0 e ( 1) [ 110] 10 = e 6 = ( 1) [ 01 1 ] 10 3 [ 1011] = ( 1) e = e =

58 Za pomocą 5 bitów w możliwe jest zakodowanie liczb z zakresu [-e 7, e 7 ] (w kodowaniu binarnym [0, 31]). (w kodowaniu binarnym Dalszą modyfikacją jest zastosowanie KODOWANIA ZMIENNOPOZYCYJNEGO. 58

59 59 KODOWANIE CHROMOSOMU: Podział chromosomów uwzględniający wartości: - binarne (np np.. zadanie plecakowe); - całkowitoliczbowe (np np.. TSP); - zmiennopozycyjne (typowe inżynierskie zadania optymalizacji); - tekstowe.

60 60 KODOWANIE CHROMOSOMU: Kodowanie (reprezentacja danych) ) to zbiór stanów w z przestrzeni zadania przedstawiony w postaci skończonego alfabetu znaków. Podział chromosomów uwzględniający strukturę: - standardowe (jak w klasycznym AG); - permutacyjne (np - drzewiaste; - macierzowe. np.. problem komiwojażera - TSP);