ALHE Jarosław Arabas Metaheurystyki w Rn Ewolucja różnicowa EDA CMAES Rój cząstek

Transkrypt

1 ALHE Jarosław Arabas Metaheurystyki w Rn Ewolucja różnicowa EDA CMAES Rój cząstek

2 Metoda przeszukiwania stan adaptacja S0 S1 om : Π X M M inicjacja S2 S4 S8 selekcja I : S U X o s : Π H U X wariacja o v : M U X X S0 S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11 S12 H X

3 Typowe sposoby generacji sąsiadów Rozkład jednostajny w kostce Rozkład jednostajny w podprzestrzeni Rozkład normalny

4 Typowe sposoby generacji punktów pomiędzy Rozkład jednostajny w kostce Rozkład jednostajny na odcinku łaczącym Rozkład jednostajny na zbiorze narożników kostki

5 Rozkład próbkowania Sposób tworzenia nowych punktów można opisać za pomocą zmiennej losowej, której rozkład da się analizować Jest to rozkład próbkowania Rozkład próbkowania może być założony z góry lub może się adaptować Przykłady?

6 Optymalizacja jako proces adaptacji Przekonanie o położeniu optimum q(x)? x

7 Optymalizacja jako proces adaptacji q(x) x

8 Optymalizacja jako proces adaptacji q(x) x

9 Optymalizacja jako proces adaptacji q(x) x

10 Optymalizacja jako proces adaptacji q(x) x

11 Optymalizacja jako proces adaptacji q(x) x

12 Optymalizacja jako proces adaptacji q(x) x

13 Obserwujemy wartości funkcji celu w wielu punktach Okolice każdego punktu są tym chetniej próbkowane, im jest on lepszy

14 Obserwujemy wartości funkcji celu w wielu punktach Okolice każdego punktu są tym chetniej próbkowane, im jest on lepszy

15 Po pewnym czasie

16 Mieszanina rozkładów p-stwa q(x) x

17 Mieszanina rozkładów p-stwa q(x) x

18 Mieszanina rozkładów p-stwa q(x) x

19 Ewolucja różnicowa algorytm differential evolution inicjuj P0 {P 01, P02... Pμ0 } H P0 t 0 while! stop for (i 1 : μ) P tj select (P t ) P tk, Ptl sample (Pt ) t t t t M i P j + F (P k Pl ) t t t Oi crossover (Pi, M i ) H H {Oti } Pit+ 1 tournament ( Pti,O ti ) t t+ 1 sample jest procesem wyboru pary punktów z jednakowym p-stwem crossover jest operacją krzyżowania wymieniającego

20 Typy ewolucji różnicowej - klasyka Typ selekcji wybór losowego (rand) wybór najlepszego w populacji (best) Typ krzyżowania dwumianowe (bin) wykładnicze (exp) Liczba par różnicowanych punktów 1 albo 2 Konwencja oznaczeń: DE/rand/1/bin

21 Typy krzyżowania procedure binomial crossover arguments : x, y for (i 1: n) if a< c r zi y i else zi xi return z procedure exponential crossover arguments : x, y i 1 while (i n) if a< c r zi y i else break while (i n) zi xi return z a jest zmienną losową o rozkładzie jednostajnym w (0,1) Cr jest parametrem

22 Krzyżowanie wykładnicze a jednopunktowe Rodzic Rodzic Potomek wagi

23 Krzyżowanie wykładnicze a jednopunktowe wagi W krzyżowaniu jednopunktowym rozkład prawdopodobieństwa pojawienia się przejścia między jedynką a zerem jest rozkładem jednostajnym 1 1/5 1 1/5 1 1/5 0 1/5 1/5 W krzyżowaniu wykładniczym rozkład ten jest rozkładem (prawie) wykładniczym 1 1/2 p /4 1/8 1/16 p2 p3 p4 1/16 dopełnienie do 1

24 Krzyżowanie równomierne a dwumianowe Rodzic Rodzic Potomek wagi

25 Krzyżowanie równomierne a dwumianowe W krzyżowaniu równomiernym prawdopodobieństwo pojawienia się jedynki i zera na każdej pozycjii jest równe 1/ /2 1/2 1/2 1/2 W krzyżowaniu dwumianowym te p-stwa są różne pe pe pe 1-pe W obu przypadkach, rozkład p-stwa pojawienia się k jedynek i n-k zer jest rozkładem Bernoulliego (wg angielskiej nomenklatury dwumianowym) wagi

26 DE/rand/1 P0 O0 O1 O2 O3 Najlepszy punkt Najlepszy punkt Najlepszy punkt pierwszej pozycji drugiej pozycji trzeciej pozycji populacji populacji populacji S0 S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11 S12 S13 S14 S15 S16 S17 S18 S19 S20 Trzy punkty wpływają na jeden Strzałki między punktami Sx oraz Sy oznaczają, że punkt Sy jest lokalną modyfikacją punktu Sx

27 Ewolucja różnicowa

28 Ewolucja różnicowa

29 Ewolucja różnicowa

30 Ewolucja różnicowa

31 Ewolucja różnicowa

32 Ewolucja różnicowa

33 Ewolucja różnicowa

34 Ewolucja różnicowa Inne metody selekcji current-to-best KPit + (1 K ) Ptbest current-to-rand KPit + (1 K ) Ptj rand-to-best KP t best + (1 K ) P Krzyżowanie uśredniające DE/either-or z= { Pti + F (P tj P tk ) KPti + (1 K )( Ptj + Ptk ) t j z=kp ti + (1 K ) v z p stwem p F z p stwem 1 p F }

35 Ewolucja różnicowa Poinformowanie T Determinizm N Typ stanu pamięciowy Wielkość modelu liczność populacji Lokalność generacji Miękkość selekcji N Okno historii nieskończone Zupełność N T

36 Algorytm ewolucyjny wypukła funkcja celu Model populacji nieskończonej Dystrybuanta empiryczna punktów populacji (skokowa) dystrybuanta rozkładu próbkowania (ciągła)

37 DE/rand/1 wypukła funkcja celu Wariancja punktów po selekcji v P Wariancja punktów po mutacji v O=v P + F 2 (v P + v P )=v P (1+ 2F2 ) Krzyżowanie zmienia wariancję (wzór dla bin) v C =(1+ 2F2 (1 c r )) v P

38 DE/rand/1 wypukła funkcja celu wariancja po sukcesji

39 DE/rand/1 wypukła funkcja celu Wariancja punktów po sukcesji v P (t+ 1)=k ( F) v P (t ) 0< k< 1 Równowagowa wariancja populacji: v P ( )=0 A dla alg. ewolucyjnego (np. selekcja turniejowa, s=2, pc=0) v P ( )= π v m 2

40

41

42 Algorytm ewolucyjny Algorytm ewolucyjny jest techniką adaptacji rozkładu populacji Celem jest maksymalizacja wartości oczekiwanej jakości generowanych punktów Środek populacji najlepszy estymator ekstremum lokalnego dla funkcji symetrycznej Survival of the fittest vs. survival of the flattest

43 Metoda EDA Estimation of Distribution Algorithm algorithm EDA initialize(m0, C 0 ) H t 0 while! stop t t t P sample N (m, C ) H H P t t t O select ( P ) (m t + 1, C t + 1 ) update (Ot, m t,c t ) t t+ 1 Wariant z rozkładem normalnym

44 Metoda EDA Estimation of Distribution Algorithm UMDA (Univariate Marginal Distribution) Wartość oczekiwana i wariancja estymowana z próby jako μ m(t+ 1) j w (i) P t ij i=1 μ C (t+ 1) jj t 2 w (i)( Pij m(t+ 1) j ) i=1 C (t+ 1)ij =0 i j q (Pti ) w (i)= t q (P i)

45 Metoda EDA Poinformowanie T Determinizm N Typ stanu Wielkość modelu Lokalność generacji Miękkość selekcji raczej N (selekcja?) Pamiętliwość tak, horyzont zależny od metody update Zupełność asymptotyczna zagregowany 1 N

46 EDA

47 EDA

48 EDA

49 Algorytm CMA-ES C (1)=I, p c (1)=0, p σ (1)=0 while! stop Przestrzeń x generuj d i (t ) N (0, C (t )),i=1... λ oblicz q i (t )=q ( m(t )+σ (t ) d i (t ) ) sortuj według q i (t ) Przestrzeń skojarzona μ 1 Δ (t )=μ i=1 d i (t ) m(t +1)=m(t )+σ (t ) Δ (t ) p σ (t +1)=(1 c σ ) p σ (t )+C 1/2 1 (1 c σ )2 μ Δ(t ) p c (t +1)=(1 c c ) p c (t )+ 1 (1 c c )2 μ Δ (t ) σ (t +1)=σ (t ) exp ( ( c σ p σ 1 d σ E N (0, I ) )) μ C (t +1)=(1 c 1 c μ )C (t )+c 1 p c (t +1) p c (t +1) +cμ i=1 d i (t ) d i (t )T t t +1 T Beyer, Sendhoff, Simplify Your Covariance Matrix AdaptationEvolution Strategy, IEEE Trans on Evol. Comp. 2017

50 CMAES Covariance Matrix Adaptation Evolution Strategy

51 CMAES Covariance Matrix Adaptation Evolution Strategy

52 CMAES Covariance Matrix Adaptation Evolution Strategy

53 CMAES evolution path Podążanie w +/- zgodnych kierunkach Populacja fluktuuje w jednym obszarze

54 CMAES Covariance Matrix Adaptation Evolution Strategy Na podstawie selekcji adaptuje się kształt macierzy kowariancji Jej skala zależy od ścieżki ewolucji + =CMAES

55 Przeszukiwanie rojem cząstek algorytm particle swarm inicjuj P0 {P 01, P02... Pμ0 } inicjuj V 0 {V 01, V 02...V μ0 } 0 H P t 0 while! stop g (t ) arg max q( Pti ) a, c są parametrami typowo a=0.73, c=2.05 i,t r g,r l ~ U (0,1) for (i 1 : μ) bi (t ) arg max q (P ti ) t t+ 1 i t+ 1 i t i t i t i V a(v + c (r g (g (t ) P )+ r l (b i (t ) P ))) t t+ 1 P Pi + V i H H P t + 1 t t+ 1

56 Przeszukiwanie rojem cząstek

57 Przeszukiwanie rojem cząstek

58 Przeszukiwanie rojem cząstek

59 Przeszukiwanie rojem cząstek

60 Przeszukiwanie rojem cząstek

61 Binarna ewolucja różnicowa Jak obliczyć różnicę między wektorami binarnymi? x1= x2= y=x2-x1? y=

62 Binarny rój cząstek Jak wyrazić prędkość dla wektora binarnego? x= v= y=x+v y=

63 Ewolucja różnicowa i rój cząstek w przestrzeni ścieżek w grafie?