WAE Jarosław Arabas Adaptacja i samoczynna adaptacja parametrów AE Algorytm CMA-ES

WAE Jarosław Arabas Adaptacja i samoczynna adaptacja parametrów AE Algorytm CMA-ES

Dynamika mutacyjnego AE Mutacja gaussowska σ=0.1 Wszystkie wygenerowane punkty Wartość średnia jakości punktów populacji

Dynamika mutacyjnego AE Mutacja gaussowska σ=0.55 Wszystkie wygenerowane punkty Wartość średnia jakości punktów populacji

Dynamika mutacyjnego AE Mutacja gaussowska σ=5 Wszystkie wygenerowane punkty Wartość średnia jakości punktów populacji

Eksploracja i eksploatacja Sterowanie presją selekcji Reprodukcja progowa wartość turniejowa wielkość szranek s θ proporcjonalna modyfikacja wartości funkcji celu (fitness scaling) Im większe zróżnicowanie prawdopodobieństwa selekcji, tym większa presja selekcji Sukcesja jeśli jest elitarna, to zwiększa presję selekcji Rozłożenie populacji w przestrzeni zależne od funkcji celu

Eksploracja i eksploatacja Rozpraszanie populacji w sposób niezależny od wartości funkcji celu Mutacja - zasięg mutacji (wariancja v m ) - im jest większa, tym większa różnorodność Krzyżowanie uśredniające im większe jego prawdopodobieństwo p c, tym mniejsza różnorodność Krzyżowanie wymieniające rozprasza populację poprzez częściową dekorelację wymiarów

Adaptacja parametrów AE Wartości parametrów Sterowanie parametrami uchyb Algorytm ewolucyjny Monitor dynamiki AE wielkości zagregowane generacja rozwiązań Model odniesienia

Zaprogramowane sterowanie parametrami AE Wartości parametrów Sterowanie parametrami Algorytm ewolucyjny generacja rozwiązań

Samoczynna adaptacja parametrów AE Sterowanie AE Populacja punkt przestrzeni przeszukiwań parametry mutacji mutacja z wbudowaną modyfikacją parametrów punkt przestrzeni przeszukiwań parametry mutacji generacja rozwiązań Reprezentacja osobnika zawiera parametry Parametry określają sposób przekształcania punktu

Samoczynna adaptacja parametrów AE Populacja punkt przestrzeni przeszukiwań adaptowane parametry Reprezentacja osobnika zawiera parametry punkt przestrzeni przeszukiwań adaptowane parametry Parametry określają sposób przekształcania punktu generacja rozwiązań

Przykład adaptacji mutacji Sterowanie zaprogramowane Reguła 1/5 liczby sukcesów Samoczynna adaptacja (Schwefel, Rechenberg) adaptacja parametrów

Zaprogramowane sterowanie parametrami

Liczba sukcesów w wyniku mutacji

Zależność tempa zbieżności od zasięgu mutacji (alg. wspinaczkowy) Rysunek z: A. Auger, N. Hansen: CMA-ES Evolution Strategies and Covariance Matrix Adaptation, tutorial, GECCO'2011

Zależność tempa zbieżności od zasięgu mutacji (alg. wspinaczkowy) okno ewolucji Rysunek z: A. Auger, N. Hansen: CMA-ES Evolution Strategies and Covariance Matrix Adaptation, tutorial, GECCO'2011

Reguła 1/5 liczby sukcesów Średnia odległość mutantów od rodzica(średnia długość kroku) jest równa standardowemu odchyleniu Empirycznie dobrana wartość minimalizująca czas dojścia do akceptowalnego poziomu wartości funkcji celu Wraz ze wzrostem wariancji spada proporcja mutantów o jakości lepszej od rodzica

Reguła 1/5 liczby sukcesów Liczba mutacji w wyniku których mutant jest lepszy od rodzica powinna wynosić 1/5 Sterowanie wariancją mutacji Pierwotnie stosowana do (1+1)-ES, czyli algorytmu wspinaczkowego σ(t+k)=a σ(t) gdy p(sukces)>0.2 σ(t+k)= 1 a σ(t) gdy p(sukces)<0.2 0.817 a 1

Mutacja wariantowa z wyborem zależnym od poprawy Wariant mutacji #1 p 1 wybór Wariant mutacji #K p K Prawdopodobieństwo wyboru zależne od tego, ile mutantów było lepsze od ich rodziców Zapominanie

Mutacja wariantowa z wyborem zależnym od poprawy procedure mutation( x) j =select j where p sel ( j)= n s ( j) y=mutation(x, j ) if (success( j )) n s ( j )=n s ( j )+α n s ( j)=β n s ( j) return( y) K k=1 n s (k) ns skumulowana liczba sukcesów dla każdego wariantu mutacji

Samoczynna adaptacja zasięgu mutacji procedure mutation(x) σ j =σ j exp(τ a+τ' a j ) where τ= 1 2n, τ '=1 2 n, a N (0,1),a j N (0,1) y j =x j +σ j d j where d j N (0,1) return( y)

Adaptacja skumulowanego kroku algorytm CSA-ES Rysunek z: A. Auger, N. Hansen: CMA-ES Evolution Strategies and Covariance Matrix Adaptation, tutorial, GECCO'2011

Adaptacja skumulowanego kroku algorytm CSA-ES c σ 4/n, d σ 1, p σ =0 while! stop generuj d i (t) N (0, I ),i=1... λ oblicz q i (t)=q (m(t)+σ(t) d i (t )) sortuj według q i (t) μ Δ(t )= μ 1 i=1 d i (t) m(t+1)=m(t)+σ(t) Δ(t) p σ (t+1)=(1 c σ ) p σ (t )+ 1 (1 c σ ) 2 μ Δ(t) σ(t+1)=σ(t) exp( c ( p σ σ d σ E N (0, I ) 1 )) t t+1

Adaptacja skumulowanego kroku algorytm CSA-ES Rysunek z: A. Auger, N. Hansen: CMA-ES Evolution Strategies and Covariance Matrix Adaptation, tutorial, GECCO'2011

Modyfikacja macierzy kowariancji algorytm CMA-ES (wersja 0) C(1)=I while! stop generuj d i (t) N (0,C (t)),i=1... λ oblicz q i (t)=q (m(t)+σ(t) d i (t )) sortuj według q i (t) μ Δ(t )= μ 1 i=1 d i (t) m(t+1)=m(t)+σ(t ) Δ(t ) C (t+1)=(1 c cov )C (t )+c cov μ Δ(t)Δ(t ) T t t+1

Adaptacja macierzy kowariancji algorytm CMA-ES μ Δ(t)= 1 μ i=1 d i (t) d i (t) σ(t ) N (0,C (t )),i=1...λ C(t+1)=(1 c cov )C(t)+c cov μ Δ(t)Δ(t) T Rysunek z: A. Auger, N. Hansen: CMA-ES Evolution Strategies and Covariance Matrix Adaptation, tutorial, GECCO'2011

Adaptacja macierzy kowariancji algorytm CMA-ES Δ(1) Δ(2) Rysunek z: A. Auger, N. Hansen: CMA-ES Evolution Strategies and Covariance Matrix Adaptation, tutorial, GECCO'2011

Modyfikacja macierzy kowariancji algorytm CMA-ES (wersja 1) C(1)=I, p c (1)=0 while! stop generuj d i (t) N (0,C (t)),i=1... λ oblicz q i (t)=q (m(t)+σ(t) d i (t )) sortuj według q i (t) μ Δ(t )= μ 1 i=1 d i (t) m(t+1)=m(t)+σ(t ) Δ(t) p c (t+1)=(1 c c ) p c (t)+ 1 (1 c c ) 2 μ Δ(t) C (t+1)=(1 c cov )C (t )+c cov p c (t+1) p c (t+1) T t t+1 bezwładność

Adaptacja skumulowanego kroku algorytm CMA-ES C(1) C(2) Δ(2) p c (t+1)=(1 c c ) p c (t)+ 1 (1 c c ) 2 μ Δ(t) C (t+1)=(1 c cov )C (t )+c cov p c (t+1) p c (t+1) T Rysunek z: A. Auger, N. Hansen: CMA-ES Evolution Strategies and Covariance Matrix Adaptation, tutorial, GECCO'2011

Modyfikacja macierzy kowariancji algorytm CMA-ES (wersja 2) C(1)=I while! stop generuj d i (t) N (0,C (t)),i=1... λ oblicz q i (t)=q (m(t)+σ(t) d i (t )) sortuj według q i (t) μ Δ(t )= μ 1 i=1 d i (t) m(t+1)=m(t)+σ(t ) Δ(t) C (t+1)=(1 c cov )C (t )+c cov i=1 d i (t)d i (t) T t t+1 μ uwzględniene wielu wektorów różnic

Pełny CMA-ES C(1)=I, p c (1)=0, p σ (1)=0 while! stop generuj d i (t) N (0,C (t )),i=1... λ oblicz q i (t )=q (m(t )+σ(t ) d i (t)) sortuj według q i (t) μ Δ(t )= μ 1 i=1 d i (t ) m(t+1)=m(t )+σ(t ) Δ(t) p σ (t+1)=(1 c σ ) p σ (t )+ 1 (1 c σ ) 2 μ Δ(t) σ(t+1)=σ(t) exp( c ( p σ σ d σ E N (0, I ) 1 )) p c (t+1)=(1 c c ) p c (t )+ 1 (1 c c ) 2 μ Δ(t ) C(t+1)=(1 c 1 c μ )C (t )+c 1 p c (t+1) p c (t+1) T +c μ i=1 t t+1 μ d i (t)d i (t ) T