WAE Jarosław Arabas Adaptacja i samoczynna adaptacja parametrów AE Algorytm CMA-ES

Transkrypt

1 WAE Jarosław Arabas Adaptacja i samoczynna adaptacja parametrów AE Algorytm CMA-ES

2 Dynamika mutacyjnego AE Mutacja gaussowska σ=0.1 Wszystkie wygenerowane punkty Wartość średnia jakości punktów populacji

3 Dynamika mutacyjnego AE Mutacja gaussowska σ=0.55 Wszystkie wygenerowane punkty Wartość średnia jakości punktów populacji

4 Dynamika mutacyjnego AE Mutacja gaussowska σ=5 Wszystkie wygenerowane punkty Wartość średnia jakości punktów populacji

5 Eksploracja i eksploatacja Sterowanie presją selekcji Reprodukcja progowa wartość turniejowa wielkość szranek s θ proporcjonalna modyfikacja wartości funkcji celu (fitness scaling) Im większe zróżnicowanie prawdopodobieństwa selekcji, tym większa presja selekcji Sukcesja jeśli jest elitarna, to zwiększa presję selekcji Rozłożenie populacji w przestrzeni zależne od funkcji celu

6 Eksploracja i eksploatacja Rozpraszanie populacji w sposób niezależny od wartości funkcji celu Mutacja - zasięg mutacji (wariancja v m ) - im jest większa, tym większa różnorodność Krzyżowanie uśredniające im większe jego prawdopodobieństwo p c, tym mniejsza różnorodność Krzyżowanie wymieniające rozprasza populację poprzez częściową dekorelację wymiarów

7 Adaptacja parametrów AE Wartości parametrów Sterowanie parametrami uchyb Algorytm ewolucyjny Monitor dynamiki AE wielkości zagregowane generacja rozwiązań Model odniesienia

8 Zaprogramowane sterowanie parametrami AE Wartości parametrów Sterowanie parametrami Algorytm ewolucyjny generacja rozwiązań

9 Samoczynna adaptacja parametrów AE Sterowanie AE Populacja punkt przestrzeni przeszukiwań parametry mutacji mutacja z wbudowaną modyfikacją parametrów punkt przestrzeni przeszukiwań parametry mutacji generacja rozwiązań Reprezentacja osobnika zawiera parametry Parametry określają sposób przekształcania punktu

10 Samoczynna adaptacja parametrów AE Populacja punkt przestrzeni przeszukiwań adaptowane parametry Reprezentacja osobnika zawiera parametry punkt przestrzeni przeszukiwań adaptowane parametry Parametry określają sposób przekształcania punktu generacja rozwiązań

11 Przykład adaptacji mutacji Sterowanie zaprogramowane Reguła 1/5 liczby sukcesów Samoczynna adaptacja (Schwefel, Rechenberg) adaptacja parametrów

12 Zaprogramowane sterowanie parametrami

13 Liczba sukcesów w wyniku mutacji

14 Zależność tempa zbieżności od zasięgu mutacji (alg. wspinaczkowy) Rysunek z: A. Auger, N. Hansen: CMA-ES Evolution Strategies and Covariance Matrix Adaptation, tutorial, GECCO'2011

15 Zależność tempa zbieżności od zasięgu mutacji (alg. wspinaczkowy) okno ewolucji Rysunek z: A. Auger, N. Hansen: CMA-ES Evolution Strategies and Covariance Matrix Adaptation, tutorial, GECCO'2011

16 Reguła 1/5 liczby sukcesów Średnia odległość mutantów od rodzica(średnia długość kroku) jest równa standardowemu odchyleniu Empirycznie dobrana wartość minimalizująca czas dojścia do akceptowalnego poziomu wartości funkcji celu Wraz ze wzrostem wariancji spada proporcja mutantów o jakości lepszej od rodzica

17 Reguła 1/5 liczby sukcesów Liczba mutacji w wyniku których mutant jest lepszy od rodzica powinna wynosić 1/5 Sterowanie wariancją mutacji Pierwotnie stosowana do (1+1)-ES, czyli algorytmu wspinaczkowego σ(t+k)=a σ(t) gdy p(sukces)>0.2 σ(t+k)= 1 a σ(t) gdy p(sukces)< a 1

18 Mutacja wariantowa z wyborem zależnym od poprawy Wariant mutacji #1 p 1 wybór Wariant mutacji #K p K Prawdopodobieństwo wyboru zależne od tego, ile mutantów było lepsze od ich rodziców Zapominanie

19 Mutacja wariantowa z wyborem zależnym od poprawy procedure mutation( x) j =select j where p sel ( j)= n s ( j) y=mutation(x, j ) if (success( j )) n s ( j )=n s ( j )+α n s ( j)=β n s ( j) return( y) K k=1 n s (k) ns skumulowana liczba sukcesów dla każdego wariantu mutacji

20 Samoczynna adaptacja zasięgu mutacji procedure mutation(x) σ j =σ j exp(τ a+τ' a j ) where τ= 1 2n, τ '=1 2 n, a N (0,1),a j N (0,1) y j =x j +σ j d j where d j N (0,1) return( y)

21 Adaptacja skumulowanego kroku algorytm CSA-ES Rysunek z: A. Auger, N. Hansen: CMA-ES Evolution Strategies and Covariance Matrix Adaptation, tutorial, GECCO'2011

22 Adaptacja skumulowanego kroku algorytm CSA-ES c σ 4/n, d σ 1, p σ =0 while! stop generuj d i (t) N (0, I ),i=1... λ oblicz q i (t)=q (m(t)+σ(t) d i (t )) sortuj według q i (t) μ Δ(t )= μ 1 i=1 d i (t) m(t+1)=m(t)+σ(t) Δ(t) p σ (t+1)=(1 c σ ) p σ (t )+ 1 (1 c σ ) 2 μ Δ(t) σ(t+1)=σ(t) exp( c ( p σ σ d σ E N (0, I ) 1 )) t t+1

23 Adaptacja skumulowanego kroku algorytm CSA-ES Rysunek z: A. Auger, N. Hansen: CMA-ES Evolution Strategies and Covariance Matrix Adaptation, tutorial, GECCO'2011

24 Modyfikacja macierzy kowariancji algorytm CMA-ES (wersja 0) C(1)=I while! stop generuj d i (t) N (0,C (t)),i=1... λ oblicz q i (t)=q (m(t)+σ(t) d i (t )) sortuj według q i (t) μ Δ(t )= μ 1 i=1 d i (t) m(t+1)=m(t)+σ(t ) Δ(t ) C (t+1)=(1 c cov )C (t )+c cov μ Δ(t)Δ(t ) T t t+1

25 Adaptacja macierzy kowariancji algorytm CMA-ES μ Δ(t)= 1 μ i=1 d i (t) d i (t) σ(t ) N (0,C (t )),i=1...λ C(t+1)=(1 c cov )C(t)+c cov μ Δ(t)Δ(t) T Rysunek z: A. Auger, N. Hansen: CMA-ES Evolution Strategies and Covariance Matrix Adaptation, tutorial, GECCO'2011

26 Adaptacja macierzy kowariancji algorytm CMA-ES Δ(1) Δ(2) Rysunek z: A. Auger, N. Hansen: CMA-ES Evolution Strategies and Covariance Matrix Adaptation, tutorial, GECCO'2011

27 Modyfikacja macierzy kowariancji algorytm CMA-ES (wersja 1) C(1)=I, p c (1)=0 while! stop generuj d i (t) N (0,C (t)),i=1... λ oblicz q i (t)=q (m(t)+σ(t) d i (t )) sortuj według q i (t) μ Δ(t )= μ 1 i=1 d i (t) m(t+1)=m(t)+σ(t ) Δ(t) p c (t+1)=(1 c c ) p c (t)+ 1 (1 c c ) 2 μ Δ(t) C (t+1)=(1 c cov )C (t )+c cov p c (t+1) p c (t+1) T t t+1 bezwładność

28 Adaptacja skumulowanego kroku algorytm CMA-ES C(1) C(2) Δ(2) p c (t+1)=(1 c c ) p c (t)+ 1 (1 c c ) 2 μ Δ(t) C (t+1)=(1 c cov )C (t )+c cov p c (t+1) p c (t+1) T Rysunek z: A. Auger, N. Hansen: CMA-ES Evolution Strategies and Covariance Matrix Adaptation, tutorial, GECCO'2011

29 Modyfikacja macierzy kowariancji algorytm CMA-ES (wersja 2) C(1)=I while! stop generuj d i (t) N (0,C (t)),i=1... λ oblicz q i (t)=q (m(t)+σ(t) d i (t )) sortuj według q i (t) μ Δ(t )= μ 1 i=1 d i (t) m(t+1)=m(t)+σ(t ) Δ(t) C (t+1)=(1 c cov )C (t )+c cov i=1 d i (t)d i (t) T t t+1 μ uwzględniene wielu wektorów różnic

30 Pełny CMA-ES C(1)=I, p c (1)=0, p σ (1)=0 while! stop generuj d i (t) N (0,C (t )),i=1... λ oblicz q i (t )=q (m(t )+σ(t ) d i (t)) sortuj według q i (t) μ Δ(t )= μ 1 i=1 d i (t ) m(t+1)=m(t )+σ(t ) Δ(t) p σ (t+1)=(1 c σ ) p σ (t )+ 1 (1 c σ ) 2 μ Δ(t) σ(t+1)=σ(t) exp( c ( p σ σ d σ E N (0, I ) 1 )) p c (t+1)=(1 c c ) p c (t )+ 1 (1 c c ) 2 μ Δ(t ) C(t+1)=(1 c 1 c μ )C (t )+c 1 p c (t+1) p c (t+1) T +c μ i=1 t t+1 μ d i (t)d i (t ) T