Własności eksploatacyjne i eksploracyjne algorytmów ewolucyjnych z mutacja α stabilna Andrzej Obuchowicz i Przemysław Prętki Uniwersytet Zielonogórski
IEEE CIS seminarium, Zielona Góra 9.12.2005 1/38 motywacja; rozkłady α-stabilne; Plan wielowymiarowe mutacje α-stabilne; nieizotropowość; efekt martwego otoczenia; izotropowe mutacje α-stabilne; wskaźniki progresu dla zmodyfikowanych strategii ewolucyjnych; eksploracja kontra eksploatacja; podsumowanie i aktualne kierunki badań
IEEE CIS seminarium, Zielona Góra 9.12.2005 2/38 Mutacja Mutacja w algorytmach ewolucyjnych ( i innych algorytmach stochastycznych) parametrycznej optymalizacji globalnej x i = x i + N(0,σ)
IEEE CIS seminarium, Zielona Góra 9.12.2005 3/38 Uzasadnienie o mutacji w naturze decyduja czynniki fizyczne i chemiczne, które sa niezależne i identycznego rozkładu; Centralne Twierdzenie Graniczne konieczność spełnienia warunku Lindeberga; w przeciwnym razie Uogólnione Centralne Twierdzenie Graniczne rozkłady α-stabilne (Lévi-stabilne).
IEEE CIS seminarium, Zielona Góra 9.12.2005 4/38 Rozkłady α-stabilne funkcja charakterystyczna X d = S α (β,σ,µ) φ(k) = exp ( σ α k { α 1 iβsign(k) tg ( )} ) πα 2 + iµk dla α 1, exp ( σ k { 1 + iβsign(k) 2 π log k } + iµk ) dla α = 1. 0 < α 2 indeks stabilności; σ > 0 par. skali; 1 β 1 par. skośności.; µ par. lokalizacji
IEEE CIS seminarium, Zielona Góra 9.12.2005 5/38 Rozkłady Gaussa, Cauchy ego i Lévy ego 0.45 0.4 0.35 Gauss Cauchy Levy f(x) 0.3 0.25 0.2 0.15 0.1 0.05 5 4 3 2 1 0 1 2 3 4 5 x S 2 (0, σ, µ) = N(µ, 2σ) S 1 (0, σ, µ) = C(µ, σ) S 1 2 (1, σ, µ) = Levy(µ, σ)
IEEE CIS seminarium, Zielona Góra 9.12.2005 6/38 Suma zmiennych o rozkładzie α-stabilnym Niech X 1 d = S α (β 1,σ 1,µ 1 ) i X 2 d = S α (β 2,σ 2,µ 2 ) będa zmiennymi niezależnymi, wówczas X 1 + X 2 d = S α (β,σ,µ) gdzie β = β 1σ α 1 +β 2σ α 2 σ α 1 +σα 2, σ α = σ α 1 + σ α 2, µ = µ 1 + µ 2.
IEEE CIS seminarium, Zielona Góra 9.12.2005 7/38 Wybrane własności rozkładów α-stabilnych Istnienie momentów dla α < 2 E(X p ) = xp f(x)dx < + 0 < p < α. Istnienie algorytmów generujacych X = d S α (β,σ,µ) Symetryczne rozkłady α-stabilne SαS(σ) = S α (0,σ, 0); φ(k) = exp( σ α k α ).
IEEE CIS seminarium, Zielona Góra 9.12.2005 8/38 Symetryczne rozkłady α-stabilne 10 0 10 2 α=2.0 α=1.5 α=1.0 α=0.5 1 0.8 α=2.0 α=1.5 α=1.0 α=0.5 f α,1 (x) 10 4 F α,1 (x) 0.6 0.4 0.2 10 6 10 5 0 5 10 x 0 10 5 0 5 10 x Funkcje gęstości f α,1 (x) i dystrybuanty F α,1 (x) zmiennej losowej SαS(1)
IEEE CIS seminarium, Zielona Góra 9.12.2005 9/38 Mutacja w EA oparta na SαS(σ) x i = x i + SαS(σ), (x = x + SαS(σ)) 6000 5000 4000 3000 2000 1000 0 1000 2000 1000 0 1000 2000 4150 4100 4050 4000 3950 3900 1000 1100 1200 1300 1400
IEEE CIS seminarium, Zielona Góra 9.12.2005 10/38 Nieizotropowość SαS(σ) (a) (b) Izopowierzchnie funkcji gęstości 3D (f α (x) = 0.001) rozkładów SαS dla α = 1 (a), and α = 0.5 (b).
IEEE CIS seminarium, Zielona Góra 9.12.2005 11/38 Nieizotropowość SαS(σ) konsekwencje Eksperyment funkcja dopasowania Φ s (x) = x 2, x R 4 (funkcja sferyczna); algorytmy (1 + 1)ES α, α = 1 2,1, 3 2,2, σ = 0.1; punkty startowe: a 1 = (100,0,0,0), a 2 = ( 100 2, 100 2,0,0), a 3 = ( 100 3, 100 3, 100 3,0), a 4 = (50,50,50,50).
IEEE CIS seminarium, Zielona Góra 9.12.2005 12/38 Nieizotropowość SαS(σ) konsekwencje (a) (b) Skuteczne mutacje [%] 50 45 40 35 30 25 20 15 A 1 =[50,50,50,50] A 2 =[57.7,57.7,57.7,0] A =[70.71,70.71,0,0] 3 A 4 =[100,0,0,0] 0.5 1 1.5 2 α Liczba generacji 1000 800 600 400 200 0 A =[50,50,50,50] 1 A 2 =[57.7,57.7,57.7,0] A 3 =[70.71,70.71,0,0] A 4 =[100,0,0,0] 0.5 1 1.5 2 α Procent skutecznych mutacji (a) i średnia liczba iteracji konieczna do lokalizacji optimum (Φ(x) < 0.5) (b) vs. α
IEEE CIS seminarium, Zielona Góra 9.12.2005 13/38 Efekt martwego otoczenia rozkłady χ α,n χ α,n = X 2 k, X k d = SαS(σ), ÚÙØ n k=1 Liczba elementow x 10 4 5 4 3 2 1 n = 2 n = 4 n = 8 n = 16 Liczba elementow 4.5 x 104 4 3.5 3 2.5 2 1.5 1 0.5 n = 2 n = 4 n = 8 n = 16 2 4 6 8 10 12 14 Odleglosc 2 4 6 8 10 12 14 Odleglosc α = 1.5 α = 1 Histogramy długości 10 6 wektorów losowych X d = SαS(1)
IEEE CIS seminarium, Zielona Góra 9.12.2005 14/38 Efekt martwego otoczenia konsekwencje Eksperyment funkcja dopasowania Φ s (x) = x 2 (f. sferyczna); Φ r (x) = n 1 [ i=1 100(xi+1 x 2 i )2 + (x i 1) 2] (uogólniona f. Rosenbrocka) algorytmy ESSS α, α = 1 2,1, 3 2,2, σ = 0.05; punkty startowe: x 0 = (0,0,...,0) dla Φ s (x), x 0 = ( 30 n,..., 30 n ), dla Φ r (x).
IEEE CIS seminarium, Zielona Góra 9.12.2005 15/38 Efekt martwego otoczenia konsekwencje (a) 10 2 (b) 10 6 Dopasowanie 10 1 10 0 10 1 n=100 n=80 n=40 n=20 n=10 n=5 n=2 0 200 400 600 800 1000 Epoki 10 4 10 2 10 0 200 400 600 800 1000 Epoki Odległość najlepszego osobnika populacji w ESSS 2 (a) i ESSS 1 2 od optimum Φ s (x) vs. iteracje (średnie po 100 uruchomieniach). (n = 2, 5,10,20, 40,60,80, 100 linie od dołu do góry.) Dopasowanie n=100 n=80 n=40 n=20 n=10 n=5 n=2
IEEE CIS seminarium, Zielona Góra 9.12.2005 16/38 Efekt martwego otoczenia konsekwencje (a) (b) 10 8 10 15 Dopasowanie 10 6 10 4 α=2 10 2 α=1.5 α=1.0 α=0.5 10 0 10 0 10 1 10 2 10 3 Epoki 10 10 10 5 α=2 α=1.5 α=1.0 α=0.5 10 0 10 0 10 1 10 2 10 3 Epoki Najlepsze dopasowanie Φ r (x) w populacji ESSS α vs. iteracje (średnie po 500 uruchomieniach) w środowisku 2D (a) i 20D (b). (α = 2 l. ciagła, α = 1.5 l. kres., α = 1 l. kres.-krop., α = 0.5 l. krop.) Dopasowanie
IEEE CIS seminarium, Zielona Góra 9.12.2005 17/38 Efekt martwego otoczenia + adaptacja parametru skali Eksperyment funkcja dopasowania Φ s (x) = x 2 ; algorytmy EP α, α = 1 2,1, 3 2,2; rozmiar populacji η = 20, rozmiar sparingu q = 5; obszary inicjacji: Ω x = [0,8,1,2] n i=2 [ 0,2,0,2], Ω σ = n i=1 [0,0.01].
IEEE CIS seminarium, Zielona Góra 9.12.2005 18/38 Efekt martwego otoczenia + adaptacja parametru skali (a) (b) Dopasowanie 10 3 10 2 10 1 α=2 α=1.5 α=1.0 α=0.5 200 400 600 800 1000 Epoki Parametr skali σ 10 0 10 5 10 10 0 200 400 600 800 1000 Epoki (a) Najlepsze dopasowanie Φ s (x) w populacji EP α vs. iteracje (średnie po 500 uruchomieniach) w środowisku 20D. (α = 2 l. ci agła, α = 1.5 l. kres., α = 1 l. kres.-krop., α = 0.5 l. krop.) (b) średnia wartość σ w populacji dla EP 1.
IEEE CIS seminarium, Zielona Góra 9.12.2005 19/38 Izotropowa mutacja α-stabilna x = x + X = x + ru (n) gdzie u n d = U(Sphere(1)); r d = SαS(σ) ; Funkcja gęstości X d = ISαS(σ): g(x α,σ,µ,n) = 1 σπ n/2 Γ( n 2 ) x µ n 1f α,1 ( ) x µ σ
IEEE CIS seminarium, Zielona Góra 9.12.2005 20/38 Wskaźnik progresu dla (1 + 1)ES α Założenia: funkcja dopasowania Φ s (x) = x 2, mutacja elementu y k : y k = y k + SαS(σ) u, twarda selekcja: y k+1 = arg min{φ s (y k ),Φ s (y k )}.
IEEE CIS seminarium, Zielona Góra 9.12.2005 21/38 Wskaźnik progresu dla (1 + 1)ES α Niech V = Y k 2 y k 2 wówczas gdzie formalizm ϕ = E {min{v, 1} y k } = 1 1 0 (1 v)f v(v)dv, f v (v) = δv n 2 1 B( n 1 2,1 2) 1 1 funkcja gęstości V ; f α,1 δ(v 2t v+1) 1 2 (v 2t v+1) (n 1) 2 (1 t 2 ) (n 3) 2 dt δ = y k σ parametr odchyłu od centrum; B(, ) funkcja Beta.
IEEE CIS seminarium, Zielona Góra 9.12.2005 22/38 Wskaźnik progresu dla (1 + 1)ES α wyniki 1 0.99 c(δ) 0.98 0.97 0.96 0.95 α=2.0 α=1.5 0.94 α=1.0 α=0.5 0.93 0 5 10 15 20 δ= y /σ k Wskaźnik progresu dla (1 + 1)ES α vs. δ = y k /σ. Wartości dokładne dla α = 0.5, 1, 1.5, 2.0.
IEEE CIS seminarium, Zielona Góra 9.12.2005 23/38 Założenia: Wskaźnik progresu dla (1 + λ)es α funkcja dopasowania Φ s (x) = x 2, mutacja y k : y k,i = y k + X i, X i SαS(σ) N(0,I) N(0,I), twarda selekja: y k+1 = arg min{f(y k ), {f(y k,i ) i = 1, 2,...,λ}}. i = 1, 2,...,λ,
IEEE CIS seminarium, Zielona Góra 9.12.2005 24/38 Wskaźnik progresu dla (1 + λ)es α formalizm Niech (X i i = 1,...,λ) (X i:λ i = 1,...,λ) : (i < j X i:λ X j:λ ). Let V i:λ = Y k,i 2 y k 2 wówczas ϕ = E {min{v 1:λ,1} y k } = 1 0 (1 F v(v)) λ dv, gdzie F v (v) jest dystrybuanta V i:λ.
IEEE CIS seminarium, Zielona Góra 9.12.2005 25/38 Wskaźnik progresu dla (1 + λ)es α wyniki c(δ * ) 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 20 40 60 80 100 λ α=2.0 α=1.5 α=1.0 α=0.5 Maksymalny wskaźnik progresu (1 + λ)es α (α = 0.5, 1, 1.5, 2 linie od góry do dołu) vs. liczba potomków λ.
IEEE CIS seminarium, Zielona Góra 9.12.2005 26/38 Izotropowa mutacja α-stabilna + miękka selekcja Założenia intuicyjne mutacja pozwala na generowanie potomków blisko rodzica lepsza zdolność eksploatacyjna EA; mutacja pozwala na częste generowanie potomków odległych lepsza zdolność eksploracyjna EA.
IEEE CIS seminarium, Zielona Góra 9.12.2005 27/38 Izotropowa mutacja α-stabilna + miękka selekcja Wspólne cechy EA z miękka selekcja populacja w iteracji k + 1 jest zwykle utworzona na bazie pewnego podzbioru k-tej populacji; r wartość oczekiwana liczby potomków w generacji k + 1 posiadajacego tego samego rodzica; analiza lokalnej zbieżności jest zredukowana do analizy wartości oczekiwanej pierwszej zmiennej X 1: r statystyki porzadkowej.
IEEE CIS seminarium, Zielona Góra 9.12.2005 28/38 Istnienie k-tego momentu X 1:λ Twierdzenie: Niech X SαS wówczas k α(λ i + 1) < 0 E{Xi,λ} k < + Wniosek λ > 1/α E{X 1,λ } < + ;
IEEE CIS seminarium, Zielona Góra 9.12.2005 29/38 Izotropowa mutacja α-stabilna + miękka selekcja 0.5 0.4 α = 2 α = 1.5 α =1 α=0.5 Wartość oczekiwana zmiennej losowej X 1:λ vs. λ. E[χ α,1: λ ] 0.3 0.2 0.1 4 6 8 10 12 14 λ X d = S 2 S(1) kwadraty, X d = S 1.5 S(1) diamenty, X d = S 1 S(1) krzyże, X d = S 0.5 S(1) koła
IEEE CIS seminarium, Zielona Góra 9.12.2005 30/38 Estymacja rozmiaru martwego obszaru Funkcja dopasowania: 8 6 Φ s (x) = x 2 Populacja poczatkowa: 4 2 P 0 = {x 0 i }η i=1, x0 i = 0 2 0 0 2 2 0 2 Algorytm: selekcja turniejowa + ISαS Wskaźnik jakości: H(α, σ) - średnia odległość najlepszego osobnika od rozwiazania.
IEEE CIS seminarium, Zielona Góra 9.12.2005 31/38 Zdolności eksploatacyjne 10 0 10 1 α = 2.0 α = 1.5 α = 1.0 α = 0.5 10 0 10 1 α = 2.0 α = 1.5 α = 1.0 α = 0.5 H(α,σ) 10 2 H(α,σ) 10 2 10 3 10 3 0.001 0.010 0.100 0.500 σ 0.001 0.010 0.100 0.500 σ λ = 2 λ = 8
IEEE CIS seminarium, Zielona Góra 9.12.2005 32/38 Przekraczanie siodła - właściwości eksploracyjne 1.4 1.2 1 0.8 0.6 0.4 0.2 0 1 0.5 0 0.5 1 1 0.5 0 0.5 1 1.5 2 Populacja poczatkowa: P 0 = {x 0 i }η i=1, x 0 i optimum lokalne Warunek stopu: max x k i P(k){φ(x k i )} > 0.6 Wskaźnik jakości: E(α, σ) - średnia liczba iteracji potrzebna do rozwiazania problemu.
IEEE CIS seminarium, Zielona Góra 9.12.2005 33/38 Zdolności eksploracyjne - przekraczanie siodła 10 4 10 4 10 3 10 3 E(α,σ) E(α,σ) 10 2 α = 2.0 α = 1.5 α = 1.0 α = 0.5 0.001 0.010 0.100 0.500 σ 10 2 α = 2.0 α = 1.5 α = 1.0 α = 0.5 0.001 0.010 0.100 0.500 σ λ = 2 λ = 8
IEEE CIS seminarium, Zielona Góra 9.12.2005 34/38 Eksploracja vs. Eksploatacja problem dwukryterialny 10 4 10 3 10 4 10 3 α = 2.0 α = 1.5 α = 1.0 α = 0.5 P optimum E (α,σ) 10 2 α = 2.0 α = 1.5 α = 1.0 α = 0.5 P optimum E (α,σ) 10 2 10 3 10 2 10 1 10 0 H(α,σ) 10 3 10 2 10 1 10 0 H(α,σ) λ = 2 λ = 8
IEEE CIS seminarium, Zielona Góra 9.12.2005 35/38 Podsumowanie Otrzymane dotychczasowe wyniki badań podważaja dotychczasowa hegemonię mutacji gaussowskiej w stochastycznych algorytmach optymalizacji globalnej. Istnieje możliwość pogodzenia wymagań eksploatacyjnych i eksploracyjnych algorytmów ewolucyjnych stosujac izotropowa mutację α-stabilna.
IEEE CIS seminarium, Zielona Góra 9.12.2005 36/38 Aktualne realizowane zagadnienia samoadaptacja parametrów mutacji α-stabilnej: parametr skali σ; indeksu stabilności α; wymuszony kierunek mutacji; samoadaptacja kierunku wymuszenia; zastosowanie w zagadnieniach hyper-multiwymiarowych i środowiskach niestacjonarnych; lokalna selekcja + izotropowa mutacja α-stabilna; mutacja promienia selekcji; zastosowanie w zagadnieniach wielokryterianych i środowiskach niestacjonarnych;
IEEE CIS seminarium, Zielona Góra 9.12.2005 37/38 Ważniejsze publikacje Rozkłady Cauchy ego w EA: G. Rudolph, Local convergence rates of simple evolutionary algorithms with Cauchy mutations IEEE TEC, Vol.1, No.4, pp.249 258, 1997. X. Yao, Y. Liu, Fast evolutionary strategies Contr. Cybern., Vol.26, No.3, pp.467 496, 1997; X. Yao, Y. Liu, Evolutionary programming made faster IEEE TEC, Vol.3, No.2, pp.82 102, 1999; A. Obuchowicz, Multidimensional mutations in evolutionary algorithms based on real-valued representation, Int. J. System Science, Vol.34, No.7, 2003, pp.469 483.
IEEE CIS seminarium, Zielona Góra 9.12.2005 38/38 Nieizotropowe mutacje α-stabilne w EA; A. Obuchowicz, P. Prętki, Phenotypic Evolution with Mutation Based on Symmetric α-stable Distributions. Int. J. Appl. Math. and Comp. Sci. Vol.14, No.3, pp.289-316, 2004; C.Y. Lee, X. Yao, Evolutionary programming using mutations based on the Lévy probability distribution. IEEE TEC Vol.8, No.1, pp.1 13, 2004; Izotropowe mutacje α-stabilne w EA; A. Obuchowicz, P. Prętki, Isotropic Symmetric α-stable Mutations for Evolutionary Algorithms. Proc. IEEE CEC 05, Vol. 1, pp. 404-410, 2005;