STUDIA INFORMATICA 2007 Volume 28 Number (70) Dariusz R. AUGUSTYN, Łukasz WYCIŚLIK Politechnika Śląska, Instytut Informatyki HEURYSTYCZNY ALGORYTM OPTYMALIZACJI PARAMETRYCZNEJ DEDYKOWANY PROBLEMOM WIELOWYMIAROWYM Streszczenie. Heurystyczne algorytmy optymalizacyne znane są od początków rozwou dziedziny informatyki, ednak stosunkowo niedawno zaczęto proponować algorytmy bazuące na obserwacach zawisk w otaczaące nas przyrodzie (ewoluca, poszukiwanie pożywienia przez kolonie wieloagentowe, wyżarzanie w procesach metalurgicznych itp.). Każdy z takich algorytmów charakteryzue się inną specyfiką przeszukiwania przestrzeni rozważań. Jednym z problemów optymalizaci parametryczne est przypadek wielowymiarowe przestrzeni przeszukiwań, gdzie liczba wymiarów osiąga setek, a nawet tysięcy. Autorzy opieraąc się na nalepszych cechach znanych z literatury heurystycznych algorytmów optymalizaci, zaproponowali własny algorytm przeznaczony do rozwiązywania takich problemów. Słowa kluczowe: optymalizaca parametryczna, heurystyka, metody ewolucyne, optymalizaca wielowymiarowa HEURISTIC PARAMETRIC OPTIMIZATION ALGORITHM FOR MULTIDIMESIONAL PROBLEMS SOLVING Summary. Heuristic optimization algorithms are known from the beginnings of computer science but ones based on observations of nature phenomenons (evolution, food searching of multiagent colonies, annealing) were introduced relatively late. Each of them have different characteristics of search space exploration. One of known problems of parametric optimization is multidimensional case (hundreds or thousands of dimensions). Authors, inspired by best features of known optimization algorithms, proposed optimization method for such problems solving. Keywords: parametric optimization, heuristics, evolutionary methods, multidimensional optimization
56 D. R. Augustyn, Ł. Wyciślik. Wstęp Algorytmy przeszukiwania losowego, stosowane do zadań optymalizaci, to takie, które w sposób iteracyny przeszukuą przestrzeń rozważań w przypadkowych kierunkach, aby znaleźć minimum funkci celu. Każdy taki algorytm rozpoczyna swoe działanie z punktu początkowego (wylosowanego bądź ustalonego). Kierunek poszukiwania est realizacą wektora, którego składowymi są zmienne losowe. Krok, który w wyniku dae mnieszą wartość funkci akości, est krokiem pomyślnym, inne kroki są niepomyślne. W naprostszych algorytmach przeszukiwania losowego kroki niepomyślne są odrzucane, zaś pomyślne staą się punktem startowym dla kolene iteraci algorytmu. Jeżeli w algorytmie wzdłuż obiecuącego kierunku wykonue się serię kroków, algorytm taki nazywany est algorytmem z pamięcią. Algorytmy, w których w każdym kroku przymowany est nowy kierunek poszukiwań, nazywane są algorytmami bez pamięci. Należy zauważyć, że w algorytmach z pamięcią rozkład prawdopodobieństwa wartości składowych wektora zależy od numeru kroku. Jeśli dodatkowo rozkład ten est modyfikowany w trakcie procesu przeszukiwania w celu przyspieszenia zbieżności algorytmu, mówi się o algorytmach przeszukiwania losowego z adaptacą [4]. Wśród podstawowych algorytmów przeszukiwania losowego bez pamięci należy wymienić algorytm z parą kroków próbnych, gdzie po wylosowaniu kierunku przeszukiwań realizowany est krok w kierunku wylosowanym bądź przeciwnym tam, gdzie funkca akości osiąga mnieszą wartość. Innym przykładem algorytmu bez pamięci może być algorytm nalepsze próby, gdzie na początku iteraci realizowanych est wiele kroków próbnych, a ako krok roboczy przymue się ten, który prowadzi do namniesze wartości funkci akości. Dla wybranego kierunku poszukiwań algorytm est realizowany z wykorzystaniem stałego, przyętego wcześnie współczynnika. Przykładem algorytmu z pamięcią może być metoda przypadkowego spadku, w które z danego punktu wykonue się serię kroków w danym kierunku dopóki są to kroki pomyślne. Po wystąpieniu kroku niepomyślnego następue wybór nowego, bardzie obiecuącego kierunku [4]. Opisane wyże podstawowe metody przeszukiwania funkci celu są bardzo zawodne w przypadku zadań optymalizaci globalne, ponieważ dla funkci o wielu minimach lokalnych znalezione minimum lokalne zależy od punktu startowego algorytmu i nie musi być wcale minimum globalnym. Problem ten rozwiązue się czasami przez modyfikace wyże przedstawionych algorytmów optymalizaci lokalne, polegaące bądź to na wielokrotnym uruchamianiu danego algorytmu z różnymi, losowo wybranymi punktami początkowymi (metody wielostartowe), bądź też na dodaniu do wektora kierunku przeszukiwań składowe prędkości wynikaące z ruchu wykonanego w poprzednim kroku (symulaca ruchu punktu materialnego), maące zapewnić możliwość opuszczania płytkich minimów lokalnych [].
Heurystyczny algorytm optymalizaci parametryczne dedykowany 57 Inną klasą metod niedeterministycznych są algorytmy cechuące się losowością zarówno w procesie poszukiwań nowych rozwiązań, ak też w procesie przechodzenia między kolenymi rozwiązaniami roboczymi. Nie operue się tuta wektorem kierunku dodawanym do bieżącego rozwiązania, ale przy każde iteraci generue się zupełnie nowe rozwiązania kandyduące. Naprostszym z takich algorytmów est metoda Monte Carlo, gdzie z rozkładem równomiernym dokonue się wielu losowań punktu z przestrzeni rozwiązań, pamiętaąc nalepszy, dotychczas znaleziony. Inną metodą może być algorytm błądzenia przypadkowego, gdzie przetwarzany est eden punkt roboczy, będący realizacą zmienne losowe rozkładu prawdopodobieństwa, według którego losue się następny punkt, który to stae się punktem roboczym bez względu na wartość funkci akości. Podobnie ak w metodzie Monte Carlo, tak i tuta pamiętane est rozwiązanie nalepsze z dotychczas znalezionych []. Oprócz algorytmów, które przetwarzaą dane rozwiązanie krok po kroku, istnieą również metody populacyne, gdzie przetwarza się równolegle (w znaczeniu niezależności rozwiązań) wiele kandyduących rozwiązań. Po ocenie ich wartością funkci akości realizue się grupowanie rozwiązań w celu eliminaci tych, które zbiegaą się do ednego minimum lokalnego. Pozwala to na zmnieszenie nakładu obliczeń. W ostatnich latach zaproponowano algorytmy służące m.in. do optymalizaci globalne, które swoą akością znacznie przewyższyły dotychczas stosowane metody. Należy wśród nich wymienić algorytmy symulowanego wyżarzania, algorytmy genetyczne, metody ewolucyne czy algorytmy mrówkowe. Wykorzystuąc w swoim działaniu czynnik niedeterministyczny, kwalifikuą się one do grupy algorytmów przeszukiwania losowego (naczęście adaptacynych i populacynych), ednak ze względu na swoą genezę, specyfikę i podstawy teoretyczne, zostały wydzielone ako osobne grupy, zwane czasem algorytmami metaheurystycznymi. 2. Propozyca algorytmu optymalizaci heurystyczne dedykowanego problemom wielowymiarowym Pomimo zupełnie różne genezy algorytmów ewolucynych i algorytmów mrówkowych można w nich zauważyć duże podobieństwa, zwłaszcza eśli bierze się pod uwagę werse poszczególnych heurystyk stworzone do rozwiązywania podobnych zadań. Każde z podeść wykorzystue populacę osobników reprezentuących rozwiązanie danego zadania i w każdym z podeść wiedza o rozwiązywanym problemie, zgromadzona przez poszczególne osobniki, est wykorzystywana do stochastycznego wygenerowania nowe populaci osobników. Podstawową różnicą est fakt, że w przypadku algorytmów ewolucynych cała wiedza o rozwiązaniu problemu zawarta est w samych osobnikach dane populaci, zaś w
58 D. R. Augustyn, Ł. Wyciślik przypadku algorytmów mrówkowych wiedza ta zawarta est w śladzie feromonowym, na tworzenie którego ma wpływ każdy z osobników. Mechanizmy te służą ednak ednemu celowi, akim est konstrukca stale zmieniaące się w kolenych iteracach algorytmu wielowymiarowe funkci rozkładu gęstości prawdopodobieństwa (w przypadku optymalizaci kombinatoryczne funkca ta est określona na wartościach dyskretnych), na podstawie które generowane są kolene osobniki (o lepsze wartości wskaźnika akości). Algorytmy mrówkowe znaduą szczególne zastosowanie w rozwiązywaniu problemów kombinatorycznych, gdzie liczba wszystkich dopuszczalnych rozwiązań est ograniczona i możliwe est przedstawienie tych rozwiązań za pomocą grafu. Taka specyfika umożliwia zakodowanie zadania w postaci dane implementaci grafu. Cała wiedza o rozwiązywanym problemie wynika z wag poszczególnych krawędzi grafu, których wartości mogą być na bieżąco zmieniane przez kolene osobniki (lepsza wartość funkci przystosowania to większa ilość pozostawionego feromonu). Na postać funkci gęstości prawdopodobieństwa, reprezentowane przez ślad feromonowy, na podstawie które generowane będą następne rozwiązania, maą więc wpływ wszystkie osobniki z wagą wyznaczaną przez zastosowaną funkcę akości oraz funkcę modeluącą parowanie feromonu (starsze rozwiązania są mnie prawdopodobne). Podobna koncepca generowania nowych osobników przyświeca ewolucynemu systemowi PBIL (ang. Population Based Incremental Learning), który został zaproponowany przez S. Balua w 994 r. [3]. W koncepci te wiedza o rozwiązywanym problemie zawarta est w tzw. bazowym wektorze prawdopodobieństwa, który stanowi edyną podstawę do generowania nowych osobników, a który uaktualniany est na podstawie oceny akości rozwiązań reprezentowanych przez generowane koleno osobniki. Prowadzone badania wykazały [3], że algorytm ten dae obiecuące wyniki w zastosowaniu do optymalizaci kombinatoryczne. Natomiast w przypadku optymalizaci parametryczne uzyskiwane wyniki są gorsze niż w przypadku stosowania klasycznych algorytmów ewolucynych. Spowodowane est to zapewne faktem, że w przypadku optymalizowania funkci wielomodalnych nie ma możliwości zakodowania w wektorze bazowym funkci gęstości rozkładu prawdopodobieństwa o bardzie złożonym kształcie, która umożliwiałaby eksploracę rozwiązań wszystkich obiecuących obszarów optymalizowane funkci. Propozyca algorytmu optymalizaci parametryczne polega na ewoluci osobników będących kodowanymi zmiennoprzecinkowo wektorami punktów przestrzeni, na które określona est funkca f ( x) : n, dla które poszukuemy ekstremum. W każde iteraci algorytmu nowy osobnik generowany est na podstawie stałe liczby poprzedników. Prawdopodobieństwo selekci danego osobnika wynika z wartości obliczone dla niego funkci przystosowania oraz czasu, kiedy został wygenerowany, przy czym wpływ czasu, podobnie ak w algorytmach mrówkowych odparowywanie śladu feromonowego, może mieć charakter
Heurystyczny algorytm optymalizaci parametryczne dedykowany 59 liniowy, wykładniczy bądź inny. Badania własne wykazały, że w przypadku złożonych funkci wielowymiarowych operatory krzyżowania (zarówno, eśli chodzi o krzyżowanie pozycyne, ak i krzyżowanie arytmetyczne) nie przyczyniaą się do wzrostu skuteczności metody optymalizaci, często stanowiąc wręcz zawadę (we wszystkich testowanych funkcach nie uzyskano poprawy, a w niektórych nastąpiło wręcz pogorszenie), dlatego nowy osobnik tworzony est edynie w oparciu o mutacę, która est realizowana zgodnie ze schematem mutaci nierównomierne [2]. Na potrzeby zobrazowania sposobu funkconowania zaproponowanego algorytmu zastosowano następuące oznaczenia: x x2 x = M x n n wektor, który est punktem przeszukiwane dziedziny funkci f, zwany również osobnikiem, x m = xm xm M x 2 mn osobnik wygenerowany w m-te iteraci, gdzie: k est liczbą osobników biorących udział w każde iteraci algorytmu optymalizaci, M założoną liczbą wszystkich iteraci algorytmu optymalizaci, wartością wskaźnika akości dla xm, czyli wartością f(x m ), a T(m) funkcą określaącą wpływ numeru iteraci, w które został wygenerowany dany osobnik na ego prawdopodobieństwo selekci (wybór wcześnie wygenerowanych osobników est mnie prawdopodobny). Podstawowe zasady funkconowania opisanego algorytmu obrazue rys. (założono, że algorytm realizue właśnie m-ty krok iteraci). Selekci osobnika z populaci bazowe dokonue się na podstawie wartości funkci przystosowania Q m oraz wartości funkci opisuące wpływ numeru iteraci wygenerowania danego osobnika T(m). Proponue się, aby prawdopodobieństwo wyboru m-tego osobnika opisać następuącą zależnością: P m m = k Q T ( m), () Q T ( ) = gdzie Q m est wskaźnikiem akości (funkcą przystosowania) m-tego osobnika, uprawdopodobniaącym wybór osobnika o większe wartości Q, zaś T funkcą określaącą wpływ numeru iteraci, w które został wygenerowany dany osobnik, na ego zdolność do reprodukci (podobnie ak w algorytmach mrówkowych może to być rosnąca funkca liniowa, funkca wykładnicza bądź inna funkca niemaleąca), uprawdopodobniaącą wybór młodszego osobnika. Q m
60 D. R. Augustyn, Ł. Wyciślik W ramach badań realizowanych w niniesze pracy wykorzystano funkcę liniową. x m k, x m x m, x m, x m k,2 x m x m,2 x m,2 x m k,n x m k+, x m,n x m,n m- m-k m-k+ m Wybór osobnika do mutaci i = F S (Q m k, m-k, Q m k+, m k+,, Q m, m, m), gdzie i {m k,, m } x i, x i, x i,n Mutaca edne ze składowych (wybór każde ze składowych est równoprawdopodobny) {,, n} x' i = F M (x i, m) x i, x' i, x i,n Rys.. Zobrazowanie funkconowania algorytmu optymalizaci parametryczne Fig.. Visualization of parametric optimization algorithm Podobnie ak w algorytmach symulowanego wyżarzania, tak i tuta wprowadzić można czynnik akceptaci (a w przypadku proponowanego algorytmu selekci) rozwiązania gorszego z prawdopodobieństwem maleącym wraz z postępem procesu optymalizaci. Prawdopodobieństwo wyboru m-tego osobnika może być przedstawione ako: P F ( Q, m) T ( m) A m m ( m) = k, (2) = F ( Q, ) T ( ) A gdzie: m est numerem iteraci algorytmu, a F A funkcą uprawdopodobniaącą rozwiązania o lepsze akości w ramach postępu procesu optymalizaci np.: A m+ M F ( q, m) = a( q + b), (3) A gdzie: M est założoną liczbą iteraci algorytmu, zaś A (A > ) współczynnikiem, z którego wzrostem będzie malało prawdopodobieństwo akceptaci gorszych rozwiązań wraz z postę-
Heurystyczny algorytm optymalizaci parametryczne dedykowany 6 pem procesu optymalizaci. a i b to współczynniki liniowego przekształcenia przestrzeni funkci akości, dobierane przy każde iteraci algorytmu tak, aby e wartości dla nagorszego i nalepszego rozwiązania ze zbioru roboczego wynosiły odpowiednio i MAX (gdzie MAX > ). Dla zagadnień minimalizaci współczynnik a będzie przymować wartości uemne. W ramach badań realizowanych w niniesze rozprawie ustalono wartości współczynników A = 2 oraz MAX = 0. Mutaca realizowana est w ten sposób, że zmianie podlega każdorazowo tylko edna składowa wektora rozwiązania, wybrana losowo zgodnie z równomiernym rozkładem prawdopodobieństwa. Zmiana polega na zastąpieniu dane wartości inną, wygenerowaną losowo zgodnie z poniższą formułą [2]: xi, + Δ( m, u xi, ), prawdopodobieństwem 2 x i, = (4) xi, Δ( m, xi, l ), prawdopodobieństwem 2 gdzie: u est górnym krańcem przedziału zmienności -te składowe, zaś l est e dolnym krańcem przedziału zmienności. Funkca Δ(m, y) przymue wartości w zakresie [0,y], a prawdopodobieństwo, że Δ(m, y) est bliskie 0, wzrasta ze wzrostem m. Właściwość ta zapewnia, że w początkowe fazie optymalizaci algorytm eksplorue przestrzeń rozwiązań w szerokim zakresie, by w swoe końcowe fazie eksploatować wytypowane wcześnie obiecuące obszary. Zastosowano następuącą funkcę Δ(m, y) [2]: ( m / M ) b Δ ( m, y) = y( r ), (5) gdzie: r est liczbą z przedziału [0, ], losowaną zgodnie z rozkładem równomiernym, każdorazowo przy obliczaniu wartości funkci Δ, M założoną liczbą iteraci algorytmu, zaś b współczynnikiem dobranym eksperymentalnie (decyduącym o szybkości wymuszania zbieżności) w zależności od nieednorodności kształtu optymalizowane funkci. Na rys. 2 zobrazowano odwzorowanie wartości zmienne losowe na wartość modyfikaci dane składowe, realizowane przez omawiany operator mutaci w zależności od kroku algorytmu. Liczby opisane na konturach to wartości funkci Δ(m,).
62 D. R. Augustyn, Ł. Wyciślik Rys. 2. Wizualizaca funkconowania operatora mutaci nierównomierne (M = 000, b = ) Fig. 2. Visualization of nonuniform mutation operator (M = 000, b = ) Poniże przedstawiono uproszczony, formalny opis zaproponowanego algorytmu optymalizaci w pseudokodzie. Przez PPt oznaczono uporządkowany zbiór osobników przetwarzanych w iteraci numer t. Na zbiorze tym operue funkca selekca, która wybiera osobnika do mutaci na podstawie formuły (2) oraz (3). Funkca mutaca realizue operacę mutaci na poedyncze, losowo wybrane składowe, zgodnie ze schematem mutaci nierównomierne (4) oraz (5). Przez O oraz T oznaczono tymczasowe zmienne, pozwalaące operować na poedynczym osobniku. procedure AlgorytmOptymalizaci begin t := 0 t inicaca PP while ( t < założona liczba iteraci ) do begin t T := selekca PP O := mutaca T ocena O P t+ := PPt nastarszy osobnik {O} t := t + end end Inicalizaca początkowego zbioru osobników polega na wygenerowaniu losowych wartości dla każde ze składowych, w granicach określonych przedziałów zmienności, zgodnie z rozkładem równomiernym.
Heurystyczny algorytm optymalizaci parametryczne dedykowany 63 Zastosowanie modelu selekci elitarne implementowanego w algorytmach ewolucynych w ten sposób, że do następnego pokolenia przechodzi zawsze η nalepszych osobników, realizowane est tuta przez określenie prawdopodobieństwa selekci (a następnie mutaci) któregoś z η nalepszych osobników, wynoszącego η/(k+η) dla każdego z tych osobników. Realizaca modelu selekci elitarne wymaga oczywiście dodatkowe struktury danych, umożliwiaące przechowywanie informaci o η nalepszych, znalezionych do bieżące iteraci osobnikach. Podsumowuąc sposób funkconowania zaproponowanego algorytmu, można wyliczyć następuące ego cechy: sposób utrzymywania populaci osobnicze podobny est do strategii ewolucyne (μ + ), wpływ numeru iteraci, w które został wygenerowany dany osobnik (a więc ego wieku) na prawdopodobieństwo ego selekci został zaczerpnięty z algorytmów mrówkowych, zmnieszanie prawdopodobieństwa akceptaci rozwiązań gorszych wraz z przebiegiem procesu optymalizaci realizowany est podobnie ak w algorytmach symulowanego wyżarzania, sposób generowania nowego osobnika na podstawie osobnika wybranego w procesie selekci realizowany est za pomocą operatora mutaci nierównomierne. Badania zaproponowanego algorytmu optymalizaci prowadzono w pierwsze koleności na wielu popularnych funkcach testowych, w tym funkci Michalewicza. Przytoczono tylko niektóre wyniki z całości badań nad tymi funkcami, gdyż prawdziwą miarą skuteczności metody optymalizaci będzie realizaca badań na rzeczywistym systemie rozmytym. Z drugie ednak strony weryfikacę algorytmu rozpoczęto od funkci testowych, gdyż narzut potrzebny na obliczenie odpowiedzi systemu rozmytego est dużo większy niż na obliczenie wartości użytych funkci testowych. 3. Testy zaproponowane metody na zestawie funkci testowych De Jonga Do testów wybrano popularny zestaw [2] testowych funkci De Jonga składaący się z pięciu funkci zdefiniowanych w tabeli. Testy przeprowadzono na podstawie porównania funkconowania zaproponowanego algorytmu z klasycznym algorytmem ewolucynym. Podobnie ak w przypadku funkci Michalewicza, tak i tuta maksymalizowano funkce postaci F(x). Ponieważ dla pierwszych czterech funkci liczba wymiarów, na których są one określone, est parametryzowana, więc testy przeprowadzono na funkcach określonych na 00 wymiarach, co może pozwolić na lepszą weryfikacę zaproponowanego algorytmu w za-
64 D. R. Augustyn, Ł. Wyciślik stosowaniu do optymalizaci problemów wielowymiarowych. Ostatnią, piątą funkcę optymalizowano w e pierwotne postaci. Nazwa. Funkca De Jonga (ang. Sphere Model) 2. Funkca De Jonga Definice funkci testowych De Jonga Definica funkci Dim x i i= 2 F ( x =, ) dla 5.2 x i 5.2; i =,, Dim 2 ( ) Dim F, i= 2 2 (ang. Rosenbrock s Valley) 2 ( x) = 00( xi xi+ ) + ( xi ) 3. Funkca De Jonga (ang. Step Function) F3 x) = int( x i ) 4. Funkca De Jonga dla 2.048 x i 2.048; i =,, Dim Dim (, i= dla 5.2 x i 5.2; i =,, Dim Dim 4 (ang. Quartic Gaussian Function) F4 x) = ( ix i + Gauss(0,) ) 5. Funkca De Jonga (ang. Shekel s Foxholes Function) (, i= dla.28 x i.28; i =,, Dim 25 F 5 ( x) = 0.002 +, = f 2 ( xi ai, ) f = +, i= dla -65.536 x i 65.536; i=, 2 6 Tabela macierz współczynników a i,, przedstawiono poniże: a i, 32 6 0 6 32 32 6 0 6 32 32 6 = 32 32 32 32 32 6 6 6 6 6 0 0 przez Dim oznaczono liczbę wymiarów, na których określona est funkca. 0 6 32 32 6 0 6 32 32 6 0 6 32 0 0 0 6 6 6 6 6 32 32 32 32 32 Wyniki porównań przedstawiono na poniższych rysunkach, gdzie dla każdego z algorytmów wykreślono po 0 krzywych obrazuących przebieg algorytmu optymalizaci, odpowiadaących 0 kolenym uruchomieniom każdego z programów. Dla niektórych funkci, w celu uzyskania lepsze przerzystości, wykreślono rysunki z logarytmiczną skalą dla osi odciętych.
Heurystyczny algorytm optymalizaci parametryczne dedykowany 65 Rys. 3. Porównanie algorytmu ewolucynego z zaproponowaną metodą heurystyczną dla pierwsze funkci De Jonga skala logarytmiczna Fig. 3. Comparison of the evolutionary algorithm and the proposed method for the first De Jong s function logarithmic scale Rys. 4. Porównanie algorytmu ewolucynego z zaproponowaną metodą heurystyczną dla drugie funkci De Jonga skala logarytmiczna Fig. 4. Comparison of the evolutionary algorithm and the proposed method for the second De Jong s function - logarithmic scale
66 D. R. Augustyn, Ł. Wyciślik Rys. 5. Porównanie algorytmu ewolucynego z zaproponowaną metodą heurystyczną dla trzecie funkci De Jonga skala liniowa Fig. 5. Comparison of the evolutionary algorithm and the proposed method for the third De Jong s function linear scale Rys. 6. Porównanie algorytmu ewolucynego z zaproponowaną metodą heurystyczną dla czwarte funkci De Jonga skala logarytmiczna Fig. 6. Comparison of the evolutionary algorithm and the proposed method for the fourth De Jong s function - logarithmic scale
Heurystyczny algorytm optymalizaci parametryczne dedykowany 67 Rys. 7. Porównanie algorytmu ewolucynego z zaproponowaną metodą heurystyczną dla piąte funkci De Jonga skala liniowa Fig. 7. Comparison of the evolutionary algorithm and the proposed method for the fifth De Jong s function - linear scale 4. Podsumowanie Dla wszystkich przetestowanych powyże funkci zaproponowana metoda znadue lepsze przybliżenie wartości optymalne. Należy również zwrócić uwagę na to, że zaproponowany algorytm cechue o wiele mnieszy rozrzut zarówno końcowego wyniku, ak i wyników pośrednich, uzyskanych w trakcie przebiegu procesu optymalizaci. Istotną zaletą algorytmu est również duża szybkość zbieżności, polegaąca na wypracowaniu dobrych wyników uż we wczesnych iteracach procesu optymalizaci. Dla drugie funkci testowe zaobserwować można pewien rozrzut w znalezionych optimach dla poszczególnych powtórzeń algorytmu, ale uzyskane wyniki są i tak znacznie lepsze od wyników wypracowanych przez system genocop3. Rozrzut ten spowodowany est przez fakt, iż badana funkca est niewspółmiernie bardzie nieednorodna w porównaniu do pozostałych, a należy przypomnieć, że obydwa algorytmy na potrzeby wszystkich testów miały ustalone i niezmienne parametry funkconowania. Piąta funkca De Jonga również charakteryzue się dużym stopniem nieednorodności, ale ponieważ zdefiniowana est ona tylko dla dwóch wymiarów, to obydwa algorytmy przy założone liczbie iteraci uzyskały podobne wyniki, chociaż zaproponowana metoda znacznie przewyższyła szybkością zbieżności.
68 D. R. Augustyn, Ł. Wyciślik Skomentować należy również to, iż w początkowe fazie procesu optymalizaci system genocop3 wyprzedza w większości przykładów zaproponowany algorytm. Spowodowane est to faktem, że system genocop3 dla zalecanych wartości parametrów rozpoczyna proces optymalizaci z pokoleniem losowo dobranych osobników. Choć zaproponowana metoda przewidue oczywiście taką możliwość, to przetestowana została wersa z ednym punktem startowym. Miało to na celu zbadanie wpływu losowości punktu startowego na zbieżność wyników dla poszczególnych uruchomień programu. Jak można zobaczyć na wykresach, wpływ ten dla testowanych funkci nie est duży, co stanowi niewątpliwą zaletę. Wszystkie z wyże przeprowadzonych badań zrealizowano z wartościami współczynników zgodnymi z tabelą 2. Tabela 2 Wartości współczynników w funkcach testowych Współczynnik Wartość M (liczba iteraci) 3.5e4 k (liczebność populaci) 5 b (współczynnik nieednorodności) Liczba iteraci została narzucona na potrzeby porównania z systemem Michalewicza (operacą dominuącą w przypadku znadowania ekstremum funkci est obliczenie wartości te funkci dla zadanych argumentów), zaś pozostałe współczynniki zostały dobrane eksperymentalnie. Podobnie ak w przypadku innych metod heurystycznych, wyliczenie wartości współczynników (zapewniaących osiągnięcie nalepszych rezultatów w nakrótszym czasie) steruących pracą algorytmu na drodze analityczne nie est możliwe. Dlatego, aby obrazować ich możliwy wpływ na osiągane wyniki, przeprowadzono poniższe badania z wykorzystaniem funkci Michalewicza (k = 2, n = 00). Rysunek 8 obrazue wpływ liczby iteraci realizowanych przez algorytm w procesie optymalizaci na akość osiąganych wyników.
Heurystyczny algorytm optymalizaci parametryczne dedykowany 69 Rys. 8. Zobrazowanie wpływu liczby iteraci algorytmu na akość wyników optymalizaci Fig. 8. Visualization of number of iterations influence on optimization results quality Jak widać na rysunku, dla niewielkie liczby iteraci (0-0 3 ) uzyskiwane są słabe wyniki, a ich zmienność est duża. Dla liczby iteraci większe niż 0 5 uzyskue się bardzo dobre wyniki, przy czym zwiększanie liczby iteraci ponad 0 6 est uż rozrzutnością w gospodarowaniu mocą obliczeniową, gdyż nie uzyskue się uż dalsze poprawy akości wyników. W przypadku funkci Michalewicza z postaci analityczne szacować można e górne ograniczenie, co ułatwia podęcie decyzi o ograniczeniu liczby iteraci do rzędu 0 6, niestety w przypadku przeszukiwania bardzie skomplikowanych funkci często nie est to możliwe. Należy zauważyć, że z praktycznego punktu widzenia liczba iteraci algorytmu est parametrem, od którego zależy czas realizaci procesu optymalizaci, dlatego też, eśli est to możliwe, powinno się tak dobierać wartości pozostałych parametrów, aby możliwe było uzyskanie zadowalaących wyników optymalizaci dla ak namniesze wymagane liczby iteraci algorytmu. Kolenym z badanych parametrów zaproponowanego algorytmu optymalizaci est liczebność roboczego zbioru osobników (liczebność populaci). Przykładowy wpływ zmian wartości tego parametru na akość osiąganych wyników przedstawiono na rys. 9.
70 D. R. Augustyn, Ł. Wyciślik Rys. 9. Zobrazowanie wpływu liczebności roboczego zbioru osobników na akość wyników optymalizaci Fig. 9. Visualization of number of agents in working set influence on optimization results quality Należy zauważyć, że w przypadku poszukiwania minimum funkci Michalewicza dobre wyniki osiąga się dla wartości tego parametru do 0 2, a dalsze zwiększanie ego wartości przynosi zauważalne pogorszenie osiąganych wyników. Nalepsze rezultaty w badanym przypadku osiągnięto dla liczebności roboczego zbioru osobników ~25, ale mniesze wartości tego parametru nie wpływaą w zdecydowany sposób na znaczne pogorszenie osiąganych wyników. Należy przypuszczać, że w przypadku przeszukiwania bardzie skomplikowanych funkci, zbyt mała wartość tego parametru może powodować osiadanie procesu optymalizaci w lokalnych ekstremach, zaś zbyt duża ego wartość może powodować ekstensywne eksplorowanie całe przestrzeni, na które określona est przeszukiwana funkca, zamiast intensywniesze eksploataci nabardzie obiecuących obszarów. Ostatnim z naważnieszych parametrów zaproponowanego algorytmu optymalizaci est współczynnik nieednorodności przeszukiwane funkci. Wpływ zmian wartości tego współczynnika na akość osiąganych wyników w przypadku przeszukiwania funkci Michalewicza przedstawiono na rys. 0.
Heurystyczny algorytm optymalizaci parametryczne dedykowany 7 Rys. 0. Zobrazowanie wpływu współczynnika nieednorodności przeszukiwane funkci na akość wyników optymalizaci Fig. 0. Visualization of nonuniform mutation factor influence on optimization results quality Współczynnik nieednorodności przeszukiwane funkci ma bezpośredni wpływ na funkconowanie operaci mutaci nierównomierne. Mutaca ta zapewniać ma generowanie nowych osobników w taki sposób, że w początkowe fazie maą być tworzone osobniki odległe od osobników rodzicielskich, zaś w końcowe fazie odległość ta ma stopniowo maleć. Zastosowanie tego mechanizmu umożliwia znalezienie dokładnieszych wartości dla wyszukanego we wcześniesze fazie obiecuącego ekstremum. Należy zauważyć, że zbyt małe wartości tego współczynnika uniemożliwiaą skuteczny przegląd całe przeszukiwane przestrzeni we wczesne fazie procesu optymalizaci, zaś zbyt duże wartości uniemożliwią doprecyzowanie znalezionego rozwiązania w końcowe fazie. Dla stuwymiarowe wersi funkci Michalewicza i liczbie iteraci ustalone na 5 tys. wartości prowadzące do dobrych wyników zawieraą się w granicach od 0. do. Istotnym spostrzeżeniem est ścisły związek tego parametru z doborem liczby iteraci algorytmu. W trakcie realizaci badań zaobserwowano (zgodnie z intuicynymi przewidywaniami), że w przypadku dużego rozrzutu wyników dla kolenych uruchomień programu realizuącego proces optymalizaci (przy stałych wartościach współczynników), rozrzut ulegał zmnieszeniu i akość wyników ulegała poprawie w przypadku zwiększenia liczby iteraci algorytmu bądź też zwiększenia wartości współczynnika nieednorodności (chociaż w tym ostatnim przypadku wyniki były zauważalnie gorsze). Ponieważ zwiększanie liczby iteraci est możliwe tylko do punktu wyznaczonego przez moc środowiska obliczeniowego, więc w przypadku ustalania wartości
72 D. R. Augustyn, Ł. Wyciślik tych dwóch parametrów dla procesu przeszukiwania funkci, które ekstremum nie da się oszacować, powinno się ustalić maksymalną możliwą liczbę iteraci algorytmu optymalizaci, a współczynnik nieednorodności przeszukiwane funkci dobrać eksperymentalnie. LITERATURA. Arabas J.: Wykłady z algorytmów ewolucynych. WNT, Warszawa 200. 2. Michalewicz Z.: Algorytmy genetyczne + struktury danych = programy ewolucyne. WNT, Warszawa 2003. 3. Balua S.: Population-based incremental learning: A metod for integrating genetics serach based function optimization and competitive learning. Technical Report CMU-CS-94-63. Carnegie Mellon University. 994. 4. Seidler J.:, Badach A., Molisz W.: Metody rozwiązywania zadań optymalizaci. WNT, Warszawa 980. Recenzent: Dr inż. Arkadiusz Sochan Wpłynęło do Redakci 20 listopada 2006 r. Abstract Heuristic optimization algorithms are known from the beginnings of computer science but ones based on observations of nature phenomenons (evolution, food searching of multiagent colonies, annealing) were introduced relatively late. Each of them have different characteristics of search space exploration. One of known problems of parametric optimization is the multidimensional case (hundreds or thousands of dimensions). Authors proposed optimization method for such problems solving being inspired by features of well known best optimization algorithms: the population of agents is managed similarly to the evolutionary strategy (μ + ), the age of agent influence on the probability of selection is similar to used in ant systems, the decrease of acceptance probability of poor agents in latter iterations is based on the simulated annealing algorithm.
Heurystyczny algorytm optymalizaci parametryczne dedykowany 73 Proposed method was tested on popular benchmark functions suite (De Jong s functions). The results achieved by the proposed method are comparable and even better then ones achieved by the classical evolutionary system especially in a multidimensional case. Adresy Dariusz Rafał AUGUSTYN: Politechnika Śląska, Instytut Informatyki, ul. Akademicka 6, 44-0 Gliwice, Polska, draugustyn@polsl.pl. Łukasz WYCIŚLIK: Politechnika Śląska, Instytut Informatyki, ul. Akademicka 6, 44-0 Gliwice, Polska, lukasz.wycislik@polsl.pl.