Haladó Algoritmusok v február

Transkrypt

1 Haladó Algoritmusok v0.91 Szénási Sándor február

2 ii

3 Tartalomjegyzék 1. Optimalizáció Optimalizáció feladata Optimalizáció fogalma Heurisztikák Metaheurisztika Alapfogalmak A feladat meghatározása Keresés meghatározása Többcélú optimalizálás Visszavezetés egycélú optimalizálásra Pareto dominancia Hegymászó módszer Alapelv Megvalósítás - Stochastic Algoritmus Megjegyzések Megvalósítás - Steepest Ascent Algoritmus Megjegyzések Megvalósítás - Random Restart Algoritmus Megjegyzések Értékelés Kiegészítési lehetőségek Gradiens módszerek Dynamic Hill Climbing Greedy Randomized Adaptive Search Procedures (GRASP) Gyakorlati problémák iii

4 iv TARTALOMJEGYZÉK 3. Szimulált lehűtés Alapelv Megvalósítás Algoritmus Paraméterezés Hőmérséklet meghatározása Értékelés Kiegészítési lehetőségek Gyakorlati problémák Véletlen Optimalizálás Alapelv Megvalósítás Algoritmus Megjegyzések Értékelés Tabu keresés Alapelv Megvalósítás Algoritmus Megjegyzések Tabu tárhely kezelése Tárolás Keresés Karbantartás Értékelés Kiegészítési lehetőségek További memóriaterületek bevezetése Evolúciós algoritmusok Alapelv Alapvető életciklus Algoritmus Reprezentáció Kromoszóma Populáció Konfigurációs paraméterek Fitness hozzárendelés Súlyozott összegzés Pareto rangsor alapján

5 TARTALOMJEGYZÉK v Verseny alapú Megosztó függvény Kiválasztás Elitism Csonkoló kiválasztás Fitnessz arányos kiválasztás Versengő kiválasztás Rang alapú kiválasztás Rendezett kiválasztás VEGA Keresztezés Keresztezés Mutáció Érték változás Permutáció Irodalom Genetikus programozás Alapelv Feladat specifikációja Programfa felépítése Fitnessz Validáció Működésének lépései Kezdőpopuláció létrehozása Szelekció Keresztezés Mutáció Speciális kontextusfüggő műveletek Genotype-phenotype mapping JB mapping Gene Expression Programming Továbbfejlesztési lehetőségek Automatically Defined Functions - ADF Grammatical Evolution Irodalom NSGA Alapelv Bemutatás Értékelés Algoritmus

6 vi TARTALOMJEGYZÉK Kiegészítések Irodalom NSGAII Alapelv Bemutatás Értékelés Algoritmus Kiegészítések Irodalom Particle Swarm Optimization Alapelv Értékelés Módszer Particle Swarm Optimization Megjegyzések Kiegészítési lehetőségek Irodalom K-means Klaszterezés Célja Módszerek Távolság K-means Algoritmus Irodalom DBSCAN Alapfogalmak Alapvető működése Algoritmus

7 1. fejezet Optimalizáció 1.1. Optimalizáció feladata Optimalizáció fogalma Számos területen találkozhatunk optimalizálási feladatokkal. Ezek célja, hogy egy problémára megtalálják az optimális megoldást. Maguk a feladatok lehetnek pusztán matematikai hátterűek (pl. keressük meg egy függvény minimumát), való világból érkező gyakorlati problémák (pl. az optimális termelési ütemezés meghatározása), vagy akár természetiek (pl. magát az evolúciót is felfoghatjuk egyfajta optimalizálásként). Informatikai szempontból az optimalizálást általában egy vagy több függvény minimumának megkereséseként értelmezzük. Ez önmagában nem tűnik túl gyakorlatorientáltnak, de erre már egyszerűen visszavezethető számos összetett feladat: termelés ütemezés egy függvénnyel írjuk le a termelés időigényét, és keressünk olyan ütemezést, ahol ez minimális; függvényközelítés vegyük a referencia és a paraméterek alapján megadott függvény különbségét, és keressük meg azokat a függvény paramétereket, ahol ez minimális; klaszterezés vegyük az azonos illetve különböző klaszterekbe tartozó elemek távolságát, és keressünk olyan csoportosítást, hogy az előbbi érték minél kisebb, ez utóbbi pedig minél nagyobb legyen. A feladat természetesen lehet a függvény maximumának keresése is, de egyszerűen belátható, hogy az egyik módszer egyszerűen visszavezethető a másikra, ezért mi mindig minimumot fogunk keresni. 1

8 2 1. FEJEZET. OPTIMALIZÁCIÓ Heurisztikák Az optimalizációs módszerek sokféleképpen csoportosíthatók, tekinthetjük az alábbi csoportosítást: numerikus módszerek: lineáris programozás, nemlineáris programozás, dinamikus programozás, visszalépéses keresés, stb. heurisztikus módszerek: hegymászó módszer, genetikus algoritmusok, raj alapú módszerek, stb. A numerikus módszerek tehát a már megismert egzakt, matematikailag bizonyíthatóan jól működő módszerek, amelyek garantálni tudják, hogy mindig megtalálják a tökéletes megoldást. A gyakorlatban azonban ez sokszor olyan nagy számítási kapacitást igényel, hogy azokat használhatatlanná teszi. Ezekkel ellentétben a heurisztikus keresési módszerek (vagy röviden heurisztikák) olyan algoritmusok, amelyek valamilyen nem egzakt, de sokkal jobb teljesítményű módszerrel próbálnak egy közelítő eredményt adni a problémára. Ezek többnyire mohó algoritmusok, azok minden előnyével és hátrányával. Helyes működésük elvi síkon nem bizonyítható, általában csak a gyakorlati tapasztalatok alapján látjuk ezek előnyeit. Felfoghatók úgy is, hogy egyensúlyoznak a pontosság/teljesség/erőforrásigény között. Amikor az egzakt megoldást nyújtó módszerek a számításigényük miatt nem használhatók, gyakran megelégszünk a csak közelítő eredményt adó, de legalább működő módszerekkel. Ez a könyv alapvetően ezekkel foglalkozik (bár szerepelnek is benne nem sztochasztikus módszerek is), mégha számos nyilvánvaló hátránnyal is bírnak az első csoporttal szemben: nem determinisztikusak: a megoldás során általában jelentős szerepe van a véletlen változóknak, ebből kifolyólag egymást követő futtatások más-más eredményeket adhatnak; nem pontosak: ezek az algoritmusok (véges időn belül) általában csak közelítő megoldást tudnak adni, illetve ha meg is találják az optimális megoldást, nem tudjuk igazolni, hogy nincs annál jobb eredmény. A módszerek létjogosultsága azonban kétségtelen, hiszen sok esetben csak ezeket tudjuk felhasználni, amennyiben a problématér túl nagy: a hagyományos eljárások (visszalépéses keresés, stb.) bár nagyon hatékonyak a maguk nemében, egy nagyon nagy (akár végtelen) méretű problématérben gyakran használhatatlanok;

9 1.2. ALAPFOGALMAK 3 probléma túl komplex: elképzelhető, hogy maga a problématér kezelhető méretű, viszont az egyes elemek kiértékelése olyan költséges, hogy a hagyományos algoritmusok futásideje nem elfogadható. Maguk a keresési algoritmusok általában függetlenek maguktól a problémától, tehát egy módszer számos (megadott szerkezetű) feladat megoldására használható. Az persze szintén igaz, hogy egyes feladatokat bizonyos heurisztikák hatékonyabban oldhatnak meg, mint mások. A köztük lévő döntés jelentős szakértelmet, és időnként próbálkozást igényel Metaheurisztika Metaheurisztika névvel illetjük azokat a módszereket, amelyek egy magasabb szinten működnek egy feladat megoldása érdekében. Általában már meglévő heurisztikák összekapcsolásából állnak, azokat egy magasabb szinten kezelik (paraméterezik, újraindítják, stb.). Még tovább lépve megismerkedhetünk a hiperheurisztikákkal is, amelyek önmaguk paramétereit is próbálják beállítani Alapfogalmak A feladat meghatározása Problématér A problématér 1 egy halmaz, amely tartalmazza a feladat összes lehetséges megoldását, a megoldásjelölteket 2 ). Az optimalizáció célja az lesz, hogy ezek közül kiválasszuk azt (vagy azokat), amelyek a legjobbak valamilyen szempontból. Jelölése: P, amelynek elemei (x P) a megoldásjelöltek. A problématér mindig a megoldandó feladattól függ (feladatspecifikus), például: függvényközelítés esetén a problématér elemei a lehetséges függvényparaméterek, utazóügynök probléma esetén a problématér elemei a lehetséges útvonalak. A problématér definiálásakor még nem foglalkozunk magával a leendő megoldó algoritmussal. Itt még csak magát a feladatot próbáljuk meghatározni. 1 problem space 2 candidate solution

10 4 1. FEJEZET. OPTIMALIZÁCIÓ Célfüggvény Az optimalizálási feladatok során valamilyen formában számszerűsítenünk kell a problématérben található potenciális megoldások jóságát. Erre szolgál a célfüggvény 3, ami minden problématérbeli elemhez egy számot rendel. Jelölése: g : P R A célfüggvény lehet egy egyszerű matematikai függvény (pl. függvény közelítéskor a referencia függvény és a vizsgált paraméterek által leírt függvény különbsége), de lehet valamilyen bonyolult algoritmus eredménye is (pl. ha egy képfeldolgozási algoritmus ideális paramétereit keressük, akkor a célfüggvény kiszámításához le kell futtatnunk az algoritmust a megoldásjelölt által tartalmazott paraméterekkel, majd ennek eredményének kiértékelése adja meg a célfüggvény értékét). Globális optimum Egy optimalizálási feladat célja általában egy (vagy több) globális optimum megtalálása. Globális optimumnak nevezzük a problématér azon elemeit, amelyeknél nincs jobb elem. Tehát egy ˆx g P megoldásjelölt globális optimum, ha x P : g(ˆx g ) g(x) (1.1) Megegyezés szerint általában a legkisebb értéket keressük, de természetesen a definíció fordítva is felírható. Lokális optimum Bizonyos feladatok esetében gyakran találkozhatunk úgynevezett lokális optimumokkal. A problématér azon elemeit nevezzük így, amelyeknek egy bizonyos környezetében nincs náluk jobb elem. Tehát egy ˆx l P megoldásjelölt lokális optimum, ha ɛ > 0, x P, x ˆx l < ɛ : g(ˆx l ) g(x) (1.2) Megegyezés szerint általában a legkisebb értéket keressük, de természetesen a definíció fordítva is felírható. Érdemes megjegyezni, hogy a lokális optimumot nem tekinthetjük majdnem jó értéknek. Elképzelhető, hogy az ideális megoldástól nagyon messze áll, csak a problématér jellege miatt éppen olyan helyen található, ahol a közvetlen környezetében nincsenek nála jobb elemek. 3 goal function

11 1.2. ALAPFOGALMAK 5 Megszorítások Feladattól függően gyakran különféle megszorításoknak 4 is meg kell felelniük a leendő megoldásoknak. Ilyen lehet például, hogy egy gyártási folyamat tervezésekor valamely műveletnek meg kell előznie egy másikat. A megszorítások a mi esetünkben függvényekként fognak megjelenni: Jelölése: c : P R Megegyezünk abban, hogy egy megszorítást akkor tekintünk kielégítettnek, ha annak értéke a megoldásjelöltre legalább 0. Mivel egy feladat gyakran több megszorítást is tartalmazhat, ezért C legyen a megszorítási függvények halmaza. Tehát egy x P csak akkor jó megoldás, ha: c C : c(x) 0 (1.3) Keresés meghatározása Keresési tér A problématér leírja a feladat összes lehetséges megoldását, ezek közül kell kiválasztatnunk egyet vagy többet. Leendő módszereink azonban nem közvetlenül ebben a problématérben dolgoznak, hanem egy vele párhuzamos keresési térben 5. A két tér szétbontásának azért van szerepe, mert a keresési tér gyakran: más szerkezetű (típusú), mint az eredeti problématér (pl. az utazóügynök probléma esetében a problématér elemei útvonalak, a számítógépes megvalósítás során a keresési térben azonban jobban kezelhető, ha egyszerűen csak számokat tartalmazó tömbökkel dolgozunk); a teljes problématérnek csak egy kisebb szelete, tehát az optimalizáló algoritmus nem kell, hogy minden lehetséges megoldást megvizsgáljon (pl. lehet, hogy eleve ki tudunk zárni számos reménytelen megoldásjelöltet); a teljes problématérnek a leegyszerűsítése (pl. lehet, hogy a gyártási folyamat optimalizálásakor a folyamatnak csak bizonyos aspektusaival szeretnénk foglalkozni, hogy ezzel is egyszerűsítsük a feladatot). Jelölése: S, amelynek elemei (x S) a keresésben résztvevő elemek (ezeket az egyszerűség kedvéért szintén megoldásnak, megoldásjelöltnek nevezzük). 4 constraint 5 search space

12 6 1. FEJEZET. OPTIMALIZÁCIÓ Nem kötelező megkülönböztetni egymástól a két teret, bizonyos szakirodalomak esetén ez nem is történik meg. A pontosság kedvéért mi viszont ezt megtesszük. Persze az is előfordulhat, hogy a két tér megegyezik (pl. függvény közelítésnél a lehetséges paraméterek tere problématérként és keresési térként is használható). Tehát összefoglalva: problématér: a feladat való világbeli megfogalmazásához tartozó megoldásjelölteket tartalmazza (tehát pl. útvonalak halmaza); keresési tér: az a tér, amelyben a tényleges algoritmus működni fog (tehát pl. fix méretű számokat tartalmazó tömbök). Terek közötti leképezés Szükség van a két tér közötti átjárásra, legalábbis az egyik irányba feltétlenül. Nem sokra mennénk egy megoldással a keresési térben, ha azt nem tudnánk értelmezni egy gyakorlati megoldásként a problématérben. Erre szolgál a keresési térből a problématérbe irányuló leképezés. Jelölése: gpm : S P A rövidítés a genotype phenotype mapping -et takarja. Ez pedig a genetikus algoritmusoknál megszokott elnevezési konvenciókra utal: genotípus 6 : a keresési térben (S) lévő elemek, fenotípus 7 : a problématérben (P) lévő elemek. Ahogy említettük, a leképezésnek legalább az egyik irányba teljeskörűnek kell lennie: Fitnesz függvény x P, y S : gpm(x) = y (1.4) A fitnesz függvény 8 a keresési térben értelmezett függvény, amely minden elemhez hozzárendel egy jóságot : Jelölése: f : P R Tehát a keresési tér minden eleméhez hozzárendel egy számot, szerepe hasonló, mint a célfüggvényé, a nyilvánvaló különbség az, hogy ez nem a probléma-, hanem a keresési térben használható. Gyakran nincs is szükség 6 genotype 7 phenotype 8 fitness function

13 1.3. TÖBBCÉLÚ OPTIMALIZÁLÁS 7 két külön függvény kidolgozására, mivel az előbb megismert leképezéssel a fitnesz függvény bármikor egyszerűen visszavezethető a célfüggvényre: f(x) = g(gpm(x)), x S (1.5) A gyakorlatban viszont gyakran jelentősen eltér egymástól a két függvény megvalósítása: A fitnesz függvény lehet az egyszerűsítése az eredeti célfüggvénynek. Ez akkor lényeges, ha az eredeti célfüggvény túl összetett, és a keresés során annak használata nem lenne praktikus (pl. futásidő miatt). Szintén előfordul, hogy a fitnesz függvény több célfüggvény összevonását jelenti. Erre mindjárt látunk is példákat a többcélú optimalizálás területén. A probléma definiálásakor a célfüggvényeket és a megszorításokat külön adtuk meg, de a keresésben már lehet, hogy ezeket összevonjuk, és a fitnesz függvény tartalmazza mindkettőt. A fitnesz függvény gyakran támogatja a keresést olyan funkciókkal, amelyek csak a célfüggvény használatával nem működnének. Például ha több helyes megoldás esetén minél távolabbiakat akarunk kapni, akkor a fitnesz függvény értékét nem csak az befolyásolja, hogy a vizsgált megoldásjelölt mennyire jó, hanem az is, hogy milyen messze van a többiektől Többcélú optimalizálás A gyakorlatban számos olyan optimalizálási probléma létezik, ahol nem tudunk egyetlen egyértelmű célfüggvényt meghatározni, például: befektetést kell ajánlani, ami minél nagyobb hozamot hozzon, de minél kisebb legyen a kockázata; munkát szeretnénk elvégeztetni, minél jobb minőségben és minél olcsóbban. Tehát ezekben az esetekben nem csak egy g célfüggvényünk van, hanem több darab (pl. részvény ár célfüggvénye, részvény kockázat célfüggvénye, stb.). Ebben az esetben G-vel fogjuk jelölni a célfüggvények halmazát. Az egyszerűség kedvéért néha indexelt formát fogunk használni, tehát külön-külön az egyes célfüggvények: g i : P R, i {1, 2,..., G } (1.6)

14 8 1. FEJEZET. OPTIMALIZÁCIÓ Visszavezetés egycélú optimalizálásra Látni fogjuk, hogy a legtöbb általunk használt algoritmus alapvetően egycélú optimalizálásra van felkészítve. Tehát az algoritmus alapja egy darab fitnesz függvény, és annak értéke alapján fogja elvégezni a keresési lépéseket. A fitnesz függvény pedig általában a problématérben megadott célfüggvény egy változata. A többcélú optimalizálási feladatok esetében ez a felépítés közvetlenül nem használható, azonban egyszerű módszerekkel vissza tudjuk vezetni ezeket is egycélú feladatokra. Itt is jó hasznát vesszük a célfüggvény és a fitnesz függvény megkülönböztetésének, hiszen a célfüggvények a feladat megfogalmazásakor adottak (ezekből több is van), a fitnesz függvényt azonban mi konstruálhatjuk meg úgy, hogy az egyetlen függvényben próbálja meg összesíteni az összes célt. Súlyozás A legegyszerűbb lehetőség, ha fitnesz függvényt úgy valósítjuk meg, hogy az egyszerűen összegzi a meglévő célfüggvények értékét egy megadott megoldásjelöltre, tehát egyszerűen skalarizáljuk a problémát. Az már csak minimális továbbfejlesztést igényel, hogy egy összegzés során egy súlyvektorral (w R G ) súlyozzuk is az egyes célfüggvényeket. G f(x) = w i g i (gpm(x)), x S (1.7) i=1 A módszer legnagyobb előnye annak egyszerűsége. A fenti kiegészítéssel máris kapunk egy hagyományos fitnesz függvényt, amit egyszerűen tudunk használni a már megismert algoritmusainkban. A súlyok segítségével pedig az is beállítható, hogy melyik cél mennyire fontos. A nagy súllyal bíró célok jelentősen fogják befolyásolni a fitnesz értékét, a kisebb súlyúak pedig kevésbé (extrém esetben akár 0 is választható súlyként). A fenti rugalmasság azonban egyben hátrányt is jelent. A gyakorlatban ugyanis nagy nehézséget okozhat a súlyok megfelelő értékének megtalálása. A megoldás ugyanis nagyon érzékeny lesz a választott súlyokra, helytelenül megválasztott értékek teljesen torz megoldásokat adhatnak. További hátrány, hogy bizonyos esetek nem írhatók le súlyozással, pl. elképzelhető, hogy vannak olyan kockázatos részvények, amelyeket nem kellene választani, bármekkora haszonnal is kecsegtetnek. Ilyet így nem tudunk definiálni, hiszen bármilyen súlyarányt is választunk, egy megadott mennyiség felett az egyik cél mindig dominálhat.

15 1.3. TÖBBCÉLÚ OPTIMALIZÁLÁS 9 Method of distance Ebben az esetben meg kell határozni a célértékek egy vektorát, amit el szeretnénk érni (az eddigiekhez igazodva ez lehet egy csupa 0-kból álló vektor, hiszen minden célfüggvénnyel ezt szeretnénk minél jobban megközelíteni). Ez a vektor legyen ˆv, ez tulajdonképpen felfogható egy pontnak a célértékek terében. Egy elem jósága pedig ez alapján nem más, mint a hozzá tartozó célfüggvények értékei által megjelölt pont távolsága ettől az ideális ponttól[2]. G f(x) = ( g i (gpm(x)) ˆv i r ) 1 r (1.8) i=1 Az r paraméterrel adhatjuk meg, hogy pontosan milyen módon szeretnénk a távolságot számolni (pl. r = 2 esetén egyszerű Euklideszi távolságot mérünk). Min-max Az előzőleg megismert módszerek jelentős hátránya, hogy nem tudják figyelembe venni az egyes célfüggvényértékek értékkészlete közötti különbségeket. Például a részvényes példánál maradva a kockázat 0.0 és 1.0 közötti számként van megadva, míg a várható hozam 0 ás között mozog. A minmax módszer segítségével lehet ezeket az értékeket normalizálni, hogy ezek a különbségek kiegyenlítődjenek (illetve a képletből látható, hogy az esetleges mértékegységek is eltűnnek). Z i (x) = g i(gpm(x)) ˆv i ˆv i (1.9) Az így kiszámított Z i értékek tehát már normalizáltak, viszont ezek még csak az egyes célokra vonatkoznak. Ezeket még valamilyen formában összegezni kell a fitnesz függvény kiszámításához. Ez lehet egy egyszerű összegzés, de lehet akár az alábbi forma is, ami mindig a legrosszabb részeredményt adja vissza: f(x) = max Z j(x) (1.10) j=1,2,.., G Az itt megismert min-max alapelv kisebb módosításokkal még számos helyen elő fog kerülni, hiszen nagyon gyakori, hogy normalizálni szeretnénk adatainkat.

16 10 1. FEJEZET. OPTIMALIZÁCIÓ Hierarchikus módszer A módszer jelentősen eltér az előbbiektől. Az alapelv itt az, hogy az egyes célfüggvényeket sorrendbe rakjuk fontosság szerint. Elsődlegesen az első függvény szerint keresünk, és a második függvényt csak akkor vesszük figyelembe, ha az első alapján azonos eredményt kaptunk (és ez persze általánosítható tovább is). Tipikus példája, amikor verseny eredményeket kell publikálni, akkor elsődleges pontszám alapján rendezzük a listát, az azonos pontszámmal bírók között pedig az ABC sorrend dönt. Az egyszerűség kedvéért két célfüggvényre megadva: f(x) < f(y) ha g 1 (x) < g 1 (y) (g 1 (x) = g 1 (y) g 2 (x) < g 2 (y)) (1.11) Feladattól függ, hogy a módszer sajátosságait előnyként vagy hátrányként éljük meg. Nyilvánvaló hátránya, hogy egy későbbre priorizált függvény mindig csak a saját szintjén tudja befolyásolni a sorrendet. Tehát ha egy részvénynek akár csak 0.001%-al nagyobb a kockázata, akkor az háttérbe szorul akkor is, ha sokszoros hasznot hozott volna. A módszer egy másik figyelemre érdemes jellemzője (amivel később még gyakran találkozunk, de eddig ilyenre még nem volt példa), hogy nem ad egy egyértelmű értéket a fitnesznek. Tehát nem egy egyszerű számot rendel minden keresési térbeli elemhez, hanem csak annyira vállalkozik, hogy két elem közül meg tudja mondani, hogy melyik a jobb. Ez bizonyos módszereknél (pl. hegymászó algoritmusok) elégséges lesz, máshol viszont hátrányos lehet (pl. genetikus algoritmusok) Pareto dominancia Pareto dominancia fogalma Egy x megoldás Pareto dominál egy y megoldást (x y), ha i {1, 2,..., G } : g i (x) g i (y) j {1, 2,..., G } : g j (x) < g j (y) Tehát az x megoldás minden szempontból legalább olyan jó mint az y, és legalább egy szempontból még jobb is nála. Pareto optimum A Pareto dominancia segítségével is bevezethetjük az optimum fogalmát. Egy ˆx P akkor Pareto optimum, ha nincs még egy olyan megoldás jelölt, ami dominálná őt:

17 1.3. TÖBBCÉLÚ OPTIMALIZÁLÁS 11 Pareto front x P : x ˆx (1.12) Gyakori, hogy nem csak egy, hanem több Pareto optimális elemünk is van. Ebben az esetben a Pareto optimális elemek halmazát nevezzük Pareto frontnak. Egy példa Az 1.1. ábra egy példát mutat a Pareto optimumokra. A diagram előfizetési adatokat mutat, ahol minden előfizetésnél meg van adva, hogy mennyi a havi díja, és ehhez milyen hűségidőt kell aláírni. Feltételezzük, hogy a szolgáltatások mind ugyanolyanok, tehát célunk a minél olcsóbb előfizetés minél rövidebb hűségidővel (tehát egy pont kinél közelebb van az origóhoz, annál jobb). Néhány példa, ami leolvasható a diagramról: B D: mivel mindkét szempont szerint jobb nála; A B: mivel az előfizetési díjuk azonos, de a hűségidő alapján nem jobb; A F : mert bár az előfizetési díja jobb, de a hűségidő rosszabb; F A: mert bár a hűségidő szempontjából jobb, de az előfizetési díja több; A, G, C: őket senki se dominálja (ők se egymást), ezért ők a Pareto front. A példából is jól látható, hogy a feladatnak nincs egyetlen kiemelhető optimális megoldása. Az A, G és C pontok nem azonosak, mégse tudjuk egyiket se előnyben részesíteni a többihez képest. A feladat megoldása tehát ez a három pont. Kihangsúlyozandó, hogy ez nem egy hátrány, hanem éppenhogy egy előny. A Pareto dominancia ugyanis lehetővé teszi azt, hogy ne csak az egyik jó megoldást kapjuk vissza, hanem akár mindet. A hasonló feladatok megoldásánál kimondottan azt szeretnénk, hogy minél több nem dominálható eredményt kapjunk. Amennyiben a front mérete nagyon nagy, és mindet nem várhatjuk, akkor is az egymástól minél távolabbiakat szeretnénk megkapni. Az, hogy után ki melyik előfizetést választja, az már legyen a felhasználó döntése.

18 Hűségidő FEJEZET. OPTIMALIZÁCIÓ 9 8 D B A 4 F 3 E 2 G 1 C Előfizetési díj 1.1. ábra

19 2. fejezet Hegymászó módszer 2.1. Alapelv Az egyik legrégebbi és legegyszerűbb módszer. Könnyen implementálható, gyakran a már meglévő kereséseket kiegészítő finomhangolásként jelenik meg. Indulásként kiválasztja a keresési tér egy véletlen pontját, majd ezt követően egy ciklust futtat, ami ezt a pozíciót megpróbálja úgy megváltoztatni, hogy jobb helyre jussunk. Ha ez sikerül, akkor az lesz az új aktuális pozíció, és a ciklus folytatódik. Ha nem sikerül, akkor vagy tovább próbálkozik, vagy leáll. A különféle alváltozatok abban különböznek egymástól, hogy melyik milyen formában vizsgálja az aktuális elem környezetét. A hegymászó elnevezés kissé félrevezető lehet, ugyanis mi nem a legnagyobb hanem a legkisebb fitnesz felé szeretnénk haladni. Ilyen szempontból szerencsésebb lenne egy hegyről leereszkedő elnevezés Megvalósítás - Stochastic Algoritmus A klasszikus megvalósításban az algoritmus kiindul egy véletlen pozícióból, majd ezt követően egy ciklust futtat addig, amíg a megállási feltétel nem lesz igaz. Ez a megállási feltétel sokféleképpen megvalósítható, tipikus lehetőségek: időkorlát, iterációkorlát, fitnesz korlát, fitnesz javulás korlát, stb. Az aktuális állapotot folyamatosan tárolja a p változó. A cikluson belül választ egy véletlen pozíciót (q) ennek ɛ sugarú környezetében. Ha ez az új pont jobb, akkor átlép ide, ha nem, akkor tovább próbálkozik egy másik véletlen ponttal. 13

20 14 2. FEJEZET. HEGYMÁSZÓ MÓDSZER 2.1. Algoritmus HillClimbingStochastic 1: függvény HillClimbingStochastic(S, d s, ɛ, f, StopCondition) 2: p rnd S 3: ciklus amíg StopCondition() 4: q rnd {x S d s (x, p) = ɛ} 5: ha f(q) < f(p) akkor 6: p q 7: elágazás vége 8: ciklus vége 9: vissza gpm(p) 10: függvény vége Az algoritmus visszatérési értéke a p által reprezentált megoldás Megjegyzések Indeterminisztikus módszer. Minden indításkor más lehet a kiinduló pont, de még azonos kiinduló pontok esetén is más-más utakat járhat be. A fitnesz vizsgálatnál érdemes meggondolni a < helyett használatát. Ilyenkor a síkságokon 1 az algoritmus tovább fog lépni. Az ɛ értéke változhat menet közben. Tipikusan pl. megakadásnál lehet csökkenteni, vagy akár növelni Megvalósítás - Steepest Ascent Algoritmus A lényegi változás az előző változathoz képest a q elem kiválasztásának módja. Itt ugyanis már nem csak egy véletlen elemet választunk az ɛ környezetből, hanem ennek a környezetnek a legjobb elemét. Ezzel arra számítunk, hogy az algoritmus gyorsabban és célirányosabban fog haladni a globális optimum felé. Ennek a változásnak köszönhetően azt is fel tudjuk fedezni, ha beragadtunk egy lokális optimumba. A sztochasztikus változat abban az esetben, ha a q pont nem volt jobb, akkor egy újabb véletlen szomszéd felé próbálkozott. 1 plateou

21 2.3. MEGVALÓSÍTÁS - STEEPEST ASCENT Algoritmus HillClimbingSteepestAscent 1: függvény HillClimbingSteepestAsc(S, d s, ɛ, f, StopCondition) 2: p rnd S 3: stuck hamis 4: ciklus amíg stuck StopCondition() 5: q argminf(x) {x S d s (x, p) = ɛ} 6: ha f(q) < f(p) akkor 7: p q 8: különben 9: stuck igaz 10: elágazás vége 11: ciklus vége 12: vissza gpm(p) 13: függvény vége Ebben az esetben ennek nincs értelme, hiszen a q a szomszédok közül a legjobb. Tehát ha erre nem érdemes továbbmenni, akkor le is állíthatjuk a teljes keresést. Ennek vizsgálatára szolgál a stuck változó Megjegyzések Előző változattal ellentétben ez már determinisztikus. Tehát azonos helyről indítva mindig ugyanazt az utat fogja bejárni (ez ötletet ad némi továbbfejlesztésre, lásd Tabu keresés). A környezet legjobb elemének kiválasztása a gyakorlatban általában nem kivitelezhető. Egy dimenzióban még csak két elem van ɛ távolságra, kettő vagy több dimenzióban azonban már végtelen. Ennek megfelelően csak arra tudunk vállalkozni, hogy a környezetet valamilyen felbontással vizsgáljuk meg, és ez alapján választjuk meg a továbblépés irányát. Az elvárható, hogy ez a változat kevesebb lépést fog megtenni, hiszen sokkal célirányosabban közelít az optimum felé. Azonban ne felejtsük el, hogy a környezet vizsgálata ebben az esetben sokkal számításigényesebb, tehát a teljes algoritmus futásidejére nem várhatjuk, hogy jobb lesz.

22 16 2. FEJEZET. HEGYMÁSZÓ MÓDSZER 2.4. Megvalósítás - Random Restart Algoritmus 2.3. Algoritmus HillClimbingRandomRestart 1: függvény HillClimbingRandomRestart(S, d s, ɛ, f, StopCondition) 2: V 3: ciklus amíg StopCondition() 4: p rnd S \ V 5: stuck hamis 6: ciklus amíg stuck StopCondition() 7: q argminf(x) {x S d s (x, p) = ɛ} 8: ha q / V f(q) < f(p) akkor 9: p q 10: V V {q} 11: különben 12: stuck igaz 13: elágazás vége 14: ciklus vége 15: ciklus vége 16: vissza gpm(p) 17: függvény vége Belső működése azonos az előzőleg megismert hegymászó variánssal, csak annyi a különbség, hogy ez egymás után több keresést indít. Futás közben pedig egy V halmazban eltárolja a már meglátogatott helyeket, hogy oda többé ne lépjen Megjegyzések A hegymászó algoritmusok klasszikus problémája, hogy hajlamosak beragadni a lokális optimumokba. Ennek egyik kivédési lehetősége, hogy egyszerűen többször indítjuk el a keresést különféle kiinduló pontokból. Amennyiben a determinisztikus változatot használjuk, akkor célszerű eltárolni a már vizsgált pontokat, mivel ezek mindig ugyanoda vezetnek. Ez azonban még egy nagyon primitív megoldás, a Tabu keresés fog erre egy hatékonyabb működést mutatni. Ez már egy metaheurisztika, hiszen egy magasabb szinten irányítja egy másik heurisztikus keresés működését.

23 2.5. ÉRTÉKELÉS Értékelés + Nagyon egyszerű, ezért gyors kipróbálást tesz lehetővé. Nem igényel hosszas implementációt és tesztelést, ezért érdemes hozzáadni a már meglévő keresések végéhez. + Alapvetően kis számításigénnyel bír, mivel egy időben csak egy elemet kell vizsgálni (nem populáció alapú). + Anytime algoritmus: minden állapotában helyes megoldásokat ad. Legnagyobb hibája, hogy könnyen beragad lokális optimumokba (ezért is szokták lokális optimalizálási módszernek nevezni). Amennyiben az aktuális pozíció olyan helyre keveredik, ahol a környezetében mindenhol rosszabb fitneszű pontokat lát, akkor leáll, pedig elképzelhető, hogy a keresési tér más pontjain vannak sokkal jobb helyek. Csak akkor ad garantáltan helyes megoldást, ha a keresési tér minden pontjából egy monoton csökkenő út vezet a globális optimumba (ezeket nevezzük konvex problémáknak). Az aktuális pont környezetének teljes megvizsgálását a gyakorlatban általában nem tudja elvégezni, csak bizonyos felbontással. Néha azonban ez nem elégséges, ezért megáll olyan esetekben is, ahol még tovább tudott volna lépni. Az egyetlen ɛ paramétert nehéz meghatározni. Túl kicsi választás lelassítja az algoritmust, túl nagy választás során pedig elképzelhető, hogy az átugorja a optimális pontot Kiegészítési lehetőségek Gradiens módszerek Ezek nagyon hasonlítanak a hegymászásra, csak az a lényeges különbség, hogy nem egy előre megadott ɛ távolságot figyel, hanem az aktuális pontban megvizsgálja a keresési tér meredekségét (gradiensét), és abba az irányba fog lépni, amerre ez a legnagyobb és olyan mértékben, amekkora a gradiens mértéke. Tehát ha nagy a meredekség akkor nagyot lép, ha kicsi, akkor kisebbet lép.

24 18 2. FEJEZET. HEGYMÁSZÓ MÓDSZER Dynamic Hill Climbing Az utolsó két vizsgált pont alapján egy vektort számít. A továbblépéskor ezt a vektor irányt is figyelembe veszi Greedy Randomized Adaptive Search Procedures (GRASP) Véletlenszerűen választ kiinduló pontokat, majd egy lokális keresés segítségével próbálja ezeket finomítani (ebben hasonlít a hegymászóra). A kezdőpont kiválasztása azonban lehet jóval összetettebb, mint egy egyszerű véletlen választás. Bővebben: [1, 3, 4] 2.7. Gyakorlati problémák Ha az utazóügynök problémát szeretnénk megoldani, akkor tetszőleges sorrendben fel kell venni az összes várost. Ez a kiinduló triviális megoldás. Szomszédok alatt azokat az állapotokat értjük, ahol csak két város sorrendje különbözik (tehát ezek meg vannak cserélve). Ennek megfelelően keressünk olyan szomszédot (tehát cseréljünk meg két várost), hogy az rövidebb utat adjon számunkra. Ha találtunk ilyet, akkor legyen ez az aktuális állapot, és folytassuk a keresést. Könnyen belátható, hogy néhány város után a determinisztikus megoldás már nem fog működni, hiszen az összes szomszéd vizsgálatának időigénye exponenciálisan növekszik. Egy tömbben lévő számok rendezését is felfoghatjuk egyfajta hegymászásnak. Ha az egymás melletti elemek nem jó sorrendben vannak, akkor megcseréljük őket, ezzel egy jobb állapotba kerülünk. Ez egy konvex feladat, tehát biztosan megkapjuk a megoldást (gondoljunk csak a buborékrendezésre).

25 3. fejezet Szimulált lehűtés 3.1. Alapelv A módszer a hegymászó alapú metódusokhoz hasonló, vagy tekinthető akár azok továbbfejlesztésének is. A hegymászó keresések legnagyobb hibája az volt, hogy nagyon könnyen megakadtak a lokális optimumokban. Csak konvex problémáknál tudták garantálni a helyes megoldást, minden egyéb esetben csak akkor használhatók hatékonyan, ha a kiinduló pont elég közel van az optimumhoz (és ez nem csak elvi kérdés, hanem a gyakorlat is azt a tapasztalatot mutatja, hogy a módszer csak lokális optimalizálásra jó). Ebből a szempontból még egy teljesen véletlen vándorlás is hatékonyabb lehet. Ugyan ez nem tudja garantálni a konvergenciát az optimum felé, de legalább nem akad be a lokális optimumokba, hiszen egy véletlen lépéssel azokból bármikor ki tud ugrani. Az alapötlet tehát az, hogy a két módszer előnyeit próbálják meg ötvözni egy globális keresésben. Az alapelv a kohászatból származik: régóta ismert tény, hogy különböző anyagok minősége jelentősen javítható egy vagy akár több egymást követő felmelegítést és lehűtést végrehajtva. Napjainkban már ismert, hogy ennek az az oka, hogy az anyag felmelegítése során a kristályszerkezet szétbomlik, így a zárványok eltűnnek, az ezt követő lehűtés során pedig az újrakristályosodás mellett is megmaradnak ezek a pozitív jellemzők. A gyakorlati tapasztalatok viszont már régóta azt mutatják, hogy ez csak kontrollált lehűlés során érhető el, ha elég lassú a lehűlés, akkor jobb szerkezet jön létre (saját terminológiánknál maradva eléri a globális optimumot). Amennyiben a munkadarab túl gyorsan hűl, akkor nem éri el az optimális állapotot (egy lokális optimumban áll meg a folyamat). A fentieknek megfelelően ezt a fizikai ihletésű módszerek közé soroljuk. Számos ilyen algoritmus létezik, ugyanis miként az evolúciós rendszerek is a 19

26 20 3. FEJEZET. SZIMULÁLT LEHŰTÉS természetet próbálják utánozni, úgy itt is erről van szó (tulajdonképpen azt próbálja követni, miként a fizikai rendszerek törekednek az energiaminimumra). Ezt az alapelvet átültethetjük az optimalizálási feladatokra is: nem kényszerítjük a rendszert a túl gyors konvergenciára, mivel az (a hegymászóhoz hasonlóan) belefuthat egy lokális optimumba, ahonnan később már nincs lehetősége kilépni. Ehelyett a kiinduló állapotból egy lassabb konvergenciát próbálunk elérni úgy, hogy megengedjük a negatív irányú lépéseket is. Legalábbis a keresés elején még mindenképpen, a későbbiekben pedig folyamatosan csökkentjük ennek szerepét Megvalósítás Algoritmus Az algoritmuson jól látható a hegymászó módszereknél már megszokott alapvető működés. Tehát elindul egy véletlen pontból, és innen próbál mindig jobb és jobb helyre átlépni. Közben folyamatosan figyeli a megállási feltételt, és ha ez bekövetkezik, akkor kilép a ciklusból. A lényeges különbség csak az új pont fitnesz ellenőrzésénél látható. Amennyiben az új pont fitnesze jobb, mint az aktuális, akkor azonnal átlép, mint a hagyományos hegymászó. Amennyiben az új pont fitnesze rosszabb, akkor viszont a hegymászóval ellentétben bizonyos esetekben átléphet, amit egy valószínűséggel fogunk meghatározni. Az anyagtudományi terminológiánál maradva, ez a valószínűség függ a T hőmérséklettől. Nagy T értéknél nagyobb valószínűséggel engedjük a rossz lépéseket, kisebbnél pedig éppen ellenkezőleg. A keresés elején tehát még megengedőbbek vagyunk, de idővel egyre inkább csak a lefelé haladó lépéseket fogjuk engedélyezni, mígnem az algoritmus végül teljesen a hegymászóhoz hasonlóan fog viselkedni. A hőmérséklet meghatározásával még külön foglalkozunk. A valószínűség függ a E energiaváltozás mennyiségétől is. Ez az aktuális és a vizsgált állapot közötti energiaszint különbséget jelenti, jelen esetben ez nem más, mind az aktuális és az új pont fitnesze közötti különbség (tehát pozitív esetben azt mutatja, hogy mennyivel lépnénk rosszabb helyre). Azt mindig megengedjük, hogy egy alacsonyabb energiaszintű állapotra lépjünk át. A k B a Boltzmann állandóra utal. Ez egy tetszőleges értékű konstans (ahol persze használhatjuk annak fizikából megismert értékét is). A P valószínűség ez alapján mondja meg, hogy megadott hőmérséklet mellett, megadott ener-

27 3.2. MEGVALÓSÍTÁS Algoritmus SimulatedAnnealing 1: függvény SimulatedAnnealing(S, d s, f, ɛ, k B, Temperature, StopCondition) 2: p rnd S 3: p opt p 4: t 1 5: ciklus amíg StopCondition() 6: q rnd {x S d s (x, p) = ɛ} 7: E f(q) f(p) 8: ha E < 0 akkor 9: p q 10: ha f(p) < f(p opt ) akkor 11: p opt p 12: elágazás vége 13: különben 14: T Temperature(t) 15: P e E k B T 16: ha RND u (0, 1) < P akkor 17: p q 18: elágazás vége 19: elágazás vége 20: ciklus vége 21: vissza gpm(p opt ) 22: függvény vége

28 22 3. FEJEZET. SZIMULÁLT LEHŰTÉS giaszint változás (kedvezőtlen irányba) milyen eséllyel következhet be. Ez lehet egy különálló függvény is (elfogadási valószínűség függvény 1 ). A t változó számolja, hogy hányadik iterációnál járunk, a T pedig a már említett hőmérséklet, ez folyamatosan csökken a szimuláció során, ennek menetéről később részletesebben értekezünk. A hegymászóval ellentétben itt már léphetünk rossz irányba is, tehát a p értéke nem mindig az aktuális legjobb helyet mutatja. Ezért valahol el kell tárolnunk az eddig talált legjobb pozíciót, erre szolgál a p opt változó. Ez lesz az egész függvény visszatérési értéke is Paraméterezés Pusztán a valószínűséget számító utasítás formai vizsgálatából is jól látható az egyes paraméterek hatása: 1. Minél nagyobb a T, annál megengedőbbek vagyunk a kedvezőtlen változások felé. 2. Minél kisebb a T, annál kevésbé vagyunk megengedők a kedvezőtlen változások felé. T = 0 az osztás miatt nem lehet, de ahhoz közeli értékeknél már szinte hegymászóként működik az algoritmus. 3. A k B minél nagyobb, annál megengedőbb a rendszer. 4. A k B minél kisebb, annál szigorúbb a rendszer. 5. A E minél nagyobb, annál kisebb az esély az elfogadásra. 6. A E minél kisebb, annál nagyobb az esély az elfogadásra Hőmérséklet meghatározása Fontos kérdés a Temperature függvény megvalósítása, mivel ez irányítja a lehűlés sebességét. Ez egy tetszőleges függvény lehet, csak annyi a megkötésünk, hogy T = 0 felé közelítsen (és általában elvárjuk, hogy monoton csökkenő legyen). Időkorlátos esetben Ha van egy t max felső időkorlátunk, akkor a hőmérséklet számítható az alábbi módon: Temperature(t) = T max (1 t t max ) α (3.1) Ahol T max a kiinduló hőmérsékleti érték. Az α értékével pedig lehet befolyásolni a hőmérsékletet leíró görbe értékét. Tipikus értékei lehetnek az 1 acceptance probability function

29 3.3. ÉRTÉKELÉS 23 1, 2, 4, stb. Nagyobb α érték meredekebb lehűlést jelent a kezdeti időszakban, tehát ilyenkor a rendszer több időt tölt majd az alacsonyabb hőmérsékletű területeken. Idővel lassulva csökkenő Amennyiben nem ismert a teljes időkorlát, akkora fenti képlet nem működhet. Ilyenkor lehetőség nyílik arra, hogy folyamatosan egy megadott értékkel csökkentsük a hőmérsékletet: Temperature(t + 1) = Temperature(t) (1 ɛ) (3.2) Az 0 < ɛ < 1 paraméterrel tudjuk meghatározni, hogy mennyire gyorsan csökkenjen a hőmérséklet. A fentit kiegészíthetjük azzal, hogy nem minden lépésben, hanem csak minden m. lépésben csökkentjük a hőmérsékletet. Ezzel egy lépcső formájú csökkenést eredményezünk. Fitnesz függő Szintén logikus gondolat lehet a fitneszhez kötni a hőmérséklet értékét. Itt abból indulhatunk ki, hogy a keresés elején (amikor még nagy az aktuális elemhez tartozó fitnesz függvény értéke) szeretnénk megengedni a nagy kilengéseket, viszont ahogy egyre inkább közelítünk a globális optimumhoz (egyre kisebb a fitnesz), ezzel együtt szeretnénk egyre szigorúbb konvergenciát, itt már ne ugorjon le a keresés a megtalált útról. Ennek egy megvalósítása lehet: Temperature = max(β(f(p opt ) f(p)), γ) (3.3) Ebben az esetben nincs is szükség a t változóra, hiszen a hőmérséklet nem függ az iterációk számától (másra pedig nem használtuk). A β értéke célszerűen egy kísérletekkel megállapított konstans. Értéke minél kisebb, annál kevésbé fogja a rendszer engedni a negatív irányba való lépéseket. A γ szerepe pedig csak annyi, hogy elkerülje a hőmérséklet nullás értékét, mivel ez a későbbi osztásnál problémákhoz vezetne. Ezért ezzel egy alsó korlátot tudunk beállítani (γ > 0) Értékelés + A keresés rendelkezik a hegymászónál megismert előnyökkel (egyszerű, hatékony, stb.).

30 24 3. FEJEZET. SZIMULÁLT LEHŰTÉS + Nincs szükség populációra, csak egyetlen elemet mozgatunk a keresési térben. + A hegymászóval ellentétben van rá lehetőség, hogy kiugorjon a lokális optimumokból. + Bizonyítható, hogy megfelelően választott hűtési karakterisztika esetén az algoritmus biztosan megtalálja a globális minimumot. Lépésszáma a rossz irányú lépések miatt jóval nagyobb lehet, mint a hegymászóé. Ennek megfelelően a futásideje is kedvezőtlenebb, olyan feladatoknál használható jól, ahol inkább több időt szánunk egy globális optimum megtalálására, semmint hogy gyorsan kapjunk egy lokálist. A hegymászóhoz képest jóval több paramétert igényel, amelyeknek gyakran nem egyszerű a meghatározása Kiegészítési lehetőségek Itt is használhatók a hegymászó módszereknél már megismert metaheurisztikák. Ilyen például a random újraindítás lehetősége. Ez kiegészíthető a Tabu keresésnél megismert funkciókkal, illetve elképzelhető az is, hogy előzőleg jónak tűnő állapotokból indítjuk újra a keresést. Vannak olyan változatok, amelyek nem léptetnek át kötelezően a kisebb energiaszintekre, hanem ott is csak egy valószínűségi próbát tesznek Gyakorlati problémák A hegymászó algoritmusnál megismert feladatok minimális változtatással megoldhatók szimulált lehűtéssel is.

31 4. fejezet Véletlen Optimalizálás 4.1. Alapelv A már megismert hegymászó algoritmus számos hátránnyal bír, ezek közül az alábbiakra próbál megoldást nyújtani ez a módszer: Többdimenziós keresés esetében a hegymászó algoritmust általában úgy implementáljuk, hogy egy időben mindig csak egy paraméter értékét változtatja meg. Ez problémát okoz a tengelyekkel nem párhuzamos hegygerinceken keresztül vezető utaknál. Hatékonyabb lenne, ha ezektől eltérő irányba is tudna lépni. A hegymászónál rögzítve volt a lépés távolság (ɛ). Ez általában elég kicsit érték volt, hogy ténylegesen szomszédokat vizsgáljunk. Ennek beállítása azonban meglehetősen nehéz, hiszen túl kis lépés esetén lassan konvergál az algoritmus, túl nagy lépéseknél pedig átugorhatja az optimális pontot. A legnagyobb probléma, amit mindig megemlítünk a hegymászónál, hogy nagyon könnyen beragad a lokális optimumokba. A véletlen optimalizálás 1 alapelve teljesen megegyezik a hegymászónál tanulttal: egy darab elemet vizsgál, ami egy véletlen állapotból indul ki, és minden lépésben próbálja ezt elhelyezni egy jobb fitnesszel bíró pozícióba. Attól azonban különbözik néhány jellemzőjében: nem csak a tengelyek iránti elmozdulást figyeli, és a lépés mérete nem fix, hanem egy eloszlás alapján lesz meghatározva. Ez valójában nem magához a módszerhez kapcsolódik, de ennél a módszernél mutatunk egy példát a célfüggvény (f) és a peremfeltételek (C halmaz) megkülönböztetésére. 1 random optimization 25

32 26 4. FEJEZET. VÉLETLEN OPTIMALIZÁLÁS 4.2. Megvalósítás Algoritmus 4.1. Algoritmus RandomOptimization 1: függvény RandomOptimization(S, f, C, µ, σ, StopCondition) 2: p rnd S 3: ciklus amíg StopCondition() 4: step RND n (µ 1, σ 1 ) RND n (µ 2, σ 2 )... RND n (µ dim(s), σ dim(s) ) 5: q p + step 6: ha c C c(q) 0 akkor 7: ha f(q) < f(p) akkor 8: p q 9: elágazás vége 10: elágazás vége 11: ciklus vége 12: vissza gpm(p) 13: függvény vége A keresés indítása még megegyezik a hegymászónál látottal, tehát a keresési tér egy véletlen pontjából indítjuk a p változót. Ezt követően megállapítjuk a továbblépés irányát. Ez némileg összetettebb mint a hegymászó esetében, mivel itt: többdimenziós tér esetében minden dimenzióban lépünk, nem egy fix távolságot lépünk, hanem ezt egy (ν, σ) paraméterű normál eloszlással határozzuk meg. Az p pozícióhoz minden lépésben hozzáadjuk az így számított irányvektort, majd ezt hasonlítjuk össze az aktuális ponttal. Amennyiben ez jobb, akkor átlépünk, ha nem, akkor pedig nem. Az algoritmus végez egy vizsgálatot arra is, hogy az új pont megfelel-e az átadott peremfeltételeknek. Amennyiben nem, akkor természetesen nem léptetjük át Megjegyzések A µ értékek a haladási irányt befolyásolják. Tipikusan 0 lehet egy kiegyensúlyozott érték. Pozitív vagy negatív érték megadja a haladási

33 4.3. ÉRTÉKELÉS 27 irányt. A σ értékek a véletlen számok méretét befolyásolják. Ezt általában kicsinek választjuk, hiszen szomszédságot szeretnénk vizsgálni. Mivel a normál eloszlás nem korlátos, így bármilyen paramétereket is választunk, mindig lesz némi esély egészen nagy pozitív vagy negatív irányú lépésekre. Ez adja meg az algoritmus lehetőségét arra, hogy ki tudjon lépni egy lokális optimumból. A µ és σ értékek futás közben is változtathatók (pl. egyre jobb fitnesz esetén csökkenteni ez utóbbit). Ez jelentősen javíthatja a konvergenciát Értékelés + Rendelkezik a hegymászó alapú módszerek már megismert előnyeivel. + Nagyobb eséllyel lép ki a lokális optimumokból, mint a hegymászó. + Elvileg mindig megtalálja a globális optimumot (végtelen idő alatt). Nem determinisztikus módszer. A mozgás irányát megadó vektor szerkezetéből adódóan ez csak R N keresési térben használható.

34 28 4. FEJEZET. VÉLETLEN OPTIMALIZÁLÁS

35 5. fejezet Tabu keresés 5.1. Alapelv A hegymászó algoritmus egyik hátránya, hogy könnyen beragad a lokális optimumokba, ezért már ott is felmerült az ötlet, hogy egymás után többször kellene elindítani, különféle kiinduló állapotokból, ezzel is növelve annak az esélyét, hogy találjunk egy jobb megoldást. Mivel maga az alap keresés meglehetősen kis erőforrásigénnyel bír, így ez általában egy jól használható kiegészítés. Ezek a keresések alapvetően teljesen függetlenek, ami abból a szempontból nem szerencsés, hogy a különböző helyekről indított keresések is befuthatnak ugyanazokba az utakba, ahol várhatóan ugyanahhoz a végeredményhez is fognak elérni. Emiatt célszerű lenne egy közös helyen eltárolni a már megtett utakkal kapcsolatos tudást, hogy a későbbi keresések ez alapján már hatékonyabbak lehessenek. A tabu keresés 1 módszer éppen ezt teszi, folyamatosan tárolja az egyes lépéseket, illetve azt is figyeli, hogy az aktuális lépés nem jutott-e olyan helyre, amit már előzőleg megvizsgáltunk (ebben az esetben nyugodtan le is állíthatjuk, és újraindíthatjuk egy másik helyről). A módszer terminológiáját követve ez azt jelenti, hogy minden egyszer már meglátogatott hely tabu lesz, tehát a későbbiekben nem szabad megvizsgálni. Ehhez hasonló módszert már felvázoltunk a hegymászó megvalósítások között is, az azonban a gyakorlatban nem volt jól használható. Egy konkrét alkalmazásnál ugyanis felmerül számos probléma, amit kezelnünk kell: ha minden lépés pozícióját el akarjuk tárolni, annak már rövid távon is óriási lesz a memóriaigénye; a nagy memóriaigény mellett problémát jelent az is, hogy miként tu- 1 tabu search 29

36 30 5. FEJEZET. TABU KERESÉS dunk keresni ebben a nagy adatbázisban (hiszen minden lépésnél egy keresést is végre kell hajtanunk) Megvalósítás Algoritmus 5.1. Algoritmus TabuSearch 1: függvény TabuSearch(S, d s, ɛ, f, StopCondition) 2: p opt ø 3: ciklus amíg StopCondition() 4: p rnd S 5: SetTabuBarrier() 6: stuck hamis 7: ciklus amíg stuck IsTabu(p) StopCondition() 8: ha p opt = ø f(p) < f(p opt ) akkor 9: p opt p 10: elágazás vége 11: AddTabu(p) 12: PurgeTabu() 13: q argminf(x) {x S d s (x, p) = ɛ} 14: ha f(q) < f(p) akkor 15: p q 16: különben 17: stuck igaz 18: elágazás vége 19: ciklus vége 20: ciklus vége 21: vissza gpm(p opt ) 22: függvény vége Az alapvető működésen jól látszik a hegymászó algoritmus hatása. A lényeges különbséget csak a tabu tárhelyet kezelő kiegészítő műveletek, illetve a ciklus kilépési feltételének módosítása jelenti olyan módon, hogy tabu ponthoz érve azonnal abbahagyja a belső ciklus futtatását. Az algoritmus által használt segédfüggvények: SetTabuBarrier: ez a függvény elhelyez egy jelzést a tabu pontok listájába, ami azt jelzi, hogy az ezt követő pontok az aktuális kereséshez

37 5.3. TABU TÁRHELY KEZELÉSE 31 tartoznak. Ez azért fontos, hogy maga a keresés ne akadjon össze saját pontjaival. IsTabu: elvégez egy keresést a tabu tárhelyen, és igazat ad akkor vissza, ha a paraméterként átadott pozíció tabunak minősül. AddTabu: felvesz egy új elemet a tabu tárhelyre. PurgeTabu: karbantartja a tabu tárhelyet (tömöríti) Megjegyzések Bár nem feltétel, de itt a determinisztikus hegymászó algoritmust vettük figyelembe. Ebben az esetben nyilvánvaló a tabu kiegészítés szerepe, hiszen ha akár egyszer is egy olyan pontba lépünk, ahol már jártunk, akkor az algoritmus determinisztikus voltának köszönhetően egészen biztosan ugyanoda jutunk, ahová az előző keresés során. A kereséskor nem csak magát a konkrét elem pozícióját kereshetjük a tabu tárhelyen, hanem akár annak egy bizonyos környezetét. Amennyiben (lebegőpontos) számokkal dolgozunk, akkor többnyire ennek van csak értelme, egy többdimenziós feladatnál kicsi lehet annak az esélye, hogy többször is befusson az algoritmus pontosan ugyanabba a pontba Tabu tárhely kezelése Tárolás Az adatok tárolásánál meg kell találni az egyensúlyt a helyfoglalás és a gyors keresési/módosítási lehetőségek között. Végtelen lista A legegyszerűbb eset, ilyenkor minden már megvizsgált megoldási lehetőség bekerül a listába. Végtelen alatt természetesen nem azt értjük, hogy a tényleges fizikai mérete is lehet végtelen, menet közben a karbantartó funkciók esetenként csökkenthetik annak méretét. Hasító táblák Bizonyos szempontból ideálisak lehetnek a tabu elemek tárolására, hiszen éppen hasonló feladatokra lettek kitalálva. Nagyon gyorsan, a kulcsütközésektől függően néhány lépéssel el tudják tárolni az elemeket, és közel ugyanennyi

38 32 5. FEJEZET. TABU KERESÉS idő alatt vissza is tudják keresni. Jelentős hátrányt jelent azonban, hogy így csak teljes egyezésre tudunk keresni, olyanra nincs mód, hogy egy tabu elemtől megadott távolságon belül lévő elemeknél is jelezzünk. Tulajdonságok tárolása A feladat pontosabb ismeretében van lehetőség jóval hatékonyabb megoldások készítésére. Ezek egyike az, hogy ha nem magukat az út közben érintett megoldásokat tároljuk el közvetlenül, hanem csak azok valamely tulajdonságait, amely alapján már utólag eldönthető, hogy valami a tabu lista része, vagy pedig sem. De ehhez ismerni kell a keresési tér pontos szerkezetét, és fennáll annak a kockázata is, hogy kizárunk egyébként jónak tekinthető elemeket. Változások tárolása Arra is van lehetőség, hogy nem közvetlenül magukat az egyes megoldásjelölteket, hanem az azok közötti változásokat tároljuk el tabu elemként. Ennek megfelelően, ha a későbbi keresésben egy ugyanilyen változást próbálnák végrehajtani, akkor ezzel megsértenénk a tabu szabályokat Keresés Mivel maga a keresés minden egyes lépésben meghívódik, fontos, hogy minél hatékonyabban tudja megadni, hogy egy elem szerepel-e a tabu listában, vagy sem. A tárolási mód persze jelentős részt meghatározza a keresési módszert is. Lineáris keresés Amennyiben a tárolás egy egyszerű listában történik, akkor a keresésre nincs más megoldás, mint a hagyományos lineáris keresés. Ez természetesen nagyon időigényes, pedig sokszor kell végrehajtani, minden lépés előtt. Térbeli indexelés A geoinformatikából is jól ismert módon, célszerű lehet felbontani a teljes keresési teret kisebb részterületekre. Ezeken a területeken külön-külön végezzük el az elemek tárolását, akár egy saját lista, vagy egyéb szerkezet segítségével. Könnyen belátható, hogy ha egy nagy listát sikerül felbontani több, azonos hosszúságú részre, akkor még az egyszerű lineáris keresés is jelentősen gyorsítható (amennyiben tudjuk persze, hogy melyik listában kell keresnünk).

39 5.4. ÉRTÉKELÉS 33 Használatának azonban gátat szabhat, hogy ehhez jól kell ismernünk a keresési teret. Ezt úgy kell felbontani, hogy az egyes részterületekben azonos legyen az eltárolt pontok száma. Amennyiben csak néhány részterület tartalmazza a pontok többségét, míg a többi területen minimális ezek száma, akkor a módszer előnye eltűnik Karbantartás A karbantartás is jelentősen függ a már meglévő tárolási módtól. Itt alapvetően arra célszerű törekedni, hogy megpróbáljuk a listát minél kisebb méretűnek megtartani olyan feltételek mellett, hogy lehetőleg ne sérüljön annak információtartalma. FIFO lista A gyakorlatban a végtelen lista természetesen nem működhet, a legegyszerűbb esetben egy FIFO listát használhatunk helyette. Ebben az esetben a tabu lista tulajdonképpen egy sorként működik. Folyamatosan el tudjuk benne helyezni az elemeket, és amikor az eléri a maximális méretét, akkor a következő elem elhelyezésekor kivesszük a legrégebbit. Nem feltétlenül szerencsés ez a megvalósítás, hiszen a tabu listába kerülés idejének nincs köze az elem hasznosságához (tehát nem biztos, hogy a legrégebbieket célszerű törölni). Klaszterezés Egy jóval bonyolultabb, de ideális karbantartási módszer az lehet, hogy ha az egyes tabu elemek között elvégzünk egy klaszterezési műveletet. Ennek kimeneteként megkapjuk az egymáshoz közeli tabu pontok halmazait. Ezen halmazokból célszerű úgy törölni pontokat, hogy a halmaz által lefedett terület ne változzon Értékelés + Rendelkezik a hegymászó alapú módszerek már megismert előnyeivel. + Többszöri újraindítás után jelentősen csökkentheti a futásidőt. + Főleg determinisztikus kereséseknél hatékony, mivel ott mindig ugyanoda vinne a folytatás egy már megvizsgált pontból.

40 34 5. FEJEZET. TABU KERESÉS + A módszer, mint metaheurisztika alapvetően nem csak a hegymászónál használható, más heurisztikák is kiegészíthetőek ezzel. Csak kisméretű keresési tereknél működik hatékonyan. Ha túl nagy a tér, akkor túl nagy lesz a módszer tárhelyigénye, túl lassú az ebben való keresés, és még így is nagyon kicsit lehet annak a valószínűsége, hogy többször is ugyanabba a pontba téved az algoritmus. A keresés lépés meglehetősen időigényes lehet, ezért egyáltalán nem garantálható, hogy gyorsabb lesz a tabu keresés, mint a hagyományos hegymászó Kiegészítési lehetőségek További memóriaterületek bevezetése A megismert alapmódszer jól használható kisebb, egyszerűbb feladatoknál, de komplexebb feladatoknál, és nagyobb keresési térnél gyakran nem hatékony. A fenti bemutatott elv valójában csak egy részét mutatta be a tabu keresés algoritmusnak, annak csak a rövid távú memória tartományát 2 használja. Így nevezzük azt a területet, ahol a későbbi keresésekből kizárandó elemeket gyűjtjük. Összetettebb esetekben szükség lehet hosszabb távú memória használatára 3. Ennek funkciója kettős lehet: Erősítés 4 : célja a kiválasztási szabályok olyan irányú módosítása, hogy a keresést minél inkább az eddigi vizsgálatok alapjánjónak tűnő területek felé terelje. Ennek egy egyszerű megoldása lehet, ha keresés közben folyamatosan gyűjtjük az eddigieknél jobbnak talált pozíciókat, és a későbbi keresések kezdőpontját ezek közül indítjuk. Ugyanígy arra is lehetőségünk van, hogy a keresés közbeni véletlen szomszédválasztást befolyásoljuk, és némileg módosítjuk az eddig talált legjobb megoldások adatai alapján. Szétosztás 5 : ennek hatása ellentétes az előzővel. Alapvetően az a célja, hogy a keresési tér minél nagyobb részét bejárják az egymás után indított keresések, ennek megfelelően próbálja azokat a még fel nem fedezett területek felé terelni. 2 short-term memory 3 longer-term memory 4 intensification 5 diversification

41 5.5. KIEGÉSZÍTÉSI LEHETŐSÉGEK 35 Ennek egy megoldása lehet, ha a továbblépés során a véletlen lépések helyett némileg előnyben részesítjük a megoldás azon részkomponenseit, amelyeket eddig nem vizsgáltunk mélyebben.

42 36 5. FEJEZET. TABU KERESE S

43 6. fejezet Evolúciós algoritmusok 6.1. Alapelv Populáció alapú algoritmusok, amelyek az alábbi biológiailag inspirált mechanizmusokon alapulnak: mutáció, keresztezés, természetes kiválasztás, legjobbak túlélése. Ezek alapján több iteráción keresztül finomítják az optimalizálás eredményét. Előnye, hogy fekete dobozként működik, nincs szükség információra a megoldandó feladatról. Alapja a természetes evolúció. A S a lehetséges DNS variációkat reprezentálja 1. Elemei pedig az egyes DNS-ek 2 ). Ezekhez kapcsolódik egy megoldási lehetőség 3. A módszert használó almódszerek: Genetikus algoritmusok: alapvetően egy bit stringben tárolja a DNS-t Evolution Strategies - valós vektorokban tárolja a DNS-t Genetic Programming - programokat, algoritmusokat készít Learning classifier systems - szabályokat dolgoznak ki, amelyek alapján tudnak a bemenethez kimenetet rendelni Evolutionary programming - Beleolvadt a genetikus programozásba 1 genom 2 genotypes 3 phenotype 37

44 38 6. FEJEZET. EVOLÚCIÓS ALGORITMUSOK 6.2. Alapvető életciklus 6.1. ábra Lépései: 1. Populáció létrehozása véletlenszerű genommal. 2. Célfüggvények kiszámítása minden egyedre. 3. Egy fitnessz érték hozzárendelése az egyes egyedekhez. 4. A szelekció kiszűri a nem megfelelő fitnessz értékkel bíró egyedeket. 5. A reprodukciós szakaszban az utódok létrehozása a kiválasztott szülők genetikai adatai alapján. Ezeket integráljuk a populációba. 6. Kilépési feltétel ellenőrzése.