OPTYMALIZACJA WIELOMODALNA

Transkrypt

1 OLIZENI EWOLUYJNE ITNESS. STRT OMPUTTION ITNESS. OMPUTTION INITIL SUGenration SENING HROM. TO OMPUTERS chromosome N REEIVING ITNESS. EVOLUTIONRY OPERTORS wkład VLUE 6 fitness f. value MIGRTION PHSE ITNESS. communication OMPUTTION with other SELETION subgenrations OPTYMLIZJ WIELOMOLN YES TERMINTION ONITION NO EN 2 el: Znalezienie pewnej liczbn k jak najlepszch ekstremów lokalnch funkcji wielomodalnch. f( Podstawowa technika: utrzmwanie różnorodności populacji bazowej. Przeszkoda: globalność selekcji (każd osobnik konkuruje podczas reprodukcji i sukcesji z każdm innm. laczego? Niekied dogodne jest znalezienie kilku różnch rozwiązań, b móc wbrać takie, które jest najlepsze z punktu widzenia krteriów nie zawartch w funkcji celu (np. estetka rozwiązania. 3 Zapobieganie: odanie cznnika losowego, niezależnego od stanu populacji (zwkle dodatkow operator tpu mutacji bądź losowe zaburzanie funkcji przstosowania, Zmniejszenie zasięgu selekcji (ograniczenie konkurencji do osobników znajdującch się blisko siebie w przestrzeni genotpów włanianie nisz. 4 Techniki właniania nisz: Metod polegające na wróżnianiu podpopulacji na podstawie odległości genotpów; Metod koewolucjne (równoczesna ewolucja wielu autonomicznch populacji z częściową wmianą mat. genet.; Metod dokonujące lokalnej deformacji funkcji przstosowania (np. dodawanie losowego szumu. f( f( RÓWNOLEGŁOŚĆ W E 5 6

2 . Równoległość na poziomie implementacji: (schemat algortmu nie zmienia się: Równoległe e generowanie osobników w w populacji początkowej; Równoległe e obliczanie funkcji przstosowania; 2. Równoległość na poziomie koncepcji (algortm koewolucjne: lgortm wspow Podpopulacje ewoluują (prawie niezależnie, nie, ze sporadczną wmianą informacji. Parametr ewolucji a nawet funkcja przstosowania mogą bć różne w różnch r podpopulacjach. Równoległe e wkonwanie operatorów w ewolucjnch; Sekwencjne dokonwanie wboru nowej populacji (selekcja. lgortm komórkow (masowo równolegr wnoległ, dfuzjn Każd procesor zajmuje się ewolucją jednego osobnika, dla którego wznaczane jest pewne sąsiedztwo s siedztwo w przestrzeni genotpów. Ewolucja odbwa się z uwzględnieniem sąsiedztwa s siedztwa (krzżowanie z losowmi sąsiadami. s siadami. 7 Rozproszon E (W. Kuś N STRT POPULJ POZĄTKOW OPERTORY EWOLUYJNE MIGRJ SELEKJ WRUNEK ZTRZYMNI STOP T chromosom f. celu EM EM (. ELU EM PROES ZRZĄZJĄY komunikacja z innmi podpopulacjami... Ma liczba procesorów: (l. podpopulacji (l. osobników 9 POŁĄ ŁĄZENIE E Z METOMI LOKLNYMI 0 IE: Połączenie niepreczjnego E z nieodpornmi metodami lokalnmi. Prowadzi to często do uzskania algortmu hbrdowego o właściwościachlepszchodkażdej PUNKT z wchodzącch w jego skład metod. Wariant: algortm, w którch metoda lokalna służ do dokończenia obliczeń rozpoczętch przez E; wprowadzeniu dodatkowego operatora genetcznego (np. mutacji gradientowej, PUNKT któr sprowadzałb się do wkonania STRTOWY metod lokalnej; LGORYTM EWOLUYJNY przeszukiwanie lokalne wkonwane podczas obliczania przstosowania osobnika. OPTIMUM STRTOWY LGORYTM EWOLUYJNY LGORYTM GRIENTOWY OPTIMUM LGORYTM GRIENTOWY (mutacja gradientowa Np. metod stosowane kolejno: unkcja celu LGORYTM EWOLUYJNY LGORYTM GRIENTOWY Pokolenie 2

3 E Sztuczne sieci neuronowe 3 SZTUZNE SIEI NEURONOWE: Mają zdolność uogólniania lniania; Są wsoce odporne na szum i zniekształcenia sgnału; 4 Pomagają wkrwać istotne powiązania pomiędz danmi. Stosuje się je gd istnieje duża a złożonoz oność zagadnienia i trudno jest jednoznacznie określi lić formalne krteria,, dla stworzenia programu komputerowego. POŁĄ ŁĄZENIE E I SSN:. Wspomagające (metod stosowane kolejno; 2. Współdzia działające (metod stosowane jednocześnie nie. d.. (Połą łączenia wspomagające SSN do wspomagania E (rzadziej. Zastosowanie: sstem hbrdow do rozwiązania zania problemu połą łączeń drogowch: SSN utworzenie populacji pocz. E procedura optmalizacjna ZNIE SSN NE (np. populacja pocz. E ROZWIĄZNIE E do wspomagania SSN (częściej. a E do przgotowania danch dla SSN; b E do wboru reguł uczenia lub parametrów w sterującch uczeniem SSN; c E do analiz SSN budowa narzędzi do wjaśnienia działania ania SSN. ZNIE E NE (np. wagi początkowe SSN ROZWIĄZNIE 5 6 d. 2. (Połą łączenia współdzia działające E do uczenia SSN Optmalizacja wag w sieci o ustalonej topologii ( (prz prz problemach z liczeniem pochodnch. Nie wmagają programo wania (tlko uczenie; E do określania topologii SSN Optmalizacja architektur SSN poszukiwanie archi tektur, która działa a najlepiej dla danego zadania prz zadanm krterium optmalności. Sstem łącz czące ce adaptacjne strategie SSN i E. SSN do zadań optmalizacji i jednocześnie nie E do ustawiania wag sieci 2. SSN realizuje operacje genetczne. 7 INNE E

4 program, które powstają samocznnie... utomatczne generowanie tekstów programów,, jeśli znane sąs krteria ocen prawidłowo owości działania. ania. PROGRMO WNIE GENETYZNE Jęzk bazow LISP (program program jest reprezentowan w iden tczn sposób jak dane w postaci drzewa. Kodowanie binarne zastąpiono drzewiastm. W węzłach w mogą znajdować się: smbole pewnego alfabetu; wartości liczbowe dskretne i ciągłe; stałe, zmienne lub funkcje Operator genetczne: uwzględnienie specfiki metod kodowania i umożliwienie modfikacji: wartości w węzłach w drzewa; struktur drzewa. Obecnie: programowanie genetczne często do określenia wszelkich algortmów w wkorzstującch drzewiastą reprezentację zadania i modfikującch strukturę tej reprezentacji, np: zadanie sntez drzewa deczjnego; projektowanie układ adów w elektronicznch; regresja smboliczna;... 2 Kodowanie drzewiaste: hromosom jest kodowan jako drzewo, składaj adające się z węzłów i krawędzi dzi. Informacja jest zawarta w węzłach,, zaś krawędzie określaj lają wzajemne relacje pomiędz węzłami. w Jeśli krawędź jest skierowana od węzła w a do, to jest nazwan nadrzędnm dnm, podrzędnm dnm. Węzł: terminalne (nie posiadają węzłów w podrzędnch; dnch; pośrednie (nieterminalne. Istnieje dokładnie jeden węzew zeł,, nie posiadając nadrzędnego dnego korzeń drzewa. 22 Przkład unkcja obliczająca ca pierwiastki rzeczwiste równania r = a b c kwadratowego: 2 (defun pierwiastki (a b c ( (setq( (delta (( (b b (4 (a c (if <(delta 0 (setq n 0 (if =(delta 0 ( (setq( n (setq ( /((b( (2 a (if >(delta 0 ( (setq( n 2 (setq ( /((( b sqrt(delta ( (2 a (setq 2 ( /((( b sqrt(delta ( (2 a setq delta b b 4 a c Krzżowanie: Jest wkonwane dla par osobników w rodzicielskich i prowadzi do powstania par osobników w potomnch. Z każdego z osobników w rodzicielskich wodrębnian bnian jest losowo wbran węzew zeł pośredni (wraz ze swoim poddrzewem lub terminaln. hromosom potomne powstają w wniku zamian powstałch poddrzew

5 Mutacja wariant: Zmiana zawartości węzła w a terminalnego: / 2 / 32 2 Zamiana węzła w a terminalnego na korzeń losowego wgenerowanego poddrzewa: Mutacja wariant: Mutacja wariant: Zamiana korzenia poddrzewa na węzew zeł terminaln: Reorganizacja poddrzew: 4 3 cos cos Zamiana poddrzewa na inne: STRTEGI EWOLUYJN ( STRTEGIE EWOLUYJNE Przetwarzan jest tlko jeden chromosom X(t. W każdm kroku generowan jest now chromosom Y(t poprzez mutację X(t. Wartości funkcji przstosowania w obu chromosomach są porównwane. hromosomem X(t staje się ten, którego wartość funkcji przstosowania jest wższa

6 procedure SE ( t:=0 inicjalizacja X(t ocena X(t while (not warunek zakończenia do Y(t := mutacja X(t ocena Y(t if ( Y(t > X(t then X(t := Y(t else X(t := X(t t:=t 3 Mutacja w strategii (: hromosom Y(t jest generowan poprzez dodanie losowej modfikacji (z rozkładem normalnm do każdego genu chromosomu X(t : Y ( t = X ( t σ k i i N k N zmienna losowa o rozkładzie normalnm [0,]. Wartość σ określa zasięg g mutacji ( (większa wartość to większe perturbacje chromosomu bazowego. lgortm doboru σ powinien uwzględnia dniać większ zasięg g mutacji w początkowej fazie a mniejsz pod koniec działania ania SE. n.p. reguła a /5 sukcesów Reguła / 5 sukcesów:. Jeśli przez kolejnch k generacji liczba mutacji zakończonch sukcesem przewższa / 5 ogólnej liczb wkonanch mutacji, to należ zwiększ kszć zasięg g mutacji: σ = c i σ. 2. Gd dokładnie / 5 mutacji kończ się sukcesem, wartość σ nie wmaga modfikacji. 3. W przeciwnm przpadku należ zawęzi zić zasięg mutacji według wzoru σ = c d σ. Wartość / 5 została a zaproponowana na podstawie rozważań teoretcznch. Wartości ustalone ekspermentalnie: c d = 0.2, c i = / STRTEGI EWOLUYJN (μλ( Jedna z najczęś ęściej stosowanch. ardziej odporna na minima lokalne. Wprowadzenie mechanizmu samocznnej adaptacji zasięgu mutacji (zastępuje regułę /5 sukcesów. Wprowadzenie operatora krzżowania. Przetwarzana jest bazowa populacja P(t zawierająca μ osobników w o specjalnej strukturze. Nową populację bazową tworz μ najlepszch osobników w wbranch spośród μλ znajdującch się w złączeniu populacji P(t i O(t. 34 procedure SE (μλ t:=0 inicjalizacja P(t ocena P(t while (not warunek zakończenia do T(t := reprodukcja P(t O(t := krzżowanie i mutacja T(t ocena O(t P(t := μ najlepszch osobników z P(t O(t t:=t 35 Struktura osobnika: wa chromosom:. Wektor X wartości zmiennch niezależnch; nch; 2. (Zwkle wektor σ zawierając wartości standar dowch odchleń wkorzstwanch podczas mutacji. Mutacja: Trójetapowa, związana zana z samocznną adaptacją zasięgu mutacji tak, b minimalizować wartość oczekiwaną czasu dojścia do optimum globalnego. Krzżowanie: Najczęś ęściej uśrednianie u lub wmiana wartości wektorów X i σ chromosomów w macierzstch w wniku powstają 2 chromosom potomne. 36

7 STRTEGI EWOLUYJN (μ,λ Strategia (μλ( zawodzi w przpadku, gd w populacji znajdzie się osobnik o wróżniaj niającej się wartości f. przstosowania, lecz zbt dużch lub zbt małch wartościach standardowch odchleń. Różnica: : nowa populacja bazowa jest tworzona włą łącznie na podstawie osobników w potomnch z populacji O(t. PROGRMO WNIE EWOLUYJNE 37 3 Ewoluujące automat, L. ogel (966 Zadanie poszukiwania w przestrzeni automatów skończonch o niewielkiej liczbie stanów. utomat skończon ( (finite state machine,, SM abstrakcjn, matematczn, iteracjn model zachowania sstemu dnamicznego opart o tablicę dskretnch przejść międz jego kolejnmi stanami (diagram stanów. Ważne narzędzie teoretczne m. in. w tworzeniu i testowaniu oprogramowania. Maszna Turinga jest generalizacją automatu skończonego operującą na nieskończonej pamięci. 39 Np.: / α / γ 0 / γ 0 / β / γ Jeśli automat znajduje się w stanie, to: podanie na wejście powoduje wpisanie na wjściu α i pozostanie w stanie ; podanie na wejście 0 powoduje wpisanie na wjściu β i przejście do stanu ; 0 / β 40 Laurence ogel (966, avid ogel (90 Odkrwana bła gramatka nieznanego jęzkaj zka,, gd znan bł zestaw smboli jęzka j i przkład wrażeń sntaktcznie poprawnch; Gramatka modelowana za pomocą automatu skończonego czonego; Poszukiwan zbiór r stanów, funkcja przejść i funkcja wjść ść. unkcja przstosowania obliczana na podstawie liczb poprawnch sntaktcznie wrażeń poznawanego jęzka. zka. 4 ziałanie anie algortmu: Osobnik (. ogel ma 2 chromosom,, drugi zawiera wektor odchleń stand.. dla zmiennch niezależnch; nch; Każd osobnik tworz potomka, któr jest mutowan; Mutacja: 3 wariant: dodanie do genu wartości zm. losowej o rozkładzie normalnm; 2 adaptacja zależna od wartości f. przstosowania; 3 samocznna adaptacja zasięgu (jak w SE; Selekcja: wbór r osobników w o najwższej randze. Ranga osobnika równa r l. osobników w o niższm przstosowaniu. 42

8 procedure Programowanie Ewolucjne t:=0 inicjalizacja P(t ocena P(t while (not warunek zakończenia do O(t := 0 foreach (X P(t do Y:= mutacja X O(t :=O(t {Y} ocena O(t foreach (X P(t O(t do wznacz ranga(x P(t := wbór najwższch rangą z P(t O(t t:=t 43 SYSTEMY (LGORYTMY MRÓWKOWE 44 Mrówki sąs praktcznie ślepe, lecz potrafią znaleźć najkrótsz tszą drogę do pożwienia i z powrotem. Ich obserwacja bła a inspiracją do powstania (origo,, 996 nowego tpu algortmów zwanch mrówkowmi (ant ant algorithms, ant sstems Zastosowania zad. optmalizacji kombinatorcznej: problem komiwojażera; harmonogramowanie wznaczanie tras w sieciach telekomunikacjnch; wznaczanie optmalnch tras w ruchu miejskim. 45 food source N nest 46 Sstem bazujące na inteligencji masowej populacja mrówek (podobnie jak w E. Każda mrówka w populacji poszukuje rozwiązania zania (najkrótszej drogi. Pozostawianie feromonu na trasie. Wbór r tras na podstawie ilości feromonu Wielokrotne powtarzanie: trasa optmalna. 47 E zas (t jest dskretn; W każdej jednostce czasu każda mrówka przemieszcza się o d = pozostawiając jednostkę feromonu. W chwili t = 0 brak feromonu na wszstkich krawędziach. Znaleźć najkrótszą drogę międz i...

9 E 6 z do t = 0 E t = E 6 t = 2 t = 2 6 E z do Proste podąż ążanie ścieżką z największ kszą ilości cią feromonu szbkie utknięcie w optimum lokalnm. iridia.ulb.ac.be/~ /~mdorigo/o/o.htmlo.html Potrzebna jest eksploracja ścieżek ek mrówki wbierają ścieżki z prawdopodobieństwem proporcjonalnm do intenswności śladu feromonowego na niej. To, że e mrówka wbierze daną ścieżkę zależ zarówno od intenswności feromonu jak równier wnież np. odległości od następnego miasta (TSP. W celu zapewnienia braku nieograniczonego wzrostu ilości feromonu parowanie feromonu. 5 52