Jak wrócić dziś do domu?

Wielkość: px

Rozpocząć pokaz od strony:

Download "Jak wrócić dziś do domu?"

Włodzimierz Kurowski
5 lat temu
Przeglądów:

1 Jak wrócić dziś do domu? GA

2 Jak bym to rozwiązał? GA

3 Jak byśmy to rozwiązali? GA

4 Optymalizacja rojem cząstek: hybrydyzacja i samoadaptacja Mateusz Uliński, Adam Żychowski, Jakub Fijałkowski, Marcin Chudy, Piotr Jastrzębski, Marcin Bogucki, Artur Niziołek, Jędrzej Krauze, Mateusz Zaborski, Hubert Kordulewski, Michał Okulewicz Wydział Matematyki i Nauk Informacyjnych Politechnika Warszawska GA

5 Plan prezentacji 1 2 Hybrydyzacja Adaptacja 3 GA

6 Definition (Problem optymalizacyjny) Problem optymalizacyjny P = (Ω, f, ) jest zdefiniowany przez przestrzeń rozwiązań Ω, funkcję jakości a f : Ω R oraz relację {<, >}. Rozwiązaniem problemu jest znalezienie zbioru elementów (elementu) X Ω spełniającego następujące warunki: X = {x Ω : x Ωf (x) f (x )} a W zależności od dziedziny funkcja jakości może być też określana jako funkcja celu lub funkcja przystosowania. Przestrzeń rozwiązań i typ problemu Podczas tej prezentacji uznajemy, że: Ω := R n (1) :=< (2) GA

7 Jaki jest najlepszy algorytm optymalizacji globalnej? Przeszukiwanie losowe? Hill climbing? Pełzający symplex (Metoda Neldera-Meada)? Metody quasi-newtonowskie (np. L-BFGS)? Algorytmy genetyczne / ewolucyjne? Inne metody populacyjne? Solvery programów liniowych (CPLEX itp.)? CMA-ES? GA

8 Jak rozwiązać wszystkie problemy jednym algorytmem? No free lunch in optimization (Wolpert and Macready, 1997) No free lunch in machine learning (Wolpert, 1996) GA

9 A zatem...? GA

10 A zatem...? Wybierzmy taki, który daje przyzwoite wyniki i umiemy go parametryzować GA

11 Optymalizacja rojem cząstek Hybrydyzacja Adaptacja Inspirowana: Reynolds (1987) Wprowadzona: Kennedy and Eberhart (1995) Usprawniana: Shi and Eberhart (1998), Porządkowana: Bratton and Kennedy (2007) Analizowana: Van Den Bergh and Engelbrecht (2010) Operatory przeszukiwania x i t+1 = x i t + vt+1. i (3) vt+1 i = ω vt i + c 1 (p i best xi t) + c 2 (neighbors i best xi t) (4) GA

12 Hybrydyzacja Adaptacja Jak dobierać jej parametry i sąsiedztwo? Prace: Cleghorn, Clerc, Engelbreht, Harrison, Poli (Harrison et al., 2017) Równanie Poli ego na zbieżność c 1 + c 2 < 24(1 ω)2 7 5ω (5) GA

13 Hybrydyzacja Adaptacja Rejon zbiżeności Poli ego GA

14 Od przybytku głowa nie boli Hybrydyzacja Adaptacja GA

15 Od przybytku głowa nie boli c.d. Hybrydyzacja Adaptacja Particle Swarm Optimization Charged Quantum Fully-Informed Swarm Local Unified Orthogonal Learning Artificial Bee Colony Bat Algorithm Cuckoo search (via Lévy flights) Dog Group Wild Chase and Hunt Drive Algorithm Eagle strategy (using Lévy walk and firefly algorithms) Firefly algorithm Glowworm swarm based optimization GA

16 Sörensen na ratunek! Hybrydyzacja Adaptacja Metaheuristics the metaphor exposed Sörensen (2015) Z polityki publikacyjnej Journal of Heuristics Proposing new paradigms is only acceptable if they contain innovative basic ideas, such as those that are embedded in classical frameworks like genetic algorithms, tabu search, and simulated annealing. The Journal of Heuristics avoids the publication of articles that repackage and embed old ideas in methods that are claimed to be based on metaphors of natural or manmade systems and processes. These so-called novel methods employ analogies that range from intelligent water drops, musicians playing jazz, imperialist societies, leapfrogs, kangaroos, all types of swarms and insects and even mine blast processes (Sörensen, 2013). GA

17 Ale co z tego wynika...? Hybrydyzacja Adaptacja Spróbujmy poszukać alternatywnego sposobu poprawy jakości działania algorytmów przez ich hybrydyzację GA

18 Spojrzenie uogólnione Hybrydyzacja Adaptacja Cząsteczki nie muszą być identyczne Każda cząsteczka ma aktualną pozycję x, prędkość v oraz najlepszą pozycję p best (a potencjalnie pełną historię) Wszystkie cząsteczki mogą mieć dostęp do x i p best innych Okulewicz (2016); Uliński et al. (2018): v i t+1 =ω v i t + c 1 (p i best xi t) N + + k=1 N k=1 particles j=1,j i particles j=1,j i I (jth N k (ith))c j,k (pj best xi t) I (jth N k (ith))c j,k (xj t x i t) (6) GA

19 Hybrydyzacja Adaptacja Inne algorytmy: Ewolucja różnicowa Wprowadzona: Storn and Price (1997) Od razu z założeniem wysokopoziomowej parametryzacji (DE/rand/1/bin, DE/best/1/bin) Operatory przeszukiwania y (i) t = x (i) t + F (x (i 2) t x (i 1) t ) (7) u i t = Bin p (x best t, y (i) t ) (8) { u i u i t = t if f (u i t) < f (x i t) (9) otherwise x i t GA

20 Hybrydyzacja Adaptacja DE jako cząstka w uogólnionym x (i,t+1) test = Bin(ωv + (p best x (i,t) test ), g best ) (10) GA

21 Hybrydyzacja Adaptacja Mój przepis na hybrydę + DE Losowe aplikowanie wzorów (4) lub DE (10) niezależnie od wcześniejszej historii danego punktu Utrzymywanie cech cząsteczki: prędkości, położenia aktualnego i najlepszego znanego GA

22 Hybrydy -DE Hybrydyzacja Adaptacja GA

23 Hybrydyzacja Adaptacja Otwartym pytaniem pozostaje sposób wyboru procentowego udziału poszczególnych rodzajów cząsteczek / zachowań Przegląd metod adaptacji przydatnych w takim wyborze: Sharma et al. (2018) W GA użyto zliczania wartości sukcesów poszczególnych rodzajów: z s t = max(0, f (ps best ) f (xs t) f (p s best ) ) (11) ẑ p t = T 1 N a S p N a Z = t=t s swarm p z s t (12) P z p (13) p [ z 1 Z, z 2 Z,..., z P Z ] (14) GA

24 Garść wyników: BBOB Hybrydyzacja Adaptacja GA

25 Garść wyników: BBOB Hybrydyzacja Adaptacja GA

26 Garść wyników: BBOB Hybrydyzacja Adaptacja GA

27 Co dalej...? GA

28 Garść wyników: BBComp 1OBJ GA

29 Garść wyników: BBComp Expensive 1OBJ GA

30 Garść wyników: BBComp Expensive 1OBJ 64D GA

31 I Daniel Bratton and James Kennedy. Defining a Standard for Particle Swarm Optimization. (Sis): , Kyle Robert Harrison, Andries P. Engelbrecht, and Beatrice M. Ombuki-Berman. An adaptive particle swarm optimization algorithm based on optimal parameter regions. In 2017 IEEE Symposium Series on Computational Intelligence (SSCI), pages 1 8. IEEE, nov ISBN doi: /SSCI URL James Kennedy and Russell C. Eberhart. Particle Swarm Optimization. Proceedings of IEEE International Conference on Neural Networks. IV, pages , GA

32 II Michał Okulewicz. Finding an Optimal Team. In Position Papers of the 2016 Federated Conference on Computer Science and Information Systems, pages , oct doi: /2016F465. URL //fedcsis.org/proceedings/2016/drp/465.html. Craig W Reynolds. Flocks, herds and schools: A distributed behavioral model. SIGGRAPH Comput. Graph., 21(4):25 34, ISSN doi: / URL Mudita Sharma, Manuel López-Ibáñez, and Dimitar Kazakov. Performance Assessment of Recursive Probability Matching for Adaptive Operator Selection in Differential Evolution. pages Springer, Cham, sep doi: / URL GA

33 III Yuhui Shi and Russell C. Eberhart. Parameter selection in particle swarm optimization. Proceedings of Evolutionary Programming VII (EP98), pages , doi: /BFb URL Kenneth Sörensen. Metaheuristics-the metaphor exposed. International Transactions in Operational Research, 22(1):3 18, ISSN doi: /itor Rainer Storn and Kenneth Price. Differential Evolution A Simple and Efficient Heuristic for global Optimization over Continuous Spaces. Journal of Global Optimization, 11(4): , ISSN doi: /A: URL GA

34 IV Mateusz Uliński, Adam Żychowski, Michał Okulewicz, Mateusz Zaborski, and Hubert Kordulewski. Generalized Self-adapting Particle Swarm Optimization Algorithm. In Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), volume 3242, pages 29 40, doi: / URL Frans Van Den Bergh and Andries Petrus Engelbrecht. A convergence proof for the particle swarm optimiser. Fundamenta Informaticae, 105 (4): , ISSN doi: /FI David H. Wolpert. The Lack of a Priori Distinctions between Learning Algorithms. Neural Computation, 8(7): , ISSN doi: /neco GA

35 V David H. Wolpert and William G. Macready. No free lunch theorems for optimization. IEEE Transactions on Evolutionary Computation, 1(1): 67 82, ISSN X. doi: / GA

Podobne dokumenty

O dwóch modyfikacjach algorytmu PSO

O dwóch modyfikacjach algorytmu PSO Wydział Matematyki i Nauk Informacyjnych Politechnika Warszawska Seminarium: Inteligencja Obliczeniowa 24 listopada 2011 Plan prezentacji 1 Wprowadzenie 2 3 4 5 6 Definicja problemu Wprowadzenie Definicja