ALHE Jarosław Arabas Testowanie metod optymalizacji

Transkrypt

1 ALHE Jarosław Arabas Testowanie metod optymalizacji

2 Metoda optymalizacji jako generator propozycji rozwiązań Metoda optymalizacji. generacja rozwiązań 2. ewaluacja rozwiązań ewaluator

3 Metoda optymalizacji jako generator propozycji rozwiązań Metoda optymalizacji 4. wykorzystanie wartości funkcji celu 3.przypisanie wartości funkcji celu ewaluator

4 Informacyjne sprzężenie zwrotne optymalizator ewaluator Metoda optymalizacji. generacja rozwiązań 4. wykorzystanie wartości funkcji celu 2. ewaluacja rozwiązań 3.przypisanie wartości funkcji celu ewaluator

5 Optymalizacja typu czarna skrzynka (black box) Metoda optymalizacji ewaluator

6 Testowanie metod optymalizacji z założeniem czarnej skrzynki Zadania benchmarkowe CEC Metoda optymalizacji BBOB 2 23 Krzywe zbieżności (minimalizacja).2 q(xk).8.6 ewaluator k

7 No Free Lunch Theorem (NFL) Nie wiedząc z góry, jakie zadanie optymalizacji przyjdzie nam rozwiązać, nie możemy dobrać efektywnej metody dla niego

8 Testowanie metod optymalizacji z założeniem czarnej skrzynki Zadania benchmarkowe CEC 25 i następne CEC23 BBOB 2 i 2 Krzywe zbieżności q(xk) q(xk) k k

9 Testowanie metod optymalizacji Porównanie metod losowych q(xk) k k.2 Dystrybuanta empiryczna rozwiązań uzyskanych po założonym czasie dla dwóch algorytmów.8 częstość q(xk) q(x).5 5

10 Testowanie metod optymalizacji Porównanie algorytmów na podst. dystrybuanty rozwiązań (testy nieparametryczne) częstość częstość q(x) Algorytm B jest gorszy niż algorytm A q(x) Nie można stwierdzić, że jeden jest lepszy od drugiego.5

11 Testowanie metod optymalizacji Porównanie algorytmów na podst. porównania statystyk (testy parametryczne) częstość q(x) Algorytm B jest gorszy niż algorytm A Dystrybuanty rozkładu normalnego (idea testu t-studenta).5

12 Testowanie hipotez statystycznych Stawiamy hipotezę zerową (null hypothesis) Test jest procedurą obliczającą p-wartość, czyli wartość pewnej statystyki, będącej prawdopodobieństwem zaobserwowania danych przy założeniu prawdziwości hipotezy zerowej Jeśli p-wartość jest mniejsza od zakładanej, hipoteza zerowa jest odrzucana Testy statystyczne są obecne w każdym szanującym się pakiecie naukowym

13 Testowanie metod optymalizacji Porównanie wielu algorytmów dla jednego zadania A A2 A3 A4 A A2 A3 A Na podstawie porównań w parach Porównanie wielu algorytmów dla wielu zadań A A2 A3 A4 Z Z2 3 2 Z3 Z Z5 średnia Wygrywają ex aequo metody A3 i A4 A A2 A3 A4 bilans -2-2 ranga Agregacja tabeli porównań

14 Testowanie metod optymalizacji Porównanie wielu algorytmów dla jednego zadania function target pairs function-target pair q(xk) k

15 Testowanie metod optymalizacji Porównanie wielu algorytmów dla jednego zadania: function-target pairs

16 Testowanie metod optymalizacji Porównanie wielu algorytmów dla wielu zadań zadania: function-target pairs

17 Testowanie hipotez statystycznych Figures often beguile me, particularly when I have the arranging of them myself; in which case the remark attributed to Disraeli would often apply with justice and force: "There are three kinds of lies: lies, damned lies and statistics." - Mark Twain's Own Autobiography: The Chapters from the North American Review

18 Effects of accepting a free lunch