Optymalizacja ciągła

Transkrypt

1 Optymalizacja ciągła 0. Wprowadzenie Wojciech Kotłowski Instytut Informatyki PP / 11

2 Kontakt Instytut Informatyki Politechniki Poznańskiej Pokój nr 2 (CW), domofon 2936 tel. (61) Konsultacje: piątek 15:10-16:50 Laboratoria prowadzą: Mateusz Lango (3 grupy) Michał Kempka (2 grupy) 2 / 11

3 Zasady zaliczenia Pisemny sprawdzian na ostatnim wykładzie % punktów ocena [0,50] 2.0 (50,60] 3.0 (60,70] 3.5 (70,80] 4.0 (80,00] 4.5 (90,100] 5.0 Wykłady nie są obowiązkowe i nie będzie sprawdzania obecności Należy również zaliczyć laboratoria (obecność obowiązkowa!) Wykład będzie silnie bazował na znajomości analizy matematycznej i algebry liniowej 3 / 11

4 Literatura R. Wit Metody Programowania Nieliniowego WNT, 1986 A. Stachurski Wprowadzenie do optymalizacji Oficyna Wyd. PW, 2009 J. Kusiak, A. Danielewska-Tułecka, P. Oprocha Optymalizacja PWN, / 11

5 S. Boyd, L. Vandenberghe Convex Optimization Cambridge University Press, 2004 Literatura D. Luenberger, Y. Ye Linear and Nonlinear Programming Springer, 2016 M. Bazaraa, H. Sherali, C. Shetty Nonlinear Programming: Theory and Algorithms Willey, / 11

6 Problem optymalizacji minimalizuj przy ograniczeniach f(x) x X R n 5 / 11

7 Problem optymalizacji funkcja celu minimalizuj przy ograniczeniach f(x) x X R n wektor zmiennych decyzyjnych x = (x 1,..., x n ) zbiór rozwiązań dopuszczalnych 5 / 11

8 Problem optymalizacji funkcja celu minimalizuj przy ograniczeniach f(x) x X R n wektor zmiennych decyzyjnych x = (x 1,..., x n ) zbiór rozwiązań dopuszczalnych Minimalizacja bez straty ogólności, ponieważ: min f(x) max f(x) 5 / 11

9 Problem optymalizacji funkcja celu minimalizuj przy ograniczeniach f(x) x X R n wektor zmiennych decyzyjnych x = (x 1,..., x n ) zbiór rozwiązań dopuszczalnych Minimalizacja bez straty ogólności, ponieważ: min f(x) max f(x) X = R n = problem optymalizacji bez ograniczeń 5 / 11

10 Problem optymalizacji funkcja celu minimalizuj przy ograniczeniach f(x) x X R n wektor zmiennych decyzyjnych x = (x 1,..., x n ) zbiór rozwiązań dopuszczalnych Minimalizacja bez straty ogólności, ponieważ: min f(x) max f(x) X = R n = problem optymalizacji bez ograniczeń X opisywany zwykle jako przecięcie ograniczeń równościowych i nierównościowych 5 / 11

11 Problem optymalizacji minimalizuj f(x) przy ograniczeniach g i (x) 0, i = 1,..., m h i (x) = 0, i = 1,..., k 6 / 11

12 Problem optymalizacji minimalizuj f(x) przy ograniczeniach g i (x) 0, i = 1,..., m h i (x) = 0, i = 1,..., k Bez straty ogólności nierówności typu Bez straty ogólności prawe strony równe 0 6 / 11

13 Problem programowania liniowego Wszystkie funkcje (celu i ograniczenia) są liniowe n minimalizuj f(x) = c j x j j=1 n przy ograniczeniach a ij x j b j, j=1 x j 0, i = 1,..., m j = 1,..., d 7 / 11

14 Problem programowania liniowego Wszystkie funkcje (celu i ograniczenia) są liniowe n minimalizuj f(x) = c j x j j=1 n przy ograniczeniach a ij x j b j, j=1 x j 0, i = 1,..., m j = 1,..., d Poza zakresem wykładu 7 / 11

15 Minima lokalne i globalne (źródło: wikipedia) Minima lokalne są zmorą problemów optymalizacji Jeśli funkcja i zbiór ograniczeń są wypukłe, każde minimum lokalne jest minimum globalnym 8 / 11

16 Plan wykładu 1. Optymalizacja funkcji jednej zmiennej 2. Podstawy matematyczne (algebra liniowa, wypukłość) 3. Problem optymalizacji, warunki optymalności 4. Algorytmy optymalizacji bez ograniczeń 5. Metoda stochastycznego spadku wzdłuż gradientu 6. Optymalizacja z ograniczeniami 9 / 11

17 Do czego informatykom potrzebna optymalizacja ciągła? Optymalizacja jest podstawą niemal wszystkich technik uczenia maszynowego i statystycznej analizy danych optymalizacja algorytmika statystyka uczenie maszynowe probabilistyka teoria informacji 10 / 11

18 Sukcesy uczenia maszynowego rozpoznawanie obrazów wyszukiwanie informacji autonomiczne pojazdy automatyczne tłumaczenie rozpoznawanie mowy nawigacja inwestycje medycyna systemy rekomendacyjne 11 / 11