Metody numeryczne II Poszukiwanie ekstremów funkcji Janusz Szwabiński szwabin@ift.uni.wroc.pl nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.1/55
Poszukiwanie ekstremów funkcji 1. Funkcje jednej zmiennej metoda złotego podziału interpolacja paraboliczna i metoda Brenta poszukiwanie minimów z wykorzystaniem pierwszych pochodnych 2. Funkcje wielu zmiennych metoda symplex metoda Powella metody oparte na gradientach 3. Minima globalne nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.2/55
Sformułowanie zagadnienia f(x) x nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.3/55
Metoda złotego podziału (1) Jeżeli dla zachodzi oraz funkcja osobliwa) ma w przedziale minimum (o ile nie jest potrzeba trzech punktów do zlokalizowania minimum nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.4/55
Metoda złotego podziału (2) Wybieramy nowy punkt (lub ) minimum leży w przedziale minimum leży w przedziale punkt środkowy trypletów lub jest najlepszym przybliżeniem minimum osiągniętym do tej pory nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.5/55
Metoda złotego podziału (3) 1 4 2 5 6 3 nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.6/55
Metoda złotego podziału (4) Załóżmy, że minimum leży w punkcie go zlokalizować w małym przedziale oraz, że udało nam się gdzie to liczba rzędu jednostki maszynowej (np. pojedynczej precyzji) W otoczeniu punktu funkcja dana jest wzorem w Chcemy, aby w ostatnim równaniu drugi wyraz był rzędu : nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.7/55
Metoda złotego podziału (5) Dla większości funkcji wartość Stąd nie ma raczej sensu pytać o otoczenie minimum mniejsze niż nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.8/55
!! #! #! #! Metoda złotego podziału (6) Przypuśćmy, że jest ułamkiem odległości między i, tzn.! Załóżmy ponadto, że następny przedział, w którym znajduje się minimum, będzie miał długość albo Chcemy zminimalizować najgorszą możliwość: nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.9/55
#! $ # ( ' & %!!!!! Metoda złotego podziału (7) Stąd wynika będzie symetryczny do względem środka przedziału i będzie leżał w dłuższym z podprzedziałów Jeżeli wybraliśmy poprzednim zrobiliśmy to samo dla Stąd optymalnym w bierzącym kroku, to w powinien być tym samym ułamkiem odległości między (jeśli to jest większy podprzedział), co jest między i i nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.10/55
( & ) ' & Metoda złotego podziału (8) punkt środkowy optymalnego przedziału zawierającego minimum leży w odległości ułamkowej od jednego z końców i od drugiego liczba cyfr znaczących w wyniku rośnie liniowo z liczbą dodatkowych kroków nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.11/55
Interpolacja paraboliczna i metoda Brenta (1) Funkcja wystarczająco gładka w pobliżu minimum funkcja kwadratowa jest dobrym przybliżeniem parabola dopasowana do dowolnych trzech punktów powinna doprowadzić nas w jednym kroku do minimum albo przynajmniej w jego bliskie otoczenie nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.12/55
Interpolacja paraboliczna i metoda Brenta (2) f(x) 3 1 2 4 x nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.13/55
Interpolacja paraboliczna i metoda Brenta (3) Minimum paraboli przechodzącej przez trzy dowolne (niewspółliniowe) punkty, i * + * + * + * + Wada: wzór opisuje zarówno minimum jak i maksimum paraboli w pobliże minimum dochodzimy innym algorytmem nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.14/55
! -,!! -, Interpolacja paraboliczna i metoda Brenta (4) Metoda Brenta: w każdym kroku tej metody zapamiętujemy sześć punktów,,,, i minimum leży w przedziale to najlepsze do tej pory przybliżenie minimum w punkcie najmniejszą wartość funkcja ma drugą co do wartości - poprzednia wartość to punkt, w którym wartość funkcji była wyliczona ostatnio nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.15/55
-! Interpolacja paraboliczna i metoda Brenta (4) interpolację kwadratową przeprowadzamy dla punktów i, wynik interpolacji zostaje zaakceptowany, jeśli: parabola leży wewnątrz przedziału interpolacja pociąga za sobą przesunięcie od nowego punktu, które jest mniejsze niż połowa takiego przesunięcia w poprzednim kroku. jeśli interpolacja będzie nie do przyjęcia, włączamy metodę złotego podziału do nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.16/55
Metody wykorzystujace pierwsze pochodne (1) Teoretycznie możemy po prostu szukać pierwiastków pierwszej pochodnej, ignorując zupełnie informację zawartą w wartościach funkcji Wady jak odróżnić maksima od minimów (bez wyliczania drugiej pochodnej) dokąd pójść z warunków początkowych, które pokazują spadek pochodnych w jednym (lub obu) punkcie zewnętrznym w kierunku wyprowadzającym po za przedział określoności funkcji nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.17/55
Metody wykorzystujace pierwsze pochodne (2) Inna możliwość jeżeli minimum znajduje się w przedziale obliczenie pochodnej w punkcie czy punkt leży w wartości pochodnej w czy w, wskazuje jednoznacznie, i w poprzednim punkcie ekstrapolowane do zera metodą siecznych (odwrotna interpolacja liniowa) są nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.18/55
... Metoda symplex (1) Definicja Sympleks to figura geometryczna, składająca się w wymiarach z punktów (wierzchołków) trójkąt w dwóch wymiarach czworościan (niekoniecznie regularny) w trzech wymiarach traktując dowolny punkt niezdegenerowanego sympleksu jako początek, inne punkty definiują kierunki wektorów rozpinających wymiarową przestrzeń wektorową nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.19/55
. 7 Metoda symplex (2) Wartości początkowe potrzebujemy punktów oznaczając jeden z nich przez, inne określamy ze wzoru /1032 /98 5 7 /4062 /4065 gdzie / 8 5 - wektor bazowy - charakterystyczna skala problemu nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.20/55
Metoda symplex (3) Definicja Najwyższym punktem sympleksu nazywamy wierzchołek, w którym wartość funkcji będzie największa. Analogicznie określamy punkt najniższy sympleksu Deformacje sympleksu odbicia (z zachowaniem objętości) odbicie i rozciąganie kontrakcja nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.21/55
Metoda symplex (4) a) najwyższy punkt nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.22/55
Metoda symplex (5) b) nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.23/55
Metoda symplex (6) c) nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.24/55
Metoda symplex (7) d) sympleks porusza się w kierunku najbliższego minimum i zapada się w sobie po jego osiągnięciu nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.25/55
Metoda Powella (1) Startujemy w punkcie /4062 i przemieszczamy się w kierunku /9: minimum funkcji /40 wzdłuż możemy znaleźć za / : pomocą metod dla funkcji jednej zmiennej chcemy znaleźć minimum funkcji wielu zmiennych wykonujac szereg jednowymiarowych minimalizacji nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.26/55
Metoda Powella (2) Wektory jednostkowe,..., / 8<; /98>= jako zbiór kierunków zadowalające dla pewnej klasy funkcji, ale...... mało wydajne y x nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.27/55
Metoda Powella (3) Przy wyborze zbioru kierunków powinniśmy zwrócić uwagę na dwie rzeczy: zbór powinien zawierać kilka, które szybko doprowadzą nas w pobliże minimum minimalizacja w jednym kierunku nie powinna psuć osiągniętej już minimalizacji w innym. nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.28/55
/ B 5 5 / B 5 5 5 / F F B 5 /, Metoda Powella (4) Minimalizujemy funkcję wzdłuż gradient funkcji w minimum (liniowym) musi być /, prostopadły do / 0 w szereg względem początku układu Rozwijamy?? /10 DC C C??? B 5A@ / E / /? + E * / IHKJ G /10 F?? B 5A@ nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.29/55
/ E G / E / L E G L Metoda Powella (5) Gradient funkcji ma postać / minimum występuje w punkcie będącym rozwiązaniem układu / Poruszając się w pewnym kierunku, spowodujemy zmianę gradientu nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.30/55
Metoda Powella (6) Aby minimalizacja wzdłuż /, nie zepsuła minimalizacji wzdłuż / -, gradient musi pozostać prostopadły do /, / - E /, G / L, i / - /, są sprzężone nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.31/55
. M C C C. M ; C C C. M N C C C N Metoda Powella (7) Inicjalizujemy zbiór kierunków wektorami bazowymi /, 5 /98 5 /, 5 Procedura bazowa: zapamiętaj pozycję wyjściową jako / 062 dla kierunku dla przyjmij przesuń /, 5 /, = /0 =, przesuń /065 i oznacz ten punkt jako /0 = przyjmij /032 do minimum wzdłuż do minimum wzdłuż /, 5 /, = / 065 /, 5O ; i nazwij ten punkt /062 nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.32/55
P P..... Metoda Powella (8) dla formy kwadratowej którego sprzężonych iteracji produkuje zbiór kierunków, ostatnich elementów jest wzajemnie ze sobą iteracji procedury bazowej ( minimalizacji liniowych) powinno dokładnie zminimalizować formę kwadratową Wada odrzucenie w każdym kroku /, ; na rzecz /10 = do wytworzenia kierunków liniowo zależnych / 062 zmierza reinicjalizuj zbiór kierunków iteracjach procedury bazowej po każdych /, 5 lub nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.33/55
G Metoda najszybszego spadku (1) wybierz punkt początkowy /4062 przejdź od do /4065 /4065O ; minimalizuj kierunku najszybszego spadku, tzn. ac funkcję wzdłuż /4065 nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.34/55
Metoda najszybszego spadku (2) metoda wymusza skręty pod kątem prostym mała wydajność (ale duża stabilność!) nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.35/55
/ E / M C C C Metoda gradientów sprzężonych (1) Załóżmy ponownie, że naszą funkcję można przybliżyć formą / / / Startując od pewnego wektora wektorów,, generujemy dwa ciągi /9Q 2 /4R 5 E 7 5 / Q 5 / Q 5O ; / Q 2 /4R 2 / R 5 5 TS ; / Q 5O /4R 5O ; nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.36/55
M U 5 S Metoda gradientów sprzężonych (2) Chcemy, aby wektory spełniały warunki ortogonalności i sprzężenia /9Q B / Q 5 /1R B E /1R 5 /4R B /9Q 5 Stąd wynika /R 5 / Q 5 / Q 5 / Q 5 7 5 / R 5 E / R 5 /4R 5 E /4R 5 ; / Q 5O ; /9Q 5O / Q 5 /9Q 5 nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.37/55
G M C C C Metoda gradientów sprzężonych (3) Twierdzenie 1 Niech /065 G /9Q 5 dla pewnego punktu, w którym funkcja /1065 ma postać formy kwadratowej. Przypuśćmy dalej, że kontynuujemy poszukiwanie minimum w kierunku w punkcie /1065O ; oraz, że nowe minimum ulokowane jest / R 5. Wówczas zachodzi ; /1035O / Q 5O ; przy czym /9Q 5O ; jest taki sam, jakby był skonstruowany za pomoca / R 5 E 7 5 / Q 5 ; / Q 5O nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.38/55
/ E G E 7 Metoda gradientów sprzężonych (4) Dowód Z równania / wynika / /1035 E / Q 5 a zatem / R 5 E 7 / Q 5 / /1R 5 7 /1035 / Q 5O ; z dobranym tak, aby osiągnąć minimum liniowe. Ale w minimum tym zachodzi ; /9Q 5O / R 5 G /R 5 nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.39/55
7 Metoda gradientów sprzężonych (5) Dowód (ciąg dalszy) Rozwiązując ostanie dwa równania względem, otrzymamy /4R 5 / Q 5 / Q 5 / Q 5 / R 5 E / R 5 /4R 5 E /4R 5 7 5 co kończy dowód nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.40/55
V Wyżarzanie symulowane (1) Analogia z termodynamiką wolno schładzany system znajduje stan o minimalnej energii energia systemu w równowadze termicznej w temperaturze jest rozłożona pomiędzy różne stany energetyczne z rozkładem prawdopodobieństwa Boltzmanna W P V Z XY W 0 nawet w niskich temperaturach system może znajdować się w stanie o wysokiej energii istnieje możliwość, że system wyjdzie z lokalnego minimum i znajdzie inne (lepsze) nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.41/55
W W ; W W ; [ V P Wyżarzanie symulowane (2) Algorytm Metropolisa: symulowany system zmienia konfigurację z energii do z prawdopodobieństwem Z XY ]_^\ nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.42/55
W V Wyżarzanie symulowane (3) Niezbędne elementy (w systemach innych niż termodynamiczne) opis możliwych konfiguracji systemu generator losowych zmian w konfiguracji funkcja obliczeń parametr (odpowiednik energii), której minimum to cel (odpowiednik temperatury) oraz reguły, w jaki sposób parametr ten zmieniany jest od dużych do małych wartości. nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.43/55
. 0.. +. * b: a Wyżarzanie symulowane (4) Zagadnienie komiwojażera: Problem odwiedzamy miast o pozycjach wracamy do miasta początkowego ` 5 5 każde miasto ma być odwiedzone tylko raz trasa możliwie najkrótsza zupełny, a następnie czas znalezienia dokładnego rozwiązania rośnie z jak ced Z XY koszty obliczeniowe są bardzo duże dużo minimów lokalnych nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.44/55
.f S Wyżarzanie symulowane (5) Cel praktyczny: znaleźć minimum, które nawet jeśli nie jest absolutne, nie może być już dużo bardziej poprawione wyżarzanie pozwala znaleźć takie minimum z nakładem obliczeń, gdzie to pewna mała liczba nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.45/55
. M C C C Wyżarzanie symulowane (5) 1. Konfiguracja: miasta są ponumerowane indeksem i każde z nich ma współrzędne Konfiguracje to permutacje numerów miast 2. Zmiany konfiguracji:. ` 5 5 część trasy usunięta i zastąpiona tymi samymi miastami w odwrotnej kolejności część trasy usunięta i wstawiona między inne dwa miasta nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.46/55
g W 5 iw V iw V V.. Wyżarzanie symulowane (6) 3. Energia to po prostu długość całej trasy ; ` 5O ` 5 ; 5O ; = 5Kh 4. Generujemy najpierw losowo różne konfiguracje i używamy ich do określenia zmian, z którymi będziemy mieli do czynienia przy przejściu od kroku do kroku. Wybieramy początkowe największego dużo większe od, a następnie zmniejszamy maksymalnie 10% w każdym kroku. Utrzymujemy dla rekonfiguracji lub (w zależności od tego, co nastąpi wcześniej) o stałe udanych rekonfiguracji nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.47/55
/ / / L / / / Wyżarzanie symulowane (7) Minimum zwykłej funkcji 1. Konfiguracja to po prostu punkt 2. Zmiana konfiguracji to losowe przesunięcie od do 3. Energia to wartość 4. Parametr kontrolny definiuje się podobnie, jak w przypadku minimalizacji kombinatoryjnej nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.48/55
Metody dyfuzyjne (1) Wyobraźmy sobie metodę, której każdy krok polega na częściowym zasypywaniu minimów lokalnych po pewnej liczbie kroków, powinna zostać jedynie reszta minimum globalnego do jego znalezienia wystarczą metody lokalne nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.49/55
j j i c Metody dyfuzyjne (2) Funkcję jednej zmiennej ciągowi transformacji: poddajemy następującemu 2 2 i c 2 ; j. lk j i c lk ; lk O przy czym jest małą, dodatnią liczbą nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.50/55
$ Metody dyfuzyjne (3) minima w każdym kroku będą płytsze maksima będą niższe w punktach przegięcia funkcja pozostaje bez zmian Przykład Rozważmy funkcję $ C nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.51/55
Metody dyfuzyjne (4) f 3 (x) f 2 (x) f 1 (x) f 0 (x) x nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.52/55
Metody dyfuzyjne (5) Wady pozycja minimum w każdym kroku przesuwa się w porównaniu z położeniem oryginalnym konieczność wyliczania drugich pochodnych Rozwiązanie (pierwszego problemu) obliczamy minimum funkcji nm i traktując to jako wartość startową, szukamy minimum funkcji możliwe, jeżeli krok od do 5 5O ; itd. po nie będzie zbyt duży nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.53/55
j j i c r i c j j jc c Metody dyfuzyjne (6) Z równania qk j i c qk ; qk O wynika qk qk ; qk O j W granicy otrzymamy qk c qk j czyli jednorodne równanie dyfuzji ze stałą dyfuzji równą 1 oraz warunkiem początkowym 2 nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.54/55
Metody dyfuzyjne (7) W s wymiarach j qk / c j c iut / c Możliwe rozwiązanie tego równania ma postać / c v c t j t 2 / XY Z / / w c nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.55/55