Wykład IX Optymalizacja i minimalizacja funkcji

Transkrypt

1 Wykład IX Optymalzacja mnmalzacja funkcj Postawene zadana podstawowe dee jego rozwązana Proste metody mnmalzacj Metody teracj z wykorzystanem perwszej pochodnej Metody teracj z wykorzystanem drugej pochodnej Metody dla problemów sumy kwadratów Mnmalzacja z ogranczenam Problem mnmalzacj globalnej

2 Postawene zadana Optymalzacja to ulepszane rozwązana (techncznego). Np. optymalzacja kształtu kerowncy samochodu zadane z dzedzny ergonom, optymalzacja sec przesyłu energ dla zmnejszena strat problem technczno-ekonomczny, optymalzacja rozdzału zadań do wykonana (wypełnane grafka zadań) problem logstyczny. Zapsane problemu optymalzacj w postac kryterum jakośc zależnego od parametrów defnuje zadane mnmalzacj lub maksymalzacj kryterum (funkcj) w przestrzen parametrów. Ze względu na łatwość zmany zadana maksymalzacj na zadane mnmalzacj przez zmanę znaku kryterum, w dalszej częśc mowa będze o zadanu mnmalzacj. Standardowe matematyczne sformułowane zadana mnmalzacj brzm: Dla danej funkcj f dla danego obszaru S E k znaleźć punkt x * S tak, że f(x * ) f(x) dla wszystkch x S. E k jest k-wymarową przestrzeną eukldesową, x jest punktem tej przestrzen. Przestrzeń poszukwana wartośc parametrów może być ogranczona. Ogranczena mają charakter przedzałów (a), ogranczeń równoścowych (b) lub nerównoścowych (c). x x x b) g ( x ) = 0 c) g ( x ) 0 a) l u

3 Podstawowe dee rozwązań problemu mnmalzacj Przypadk rozwązywalne analtyczne: problemy LP (Lnear Programmng) - kryterum ogranczena są lnowym funkcjam parametrów problemy QP (Quadratc Programmng) - kwadratowe kryterum lnowe ogranczena Problemy NP (Nonlnear Programmng) wymagają użyca teracyjnych metod poszukwana opartych na nformacj o wartoścach kryterum w wybranych punktach przestrzen parametrów. Mnmalzacja lokalna: poszukwane pojedynczego mnmum funkcj. Najbardzej efektywne metody wykorzystują numeryczne przyblżena pochodnych funkcj. W trudnych przypadkach (np. necągłośc) stosowane są metody, które wykorzystują tylko wartośc funkcj. Mnmalzacja globalna: poszukwane jednego punktu mnmalnego przy welu mnmach lokalnych. Jest to trudne zadane oblczenowe. Pomysły na rozwązane to welokrotne starty metody lokalnej z różnych punktów lub zasada błądzena wokół beżącego oszacowana mnmum w nadze znalezena sąsadującego lepszego rozwązana (np. Smulated Annealng). Dobre wprowadzene do metod mnmalzacj można znaleźć w Buchanan, Turner Numercal Methods and Analyss w dokumentacj do Optmzaton Toolbox Matlaba.

4 Proste metody mnmalzacj jednowymarowej Przez analogę do poszukwana zera metodą połowena (bsekcj) możemy podać sposób poszukwana mnmum metodą jego otoczena sukcesywnego zawężana przedzału. Dysponując trzema kolejnym punktam a, b, c które spełnają warunek f ( a) f ( b) f ( c), tzn. punkt środkowy leży najnżej, możemy wnoskować że mnmum leży gdześ pomędzy a b. Metoda złotego podzału (golden secton) podaje receptę na dobór położena następnego punktu wybór nowej trójk punktów. Najkorzystnejszy dla szybkośc zbeżnośc jest podzał w stosunku Błąd oszacowana położena mnmum maleje lnowo. f(x) a b d c x Jeśl dopuścmy zmenność stosunku podzału, to cąg optymalnych (dla szybkośc zbeżnośc) podzałów jest zwązany z cągem Fbonaccego (Fbonacc search) zdefnowanym jako: Fk+ 1 = Fk + Fk 1, F1 = F0 = 1 Kolejne stosunk podzału są równe: F F, F 3 F 1,, F0 F n n n n

5 Kontynuując analoge do metod poszukwana zera, dysponując klkoma punktam możemy poszukwać mnmum funkcj przyblżającej (nterpolującej) funkcję mnmalzującą. Metoda nterpolacj kwadratowej (quadratc search) bazuje w każdym kroku na trzech punktach buduje na nch weloman nterpolujący p( x) ax bx c = + + o mnmum w punkce xmn w kategorach trzech punktów bazowych x 1, x, x 3 daje rozwązane na nowy punkt: x = x 4 1 ( x x1) f ( x) f ( x3) ( x x3) f ( x) f ( x1) ( x x ) f ( x ) f ( x ) ( x x ) f ( x ) f ( x ) b = co a Metoda nterpolacj sześcennej (cubc search) jest często wykorzystywana wtedy kedy dostępna jest nformacja o pochodnej funkcj. Wtedy współczynnk welomanu nterpolującego p x = ax + bx + cx+ d można wyznaczyć z wartośc funkcj jej pochodnej w dwóch punktach. ( ) 3 Implementacja Matlaba fmnbnd to kombnacja metody złotego podzału nterpolacj kwadratowej Metody mnmalzacj jednowymarowej są powszechne wykorzystywane w algorytmach welowymarowych, które po oszacowanu kerunku poszukwana mnmum stosują metodę jednowymarową wzdłuż kerunku (zob. temat lne search w Optmzaton Toolbox User s Gude).

6 Mnmalzacja welowymarowa bez użyca nformacj różnczkowej Metoda Smplex autorstwa Nelder-Mead (1965) [zob. Numercal Recpes]. Wykorzystuje ona w dzałanu zestaw N+1 punktów w przestrzen N-wymarowej, które tworzą najprostszą fgurę geometryczną w tej przestrzen (nazywaną smpleksem). Krok metody polega na wyznaczenu następnego punktu przyblżena mnmum w kerunku wyznaczonym przez symetryczne odbce punktu najwyżej położonego względem naprzecwległej ścany smpleksu. Może być przy tym wykonane zawężene lub rozszerzene smpleksu. Warunkem zakończena w metodze jest zmnejszene rozmarów smpleksu ponżej wartośc grancznej. odbce odbce+ skurczene odbce+ rozszerzene skurczene Implementacja w Matlabe to fmnsearch.(w starszej wersj fmns)

7 Mnmalzacja z użycem nformacj różnczkowej metody gradentowe Metoda najwększego spadku (steepest descent) Następne przyblżene mnmum jest poszukwane w kerunku przecwnym do gradentu: d= f ( x ) Zamplementowana w fmnunc ale ne polecana, bo w szczególnych przypadkach, jak np. funkcja Rosenbrocka (popularna funkcja testowa, nazywana też funkcją bananową) f ( x ) = 100( x x1 ) + ( 1 x1), metoda jest bardzo wolno zbeżna do rozwązana (wyjaśnć problem na tablcy). Wyznaczene kerunku poszukwana mnmum jest perwszym etapem pojedynczego kroku metody mnmalzacj welowymarowej. Drugm etapem jest jednowymarowe poszukwane mnmum wzdłuż wyznaczonego kerunku, tzn. mnmalzacja względem α zależnośc: x = x + k+ 1 k α d Dokonuje sę tego omówonym poprzedno metodam złotego podzału, cągu Fbonaccego, metodam nterpolacj/ekstrapolacj. Metody kerunków/gradentów sprzężonych Fletchera-Reevesa, Polaka-Rbere a [zobacz szczegóły w ksążce Fletchera 1987]. Są to metody mnej popularne (słabsze rozpowszechnene źródeł gotowych procedur) ale zachowujące sę porównywalne z metodam dalej omawanym.

8 Metody różnczkowe drugego rzędu metody Newtona quas-newtona Metoda gradentowa używała modelu perwszego rzędu (lnowego) zachowana sę funkcj w okolcy beżącego punktu. Dokładnejsze wyznaczene kerunku poszukwana mnmum otrzymuje sę przy uwzględnenu nformacj różnczkowej drugego rzędu. Model otoczena beżącego punktu ma wtedy postać kwadratową, z zastępczym problemem mnmalzacj: 1 T T mn xhx+ bx + c, n x R gdze H jest symetryczną dodatno określoną macerzą hesjanu aproksymowanej funkcj, b wektorem gradentu w beżącym punkce, c stałą. Z przyrównana pochodnej modelu względem x do 0 otrzymuje sę kerunek d poszukwana mnmum (kerunek Newtona): 1 d= H b Metody z bezpośrednm wyznaczanem hesjanu są nazywane metodam Newtona. Wyznaczane macerzy hesjanu jest jednak kosztowne oblczenowo. Z tego względu opracowano metody z teracyjną aktualzacją tej macerzy nazywane metodam quas-newtona (lub metodam zmennej metryk). Najpopularnejsze formuły aktualzacj to BFGS (pokazana dla przykładu): T T T = + qq k k HssH k k k k H + H sk = xk+ 1 x k q = f ( x ) f ( x ) qs shs k 1 k T T k k k k k k k+ 1 k DFP aktualzująca bezpośredno odwrotność macerzy hesjanu. Obydwe są do wyboru w Matlabe w funkcjach fmnunc, fmncon.

9 Mnmalzacja z ogranczenam - wprowadzene Stosowana do nedawna metoda uwzględnana ogranczeń przez stosowane funkcj kary (czyl gwałtownego zwększena wartośc kryterum po przekroczenu ogranczeń) jest przestarzała. Obecne defnuje sę problem mnmalzacj z ogranczenam z użycem mnożnków Lagrange a w postac: (,λ) ( ) λ ( ) = + m L x f x g x = 1 Warunkam konecznym optymalnośc rozwązana zadana z ogranczenam równoścowym nerównoścowym są równana Kuhna-Tuckera, które są warunkam wystarczającym dla problemu wypukłego, tj. przy funkcj celu ogranczenach w postac funkcj wypukłych. ( ) λ ( ) f x + g x = 0 ( ) m = 1 λg x = 0, = 1,, m λ 0, = me + 1,, m Poszukujemy rozwązana w przestrzen x dodatkowo λ. Perwsze równane ma być spełnone z nezerowym współczynnkam λ tylko przy aktywnych ogranczenach (m e to lość ogranczeń równoścowych, pozostałe są nerównoścowe. Take postawene problemu jest podstawą mplementacj w funkcj fmncon.

10 Algorytmy dla problemu nelnowej najmnejszej sumy kwadratów (NLS) Problem najmnejszej sumy kwadratów czynnków nelnowych względem parametrów powstaje przy wszelkch dopasowanach typu least-squares, np. w dentyfkacj obektów dynamcznych metodą dopasowana odpowedz modelu do pomarów. Poneważ jest to problem z określoną strukturą, to możemy sę spodzewać uproszczeń w oblczenach. Kryterum mnmalzacj ma węc postać: f T ( x) = F ( x) = F( x) F( x ) Lcząc gradent G hesjan H kryterum uzyskamy: T G x = J x F x, gdze J jest jakobanem wektora F, ( ) ( ) ( ) T H( x) = J( x) J( x) + Q( x ), gdze ( ) = F ( ) ( ) Q x x H x, H jest hesjanem -tej składowej. Pomjając czynnk Q pozbylśmy sę macerzy drugch pochodnych, korzystamy tylko z jakobanu. Metoda Gaussa-Newtona Stosując kerunek Newtona do powyższego uzyskamy jego wersję dla problemu NLS. Skutkuje to kerunkem będącym rozwązanem problemu lnowego LS: mn J x d+ F x ( ) ( ) d T T czyl układu równań: J( x) J( x) d = J( x) F( x )

11 Metoda Levenberga-Marquardta Jest to ulepszene metody Gaussa-Newtona dla przypadku kedy czynnk Q(x) ne może być pomnęty. Rozsądne wyjśce, to ne korzystać wtedy w ogóle z hesjanu tylko wybrać krok metody najwększego spadku. Take zachowane można zapewnć doberając współczynnk λ w uogólnonej regule wyznaczana kerunku: T J( x) J( x) + λi d= J ( x) F( x ) Dla λ równego zero jest to kerunek Gaussa-Newtona natomast dla dużego λ perwszy czynnk zwązany z hesjanem trac na znaczenu o kerunku decyduje prawa strona zwązana z gradentem. Implementacją tej metody jest funkcja Matlaba lsqnonln (w starszych wersjach leastsq). Jest to metoda polecana np. do dentyfkacj poneważ dobrze zachowuje sę z dala od mnmum (od dobrego dopasowana do pomarów) - wtedy korzysta z modelu lnowego najwększego spadku, jak w okolcy mnmum gdze modeluje kryterum funkcją kwadratową.

12 Przykład Porównane efektywnośc poszczególnych metod na funkcj Rosenbrocka a) steepest descent 1000 teracj a b b) quas-newton BFGS 140 teracj c) Gauss-Newton 48 teracj d) Levenberg-Marquardt 90 teracj c d

13 Rozwązana problemu mnmalzacj globalnej Metoda pokryca satką prostokątną lub nerównomerną Poszukwane mnmum globalnego funkcj jest w tym przypadku zastąpone zadanem poszukwana mnmum dyskretnego skończonego zboru wartośc. Koneczność wyznaczana wartośc kryterum w wykładnczo rosnącej z wymarem problemu lczbe punktów. Proste metody poszukwana losowego Pokryce satką losową. Ulepszane rozwązana przez mnmalzację lokalną z najlepszego z wylosowanych punktów lub mnmalzacja lokalna z każdego z wylosowanych punktów z wyborem najlepszego rozwązana. Zaawansowane metody losowe Wprowadzene czynnka losowego do efektywnych metod mnmalzacj lokalnej (smpleksów, najwększego spadku, quas-newtona) zaburza kerunek poszukwana umożlwając przejśce do sąsednego dołka. Zmenny udzał czynnka losowego w kerunku powoduje, że w początkowej faze optymalzacj przeszukwana jest cała przestrzeń parametrów dla znalezena otoczena punktu mnmum globalnego, a faza końcowa wyznacza z wększą dokładnoścą położene tego punktu. Przykładem takej mplementacj jest metoda Smulated Annealng analoga do procesu chłodzena w termodynamce [zob. Numercal Recpes]. Algorytmy genetyczne poszukwane mnmum wg zasad ewolucj bologcznej, stosowane głowne w problemach optymalzacj dyskretnej.