min h = x x Algorytmy optymalizacji lokalnej Nieliniowe zadanie optymalizacji bez ograniczeń numeryczne metody iteracyjne optymalizacji x x

Transkrypt

1 Nelnowe zaane optymalzacj bez ogranczeń numeryczne metoy teracyjne optymalzacj mn n x R ) = f x Algorytmy poszuwana mnmum loalnego la: f zaana programowana nelnowego bez ogranczeń zaana programowana nelnowego z ogranczenam Algorytmy zbeŝne o mnmum loalnego x*, jeŝel ta punt stneje. I. Techn optymalzacj loalnej A.I Iteracyjne algorytmy optymalzacj Algorytmy optymalzacj w erunu Algorytmy optymalzacj bez ogranczeń Algorytmy optymalzacj z ogranczenam Algorytmy zbeŝne o mnmum loalnego x*, jeŝel ta punt stneje. Algorytm optymalzacj loalnej - przemerzane obszaru rozwązań opuszczalnych w poszuwanu estremum funcj celu weług teracyjnego schematu. ZbeŜność cągu puntów Krytera zbeŝnośc: Defncja. Mówmy, Ŝe cąg puntów { x } jest zbeŝny o = puntu x jeŝel cąg róŝnc -tych przyblŝeń puntu optymalnego (puntu mnmum) przestrzen n R oznacza, Ŝe h h = x x zbega o zera, co w. Test teoretyczny f ) f ˆ) ˆ, x x. PrzyblŜona stacjonarność rozwązana 3. Testy pratyczne: ) = g g lub x x, =,..., n f + ) f ) Schemat algorytmu optymalzacj loalnej bez ogranczeń () Wyberz punt startowy x o = x. () Oblcz wartość funcj f(x ) oraz jeŝel jest to wymagane to jej graent f(x ) (3) Zbaaj przyjęte ryterum zbeŝnośc. Jeśl ryterum jest spełnone to onec algorytmu uzysano rozwązane optymalne x optymalną wartość funcj celu f(x ) JeŜel ne, to przejź o (4) (4) Wyznacz ustalony erune poszuwań : (5) Wyonaj mnmalzację erunową wybraną metoą: (6) Postaw przejź o () x x + + x T, ) oraz + Algorytmy optymalzacj loalnej Algorytmy bezgraentowe Algorytm Hooe a-jeeves a Algorytm Neler -Meae a Algorytm Gauss a-sela Algorytm Powella Algorytmy graentowe Algorytm najwęszego spau Zmoyfowany algorytm Newtona Algorytm Zangwlla Algorytm Fletchera-Reeves a Algorytm Polaa-Rbery Algorytm Fletchera-Powella-Davona Algorytm Wolf a-broyena-davona Wyzał Eletron Poltechn Wrocławsej Stua II stopna magsterse

2 Metoy postawowe erunów poprawy. Metoa Gaussa-Sela (bezgraentowa).. Metoa najwęszego spau (graentowa). 3. Metoa Newtona (graent hesjan). x ( ) ( ) ( ) H= = e ( ) = = Hx { h } ( ) ) ( ) ( ) ( ) ) f j = x xj, j {,,..., n} Metoa Gaussa-Sela (barzo wolna zbeŝność lnowa) Metoa najwęszego spau (zbeŝność lnowa) Metoa Newtona (zbeŝna waratowo ale osztowna ne zawsze stablna) Ilustracja metoy Gaussa-Sela Najefetywnejsze są tzw. metoy quas-newtonowse, w tórych w olejnych teracjach onstruuje sę przyblŝene owrotnośc hesjanu. x Iteracja metoy poszuwana mnmum w erunu Do mnmalzacj w erunu moŝna uŝyć lu algorytmów tach ja np.: Algorytmy bez-graentowe: złotego pozału, aprosymacj waratowej, Algorytmy graentowe: espansj ontracj geometrycznej z testem jenosośnym, logarytmczny złoty pozał ocna ze wstępną espansją ontracją geometryczną, aprosymacj parabolcznej z testem jenosośnym, bsecj z testem wusośnym Golsten a, Przebeg typowej -tej teracj owolnej metoy realzującej eę poszuwana wzłuŝ erunu:. Oreśl erune poszuwań. Znajźα mnmalzujące f ( α ) = f + α ) ze wzglęu na α. 3. Postaw x = x + α. +. ~ Algorytm Gauss a-seela Algorytm oblczeń metoa Gauss a-sela Istotą metoy jest mnmalzacja funcj f(x) wzłuŝ olejnych erunów ortogonalnej bazy, tóra utworzona jest z wersorów ułau współrzęnych artezjańsch. Algorytm Gaussa-Seela polega na cylcznym stosowanu owzorowana T o olejnych erunów ortogonalnej bazy. Wyonane jenego taego cylu nazywa sę -tą terację. Owzorowane T: T( x, ) = { x } : f = mnf + τ ), x = x + τ τ σ () Wyberz punt startowy x o =x. Oblcz wartość funcj f(x ) () Zbaaj ryterum zbeŝnośc: x x + +, =,..., n oraz f f gze ε [, δ ] np.: ε = 6 Jeśl ta, to onec, jeśl ne, to przejź o (3)

3 (3) Wyznacz erune poszuwań : są to olejne erun ortogonalnej bazy Przebeg algorytmu optymalzacj loalnej Gauss a-sela =e Np. e = [,,...,] (4) Wyonaj mnmalzację erunową wybraną metoą: + x T, ) (5) Postaw x x + oraz + powtórz () Wyzał Eletron Poltechn Wrocławsej Stua II stopna magsterse Metoa Gauss a-seel a Metoa Powella Wyres warstwc funcj f(x) "punty.at" f(x)= x**+x*x+.5*x**-x-x x +x x +.5x ^-x -x Ta metoa jest stosowana la funcj, tórych pozomce mają ształt wąsch oln. MoŜna zę nej uzysać znaczną poprawę szybośc zbeŝnośc w stosunu o metoy Gaussa-Seela. Moyfacja erunu poszuwań następuje tu w wynu wprowazana o bazy ortogonalnej erunów sprzęŝonych o juŝ stnejących. Stosuje sę wa waranty metoy Powella. W perwszym o stnejącej bazy wprowaza sę erun sprzęŝone co obeg (czyl po mnmalzacj wzłuŝ n erunów obowązującej bazy), zaś w rugm warance następuje to po spełnenu oreślonego warunu. PonewaŜ erun wzajemne sprzęŝone są lnowo nezaleŝne, w obu warantach metoy Powella zachowany pozostaje warune jenoznacznośc przeształcena bazy erunów poszuwań. Dzę temu mamy pewność, Ŝ ne nastąp reucja wymarowośc bazy, co prowazłoby o nezbeŝnośc metoy. Wyzał Eletron Poltechn Wrocławsej Stua II stopna magsterse Wyzał Eletron Poltechn Wrocławsej Stua II stopna magsterse Warant perwszy metoy Powella ) Dla j =..n oblczamy λ j mnmalzujące f(x j ) oraz współrzęne nowego puntu x j = x j- +λ j S j ) Wyznaczamy słaowe erunu sprzęŝonego zgone ze wzorem : Kryterum stopu W celu ustalena warunów zaończena załana proceury teracyjnej Powell zastosował następujący algorytm: )Wyonywane stanarowej proceury aŝ o momentu, gy w olejnej teracj przesunęce puntu wzłuŝ poszczególnych erunów poszuwań bęze mnejsze nŝ, wymaganej ołanośc oblczeń eps. Znalezony punt oznaczony jest jao P a. )Oblczene nowego puntu startowego przez pomnoŝene współrzęnych puntu P a przez eps. 3) Oreślamy λ mnmalzujące f(x n+ ) wzłuŝ nowego erunu S n+ oraz wyznaczamy współrzęne nowego puntu startowego x n+ = x n +λs n+ ) Doonujemy moyfacj erunów poszuwań zgone z zasaą S r = S r+ la r =.. n Czynnośc o rou ) o 4) powtarzamy aŝ spełnone zostane ryterum na mnmum. Ze wzglęu na to, żw pewnych przypaach proceura ne charateryzuje sęzbeżnoścąii rzęu, należy prze jej rozpoczęcem oonać mnmalzacj funcj wzłuż wszystch erunów ortogonalnej bazy początowej. 3)Powtórzene czynnośc z puntu ). Znalezony punt oznaczony jest jao P b. 4)Znalezene mnmum funcj wzłuŝ ln przechozącej przez oba wyznaczone punty (P a P b ). Znalezony punt oznaczony jest jao P c. 5)Zaończene załana proceury jeŝel P a - P c oraz P b - P c są mnejsze o,eps. 6)W przecwnym przypau wyznaczene nowego erunu poszuwań S zgone ze wzorem włączene go o bazy na mejsce S, a następne ponowne przejśce o puntu ).

4 Metoa Powella "punty.at" x**+x*x+.5*x**-x-x f(x)= x +x x +.5x ^-x -x - - Algorytm Neler a- Meae a metoa symplesu NM la zaań bez ogranczeń Algorytm Comples la zaań z ogranczenam Utworzyć smples o n+ lub n werzchołach Oblczyć śroe symetr symplesu Zastosować operacje: Operacja obca Operacja espansj Operacja ontracj Wyres warstwc funcj f(x) Wyzał Eletron Poltechn Wrocławsej Stua II stopna magsterse Wyzał Eletron Poltechn Wrocławsej Stua II stopna magsterse Metoa najwęszego spau NS jest to metoa graentowa, tóra pozwala szuać mnmum róŝnczowalnej funcj nelnowej f(x). Koncepcja metoy wyna z lematu, w tórym wyazano, Ŝe jeśl stneje erune w przestrzen n R ta, Ŝe Algorytm oblczeń metoa NS () Wyberz punt startowy x o =x. Oblcz wartość funcj f(x ) oraz jej graent f(x ) to ), < f +τ) < f ) () Zbaaj ryterum zbeŝnośc: f ), ) = czyl ), ) gze ε [, δ ] np.: ε = 6 Jeśl ta, to onec, jeśl ne, to przejź o (3) (3) Wyznacz erune poszuwań : = ( x ) (4) Wyonaj mnmalzację erunową wybraną metoą: + x T, ) Do mnmalzacj w erunu zastosowano graentowy algorytm bsecj z testem wusośnym Golsten a : (5) Postaw x x + oraz + powtórz ()

5 Algorytm bsecj z testem wusośnym Golsten a algorytm graentowy Pratyczne o wyszuana puntów spełnających test wusośny Golstena stosuje sę następujący algorytm bsecj: Dzałane algorytmu bsecj z testem wusośnym Golsten'a la funcj: f(x, x ) = (x ) + (x ) 6x + x x () Oblcz pochoną w erunu p= o ) T oraz współczynn rou τ R > ta, Ŝe f + τ R ) < f () Wyznacz τ = ( τl+ τr ). Oblcz f + τ). (3) Jeśl f + τ) < f ) + ( β ) pτ to postaw τ L τ przejź o rou (), w przecwnym raze przejź o rou (4) (4) Jeśl f + τ) > f ) + βpτ to postaw τ R τ ) punt początowy x = [, ] T erune = [, ] T współczynn testu β = początowa wartość współczynna rou τ R = 9 ołaność la testu ε = 5 5 przejź o rou (), w przecwnym przypau onec. Pochona w erunu zatem mamy: la x = x = [, ] T p= Otrzymujemy wartość pochonej p: o ) T ) = f ), f ) = x 6+ x,4x + x x x ) = [ 6,] () Oblczamy τ = ( τl+ τr) oraz f + τ). τ = ( τr ) = (9) = 4,5 f + τ) = f (,) + (4,5,) =,5-7= - 6,75 Przechozmy o rou (3) o T p= ) = [ 6 ] = 6 (3) JeŜel to postaw f + τ ) < f ) + ( β ) pτ τ L τ przejź o rou (). W przecwnym wypau przejź o rou (4) sprawzamy: -6,75 <? NIE Przechozmy o rou (4) + ( 6) (,6) (4,5) = 6, (4) JeŜel to postaw f + τ ) > f ) + βpτ τ R τ przejź o rou (). W przecwnym wypau KONIEC ( ) 8 sprawzamy: -6,75 >? TAK + ( 6),4 (4,5) =, przechozmy o rou () DRUGA ITERACJA (...) Po trzecej teracj otrzymujemy wyn τ=3,375

6 Dzałane algorytmu najszybszego spau la funcj: f(x, x ) = (x ) + (x ) x x punt początowy x = [, 3] T współczynn testu β = 4 początowa wartość współczynna rou τ R = Oblczamy = ) = [, ] T PonewaŜ perwsza stosowana wartość współczynna rou τ R = spełna test wusośny Golstena, węc: x = x + τ = [ ] T = ) = [ ] T W rugej teracj mamy: f + τ ) = τ 8τ + Otrzymujemy: T p= ) = [ ] = 8 Zatem test wusośny ma postać -6 τ - 8τ - Za pomocą algorytmu bsecj (test wusośny Golstena) w trzecej próbe znajujemy wartość współczynna τ =,5 Stą x = x + τ = [ ] T Postępując zgone z algorytmem otrzymujemy olejne wartośc puntów optymalzowanej funcj. Kolejno poane są punty wyznaczone za pomocą algorytmu najszybszego spau la funcj: f(x, x ) = (x ) + (x ) x x x = [ 3] x = [ ] x = [ ] 3 x = [ ] 4 4 x = [ ] t I ta olejno, aŝ o momentu gy zostane spełnony warune ^ ), ) < ε = ^ 3 Ta uzysano rozwązane optymalne x =[,] f(x )=. Funcja celu f(x) Kolejne teracje metoy najwęszego spau NS x x x 3 x x 5 x 4 x^ M M

7 Algorytm oblczeń metoa Newtona () Wyberz punt startowy x o =x. Oblcz wartość funcj f(x ) oraz jej graent f(x ) () Zbaaj ryterum zbeŝnośc: f ), ) = czyl ), ) (3) Wyznacz erune poszuwań : = H ) (4) Wyonaj mnmalzację erunową wybraną metoą: + x T, ) (5) Postaw x x + oraz + powtórz () gze ε [, δ ] np.: ε = 6 Jeśl ta, to onec, jeśl ne, to przejź o (3) Kerun poszuwań la meto graentowych. Metoa Pola a-rber y: Wyznacz erune sprzęŝony + + = ) + gze:. Metoa Fletcher a-reeves a Wyznacz erune sprzęŝony β + + = ) + gze:. Metoa Davon a-fletcher a-powell a (DFP) β + + ( ) )), ) β = ), ) + + ), ) β = ), ) Algorytm Neler a- Meae a metoa symplesu NM la zaań bez ogranczeń Algorytm Comples la zaań z ogranczenam Utworzyć smples o n+ lub n werzchołach Oblczyć śroe symetr symplesu Zastosować operacje: Operacja obca Operacja espansj Operacja ontracj DFP moyfacja macerzy V,polegająca na oawanu w aŝej olejnej teracj o atualnej macerzy V czynna powoującego ąŝene macerzy V o macerzy H -. = V ) x V + + = x + β >< = V +, A Wyzał Eletron Poltechn Wrocławsej Stua II stopna magsterse Algorytmy optymalzacj z ogranczenam Algorytmy optymalzacj z ogranczenam c. W celu uwzglęnena ogranczeń moŝna postąpć w ponŝszy sposób: oonać transformacj zmennych ecyzyjnych oonać transformacj funcj celu wprowazając funcje ary. Przyłay transformacj zmennych la typowych ogranczeń:.. 3. x x a x b x = u x = exp( u ) x = u x sn = u exp( u ) x = exp( u ) + exp( u) x = a + ( b a ) sn ( u ) Transformacja funcj ryteralnej: m P( x, σ, θ ) = f ) + σϕ ( g ) + θ ) H ( g ) + θ ) = Funcja ary charateryzuje sę tym, Ŝe w zborze rozwązań opuszczalnych X przyjmuje wartość równą zeru lub blsą zeru, a poza tym obszarem przyjmuje barzo uŝe wartośc. Gze: σ >, σ = [ σ, σ,..., σ ] m θ >, θ = [ θ, θ,..., θ ] m φ( ) funcja ary jest wetorem współczynnów ary jest wetorem przesunęć ary ϕ ( g ) + θ ) : np. ( g ) + θ ) lub ( g ) + θ )

8 Algorytmy optymalzacj z ogranczenam c. Funcja H ma ponŝszą własność: H ( g ) + θ ) = lag ) + θ > lag ) + θ. Metoy zewnętrznej funcj ary (metoa Couranta, metoa Schmta Foxa). Metoy wewnętrznej funcj ary (metoa Rosenbroca, metoa Carolla) 3. Metoy przesuwanej funcj ary (metoa Powella).