Algorytmy bezgraientowe Algorytmy optymalizacji loalnej c. Nieliniowe zaanie optymalizacji statycznej bez ograniczeń - nieliniowe algorytmy optymalizacji loalnej c. r inŝ. Ewa Szlachcic Wyział Eletronii Kierune: Eletronia III r. Algorytm Neler a-meae a Matlab - uncja search Algorytm auss a-seil a Algorytm Powella Algorytm Zangwilla Algorytmy graientowe Algorytm najwięszego spau Zmoyiowany algorytm Newtona Algorytm Fletchera-Reeves a Algorytm Polaa-Ribiery Algorytm Fletchera-Powella-Daviona Matlab wersja metoy Quasi-Newton - uncja unc Metoa auss a-seiel a "punty.at" ***.5***--.5 - - - - -3 a metoa jest stosowana la uncji tórych poziomice mają ształt wąsich olin. MoŜna zięi niej uzysać znaczną poprawę szybości zbieŝności w stosunu o metoy aussa-seila. Moyiacja ierunu poszuiwań następuje tu w wyniu wprowazania o bazy ortogonalnej ierunów sprzęŝonych o juŝ istniejących. Do istniejącej bazy wprowaza się ieruni sprzęŝone co obieg czyli po imalizacji wzłuŝ n ierunów obowiązującej bazy. Wyres warstwic -.5.5 4 6 8-468 - uncji.5.5.5 3 3.5 4-4 PoniewaŜ ieruni wzajemnie sprzęŝone są liniowo niezaleŝne w metozie Powella zachowany pozostaje warune jenoznaczności przeształcenia bazy ierunów poszuiwań. Dzięi temu mamy pewność iŝ nie nastąpi reucja wymiarowości bazy co prowaziłoby o niezbieŝności metoy. Dla j...n obliczamy λ j imalizujące j oraz współrzęne puntu j j- λ j j Wyznaczamy słaowe ierunu sprzęŝonego zgonie ze wzorem : n n n 3 Oreślamy λ imalizujące n wzłuŝ nowego ierunu n oraz wyznaczamy współrzęne nowego puntu startowego n n λ n "punty.at" ***.5***--.5 ^- - - - 4 Doonujemy moyiacji ierunów poszuiwań zgonie z zasaą r r la r.. n Czynności o rou o 4 powtarzamy aŝ spełnione zostanie ryterium na imum. -.5.5 4 6 8-468 - Wyres warstwic uncji.5.5.5 3 3.5 4-3 -4
Algorytm Neler a- Meae a algorytm symplesu NM la zaań bez ograniczeń Algorytm Comples la zaań z ograniczeniami Simples w n-wymiarowej przestrzeni jest zbiorem n lub n puntów wielościanem o nn wierzchołach. Metoa sprawza się obrze nawet la mocno nieliniowych uncji jena wymaga sporych nałaów pracy numerycznej szczególne przy uŝej liczbie zmiennych ecyzyjnych. Ogólny schemat algorytmu: Utworzyć simples o n lub n wierzchołach i wartości uncji w wierzchołach Obliczyć śroe symetrii symplesu z wyłączeniem puntu oraz wartość uncji w tym puncie n i Zastosować operacje: i n Operacja obicia n Operacja espansji Operacja ontracji Operacja zmniejszania Operacja obicia: naleŝy wyznaczyć nowy punt: jeśli: o α laα i o > NaleŜy wyznaczyć nowy simples z uŝyciem o w miejsce Operacja espansji: naleŝy wyznaczyć nowy punt: e o γ gy < laγ Operacja ontracji: naleŝy wyznaczyć nowy punt: o i i ρ gy la laρ / Operacja zmniejszanie: la wierzchołów i naleŝy wyznaczyć nowe współrzęne i i σ lai {... n } σ / LEMA. Niech : X R n R ZałóŜmy Ŝe istnieje la tórego: Metoy graientowe Metoa najwięszego spau NS jest to metoa graientowa tóra pozwala szuać imum róŝniczowalnej uncji nieliniowej. bęzie uncją róŝniczowalną w puncie < Wówczas istnieje taie σ > Ŝe la wszystich τ σ ] zachozi τ <. X Schemat algorytmu optymalizacji loalnej bez ograniczeń Wybierz punt startowy. Oblicz wartość uncji oraz jeŝeli jest to wymagane to jej graient czy hesjan H 3 Zbaaj przyjęte ryterium zbieŝności. Jeśli ryterium jest spełnione to oniec algorytmu uzysano rozwiązanie optymalne i optymalną wartość uncji celu JeŜeli nie to przejź o 4 4 Wyznacz ustalony ierune poszuiwań : 5 Wyonaj imalizację ierunową wybraną metoą: 6 Postaw i przejź o oraz Algorytm obliczeń metoa NS Wybierz punt startowy o. Oblicz wartość uncji oraz jej graient Zbaaj ryterium zbieŝności: czyli ε 3 Wyznacz ierune poszuiwań : 4 Wyonaj imalizację ierunową wybraną metoą: 5 Postaw oraz i powtórz gzie ε δ] np.: ε 6 Jeśli ta to oniec jeśli nie to przejź o 3
Algorytm bisecji z testem wusośnym olstein a algorytm graientowy Do imalizacji w ierunu zastosowano graientowy algorytm bisecji z testem wusośnym olstein a : Do wyszuania puntów spełniających test wusośny olsteina stosuje się algorytm bisecji: Oblicz pochoną w ierunu p o oraz współczynni rou τ R > tai Ŝe τ R < Wyznacz τ τl τr. Oblicz τ. 3 Jeśli τ < pτ to postaw τ L i przejź o rou w przeciwnym razie przejź o rou 4 4 Jeśli τ > pτ to postaw τ R i przejź o rou w przeciwnym przypau oniec. Działanie algorytmu bisecji z testem wusośnym olstein'a la uncji: Pochona w ierunu zatem mamy: p o 6 punt początowy [ ] ierune [ ] współczynni testu początowa wartość współczynnia rou τ R 9 ołaność la testu ε 5 5 la [ ] 6 4 [ 6] Otrzymujemy wartość pochonej p: o p [ 6 ] 6 Obliczamy τ τl τr oraz τ. τ τr 9 45 τ 45 5-7 - 675 3 JeŜeli to postaw τ < pτ τ L i przejź o rou. W przeciwnym wypau przejź o rou 4 Przechozimy o rou 3 it. sprawzamy: -675 <? NIE 6 6 45 6 Przechozimy o rou 4
4 JeŜeli to postaw τ > pτ τ R i przejź o rou. W przeciwnym wypau KONIEC 8 sprawzamy: -675 >? AK 6 4 45 i przechozimy o rou DRUA IERACJA... Po trzeciej iteracji otrzymujemy wyni τ3375 Działanie algorytmu najwięszego spau la uncji: punt początowy [ 3] współczynni testu 4 początowa wartość współczynnia rou τ R Kolejno poane są punty wyznaczone za pomocą algorytmu najszybszego spau la uncji: [3] 5 [] [.5.5].5 3 [.55] 3.5 4 [.5.5] 4.65 it. Funcja celu I ta olejno aŝ o momentu gy zostanie spełniony warune 3 ε np. : ε a uzysano rozwiązanie optymalne [] i. M Kolejne iteracje metoy najwięszego spau NS e i Metoa aussa-seila barzo wolna zbieŝność liniowa Metoa najwięszego spau zbieŝność liniowa 5 3 ^ 4 H H { h } Metoa Newtona zbieŝna waratowo ale osztowna i nie zawsze stabilna ij i j i j {... n} Najeetywniejsze są tzw. metoy quasi-newtonowsie w tórych w olejnych iteracjach onstruuje się przybliŝenie owrotności hesjanu. M
Wyzia Eletronii stuia I st. Kieruni poszuiwań la meto graientowych. Metoa Pola a-ribier y: Wyznacz ierune sprzęŝony gzie: DFP moyiacja macierzy polegająca na oawaniu w aŝej olejnej iteracji o atualnej macierzy czynnia powoującego ąŝenie macierzy o macierzy H -. A ><. Metoa Fletcher a-reeves a Wyznacz ierune sprzęŝony gzie: 3. Metoa Davion a-fletcher a-powell a DFP Wyzia Eletronii stuia I st. Metoy Quasi-Newtonowsie metoy przybliŝające wartość hesjanu 4. Metoa royen-fletcher-olarb-shanno FS Atualizacja rozwiązania: gzie: H I I gzie:. Właściwości metoy: ra operacji owracania macierzy hesjanu liso rozwiązania optymalnego obra zbieŝność Na początu obliczeń zbieŝność słaba słabe jest przybliŝenie hesjanu PrzybliŜenie hesjanu w aŝej iteracji polepsza się. H Dla