7. Wykład VII: Warunki Kuhna-Tuckera

Transkrypt

1 Wocech Grega, Metody Optymalzac 7 Wykład VII: Warunk Kuhna-Tuckera 7 Warunk koneczne stnena ekstremum Rozważane est zadane z ogranczenam nerównoścowym w postac: mn F( x ) x X X o F( x ), o { R x : h n ( x ) 0; Km } h ( x ) C (7) Tw 7 (Kuhna - Tuckera) Jeśl w punkce regularnym X o funkca F(x) osąga mnmum lokalne, to w punkce tym stneą mnożnk λˆ, spełnaące następuące warunk F( ) + m h ( ) ˆ λ 0 (7) h ( ) 0 (7) ( ˆ λ ) ( ) 0 (74) h ˆ λ 0 (75) gdze: K m ; Kn W zapse wektorowo-macerzowym, wykorzystuąc funkcę Lagarnge a oraz przy oznaczenu ogranczeń ako wektora: h ( x) 0, otrzymuemy następuące sformułowane warunków Kuhna-Tuckera: xl(, ˆ) λ 0 L(, ˆ) λ 0 λ T ( ˆ) λ h( ) 0 ˆ λ 0 Wykład VII -9-

2 Wocech Grega, Metody Optymalzac Uzasadnene warunków Kuhna-Tuckera Def7 Warunek ogranczaący h ( x) 0 est aktywny w punkce dopuszczalnym, eśl ( ) 0 Gdy spełnone est h ( ) < 0 - warunek nazywamy neaktywnym Zatem w danym punkce dopuszczalnym ze zboru ogranczeń zadana (7) można wydzelć podzbór ogranczeń aktywnych, scharakteryzowany przez zbory ndeksów Oznaczene: Α ( ) zbór ndeksów ogranczeń aktywnych, tzn Α ( ) { : h ( ) 0 } Dla uzasadnena warunków Kuhna-Tuckera zostaną rozważone trzy przypadk - wszystke dla przykładu sformułowanego w przestrzen R (n, m dla zadana 7) Funkca Lagrange a (6) dla takego przykładu est w postac: L F( x) + λ h ( x) Załóżmy, że w punkce optymalnym mnożnk Lagrange a stneą rozważmy trzy przypadk: A, B, C W każdym z nch zbadamy zachowane sę warunków Lagrange a w punkce optymalnym: L(, ˆ) λ h ( ) ˆ F x + λ 0, (76) sprawdzaąc, w ak sposób należy e uzupełnć, aby uwzględnć ogranczena (7) h Przypadek A Brak ogranczeń aktywnych W punkce rozwązana (Rys 7) otrzymuemy): ( F ( x)) ˆ 0 oraz h ( ) 0 ; h ( ) 0 ; h ( ) 0, czyl Α (x ˆ) Warunek Lagrange a (76) będze spełnony, gdy: ˆ λ ˆ λ ˆ λ 0, wtedy: F( x) 0 x x ˆ < < < Wykład VII -9-

3 Wocech Grega, Metody Optymalzac Rys 7 Przypadek A: brak ogranczeń aktywnych Przypadek B Jedno ogranczene aktywne Rys 7 Przypadek B: poedyncze ogranczene aktywne W punkce rozwązana (Rys 7): h ( ) 0 ; h ( ) 0 ; h ( ) 0, czyl Α( x ˆ) { } < < W otoczenu, zadane B est równoznaczne z poszukwanem mn F ( x) przy ogranczenu h ( x) 0, co na podstawe warunku Lagrange a dae warunek koneczny optymalnośc: ˆF λ ˆh A zatem, warunek Lagrange a (76) est spełnony, gdy ˆ λ > 0, ˆ λ ˆ λ 0 x x Wykład VII -94-

4 Wocech Grega, Metody Optymalzac Dodatn znak mnożnka Lagrange a wynka z kerunku wektora h : dla ogranczena w postac h ( ) 0 est on skerowany na zewnątrz hperpowerzchn h ( ) 0, zatem mus być λ 0 dla zachowana F λ h > Przypadek C Dwa ogranczena aktywne Aktywne są ogranczena (Rys7): h ( ) 0 ; h ( ) 0; h ( ) 0, Α( x ˆ) {, } Warunek Lagrange a dla ogranczeń równoścowych est w postac: < h ( ) ˆ h F x + ˆ λ + λ co est spełnane przez (76), gdy: ˆ λ > 0, ˆ λ > 0, ˆ λ 0 (patrz uwaga dotycząca znaku mnożnka dla przypadku B) 0 Rys 7 Przypadek B: dwa ogranczene aktywne Podsumowuąc trzy przypadk (A, B, C) można stwerdzć, że: 0 λ 0 dla,, o Gdy ogranczene ne est aktywne ( h ( ) < 0 ), to zawsze ˆ λ 0 o gdy λ > 0, to zawsze ( ) 0 h Wykład VII -95-

5 Wocech Grega, Metody Optymalzac 4 o W szczególnym przypadku, gdy ogranczene est aktywne h ( ) 0, to może być ˆ λ 0 (gdy mnmum bezwarunkowe pokrye sę z warunkowym, patrz Rys 74) Rys74 Przypadek szczególny: rozwązana zadań z ogranczenam bez ogranczeń sę pokrywaą o, o, 4 o będą uwzględnone, gdy warunk Lagrange a uzupełnmy warunkem: lub ˆ λ ( ) 0, h ˆ L λ 0,,, λ Warunek ten nos nazwę warunku komplementarnośc Ostateczne węc dla rozważanego przykładu warunk optymalnośc wynkaące bezpośredno z metody Lagarnge a są w postac: L, ˆ λ Są węc one dentyczne z warunkam (7)-(75) 0, L 0, ˆ L λ 0 λ λ ˆ λ 0,,, Warto także zwrócć uwagę, że warunk koneczne optymalnośc dla zadań z ogranczenam równoścowym sformułowane w rozdzale 6 są szczególnym przypadkem warunków Kuhna-Tuckera Jedyna różnca polega na tym, że mnożnk Lagrange a mogą przymować wartośc uemne, a warunek komplementarnośc est tożsamoścą, nezależną od wartośc λ, a zatem może być pomnęty Wykład VII -96-

6 Wocech Grega, Metody Optymalzac Istnene mnożnków Lagrange a, czyl tzw regularność punktu rozwązana gwarantuą nam warunk regularnośc 7 Warunk regularnośc Jest to problem analogczny ak dla ogranczeń równoścowych (patrz rozdzał 6): należy sformułować krytera gwarantuące stnene mnożnków Lagrange a w punkce rozwązana W punkce rozwązana: ˆ λ ; ( h ) ( F ) A( ) n F R Mamy węc n równań o J newadomych, gdze: J lczba ogranczeń aktywnych w punkce ; J m h J ] x ˆ Macerze [ h K zbudowana z gradentów ogranczeń aktywnych mus meć odpowedn rząd, co gwarantue lnową nezależność tych wektorów Gdy rząd te macerzy wynos J to rozwązane λˆ est ednoznaczne Warunek ten sformułowal Facco Mc Cormck War7: Punkt est regularny, eśl stneące w nm gradenty ogranczeń aktywnych są lnowo nezależne Rys 75 lustrue sytuace, kedy warunek ten ne est spełnony Rys 75 Rozwązane ne est punktem regularnym Geometryczne oznacza to, że gradent funkc celu w punkce rozwązana może być reprezentowany przez lnową kombnacę gradentów ogranczeń aktywnych Inne warunk regularnośc: Wykład VII -97-

7 Wocech Grega, Metody Optymalzac War7 (Karlna): Jeżel funkce h (x) są lnowe, to każdy punkt x X o est regularny + + War7 (Slatera): Jeżel funkce h (x) są wypukłe, oraz stnee punkt x : h ( x ) < 0 m punkt x X 0 est regularny, to każdy Jeśl problem optymalzac spełna warunk regularnośc, oznacza to, że wszystke rozwązana są wykrywalne poprze rozwązane układu równań (7) (75) Poedyncze ogranczene est zawsze regularne Badane warunków Kuhna Tuckera sprowadza sę do rozwązana równań generowanych przez warunk komplementarnośc, to est ˆ λ ( ) 0 Na przykład, eśl mamy m ogranczeń nerównoścowych, to wtedy musmy przebadać h m przypadków Przykład 7 Znaleźć mnmum funkc (rys76): przy ogranczenu: x Rozwązane: Funkca Lagrange a est w postac: Warunk K-T są w postac: Do rozważena są dwa przypadk: mn( x x ), L( x, λ ) ( x x ) + λ( x ) x x + λ (x) 0, Ogranczene neaktywne: λ 0 ( x ) 0, lub x, λ 0, λ ( x ) 0 Wykład VII -98-

8 Wocech Grega, Metody Optymalzac Ogranczene aktywne: λ 0 ( x ) 0 Dla perwszego przypadku otrzymuemy: x x 0 co dae rozwązana: x lub x 0 Dla drugego przypadku mamy: x ˆ wtedy ˆ 5 λ, x ˆ wtedy ˆ λ (ne spełnony warunek λ 0) 5 A zatem rozwązanam są pary: ( 0,0), (, ), (,0) Problem neregularnośc ne występue F(x) - x - Rys 76 Funkca celu do przykładu 7 Przykład 7 (do samodzelnego rozwązana) Sprawdzć warunk regularnośc dla problemu max x ( x ) + ( x ) 0 -( x ) + ( x ) 0 w punkce rozwązana (,) Wykład VII -99-

9 Wocech Grega, Metody Optymalzac 7 Warunek koneczny dostateczny Kuhna-Tuckera Każdy punkt regularny będący rozwązanem zadana (7) spełna warunk Kuhna-Tuckera, ale ne każde spełnaące warunk mus być szukanym mnmum zadana (7) Tw 7 Jeśl dla zadana (7) są spełnone w punkce warunk Kuhna-Tuckera, a funkce h (x), Km oraz funkca F(x) są wypukłe, to est rozwązanem 7 Interpretaca geometryczna warunków Kuhna-Tuckera Def7 Kerunek d est dopuszczalny w punkce dla zboru ogranczeń aktywnych Α ( ), gdy: h ( x ˆ + τ d) 0 Α( ), τ [ 0, σ ] ; σ > 0 Rozwaąc w szereg Taylora w otoczenu otrzymuemy: Dla dostateczne małego τ otrzymuemy: h ( + τd) h ( ) + τ h ( ), d + O( τ ) 0 h ( ), d 0 dla A( ) Sektor (stożek) kerunków dopuszczalnych w punkce defnuemy ako: D { d : h ( ), d 0} ; Α( ) Def7 Kerunek d est w punkce kerunkem spadku, gdy: F ( ), d < 0 Sektor (stożek) kerunków spadku w punkce defnuemy ako D { d : F ( ), d < 0} Wykorzystuąc defnce 7 7 można określć sektor (stożek) kerunków poprawy ako D D { : h ( ), d 0 ; F ( ), d < 0} D D d Wykład VII -00-

10 Wocech Grega, Metody Optymalzac Lemat Farkasa (rys77) Nech będze dany w R n zbór wektorów { b, a, I} Nerówność b, x 0 zachodz dla każdego n x R, spełnaącego x 0 a,, wtedy tylko wtedy, gdy stneą λ 0 ; I, take: b + λ a I 0 Rys 77 Ilustraca lematu Farkasa Zastosowane lematu Farkasa dla warunków Kuhna-Tuckera est bezpośredne Podstawamy: b F(), a h () Α( ) Gdy spełnone są warunk K-T, czyl stneą λ 0, to uzyskuemy: Α ( h ( ) F ( ) λ ) Wnosek 7: W punkce spełnaącym warunk K-T, wektor F( ) można przedstawć w postac neuemne kombnac lnowe gradentów ogranczeń aktywnych Wnosek 7: W punkce spełnaącym warunk Kuhna-Tuckera stożek kerunków poprawy est zborem pustym (rys78) co oznacza, że D (Rys 76) n d R, D : F( ), d 0, : h ( ), d 0 D Wykład VII -0-

11 Wocech Grega, Metody Optymalzac Rys 78 Interpretaca geometryczna warunków Kuhna-Tuckera 74 Przypadek ogranczeń równoścowych nerównoścowych Dla zboru dopuszczalnego zdefnowanego ako warunk (7)-(74) przymuą postać X 0 g( x ) : F ( ) + { x : h( x ) 0, g( x ) 0} R m n R p, ˆ h ( ) λ + h( x ) : vˆ R n R k k k p h ( ) 0, g k ( ) 0, ( ˆ λ ) ( ) 0, h ˆ λ 0, m, g k ( ) 0 gdze: K m ; k p, Kn Łatwo stwerdzć, że ogranczene równoścowe dopuszczaą uemną wartość mnożnka Lagrange a Brak ogranczeń nerównoścowych (czyl m0 ) czyn zbędnym warunek komplementarnośc, który w tym Wykład VII -0-

12 Wocech Grega, Metody Optymalzac przypadku est tożsamoścą (nezależny od wartośc λ ) Równeż w przypadku ogranczeń równoścowych mus być ednak spełnony warunek regularnośc Warunk dostateczne otrzymue sę przy założenach dentycznych ak w Tw7 (wypukłość) Bardze ogólne warunk dostateczne (gdy są spełnone w punkce warunk koneczne Kuhna-Tuckera) formułue sę ako: d T F ( ) ˆ + h ( ) + vˆ g ( ) d > 0 A( ) p λ k k, k przy ogranczena doboru kerunku d w postac: T ( h ( )) d 0, A( ), T ( gk ( )) d 0, k p Warunek ten sprowadza sę do zapewnena lokalne wypukłośc funkc Lagrange a 75 Aspekty numeryczne Rozwązane układów równań nerównośc Lagrange a, K-T, czy też wykorzystane akekolwek metody gradentowe wymaga zastosowana procedur numerycznego różnczkowana g g F( ) + λ 0 0 Gradent odpowedno regularne funkc F oblczmy według przyblżone formuły F ( ) ( x ) F( x + ε e ) F( x ), (77) ε gdze,, n, est -tym wersorem, ε 0 est dostateczne małym odchylenem > podczas gdy dokładna wartość wynos: F F( x + ε e ) F( x ( x ) ) + ε δ ε, (78) gdze: L δ ε ε, L > 0, Wykład VII -0-

13 Wocech Grega, Metody Optymalzac co wynka z rozwnęca w szereg Taylora Wylczene gradentu wymaga zatem oblczena wartośc funkc w punkce x dodatkowo wartośc odchylonych w n punktach, w sume w n+ punktach Powyższe wyrażene sugerue, że właścwym wyborem parametru ε est przyęce ego ak namnesze wartośc Ne est to prawdą, eśl weźme sę pod uwagę skończoną precyzę oblczeń numerycznych Wększość oblczeń est wykonywana w podwóne precyz (64 bty): t e d, gdze część ułamkowa est zakodowana przez cąg zero-edynkowy d,d dt t Welkość est nazywana zaokrąglenem ednostkowym oznaczana przedzału [ ] L, U t u Każda lczba rzeczywsta z, gdze L U są odpowedno górną dolną grancą e, może zostać aproksymowana ze względną dokładnoścą : fl( x ) x( + ), u Dla oblczeń w podwóne precyz typowe 5 u 0 Gdy wykonywane są operace na lczbach zmennoprzecnkowych, wynk est też zapsywany ako zmennoprzecnkowy z określonym błędem Gdy zastosuemy powyższe oszacowana dla zależnośc (77) otrzymamy: compf ( x ) F( x ) F( x ) compf( x ) F( x ) F( x ) F( x )u L u, compf( x + ε e ) F( x + ε e ) L u f f gdze L est oszacowanem F ( x ) w obszarze w którym wylczamy gradent f Gdy wykorzystamy te oszacowana w zależnośc (77) (78), otrzymamy oszacowane błędu przyblżena składnków gradentu w postac: z mnmum dla ε 4 f L ul f ε + ε L u, co często w numerycznych procedurach optymalzac est zastępowane przez: L Wykład VII -04-

14 Wocech Grega, Metody Optymalzac ε u Analogczne szacowane zastosowane dla tzw schematu centralnego: dae oszacowane optymalnego kroku F ( x ) F( x + ε e / ε u ) F( x ε e ), ε Wykład VII -05-