ALGORYTMY OPTYMALIZACJI wyklad 3.nb 1 Wykład 3 3. Otymalizacja z ograniczeniami Sformułujemy teraz warunki konieczne dla istnienia rozwiązań zagadnienia otymalizacyjnego: g i HxL 0, i = 1, 2,..., m (3.1) h j HxL = 0, j = 1, 2,...,, < n (ograniczenia LE) (ograniczenia EQ). ZałoŜenie. f,g i,h j :U Ø R n są funkcjami klasy C 1, zbiór U jest otwarty. Zbiór D Õ U wektorów, sełniających ograniczenia tyu LE i EQ nazywać będziemy zbiorem douszczalnym. Oznaczmy rzez: D LE zbiór wektorów, sełniających wszystkie ograniczenia LE, D EQ zbiór wektorów, sełniających wszystkie ograniczenia EQ. Oczywiście, D = D LE D EQ. Szukamy warunków koniecznych jakie musi sełniać unkt minimum globalnego x * w zbiorze douszczalnym D. Redukcja 3.1. Wystarczy ograniczyć się do rzyadku, gdy wszystkie ograniczenia są tyu LE. KaŜde ograniczenie tyu EQ zastąimy dwoma ograniczeniami: ograniczenie h j HxL = 0 zastąimy rzez g m+2 j-1 HxL 0, g m+2 j HxL 0 gdzie g m+2 j-1 HxL = h j HxL i g m+2 j HxL = -h j HxL dla j = 1, 2,...,. Mamy więc M = m + 2 ograniczeń tyu LE Definicja 3.1. Ograniczenie uhxl jest aktywne w unkcie x * gdy zachodzi równość uhx * L = 0. Oznaczmy rzez AKT =8i : g i Hx * L = 0< zbiór ograniczeń aktywnych. Wszystkie ograniczenia EQ są z definicji aktywne więc indeksy o numerach i = m + 1,..., m + 2 naleŝą do zbioru AKT. Jednak zbiór AKT moŝe być usty. Redukcja 3.2. Wystarczy ograniczyć się do rzyadku, gdy wszystkie ograniczenia są aktywne. Niech D AKT =8x œ U : g i HxL 0, i œ AKT<, D 0 =8x œ U : g i HxL < 0, i AKT< Zbiór D 0 jest otwarty (wynika to z ciągłości g i ). Tak więc zagadnienie jest równowaŝne zagadnieniu g i HxL 0, i = 1, 2,..., M, x e U g i HxL 0, i e AKT, x e U 0 = U D 0 Warunki moŝna tak rzenumerować aby ierwszych M 0 było aktywnych
ALGORYTMY OPTYMALIZACJI wyklad 3.nb 2 Niech C i =8x : x T õ g i Hx * L Hx * L T õ g i Hx * L< będzie ółrzestrzenią wyznaczoną rzez styczną do g i w unkcie x * e C i. Jak łatwo srawdzić, C i jest zbiorem wyukłym, zaś C = iœakt C i jako część wsólna wyukłych ółłaszczyzn zbiorem wyukłym, zawierającym x *. Niech C 0 =8h : h T õ g i Hx * L 0, i œ AKT<. Wtedy " m 0 m C 0 Õ C 0, C = x * + C 0 czyli C jest stoŝkiem o wierzchołku x * i kierunkach w zbiorze C 0. Definicja 3.2. Punkt x * jest regularny gdy dla kaŝdego h œ C 0 istnieje otoczenie UHx * L oraz gładka, klasy C 2 krzywa jhtl taka, Ŝe: 1. jh0l = x *, 2. j' H0L = m h dla ewnego m>0, 3. $ t0 " 0<t<t0 jhtl Õ UHx * L D Lemat 3.1. JeŜeli unkt x * jest regularny, h œ C 0 to h T õ fhx * L 0 Dowód (niewrost) $ h1 h 1 œ C 0 takie, Ŝe h 1 T õ fhx * L < 0. Funkcja h 1 T õ fhxl jako funkcja zmiennej x jest ciągła, więc istnieje otoczenie UHx * L takie, Ŝe w tym otoczeniu h 1 T õ fhxl < 0. Z regularności unktu x * wynika, Ŝe istnieje otoczenie U 1 Hx * L Õ UHx * L i gładka, klasy C 2 krzywa jhtl taka, Ŝe: jh0l = x *, j' H0L = m h 1 dla ewnego m>0, $ t0 " 0 t<t0 jhtl Õ U 1 Hx * L D. Rozwijając j w obliŝu 0 w szereg Taylora mamy dla 0 t < t 1 < t 0 jhtl = x * + m t h 1 + m t ghtl i ghtlø0 gdy t Ø 0 +. PoniewaŜ jhtl Õ U 1 Hx * L D więc dla 0 t < t 1 h 1 T õ fhjhtll < 0 Funkcja y T õ fhjhtll jako funkcja zmiennej y jest ciągła, wię istnieje otoczenie U t Hh 1 L takie, Ŝe w tym otoczeniu y T õ fhjhtll <0. Kładąc U 0 Hh 1 L = 0 t<t1 U t Hh 1 L mamy dla kaŝdego y e U 0 Hh 1 L i dla kaŝdego 0 t < t 1, 0 > y T õ fhjhtll = y T õ fhx * + m thh 1 + ghtlll. Łatwo zauwaŝyć, Ŝe dla dostatecznie małych q>0 dla kaŝdego y e U 0 Hh 1 L i dla kaŝdego 0 t < t 1 zachodzi nierówność y T õ fhx * + qm thh 1 + ghtlll < 0 Wektor h 1 + ghtl dla dostetecznie małych t naleŝy do U 0 Hh 1 L więc zachodzi dla dostatecznie małych t > 0, Hh 1 + ghtll T õ fhx * + qm thh 1 + ghtlll < 0 a więc dla h = m thh 1 + ghtll mamy x * + h œ D, h T õ fhx * + q hl < 0. Wzór ten zachodzi dla dostatecznie małych t > 0. Wtedy, z rozwinięcia Taylora funkcji f mamy fhx * + hl = fhx * L + h T õ fhx * + q hl < fhx * L co stanowi srzeczność z załoŝeniem, Ŝe w x * jest minimum globalne à Twierdzenie 3.1. (Warunek konieczny istnienia minimum, warunki Kuhna-Tuckera, warunki Karusha- Kuhna-Tuckera) Niech w regularnym unkcie x * œ D funkcja celu osiąga w tym unkcie minimum w dousz-czalnym obszarze D Wtedy: u i g i Hx L + v j h j Hx L = i Akt j=1 f Hx L H3.2L dla ewnych u i 0 oraz v j. Definicja 3.3. Punkty regularne, sełniające warunki (3.2) twierdzenia 3.1 nazywać będziemy unktami Kuhna-Tuckera (unktami KT) Dowód W dowodzie wykorzystamy lemat Farkasa.
ALGORYTMY OPTYMALIZACJI wyklad 3.nb 3 Lemat Farkasa (1902). Niech A będzie macierzą o k wierszach i n kolumnach, b i h n-wymiarowymi wektorami, w wektorem k-wymiarowym. RównowaŜne są nastęujące warunki: dlakaŝdegoh zachodziimlikacjaah 0 b T h 0, u 0A T u = b. Dla wektora q warunek q 0 oznacza, Ŝe wszystkie jego wsółrzędne są nieujemne. Podstawiając w lemacie Farkasa b = f Hx L, A = H g 1 Hx L, g 2 Hx L,..., g M0 Hx LL T, uzyskamy z Lematu 3.1, Ŝe dla kaŝdego h zachodzi imlikacja Ah 0 b T h 0. Z Lematu Farkasa mamy, Ŝe dla wektora u o nieujemnych składnikach u i g i Hx L = f Hx L i Akt Dla j-tego ograniczenia tyu równości h j HxL = 0, u m+2 j-1 õ h j Hx * L + u m+2 j H-õ h j Hx * LL =Hu m+2 j-1 - u m+2 j L õ h j Hx * L = v j õ h j Hx * L, dla ewnych u i 0 oraz v j. i Akt Warunek regularności jest istotny. u i g i Hx L + v j h j Hx L = f Hx L j=1 ü Przykład 3.1 Obliczmy minimum globalne funkcji fhxl = x 1 z warunkami x 2 x 1 3, x 2 0. Rozwiązując to zadanie geometrycznie widzimy, Ŝe minimum globalne jest w x * =H0, 0L T 2 x 2 1.5 1 0.5-1. 0 Minimum1. 0 g 2 x 1-0.5-1 g 1-1 -0.5 0 0.5 1 1.5 2 f J 1 0 N, g 1 x 1 3 +x 2 0 g 2 x 2 0, g 1 i k j 3x 1 2 1 y z g 2 J 0 { 1 N, g 1 Hx L = J 0 1 N g 2 Hx L = J 0 1 N
ALGORYTMY OPTYMALIZACJI wyklad 3.nb 4 Zbiór C 0 =8h =Hh 1, h 2 L : h T õ g 1 Hx * L 0, h T õ g 2 Hx * L 0< =8h =Hh 1, 0L, h 1 e R<. Nie istnieje krzywa j leŝąca w zbiorze douszczalnym dla h =H-1, 0L, gdyŝ wtedy j 1 HtL = -m t + tg 1 HtL 0 dla dostatecznie małych t > 0. Wtedy -m + g 1 HtL 0 i rzechodzą z t do 0 otrzymamy -m 0 co jest srzeczne z załoŝeniem, Ŝe m>0.à Srawdzenie, czy unkt x * jest regularny jest trudne. Prawdziwe jest Twierdzenie 3.2. Punkt x * œ D jest regularny jeŝeli wektory: są liniowo niezaleŝne. g i Hx L, i Akt, h j Hx L, j =1, 2,..., Z tego wynika, Ŝe łączna liczba ograniczeń aktywnych i ograniczeń tyu EQ w unkcie regularnym nie moŝe rzekraczać n. Zbadanie, czy układ wektorów jest liniowo niezaleŝny jest waŝne rzy ustaleniu czy analizowany unkt jest regularny. Twierdzenie 3.3. ( warunek dostateczny na to, by unkt był regularny). Dany jest układ fukcji n zmiennych x 1, x 2,..., x n, będących ograniczeniami tyu EQ ( funkcji h 1, h 2,..., h ) i ograniczeniami aktywnymi tyu LE (funkcji g i1, g i2,..., g ik ). Punkt x * jest regularny jeśli macierz Hõ g i1 Hx * L õ g i2 Hx * L... õ g ik Hx * Lõ h 1 Hx * Lõh 2 Hx * L... õ h Hx * LL jest rzędu k+. ü Przykład 3.2 (Minimum w unkcie nieregularnym) Znajdźmy rozwiązanie zadania otymalizacyjnego: f Hx, yl = x = MIN!, x 2 0. Gradienty, związane z tym zadaniem mają ostać: f HxL = 1, g HxL = 2 x. Ograniczenie ghxl jest aktywne, gdyŝ jedyny unkt, sełniający to ograniczenie to unkt 0. Tak więc jest to równieŝ rozwiązanie naszego zagadnienia. Jednocześnie jest to unkt nieregularny, gdyŝ g(0)=0 a to nie jest wektor liniowo niezaleŝny. Warunki Kuhna Tuckera wymagają dodatkowych załoŝeń, gdyŝ w naszym rzykładzie, gdy g jest ograniczeniem aktywnym, musiałyby zachodzić: co stanowi srzeczność. à u H2 xl = 1, x 2 = 0, u 0.
ALGORYTMY OPTYMALIZACJI wyklad 3.nb 5 ü Przykład 3.3 (Warunki Kuhna-Tuckera) Znajdźmy unkty KT dla zagadnienia: Srowadzając do ostaci standardowej f Hx, yl = x 2 +y 2 = MIN!, x +y 5, x +2 y = 3. f Hx, yl = x 2 +y 2 = MIN!, g Hx, yl = 5 x y 0, h Hx, yl = x +2 y 3 = 0. f Hx, yl = H2 x, 2 yl T, g Hx, yl = H 1, 1L T, h Hx, yl = H1, 2L T Łatwo srawdzic, Ŝe wszystkie unkty, naleŝące do zbioru douszczalnego są regularne. Niech Hx *, y * L będzie rozwiązaniem naszego zadania. RozwaŜmy dwa rzyadki: I. ghxl jest aktywne w Hx *, y * L. Wtedy muszą zachodzić warunki Kuhna Tuckera: Układ ten ma rozwiązanie: u H 1, 1L +v H1, 2L = H2 x, 2 yl 5 x y = 0, x +2 y 3 = 0, u 0. x = 7, y = 2, u =32, v = 18, f Hx, y L = 53. II. ghxl nie jest aktywne w Hx *, y * L. Warunki Kuhna Tuckera w tym rzyadku rzybiorą ostać: v H1, 2L = H2 x, 2 yl, 5 x y < 0, x +2 y 3 = 0. Układ ten nie ma rozwiązania, gdyŝ ierwiastki układu, składającego się z ierwszego i trzeciego równania x = ÅÅÅÅ 3 5 i y = ÅÅÅÅ 6 nie sełniaj nierówności. 5 Tak więc rozwiązanie x * = 7 i y * = -2, jako jedyne, jest odowiedzią w naszym zadaniu. à Warunki Kuhna Tuckera moŝna urościć, wrowadzając dodatkowe zmienne s i, i = 1, 2,..., m, które rzekształcą wszystkie ograniczenia LE na ograniczenia EQ. Wtedy teŝ wszystkie ograniczenia są aktywne. Nasze zadanie będzie równowaŝne : ZauwaŜmy, Ŝe g * i Hx, sl = g ihxl + s i 2 = 0, i = 1, 2,..., m h j HxL = 0, j = 1, 2,...,, < n
ALGORYTMY OPTYMALIZACJI wyklad 3.nb 6 f Hx, sl = H f HxL, 0L, g i Hx, sl = H g i HxL, 2 s i L, H3.2L h j Hx, sl = H h j HxL, 0L W owyŝszych równaniach 0, e i są wektorami m-wymiarowymi: ierwszy składa się z samych 0, drugi ma na i-tym miejscu 1 a na ozostałych miejscach 0. Zaisując w nowej sytuacji warunki Kuhna Tuckera, otrzymamy: m u i g i Hx, s L + v j h j Hx, s L = f Hx, s L i=1 co o uwzględnieniu (3.2) daje układ (zmodyfikowane warunki Kuhna-Tuckera (warunki K-T)) m j=1 u i g i Hx L + v j h j Hx L = i=1 j=1 f Hx L, H3.3L u i s i = 0, u i 0, g i Hx L +Hs L 2 i = 0, i = 1, 2,..., m, h j Hx L = 0j =1, 2,..., Gdy s i = 0 to ograniczenie g i jest aktywne, gdy s i 0 to u i = 0 i ograniczenie g i nie bierze udziału w wyznaczeniu x *. Z orzednich rozwaŝań wynika, Ŝe liczba ograniczeń aktywnych, więc takich, dla których s i = 0 wraz z liczbą ograniczeń EQ nie moŝe rzekraczać n. ü Przykład 3.4 (Rozwiązanie rzykładu 3.3 zmodyfikowaną metodą K-T) Zaiszmy od razu warunki (3.3): Wyznaczmy x i y z ostatnich dwóch równań: u H 1, 1L +v H1, 2L = H2 x, 2 yl, us =0, u 0, x y +5+s 2 = 0, x +2 y 3 = 0, x = 7 +2 s 2, y = 2 s 2 Podstawiając do ierwszego równania otrzymamy, Ŝe 3u = 32 + 10 s 2 > 0, co od razu daje rozwiązanie s = 0, x = 7, y = -2. à