Badania Operacyjne. 1 Programowanie liniowe. kierunek Informatyka, studia II stopnia. wyklad. 1.1 Modelowanie

Transkrypt

1 Badania Operacyjne kierunek Informatyka, studia II stopnia wyklad 1 Programowanie liniowe Programowanie liniowe jest jednym z działów teorii zadań ekstremalnychigłównym nurtem badań operacyjnych. Podstawy programowania liniowego stworzył Kantorowicz w latach 30-tych ubiegłego stulecia. Przedmiotem programowania liniowego sa zadania polegajace na szukaniu punktów minimum (badź maksimum) funkcji liniowej na zbiorze opisanym układem równości lub nierówności liniowych. Najprostszym przykładem zadania programowania liniowego jest zadanie znalezienia punktu minimum funkcji f(x) =ax na przedziale [c, d] R + 0. W postaci zadania programowania liniowego można zapisać wiele praktycznych zagadnień natury ekonomicznej i produkcyjno-handlowej. 1.1 Modelowanie Przykład 1 (planowanie produkcji). Wytwórca dysponuje określonymi ilościami różnych środków (surowce, praca, sprzęt), wykorzystywanych do produkcji różnych towarów. Wiadomo, jaka ilość i-tego środka jest potrzebna do produkcji jednostki j-tegotowaru, atakże jaki dochód daje sprzedaż każdej wyprodukowanej jednostki j-tego towaru. Wytwórca powinien tak zaplanować produkcję, by całkowity dochód uzyskany ze sprzedaży towarów był maksymalny. Model. Wprowadźmy następujace oznaczenia: m -ilość środków n -ilość towarów a ij -ilość jednostek i-tego środkapotrzebnadoprodukcjijednostkij-tego towaru b i -dostępna ilość jednostek i-tego środka x j - wielkość produkcjij-tego towaru c j - dochód uzyskiwany ze sprzedaży jednostki j-tego towaru Całkowita ilość i-tego środka, wykorzystana podczas produkcji, można więc wyrazić następujaco: nx a ij x j. j=1 1

2 Ilość ta powinna być mniejsza lub równa dostępnej ilości jednostek i-tego środka, czyli nx a ij x j b i,i=1,..., m. j=1 Dochód uzyskany ze sprzedaży wszystkich wyprodukowanych towarów wyraża się następujaco: nx c j x j, przy czym oczywiście należy żadać, by j=1 x j 0, j=1,..., n. Można więc sformułować opisane zagadnienie w następujacy sposób: zmaksymalizować funkcjonał kosztu (dochód) przy ograniczeniach nx c j x j j=1 x j 0, j=1,..., n, nx a ij x j b i,i=1,..., m. j=1 Przykład 2 (zagadnienie transportowe). Wytwórca zamierza przesłać pewna ilość jednostek towaru z kilku magazynów do kilku punktów sprzedaży. Każdy punkt sprzedaży złożył zamówienie u wytwórcy na określona ilość jednostek towaru. Każdy magazyn dysponuje określonymi zapasami towaru. Wytwórca zna koszt transportu jednostki towaru zkażdego magazynu do każdego punktu sprzedaży. Należy tak zaplanować dystrybucję towaru, by koszt transportu był minimalny. Model. Aby sformułować powyższe zadanie jako zadanie programowania liniowego, wprowadźmy następujace oznaczenia: m -ilość magazynów n -ilość punktów sprzedaży a i -ilość jednostek towaru znajdujacych się wi-tym magazynie b j - zapotrzebowanie (ilość jednostek) na towar złożone przez j-ty punkt sprzedaży x ij - ilość jednostek towaru przesyłana z i-tego magazynu do j-tego punktu sprzedaży c ij - koszt przesłania jednostki towaru z i-tego magazynu do j-tego punktu sprzedaży Całkowity koszt transportu można więc wyrazić następujaco: mx i=1 nx c ij x ij. j=1 2

3 Żada się dodatkowo,abyj-ty punkt sprzedaży otrzymał dokładnie b j jednostek towaru i aby i-ty magazyn wysłał dokładnie a i jednostek towaru. Naturalnym założeniem jest x ij 0, i=1,..., m, j =1,...,n. Możemy więc sformułować nasze zagadnienie w następujacy sposób: zminimalizować funkcjonał kosztu przy ograniczeniach mx i=1 nx c ij x ij, j=1 x ij 0, i=1,..., m, j =1,...,n. nx x ij = a i,i=1,..., m, j=1 mx x ij = b j,j=1,..., n. Wprzypadkum =2, n =3zadanie przyjmuje postać i=1 c 11 x 11 + c 12 x 12 + c 13 x 13 + c 21 x 21 + c 22 x 22 + c 23 x 23 min. x 11 0,x 12 0,x 13 0,x 21 0,x 22 0,x 23 0, x 11 + x 12 + x 13 = a Sformułowanie zadania x 21 + x 22 + x 23 = a 2 x 11 + x 21 = b 1 x 12 + x 22 = b 2 x 13 + x 23 = b 3. Ogólnym zadaniem programowania liniowego nazywamy zadanie postaci: J(u) =c 1 u c n u n min. (1) u k 0, k I (2) a 1,1 u a 1,n u n b 1... a m,1 u a m,n u n b m a m+1,1 u a m+1,n u n = b m+1... a s,1 u a s,n u n = b s 3, (3)

4 gdzie u =(u 1,..., u n ) R n,natomiastc j, a i,j, b i, i =1,..., s, j =1,..., n, sadanymi liczbami rzeczywistymi, przy czym nie wszystkie liczby c j i nie wszystkie liczby a ij sa równe zero, I {1,..., n} jest ustalonym zbiorem indeksów; możliwe sa tutaj przypadki: I =, I = {1,..., n}, m = s, m =0.Wprowadzaj ac oznaczenia c =(c 1,..., c n ), a i =(a i,1,...,a i,n ), możemy zapisać powyższe zadanie w następujacy sposób: J(u) =hc, ui min. u U = {u =(u 1,..., u n ) R n ; u i 0 dla i I, ha i,ui b i dla i =1,..., m, ha i,ui = b i dla i = m +1,..., s} (4) (symbolem hx, yi oznaczamy iloczyn skalarny wektorów x =(x 1,..., x n ), y =(y 1,..., y n ), t.zn. hx, yi = P n i=1 x iy i ). W dalszym ciagu, zapis x y, gdzie x =(x 1,..., x n ), y =(y 1,..., y n ),będzie oznaczał, że x i y i,i=1,...,n. Wobec tego, zadanie (4) możemy zapisać następujaco: ½ J(u) =hc, ui min. u U = {u =(u 1,..., u n ) R n ; u i 0 dla i I, Au b, Au = b} (5) gdzie A = a 1,1... a 1,n.. a m,1... a m,n b = b 1. b n, A =, b = a m+1,1... a m+1,n.. a s,1... a s,n b m+1 Każdy punkt u U nazywamy punktem dopuszczalnym zadania (5). Punkt u U nazywamy rozwiazaniem zadania (5), gdy J(u ) J(u) dla dowolnego u U. Kanonicznym zadaniem programowania liniowego nazywamy zadanie postaci ½ J(u) =hc, ui min. u U = {u =(u 1,...,u n ) R n ; u 0, Au = b}. (6) 4. b s.,

5 Podstawowym zadaniem programowania liniowego nazywamy zadanie postaci ½ J(u) =hc, ui min. u U = {u =(u 1,..., u n ) R n ; u 0, Au b}. (7) Zajmiemy się teraz zagadnieniem równoważności zadań różnego typu. Rozwiazywanie zadania podstawowego można zastapić rozwi azywaniem zadania kanonicznego. Istotnie, niech dane będzie zadanie podstawowe (7) i rozważmy w przestrzeni R n+m zadanie postaci ½ hd, zi min. z Z = {z =(u, v) R n+m ; z 0, Cz = b}, (8) gdzie d =(c, 0) R n+m, C =[A I m m ]= a 1,1... a 1,n.. a m,1... a m,n (I m m jest macierza jednostkowawymiarum m). Łatwo zauważyć, że jeśli u U jest rozwiazaniem zadania (7), to z =(u,v ),gdzie v = b Au, jest rozwiazaniem zadania (8), t.zn. z Z oraz hd, z i hd, zi dla dowolnego z Z. Jeśli natomiast z =(u,v ) Z jest rozwiazaniem zadania (8), to u jest rozwiazaniem zadania (7), t.zn. u U oraz hc, u i hc, ui dla dowolnego u U. Podobnie, rozwiazywanie zadania ogólnego (5) można zastapić rozwi azywaniem zadania kanonicznego. Rzeczywiście, rozważmy w przestrzeni R p (p = m + I + J + J, gdzie J = {1,...,n}ÂI) zadanie postaci he, zi = X c i u i + X c i w i + X c i w i min. i I i J i J z Z = {z =(v, u i ; i I,w i ; i J, w i ; i J) R p ; z 0, v + X A i u i + X A i w i + X A i w i = b, Xi I i J i J A i u i + X A i w i + X A i w i = b} i I i J i J = {z R p ; z 0, [Im m A i ; i I A i ; i J A i ; i J] 0 Ai ; i I A i ; i J A i ; i J b z = } b, (9) 5

6 gdzie e =(0,c i ; i I,c i ; i J, c i ; i J) R p, A i - i-ta kolumna macierzy A, A i - i-ta kolumna macierzy A. Jeśli u U jest rozwiazaniem zadania ogólnego (5), to gdzie z =(v,u i ; i I,w i ; i J, w i ; i J), v = b Au, w i =max{0,u i }, i J, w i =max{0, u i }, i J, jest rozwiazaniem zadania (9) (zauważmy, że u i = w i w i dla i J). Jeśli natomiast z =(v,u i ; i I,w ; i i J, w i ; i J), jest rozwiazaniem zadania (9), to jest rozwiazaniem zadania (5). u =(u i ; i I,w i w i ; i J) 1.3 Interpretacja geometryczna zadań programowania liniowego Rozważmy zadanie podstawowe (7) w przypadku, gdy n =2, czyli J(u) =c 1 u 1 + c 2 u 2 min. u U = {u =(u 1,u 2 ) R 2 ; u 1 0, u 2 0, a i,1 u 1 + a i,2 u 2 b i,i=1,..., m} Wprowadźmy oznaczenia Oczywiście U 0,1 = {(u 1,u 2 ) R 2 ; u 1 0}, U 0,2 = {(u 1,u 2 ) R 2 ; u 2 0}, U i = {(u 1,u 2 ) R 2 ; a i,1 u 1 + a i,2 u 2 b i },i=1,..., m. Możliwe sanastępuj ace przypadki: 1 0 zbiór U jest pusty U = U 0,1 U 0,2 U 1... U m. 2 0 zbiór U jest niepustym wielobokiem wypukłym i ograniczonym. (10) 6

7 3 0 zbiór U jest niepustym wielobokiem wypukłym i nieograniczonym Ustalmy liczbę α R. Równanie c 1 u 1 + c 2 u 2 = α opisuje poziomicę funkcjonału J odpowiadajac awartości α, czyli zbiór {(u 1,u 2 ) R 2 ; J(u) =α}. Jest to prosta o wektorze normalnym c =(c 1,c 2 ). Przy zmianie wartości stałej α od do prosta ta zmienia swoje położenie, przesuwajac się w sposób równoległy w kierunku wektora c i zamiataj ac całapłaszczyznę. Wprzypadku2 0 zawsze istnieje punkt pierwszego kontaktu (być może nie jedyny) przesuwajacej się prostej z wielobokiem U. Odpowiednia wartośćstałej α wynosi wówczas min u U J(u) =:J 7

8 W przypadku 3 0 ów punkt pierwszego kontaktu istnieje (być może nie jedyny) lub nie. Jeśli nie istnieje, oznacza to, że zadanie nie ma rozwiazania; w takim przypadku inf J(u) =. u U 8

9 Zpowyższej dyskusji wynika, że zadanie (10) może nie mieć rozwiazań, może mieć jedno rozwiazanie lub może mieć nieskończenie wiele rozwiazań. Ponadto, w przypadku, gdy zbiór rozwiazań jest niepusty, w zbiorze tym istnieje co najmniej jeden punkt, który jest wierzchołkiem wieloboku U. Podobna analizę można przeprowadzić w przypadku n =3,zastępujac wielobok wielościanem, a prosta-płaszczyzn a. 9

10 Matodagraficzn a można także rozwiazać niektóre zadania o większej niż 2 lub 3 ilości zmiennych. Rozważmy mianowicie zadanie postaci ½ J(u) =hc, ui min. u U = {u R m+2 ; u 0, Au = b} gdzie A = a 1,1... a 1,m a 1,m+1 a 1,m a m,1... a m,m a m,m+1 a m,m+2,b= przy czym ranka = m ikolumnya 1,...,A m sa liniowo niezależne. Wprowadźmy oznaczenia a 1,1... a 1,m a 1,m+1 a 1,m+2 A =.., A =.., a m,1... a m,m a m,m+1 a m,m+2 u 1 u m+1 u =., u = u m+2, u m c 1 cm+1 c =., c =. c m+2 c m Zatem A = h i u A A,u= u,c= c c. W konsekwencji warunek Au = b możemy zapisać jako Au + Au = b. Stad u = A 1 b A 1 Au. Zauważmy teraz, że rozwiazywanie zadania wyjściowego można zastapić rozwi azywaniem zadania postaci ( D E c, A 1 b A 1 Au + c, u min. (=) u U = {u R 2 ; u 0, A 1 Au A 1 b} Dokładniej, jeśli u jest rozwiazaniem zadania (=), to u u =, u 10 b 1. b m,

11 gdzie u = A 1 b A 1 Au, jest rozwiazaniem zadania wyjściowego. Na odwrót, jeśli u = zadania wyjściowego, to u jest rozwiazaniem zadania (=). u u jest rozwiazaniem 1.4 Punkty wierzchołkowe Punkt v V R n nazywamy punktem wierzchołkowym (punktem ekstremalnym) zbioru wypukłego i domkniętego V,jeśli przedstawienie v = αv 1 +(1 α)v 2, (11) gdzie α (0, 1), v 1,v 2 V,możliwe jest tylko wtedy, gdy v 1 = v 2.Innymisłowy, punkt v V jest punktem wierzchołkowym zbioru V, gdy nie jest on punktem wewnętrznym niezdegenerowanego odcinka o końcach należacych do V.Pojęcie punktu wierzchołkowego jest pojęciem fundamentalnym w teorii programowania liniowego. W dalszej części wykładu pokażemy, że jeśli zadanie kanoniczne (przy dowolnym n N) posiada rozwiazanie, to wśród rozwiazań jest co najmniej jeden punkt wierzchołkowy zbioru U = {u R n ; u 0, Au= b}. (12) Teraz podamy charakteryzację punktów wierzcholkowych zbioru postaci (12). Twierdzenie 1 Niech dany bedzie zbiór U postaci (12) i punkt v R n,przyczyma R m n Â{0}, r := ranka. Punkt v jest punktem wierzchołkowym zbioru U wtedy i tylko wtedy, gdy istniejawskaźniki j 1,...,j r {1,..., n} takie, że v j 0, j {j 1,..., j r } v j =0, j / {j 1,..., j r } A j1 v j A jr v j r (13) = b kolumny A j1,..., A jr saliniowoniezależne w R m Układ wektorów A j1,...,a jr występujacych w warunkach (13) nazywamy baza punktu wierzchołkowego v, a odpowiednie współrzędne v j 1,...,v jr - współrzednymi bazowymi punktu wierzchołkowego v. Punkt wierzchołkowy, którego wszystkie współrzędne bazowe sado- datnie nazywamy nieosobliwym. Punktwierzchołkowy, którego co najmniej jedna współrzędna bazowa jest równa zero nazywamy osobliwym. Zmienne u j 1,...,u j r nazywamy zmiennymi bazowymi, a pozostałe -zmiennymi wolnymi (przy ustalonej bazie A j1,...,a jr ). Ztwierdzenia1wynika, że baza nieosobliwego punktu wierzchołkowego zbioru (12) jest wyznaczona jednoznacznie. Osobliwy punkt wierzchołkowy może mieć wiele baz. 11

12 1.5 Metoda sympleksowa Metodasympleksowapolegana uporz adkowanym sprawdzaniu wartości funkcjonału kosztu w punktach wierzchołkowych zbioru ograniczajacego ( uporzadkowanie oznacza tu, że wartości funkcjonału kosztuwkolejnych punktachnierosna). Rozważmy zadanie kanoniczne postaci ½ J(u) =hc, ui min. u U = {u R n (14) ; u 0, Au = b} gdzie 0 6= A R m n,przyczymzakładać będziemy w tym rozdziale, że U 6= (kwestia niepustości zbioru U omówiona będzie w dalszej części wykładu). Oczywiście ranka min{m, n} (podobnie, jak wcześniej, ranka oznaczać będziemy przez r). Równość Au = b możemy zapisać wpostaciukładu równań nx a i,j u j = b i,i=1,..., m. j=1 Nie zmniejszajac ogólności rozważań, możemy założyć, że r = m. Oczywiście r n. Jeżeli r = n, topowyższy układ ma dokładnie jedno rozwiazanie u, przyczymu 0 (gdyby któraś zewspółrzędnych punktu u była ujemna, tozbióru byłby pusty, co sprzeczne byłoby z naszym założeniem). W konsekwencji zbiór U jest jednoelementowy i tym samym u jest rozwiazaniem zadania (14). Będziemy więc zakładać wdalszymciagu, że r = m oraz r<n.równość Au = b możemy więc zapisać wpostaci a 1,1 u a 1,n u n = b 1... (15) a r,1 u a r,n u n = b r gdzie r = ranka < n. Podamy teraz opis metody sympleksowej. Przypuśćmy, że dany jest punkt wierzchołkowy v zbioru U = {u R n ; u 0, Au = b} izałóżmy, że kolumny A 1,...,A r sabaz ategopuntu,v 1,...,v r - jego współrzędnymi bazowymi (kwestia wyznaczenia poczatkowego punktu wierzchołkowego v zbioru U iokreślenia jego współrzędnych bazowych omówiona będzie w dalszej części wykładu). Wprowadźmy następujace oznaczenia u = u 1. u r, v = 12 v 1. v r, c = c 1. c r,

13 a 1,1... a 1,r B =.. =[A 1... A r ]. a r,1... a r,r Wówczas układ (15) możemy zapisać w postaci Bu + A r+1 u r A n u n = b. (16) Z liniowej niezależności kolumn A 1,...,A r (jesttobazapunktuv) wynika,że det B 6= 0.W konsekwencji istnieje macierz odwrotna B 1.Współrzędne niebazowe punktu v sa zerowe, awięc z (16) otrzymujemy Bv = b, skad v = B 1 b. Mnożac równość (16) lewostronnie przez B 1, otrzymujemy nx u + B 1 A k u k = B 1 b = v. (17) k=r+1 Oznaczmy γ s,k = (B 1 A k ) s dla k = r +1,..., n, s =1,..., r gdzie (B 1 A k ) s oznacza s-tawspółrzędn awektora-kolumnyb 1 A k.równość(17)możemy teraz zapisać wpostacinastępujacego układu równań u 1 + γ 1,r+1 u r γ 1,n u n = v 1 u 2 + γ 2,r+1 u r γ 2,n u n = v 2. (18)... u r + γ r,r+1 u r γ r,n u n = v r Określmy także γ s,k =(B 1 A k ) s dla k =1,...r, s =1,..., r (oczywiście γ s.k = δ s,k dla k =1,..., r, s =1,..., r, gdzieδ s,k jest symbolem Kronekera). Dokonajmy częściowego podsumowania. Pokazaliśmy, że majac ustalony punkt wierzchołkowy v zbioru U iwiedz ac, że współrzędne z indeksami 1,...,r sajegowspółrzędnymi bazowymi, można zapisać ograniczenia (15) w równoważnej postaci (16) lub (17) lub (18). Wartość funkcjonału kosztuj w punkcie u spełniajacym ograniczenia typu równości (15), można zapisać wnastępujacej postaci nx nx J(u) = hc, ui = c i u i = hc, ui + c i u i = * c, v = hc, vi i=1 nx i=r+1 B 1 A i u i + + i=r+1 nx i=r+1 nx ( c, B 1 A i ci )u i. i=r+1 13 c i u i

14 Ponieważ więc gdzie Określmy także dla i =1,..., r (oczywiście hc, vi = hc, vi = J(v), J(u) =J(v) nx i=r+1 i = c, B 1 A i ci,i= r +1,..., n. i u i, (19) i = c, B 1 A i ci (20) i = c, B 1 A i ci = hc, e i i c i = c i c i =0 dla i =1,..., r, gdziee i jest i-takolumn a macierzy jednostkowej o wymiarach r r). Zadanie (14) możemy więc zapisać wnastępujacej postaci P J(u) =J(v) n i u i min. i=r+1 (21) U = {u =(u 1,..., u n ) R n ; u 0, u spełnia (18)} Występujace w powyższym opisie wielkości γ s,k, v i, i zapiszemy w postaci tzw. tablicy sympleksowej, odpowiadajacej punktowi wierzchołkowemu v 14

15 Tablica sympleksowa I (dla punktu v) u 1... u i... u s... u r u r+1... u k... u j... u n u γ 1,r+1... γ 1,k... γ 1,j... γ 1,n v u i γ i,r+1... γ i,k... γ i,j... γ i,n v i u s γ s,r+1... γ s,k... γ s,j... γ s,n v s u r γ r,r+1... γ r,k... γ r,j... γ r,n v r r+1... k... j... n J(v) Analizujac tablicę sympleksowa I,możemy wyróżnić trzy przypadki: 1 0 spełnione sanierówności i = c, B 1 A i ci 0 (22) dla i = r +1,..., n, t.zn. w ostatnim wierszu tablicy sympleksowej wszystkie liczby i sa niedodatnie. W tym przypadku punkt v, dla którego skonstruowana została tablica sympleksowa, jest rozwiazaniem zadania. Istotnie, bowiem dla dowolnego u U mamy nx J(u) =J(v) i u i J(v) i=r+1 (bo i 0, u i 0). 2 0 istnieje wskaźnik k {r +1,...,n} taki, że ½ k > 0 γ i,k 0 dla i =1,..., r (czyli B 1 A k 0) (23) Oznacza to, że w k-tej kolumnie tablicy sympleksowej ostatni element ( k ) jest dodatni, a pozostałe - niedodatnie. W tym przypadku inf J(u) = (dowód tego faktu pomijamy). u U Oznacza to, że zadanie nie ma rozwiazania. 3 0 nie zachodza przypadki 1 0 i2 0 ; w konsekwencji istniejawskaźniki k {r +1,..., n}, i {1,..., r} takie, że k > 0, γ i,k > 0. (24) Oznacza to, że w k-tej kolumnie tablicy sympleksowej ostatni element ( k ) jest dodatni i co najmniej jedna z liczb γ i,k jest dodatnia. Załóżmy, że zachodzi przypadek 3 0 iokreślmy zbiór I k = {i {1,..., r}, γ i,k > 0}. 15

16 Niech s I k będzie takim wskaźnikiem, że v s =min (25) γ s,k i I k γ i,k Współczynnik γ s,k,gdziewskaźniki k, s sa określone przez (24) i (25), nazywany jest elementem rozwiazuj acym tablicy sympleksowej I. Można pokazać, że układ kolumn jest baza pewnego punktu wierzchołkowego w, przy czym v i A 1,..., A s 1,A s+1,..., A r,a k (26) J(w) J(v). Zfaktu, że macierz A ma r wierszy wynika, wobec twierdzenia charakteryzujacego punkty wierzchołkowe, iż baza (26) wyznacza punkt wierzchołkowy w sposób jednoznaczny. Można więc znaleźć współrzędne punktu w, korzystajac z tego twierdzenia. Przejdźmy teraz do przypadku ogólnego. Łatwo zauważyć, że jeśli współrzędnymi bazowymi punktu v sa v j 1,..., v jr, gdzie 1 j 1 <... < j r n, to wzory wyrażajace zmienne bazowe i funkcjonał kosztu przy pomocy zmiennych niebazowych, przyjmuja postać(poniżej symbolem I v oznaczamy zbiór {j 1,...,j r }) u j 1 = v j 1 P γ j1,ku k k/ I v... u jr = v jr P γ jr,ku k k/ I v (27) J(u) =J(v) X k/ I v k u k, (28) gdzie γ ji,k =(B 1 A k ) i ; i =1,..., r, k =1,..., n (29) (w szczególności γ ji,k = δ ji,k dla i =1,..., r, k I v ), k = B =[A j1... A jr ], v j i =(B 1 b) i,i=1,..., r, v k =0,k/ I v, rx c ji (B 1 A k ) i c k,k=1,..., n (30) i=1 (w szczególności k =0dla k I v ). W tym przypadku tablica sympleksowa dla punktu v jest następujaca: Tablica sympleksowa II (dla punktu v) 16

17 u 1... u j 1... u j i... u k... u j s... u j... u j r... u n u j 1 γ j1, γ j1,k γ j1,j γ j1,n v j u j i γ ji, γ ji,k γ ji,j γ ji,n v j i u j s γ js, γ js,k γ js,j γ js,n v j s u j r γ jr, γ jr,k γ jr,j γ jr,n v j r k j n J(v) Tak, jak wcześniej, należy rozważyć trzy przypadki: 1 0 spełniony jest warunek k 0, k/ I v (22 ) 2 0 istnieje k/ I v takie, że k > 0, γ ji,k 0, i=1,..., r (23 ) 3 0 nie zachodzi przypadek 1 0 i2 0 ; w konsekwencji istnieja k/ I v oraz j i I v takie, że k > 0, γ ji,k > 0. (24 ) Podobnie, jak wcześniej, łatwo sprawdzić, że w pierwszym przypadku punkt v jest rozwiazaniem zadania (14), w drugim - inf hc, ui =, czyli zadanie (14) nie ma rozwi azania. W u U trzecim przypadku można wybrać elementrozwi azujacy γ js,k na podstawie warunku (24 ) oraz warunku v ji min = vjs, (25 ) j i I v,k γ ji,k γ js,k gdzie I v,k = {j i I v ; γ ji,k > 0}, któres a analogiczne do warunków (24), (25). Następnie, należy wykonać przejście do nowego punktu wierzchołkowego w. Zwarunków (24 )i(25 )wynika,że baza punktuw będzie układ kolumn przy czym A j1,..., A js 1,A js+1,..., A jr,a k, J(w) J(v). Współrzędne punktu w można wyznaczyć na podstawie twierdzenia charakteryzujacego punkty wierzchołkowe. 17

18 Uwaga 1. Można pokazać, że w j 1 = v j 1 γ j1,k vj s γ j s,k. w j i = v j i γ ji,k vjs γ j s,k. w j s 1 = v j s 1 γ js 1,k vj s γ js,k w j s = v j s γ js,k vj s =0 γ j s,k w j s+1 = v j s+1 γ js+1,k vjs γ js,k. w j r = v j r γ jr,k vj s γ j s,k w k = vjs γ js,k w l =0,l/ I v,l 6= k, Tablica sympleksowa dla punktu w przyjmuje postać Tablica sympleksowa III (dla punktu w) u 1... u j 1... u j i... u k... u j s... u j... u j r... u n u j 1 γ 0 j 1, γ 0 j 1,j s... γ 0 j 1,j γ 0 j 1,n w j u j i γ 0 j i, γ 0 j i,j s... γ 0 j i,j γ 0 j i,n w j i u k γ 0 k, γ 0 k,j s... γ 0 k,j γ 0 k,n w k u j s 1 γ 0 j s 1, γ 0 j s 1,j s... γ 0 j s 1,j γ 0 j s 1,n w j s 1 u j s+1 γ 0 j s+1, γ 0 j s+1,j s... γ 0 j s+1,j 0 γ 0 j s+1,n w j s u j r γ 0 j r, γ 0 j r,j s... γ 0 j r,j γ 0 j r,n w j r j s... 0 j n J(w) gdzie współczynniki γ 0 i,j, 0 j (30) z macierza B postaci sa określone przy pomocy wzorów analogicznych do (29), [A j1... A k... A js 1 A js+1... A jr ] (zakładamy tu, że wiersze i kolumny ustawione sawkolejności rosnacych indeksów). 18

19 Uwaga 2. Można pokazać, że ( 0 γ j i,j = γ ji,j γ j i,k γ γ js,k js,j ; i =1,..., r, i 6= s, j =1,...n, γ 0 k,j = γ js,j,j=1,...n, γ j s,k oraz γ 0 js,j j = j k dla j =1,..., n. γ js,k Opisany więc został jeden krok metody sympleksowej w dowolnym przypadku (co do bazy punktu wierzchołkowego), czyli przejście od jednego punktu wierzchołkowego (v) zbioru U do drugiego punktu wierzchołkowego (w) tego zbioru (w przypadku 3 0 )wtakisposób, że J(w) J(v). 1.6 Reguła antycykliczna Podczas realizacji metody sympleksowej może się zdarzyć, że 0= min v ji j i I v,k γ ji,k = vj s. γ js,k Ze wzorów podanych w Uwadze 1 wynika, że w takim przypadku w = v i J(w) =J(v), aprzejście od punktu v do punktu w oznacza jedynie przejście od bazy A j1,...,a jr do bazy A j1,..., A k,..., A js 1,A js+1,..., A jr. Można podać przykłady zadań pokazujace, że przy ustalonym sposobie wyboru elementu rozwiazuj acego (n.p. często spośród indeksów k, j s spełniajacych warunki (24 )-(25 ) wybiera się najmniejsze wartości) metoda sympleksowa może się zapętlić, t.zn. w kolejnychiteracjach punktwierzchołkowy nie będzie się zmieniał, ajegobazybędazmieniały się w sposób okresowy (cykliczny). Można jednak określić (naróżne sposoby) regułę wyboruelementu rozwiazuj acego w taki sposób, by uniknać owegozapętlenia. Każdatakareguła nazywana jest reguła antycykliczna. Podamy teraz opis jednej z takich reguł. Do tablicy sympleksowej punktu v (dla uproszczenia przyjmijmy, że kolumny A 1,...,A r tworzabazę punktu v)dopisujemy r r -wymiarow a macierz jednostkow a [d i,j ]. Dopisane wyrazy przekształcamy w każdej iteracji zgodnie ze wzorami podanymi w Uwadze 2, 19

20 przy czym nie tworzymy współczynników. Element rozwiazuj acy γ s,k wybieramy w następujacy sposób. Niech k > 0 i I k = {i {1,..., r}, γ i,k > 0} 6=. Określmy zbiór I k,1 = {s I k ;min i I k v i = vs }. γ i,k γ s,k Jeśli zbiór I k,1 zawiera więcej niż jeden element, to tworzymy zbiór d i,1 I k,2 = {s I k,1 ; min = d s,1 }. i I k,1 γ i,k γ s,k Jeśli mamy już określony zbiór I k,m (m 2) i zawiera on więcej niż jeden element, to tworzymy zbiór d i,m I k,m+1 = {s I k,m ; min = d s,m }. i I k,m γ i,k γ s,k Dowodzi się, że istnieje l {1,..., r+1} takie, że zbiór I k,l składa sięzjednegoelementus, przy czym wszystkie zbiory I k,i, i =1,..., l 1, zawieraj awięcej niż jeden element. Jako indeks s, służacy do określenia elementu rozwiazuj acego, przyjmujemy ów jedyny element zbioru I k,l. Można pokazać, że stosowanie w każdym kroku metody sympleksowej takiego sposobu wyboru indeksu s, wyznaczajacego element rozwiazuj acy, pozwala uniknać zapętlenia i w skończonej ilości kroków rozwiazać zadanie,b adź stwierdzić, że rozwiazanie nie istnieje ( 1 ). 1.7 Wybór poczatkowego punktu wierzchołkowego Niech dane będzie zadanie kanoniczne J(u) =hc, ui min. (31) u U = {u =(u 1,..., u n ) R n ; u 0, Au = b}, (32) gdzie 6= A R m n. Opisujac metodę sympleksow a, zakładaliśmy między innymi, że zbiór U jest niepusty i znany jest poczatkowy punkt wierzchołkowy tego zbioru. Pokażemy teraz jak stwierdzić, czy U 6= iznaleźć ów punkt wierzchołkowy. Bez zmniejszania ogólności rozważań możemy założyć, że b i 0 dla i =1,..., m (mnożac w razie potrzeby odpowiednie równania przez 1). Rozważmy zadanie pomocnicze postaci J 1 (z) =u n u n+m min. (33) 1 Zatem nie może siętakże zdarzyć, że w nieuporzadkowany sposób będziemy przerabiać bazy jednego punktu wierzchołkowego, a także, iż wnieskończony sposób (cykliczny lub nie) będziemy przerabiać punkty wierzchołkowe (przejście do kolejnego punktu wierzchołkowego w 6= v oznacza, że v s 6=0iw konsekwencji J(w) <J(v)). 20

21 u z Z = {z = R w n+m ; z 0, Cz= b}, (34) gdzie C =[A I m m ], w =(u n+1,..., u n+m ).Układ Cz = b zapiszmy w postaci a 1,1 u a 1,n u n + u n+1 = b a m,1 u a m,n u n + u n+m = b m Łatwo widać, że zbiór Z jest niepusty, bowiem z 0 := (0,b) Z. Łatwo też widać, że z 0 jest punktem wierzchołkowym zbioru Z zbaz azłożona z ostatnich m kolumn macierzy C, czyli wektorów jednostkowych e 1,...,e m R m (rankc = m). Można więc do zadania (33)-(34) zastosować metodęsympleksowazpocz atkowym punktem wierzchołkowym z 0. Ponieważ J 1 (z) 0, z Z, więc niemożliwy jest przypadek inf J 1(z) =. z Z Zatem, stosujac metodę sympleksowa, w skończonej ilości kroków otrzymamy punkt wierzchołkowy z =(v,w ) Z będacy rozwiazaniem zadania (33)-(34). Możliwe sa tutaj dwa przypadki. 1 0 J 1 (z ) > 0. Wówczas zbiór U (dany przez (32)) jest zbiorem pustym. Istotnie, w przeciwnym bowiem razie (czyli gdyby istniał punkt u U) punkt z =(u, 0) należałby do zbioru Z oraz spełniona byłaby równość J 1 (z) =0, co sprzeczne jest z nierównościa J 1 (z ) > 0 i optymalnościa punktu z. 2 0 J 1 (z )=0. Wówczas punkt z jest postaci (v, 0). Jako punkt uzyskany przy pomocy metody sympleksowej z jest punktem wierzchołkowym zbioru Z. St ad wynika, że v jest punktem wierzchołkowym zbioru U. Istotnie, ponieważ z 0, więc v 0, natomiast z równości Cz = b wynika, że Awięc Av = b. v U. 21

22 Przypuśćmy teraz, że v = αu +(1 α)eu, gdzie α (0, 1), u, eu U. Punkty z =(u, 0), ez =(eu, 0) należaoczywiście do zbioru Z, przy czym z = αz +(1 α)ez. Ponieważ z jest punktem wierzchołkowym zbioru Z, więc to oznacza, że z = ez, skad u = eu. Azatemv jest punktem wierzchołkowym zbioru U. Pokazaliśmy więc, że majac wyjściowe zadanie (31)-(32) i rozważajac zadanie pomocnicze (33)-(34), potrafimy stwierdzić (stosujac metodę sympleksowa do zadania (33)-(34)), czy U 6= i, jeśli tak, wyznaczyć pocz atkowy punkt wierzchołkowy zbioru U. Uwaga 3. Można pokazać, że analizujac tablicę sympleksowa dla punktu z =(v, 0) będacego rozwiazaniem zadania (33)-(34)), można (1) znaleźć rz ad macierzy A występujacej w zadaniu (31)-(32), wskazać bazępunktu wierzchołkowego v 1 zbioru (32) (por Uwaga 4) i otrzymać tablicę sympleksowa punktu v 1 zawierajac a r wierszy (nie liczac wiersza zawierajacego współczynniki i ), gdzie r = ranka lub (2) otrzymać nowe zadanie, dla którego natychmiast można wskazać poczatkowy punkt wierzchołkowy, jego bazę i tablicę sympleksowa, przy czym ilość równości występujacych w ograniczeniach jest równa rzędowi macierzy opisujacej te ograniczenia. Uzupełniajac rozwiazanie tego zadania (otrzymane metoda sympleksowa) zerowymi współrzędnymi, otrzymujemy rozwiazanie wyjściowego zadania. Jeśli nowe zadanie nie ma rozwiazania, to nie ma go także zadanie wyjściowe. Uwaga 4. Majac punkt wierzchołkowy v 1 zbioru U można wyznaczyć rz ad macierzy A iwskazaćwspółrzędne bazowe punktu v 1 wnastępujacy sposób. Dodatnie współrzędne punktu v 1 sa oczywiście jego współrzędnymi bazowymi. Uzupełniajac układ kolumn odpowiadajacych tymże dodatnim współrzędnym kolumnami spośród pozostałych kolumn tak, by otrzymany układ stanowił bazę powłoki liniowej wszystkich kolumn, otrzymamy bazę punktu v 1 (znać teżbędziemy ranka iwspółrzędne bazowe punktu v 1 ). Ta metoda w praktyce jest stosowana w przypadku małych wartości m i n. Zpowyższych rozważań wynikanastępujace Twierdzenie 2 Jeśli zbiór U dany przez (32) jest niepusty, to ma co najmniej jeden punkt wierzchołkowy. 22

23 Korzystajac z opisu metody sympleksowej, udowodnimy teraz dwa podstawowe fakty teorii programowania liniowego. Twierdzenie 3 Na to, aby kanoniczne zadanie postaci (31)-(32) miałorozwiazanie, t.zn. aby istniał punkt u U taki, że potrzeba i wystarcza, aby 1) zbiór U był niepusty hc, u i =infhc, ui u U 2) funkcjonał J(u) =hc, ui był ograniczony z dołu na zbiorze U. Dowód. Konieczność. Konieczność warunków 1) i 2) jest oczywista. Dostateczność. Z warunku 1) i twierdzenia 2 wynika, że istnieje punkt wierzchołkowy zbioru U. Można więc, startujac z tego punktu, rozwiazywać zadanie metodasymplek- sowa. Z warunku 2) wynika, że w żadnej iteracji nie zajdzie przypadek 2 0 (z opisu metody sympleksowej). Oznacza to, że po skończonej ilości kroków metoda sympleksowa zakończy się znalezieniem rozwiazania u zadania (31)-(32). Twierdzenie 4 Jeśli zadanie (31)-(32) ma rozwiazanie, to wśród rozwiazań conajmniej jeden punkt jest punktem wierzchołkowym. Dowód. Ztwierdzenia3wynika,że U 6= ifunkcjonał J jest ograniczony z dołu na U. Z twierdzenia 2 wynika, że zbiór U ma co najmniej jeden punkt wierzchołkowy. Startujac z tego punktu, w skończonej ilości kroków matody sympleksowej, otrzymamy rozwiazanie u, które jest punktem wierzchołkowym zbioru U (w żadnej iteracji nie zajdzie przypadek 2 0,gdyż inf J(u) > ). u U Dowód twierdzenia jest zakończony. 23

24 2 Programowanie nieliniowe 2.1 Zasada Fermata Rozważmy zadanie postaci (minimalizacyjne zadanie bezwarunkowe) ½ f0 (u) inf, u R n (35) gdzie f 0 : R n R. Punkt u R n nazywamy punktem lokalnego minimum dla tego zadania, jeśli istnieje otoczenie V punktu u takie, że f 0 (u ) f 0 (u) dla dowolnego u V (gdy V = R n mówimy, że u jest punktem globalnego minimum dla rozpatrywanego zadania). Prawdziwe jest następujace: Twierdzenie 5 (zasada Fermata) Jeśli u jest punktem lokalnego minimum dla zadania (35) i funkcja f 0 ma w punkcie u gradient f 0 (x ),to Dowód. f 0 (u )=0. Istnienie gradientu funkcji f 0 wpunkcieu oznacza istnienie pochodnej funkcji ϕ i :[ 1, 1] 3 t 7 f 0 (u + te i ) R wpunkciet =0,gdziee i jest i-tym wektorem jednostkowym, i =1,..., n. Ponieważ u jest punktem lokalnego minimum funkcjonału f 0,więc Awięc f 0 (u )=0,cokończy dowód. ϕ 0 i(0) = 0, i=1,...,n. 2.2 Zasada mnożników Lagrange a Rozważmy zadanie postaci ½ f 0 (u) inf, u U = {u R n (36) ; f i (u) =θ, i =1,..., m} gdzie f i : R n R, i =1,..., m. Mówimy, że punkt u R n jest punktem lokalnego minimum dla zadania (36), jeśli istnieje otoczenie V tego punktu takie, że dla dowolnego punktu u V, spełniajacego ograniczenia f i (u) =θ, i =1,..., m, mamy f 0 (u ) f 0 (u) (gdy V = R n mówimy, że u jest punktem globalnego minimum). 24

25 Twierdzenie 6 (o funkcji uwikłanej) Niech dane bed afunkcjeg i = g i (w, z) :R s+n R, i =1,..., n, klasyc 1 oraz punkt (a, b) R s+n taki, że g i (a, b) =0, i =1,..., n det[ g i (a, b)] 1 i,j n 6=0. z j Wówczas istnieje δ>0 ifunkcjaz = z(w) =(z 1 (w),..., z n (w)) : K(a, δ) R n klasy C 1 taka, że z(a) =b, g i (w, z(w)) = 0, i =1,..., n. Twierdzenie 7 (zasada mnożników Lagrange a) Jeśli funkcje f i, i = 0,..., m sa klasy C 1 na R n ipunktu jest punktem lokalnego minimum (maksimum) dla zadania (36), to istnieje niezerowy wektor (λ 0,λ 1,..., λ m ) R 1+m taki, że P m i=0 λ i f i (u )=0. Dowód. Warunek dany w tezie twierdzenia oznacza liniowazależność wektorów f 0 (u ), f 1 (u ),..., f m (u ) w przestrzeni R n.przypuśćmy, że warunek ten nie jest spełniony, tzn. powyższe wektory sa liniowo niezależne. Oznacza to, że m +1 n. W przypadku, gdy m +1<nmożemy uzupełnić układ wektorów f 0 (u ), f 1 (u ),..., f m (u ) wektorami d m+1,..., d n 1 tak, by układ wektorów f 0 (u ), f 1 (u ),..., f m (u ),d m+1,..., d n 1 był układem liniowo niezależnym w R n. Rozważmy teraz funkcje g 0 (t, u) =f 0 (u) f 0 (u )+t, g i (t, u) =f i (u), i=1,..., m, g i (t, u) =hd i,u u i,i= m +1,..., n 1, określone na R 1+n. Łatwo widać, że powyższy układ funkcji spełnia założenia twierdzenia ofunkcjiuwikłanej z punktem (a, b) postaci (0,u ). Z twierdzenia tego wynika, że istnieje δ>0ifunkcja u = u(t) =(u 1 (t),..., u n (t)) : ( δ, δ) R n klasy C 1 (dla naszych celów wystarcza ciagłość) taka, że u(0) = u oraz f 0 (u(t)) = f 0 (u ) t, f i (u(t)) = 0, i=1,..., m, dla t ( δ, δ). To oznacza w szczególności, że dla t (0,δ) punkty u(t) spełniaja ograniczenia typu równości występujace w zadaniu (36), przy czym f 0 (u(t)) = f 0 (u ) t<f 0 (u ) <f 0 (u )+t = f 0 (u( t)). Przeczy to optymalności punktu u. 25

26 Twierdzenie 8 Niech spełnione bed a założenia poprzedniego twierdzenia. Jeśli dodatkowo wektory f i (u ), i =1,...,m,s aliniowoniezależne, to λ 0 6=0imożna przyjać λ 0 =1. Proof. Przypuśćmy, że λ 0 =0. Wówczas P m i=1 λ i f i (u )=0 przy czym λ i 6=0dla pewnego i {1,...,m}. W konsekwencji P m i=1 λ i f i (u )u =0 (37) dla dowolnego u R n.niechterazu 0 =(u 1 0,..., u n 0) R n będzie takim punktem, że f i (u )u 0 = λ i,i=1,..., m (38) (istnienie takiego punktu wynika z twierdzenia Kroneckera-Capellego ( 2 )). Zatem, z (37) i (38) wynika, że 0= P m i=1 λ i f i (u )u 0 = P m i=1 λ iλ i > 0. Otrzymana sprzeczność dowodzifałszywości przypuszczenia, że λ 0 =0. Uwaga 9 Twierdzenie 7 można wykorzystać dorozwiazywania zadań z ograniczeniami typu równości i nierówności. Istotnie, rozważmy zadanie postaci ½ f 0 (u) inf, u U = {u R n ; f i (u) =θ, i =1,..., m, h k (u) 0, k =1,...,s}. (39) Wprowadzajac nowe zmienne w 1,...,w s,zwi azane z wyjściowymi zmiennymi u 1,...,u n równościami w1 2 + h 1 (u) =0,..., ws 2 + h s (u) =0, rozwiazywanie zadania (39) można zastapić rozwi azywaniem zadania postaci ef 0 (u, w) =f 0 (u) inf, ef i (u, w) =f i (u) =θ, i =1,..., m, e hk (u, w) =wk 2 + h k(u) =0, k =1,..., s. Dokładniej, jeśli punkt u jest punktem lokalnego minimum dla zadania (39), to punkt (u,w ),gdziew =(w 1,...,w s ), w k = p h k (u ), jest punktem lokalnego minimum dla zadania (40). Na odwrót, jeśli punkt (u,w ) jest punktem lokalnego minimum dla zadania (40), to punkt u jest punktem lokalnego minimum dla zadania (39). Wbezpośredni sposób można udowodnić następujace 2 Układ równań liniowych Au = b, gdziea R m n, x R n, b R m ma co najmniej jedno rozwiazanie wtedy i tylko wtedy, gdy rza = rz[a b]. (40) 26

27 Twierdzenie 10 Jeśli funkcje f i, i = 0,..., m, h k, j = 1,..., s saklasyc 1 na R n i punkt u jest punktem lokalnego minimum dla zadania (39), to istnieje niezerowy wektor λ =(λ 0,λ 1,...,λ m,μ 1,...,μ s ) R 1+m+s taki, że λ 0 0,μ 1 0,..., μ s 0 P m i=0 λ f i i (u )+ P m k=1 u μ h k k (u )=0, j =1,..., n, j u j μ k h k (u )=0, k =1,..., s. 2.3 Kierunki dopuszczalne w programowaniu nieliniowym Rozważmy zadanie postaci ½ f0 (u) inf, (41) u U, gdzie f 0 : R n R, U R n. Mówimy, że punkt u U jest punktem lokalnego minimum funkcji f 0 na U, jeśli istnieje otoczenie V tego punktu takie, że dla dowolnego punktu u V U mamy f 0 (u ) f 0 (u). Jeśli V = R n,tomówimy,że u jest punktem globalnego minimum funkcji f 0 na U. Mówimy, że wektor d R n jest kierunkiem dopuszczalnym dla zbioru U wpunkcie u U, jeśli istnieje α>0 takie, że dla dowolnego α [0, α]. u + αd U Twierdzenie 11 Jeśli f 0 : R n R jest klasy C 1 i u jest punktem lokalnego minimum funkcji f 0 na U, to f 0 (u )d 0 dla dowolnego kierunku dopuszczalnego d R n dla zbioru U w punkcie u. Dowód. funkcję Ustalmy dowolny kierunek dopuszczalny d dla zbioru U wpunkcieu iokreślmy g :[0, α] 3 α 7 f 0 (u + αd) R. Oczywiście funkcja g ma minimum lokalne w punkcie α =0.Z różniczkowalności funkcji f 0 wpunkcieα =0wynika, że gdzie o(α) α g(α) g(0) = g 0 (0)α + o(α), α [0, α], 0.Jeśli byłoby f 0(u )d<0, to dla dostatecznie małych wartości α prawa α 0 strona powyższej równości byłaby ujemna (bo g 0 (0) = f 0 (u )d), co oznaczałoby, że g(α) <g(0) 27

28 dla dostatecznie małych wartości α i sprzeczne byłoby z optymalnościapunktuα =0. Zatem 0 g 0 (0) = f 0 (u )d, co kończy dowód. Uwaga 12 Wprzypadku,gdyU = R n powyższe twierdzenie redukuje sie do Twierdzenia Fermata, ponieważkażdy wektor d R n jest kierunkiem dopuszczalnym dla zbioru R n w punkcie u. Twierdzenie 13 (warunki konieczne drugiego rzędu) Jeśli f 0 : R n R jest klasy C 2 i u jest punktem lokalnego minimum funkcji f 0 na U, to i) f 0 (u )d 0, ii) jeśli f 0 (u )d =0,tod 2 f 0 (u )d 0, dla dowolnego kierunku dopuszczalnego d R n dla zbioru U w punkcie u ( 3 ). Proof. Ustalmy dowolny kierunek dopuszczalny d dla zbioru U wpunkcieu. Warunek i) wynika z poprzedniego twierdzenia. Załóżmy więc, że f 0 (u )d =0. Wówczas, z przynależności funkcji f 0 do klasy C 2 wynika (por. wzór Taylora z reszta w postaci Peana [W. Kołodziej, Analiza Matematyczna, str. 167]), że g(α) g(0) = g 0 (0)α g00 (0)α 2 + o(α 2 ) dla α [0, α], gdzie o(α2 ) α 2 = f 0 (u )dα g00 (0)α 2 + o(α 2 )= 1 2 g00 (0)α 2 + o(α 2 ) 0.Jeśli byłoby d 2 f 0 (u )d<0, to dla dostatecznie małych α 0 wartości α prawa strona powyższej równości byłaby ujemna (bo g 00 (0) = d 2 f 0 (u )d), co oznaczałoby, że g(α) <g(0) dla dostatecznie małych wartości α i sprzeczne byłoby z optymalnościapunktuα =0. Zatem 0 g 00 (0) = d 2 f 0 (u )d, co kończy dowód. Użyteczne jest następujace Twierdzenie 14 (warunki dostateczne drugiego rzędu) Jeśli f 0 : R n R jest klasy C 2 oraz 3 Symbolem 2 f 0 (u ) oznaczamy macierz funkcji f 0 w punkcie u, nazywana hesjanem. h i 2 f 0 x i x j (u ) 1 i,j n drugich pochodnych cz astkowych 28

29 i) f 0 (u )=0, h i ii) macierz 2 f 0 (u )= 2 f 0 x i x j (u ) 0 dla dowolnego k =1,..., n, 1 i,j n to u jest punktem ścisłego minimum lokalnego funkcji f 0 na R n ( 4 ). i jest dodatnio określona, tzn. deth 2 f 0 x i x j (u ) > 1 i,j k 2.4 Programowanie wypukłe - Twierdzenie Kuhna- Tuckera Rozważmy następujace zadanie ½ f 0 (u) inf, u U = {u R n ; u A, f i (u) θ, i =1,..., m} gdzie A R n, f i : R n R, i =0, 1,..., m. Mówimy, że u jest rozwiazaniem globalnym zadania (42), jeśli f i (u ) 0, i =1,..., m, u A (42) oraz dla dowolnego u R n takiego, że f 0 (u ) f 0 (u) f i (u) 0, i =1,..., m, u A. Poniższe twierdzenie pokazuje, że w przypadku zadania (42), przy dodatkowych założeniach wypukłości, zasada Lagrange a prawdziwa jest w postaci wzmocnionej. Twierdzenie 15 (Kuhna-Tuckera) Niech f 0, f 1,...,f m : R n R bed afunkcjamiwypukłymi i A R n - zbiorem wypukłym. Jeśli u jest rozwiazaniem globalnym zadania (42), to istniejamnożniki Lagrange a λ 0 0, λ 1 0,...,λ m 0 nie znikajace jednocześnie i takie, że mx mx λ i f i (u )=min λ i f i (u) (43) u A i=0 i=0 λ i f i (u )=0, i =1,...m. (44) 4 Mówimy, że punkt u R n jest punktem ścisłego minimum lokalnego funkcji f 0 na R n,jeśli istnieje otoczenie V tego punktu takie, że dla dowolnego punktu u V, u 6= u,mamy f 0 (u ) <f 0 (u). 29

30 Jesli ponadto istnieje punkt u A taki, że f i (u) < 0, i =1,..., m, (45) to λ 0 6=0imożna przyjać λ 0 =1. Na odwrót, jeśli istnieja λ 0 > 0, λ 1 0,...,λ m 0 ipunktu takie, że f 1 (u ) 0,..., f m (u ) 0, u A, mx i=0 λ i f i (u )=min u A mx λ i f i (u), i=0 λ i f i (u )=0, i =1,...m, to u jest rozwiazaniem globalnym zadania (42). Uwaga 16 Łatwo widać, że każde rozwiazanie lokalne zadania (42) (przy założeniach wypukłości) jest jego rozwiazaniem globalnym. Zfaktu,że w przypadku funkcji wypukłej i różniczkowalnej na przestrzeni R n zbiór punktów minimum globalnego pokrywa się ze zbiorem punktów, w których znika gradient tej funkcji, wynika następujacy Wniosek 17 Niech f 0, f 1,...,f m : R n R bed afunkcjamiwypukłymiiróżniczkowalnymi. Jeśli u jest rozwiazaniem globalnym zadania (42) ze zbiorem A = R n,toistniej amnożniki Lagrange a λ 0 0, λ 1 0,...,λ m 0 nie znikajace jednocześnie i takie, że P m i=0 λ i f i (u )=0, Jeśli ponadto istnieje punkt u R n taki, że λ i f i (u )=0, i =1,...m. f i (u) < 0, i =1,..., m, to λ 0 6=0imożna przyjać λ 0 =1. Na odwrót, jeśli istnieja λ 0 > 0, λ 1 0,...,λ m 0 ipunktu R n takie, że f 1 (u ) 0,..., f m (u ) 0, P m i=0 λ i f i (u )=0, λ i f i (u )=0, i =1,...m, to u jest rozwiazaniem globalnym zadania (42). 30

31 3 Metody numeryczne 3.1 Metoda gradientowa Rozważmy zadanie bez ograniczeń ½ f0 (u) min u R n, zakładajac, że funkcja f : R n R jest klasy C 1. Korzystajaczdefinicji różniczkowalności funkcji f 0 oraz nierówności Cauchy ego-buniakowskiego ( f 0 (u) v h f 0 (u),vi f 0 (u) v, przy czym jeśli f 0 (u) 6= 0, to prawa nierówność jestrównościatylkodlav = α f 0 (u), a lewa nierówność -tylkodlav = α f 0 (u), gdzieα 0), można pokazać, że jeśli f 0 (u ) 6= 0, to kierunkiem najszybszego spadku wartości funkcji f 0 wpunkcieu 0 jest kierunek antygradientu f 0 (u ) (tzn. dla dowolnego h R n, h 6= f 0 (u ) f 0 (u + τ( f 0 (u ))) <f 0 (u + τh) dla dostatecznie małych τ>0). Na tym spostrzeżeniu opiera się konstrukcja tzw. metody gradientowej - metody przybliżonego wyznaczania rozwiazań powyższego zadania. Niech dany będzie dowolny punkt u 0 R n. Rozważmy ciag (u k ) k N {0} określony w sposób rekurencyjny wzorem u k+1 = u k α k f 0 (u k ),k=0, 1,..., (46) gdzie α k > 0 dla k =0, 1,... jest tzw. krokiem k-tej iteracji. Uwaga 18 Jeśli f 0 (u k ) 6= 0,toα k > 0 można wybrać tak,byspełniona była nierówność f 0 (u k+1 ) <f 0 (u k ) ( 5 ). Jeśli f 0 (u k )=0,topost epowanie należy przerwać (ciag tworzony zgodnie z powyższym wzorem bedzie stały). Punkt u k jest wówczas punktem spełniajacym warunek konieczny istnienia minimum funkcji f 0 na przestrzeni R n.wartoprzypomnieć, że gdy funkcja f jest wypukła, każdy punkt, w którym gradient zeruje sie, jest punktem minimum globalnego funkcji f 0. Sposób ustalania wartości parametru α k wyznacza wariant metody gradientowej. Podamy teraz opis jednego z nich. Otóż, zał óżmy, że funkcja f 0 jest ograniczona z dołu na 5 Zokreślenia różniczkowalności funkcji f 0 w punkcie u: f 0 (u + h) =f 0 (u)+h f 0 (u),hi + o(h), h R n, wynika, że f 0 (u k+1 ) f 0 (u k )=α k [ f 0 (u k ) 2 + bo k (α k )α 1 k ] < 0 dla dostatecznie małych wartości α k > 0, gdziebo k (α) =o( α f 0 (u k )) 31

32 R n iniechdanybędzie zbieżny szereg P k=0 δ k liczb dodatnich. Symbolem f k, k =0, 1,... oznaczmy funkcję postaci f k :[0, ) 3 α 7 f 0 (u k α f 0 (u 0 )) R. Niech dla dowolnego k =0, 1,... liczba α k > 0 będzie taka, że inf f k(α) f k (α k ) inf f k(α)+δ k. (47) α 0 α 0 Z uwagi 18 wynika, że α k > 0 spełniajace(47)istnieje;gdy f 0 (u k )=0istnienie takiego α k > 0 jest oczywiste. Prawdziwe jest następujace Twierdzenie 19 Załóżmy, że funkcja f 0 jest wypukła iróżniczkowalna na przestrzeni R n, przy czym gradient f 0 jest funkcja spełniajac a warunek Lipschitza na R n, tzn. istnieje stała L 0 taka, że f 0 (u) f 0 (y) L u y, u,y R n. Załóżmy także, iż zbiórm δ (u 0 )={u R n ; f 0 (u) f 0 (u 0 )+δ}, gdzieδ = P k=0 δ k,jest ograniczony. Wówczas, ciag (u k ) k N {0} określony warunkami (46)-(47), przy dowolnie ustalonym punkcie pocz atkowym u 0,jesttaki,iż lim f 0(u k )= inf k u R nf 0(u) oraz lim ρ(u k,u )=0, k gdzie U = {u R n ; f 0 (u) = inf u R nf 0(u)}, ρ(u k,u )= inf u k u. u U Uwaga 20 Można pokazać, że przy założeniach powyższego twierdzenia inf u R nf 0(u) > oraz U 6=. 3.2 Metoda projekcji gradientu Rozważmy zadanie z ograniczeniami ½ f0 (u) min u U, zakładajac, że U R n ifunkcjaf 0 : U R jest klasy C 1. Stosowanie metody gradientowej do powyższego zadania może prowadzić do sytuacji, gdy punkty u k nie będanależały do zbioru U. Tęniedogodność można ominać, rzutujac każdy punkt opisany wzorem (46) 32

33 na zbiór U ( 6 ). Uzupełniona w taki sposób metoda gradientowa nazywana jest metoda projekcji gradientu. Ciag kolejnych przybliżeń w metodzie projekcji gradientu tworzony jest zatem zgodnie ze wzorem u k+1 = P U (u k α k f 0 (u k )), k=0, 1,..., (48) przy czym u 0 jest dowolnie ustalonym punktem poczatkowym. Oczywiście w przypadku U = R n metoda projekcji gradientu redukuje sie do metody gradientowej. Uwaga 21 Jeśli dla pewnego k otrzymamy u k+1 = u k (tak bedzie np. w przypadku, gdy f 0 (u k )=0), to postepowanie należy przerwać (ciag tworzony zgodnie z powyższym wzorem bedzie stały). Punkt u k jest w takim przypadaku punktem spełniajacym warunek konieczny istnienia minimum funkcji f 0 na zbiorze domknietym i wypukłym. Warto dodać, że gdy funkcja f jest wypukła, każdy punkt u U spełniajacy warunek u = P U (u α f 0 (u )) dla pewnego α>0, jest punktem minimum globalnego funkcji f 0 na zbiorze U. W przypadku, gdy gradient f 0 jest funkcja lipschitzowskanau ze stała Lipschitza L, jednym ze sposobów wyboru parametru α k, jest wybór w oparciu o warunek 0 <ε 0 α k 2 L +2ε, (49) gdzie ε 0, ε sa dowolnie ustalonymi liczbami dodatnimi, takimi, że ε 0 2. L+2ε Mamy Twierdzenie 22 Niech U R n bedzie zbiorem domknietym i wypukłym, funkcja f 0 : U R -wypukła, klasy C 1,ograniczonazdołu itaka,że gradient f 0 jest funkcja lipschitzowskanau. Wówczas, ciag (u k ) k N {0} określony warunkami (48)-(49), przy dowolnie ustalonym punkcie pocz atkowym u 0,jesttaki,iż lim f 0(u k )=inf f 0(v) k v U oraz lim ρ(u k,u )=0, k gdzie U = {u U; f 0 (u) =inf f 0(v)}. v U Uwaga 23 Przy założeniach powyższego twierdzenia U 6=. 6 Niech U R n będzie dowolnym zbiorem. Rzutem (projekcja) punktu u R n na zbiór U nazywamy najbliższy punktowi u punkt zbioru U, tzn. punkt w U taki, że u w =inf u v. v U Rzut punktu u na zbiór U oznaczać będziemy symbolem P U (u) (w przypadku, gdy rzut nie jest jednoznaczny symbolem P U (u) oznaczamy zbiór wszystkich punktów w spełniajacych powyższy warunek). Jeśli U R n jest zbiorem wypukłym i domkniętym, to każdy punkt u R n posiada jednoznaczny rzut P U (u). 33

34 3.3 Metoda kierunków dopuszczalnych Rozważmy zadanie postaci ½ f 0 (u) min u U = {u R n ; f i (u) θ, i =1,..., m}, (50) gdzie funkcje f i : R n R, i =0, 1,..., m, s aklasyc 1. Wektor e R n nazywamy dopuszczalnym kierunkiem spadku funkcjonału f 0 wpunkcie u R n na zbiorze U R n jeśli e jest kierunkiem dopuszczalnym dla zbioru U wpunkcie u oraz istnieje 0 < β α (por. definicja kierunku dopuszczalnego) takie, że f 0 (u + αe) <f 0 (u) dla wszystkich α (0,β). Podamy teraz sposób konstrukcji ciagu aproksymujacego (u k ) k N. Niech dany będzie punkt u k dla pewnego k 0 (punkt startowy u 0 ustalamy dowolnie, żadaj ac jedynie, by spełniał ograniczenia). Określmy zbiór I k = {i {1,...,m}; f i (u k )=0} (nie wykluczamy przypadku, gdy I k = ). Rozważmy następujace (ogólne) zadanie programowania liniowego J(z) =σ min z Z k = {z =(e, σ) R n+1 ; f 0 (u k )e σ, f i (u k )e σ, i I k, e j 1, j=1,..., n}.. (51) Zadanie (51) jest ogólnym zadaniem programowania liniowego. Oczywiście (0, 0) Z k. Ponadto, inf J(z) = infj(z), gdziez 0 z Z k z Zk 0 k = {z Z k; σ 0}. Łatwo widać, że zbiór Zk 0 jest ograniczony: (e, σ) e e n + σ n + σ n + h f 0 (u k ),ei n + c f 0 (u k ) e n + c f 0 (u k ) n dla (e, σ) Zk 0,gdziec jest pewn astał adodatni a. Oznacza to, wobec domkniętości zbioru Zk 0, że jest zbiór zwarty i tym samym inf J(z) = infj(z) R. Z twierdzenia 3 wynika z Z k z Zk 0 więc, że zadanie (51) posiada rozwiazanie. Rozwiazanie zadania (51) można otrzymać, stosujac np. metodę sympleksowa. Oznaczmy to rozwiazanie przez (e k,σ k ).Jakzauważyliśmy wcześniej, σ k 0. Można podać założenia, przy których zbiór U dla zadania (50) jest niepusty, i określić sposób wyboru punktu u k+1,przypomocywektorae k,gwarantuj acy zbieżność metody, tzn. spełnienie warunków lim f 0(u k )=inf f 0(v) k v U oraz lim ρ(u k,u )=0. k 34