Metody optymalizacji. notatki dla studentów matematyki semestr zimowy 2015/2016

Metody optymalizacji notatki dla studentów matematyki semestr zimowy 2015/2016 Aktualizacja: 11 stycznia 2016

Spis treści Spis treści 2 1 Wprowadzenie do optymalizacji 1 11 Podstawowe definicje i własności 1 12 Różne typy zadań 2 13 Zadania 4 2 Zadania bez ograniczeń 5 21 Warunek konieczny istnienia ekstremum 5 22 Warunek wystarczający istnienia ekstremum 5 23 Ekstrema globalne 7 24 Zadania 9 3 Warunki konieczne istnienia ekstremum w zadaniach z ograniczeniami 10 31 Ograniczenia typu równość 10 32 Ograniczenia typu nierówność 12 33 Ograniczenia mieszane 15 34 Twierdzenie Kuhna-Tuckera 17 35 Zadania 19 4 Warunki wystarczające istnienia ekstremum w zadaniach z ograniczeniami 20 41 Ograniczenia typu równość 20 42 Przypadek ogólny ograniczenia mieszane 22 5 Interpretacja mnożników 24 51 Ograniczenia typu równość 24 52 Ograniczenia typu nierówność 25 6 Twierdzenia o obwiedni 26 61 Problem bez ograniczeń 26 62 Zadanie z ograniczeniami 27 Bibliografia 29

Rozdział 1 Wprowadzenie do optymalizacji 11 Podstawowe definicje i własności Niech U R n, n 1, f : U R Definicja 11 Mówimy, że funkcja f przyjmuje w punkcie x 0 U minimum globalne wtedy i tylko wtedy, gdy x U f (x) f (x 0 ) Analogicznie, f przyjmuje w punkcie x 0 U maksimum globalne wtedy i tylko wtedy, gdy x U f (x) f (x 0 ) Definicja 12 Mówimy, że funkcja f przyjmuje w punkcie x 0 U minimum wtedy i tylko wtedy, gdy istnieje kula otwarta K (x 0, δ) o środku w x 0 i promieniu δ > 0 taka, że x K (x 0, δ) f (x) f (x 0 ) Analogicznie, f przyjmuje w punkcie x 0 U maksimum wtedy i tylko wtedy, gdy istnieje kula otwarta K (x 0, δ) o środku w x 0 i promieniu δ > 0 taka, że x K (x 0, δ) f (x) f (x 0 ) Uwaga 11 Maksimum oraz minimum zarówno lokalne i globalne, to wartość funkcji w punkcie, obie wartości obejmujemy wspólną nazwą ekstremum Natomiast sam punkt x 0, w którym ekstremum jest osiągnięte nazywamy punktem ekstremum (maksimum lub minimum) W odniesieniu do punktu x 0 funkcjonuje również w literaturze nazwa minimizer (maximizer) Uwaga 12 W wykładzie stosujemy umowę, według której określenie minimum oraz maksimum odnosi się zawsze do minimum oraz maksimum z definicji 12, zwanego w literaturze lokalnym Mówiąc o minimum lub maksimum globalnym musimy dodać przymiotnik globalne Kluczowe dla istnieniu ekstremów globalnych jest następujące Twierdzenie 11 (Weirstrassa) Jeśli U jest zbiorem zwartym (to znaczy domkniętym i ograniczonym), zaś funkcja f jest ciągła, to f osiąga swoje kresy Innymi słowy istnieją punkty ˇx, ˆx U, będące punktami maksimum i minimum globalnego: f (ˇx) = inf f (x), x U f (ˆx) = sup f (x) x U 1

ROZDZIAŁ 1 WPROWADZENIE DO OPTYMALIZACJI 2 Dowód Dowód przeprowadzimy dla minimum Rozważmy ciąg minimalizujący funkcji f, to znaczny ciąg (x n ) U taki, że lim f (x n) = inf f (x) n x U Istnienie powyższego ciągu wynika bezpośrednio z określenia kresu dolnego Ponieważ zbiór U jest zwarty, więc z ciągu (x n ) można wybrać podciąg (x nk ) k N zbieżny do pewnego x 0 U, to znaczy lim x n k = ˇx U k Oczywiście z jednoznaczności granicy mamy, że lim k f (x nk ) = inf x U f (x), czyli (x nk ) k N też jest ciągiem minimalizującym funkcji f Wobec ciągłości f mamy, że Zatem ˇx jest punktem minimum funkcji 12 Różne typy zadań inf f (x) = lim f (x n k ) = f (ˇx) x U k Podamy teraz kilka typów zadań, które będziemy badać w dalszej części wykładu Od tego momentu zakładamy w całym wykładzie, że zbiór U jest zbiorem otwartym W większości przykładów i zastosowań U = R n Zadanie bez ograniczeń Zadanie polega na znalezieniu maksimum lub minimum funkcji f na zbiorze U Symbolicznie zapisujemy powyższe zadanie jako: { f (x) max (min) (UM) x U Poprzez rozwiązanie zadania rozumiemy argument ekstremum Przy założeniu różniczkowalności f stosujemy tu podstawowe narzędzia rachunku różniczkowego Ze względu na otwartość zbioru U nie możemy zastosować twierdzenia Weirstrassa Zadanie z ograniczeniami typu równość Niech dane będą funkcje h i : U R, oraz stałe c i R, gdzie i = 1,, m Zadanie polega na znalezieniu maksimum lub minimum funkcji f na zbiorze C h := {x U : h i (x) = c i, i = 1,, m} Symbolicznie zapisujemy powyższe zadanie jako: { f (x) max (min) h i (x) = c i, i = 1, 2,, m (ECM) Przy założeniu ciągłości funkcji h i zbiór C h jest zbiorem domkniętym, jeżeli jest również ograniczony, to z twierdzenia Weirstrassa wynika natychmiast, że zadanie ma rozwiązanie (będące maksimum (minimum) globalnym) Przykład 11 { f (x1, x 2 ) = x 2 1x 2 min x 2 1 + x 2 2 = 1 W naszym przypadku h 1 (x 1, x 2 ) = x 2 1 + x 2 2, c 1 = 1 (i = 1) oraz U = R 2

ROZDZIAŁ 1 WPROWADZENIE DO OPTYMALIZACJI 3 Zadanie z ograniczeniami typu nierówność Niech dane będą funkcje g i : U R, oraz stałe b i R, gdzie i = 1,, k Zadanie polega na znalezieniu maksimum lub minimum funkcji f na zbiorze C g := {x U : g i (x) b i, i = 1,, k} Symbolicznie zapisujemy powyższe zadanie jako: { f (x) max (min) g i (x) c i, i = 1, 2,, k (ICM) Tak jak w zadaniu z ograniczeniami typu równość, przy założeniu ciągłości funkcji g i zbiór C g jest zbiorem domkniętym, jeżeli jest również ograniczony, to z twierdzenia Weirstrassa wynika natychmiast, że zadanie ma rozwiązanie (będące maksimum (minimum) globalnym) Przykład 12 Rozważmy sytuację, w której klient może zakupić na rynku dobra (towary lub usługi) 1 i 2 po cenach p 1, p 2 > 0 odpowiednio Przypuśćmy, że klient ma do dyspozycji budżet I > 0 Załóżmy, że I jest kwotą, której nie może przekroczyć zakupując dobra, ale nie musi jej całkowicie spożytkować Niech x 1, x 2 oznaczają ilości dóbr 1 i 2 zakupionych przez klienta odpowiednio W ekonomii rozważa się tzw funkcje użyteczności mierzące poziom zadowolenia klienta z nabytych dóbr Przykładem takiej funkcji jest funkcja postaci f (x 1, x 2 ) = x α 1 x 1 α 2, gdzie α jest ustaloną liczbę rzeczywistą Wówczas zadanie polegające na znalezieniu takiego koszyka dóbr, a więc ilości dóbr x 1, x 2, aby klient był maksymalnie zadowolony jest zadaniem maksymalizacji z ograniczeniami typu nierówność f (x 1, x 2 ) = x α 1 x 1 α 2 max x 1 0, x 2 0, x 1 p 1 + x 2 p 2 I Oczywiście U = R 2, g 1 (x 1, x 2 ) = x 1, g 2 (x 1, x 2 ) = x 2, g 3 (x 1, x 2 ) = x 1 p 1 +x 2 p 2 Ograniczenia g 1, g 2 są ograniczeniami wynikającymi z tego, że ilości zakupionych dóbr nie mogą być ujemne Zadanie z ograniczeniami mieszanymi Zadanie obejmuje zarówno ograniczenia typu równość jak i nierówność Polega na znalezieniu maksimum lub minimum funkcji f na zbiorze C g := {x U : h j (x) = c j, g i (x) b i, j = 1,, m, i = 1,, k} Symbolicznie zapisujemy powyższe zadanie jako: f (x) max (min) h j (x) = c j, j = 1,, m, g i (x) c i, i = 1, 2,, k (CM) Nie wykluczamy również przypadku m = 0 (brak ograniczeń typu równość) oraz k = 0 (brak ograniczeń typu nierówność), zakładamy jednak, że przynajmniej jedna z liczb m, k jest dodatnia

ROZDZIAŁ 1 WPROWADZENIE DO OPTYMALIZACJI 4 Przykład 13 Jeżeli w przykładzie 12 założymy, że na zakup dóbr przeznaczamy cały budżet, to otrzymujemy zadanie maksymalizacji z ograniczeniami mieszanymi postaci 13 Zadania f (x 1, x 2 ) = x α 1 x 1 α 2 max x 1 0, x 2 0, x 1 p 1 + x 2 p 2 = I Zadanie 11 Korzystając z definicji obliczyć pochodne kierunkowe funkcji f we wskazanych punktach x 0 i kierunkach h : a) f (x 1, x 2 ) = x 2 1x 3 2, x 0 = (1, 2), h = (2, 3) b) f (x 1, x 2 ) = x 2 1 + x 2 2, x 0 = ( 3, 4), h = ( 12, ) 5 13 13 ( c) f (x 1, x 2, x 3 ) = e x 1x 2 x 3 1, x 0 = ( 1, 1, 1), h =, 3, ) 3 3 4 4 d) f (x 1, x 2, x 3 ) = x 1x 2 2, x x 3 0 = (16, 3, 2), h = (1, 1, 1) 3 e) f (x 1, x 2 ) = x 1 x 2 ln (x 1 + x 2 ), x 0 = (1, 1), h = (2, 1) Zadanie 12 Dla funkcji z zadania 11 obliczyć pochodne cząstkowe i gradienty, a następnie wykorzystując gradienty obliczyć pochodne kierunkowe funkcji f we wskazanych punktach x 0 i kierunkach h

Rozdział 2 Zadania bez ograniczeń 21 Warunek konieczny istnienia ekstremum Twierdzenie 21 (Fermata) Niech f : U R (U R n jest zbiorem otwartym) będzie funkcją posiadającą wszystkie pochodne cząstkowe Wówczas, jeśli f ma w punkcie x 0 ekstremum, to f (x 0 ) = 0 Dowód Niech e i, i = 1,, n oznacza i ty wersor osi Wówczas f x i (x 0 ) = ϕ i (0), i = 1,, n, gdzie funkcja ϕ i, określona i różniczkowalna w pewnym otoczeniu ( ε, ε) liczby 0, jest dana wzorem ϕ i (t) = f (x 0 + te i ), i = 1,, n Skoro f posiada w x 0 ekstremum (dla ustalenia uwagi załóżmy, że jest to maksimum), to f (x 0 + te i ) f (x 0 ), t ( ε, ε), co oznacza, że ϕ i posiada maksimum w zerze, zatem ϕ i (0) = 0 22 Warunek wystarczający istnienia ekstremum Podobnie jak w przypadku jednowymiarowym warunki wystarczające mogą być związane z drugą pochodną funkcji f Jej wielowymiarowym odpowiednikiem (w rozważanym przypadku funkcji f : U R) jest tzw macierz Hessego postaci f (x 0 ) = 2 f 2 f (x 0 ) (x 0 ) 2 f (x 0 ) 2 f (x 0 ) W naszych rozważaniach będzie to zawsze macierz symetryczna Definicja 21 Mówimy, że symetryczna macierz M R n n jest: dodatnio określona fakt ten zapisujemy jako M 0; h R n \ {0} h M h T > 0, 5

ROZDZIAŁ 2 ZADANIA BEZ OGRANICZEŃ 6 dodatnio półokreślona fakt ten zapisujemy jako M 0; ujemnie określona fakt ten zapisujemy jako M 0; ujemnie półokreślona fakt ten zapisujemy jako M 0 h R n h M h T 0, h R n \ {0} h M h T < 0, h R n h M h T 0, Jeśli nie zachodzi żaden z powyższych przypadków, to mówimy, że macierz M jest nieokreślona Mamy Twierdzenie 22 (Warunek wystarczający istnienia ekstremum) Niech f : U R będzie funkcją klasy C 1 w pewnym otoczeniu punktu x 0 U oraz niech (a) f (x 0 ) = 0, (b) f (x 0 ) będzie macierzą dodatnio lub ujemnie określoną Wówczas f przyjmuje w x 0 ekstremum lokalne, przy czym: jeśli f (x 0 ) 0, to x 0 jest punktem minimum, jeśli f (x 0 ) 0, to x 0 jest punktem maksimum Powyższe twierdzenie jest warunkiem wystarczającym, ale nie koniecznym Zatem jeśli f (x 0 ) nie jest ani dodatnio ani ujemnie określona to nie oznacza to, że punkt x 0 nie jest punktem ekstremum Jeżeli jednak f (x 0 ) jest nieokreślona, to funkcja nie posiada ekstremum w x 0 Przyjrzyjmy się dokładniej tej sytuacji Mamy Definicja 22 Niech f : U R Punkt x 0 U nazywa się punktem siodłowym funkcji f, jeśli funkcja osiąga w tym punkcie minimum w pewnym kierunku (to znaczy f E1 U osiąga minimum dla pewnej jednowymiarowej przestrzeni E 1 ) oraz osiąga maksimum w innym kierunku (to znaczy f E2 U osiąga maksimum dla pewnej jednowymiarowej przestrzeni E 2 ) Twierdzenie 23 Punkt krytyczny x 0 funkcji klasy C 1 jest punktem siodłowym, gdy hesjan f (x 0 ) jest nieokreślony Badanie określoności macierzy na podstawie definicji jest oczywiście bardzo kłopotliwe Podamy więc dwa kryteria ułatwiające to zadanie Pierwsze z niech jest oparte na wartościach własnych macierzy, drugie znane z literatury jako kryterium Sylvestera Twierdzenie 24 (Kryterium wartości własnych) Niech dana będzie rzeczywista, symetryczna macierz M R n n Wówczas: M 0, gdy jej wszystkie wartości własne są dodatnie, M 0, gdy jej wszystkie wartości własne są nieujemne,

ROZDZIAŁ 2 ZADANIA BEZ OGRANICZEŃ 7 M 0, gdy jej wszystkie wartości własne są ujemne, M 0, gdy jej wszystkie wartości własne są niedodatnie Przed podaniem drugiego kryterium przypomnijmy kilka definicji Definicja 23 Minorem macierzy M nazywamy wyznacznik dowolnej macierzy kwadratowej A otrzymanej z M poprzez skreślenie (usunięcie) pewnej liczby wierszy i pewnej liczby kolumn Jeżeli macierz M jest kwadratowa, zaś usunęliśmy dokładnie n k (gdzie k {1,, n}) wierszy i kolumn o tych samych numerach, to wyznacznik tak otrzymanej macierzy nazywa się minorem głównym rzędu k Jeżeli dodatkowo, usunęliśmy wszystkie wiersze i kolumny o numerach większych niż pewne k n, to minor główny nazywa się minorem głównym wiodącym rzędu k 1 Twierdzenie 25 (Kryterium Sylvestera) Niech dane będzie macierz M R n n, wówczas M 0, gdy jej wszystkie minory główne wiodace są dodatnie, M 0, gdy jej minory główne wiodące zmieniają znak (czyli brane po kolei mają naprzemienny znak), przy czym minor rzędu pierwszego jest ujemny (innymi słowy dowolny minor rzędu k ma znak ( 1) k ), M 0, gdy jej wszystkie minory główne są nieujemne, M 0, gdy jej wszystkie minory główne nieparzystego rzędu są niedodatnie oraz wszystkie minory główne parzystego rzędu są nieujemne Na podstawie kryterium Sylvestera można bez trudu sformułować warunek wystarczający istnienia ekstremum w oparciu o twierdzenie 22 Tu ograniczymy się jedynie do przypadku funkcji dwu zmiennych Twierdzenie 26 Niech f : U R (gdzie U R 2 ) będzie funkcją klasy C 1 w pewnym otoczeniu punktu x 0 U Załóżmy że f (x 0 ) = 0 Wówczas, jeśli det f (x 0 ) > 0, to f osiąga w x 0 ekstremum, przy czym jeśli 2 f (x 0 ) > 0, to f ma w x 0 minimum, 2 f (x 0 ) < 0, to f ma w x 0 maksimum Jeśli det f (x 0 ) < 0, to x 0 jest punktem siodłowym, czyli f nie osiąga ekstremum w x 0 23 Ekstrema globalne Definicja 24 Zbiór E R n nazywamy wypukłym, jeżeli dla dowolnych punktów x, y E cały odcinek łączący x i y należy do E, tzn x, y E t [0, 1] t x + (1 t) y E Definicja 25 Załóżmy, że E R n jest zbiorem wypukłym Mówimy, że funkcja f : E R jest: 1 Zarówno w przypadku minora głównego jak i głównego wiodącego jego rzędem jest jego wymiar

ROZDZIAŁ 2 ZADANIA BEZ OGRANICZEŃ 8 wypukła wtedy i tylko wtedy, gdy x, y E t [0, 1] f (t x + (1 t) y) t f (x) + (1 t) f (y), ściśle wypukła wtedy i tylko wtedy, gdy x, y E t (0, 1) f (t x + (1 t) y) < t f (x) + (1 t) f (y), wklęsła wtedy i tylko wtedy, gdy x, y E t [0, 1] f (t x + (1 t) y) t f (x) + (1 t) f (y), ściśle wklęsła wtedy i tylko wtedy, gdy x, y E t (0, 1) f (t x + (1 t) y) > t f (x) + (1 t) f (y) Twierdzenie 27 Załóżmy, że U R n jest zbiorem wypukłym i otwartym, f : U R funkcją klasy C 2 Wówczas: (a) następujące trzy warunki są równoważne: (i) f jest funkcją wklęsłą (ii) x, y U f (y) f (x) f (x) (y x), (iii) x U f (x) 0 (f (x) jest ujemnie półokreślona dla wszystkich x U), (b) następujące trzy warunki są równoważne: (i) f jest funkcją wypukłą (ii) x, y U f (y) f (x) f (x) (y x), (iii) x U f (x) 0 (f (x) jest dodatnio półokreślona dla wszystkich x U), (c) jeśli f jest wklęsła oraz f (x 0 ) = 0 dla pewnego x 0 U, to f osiąga w x 0 maksimum globalne, (d) jeśli f jest wypukła oraz f (x 0 ) = 0 dla pewnego x 0 U, to f osiąga w x 0 minimum globalne Przykład 21 Niech f (x 1, x 2 ) = x 4 1 + x 4 2 Znajdziemy ekstrema f Mamy: f (x 1, x 2 ) = [ 4x 3 1, 4x 3 2] = 0 x1 = x 2 = 0 Zatem f może osiągnąć ekstremum jedynie w punkcie (0, 0) Skorzystamy najpierw z warunku wystarczającego Mamy [ ] 12x f 2 (x 1, x 2 ) = 1 0 0 12x 2 2 a więc kryterium z twierdzenia 26 nie rozstrzyga Zauważmy jednak, że f (x) 0 dla dowolnych x R 2 (wszystkie minory główne są nieujemne) a zatem f jest wypukła i na mocy twierdzenia 27 punkt (0, 0) jest argumentem minimum globalnego oraz f max (0, 0) = 0

ROZDZIAŁ 2 ZADANIA BEZ OGRANICZEŃ 9 24 Zadania Zadanie 21 Zbadać określoność macierzy [ ] [ ] [ 2 1 3 4 3 4 a) b) c) 1 1 4 5 4 6 1 0 3 0 1 1 0 f) 1 1 0 g) 0 2 0 5 3 0 4 0 0 0 2 0 5 0 6 ] d) [ 2 4 4 8 ] e) 1 2 0 2 4 5 0 5 6 Zadanie 22 Dla podanych niżej funkcji wyznaczyć punkty krytyczne oraz rozstrzygnąć, czy powyższe punkty są punktami minimum, maksimum, czy też punktami siodłowymi a) f (x 1, x 2 ) = x 4 1 + x 2 2 6x 1 x 2 + 3x 2 2 b) f (x 1, x 2 ) = x 2 1 6x 1 x 2 + 2x 2 2 + 10x 1 + 2x 2 5 c) f (x 1, x 2 ) = x 1 x 2 2 + x 3 1x 2 x 1 x 2 d) f (x 1, x 2 ) = 3x 4 1 + 3x 2 1x 2 x 3 2 e) f (x 1, x 2, x 3 ) = x 2 1 + 6x 1 x 2 + x 2 2 3x 2 x 3 + 4x 2 3 10x 1 5x 2 21x 3 f) f (x 1, x 2, x 3 ) = (x 2 1 + 2x 2 2 + 3x 2 3) e (x2 1 +x2 2 +x2 3) Zadanie 23 Które z punktów krytycznych z zadania 22 są punktami maksimum lub minimum globalnego?

Rozdział 3 Warunki konieczne istnienia ekstremum w zadaniach z ograniczeniami 31 Ograniczenia typu równość Zajmować się będziemy zadaniem minimalizacji (maksymalizacji) z ograniczeniami typu równość postaci { f (x) min (max) (ECM) h i (x) = c i, i = 1, 2,, m gdzie f : R n R, h i : R n R, c i R, i = 1, 2,, m Najpierw rozważymy przypadek dwuwymiarowy (n = 2) przy jednym ograniczeniu (m = 1) Mamy następujące Twierdzenie 31 Niech f, h : R 2 R będą funkcjami klasy C 1 Przypuśćmy, że punkt x = (x 1, x 2) R 2 jest rozwiązaniem zadania (ECM) postaci { f (x) min (max) h (x) = c Przypuśćmy, że x nie jest punktem krytycznym h, tzn h 0 (31) Wówczas istnieje liczba rzeczywista µ taka, że (x 1, x 2, µ ) R 3 jest punktem krytycznym funkcji L (x 1, x 2, µ) := f (x 1, x 2 ) µ (h (x 1, x 2 ) c) Innymi słowy L L ((x 1, x 2, µ )) = 0 L x 2 L ((x 1, x 2, µ )) = 0 L L µ ((x 1, x 2, µ )) = 0 Twierdzenie 32 Niech f : R n R, oraz h i : R n R, i = 1, 2,, m będą funkcjami klasy C 1 Przypuśćmy, że x R n jest rozwiązaniem (lokalnym) zadania (ECM) Załóżmy dalej, że h 1 (x h ) 1 rank = m (32) h m (x h ) m 10

ROZDZIAŁ 3 WARUNKI KONIECZNE ISTNIENIA EKSTREMUM W ZADANIACH Z OGRANICZENIAMI 11 Wówczas istnieje wektor µ R m taki, że punkt (x, µ ) R n R m jest punktem krytycznym funkcji m L (x, µ) := f (x) µ i (h (x) c i ) (33) Innymi słowy { L i=1 L (x, µ ) = 0,, L L (x, µ ) = 0 L µ 1 L (x, µ ) = 0,, L µ m L (x, µ ) = 0 Uwaga 31 Funkcję L : R n R m R zdefiniowaną wzorem (33) nazywamy funkcją Lagrange a Uwaga 32 Warunek (32) jest wielowymiarowym odpowiednikiem warunku (31) Rzeczywiście, definiując funkcję h = (h 1,, h m ) : R n R m widzimy, że macierz warunku (32) jest macierzą Jakobiego funkcji h Warunek rzędu (32) oznacza teraz, że pochodna h jest odwzorowaniem liniowym, które jest bijekcją (odwzorowaniem na) Przyjmuje się nawet, że jeśli ten warunek nie jest spełniony, czyli rank h < m, to x nazywa się punktem krytycznym funkcji h W dalszych rozważaniach będziemy mówić, że jeśli w punkcie x jest spełniony warunek (32), to odwzorowanie h = (h 1,, h m ) : R n R m spełnia warunek (NDCQ) nondegenerate constraint qaulification w punkcie x Uwaga 33 Warunek (32) łatwo jest zapamiętać, jeśli zauważymy, że wiersze macierzy z tego warunku są gradientami funkcji h i Wtedy warunek (32) można wyrazić jako żądanie liniowej niezależności wektorów h 1,, h m W dowodzie twierdzenia 32 wykorzystujemy następujące Twierdzenie 33 (O funkcji uwikłanej) Niech F = (F 1,, F k ) : U R k, gdzie U R n+k jest zbiorem otwartym, będzie funkcją klasy C 1 Niech (x, y ) = ((x 1,, x n), (y1,, yk )) U Załóżmy dalej, że F (x, y ) = 0 oraz F 1 y 1 (x, y F ) 1 y k (x, y ) det 0, F k y 1 (x, y G ) k y k (x, y ) to znaczy pochodna F y (x, y ) : R k R k jest odwracalna Wówczas istnieją kule K (x, δ 1 ) R k, K (y, δ 2 ) R k oraz odwzorowanie ϕ : K (x, δ 1 ) K (y, δ 2 ) takie, że F (x, y) = 0 y = ϕ(x) dla (x, y) K (x, δ 1 ) K (y, δ 2 ) Dowód twierdzenia 32 Pokażemy najpierw, że rząd macierzy f (x f ) h 1 x 1 (x h ) 1 h m (x h ) m jest mniejszy niż m+1 Przypuśćmy przeciwnie, że wynosi on m+1 Oczywiście m n Oznacza to, że z macierzy (34) można wybrać podmacierz nieosobliwą wymiaru (m + 1) (m + 1) Załóżmy dla prostoty, że jest to macierz f (x f ) x m+1 (x ) h 1 x 1 (x h ) 1 x m+1 h m (x h ) m x m+1 (34)

ROZDZIAŁ 3 WARUNKI KONIECZNE ISTNIENIA EKSTREMUM W ZADANIACH Z OGRANICZENIAMI 12 Niech c 0 = f Dla ustalonego t rozważmy układ równań f ( x 1,, x m+1, x ( m+1, xn) c0 t = 0 h 1 x1,, x m+1, x m+2, xn) c1 = 0 h m ( x1,, x m+1, x m+2, x n) cm = 0 z niewiadomymi x 1,, x m+1 Wiadomo, że ( x 1,, x m+1) jest rozwiązaniem tego układu dla t = 0 Niech F 0 (x 1,, x m+1, t) = f ( x 1,, x m+1, x m+2, x n) c0 t oraz F i (x 1,, x m+1, t) = h i ( x1,, x m+1, x m+2, x n) ci, i = 1,, m Z twierdzenia 33 wynika teraz, że istnieją kule ( ε, ε), K 1 = K (( ) x 1,, xm+1), δ, oraz funkcja ϕ = (ϕ 1,, ϕ m+1 ) : ( ε, ε) K 1 taka, że f ( x F 0 (x 1,, x m+1, t) = 0 1,, x m+1, x m+2, xn) c0 t = 0 ( h 1 x1,, x m+1, x m+2, xn) c1 = 0 ϕ 1 (t) = x 1 F m (x 1,, x m+1, t) = 0 h m ( x1,, x m+1, x m+2, x n) cm = 0 dla (x 1,, x m+1, t) K 1 ( ε, ε) W szczególności, dla pewnego t 0 ( x 1,, x n ) = ( ϕ 1 (t 0 ),, ϕ m+1 (t 0 ), x m+2, xn) taki, że f ( x 1,, x n ) (c 0 + t 0 ) = 0 h 1 ( x 1,, x n ) c 1 = 0 h m ( x 1,, x n ) c m = 0 ϕ m+1 (t) = x m+1 (35) > 0 istnieje punkt Oznaczałoby to, że punkt x = ( x 1,, x n ) spełnia ograniczenia h i ( x) = c i, i = 1, 2,, m oraz f ( x) = c 0 + t 0 > f Ze względu na fakt, że promienie δ i ε mogą być dowolnie zmniejszane dostajemy sprzeczność z faktem, że x jest rozwiązaniem zadania (ECM) Pokazaliśmy zatem, że wektory f, h 1,, h m są liniowo zależne Zatem istnieją stałe µ 1,, µ m R takie, że f = m h j, j=1 skąd 32 Ograniczenia typu nierówność Tym razem zajmiemy się zadaniem maksymalizacji z ograniczeniami typu nierówność postaci { f (x) max (ICM) g i (x) b i, i = 1, 2,, k gdzie f : R n R, g i : R n R, b i R, i = 1, 2,, k Ustalmy punkt x R n spełniający warunki ograniczenia Wówczas, jeśli dla pewnego i 0 {1,, k} zachodzi warunek g i0 = b i0, to mówimy, że ograniczenie i 0 (g i0 (x) b i0 ) jest

ROZDZIAŁ 3 WARUNKI KONIECZNE ISTNIENIA EKSTREMUM W ZADANIACH Z OGRANICZENIAMI 13 aktywne w punkcie x W przeciwnym razie, ograniczenie i 0 jest nieaktywne (pasywne) w punkcie x Dla ustalonego punktu x R n zmieniając ewentualnie porządek indeksów możemy zawsze założyć, że pierwsze k 0 (k 0 {0,, k}) ograniczeń jest aktywnych w x, zaś pozostałe k k 0 ograniczeń, to ograniczenia pasywne w x Nie wykluczamy tu oczywiście sytuacji, że k 0 = 0 (wszystkie ograniczenia są pasywne w x ) oraz k 0 = k (wszystkie ograniczenia są aktywne w x ) Tak jak poprzednio najpierw rozważymy przypadek dwuwymiarowy (n = 2) przy jednym ograniczeniu (k = 1) Mamy następujące Twierdzenie 34 Niech f, g : R 2 R będą funkcjami klasy C 1 Przypuśćmy, że punkt x = (x 1, x 2) R 2 jest rozwiązaniem zadania maksymalizacji (ICM) postaci { f (x) max g (x) b Przypuśćmy, że x nie jest punktem krytycznym g, tzn Rozważmy funkcję Lagrange a postaci g 0 (36) L (x 1, x 2, λ) := f (x 1, x 2 ) λ (g (x 1, x 2 ) b), dla (x 1, x 2, λ) R 3 Wówczas istnieje liczba nieujemna λ 0 taka, że 1 L (x 1, x 2, λ ) = 0, 2 L x 2 (x 1, x 2, λ ) = 0, 3 λ (g (x 1, x 2) b) = 0, 4 λ 0 5 g (x 1, x 2) b Twierdzenie 35 Niech f : R n R, oraz g i : R n R, i = 1, 2,, k będą funkcjami klasy C 1 Przypuśćmy, że x R n jest rozwiązaniem (lokalnym) zadania maksymalizacji (ICM) postaci { f (x) max (37) g i (x) b i, i = 1, 2,, k Załóżmy dalej, że pierwsze k 0 ograniczeń, to ograniczenia aktywne w x, zaś pozostałe k k 0 ograniczeń, to ograniczenia pasywne w x Załóżmy dalej, że warunek (NDCQ) jest spełniony dla indeksów aktywnych: rank g 1 g 1 g k0 (x g ) k0 Rozważmy funkcję Lagrange a L : R n R k R postaci L (x, λ) := f (x) k λ j (g j (x) b j ) Wówczas istnieje wektor λ R k taki, że para (x, λ ) spełnia warunki j=1 = k 0 (38)

ROZDZIAŁ 3 WARUNKI KONIECZNE ISTNIENIA EKSTREMUM W ZADANIACH Z OGRANICZENIAMI 14 1 L x i (x, λ ) = 0, dla i = 1,, n, 2 λ i (g i b i ) = 0, dla i = 1,, k, 3 λ i 0, dla i = 1,, k, 4 g i b i, dla i = 1,, k Dowód Przypuśćmy, że x R n jest rozwiązaniem zadania maksymalizacji (ICM) Załóżmy, że tylko pierwsze k 0 ograniczeń, to ograniczenia aktywne w x : g i = b i, dla i = 1,, k 0, g i < b i, dla i = k 0 + 1,, k Wobec ciągłości funkcji g mamy, że istnieje pewna kula otwarta K (x, r), r > 0 otaczająca punkt x, że dla punktów z tej kuli ograniczenia k 0 + 1,, k pozostają nieaktywne: g i (x) < b i, dla x K (x, r), i = k 0 + 1,, k Zauważmy, że punkt x jest rozwiązaniem następującego zadania typu (ECM) w kuli K (x, r) f (x) max x K (x, r) g i (x) = b i, i = 1, 2,, k 0 Gdyby tak nie było, to istniałby punkt x R n spełniający ograniczenia g i (x ) = b i, i = 1, 2,, k 0 i taki, że f (x ) > f Oczywiście również g i (x ) < b i, i = k 0 + 1,, k, czyli x jest rozwiązaniem zadania (37) oraz f (x ) > f, co jest sprzeczne z tym, że x już również rozwiązaniem tego zadania a promień r > 0 może być dowolnie zmniejszony Połóżmy λ k0 +1 = = λ k Stosując twierdzenie 32 dostajemy, że istnieją liczby µ 1,, µ k 0, że ( x, µ 1,, µ k 0 ) jest punktem krytycznym funkcji k 0 ˆL (x, µ 1,, µ m ) := f µ j (g j (x) b j ) Kładąc λ k 0 +1 = = λ k = 0 i λ = ( µ 1,, µ k 0, λ k 0 +1, λ k) mamy więc, że L x i (x, λ ) = f x i dla i = 1,, n, oraz dla i = 1,, k 0, skąd k 0 j=1 µ j (g j (x) b j ) k j=k 0 +1 j=1 ˆL µ i ( x, µ 1,, µ k 0 ) = µ i (g i b i ) = 0 λ i (g i b i ) = 0, λ j (g j (x) b j ) = ˆL x i ( x, µ 1,, µ k 0 ) = 0, dla i = k 0 + 1,, k Aby zakończyć dowód twierdzenia wystarczy więc pokazać, że µ i 0 dla i = 1,, k 0 W tym celu dla ustalonego parametru t rozważmy układ równań ( g 1 x1,, x k0, x k 0 +1,, n) x = b1 t (39) ( g k0 x1,, x k0, x k 0 +1,, ) x n = bk0

ROZDZIAŁ 3 WARUNKI KONIECZNE ISTNIENIA EKSTREMUM W ZADANIACH Z OGRANICZENIAMI 15 z niewiadomymi x 1,, x k0 Wobec założenia (NDCQ) i z faktu, że x 1,, x k 0 spełnia układ (39) dla t = 0 możemy do układu zastosować twierdzenie 33 o funkcji uwikłanej Zatem istnieje przedział ( ε, ε), kula K 1 = K (( ) ) x 1, x k 0, δ oraz funkcja ϕ = (ϕ1, ϕ k ) : ( ε, ε) K 1 taka, że ( g 1 x1, x k0, x k 0 +1,, n) x = b1 t x 1 = ϕ 1 (t) ( g k0 x1, x k0, x k 0 +1,, ) x n = bk0 x k0 = ϕ k0 (t) dla (x 1, x k0, t) K 1 ( ε, ε) Zauważmy teraz, że dla t (0, ε) punkt ( ϕ 1 (t),, ϕ k0 (t), x k 0 +1,, x n spełnia ograniczenia (bo spełnia układ), więc f ( ϕ 1 (t),, ϕ k0 (t), x k 0 +1,, x n) f ( ϕ1 (0),, ϕ k0 (0), x k 0 +1,, x n) = f, (310) dla t (0, ε), bo x maksymalizuje f na zbiorze ograniczeń Zauważmy, że d dt f ( ϕ 1 (t),, ϕ k0 (t), x k 0 +1,, x n) ( ) t=0 = f ϕ 1 (0),, ϕ k 0 (0), 0,, 0 0, (311) gdyby tak nie było, to ze względu na to, że zarówno ϕ, jak i f są klasy C 1 istniałoby otoczenie zera w którym pochodna ta jest dodatni, co przeczyłoby nierówności 310) Różniczkując stronami równości g 1 ( ϕ1 (t),, ϕ k0 (t), x k 0 +1,, x n) = b1 t g i ( ϕ1 (t),, ϕ k0 (t), x k 0 +1,, x n) = bi dla i = 2,, k 0 dla t = 0 dostajemy, że ( ) g 1 ϕ 1 (0),, ϕ k 0 (0), 0,, 0 = 1 ( ) g i ϕ 1 (0),, ϕ k 0 (0), 0,, 0 = 0 dla i = 2,, k 0 Stąd i z (311) mamy, że ( L 0 = (x, λ ),, L co kończy dowód = f ) (x, λ ) ( ϕ 1 (0),, ϕ k 0 (0), 0,, 0 ( ) ϕ 1 (0),, ϕ k 0 (0), 0,, 0 ) + λ 1 λ 1 ) 33 Ograniczenia mieszane Sformułujemy teraz twierdzenie opisujące sytuację ogólną warunki typu równość oraz nierówność Twierdzenie 36 Niech f : R n R, h i : R n R, i = 1, 2,, m, g i : R n R, i = 1, 2,, k będą funkcjami klasy C 1 Przypuśćmy, że x R n jest rozwiązaniem (lokalnym) zadania maksymalizacji (CM) postaci f (x) max g i (x) b i, i = 1, 2,, k (CM) h i (x) = c i, i = 1, 2,, m

ROZDZIAŁ 3 WARUNKI KONIECZNE ISTNIENIA EKSTREMUM W ZADANIACH Z OGRANICZENIAMI 16 Załóżmy, że w ograniczeniach typu nierówność pierwsze k 0 ograniczeń, to ograniczenia aktywne w x, zaś pozostałe k k 0 ograniczeń, to ograniczenia pasywne w x Załóżmy dalej, że spełniona jest następująca wersja warunku (NDCQ): rank Rozważmy funkcję Lagrange a L : R n R k R m R postaci L (x, λ, µ) := f (x) g 1 (x g ) 1 g k0 (x g ) k0 h 1 (x h ) 1 = k 0 + m (312) h m (x h ) m k λ j (g j (x) b j ) j=1 Wówczas istnieją wektory λ R k oraz µ R m takie, że 1 L x i (x, λ, µ ) = 0, dla i = 1,, n, 2 λ i (g i b i ) = 0, dla i = 1,, k, 3 λ i 0, dla i = 1,, k, 4 g i b i, dla i = 1,, k, 5 h i (x) = c i, dla i = 1, 2,, m m µ j (h j (x) b i ) Uwaga 34 W przypadku zadania minimalizacji przy ograniczeniach mieszanych wystarczy zauważyć, że funkcja f osiąga minimum na danym zbiorze wtedy i tylko wtedy, gdy f osiąga maksimum na tym samym zbiorze Ta prosta obserwacja prowadzi do wniosku, że dla zadania minimalizacji z ograniczeniami j=1 g i (x) b i, h i (x) = c i, i = 1, 2,, k i = 1, 2,, m zachodzi twierdzenie niemal identyczne jak twierdzenie 36 z tą różnicą, że mnożniki λ i, i = 1,, k będą niedodatnie Zatem w twierdzeniu 36 warunek 3 należy zastąpić warunkiem 3 λ i 0, dla i = 1,, k W praktyce przy zadaniach minimalizacji funkcji częściej spotyka się jednak zadanie z ograniczeniami typu nierówność to znaczy zadanie f (x) min g i (x) b i, i = 1, 2,, k h i (x) = c i, i = 1, 2,, m W tym przypadku obserwacja poczyniona w uwadze 34 prowadzi do twierdzenia o identycznej tezie jak w twierdzeniu 36

ROZDZIAŁ 3 WARUNKI KONIECZNE ISTNIENIA EKSTREMUM W ZADANIACH Z OGRANICZENIAMI 17 34 Twierdzenie Kuhna-Tuckera Rozważmy szczególny przypadek zadania (ICM) z ograniczeniami typu nierówność f (x) max g i (x) b i, i = 1, 2,, k x i 0, i = 1, 2,, n, (KTP) gdzie f : R n R, g i : R n R, b i R, i = 1, 2,, k Problem ten ma duże znaczenie praktyczne, ze względu na to, że w większości zagadnień praktycznych zmienne decyzyjne x 1,, x n oznaczają wielkości, które z natury rzeczy nie mogą być ujemne (np wielkość produkcji) Zadanie (KTP) nazywa się zadaniem Kuhna-Tuckera od nazwisk matematyków amerykańskiego Harolda Williama Kuhna (1925 2014) i kanadyjskiego Alberta Williama Tuckera (1905 1995) Twierdzenie 37 Rozważmy zadanie (KTP), gdzie f i g i, i = 1,, k są klasy C 1 Załóżmy, że x R n jest rozwiązaniem zadania (KTP) Załóżmy dalej, że w ograniczeniach g i (x) b i tylko pierwsze k 0 ograniczeń jest aktywnych w x, że x j 1 > 0,, x j p > 0 dla j 1,, j p {1,, n} oraz, że spełniona jest następująca wersja warunku (NDCQ): g 1 g 1 x j1 x jp rank g k0 x j1 (x g ) k0 x jp Niech ˆL : R n R k R będzie funkcją postaci ˆL (x, λ) = f (x) Wówczas istnieje wektor λ R k taki, że 1 ˆL x i (x, λ ) 0, dla i = 1,, n, 2 ˆL λ i (x, λ ) 0, dla i = 1,, k, 3 x i ˆL x i (x, λ ) = 0, dla i = 1,, n, 4 λ i ˆL λ i (x, λ ) = 0, dla i = 1,, k k λ j (g j (x) b j ) j=1 = k 0 (313) Dowód Zauważmy, że zadanie (KTP) jest szczególnym przypadkiem zadania maksymalizacji typu (ICM) o postaci f (x) max g i (x) b i, i = 1, 2,, k, k + 1,, k + n, gdzie g j (x) := x j, b j = 0 dla j = k + 1,, k + n Mamy też, że g j x j (x) = 1 oraz g i x j (x) = 0 gdy i j Niech x będzie rozwiązaniem zadania (KTP) Sprawdzimy, że spełnione są założenia

ROZDZIAŁ 3 WARUNKI KONIECZNE ISTNIENIA EKSTREMUM W ZADANIACH Z OGRANICZENIAMI 18 twierdzenia 35 łatwo zauważyć, że dokonując zmiany porządku wierszy i kolumn macierz o której mowa w założeniu (38) tego twierdzenia można otrzymać macierz g 1 x j1 (x g ) 1 x jp B g k0 A = x j1 (x g ) k0 x jp (314) 0 I gdzie I jest (n p) wymiarową macierzą jednostkową, zaś B pewną macierzą wymiaru k 0 (n p) Założenie (38) twierdzenia 35 jest więc spełnione, gdy rank A = k 0 + n p, co jest równoważne warunkowi (313) Niech L : R n R k R n R będzie określona wzorem L (x, λ, ν) = ˆL (x, λ) + n ν j x j W myśl twierdzenia istnieją zatem wektory λ R k oraz ν R n takie, że λ i 0, dla i = 1,, k, ν i 0 dla i = 1,, n spełnione są warunki j=1 L x i (x, λ, ν ) = 0, dla i = 1,, n, (315) Wobec (315) mamy, że λ i (g i b i ) = 0, dla i = 1,, k, (316) νi x i = 0, dla i = 1,, n, (317) g i b i, dla i = 1,, k, (318) x i 0, dla i = 1,, n (319) L (x, λ, ν ) = ˆL (x, λ ) + νi = 0, dla i = 1,, n, x i x i skąd Dalej z (318) mamy, że ˆL x i (x, λ ) = ν i 0, dla i = 1,, n (320) oraz wobec (317) i (320) W końcu korzystając z (316) dostajemy, że ˆL λ i (x, λ ) = (g i b i ) 0, dla i = 1,, k x i ˆL x i (x, λ ) = x i ν i = 0, dla i = 1,, n co kończy dowód λ i ˆL λ i (x, λ ) = λ i (g i b i ) = 0, dla i = 1,, k

ROZDZIAŁ 3 WARUNKI KONIECZNE ISTNIENIA EKSTREMUM W ZADANIACH Z OGRANICZENIAMI 19 35 Zadania Zadanie 31 W oparciu o zasadę mnożników Lagrange a wyznaczyć punkty, które mogą być rozwiązaniami poniższych zadań a) f (x 1, x 2 ) = x 1 x 2 max przy warunku h (x 1, x 2 ) = x 1 + 4x 2 = 16 b) f (x 1, x 2 ) = x 2 1x 2 max przy warunku h (x 1, x 2 ) = 2x 2 1 + x 2 2 = 3 c) f (x 1, x 2, x 3 ) = x 1 x 2 x 3 max przy warunkach: h 1 (x 1, x 2, x 3 ) = x 2 1+x 2 2 = 1, h 2 (x 1, x 2, x 3 ) = x 1 + x 3 = 1 d) f (x 1, x 2, x 3 ) = x 2 x 3 + x 1 x 3 max przy warunkach: h 1 (x 1, x 2, x 3 ) = x 2 2 + x 2 3 = 1, h 2 (x 1, x 2, x 3 ) = x 1 x 3 = 3 e) f (x 1, x 2, x 3 ) = x 1 + x 2 + x 2 3 max przy warunkach: h 1 (x 1, x 2, x 3 ) = x 2 1 + x 2 2 + x 2 3 = 1, h 2 (x 1, x 2, x 3 ) = x 2 = 0 f) f (x 1, x 2, x 3 ) = x 1 + x 2 + x 2 3 min przy warunkach: h 1 (x 1, x 2, x 3 ) = x 2 1 + x 2 2 + x 2 3 = 1, h 2 (x 1, x 2, x 3 ) = x 2 = 0 g) f (x 1, x 2 ) = x 1 x 2 max przy warunku: g (x 1, x 2 ) = x 2 1 + x 2 2 1 h) f (x 1, x 2, x 3 ) = x 1 x 2 x 3 max przy warunkach:x 1 + x 2 + x 3 1, x 1 0, x 2 0, x 3 0 i) f (x 1, x 2 ) = x 2 1 + x 2 2 max przy warunkach 2x 1 + x 2 0, x 1 0, x 2 0 j) f (x 1, x 2 ) = 2x 2 2 + x 1 max przy warunkach x 2 1 + x 2 2 1, x 1 0, x 2 0 k) f (x 1, x 2, x 3 ) = x 1 x 2 x 3 + x 3 max przy warunkach: x 2 1 + x 2 2 + x 3 6, x 1 0, x 2 0, x 3 0 l) f (x 1, x 2 ) = x 1 x 2 2 max przy warunkach x 2 1 + x 2 2 = 4, x 1 0, x 2 0 m) f (x 1, x 2 ) = 3x 1 x 2 x 3 1 max przy warunkach 2x 1 x 2 = 5, 5x 1 + 2x 2 37, x 1 0, x 2 0 Jeśli to możliwe rozstrzygnąć, czy znalezione punkty są rozwiązaniami zadania Zadanie 32 Znaleźć największą i najmniejszą odległość początku układu współrzędnych od elipsy o równaniu x 1 1 + x 1 x 2 + x 2 2 = 3 Zadanie 33 Na paraboli y = x 2 znaleźć punkt, który jest najbliższy punktowi (2, 1) Zadanie 34 Znaleźć punkt, który leży najbliżej początku układu współrzędnych i jednocześnie leży na płaszczyznach 3x 1 + x 2 + x 3 = 5, x 1 + x 2 + x 3 = 1

Rozdział 4 Warunki wystarczające istnienia ekstremum w zadaniach z ograniczeniami Jak pamiętamy z poprzednich wykładów warunkiem wystarczającym istnienia maksimum funkcji (dwukrotnie różniczkowalnej) f : R n R w punkcie x 0 jest ujemna określoność macierzy drugiej pochodnej (hesjanu) w tym punkcie tzn spełnienie warunku: xf (x 0 ) x T < 0 dla dowolnych x R n t że x 0 Analogicznie dla minimum mamy dodatnią określoność xf (x 0 ) x T > 0 dla dowolnych x R n t że x 0 Warunki wystarczające dla zadań z ograniczeniami będą podobne, z tym że druga pochodna będzie liczona z funkcji Lagrange a oraz nie będzie wymagane spełnienie warunku określoności tej macierzy na całej przestrzeni, lecz jedynie na pewnej podprzestrzeni 41 Ograniczenia typu równość Twierdzenie 41 Rozważmy problem maksymalizacji (ECM) postaci { f (x) max h i (x) = c i, i = 1, 2,, m gdzie f : R n R, h i : R n R, są funkcjami klasy C 2, c i R, i = 1, 2,, m Rozważmy funkcję Lagrange a L : R n R m R postaci L (x, µ) := f (x) m µ i (h i (x) c i ) i=1 Załóżmy, że (a) punkt x R n spełnia warunki ograniczenia tzn h i = c i, i = 1, 2,, m, (b) istnieje wektor µ R n taki, że L (x, µ ) = 0 tzn L x i (x, µ ) = 0, dla i = 1,, n, L µ i (x, µ ) = 0, dla i = 1,, m, 20

ROZDZIAŁ 4 WARUNKI WYSTARCZAJĄCE ISTNIENIA EKSTREMUM W ZADANIACH Z OGRANICZENIAMI 21 (c) hesjan L x (x, µ ) funkcji L ze względu na zmienną x w punkcie (x, µ ) jest ujemnie określony na zbiorze {x R n : h x = 0} to znaczy x L x (x, µ ) x T < 0 dla dowolnych x R n t że x 0 i h x = 0 (41) Wówczas x jest rozwiązaniem zadania maksymalizacji (ECM) Warunek (41) jest oczywiście trudny do zbadania Można podać warunek podobny do warunku z twierdzenia Sylvestera sformułowany jednak dla macierzy zwanej hesjanem obrzeżonym funkcji Lagrange a Jest to macierz postaci [ H = ] 0 h (h ) T L x (x, µ ) h 0 0 1 (x h ) 1 h 0 0 m = (x h ) m h 1 x 1 (x h ) m (x ) 2 L (x, µ ) 2 L (x, µ ) h 1 (x h ) m (x ) 2 L (x, µ ) 2 L (x, µ ) Wówczas warunek (41) twierdzenia 41 jest spełniony jeśli wszystkie minory główne wiodące macierzy H o rzędach wyższych niż 2m zmieniają znak przy czym minor det H ma znak ( 1) n Dla ilustracji sformułujemy twierdzenie opisujące sytuację dwuwymiarową Twierdzenie 42 Niech f, h : R 2 R będą funkcjami klasy C 1 Rozważmy problem (ECM) postaci { f (x) max h (x) = c Zdefiniujmy funkcję Lagrange a L : R 2 R 1 R postaci L (x, µ) := f (x) µ (h (x) c) Załóżmy, że punkt (x, µ ) R 2 R 1 spełnia warunki (a) L (x, µ ) = L (x, µ ) = L (x, µ ) = 0, x 2 µ i (b) det h 0 h (x, µ ) 2 L h 2 L x 2 (x, µ ) (x, µ ) (x, µ ) x 2 (x, µ ) h x 2 (x, µ ) 2 L x 2 (x, µ ) 2 L (x, µ ) > 0 Wówczas x jest rozwiązaniem zadania maksymalizacji (ECM), to znaczy jest maksimum lokalnym funkcji f na zbiorze ograniczeń C h = {x R 2 : h (x) = c}

ROZDZIAŁ 4 WARUNKI WYSTARCZAJĄCE ISTNIENIA EKSTREMUM W ZADANIACH Z OGRANICZENIAMI 22 Uwaga 41 Dla zadania minimalizacji (ECM) postaci { f (x) max h i (x) = c i, i = 1, 2,, m warunek warunek (41) twierdzenia 41 należy zastąpić warunkiem x L x (x, µ ) x T > 0 dla dowolnych x R n t że x 0 i h x = 0, który jest spełniony jeśli n m minorów głównych wiodących macierzy H ma znak ( 1) m W przypadku dwuwymiarowym (n = 2, m = 1) oznacza to, że wyznacznik macierzy z warunku (b) twierdzenia 42 jest ujemny 42 Przypadek ogólny ograniczenia mieszane Twierdzenie 43 Rozważmy problem maksymalizacji (CM) postaci f (x) max g i (x) b i, i = 1, 2,, k h i (x) = c i, i = 1, 2,, m gdzie f : R n R, g j : R n R, h i : R n R są funkcjami klasy C 2, c i, b j R, j = 1, 2,, k, i = 1, 2,, m Zdefiniujmy funkcję Lagrange a L : R n R k R m R postaci k L (x, λ, µ) := f (x) λ j (g j (x) b i ) j=1 m µ i (g i (x) c i ) i=1 (a) Załóżmy, że istnieje punkt x R n oraz wektory λ R k oraz µ R m takie, że L x i (x, λ, µ ) = 0, dla i = 1,, n, λ i 0, dla i = 1,, k, λ i (g i b i ) = 0, dla i = 1,, k, h i (x) = c i, dla i = 1, 2,, m (b) przyjmijmy, dla prostoty, że pierwsze k 0 ograniczeń typu nierówność to ograniczenia aktywne, pozostałe to ograniczenia nieaktywne, oznaczmy g A = (g 1,, g k0 ) : R n R k 0 i załóżmy, że hesjan L x (x, λ, µ ) funkcji L ze względu na zmienną x w punkcie (x, λ, µ ) jest ujemnie określony na zbiorze to znaczy {x R n : g A x = 0 oraz h x = 0} x L x (x, µ ) x T < 0 dla dowolnych x R n t że x 0 i g A x = 0 oraz h x = 0 Wówczas x jest rozwiązaniem zadania maksymalizacji (CM), to znaczy maksimum lokalnym funkcji f na zbiorze ograniczeń C g,h = {x R n : g j (x) b j oraz h i (x) = c i dla j = 1,, k, i = 1,, m}

ROZDZIAŁ 4 WARUNKI WYSTARCZAJĄCE ISTNIENIA EKSTREMUM W ZADANIACH Z OGRANICZENIAMI 23 Tak jak poprzednio dla zbadania określoności hesjanu możemy zbudować hesjan obrzeżony postaci g 0 0 0 0 1 g 1 g 0 0 0 0 k0 g k0 h 0 0 0 0 1 h 1 H = h 0 0 0 0 m h m g 1 g k0 h 1 h m 2 L 2 L g 1 g k0 h 1 h m 2 L 2 L w punkcie (x, λ, µ ) Dla warunku maksimum żądamy zatem, aby ostatnie n (k 0 + m) minorów głównych wiodących macierzy H zmieniało znak, przy czym det H miało znak ( 1) n, zaś dla minimum, aby wszystkie powyższe minory miał znak ( 1) k 0+m

Rozdział 5 Interpretacja mnożników 51 Ograniczenia typu równość Rozważmy problem (ECM) z jednym ograniczeniem postaci { f (x1, x 2 ) max h (x 1, x 2 ) = a (ECM) Będziemy traktować a R jako zmienny parametr Jeśli (x 1, x 2) R 2 jest rozwiązaniem powyższego zadania, to punkt ten jest zależny od parametru a Możemy więc rozważać funkcję R a (x 1 (a), x 2 (a)) R 2 (51) Stosując zasadę mnożników Lagrange a e (twierdzenie 31) przy odpowiednich założeniach wnosimy o istnieniu mnożnika µ, również zależnego od a, mamy więc również funkcję Mamy R a µ (a) R (52) Twierdzenie 51 Niech f, h będą funkcjami klasy C 1 Załóżmy, że funkcje (51) oraz (52) są różniczkowalne oraz spełniony jest warunek (NDCQ) postaci h (x 1, x 2 ) 0 dla (x 1, x 2 ) = (x 1 (a), x 2 (a)) Wówczas µ (a) = d da f (x 1 (a), x 2 (a)) Powyższe twierdzenie mówi, że wartość mnożnika µ (a), przy ustalonym ograniczeniu a, mierzy szybkość zmiany wartości maksymalnej funkcji f ze względu na zmianę ograniczenia a Mniej dokładna interpretacja pochodnej (pochodząca z ekonomii) prowadzi do wniosku, że mnożnik mówi o ile zmieni się wartość maksymalna funkcji, jeśli wartość parametru a w ograniczeniu zmieni się o jedną jednostkę Mnożnik jest więc miarą wrażliwości wartości maksymalnej funkcji f ze względu na zmianę ograniczenia a Przejdźmy teraz do ogólnego przypadku ograniczenia typu równość Twierdzenie 52 Niech f : R n R, oraz h i : R n R, i = 1, 2,, m bądą funkcjami klasy C 1 Rozważmy zadanie (ECM) polegające na znalezieniu maksimum (lokalnego) funkcji f na zbiorze C h := {x R n : h i (x) = a i, i = 1,, m} 24

ROZDZIAŁ 5 INTERPRETACJA MNOŻNIKÓW 25 Przypuśćmy, że x (a) R n, gdzie a = (a 1,, a m ) R m jest rozwiązaniem powyższego zadania, zaś µ (a) R m odpowiadającym mu mnożnikiem, o którym jest mowa w twierdzeniu 32 Załóżmy też, że spełniony jest warunek (NDCQ) postaci rank h 1 (x (a)) h m (x h (a)) m h 1 (x (a)) (x (a)) = m oraz, że odwzorowania R m a x (a) R n i R m a µ (a) R n są różniczkowalne Wówczas µ j (a) = a j f (x 1 (a 1,, a m ),, x n (a 1,, a m )) dla j = 1,, m 52 Ograniczenia typu nierówność Twierdzenie 53 Niech f : R n R, oraz g i : R n R, i = 1, 2,, k bądą funkcjami klasy C 1 Rozważmy zadanie (ICM) polegające na znalezieniu maksimum (lokalnego) funkcji f na zbiorze C g := {x R n : g i (x) a i, i = 1,, k} Przypuśćmy, że x (a) R n, gdzie a = (a 1,, a k ) R k jest rozwiązaniem powyższego zadania, zaś λ (a) R k odpowiadającym mu mnożnikiem, o którym jest mowa w twierdzeniu 35 Ustalmy pewną wartość a = (a 1,, a k ) Rk Załóżmy też, że w punkcie (x (a), λ (a)) R n R k spełniony jest warunek (NDCQ) z twierdzenia 35 oraz, że odwzorowania R m a x (a) R n i R m a µ (a) R n są różniczkowalne w pewnym otoczeniu punktu a Wówczas λ j (a ) = f (x 1 (a a 1,, a m),, x n (a 1,, a m)) dla j = 1,, k j

Rozdział 6 Twierdzenia o obwiedni Okazuje się, że twierdzenia z poprzedniego rozdziału są szczególnymi przypadkami twierdzeń znanych z literatury jako twierdzenia o obwiedni 61 Problem bez ograniczeń Niech f : R n R (x, a) f(x, a) R Na funkcję f będziemy patrzeć jak na rodzinę funkcji zmiennej x parametryzowaną zmienną a : {f (, a) : a R} Zakładać będziemy, że f jest klasy C 1 (ze względu na zespół zmiennych) Twierdzenie 61 Dla ustalonego a R rozważamy zadanie maksymalizacji (minimalizacji) bez ograniczeń funkcji f : ( ) f (x, a) max min (61) x x Niech x (a) R n będzie rozwiązaniem zadania (61) Przypuśćmy, że odwzorowanie R a x (a) R n jest klasy C 1 Wówczas d da f (x (a), a) = a f (x (a), a) Dowód Z twierdzenia o różniczkowaniu złożenia oraz faktu, że f (, a) osiąga ekstremum w x (a), mamy: d da f (x (a), a) = n i=1 f (x (a), a) dx i (a) + f (x (a), a) x i da a 1 = f (x (a), a) a Przykład 61 Rozważmy zadanie f (x, a) = x 2 + ( a + a 2) x + 1 max f (x, a) x R n Oczywiście maksimum funkcji jest osiągane w punkcie x (a) = a+a2 i wynosi a2 +2a 3 +a 4 +4 Zatem 2 4 d da f (x (a), a) = d ( ) a 2 + 2a 3 + a 4 + 4 = 1 da 4 2 a + 3 2 a2 + a 3 Z drugiej strony a f (x, a) = ( x 2 + ( a + a 2) x + 1 ) = x + 2ax a 26

ROZDZIAŁ 6 TWIERDZENIA O OBWIEDNI 27 zatem a f (x (a), a) = x + 2ax x= (a+a 2 ) 2 = 1 2 a + 3 2 a2 + a 3 Zauważmy, że wartość f a (x (a), a) można obliczyć bez znajomości wartości maksymalnej wartości funkcji f Ponieważ wartość ta jest, w myśl twierdzenia 61, równa d f da (x (a), a), więc mierzy ona szybkość zmiany wartości maksymalnej f ze względu na zmianę parametru a Interpretacja pochodnej stosowana w ekonomii, choć dająca niezbyt dokładne wyniki mówi, że wartość f a (x (a), a) informuje o ile zmieni się maksymalna wartości funkcji f jeśli parametr a zmieni się jednostkę W naszym przypadku ustalając wartość a = a 0 i przyjmując x = x (a 0 ), mamy, że a f (x, a 0 ) = x + 2a 0 x Jeśli więc x > 0, to, w myśl twierdzenia 61, wraz ze wzrostem wartości a, rośnie wartość maksimum funkcji f 62 Zadanie z ograniczeniami Analogicznie jak w poprzednim podrozdziale rozważamy funkcje f, h i : R n R R, i = 1,, m o których zakładamy, że są klasy C 1 Każdą z tych funkcji będziemy traktować jako rodzinę funkcji zmiennej x R n prametryzowaną wartością a R Mamy Twierdzenie 62 Niech x (a) = (x 1 (a),, x n (a)) R n będzie, dla ustalonego a R rozwiązaniem zadania f (x, a) max x h i (x, a) = 0, i = 1,, m Przypuśćmy, że µ (a) R m jest odpowiadającym x (a) mnożnikiem (zob twierdzenie 32) Załóżmy też, że spełniony jest warunek (NDCQ) postaci h 1 (x h (a), a) 1 (x (a), a) rank = m h m (x h (a), a) m (x (a), a) oraz, że odwzorowania R a x (a) R n i R a µ (a) R n są klasy C 1 Wówczas d da f (x (a), a) = a L (x (a), µ (a), a), gdzie L jest funkcją Lagrange a dla powyższego zadania

Zagadnienia na egzamin 1 Definicja maksimum i minimum funkcji 2 Twierdzenie Weierstrassa wraz z dowodem 3 Sformułowania zadań optymalizacji 4 Twierdzenie Fermata wraz z dowodem 5 Określoność macierzy symetrycznej Definicje, kryterium wartości własnych i kryterium Sylvestera 6 Warunek wystarczający ekstremum funkcji (tw 22, tw 26) 7 Warunek wystarczający punktu siodłowego (tw 23) 8 Definicja funkcji wypukłej i wklęsłej Twierdzenie 27 (kryteria wypukłości i wklęsłości) 9 Zasady mnożników Lagrange a: twierdzenia 31, 32, 35, 36 (w tym pojęcie ograniczeń aktywnych i pasywnych) 10 Warunek wystarczający istnienia ekstremum dla zadań z ograniczeniami twierdzenie 42 11 Interpretacja mnożników twierdzenie 51 12 Twierdzenie o obwiedni twierdzenie 61 28

Bibliografia [1] Simon, CP, Blume, LE, Mathematics for Economists W W Norton & Company, New York, NY, 1994 29