Metoda gradientu prostego

Transkrypt

1 Metoda gradientu prostego Metoda gradientu prostego jest pojęciem z zakresu optymalizacji matematycznej. Jest to algorytm numeryczny mający na celu znalezienie minimum zadanej funkcji celu. Jest to jedna z prostszych metod optymalizacji. Przykładami innych metod są metoda najszybszego spadku, czy metoda Newtona Zadanie Metoda gradientu prostego jest iteracyjnym algorytmem wyszukiwania minimum zadanej funkcji celu f: gdzie. Założenia dla metody są następujące: Opis (funkcja jest ciągła i różniczkowalna), f jest ściśle wypukła w badanej dziedzinie. Na samym początku algorytmu wybierany jest punkt startowy. W punkcie tym obliczany jest kierunek poszukiwań. Punkt w następnym kroku obliczany jest według wzoru: jeśli obliczony punkt nie spełni warunku stopu algorytmu, całe postępowanie jest powtarzane. Kierunkiem poszukiwań w metodzie gradientu prostego jest antygradient funkcji celu. Współczynnik α k jest współczynnikiem długości kolejnych kroków. W wielu przypadkach przyjmuje się stałe niewielkie wartości: Jeśli f jest funkcją kwadratową o dodatnio określonym hesjanie H to można przyjąć: gdzie jest największą wartością własną macierzy H. Współczynnik może również dynamicznie zmieniać się podczas procesu szukania minimum. Kolejne kroki w algorytmie powinny być wybierane tak aby:

2 Jeżeli warunek ten nie jest w danym kroku spełniony, to należy powtórzyć krok z mniejszą wartością. Algorytm ogólnie można zapisać: 1. Wybierz punkt startowy Sprawdź kryterium stopu, jeśli jest spełniony to STOP. 4. Jeżeli to zmniejsz wartość i powtórz punkt 2 dla kroku k-ego. 5. Powtórz punkt 2 dla następnego kroku (k + 1) Kryterium stopu W celu określenia, czy punkt w danym kroku dostatecznie dobrze przybliża minimum funkcji celu w metodzie gradientu prostego, można użyć następujących kryteriów stopu (dla zadanej precyzji ε oraz normy ): (test stacjonarności). Zbieżność Metoda gradientu prostego jest metodą o zbieżności liniowej. Oznacza to, iż przy spełnieniu założeń metody, odległości pomiędzy kolejnymi przybliżeniami, a minimum funkcji maleją liniowo: Przykład Na poniższych rysunkach zilustrowane zostały kolejne kroki metody gradientu prostego dla funkcji:

3 Gradient w analizie matematycznej, a dokładniej rachunku wektorowym, pole wektorowe wskazujące w danym punkcie kierunek najszybszego wzrostu danego pola skalarnego, a jego moduł (długość) jest równy szybkości wzrostu. Wektor przeciwny do gradientu nazywa się często antygradientem. Uogólnieniem gradientu na funkcje przestrzeni euklidesowej w inną jest macierz Jacobiego. Dalej idącym uogólnieniem na funkcje między przestrzeniami Banacha jest pochodna Frécheta. Wprowadzenie Na powyższych obrazkach pole skalarne jest czarno-białe, przy czym czerń reprezentuje wyższe wartości, a odpowiadającemu go gradientowi odpowiadają niebieskie strzałki. Przykładem może być pokój, w którym temperatura opisana jest polem skalarnym T. Tak więc w każdym punkcie (x,y,z) temperatura wynosi T(x,y,z) (zakładamy, że nie zmienia się ona w czasie). Wówczas w każdym punkcie pokoju gradient T w tym punkcie pokazuje kierunek (wraz ze zwrotem), w którym temperatura rośnie najszybciej. Moduł gradientu wskazuje jak szybko rośnie temperatura w tym kierunku. Innym przykładem może być powierzchnia, dla której H(x,y) oznacza wysokość nad poziomem morza w punkcie (x,y). Gradientem H w punkcie jest wektor wskazujący kierunek największego pochylenia w tym punkcie. Miara tego pochylenia jest dana jako moduł wektora gradientu. Dzięki iloczynowi skalarnemu gradient można wykorzystać do mierzenia nie tylko tego jak pole skalarne zmienia się w kierunku największej zmiany, lecz także w innych kierunkach. Niech w przykładzie ze wzgórzem największe pochylenie wzgórza wynosi 40%. Jeśli droga biegnie prosto pod górę, to największe pochylenie drogi również będzie wynosić 40%. Jeśli jednak droga biegnie wokół wzgórza pod pewnym kątem (względem wektora gradientu), to będzie miała mniejsze nachylenie. Przykładowo jeśli kąt między drogą a kierunkiem w górę, rzutowany na płaszczyznę poziomą, wynosi 60, to największe nachylenie wzdłuż drogi będzie wynosić 20%, co jest równe 40% razy cosinus 60. Ta obserwacja może być wyrażona matematycznie w następujący sposób. Jeśli funkcja wysokości wzgórza H jest różniczkowalna, to gradient funkcji H pomnożony skalarnie przez wektor jednostkowy daje pochylenie wzgórza w kierunku tego wektora. Dokładniej, jeśli H jest różniczkowalna, to iloczyn skalarny gradientu H przez dany wektor jednostkowy jest równy pochodnej kierunkowej H w kierunku tego wektora jednostkowego. Podobnie obrazuje się zmianę innych wielkości fizycznych takich jak: stężenie, współczynnik ph, gęstości ładunku elektrycznego, jasność, kolor itp. w określonej przestrzeni.

4 Definicja Gradient funkcji f(x,y) = (cos 2 x + cos 2 y) 2 przedstawiony jako pole wektorowe na dolnej płaszczyźnie. Gradient (lub gradientowe pole wektorowe) funkcji skalarnej oznaczany gdzie (nabla) to wektorowy operator różniczkowy nazywany nabla. Innym oznaczeniem gradientu f jest Gradient f definiuje się jako pole wektorowe o składowych będących pochodnymi cząstkowymi f, tzn. Gradient jest wektorem kolumnowym, jednak bywa zapisywany jako wektor wierszowy. Jeżeli funkcja zależy także od parametru takiego jak czas, to zwykle gradient oznacza wtedy wektor jej pochodnych przestrzennych. Gradient funkcji wektorowej f = (f 1,f 2,f 3 ) to lub też transpozycja macierzy Jacobiego Jest to tensor drugiego rzędu. Ogólniej gradient może być zdefiniowany za pomocą pochodnej zewnętrznej:

5 Symbole oraz oznaczają tutaj izomorfizmy muzyczne. Postać w trójwymiarowej przestrzeni współrzędnych Postać gradientu zależy od użytego układu współrzędnych. W układzie: współrzędnych kartezjańskich ma postać współrzędnych walcowych zapisuje się jako współrzędnych sferycznych dany jest wzorem Jeśli oznaczyć przez można zadać jako wersory osi układu współrzędnych kartezjańskich, to gradient Podobnie ma się rzecz dla innych układów współrzędnych. Przykład Gradientem funkcji f(x,y,z) = 2x + 3y 2 sinz we współrzędnych kartezjańskich jest Związek z pochodną i różniczką Przybliżenie liniowe funkcji Gradient funkcji f przestrzeni euklidesowej w prostą euklidesową w dowolnym punkcie p należącym do charakteryzuje najlepsze przybliżenie liniowe f w punkcie p. Rozumie się przez to

6 dla x bliskiego p, gdzie oznacza gradient f obliczony w punkcie p, a kropka to iloczyn skalarny na Równanie to jest równoważne dwóm pierwszym wyrazom rozwinięcia szeregu Taylora wielu zmiennych dla f w punkcie p. Różniczka i pochodna (zewnętrzna) Najlepszym przybliżeniem liniowym funkcji w punkcie x należącym do jest przekształcenie liniowe oznaczane często lub i nazywane różniczką bądź pochodną zupełną funkcji f w punkcie x. Stąd gradient związany jest różniczką następującym wzorem dla dowolnego Funkcja która przekształca x na nazywa się różniczką lub pochodną zewnętrzną f. Jest to przykład 1-formy różniczkowej. Jeśli postrzegać jako przestrzeń wektorów kolumnowych o n składowych rzeczywistych, to można uważać za wektor wierszowy tak, iż mu wektorem kolumnowym, tzn. Gradient jako pochodna jest dana poprzez mnożenie macierzy. Gradient jest wówczas odpowiadającym Niech U będzie zbiorem otwartym w Jeśli funkcja jest różniczkowalna (w sensie Frécheta), to różniczką f jest pochodna Frécheta f. Stąd jest funkcją z U w taką, że gdzie oznacza iloczyn skalarny. Stąd gradient spełnia standardowe własności pochodnej: Liniowość Gradient jest liniowy w tym sensie, iż jeżeli f i g są dwiema funkcjami o wartościach rzeczywistych różniczkowalnymi w punkcie zaś α i β są dwoma skalarami (stałymi rzeczywistymi), to kombinacja liniowa αf + βg jest różniczkowalna w a i co więcej: Reguła iloczynu Niech f i g są dwiema funkcjami o wartościach rzeczywistych różniczkowalnymi w punkcie wówczas reguła iloczynu zapewnia, że iloczyn (fg)(x) = f(x)g(x) funkcji f i g jest różniczkowalny w a oraz Reguła łańcuchowa

7 Niech będzie funkcją o wartościach rzeczywistych określoną na podzbiorze A przestrzeni różniczkowalną w punkcie a. Istnieją dwie postaci reguły łańcuchowej związanej z gradientem. Wpierw niech g oznacza krzywą parametryczną, tj. funkcję odwzorowującą podzbiór w Jeśli g jest różniczkowalna w punkcie takim, że g(c) = a, to Ogólniej, jeśli jest to prawdziwa jest równość: gdzie oznacza macierz Jacobiego, zaś oznacza transpozycję macierzy. Drugą postać reguły łańcuchowej można przedstawić następująco: niech bedzie funkcją o wartościach rzeczywistych określoną na podzbiorze I prostej przy czym h jest różniczkowalna w punkcie Wówczas

8 Macierz Jacobiego Macierz Jacobiego macierz zbudowana z pochodnych cząstkowych (pierwszego rzędu) funkcji, której składowymi są funkcje rzeczywiste. Nazwa pojęcia pochodzi od nazwiska niemieckiego matematyka Carla Gustawa Jacobiego, który je wprowadził (niezależnie pojęcie to badał Michaił Ostrogradski). Macierz Jacobiego i jej wyznacznik, nazywany jakobianem, znajdują zastosowanie w teorii funkcji uwikłanych, a także zagadnieniach związanych z zamianą zmiennych w całkach wielokrotnych, gdyż opisują one pochodną Frécheta funkcji wielu zmiennych (przestrzeni euklidesowych) w danym punkcie, o ile istnieje. Definicja Niech U oznacza otwarty podzbiór przestrzeni euklidesowej Niech ponadto dana będzie funkcja zbioru U w przestrzeń której m składowych stanowią funkcje f i zbioru U o wartościach rzeczywistych. Jeżeli funkcja f ma wszystkie pochodne cząstkowe w punkcie to macierzą Jacobiego funkcji f w punkcie x nazywa się macierz daną wzorem Obok zależnej od punktu macierzy można rozpatrywać macierz postaci Jeśli m = n, to macierz jest kwadratowa. Wówczas można rozpatrywać wyznacznik macierzy Jacobiego, który nazywa się wtedy jakobianem i oznacza lub bądź mniej standardowo: Macierz Jacobiego można postrzegać jako wektor gradientów funkcji składowych f i funkcji f, tzn.

9 Metoda gradientu sprzężonego jest algorytmem numerycznym służącym do rozwiązywania niektórych układów równań liniowych. Pozwala rozwiązać te których macierz jest symetryczna i dodatnio określona. Metoda gradientu sprzężonego jest metodą iteracyjną, więc może być zastosowana do układów o rzadkich macierzach, które mogą być zbyt duże dla algorytmów bezpośrednich takich jak np. rozkład Choleskiego. Takie układy pojawiają się często w trakcie numerycznego rozwiązywania równań różniczkowych cząstkowych Metoda gradientu sprzężonego może również zostać użyta do rozwiązania problemu optymalizacji bez ograniczeń. Opis metody Rozpatrzmy rozwiązania poniższego układu równań: Ax = b gdzie macierz A n na n jest symetryczna, rzeczywista i dodatnio określona. Oznaczmy rozwiązanie tego układu przez x *. Bezpośrednia metoda gradientu sprzężonego Mówimy, że dwa niezerowe wektory u i v są sprzężone (względem A) jeśli Ponieważ A jest symetryczna i dodatnio określona, lewa strona definiuje iloczyn skalarny: Więc, dwa wektory są sprzężone jeśli są ortogonalne względem tego iloczynu skalarnego. Sprzężoność jest relacją symetryczną. Przypuśćmy, że {p k } jest ciągiem n wzajemnie sprzężonych kierunków. Wtedy p k tworzą bazę R n, wektor x * będący rozwiązaniem Ax = b możemy przedstawić w postaci: Współczynniki otrzymujemy w następujący sposób:

10 Co daje nam następującą metodę rozwiązywania równania Ax = b. Najpierw znajdujemy ciąg n sprzężonych kierunków, następnie obliczamy współczynniki α k. Metoda gradientu sprzężonego jako metoda iteracyjna Jeśli właściwie dobierzemy sprzężone wektory p k, możemy nie potrzebować ich wszystkich do dobrej aproksymacji rozwiązania x * Więc chcielibyśmy spojrzeć na CG jak na metodę iteracyjną. Co więcej, pozwoli nam to rozwiązać układy równań, gdzie n jest tak duże, że bezpośrednia metoda zabrałaby zbyt dużo czasu. Oznaczmy punkt startowy przez x 0. Bez starty ogólności możemy założyć, że x 0 = 0 (w przeciwnym przypadku, rozważymy układ Az = b Ax 0 ). Zauważmy, że rozwiązanie x * minimalizuje formę kwadratową: Co sugeruje, by jako pierwszy wektor bazowy p 1 wybrać gradient f w x = x 0, który wynosi Ax 0 b, a ponieważ wybraliśmy x 0 = 0 otrzymujemy b. Pozostałe wektory w bazie będą sprzężone do gradientu (stąd nazwa metoda gradientu sprzężonego). Niech r k oznacza rezyduum w k-tym kroku: Zauważmy, że r k jest przeciwny do gradientu f w x = x k, więc metoda gradientu prostego nakazywałaby ruch w kierunku r k. Tutaj jednak założyliśmy wzajemną sprzężoność kierunków p k, więc wybieramy kierunek najbliższy do r k pod warunkiem sprzężoności. Co wyraża się wzorem: Wynikowy algorytm Upraszczając, otrzymujemy poniższy algorytm rozwiązujący Ax = b, gdzie macierz A jest rzeczywista, symetryczna i dodatnio określona. x 0 jest punktem startowym. repeat if r k+1 jest "wystarczająco mały" then exit loop end if

11 end repeat Wynikiem jest Przykład metody gradientu sprzężonego w Octave function [x] = conjgrad(a,b,x0) end r = b - A*x0; w = -r; z = A*w; a = (r'*w)/(w'*z); x = x0 + a*w; B = 0; for i = 1:size(A)(1); r = r - a*z; if( norm(r) < 1e-10 ) break; endif B = (r'*z)/(w'*z); w = -r + B*w; z = A*w; a = (r'*w)/(w'*z); x = x + a*w; end

12 Ortogonalność (z gr. ortho proste, gonia kąt) uogólnienie pojęcia prostopadłości znanego z geometrii euklidesowej na przestrzenie z określonym iloczynem skalarnym (przestrzenie unitarne). Definicja Elementy x,y przestrzeni unitarnej X z iloczynem skalarnym <x,y> = 0, nazywamy ortogonalnymi, gdy Zdanie elementy x i y są ortogonalne zapisuje się krótko x y. Podzbiór A X nazywamy ortogonalnym, gdy każde dwa różne elementy tego zbioru są ortogonalne. Zbiory o tej własności często nazywane są układami ortogonalnymi. Uwaga Wektor zerowy jest ortogonalny do każdego wektora przestrzeni unitarnej. Często zamiast o ortogonalności, mówi się o prostopadłości danych wektorów, choć przypadek wektora zerowego pokazuje, że intuicje geometryczne nie zawsze są w tym przypadku pomocne. Przykłady Przestrzenie euklidesowe W przestrzeni euklidesowej symbolem ο) wektory 2 R (ze standardowym iloczynem skalarnym oznaczonym tutaj [ 1,3] ο [3,1] są ortogonalne (oraz prostopadłe), ponieważ <x,y> = 0; [0,0] ο [3,1] są ortogonalne (ale nie są prostopadłe), gdyż <x,y> = 0 Przestrzenie funkcyjne Ortogonalność pojawia się również w kontekście przestrzeni funkcyjnych, gdzie określony jest pewien iloczyn skalarny. Z tego powodu mówi się często o funkcjach ortogonalnych, czy wielomianach ortogonalnych. Klasycznym przykładem jest tutaj przestrzeń L 2 [a,b], tj. przestrzeń wszystkich funkcji, określonych na przedziale [a,b] o wartościach zespolonych, całkowalnych w drugiej potędze. Iloczyn skalarny elementów f i g z tej przestrzeni wyraża się wzorem. Jeżeli [a,b]=[-π,π], to ważnym przykładem układu ortogonalnego, studiowanego w analizie harmonicznej jest rodzina

13 Inne przykłady ortogonalnych układów funkcji to np. wielomiany Legendre'a czy wielomiany Czebyszewa.. Wektor własny macierzy to taki wektor, dla którego istnieje taka wartość λ, że zachodzi równość:. Wartość nazywamy wartością własną macierzy lub przekształcenia. Intuicyjnie można rozumieć wektor własny przekształcenia, jako taki wektor, którego kierunek nie zmienia się po przemnożeniu go przez macierz. Natomiast jego długość zmienia się tyle razy ile wynosi wartość własna odpowiadająca temu wektorowi. Wartości własne macierzy są pierwiastkami jej wielomianu charakterystycznego: gdzie oznacza macierz jednostkową, macierz charakterystyczną, natomiast wyznacznik macierzy charakterystycznej czyli wielomian charakterystyczny. Znając wartości własne można obliczyć odpowiadające im wektory własne rozwiązując następujące równania: ze względu na wektor. Własności Wektory własne odpowiadające różnym wartościom własnym są liniowo niezależne. Jeśli macierz A potraktować jako macierz przekształcenia liniowego pewnej przestrzeni liniowej V, to wektory własne odpowiadające tej samej wartości własnej tworzą podprzestrzeń. Jeśli suma wymiarów podprzestrzeni z powyższej własności jest równa wymiarowi V to wektory własne odpowiadające różnym wartościom własnym tworzą bazę przestrzeni V.