Metoda najszybszego spadku

Transkrypt

1 Metody Gradietowe W tym rozdziale bdziemy rozwaa metody poszuiwaia dla fucji z przestrzei R o wartociach rzeczywistych Metody te wyorzystuj radiet fucji ja rówie wartoci fucji Przypomijmy, czym jest zbiór poziomicowy dla fucji Jest to zbiór tych putów, tóre spełiaj rówaie f : R R c, dla pewej zadaej stałej c Kierue f jest ieruiem ajszybszeo wzrostu fucji f w pucie Kierue f jest ieruiem ajszybszeo spadu fucji f w pucie Postpujemy wówczas astpujco Niech bdzie putem startowym i rozwamy put α Z rozwiicia aylora otrzymujemy α f α + o α a, wic jeeli 0, wówczas dla odpowiedio małeo α > 0 otrzymujemy α f < o ozacza, e put α f jest lepszy w stosuu do putu poszuujemy miimum fucji, jeeli Aby sformułowa alorytm implemetujcy powysz ide, załómy, e mamy day put + Aby zale olejy put, rozpoczyamy z putu i przesuwamy si o wielo α f, α jest dodatim salarem zwaym wieloci rou Otrzymujemy, zatem iteracyjy alorytm: α f + Metoda ajszybszeo spadu Metoda ta jest radietowym alorytmem, w tórej wielo rou α jest dobieraa ta, aby otrzyma ajwisz warto spadu wartoci fucji, w adym olejym pucie Warto α jest ta wybieraa, aby zmiimalizowa Φ α α f Iymi słowy

2 α ar mi α > 0 α f wierdzeie Jeeli } jest ciiem roów spadu dla daej fucji f : R R, wówczas dla { 0 adeo wetor + jest ortooaly do wetora Dowód Z iteracyjej formuły metody ajwiszeo spadu wyia, e <, > α α < f + +, f Aby dooczy dowód wystarczy poaza, e < f, f + > 0 > Zauwamy, e α jest ieujemym salarem, tóry miimalizuje Φ α α f Std wyorzystujc warue oieczy istieia estremum otrzymujemy 0 Φ' α dφ α dα f α f < f, f + i dowód jest omplety f > wierdzeie Jeeli } jest sewecj roów metody ajwiszeo spadu dla fucji f : R R { 0 + oraz 0 wówczas < Dowód: Na pocztu przypomijmy + α f, α 0 jest putem w tórym realizowae jest miimum fucji Φ a, wic dla α 0 otrzymujemy α f α f Φ α Φ α

3 Ze wzoru a pochod fucji złooej Φ' dφ f dα 0 f f f < 0, poiewa f 0 z załoeia a, wic co impliuje, e istieje taie α > 0e Φ 0 > α dla wszystich α 0, α ] Std Φ co oczy dowód + Φ α Φ α < Φ Metoda ajwiszeo spadu w przypadu fucji wadratowych w postaci: Q b Q R jest symetrycz, dodatio orelo macierz, Alorytm ajmiejszeo spadu dla fucji wadratowej: α +, b R oraz, α ar mi α 0 ar mi α 0 Q b Zatem Q +, f Q b ANALIZA MEOD GRADIENOWYCH Metoda ajwiszeo spadu jest przyładem alorytmu iteracyjeo o zaczy, e alorytm eeruje ci putów, ady z olejych jest obliczay a podstawie poprzedieo bazoweo Mówimy, e iteracyjy alorytm jest zbiey, jeeli dla dowoleo putu startoweo alorytm eeruje ci putów zbiey do putu spełiajceo warue oieczy Jeeli alorytm ie jest zbiey lobalie zbiey, moe o by loalie zbiey tz, jeeli put startowy zajduje si dostateczie bliso putu optymaleo, wówczas alorytm eeruje

4 ci putów zbieajcy do putu optymaleo Ja bliso musi zajdowa si put startowy aby alorytm był zbiey loalie zley od własoci loalej zbieoci alorytmu Powizaym zaadieiem jest rówie szybo zbieaia alorytmu do rozwizaia Aaliza zbieoci jest bardziej wyoda, jeeli zamiast zajmowa si fucj f, zajmiemy si fucj w postaci V + Q q, Q Q > 0 Put rozwizaia wic Q b Lemat Iteracyjy alorytm jest otrzymyway przez rozwizaie Q b, ta α + Q b spełia V V +, Q Q Q α α wierdzeie Niech { } bdzie ciiem otrzymaym w wyiu zastosowaia alorytmu radietoweo α + 0 dla wszystich Wówczas { } zbiea do putu dy Niech bdzie zdefiiowae ja w poprzedim lemacie, i przyjmijmy dla adeo putu startoweo wtedy i tylo wtedy, 0 W olejych aalizach wyorzystamy ierówo Rayleih a orela, e dla adeo Q Q > 0 mamy mi Q Q ma Q

5 Q ozacza miimal warto włas macierzy Q atomiast Q ozacza mi masymal warto włas macierzy Q Dla Q Q > 0 mamy rówie mi Q, Q oraz Lemat mi Q ma Q ma, Q Q mi ma Q Niech Q Q > 0 bdzie macierz symetrycza, rzeczywist, o wymiarze, dodatio orelo Wówczas dla dowoleo R, mamy ma mi ma Q Q Q Q ma mi Q Q wierdzeie W przypadu alorytmu ajwiszeo spadu mamy dla dowoleo putu Dowód: Przypomijmy, e dla metody ajszybszeo spadu mamy α Q Podstawiajc powysze wyraeie do wzoru a otrzymujemy Q Q Zauwamy, e w tym przypadu 0 dla adeo Co wicej, z poprzedieo lematu mamy Q / Q 0 a, wic mamy, a z poprzedieo mi ma > twierdzeia wiemy, e wówczas 0