Materiały wykładowe (fragmenty)

Materiały wykładowe (fragmenty) 1

Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL kontakt osobisty Centrum Wykładowe, blok informatyki, pok. 7 2

Wyłączenie odpowiedzialności Prezentowane materiały, będące dodatkiem do wykładów, są jedynie fragmentaryczne i mają charakter pomocniczy, co oznacza m.in., Ŝe mogą nie być pozbawione przypadkowych błędów, braków, wypaczeń i przeinaczeń :-) Autor 3

Techniki optymalizacji Cz. 1: Andrzej Jaszkiewicz Cz. 2: Robert Susmaga Cz. 3: Wojciech Kotłowski 4

Techniki optymalizacji Cz. 2 5

Wymagane (i wykorzystywane) pojęcia 7

Wymagane (i wykorzystywane) pojęcia algebraiczne Podstawowe operacje na wektorach i macierzach (prawie) wszędzie RóŜniczkowanie funkcji metody newtonowskie Szereg Taylora metody newtonowskie Gradient i hesjan metoda Newtona-Raphsona i jej pochodne Macierz nieujemnie/niedodatnio określona metoda Levenberga-Marquarda, metoda MDS Wartości własne macierzy metoda Levenberga-Marquarda, metoda MDS 8

Wymagane (i wykorzystywane) pojęcia geometryczne Przestrzenie wielowymiarowe (prawie) wszędzie Interpretacja wektorów w przestrzeniach wielowymiarowych (prawie) wszędzie Interpretacja funkcji w przestrzeniach wielowymiarowych (prawie) wszędzie 9

... 10

Przedstawiane metody/rozwiązania 11

Przedstawiane metody/rozwiązania Rodzaje przedstawianych metod: klasyczne dla dziedziny optymalizacji ciągłej dawno zdefiniowane dokładnie przebadane to się jednak zmienia! Związki z metodami metaheurystycznymi: metody klasyczne mają zastosowania podrzędne heurystyczne lub dokładne (w zaleŝności od postaci wyników) metody lokalne potencjalne wykorzystanie: generowanie kolejnych rozwiązań (jako lokalnych ekstremów) w metodach metaheurystycznych 12

Przedstawiane metody/rozwiązania Postać problemu minimalizacja funkcji co w przypadku maksymalizacji? co w przypadku poszukiwania konkretnej wartości? optymalizacja/aproksymacja przy (ewentualnie istniejących) ograniczeniach ograniczenia jednowymiarowe (zakres zmienności) ograniczenia wielowymiarowe /robocze, właściwe/ 13

Przedstawiane metody/rozwiązania Postaci funkcji celu i ograniczeń (zawsze) dane analitycznie wzór! (zazwyczaj) dodatkowo uwarunkowane ciągłe, gładkie, (przykłady?) nieraz konkretnie: liniowe, kwadratowe, 14

Przedstawiane metody/rozwiązania Generowane rozwiązania dokładne w sensie dokładności maszynowej* przybliŝone * temat dokładności maszynowej nie będzie bliŝej na tym wykładzie przedstawiany 15

... 16

Optymalizacja w... 17

Optymalizacja w języku Słownik wyrazów obcych PWN optymalizacja -cji, Ŝ, blm 1. «organizowanie jakichś działań, procesów itp. w taki sposób, aby dały jak największe efekty przy jak najmniejszych nakładach» 2. ekon. «poszukiwanie za pomocą metod matematycznych najlepszego ze względu na wybrane kryterium (np. koszt lub zysk) rozwiązania danego zagadnienia gospodarczego, przy uwzględnieniu określonych ograniczeń» optymalny «najlepszy z moŝliwych w jakichś warunkach» <fr. optimal>!niepoprawnie: Najbardziej optymalne, poprawnie: optymalne, rozwiązanie. 18

Optymalizacja w języku Komentarz: kryterium: warunek ( muszą spełnione być pewne kryteria ) trzecie znaczenie: funkcja celu ( wielokryterialne PL ) koszt lub zysk? ( kryterium (np. koszt lub zysk)... ) 19

... 20

Optymalizacja w zastosowaniach 21

Optymalizacja w zastosowaniach Optymalizacja ma zastosowania w takich dziedzinach jak fizyka technika chemia inŝynieria informatyka biologia ekonomia... 22

... 23

Optymalizacja w Ŝyciu 24

Optymalizacja w Ŝyciu HodŜy Nasreddina :-) Kim jest/był HodŜa Nasreddin? bliskowschodni średniowieczny mędrzec-podróŝnik, zajmujący się rozwiązywaniem zagadek, m.in. matematycznych i logicznych jego rozmaite przygody są fabularyzowanymi zapisami bliskowschodnich mądrości ludowych Więcej o Ŝyciu HodŜy Nasreddina m.in. w ksiąŝce Przygody HodŜy Nasreddina (a jeszcze więcej: w internecie!) 25

Optymalizacja w Ŝyciu HodŜy Nasreddina :-) Problem majątku dwaj bracia odziedziczyli majątek po ojcu, który przykazał im podzielić się nim sprawiedliwie, nie podał jednak konkretnie, które dobra mają przypaść w spadku któremu z braci bracia natychmiast pokłócili się o majątek, poniewaŝ kaŝdy z nich proponował inny podział pozostałych po ojcu dóbr na dwie części: kaŝdy dzielił rzeczy w taki sposób, aby wartości obu części nie były równe, oczywiście przydzielając sobie część o większej wartości, a swemu bratu część o mniejszej wartości 26

Optymalizacja w Ŝyciu HodŜy Nasreddina :-) Jak moŝna rozwiązać powyŝszy konflikt? Jak rozwiązał ten konflikt HodŜa Nasreddin? 27

Optymalizacja w Ŝyciu HodŜy Nasreddina :-) MoŜliwe rozwiązanie konfliktu jeden z braci dokonuje podziału dziedziczonych rzeczy na dwie części drugi podejmuje decyzję to tym, która część przypadnie komu w udziale 28

Optymalizacja w Ŝyciu HodŜy Nasreddina :-) Interesujące cechy zaproponowanego rozwiązania jeŝeli dokonujący podziału podzieli dziedziczone dobra na dwie części o nierównej wartości, to naraŝa się na to, Ŝe (wskutek decyzji drugiego z braci) przypadnie mu w udziale część mniej wartościowa dokonujący podziału powinien więc dąŝyć do tego, aby róŝnica wartości obu części spadku była jak najmniejsza, w rezultacie czego bracia zostaną sprawiedliwie obdzieleni spadkiem w idealnym przypadku wartości obu części będą jednakowe! (choć taki podział moŝe nie być moŝliwy do zrealizowania) 29

Optymalizacja w Ŝyciu HodŜy Nasreddina :-) Optymalizacyjny punkt widzenia tego problemu i jego rozwiązania tzw. problem min-max lub osoba dokonująca podziału wie, Ŝe jeŝeli któraś z utworzonych przez nią części majątku będzie większej wartości, to osoba wybierająca na pewno przydzieli tę część sobie (wniosek: tworzenie jakiejkolwiek części o wartości większej od innych części nie jest korzystne!) oznacza to, Ŝe osoba dokonująca podziału powinna minimalizować (min) wartość największej (max) z tworzonych części tzw. problem max-min osoba dokonująca podziału wie, Ŝe jeŝeli któraś z utworzonych przez nią części majątku będzie mniejszej wartości, to osoba wybierająca na pewno przydzieli sobie inną część (wniosek: tworzenie części o wartości mniejszej od innych części nie jest korzystne!) oznacza to, Ŝe osoba dokonująca podziału powinna maksymalizować (max) wartość najmniejszej (min) z tworzonych części 30

... 31

Elementy ekstremalne w zbiorach uporządkowanych 32

Elementy ekstremalne w zbiorach uporządkowanych W zbiorze X uporządkowanym relacjami,, < oraz > moŝna zdefiniować element najmniejszy: jest nim a X spełniający a x X a < x element największy: jest nim b X spełniający b x X b > x 33

Elementy ekstremalne w zbiorach uporządkowanych W zbiorze X uporządkowanym relacjami,, < oraz > moŝna zdefiniować element minimalny: jest nim c X spełniający x X c x ( x X x < c) element maksymalny: jest nim d X spełniający x X d x ( x X x > c) 34

Dygresja Quiz czy istnieje element najmniejszy zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? 35

Dygresja Quiz czy istnieje element najmniejszy zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? tak! 36

Dygresja Quiz czy istnieje element najmniejszy zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? tak! jest nim: a 5 (równe 1) 37

Dygresja Quiz czy istnieje element minimalny zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? 38

Dygresja Quiz czy istnieje element minimalny zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? tak! 39

Dygresja Quiz czy istnieje element minimalny zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? tak! jest nim: a 5 (równe 1) 40

Dygresja Quiz czy istnieje element największy zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? 41

Dygresja Quiz czy istnieje element największy zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? nie! 42

Dygresja Quiz czy istnieje element maksymalny zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? 43

Dygresja Quiz czy istnieje element maksymalny zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? tak! 44

Dygresja Quiz czy istnieje element maksymalny zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? tak! (i to nie jeden, lecz dwa!) są nimi: a 2 (równe 9) oraz a 6 (równe 9) 45

Elementy ekstremalne w zbiorach uporządkowanych Definicje elementu minimalnego/maksymalnego wykorzystuje się w przypadku problemu optymalizacji funkcji f(x) zbiorem uporządkowanym jest przeciwdziedzina funkcji f(x) (która dla funkcji rzeczywistej stanowi podzbiór zbioru liczb rzeczywistych) poszukiwany jest argument funkcji (czyli element jej dziedziny D), dla którego wartość tej funkcji jest minimalna (niekoniecznie najmniejsza), czyli x* D taki, Ŝe x D f(x*) f(x) skrócony zapis powyŝszej zaleŝności: x* = argmin x D f(x) (x* będzie dalej nazywany rozwiązaniem (funkcji) ) 46

Elementy ekstremalne w zbiorach uporządkowanych Definicje elementu minimalnego/maksymalnego wykorzystuje się w przypadku problemu optymalizacji funkcji f(x) zbiorem uporządkowanym jest przeciwdziedzina funkcji f(x) (która dla funkcji rzeczywistej stanowi podzbiór zbioru liczb rzeczywistych) poszukiwany jest argument funkcji (czyli element jej dziedziny D), dla którego wartość tej funkcji jest minimalna (niekoniecznie najmniejsza), czyli x* D taki, Ŝe x D f(x*) f(x) skrócony zapis powyŝszej zaleŝności: x* = argmin x D f(x) (x* będzie dalej nazywany rozwiązaniem (funkcji) ) (czym argmin róŝni się od min?) 47

... 48

Pochodne funkcji w postaci wektorowo/macierzowej 49

Pochodne funkcji w postaci wektorowo/macierzowej Pochodne prostych funkcji w postaci skalarnej (przypomnienie) afinicznej (popularnie zwanej liniową) f(x) = ax + b f/ x = a 2 f/ x 2 = 0 3 f/ x 3 = 0 kwadratowej: f(x) = ax 2 + bx + c f/ x = 2ax + b 2 f/ x 2 = 2a 3 f/ x 3 = 0 4 f/ x 4 = 0 50

Pochodne funkcji w postaci wektorowo/macierzowej Pochodne prostych funkcji w postaci skalarnej (przypomnienie) liniowej f(x) = ax f/ x = a 2 f/ x 2 = 0 3 f/ x 3 = 0 (ściśle) kwadratowej: f(x) = ax 2 f/ x = 2ax 2 f/ x 2 = 2a 3 f/ x 3 = 0 4 f/ x 4 = 0 51

Pochodne funkcji w postaci wektorowo/macierzowej Pochodne prostych funkcji w postaci wektorowo/macierzowej liniowej: f(x) = a T x f/ x = a formy kwadratowej: f(x) = x T Ax f/ x = (A + A T )x 2 f/ x 2 = A + A T w szczególnym przypadku, gdy A T = A (czyli macierz A jest symetryczna) 2 f/ x 2 = A + A T = A + A = 2A (jednocześnie 2 f/ x 2 = 2A T ) w bardzo szczególnym przypadku, gdy A = [a] (czyli macierz A reprezentuje skalar) 2 f/ x 2 = [a] + [a] T = [a] + [a] = 2[a] (czyli, właściwie, 2 f/ x 2 = 2a) 52

Pochodne funkcji w postaci wektorowo/macierzowej Pochodne prostych funkcji w postaci wektorowo/macierzowej afinicznej: f(x) = a T x + b f/ x = a (pełnej) kwadratowej: f(x) = x T Ax + b T x + c f/ x = (A + A T )x + b 2 f/ x 2 = A + A T 53

Pochodne funkcji w postaci wektorowo/macierzowej Pochodne prostych funkcji w postaci wektorowo/macierzowej f(x) = ax 1 f/ x = a f(x) = ax 2 f/ x = 2ax f(x) = ax 3 f/ x = 3ax 2... f(x) = a(x x 0 ) 1 f/ x = a f(x) = a(x x 0 ) 2 f/ x = 2a(x x 0 ) f(x) = a(x x 0 ) 3 f/ x = 3a(x x 0 ) 2... 54

... 55

Minimalizacja funkcji 56

Minimalizacja funkcji Niech f(x) będzie daną analitycznie funkcją rzeczywistą określoną dla kaŝdego wektora x naleŝącego do jakiegoś ustalonego obszaru zainteresowań S (zawartego w lub równego dziedzinie funkcji), np.: n-wymiarowej hiperprzestrzeni V n n-wymiarowego hiperprostopadłościanu H n wyznaczonego przez wektory [a 1,, a n ] oraz [b 1,, b n ], gdzie a 1 < b 1,, a n < b n O funkcji f(x) zakładamy w ogólności, Ŝe w obszarze S jest ciągła posiada przynajmniej dwie pierwsze pochodne (dane analitycznie) jej dwie pierwsze pochodne są ciągłe Niektóre metody zakładają takŝe, Ŝe f(x) w obszarze S jest wypukła 57

Minimalizacja funkcji Przykłady funkcji sformułowania skalarne f([x 1,x 2,x 3,x 4 ] T ) = (x 1 ) 2 + (x 2 ) 2 + (x 3 ) 2 + (x 4 ) 2 f([x 1,x 2,x 3 ] T ) = (x 1 ) 2 + 2(x 2 ) 2 + 3x 1 f([x 1,x 2 ] T ) = e x 1 + e x 2 58

Minimalizacja funkcji Przykłady funkcji, c.d sformułowania wektorowe/macierzowe f(x) = a T x/ a / x, gdzie a jest ustalonym wektorem niezerowym (korelacja wektorów) f(x) = x T Ax/x T x gdzie A jest ustaloną macierzą (współczynnik Rayleigh a) f(x) = x T Ax + b T x + c, gdzie A jest ustaloną niezerową macierzą nieujemnie określoną b jest ustalonym wektorem c jest ustalonym skalarem (postać macierzowej funkcji kwadratowej) 59

Pochodne funkcji w postaci wektorowo/macierzowej Rozwinięcia z postaci wektorowo/macierzowej do skalarnej, np.: f(x) = a T x + b dla a = [3 4] T, b = 5 f([x 1 x 2 ] T ) = [3 4][x 1 x 2 ] T + 5 = 3x 1 + 4x 2 + 5 f(x) = x T Ax dla A = [1 2; 3 4] f([x 1 x 2 ] T ) = [x 1 x 2 ][1 2; 3 4][x 1 x 2 ] T = = [x 1 x 2 ]([1 2; 3 4][x 1 x 2 ] T ) = = [x 1 x 2 ][1x 1 + 2x 2, 3x 1 + 4x 2 ] T = = x 1 (1x 1 + 2x 2 ) + x 2 (3x 1 + 4x 2 ) = = 1(x 1 ) 2 + 2x 1 x 2 + 3x 1 x 2 + 4(x 2 ) 2 = = 1(x 1 ) 2 + 5x 1 x 2 + 4(x 2 ) 2 60

... 61

Szereg Taylora 62

Szereg Taylora Dane jest wyraŝenie T(x) = k=0.. a k (x x 0 ) k jest ono zaleŝne od zmiennego argumentu x, ustalonej wartości x 0 oraz ustalonych wartości a k (dla k=0.. ) wyraŝenie to reprezentuje sumę nieskończonego ciągu o elementach a k (x x 0 ) k (dla k=0.. ) T(x) jest więc sumą nieskończonej liczby elementów Przyjmując, Ŝe w 0 = 1 dla wszystkich moŝliwych w (takŝe dla w = 0), wyraŝenie T(x) moŝna przedstawić w postaci T(x) = a 0 + k=1.. a k (x x 0 ) k gdy dla wszystkich k większych od pewnego ustalonego n zachodzi a k (x x 0 ) k = 0, wyraŝenie T(x) moŝna zapisać w postaci T n (x) = a 0 + k=1..n a k (x x 0 ) k wyraŝenie to reprezentuje wtedy sumę skończonego ciągu o elementach a k (x x 0 ) k (dla k=0..n) T n (x) jest więc sumą skończonej liczby elementów, a konkretniej: wielomianem stopnia n od argumentu x 63

Szereg Taylora Dzięki podobieństwu do wielomianu, wyraŝenie T(x) moŝe być róŝniczkowane (operacja jest analogiczna do róŝniczkowania wielomianów) Tzn. jeŝeli: T(x) = a 0 + a 1 (x x 0 ) + a 2 (x x 0 ) 2 + a 3 (x x 0 ) 3 + a 4 (x x 0 ) 4 + 64

Szereg Taylora Dzięki podobieństwu do wielomianu, wyraŝenie T(x) moŝe być róŝniczkowane (operacja jest analogiczna do róŝniczkowania wielomianów) Tzn. jeŝeli: T(x) = a 0 + a 1 (x x 0 ) + a 2 (x x 0 ) 2 + a 3 (x x 0 ) 3 + a 4 (x x 0 ) 4 + to: T (x) = 0 + a 1 + 2a 2 (x x 0 ) + 3a 3 (x x 0 ) 2 + 4a 4 (x x 0 ) 3 + 65

Szereg Taylora Dzięki podobieństwu do wielomianu, wyraŝenie T(x) moŝe być róŝniczkowane (operacja jest analogiczna do róŝniczkowania wielomianów) Tzn. jeŝeli: T(x) = a 0 + a 1 (x x 0 ) + a 2 (x x 0 ) 2 + a 3 (x x 0 ) 3 + a 4 (x x 0 ) 4 + to: T (x) = 0 + a 1 + 2a 2 (x x 0 ) + 3a 3 (x x 0 ) 2 + 4a 4 (x x 0 ) 3 + T (x) = 0 + 0 + 2a 2 + 3 2a 3 (x x 0 ) + 4 3a 4 (x x 0 ) 2 + 66

Szereg Taylora Dzięki podobieństwu do wielomianu, wyraŝenie T(x) moŝe być róŝniczkowane (operacja jest analogiczna do róŝniczkowania wielomianów) Tzn. jeŝeli: T(x) = a 0 + a 1 (x x 0 ) + a 2 (x x 0 ) 2 + a 3 (x x 0 ) 3 + a 4 (x x 0 ) 4 + to: T (x) = 0 + a 1 + 2a 2 (x x 0 ) + 3a 3 (x x 0 ) 2 + 4a 4 (x x 0 ) 3 + T (x) = 0 + 0 + 2a 2 + 3 2a 3 (x x 0 ) + 4 3a 4 (x x 0 ) 2 + T (x) = 0 + 0 + 0 + 3 2a 3 + 4 3 2a 4 (x x 0 ) + 67

Szereg Taylora Dzięki podobieństwu do wielomianu, wyraŝenie T(x) moŝe być róŝniczkowane (operacja jest analogiczna do róŝniczkowania wielomianów) Tzn. jeŝeli: T(x) = a 0 + a 1 (x x 0 ) + a 2 (x x 0 ) 2 + a 3 (x x 0 ) 3 + a 4 (x x 0 ) 4 + to: T (x) = 0 + a 1 + 2a 2 (x x 0 ) + 3a 3 (x x 0 ) 2 + 4a 4 (x x 0 ) 3 + T (x) = 0 + 0 + 2a 2 + 3 2a 3 (x x 0 ) + 4 3a 4 (x x 0 ) 2 + T (x) = 0 + 0 + 0 + 3 2a 3 + 4 3 2a 4 (x x 0 ) + 68

Szereg Taylora WyraŜenie T(x) moŝe zostać uŝyte do wyraŝania (w przybliŝony lub dokładny sposób) wartości pewnej funkcji f(x) (czyli funkcji zaleŝnej od argumentu x) wyraŝanie to ma szanse powodzenia, gdy moŝliwe jest znalezienie wartości x 0 oraz a k (dla k=0.. ), które gwarantują f(x) = T(x) dla wszystkich (lub wybranych) x naleŝących do dziedziny funkcji f(x) mówimy wtedy, Ŝe dokonano rozwinięcia wartości funkcji f(x) w szereg Taylora często operacji tej dokonuje się najpierw ustalając wartość x 0, a potem dopiero wartości a k (dla k=0.. ) mówimy wtedy, Ŝe dokonano rozwinięcia wartości funkcji f(x) wokół wartości x 0 operacja ta jest szczególnie łatwa dla funkcji wielokrotnie róŝniczkowalnych 69

Szereg Taylora Niech dana będzie wielokrotnie róŝniczkowalna funkcja f(x), której wartość ma być wyraŝona z uŝyciem T(x), a więc zakładamy istnienie a i oraz x 0 takich, Ŝe: f(x) = a 0 + a 1 (x x 0 ) + a 2 (x x 0 ) 2 + a 3 (x x 0 ) 3 + a 4 (x x 0 ) 4 + 70

Szereg Taylora Wystarczy więc tylko znaleźć wartości a i oraz x 0 i rozwinięcie funkcji f(x) w szereg Taylora jest gotowe! 71

Szereg Taylora Proces poszukiwania współczynników a k współczynnik a 0 równanie f(x) = T(x) ma postać f(x) = a 0 + a 1 (x x 0 ) + a 2 (x x 0 ) 2 + a 3 (x x 0 ) 3 + a 4 (x x 0 ) 4 + niech x = x 0, wtedy f(x 0 ) = a 0 + a 1 (x 0 x 0 ) + a 2 (x 0 x 0 ) 2 + a 3 (x 0 x 0 ) 3 + a 4 (x 0 x 0 ) 4 + f(x 0 ) = a 0 + a 1 0 + a 2 0 2 + a 3 0 3 + a 4 0 4 + f(x 0 ) = a 0 a więc a 0 moŝna ustalić obliczając f(x 0 ) 72

Szereg Taylora Proces poszukiwania współczynników a k współczynnik a 1 w rezultacie jednokrotnego zróŝniczkowania (ze względu na x) obu stron równania f(x) = T(x) otrzymujemy f (x) = a 1 + 2a 2 (x x 0 ) + 3a 3 (x x 0 ) 2 + 4a 4 (x x 0 ) 3 + niech x = x 0, wtedy f (x 0 ) = a 1 + 2a 2 (x 0 x 0 ) + 3a 3 (x 0 x 0 ) 2 + 4a 4 (x 0 x 0 ) 3 + f (x 0 ) = a 1 + 2a 2 0 2 + 3a 3 0 3 + 4a 4 0 4 + f (x 0 ) = a 1 a więc a 1 moŝna ustalić obliczając f (x 0 ) 73

Szereg Taylora Proces poszukiwania współczynników a k współczynnik a 2 w rezultacie dwukrotnego zróŝniczkowania (ze względu na x) obu stron równania f(x) = T(x) otrzymujemy f (x) = 2a 2 + 3 2a 3 (x x 0 ) + 4 3a 4 (x x 0 ) 2 + niech x = x 0, wtedy f (x 0 ) = 2a 2 + 3 2a 3 (x 0 x 0 ) + 4 3a 4 (x 0 x 0 ) 2 + f (x 0 ) = 2a 2 + 3 2a 3 0 + 4 3a 4 0 2 + f (x 0 ) = 2a 2 a więc a 2 moŝna ustalić obliczając f (x 0 )/2 74

Szereg Taylora Proces poszukiwania współczynników a k współczynnik a 3 w rezultacie trzykrotnego zróŝniczkowania (ze względu na x) obu stron równania f(x) = T(x) otrzymujemy f (x) = 3 2a 3 + 4 3 2a 4 (x x 0 ) + niech x = x 0, wtedy f (x 0 ) = 3 2a 3 (x 0 x 0 ) + 4 3a 4 (x 0 x 0 ) 2 + f (x 0 ) = 3 2a 3 0 + 4 3a 4 0 2 + f (x 0 ) = 3 2a 3 a więc a 3 moŝna ustalić obliczając f (x 0 )/(2 3) 75

Szereg Taylora Proces poszukiwania współczynników a k współczynnik a 4 w rezultacie czterokrotnego zróŝniczkowania (ze względu na x) obu stron równania f(x) = T(x) otrzymujemy f (x) = 4 3 2a 4 + niech x = x 0, wtedy f (x 0 ) = 4 3 2a 4 + f (x 0 ) = 4 3 2a 4 a więc a 4 moŝna ustalić obliczając f (x 0 )/(2 3 4) 76

Szereg Taylora Proces poszukiwania współczynników a k współczynnik a k (w ogólności) w rezultacie k-krotnego zróŝniczkowania (ze względu na x) obu stron równania f(x) = T(x) otrzymujemy f (k) (x) = k (k 1) 2 a k + niech x = x 0, wtedy f (k) (x) = k (k 1) 2 a k = k! a k a więc a k moŝna ustalić obliczając f (k) (x 0 )/(k!) 77

Szereg Taylora Czyli dla wielokrotnie róŝniczkowalnej f(x) mamy f(x) = f(x 0 ) + f (x 0 )(x x 0 ) + f (x 0 )/2 (x x 0 ) 2 + f (x 0 )/3! (x x 0 ) 3 + Wykorzystując 0! = 1! = 1 mamy: f(x) = k=0.. f (k) (x 0 )/k! (x x 0 ) k gdzie f (0) (x) f(x) f (1) (x) f (x) f (2) (x) f (x) 78

Szereg Taylora Dzięki temu, Ŝe k! szybko rośnie, w wielu przypadkach, dla odpowiednio duŝych k zachodzi f (k) (x 0 )(x x 0 ) k << k! Oczywiście wtedy: f (k) (x 0 )(x x 0 ) k /k! << 1 czy wręcz f (k) (x 0 )(x x 0 ) k /k! 0 79

Szereg Taylora Dzięki temu moŝliwe jest skrócenie szeregu do kilku (np. n) początkowych elementów (czyli tych, dla których zakładamy, Ŝe f (k) (x 0 )(x x 0 ) k /k! 0 nie zachodzi) f(x) k=0..n f (k) (x 0 )/k! (x x 0 ) k Gdy skrócenie jest niemoŝliwe, stosuje się zapis pozwalający na wyróŝnienie tzw. reszty (oznaczenie R n+1 ) f(x) = k=0.. f (k) (x 0 )/k! (x x 0 ) k = k=0..n f (k) (x 0 )/k! (x x 0 ) k + R n+1 80

Szereg Taylora Szereg T(x) nosi nazwę szeregu Taylora gdy x 0 = 0, szereg Taylora nazywa się szeregiem MacLaurina Wiele popularnych funkcji analitycznych posiada rozwinięcia w szereg Taylora (względnie MacLaurina) wniosek: funkcje te dają się przedstawić w postaci wielomianu zyski z powyŝszego: łatwiejsza interpretacja łatwiejsza ewaluacja 81

Szereg Taylora Pytanie: jeŝeli (nawet skomplikowane) funkcje (np. e x ) posiadają rozwinięcia Taylora (czyli moŝna je przedstawiać w postaci wielomianu), to moŝe warto w ogóle zrezygnowąć z posługiwania się tymi funkcjami i po prostu wszędzie uŝywać ich rozwinięć? czyli np. przyjąć raz na dobre, Ŝe f(x) T n (x) = k=0..n f (k) (x 0 )/k! (x x 0 ) k (oczywiście pamiętając, Ŝe T n (x) jest jedynie przybliŝeniem) (ale o kontrolowalnej dokładności /wpływ parametru n/) 82

Szereg Taylora Odpowiedź: mimo wszystko nie warto! :-) (wręcz: nie moŝna!) przyczyna: rozwinięcie jest lokalne (czyli: inne dla kaŝdego x 0 ) 83

Szereg Taylora Przykład: sześcioelementowe T 6 (x) rozwinięcie funkcji e x w szereg Taylora wokół wartości x 0 = 0 funkcja i jej pochodne: (e x ) (0) = e x (e x ) (1) = (e x ) = e x (e x ) (2) = (e x ) = e x (e x ) (3) = (e x ) = e x (e x ) (4) = (e x ) = e x (e x ) (5) = (e x ) = e x... 84

Szereg Taylora Przykład: sześcioelementowe T 6 (x) rozwinięcie funkcji e x w szereg Taylora wokół wartości x 0 = 0 współczynniki a k a 0 = f (0) (x 0 )/(0!) = e 0 /1 = 1/1 = 1 a 1 = f (1) (x 0 )/(1!) = e 0 /1 = 1/1 = 1 a 2 = f (2) (x 0 )/(2!) = e 0 /2 = 1/2 a 3 = f (3) (x 0 )/(3!) = e 0 /6 = 1/6 a 4 = f (4) (x 0 )/(4!) = e 0 /24 = 1/24 a 5 = f (5) (x 0 )/(5!) = e 0 /120 = 1/120... 85

Szereg Taylora Ostateczny wzór: rozwinięcie nieskończone e x = T(x) = k=0.. f (k) (x 0 )/k! (x x 0 ) k = 1 + x + x 2 /2! + x 3 /3! + x 4 /4! + x 5 /5! +... 86

Szereg Taylora Ostateczny wzór: rozwinięcie nieskończone e x = T(x) = k=0.. f (k) (x 0 )/k! (x x 0 ) k = 1 + x + x 2 /2! + x 3 /3! + x 4 /4! + x 5 /5! +... rozwinięcie skończone, sześcioelementowe: e x T 6 (x) = k=0..5 f (k) (x 0 )/k! (x x 0 ) k = 1 + x + x 2 /2! + x 3 /3! + x 4 /4! + x 5 /5! 87

Szereg Taylora Kolory wykresów: f(x) = e x w 0 (x) = 1 w 1 (x) = 1 + x w 2 (x) = 1 + x + x 2 /2! w 3 (x) = 1 + x + x 2 /2! + x 3 /3! w 4 (x) = 1 + x + x 2 /2! + x 3 /3! + x 4 /4! w 5 (x) = 1 + x + x 2 /2! + x 3 /3! + x 4 /4! + x 5 /5! 88

3 2.5 2 1.5 1 0.5 0-1 -0.5 0 0.5 1 89

3 2.5 2 1.5 1 0.5 0-1 -0.5 0 0.5 1 90

3 2.5 2 1.5 1 0.5 0-1 -0.5 0 0.5 1 91

3 2.5 2 1.5 1 0.5 0-1 -0.5 0 0.5 1 92

3 2.5 2 1.5 1 0.5 0-1 -0.5 0 0.5 1 93

3 2.5 2 1.5 1 0.5 0-1 -0.5 0 0.5 1 94

3 2.5 2 1.5 1 0.5 0-1 -0.5 0 0.5 1 95

Szereg Taylora Inny przykład: dwunastoelementowe T 6 (x) rozwinięcie funkcji sin(x) w szereg Taylora wokół wartości x 0 = 0 sin(x) T(x) = k=0.. f (k) (x 0 )/k! (x x 0 ) k = = 0 + x + 0 x 3 /3! + 0 + x 5 /5! + 0 x 7 /7! + 0 + x 9 /9! + 0 x 11 /11! +... 96

Szereg Taylora Kolory wykresów: f(x) = sin(x) w 0 (x) = 0 w 1 (x) = x w 2 (x) = x w 3 (x) = x - x 3 /3! w 4 (x) = x - x 3 /3! w 5 (x) = x - x 3 /3! + x 5 /5! w 6 (x) = x - x 3 /3! + x 5 /5! w 7 (x) = x - x 3 /3! + x 5 /5! - x 7 /7! w 8 (x) = x - x 3 /3! + x 5 /5! - x 7 /7! w 9 (x) = x - x 3 /3! + x 5 /5! - x 7 /7! + x 9 /9! w 10 (x) = x - x 3 /3! + x 5 /5! - x 7 /7! + x 9 /9! w 11 (x) = x - x 3 /3! + x 5 /5! - x 7 /7! + x 9 /9! - x 11 /11! 97

4 Szereg Taylora Ostateczny wzór (rozwinięcie skończone, pięcioelementowe): 3 2 1 0-1 -2-3 -4-4 -3-2 -1 0 1 2 3 4 98

Szereg Taylora PrzybliŜanie funkcji f(x) szeregiem Taylora niech dane będą ustalony obszar S funkcja f(x) określona w obszarze S i posiadająca wszystkie pochodne określone w obszarze S rozwinięcie T(x) funkcji f(x) w szereg Taylora wokół punktu y S dane jest następującym wzorem T(x) = f (0) (y)/(0!) (x y) 0 + f (1) (y)/(1!) (x y) 1 + f (2) (y)/(2!) (x y) 2 + uwaga: rozwinięcie moŝe obejmować nieskończoną lub skończoną liczbę (niezerowych) składników (w przypadku liczby skończonej ostatni element szeregu jest innej postaci /i stanowi tzw. resztę/) zastosowana notacja: f (k) (x) oznaczenie k-tej pochodnej funkcji f(x) w szczególności f (0) (x) f(x) funkcja f (1) (x) f (x) jej pierwsza pochodna f (2) (x) f (x) jej druga pochodna 105

... 106

Dygresja 107

Dygresja 50,8944264922 295,2732174260 1219,6440273420 0,0000049136 0,8334066578 1,0792168463 0,0000042009 0,0000598881 5015,8814043346 0,0268475121 108

Dygresja 109

Dygresja 50,8944264922 50,894 50,89 50,9... 295,2732174260 295,273 295,27 295,3... 1219,6440273420 1219,644 1219,64 1219,6... 0,0000049136 0,000 0,00 0,0... 0,8334066578 0,833 0,83 0,8... 1,0792168463 1,079 1,08 1,1... 0,0000042009 0,000 0,00 0,0... 0,0000598881 0,000 0,00 0,0... 5015,8814043346 5015,881 5015,88 5015,9... 0,0268475121 0,027 0,03 0,0... 110

Dygresja 50,8944264922 50,894 50,89 50,9... 295,2732174260 295,273 295,27 295,3... 1219,6440273420 1219,644 1219,64 1219,6... 0,0000049136 0,000 0,00 0,0... 0,8334066578 0,833 0,83 0,8... 1,0792168463 1,079 1,08 1,1... 0,0000042009 0,000 0,00 0,0... 0,0000598881 0,000 0,00 0,0... 5015,8814043346 5015,881 5015,88 5015,9... 0,0268475121 0,027 0,03 0,0... 111

Dygresja 50,8944264922 50,894 50,89 50,9... 295,2732174260 295,273 295,27 295,3... 1219,6440273420 1219,644 1219,64 1219,6... 0,0000049136 0,000 0,00 0,0... 0,8334066578 0,833 0,83 0,8... 1,0792168463 1,079 1,08 1,1... 0,0000042009 0,000 0,00 0,0... 0,0000598881 0,000 0,00 0,0... 5015,8814043346 5015,881 5015,88 5015,9... 0,0268475121 0,027 0,03 0,0... 112

Dygresja 50,8944264922 50,894 50,89 50,9... 295,2732174260 295,273 295,27 295,3... 1219,6440273420 1219,644 1219,64 1219,6... 0,0000049136 0,000 0,00 0,0... 0,8334066578 0,833 0,83 0,8... 1,0792168463 1,079 1,08 1,1... 0,0000042009 0,000 0,00 0,0... 0,0000598881 0,000 0,00 0,0... 5015,8814043346 5015,881 5015,88 5015,9... 0,0268475121 0,027 0,03 0,0... 113

Dygresja 50,8944264922 50,894 50,89 50,9... 295,2732174260 295,273 295,27 295,3... 1219,6440273420 1219,644 1219,64 1219,6... 0,0000049136 0,000 0,00 0,0... 0,8334066578 0,833 0,83 0,8... 1,0792168463 1,079 1,08 1,1... 0,0000042009 0,000 0,00 0,0... 0,0000598881 0,000 0,00 0,0... 5015,8814043346 5015,881 5015,88 5015,9... 0,0268475121 0,027 0,03 0,0... 114

Dygresja 10 x 300 250 200 150 100 50 0-3 -2-1 0 1 2 3 x 115

Dygresja 10 x 300 250 200 150 100 50 0-3 -2-1 0 1 2 3 x 116

Dygresja 10 x 300 250 200 150 100 50 0-3 -2-1 0 1 2 3 x 117

Dygresja 10 x 300 250 200 150 100 50 0-3 -2-1 0 1 2 3 x 118

Dygresja 10 x 300 250 200 150 100 50 0-3 -2-1 0 1 2 3 x 119

Dygresja 3 log 10 (x) 2 1 0-1 -2-3 0 50 100 150 200 250 300 x 120

Dygresja 50,8944264922 1,707 295,2732174260 2,470 1219,6440273420 3,086 0,0000049136-5,309 0,8334066578-0,079 1,0792168463 0,033 0,0000042009-5,377 0,0000598881-4,223 5015,8814043346 3,700 0,0268475121-1,571 121

Dygresja 4 3 2 1 0-1 -2-3 -4-5 -6 1 2 3 4 5 6 7 8 9 10 122

Dygresja 2 0,301029996 4 0,602059991 8 0,903089987 16 1,204119983 32 1,505149978 64 1,806179974 128 2,10720997 256 2,408239965 512 2,709269961 1024 3,010299957 1200 3.5 1000 3 800 2.5 2 600 1.5 400 1 200 0.5 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 123

Dygresja 3 0,477121255 9 0,954242509 27 1,431363764 81 1,908485019 243 2,385606274 729 2,862727528 2187 3,339848783 6561 3,816970038 19683 4,294091292 59049 4,771212547 6 x 104 5 4.5 5 4 4 3.5 3 3 2.5 2 2 1.5 1 1 0.5 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 124

Dygresja 10 x 300 250 200 150 100 50 0-3 -2-1 0 1 2 3 x 125

Dygresja log 10 (10 x ) 3 2 1 0-1 -2-3 -3-2 -1 0 1 2 3 x 126

... 127

Współczynnik i rząd zbieŝności 128

Współczynnik i rząd zbieŝności ciągu Idea współczynnika i rzędu zbieŝności ciągu skalarów 129

Współczynnik i rząd zbieŝności ciągu Idea współczynnika i rzędu zbieŝności ciągu skalarów niech s 0, s 1, s 2, będzie ciągiem skalarów zbieŝnym do skalara s = lim k s k niech p 1 będzie maksymalną wartością, dla której istnieje granica β = lim k s k+1 s / s k s p wtedy wartość p nazywamy rzędem zbieŝności wartość β nazywamy współczynnikiem zbieŝności p-tego rzędu jeŝeli p = 1 i β (0,1), to ciąg ma zbieŝność liniową p = 1 i β = 0 lub p > 1, to ciąg ma zbieŝność superliniową (w znaczeniu: lepszą od liniowej) 130

Współczynnik i rząd zbieŝności ciągu Ilustracja (rząd pierwszy) 131

Współczynnik i rząd zbieŝności ciągu Ilustracja (rząd drugi) 132

Współczynnik i rząd zbieŝności ciągu Idea współczynnika... po zastosowaniu oznaczenia e k = s k+1 s (error), dla duŝych n zachodzi e k+1 = β(e k ) p 133

Współczynnik i rząd zbieŝności ciągu Idea... ciąg e k+1 = β(e k ) p dla e 0 = 1 β = 2 p = 1 134

Współczynnik i rząd zbieŝności ciągu Idea... ciąg e k+1 = β(e k ) p dla e 0 = 1 β = 2 p = 1 2 0,301029996 4 0,602059991 8 0,903089987 16 1,204119983 32 1,505149978 64 1,806179974 128 2,10720997 256 2,408239965 512 2,709269961 1024 3,010299957 1200 3.5 1000 3 800 600 400 2.5 2 1.5 1 200 0.5 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 135

Współczynnik i rząd zbieŝności ciągu Idea... ciąg e k+1 = β(e k ) p dla e 0 = 1 β = 1/2 p = 1 0-0.5-1 -1.5-2 -2.5-3 -3.5 1 2 3 4 5 6 7 8 9 10 136

Współczynnik i rząd zbieŝności ciągu Idea... ciąg e k+1 = β(e k ) p dla e 0 = 1 β = 2 p = 2 137

Współczynnik i rząd zbieŝności ciągu Idea... ciąg e k+1 = β(e k ) p dla e 0 = 1 β = 2 p = 2 2.00 8.00 128.00 32768.00 2147483648.00 9223372036854775800.00 170141183460469230000000000000000000000.00 57896044618658098000000000000000000000000000000000000000000000000000000000000.00 6703903964971298500000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000.00 0000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000 138

Współczynnik i rząd zbieŝności ciągu Idea... ciąg e k+1 = β(e k ) p dla e 0 = 1 β = 2 p = 2 2 0,301029996 8 0,903089987 128 2,10720997 32768 4,515449935 2147483648 9,331929866 9,22E+18 18,96488973 1,70E+38 38,23080945 5,79E+76 76,76264889 6,70E+153 153,8263278 8,99E+307 307,9536856 10 x 10307 350 300 250 5 200 150 100 50 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 139

Współczynnik i rząd zbieŝności ciągu Idea... ciąg e k+1 = β(e k ) p dla e 0 = 1 β = 1/2 p = 2 0-50 -100-150 -200-250 -300-350 1 2 3 4 5 6 7 8 9 10 140

Współczynnik i rząd zbieŝności ciągu Idea współczynnika i rzędu zbieŝności ciągu wektorów 141

Współczynnik i rząd zbieŝności ciągu Idea współczynnika i rzędu zbieŝności ciągu wektorów niech w 0, w 1, w 2, będzie ciągiem wektorów zbieŝnym do wektora w = lim k w k niech p 1 będzie maksymalną wartością, dla której istnieje granica β = lim k w k+1 w / w k w p, wtedy wartość p nazywamy rzędem zbieŝności wartość β nazywamy współczynnikiem zbieŝności p-tego rzędu jeŝeli p = 1 i β (0,1), to ciąg ma zbieŝność liniową p = 1 i β = 0 lub p > 1, to ciąg ma zbieŝność superliniową (w znaczeniu: lepszą od liniowej) 142

... 143

Aproksymacja i optymalizacja: ilustracja problemów 144

Aproksymacja i optymalizacja: ilustracja problemów Przykład funkcji: f(x) = x 4 50x 2 + 300x + 2000 145

Aproksymacja i optymalizacja: ilustracja problemów Aproksymacja problem istnienia rozwiązań (miejsc zerowych) brak miejsc zerowych asymptotyczne zbliŝanie miejsca zerowe poza granicami przedziału zmienności... 146

Aproksymacja i optymalizacja: ilustracja problemów Aproksymacja problem jednoznaczności rozwiązań (miejsc zerowych) policzalne liczby miejsc zerowych niepoliczalne ilości miejsc zerowych policzalne liczby niepoliczalnych ilości miejsc zerowych... 147

Aproksymacja i optymalizacja: ilustracja problemów Optymalizacja problem istnienia rozwiązań brak rozwiązań asymptotyczne zbliŝanie rozwiązania poza granicami przedziału zmienności... 148

Aproksymacja i optymalizacja: ilustracja problemów Optymalizacja problem jednoznaczności rozwiązań (minimów/maksimów) policzalne liczby rozwiązań niepoliczalne ilości rozwiązań policzalne liczby niepoliczalnych ilości rozwiązań... 149

Aproksymacja i optymalizacja: ilustracja problemów Ograniczona ilość informacji w aproksymacji/optymalizacji 150

Aproksymacja i optymalizacja: ilustracja problemów Ograniczona ilość informacji w aproksymacji/optymalizacji 151

Aproksymacja i optymalizacja: ilustracja problemów Ograniczona ilość informacji w aproksymacji/optymalizacji wartość funkcji 152

Aproksymacja i optymalizacja: ilustracja problemów Ograniczona ilość informacji w aproksymacji/optymalizacji wartość funkcji i wartość jej (pierwszej) pochodnej 153

Aproksymacja i optymalizacja: ilustracja problemów Ograniczona ilość informacji w aproksymacji/optymalizacji itd. 154

Aproksymacja i optymalizacja: ilustracja problemów Ograniczona ilość informacji w aproksymacji/optymalizacji bez względu na ilość takich danych, to nie to samo, co informacja o całym przebiegu funkcji! 155

... 156

Metody newtonowskie 157

Metody newtonowskie Mętlik terminologiczny istnieje wiele metod noszących (pełną lub częściową) nazwę Newtona, z których jedne słuŝą do poszukiwania ekstremów funkcji a inne do poszukiwania miejsc zerowych funkcji w ramach wykładu nazewnictwo tych metod będzie następujące poszukiwanie ekstremów funkcji metody optymalizacyjne poszukiwanie miejsc zerowych funkcji metody aproksymacyjne uwaga: nazywanie metod optymalizacyjnymi (w odróŝnieniu od nazywania ich aproksymacyjnymi) jest nieco mylące, poniewaŝ takŝe metody aproksymacyjne starają się znajdować rozwiązania optymalnie (ewentualnie w przybliŝeniu optymalnie) i posługują się nieraz bardzo podobnymi technikami lepszą praktyką byłoby nazywanie metod poszukujacych ekstremów funkcji metodami ekstremalizacyjnymi (lub konkretnie, w zaleŝności od specyfiki metody minimalizacyjnymi względnie maksymalizacyjnymi) 158

Metody newtonowskie Mętlik terminologiczny, c.d. optymalizacyjne metody newtonowskie (m.in.) metoda jednowymiarowej optymalizacji Newtona (zwana takŝe metodą Newtona-Raphsona) metoda wielowymiarowej optymalizacji Newtona-Raphsona (zwana takŝe metodą Newtona), jest naturalnym uogólnieniem metody (jednowymiarowej optymalizacji) Newtona na wiele wymiarów metoda wielowymiarowej optymalizacji uogólniona Newtona (zwana takŝe metodą Cauchy ego), bezpośrednio wykorzystuje metodę (jednowymiarowej optymalizacji) Newtona metoda wielowymiarowej optymalizacji Cauchyego metoda wielowymiarowej optymalizacji Levenberga-Marquarda aproksymacyjne metody newtonowskie (m.in.) metoda jednowymiarowej aproksymacji Newtona 159

Metody newtonowskie W dalszej części wykładu metoda Newtona metoda aproksymacji jednowymiarowej metoda Newtona metoda optymalizacji jednowymiarowej metoda Newtona-Raphsona metoda optymalizacji wielowymiarowej podstawowe modyfikacje metod Newtona-Raphsona (uogólniona metoda Newtona, metoda Cauchy ego i metoda Levenberga-Marquarda) metody optymalizacji wielowymiarowej 160

Metody newtonowskie Związek pomiędzy metodą (optymalizacyjną) Newtona a metodą (optymalizacyjną) Newtona-Raphsona metoda Newtona-Raphsona jest naturalnym uogólnieniem metody Newtona na wiele wymiarów nie mylić tego uogólnienia z metodą o nazwie uogólniona metoda Newtona! a więc oczywiście moŝe być stosowana w problemach jednowymiarowych metoda Newtona jest naturalnym uszczególnieniem metody Newtona-Raphsona na jeden wymiar a więc nie moŝe moŝe być stosowana w problemach wielowymiarowych 161

Dygresja Pytanie: w jakim sensie Newtona-Raphsona jest naturalnym uogólnieniem metody Newtona? Odpowiedź: w takim samym, w jakim zapisany macierzowo układ równań z wieloma niewiadomymi jest uogólnieniem zapisanego skalarnie jednego równania z jedną niewiadomą zapis skalarny: ax = b zapis macierzowy: Ax = b 162

... 163

Metoda Newtona (aproksymacyjna) Metoda (aproksymacyjna) Newtona metoda aproksymacji jednowymiarowej bez ograniczeń (z ewentualnymi ograniczeniami na zakres zmienności zmiennej) Dane jednowymiarowy obszar S (obszar musi spełniać kilka dodatkowych załoŝeń) określona w obszarze S funkcja f(x) (funkcja musi spełniać kilka dodatkowych załoŝeń) Cel metody znaleźć x 0 S taki, Ŝe f(x 0 ) = 0 (poszukiwanie miejsc zerowych funkcji f(x) w obszarze S) 164

Metoda Newtona (aproksymacyjna) Idea metody Newtona (aproksymacji jednowymiarowej) niech będzie dana analitycznie jednowymiarowa funkcja f(x), dla której poszukujemy miejsca zerowego w pewnym obszarze (w praktyce: w przedziale), i o której zakładamy, Ŝe w tym właśnie przedziale jest ciągła posiada pierwszą pochodną (daną analitycznie), która jest ciągła uznaje się, Ŝe przebieg aproksymowanej, jednowymiarowej funkcji f(x) w otoczeniu pewnego ustalonego punktu x 0 jest taki sam, jak przebieg pewnej funkcji afinicznej, czyli funkcji postaci g(x) = ax + b, gdzie a 0, o parametrach a i b tak dobranych, aby dobrze odzwierciedlały przebieg funkcji f(x) do jakości takiego odzwierciedlenia przyczyniają się oczywiście powyŝsze załoŝenia dotyczące funkcji f(x), które (nie przez przypadek, oczywiście) są takŝe właściwościami funkcji afinicznej postaci g(x) = ax+b, gdzie a 0 przybliŝenie funkcji f(x) jest wykonywane z uŝyciem jej pochodnych 165

Metoda Newtona (aproksymacyjna) Idea metody Newtona (aproksymacji jednowymiarowej), c.d. za miejsce zerowe funkcji f(x) uznaje się miejsce zerowe funkcji g(x), przy czym: jeŝeli znaleziony punkt (czyli miejsce zerowe afinicznej funkcji g(x)) stanowi miejsce zerowe optymalizowanej funkcji f(x), to zadanie jest zakończone powyŝsze sprawdzenie moŝe nie być trywialne ogólne rozwiązanie tego problemu stanowi osobne zagadnienie (warunek stopu) jeŝeli znaleziony punkt (czyli miejsce zerowe afinicznej funkcji g(x)) nie stanowi miejsca zerowego aproksymowanej funkcji f(x), to przyjmuje się,ŝe stanowi on lepsze przybliŝenie poszukiwanego miejsca zerowego i powtarza się całe postępowanie powyŝsze przyjęcie moŝe być błędne ogólne rozwiązanie tego problemu stanowi osobne zagadnienie (niezbieŝność) 166

Metoda Newtona (aproksymacyjna) Idea metody Newtona (aproksymacji jednowymiarowej), c.d. funkcja afiniczna i jej pochodna funkcja: g(x) = ax + b, gdzie a 0 jej pierwsza pochodna: g (x) = a połoŝenie miejsca zerowego funkcji afinicznej przyrównanie funkcji do zera: ax + b = 0 miejsce zerowe: x = b/a poniewaŝ (z załoŝenia) a 0, więc miejsce zerowe istnieje uwaga: w zaleŝności od a i b, funkcja g(x) = ax + b moŝe mieć róŝne liczby miejsc zerowych, a konkretnie: ma jedno miejsce zerowe, gdy a 0 nie ma miejsc zerowych, gdy a = 0 i b 0 ma nieskończenie wiele miejsc zerowych, gdy a = 0 i b = 0 167

Metoda Newtona (aproksymacyjna) PrzybliŜanie funkcji f(x) funkcją afiniczną z uŝyciem pochodnych jeŝeli odpowiednie pochodne funkcji f(x) istnieją w pewnym obszarze S, to w tym obszarze moŝliwe jest przybliŝenie tej funkcji wykorzystujące jej rozwinięcie w szereg Taylora wykorzystując dwuelementowe przybliŝenie q(x) rozwinięcia funkcji f(x) wokół punktu y S mamy dla kaŝdego x S f(x) q(x) = f(x 0 ) + f (x 0 )(x x 0 ) funkcja q(x) stanowi przybliŝenie funkcji f(x) jest dwuelementowym rozwinięciem f(x) w szereg Taylora wokół punktu x 0 ma postać g(x) = ax + b poniewaŝ q(x) = f(x 0 ) + f (x 0 )(x x 0 ) = f(x 0 ) + f (x 0 )x f (x 0 )x 0 = f (x 0 )x + (f(x 0 ) f (x 0 )x 0 ) a więc: a = f (x 0 ), b = f(x 0 ) f (x 0 )x 0 168

Metoda Newtona (aproksymacyjna) Poszukiwanie przybliŝenia miejsca zerowego zakładamy, Ŝe dla kaŝdego x S spełniony jest warunek f (x) 0 powyŝsze załoŝenie oraz zaleŝności a = f (x 0 ) i b = f(x 0 ) f (x 0 )x 0 pozwalają na następujące określenie rozwiązania funkcji x = b/a = = (f(x 0 ) f (x 0 )x 0 )/f (x 0 ) = = (f (x 0 )x 0 f(x 0 ))/f (x 0 ) = = x 0 f(x 0 )/f (x 0 ) jeŝeli x 0 jest dowolnym punktem ustalonego obszaru S, to (zgodnie z zasadą przybliŝania funkcji f(x) funkcją afiniczną) punkt x = x 0 f(x 0 )/f (x 0 ) jest miejscem zerowym funkcji f(x) lub lepszym przybliŝeniem tego miejsca zerowego niŝ punkt x 0 (powyŝsze działa takŝe w przypadku, gdy x 0 jest juŝ miejscem zerowym funkcji f(x) /ale spełniającym f (x 0 ) 0/, poniewaŝ wtedy x 0 f(x 0 )/f (x 0 ) = x 0 0/f (x 0 ) = x 0 0 = x 0 ) 169

Metoda Newtona (aproksymacyjna) Schemat iteracyjny metody zasada ustalania następnego punktu na podstawie poprzedniego pozwala na sformułowanie następującego schematu iteracyjnego x k+1 = x k f(x k )/f (x k ) Algorytm 1. ustal punkt x 0 i podstaw k = 0 2. dopóki nie zachodzi warunek stopu, wykonuj: oblicz x k+1 = x k f(x k )/f (x k ) podstaw k = k + 1 170

Metoda Newtona (aproksymacyjna) Interpretacja geometryczna metody Dane: funkcja f(x) wraz z pochodną f (x), a dla nich x k (punkt na osi poziomej) f(x k ) (punkt na osi pionowej) f (x k ) (tangens kąta zawartego pomiędzy osią poziomą a prostą styczną do wykresu funkcji w punkcie x k ) 171

Metoda Newtona (aproksymacyjna) Interpretacja geometryczna metody Więcej informacji o funkcji (w tym przypadku dość skomplikowanej) 172

Metoda Newtona (aproksymacyjna) Interpretacja geometryczna metody Poszukiwane: x k+1 (przybliŝenie miejsca zerowego) 173

Metoda Newtona (aproksymacyjna) Interpretacja geometryczna metody Wykorzystując f (x k ) = tg(α) oraz tg(α) = f(x k )/(x k x k+1 ) załoŝenie: x k x k+1 0 otrzymujemy zaleŝność f(x k )/(x k x k+1 ) = f (x k ) 174

Metoda Newtona (aproksymacyjna) Interpretacja geometryczna metody Przekształcenie zaleŝności f(x k )/(x k x k+1 ) = f (x k ) prowadzi do f(x k )/f (x k ) = x k x k+1, a więc ostatecznie x k+1 = x k f(x k )/f (x k ) załoŝenie: f (x k ) 0 175

Metoda Newtona (aproksymacyjna) Mocno uproszczona wersja metody (sytuacja f (x) 1) x k+1 = x k f(x k )/1 = x k f(x k ) wartość przesunięcia: zawsze o f(x k ) gdy f(x k ) > 0, to x k+1 < x k (przesunięcie w lewo) gdy f(x k ) = 0, to koniec gdy f(x k ) < 0, to x k+1 > x k (przesunięcie w prawo) 176

Metoda Newtona (aproksymacyjna) Mocno uproszczona wersja metody (sytuacja f (x) 1) x k+1 = x k f(x k )/( 1) = x k + f(x k ) wartość przesunięcia: zawsze o f(x k ) gdy f(x k ) > 0, to x k+1 > x k (przesunięcie w prawo) gdy f(x k ) = 0, to koniec gdy f(x k ) < 0, to x k+1 < x k (przesunięcie w lewo) 177

Metoda Newtona (aproksymacyjna) Potencjalne warunki stopu metody osiągnięcie miejsca zerowego teoretycznie badamy: f(x k ) = 0 praktycznie badamy: f(x k ) ε ustabilizowanie wyniku teoretycznie badamy: x k+1 = x k praktycznie badamy: x k+1 x k ε przekroczenie maksymalnej liczby iteracji k > k 0 gdzie ε jest (małą) dodatnią wartością rzeczywistą (dokładność obliczeń) k 0 jest (duŝą) dodatnią wartością całkowitą (maksymalna liczba iteracji) 178

Metoda Newtona (aproksymacyjna) ZbieŜność metody metoda nie gwarantuje zbieŝności dla kaŝdego wektora początkowego teoretyczne przyczyny ewentualnej niezbieŝności zerowość pierwszej pochodnej (a więc nie istnieje jej odwrotność) rezultat: nie moŝna obliczyć x k+1 niewłaściwy krok metody (choć prawidłowo obliczony) rezultat: f(x k+1 ) f(x k ) praktyczne przyczyny ewentualnej niezbieŝności... w (korzystnych) przypadkach zbieŝnych: (w pobliŝu rozwiązania) zbieŝność rzędu drugiego (czyli wysoka!) 179

Metoda Newtona (aproksymacyjna) Czy są moŝliwe sytuacje, w których (aproksymacyjna) metoda Newtona nie działa wcale? tak przyczyny pochodna nieokreślona (nie moŝna zainicjować ciągu {x k }) pochodna dla pewnego x k zerowa (nie moŝna utworzyć elementu x k+1 ) ciąg {x k } jest niezbieŝny, a więc np.: ciąg {x k } dąŝy do + ciąg {x k } dąŝy do ciąg {x k } jest cykliczny ciąg {x k } przejawia inne powody niezbieŝności» np.: +1, 2, +4, 8, +16, 32, +64, 128, +256, 180

Metoda Newtona (aproksymacyjna) Czy są moŝliwe sytuacje, w których (aproksymacyjna) metoda Newtona nie działa jednoznacznie (w jakimś sensie)? tak przyczyna istnienie wielu miejsc zerowych z których róŝne mogą zostać osiągnięte (zaleŝnie od doboru punktu startowego) 181

... 182

Metoda Newtona (aproksymacyjna) Przykład przybliŝania funkcji danej funkcją przybliŝającą (liniową) /cel: znalezienie miejsca zerowego funkcji danej/ funkcja f(x) = 0.05x 4 + 0.2x 3 + 0x 2 + 0.4x 1 (przykładowe) punkty, w których znajdujemy przybliŝenie x 0 : 4, 3, 2, 1, 0, +1, +2, +3, +4 183

8 Metoda Newtona (aproksymacyjna) 6 4 2 0-2 -4-6 -8-8 -6-4 -2 0 2 4 6 8 184

Metoda Newtona (aproksymacyjna) Przykład działania /cel: znalezienie miejsca zerowego funkcji danej/ funkcja f(x) = 0.05x 4 + 0.2x 3 + 0x 2 + 0.4x 1 wartość początkowa x 0 = 2 195

... 206

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji funkcja f(x) = 4x 3 100x + 300 207

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji funkcja f(x) = 4x 3 100x + 300-5 300 200-4 444 92-3 492 8-2 468-52 -1 396-88 0 300-100 1 204-88 2 132-52 3 108 8 4 156 92 5 300 200 208

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji funkcja f(x) = 4x 3 100x + 300 209

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji funkcja f(x) = 4x 3 100x + 300 pierwsza pochodna f (x) = 12x 2 100 210

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. miejsce zerowe funkcji: x z = 6.10598343090539 211

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. przyjęty warunek stopu: f(x) 10 6 warunek ten pozwala na uznanie, Ŝe: funkcja f(x) osiąga wartość zero 212

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. przyjęty punkt początkowy x 0 = 1 punkt ten decyduje o przebiegu całego procesu 213

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. funkcja 214

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. x 215

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) 216

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. log( f(x) ) 217

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = 4x 3 100x + 300 218

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = 4x 3 100x + 300 miejsce zerowe funkcji: x z = 6.10598343090539 przyjęty warunek stopu: f(x) 10 6 219

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = 4x 3 100x + 300, f(x) 10 6, x 0 = 1 osiągnięto warunek stopu 220

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = 4x 3 100x + 300, f(x) 10 6, x 0 losowy z rozkladu N(0,1) osiągnięto warunek stopu 224

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 5 228

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 5 miejsce zerowe funkcji: x z = 5 przyjęty warunek stopu: f(x) 10 6 229

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 5, f(x) 10 6, x 0 = 1 osiągnięto warunek stopu 230

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 2 234

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 2 miejsce zerowe funkcji: x z = 0 przyjęty warunek stopu: f(x) 10 6 235

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 2, f(x) 10 6, x 0 = 1 osiągnięto warunek stopu (uwaga: zbieŝność rzędu pierwszego) 236

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2 241

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2 miejsce zerowe funkcji: x z = 1.76929235424336 przyjęty warunek stopu: f(x) 10 6 242

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2, f(x) 10 6, x 0 losowy z rozkladu N(0,1) osiągnięto warunek stopu 243

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2, f(x) 10 6, x 0 = 1 nie osiągnięto warunku stopu (problem: brak zbieŝności) 246

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 247

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 miejsce zerowe funkcji: x z = 0 przyjęty warunek stopu: f(x) 10 6 248

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3, f(x) 10 6, x 0 = 1 nie osiągnięto warunku stopu (problem: brak zbieŝności) 249

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 2 + 1 250

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 2 + 1 miejsce zerowe funkcji: brak ( x (,+ ) : f(x) > 0) przyjęty warunek stopu: f(x) 10 6 251

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 2 + 1, f(x) 10 6, x 0 = 1 nie osiągnięto warunku stopu (problem: dzielenie przez zero) 252

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 2 6x + 100 253

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 2 6x + 100 miejsce zerowe funkcji: brak ( x (,+ ) : f(x) > 0) przyjęty warunek stopu: f(x) 10 6 254

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 2 6x + 100, f(x) 10 6, x 0 = 1 nie osiągnięto warunku stopu (problem: brak zbieŝności) 255

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. uzasadnienia niektórych niezbieŝności 256

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2 czy moŝna wyjaśnić niezbieŝność dla x 0 = 0? 257

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2 pochodna: f (x) = 3x 2 2 258

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2 pochodna: f (x) = 3x 2 2 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 3 2x n + 2)/(3(x n ) 2 2) 259

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2 pochodna: f (x) = 3x 2 2 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 3 2x n + 2)/(3(x n ) 2 2) iteracja: x 0 = 0 260

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2 pochodna: f (x) = 3x 2 2 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 3 2x n + 2)/(3(x n ) 2 2) iteracja: x 0 = 0 x 1 = 0 (0 3 2 0 + 2)/(3 0 2 2) = 2/( 2) = 1 261

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2 pochodna: f (x) = 3x 2 2 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 3 2x n + 2)/(3(x n ) 2 2) iteracja: x 0 = 0 x 1 = 0 (0 3 2 0 + 2)/(3 0 2 2) = 2/( 2) = 1 x 2 = 1 (1 3 2 1 + 2)/(3 1 2 2) = 1 1/1 = 0 262

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2 pochodna: f (x) = 3x 2 2 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 3 2x n + 2)/(3(x n ) 2 2) iteracja: x 0 = 0 x 1 = 0 (0 3 2 0 + 2)/(3 0 2 2) = 2/( 2) = 1 x 2 = 1 (1 3 2 1 + 2)/(3 1 2 2) = 1 1/1 = 0... 263

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 czy moŝna wyjaśnić niezbieŝność dla x 0 0? 264

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 pochodna: f (x) = (1/3) x 1/3 1 = (1/3) x 2/3 265

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 pochodna: f (x) = (1/3) x 1/3 1 = (1/3) x 2/3 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 1/3 )/((1/3) (x n ) 2/3 ) = x n 3(x n ) 1/3 ( 2/3) = x n 3(x n ) 3/3 = x n 3x n = 2x n 266

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 pochodna: f (x) = (1/3) x 1/3 1 = (1/3) x 2/3 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 1/3 )/((1/3) (x n ) 2/3 ) = x n 3(x n ) 1/3 ( 2/3) = x n 3(x n ) 3/3 = x n 3x n = 2x n iteracja: x 0 = 1 267

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 pochodna: f (x) = (1/3) x 1/3 1 = (1/3) x 2/3 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 1/3 )/((1/3) (x n ) 2/3 ) = x n 3(x n ) 1/3 ( 2/3) = x n 3(x n ) 3/3 = x n 3x n = 2x n iteracja: x 0 = 1 x 1 = 2 1 = 2 268

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 pochodna: f (x) = (1/3) x 1/3 1 = (1/3) x 2/3 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 1/3 )/((1/3) (x n ) 2/3 ) = x n 3(x n ) 1/3 ( 2/3) = x n 3(x n ) 3/3 = x n 3x n = 2x n iteracja: x 0 = 1 x 1 = 2 1 = 2 x 2 = 2 ( 2) = 4 269

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 pochodna: f (x) = (1/3) x 1/3 1 = (1/3) x 2/3 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 1/3 )/((1/3) (x n ) 2/3 ) = x n 3(x n ) 1/3 ( 2/3) = x n 3(x n ) 3/3 = x n 3x n = 2x n iteracja: x 0 = 1 x 1 = 2 1 = 2 x 2 = 2 ( 2) = 4 x 3 = 2 4 = 8 270

Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 pochodna: f (x) = (1/3) x 1/3 1 = (1/3) x 2/3 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 1/3 )/((1/3) (x n ) 2/3 ) = x n 3(x n ) 1/3 ( 2/3) = x n 3(x n ) 3/3 = x n 3x n = 2x n iteracja: x 0 = 1 x 1 = 2 1 = 2 x 2 = 2 ( 2) = 4 x 3 = 2 4 = 8... 271

... 272

Dygresja Jak się ma średnia arytmetyczna do kombinacji wypukłej? 273

Dygresja Jak się ma średnia arytmetyczna do kombinacji wypukłej? średnia arytmetyczna jest szczególnym przypadkiem tzw. kombinacji wypukłej 274

Dygresja Jak się ma średnia arytmetyczna do kombinacji wypukłej? średnia arytmetyczna jest szczególnym przypadkiem tzw. kombinacji wypukłej mean(a,b) = (a+b)/2 = (1/2) (a+b) = (1/2) a + (1/2) b 275

Dygresja Jak się ma średnia arytmetyczna do kombinacji wypukłej? średnia arytmetyczna jest szczególnym przypadkiem tzw. kombinacji wypukłej mean(a,b) = (a+b)/2 = (1/2) (a+b) = (1/2) a + (1/2) b dla wszystkich rzeczywistych a i b mamy więc: gdy a < b: a mean(a,b) b gdy a = b: a = mean(a,b) = b gdy a > b: a mean(a,b) b 276

Dygresja Wniosek: dla wszystkich rzeczywistych a i b średnia arytmetyczna z a i b leŝy pomiędzy* a i b * pomiędzy a i b jest rozumiane słabo, tzn. gdy a = b, to zarówno a, jak i b leŝą pomiędzy a i b 277

Dygresja Właściwość funkcji ciągłej (twierdzenie Darboux) niech f: [a, b] R będzie taką funkcją ciągłą, Ŝe f(a) f(b) < 0 (tzn. f(a) i f(b) są niezerowe i mają róŝne znaki) wtedy istnieje c [a, b] takie, Ŝe f(c) = 0 278

Dygresja Właściwości funkcji f(x) = 1/x (ciągła m.in. na przedziale (0,+ )) jeŝeli rzeczywiste, dodatnie x spełnia x < 1, to 1/x > 1, a więc x < 1 < 1/x x = 1, to 1/x = 1, a więc x = 1 = 1/x x > 1, to 1/x < 1, a więc x > 1 > 1/x 279

Dygresja Właściwości funkcji f(x) = x 1/2 (ciągła m.in. na przedziale (0,+ )) jeŝeli rzeczywiste, dodatnie x spełnia x < 1, to 1 > x 1/2 > x x = 1, to 1 = x 1/2 = x x > 1, to 1 < x 1/2 < x 280

Dygresja Wniosek: pierwiastek z rzeczywistego, dodatniego x leŝy pomiędzy* x a 1/x * pomiędzy a i b jest rozumiane słabo, tzn. gdy a = b, to zarówno a, jak i b leŝą pomiędzy a i b 281

Dygresja Niech x 0 > 0 282

Dygresja Pytanie: co się dzieje z wartościami ciągu: x n+1 = (1/2) (x n + 1/x n ) dla kolejnych n? 283

Dygresja Pytanie: co się dzieje z wartościami ciągu: x n+1 = (1/2) (x n + 1/x n ) dla kolejnych n? Odpowiedź: zbiegają się do 1 (bo x = 1 jest rozwiązaniem x = 1/x) 284

Dygresja Pytanie: co się dzieje z wartościami ciągu: x n+1 = (1/2) (x n + 4/x n ) dla kolejnych n? 285

Dygresja Pytanie: co się dzieje z wartościami ciągu: x n+1 = (1/2) (x n + 4/x n ) dla kolejnych n? Odpowiedź: zbiegają się do 2 (bo x = 2 jest rozwiązaniem x = 4/x) 286

Dygresja itd. 287

... 288

Przykład ciekawego zastosowania metody Newtona 289

Przykład ciekawego zastosowania metody Newtona Pierwiastki rzeczywiste z (rzeczywistych) liczb nieujemnych 290

Przykład ciekawego zastosowania metody Newtona Pierwiastki rzeczywiste z (rzeczywistych) liczb nieujemnych pytanie: jak obliczyć pierwiastek kwadratowy z 1000? 291

Przykład ciekawego zastosowania metody Newtona Pierwiastki rzeczywiste z (rzeczywistych) liczb nieujemnych pytanie: jak obliczyć pierwiastek kwadratowy z 1000? odpowiedź: skorzystać z kalkulatora! 292

Przykład ciekawego zastosowania metody Newtona Pierwiastki rzeczywiste z (rzeczywistych) liczb nieujemnych pytanie: jak obliczyć pierwiastek kwadratowy z 1000? odpowiedź: skorzystać z kalkulatora! pytanie: jak kalkulator moŝe obliczyć pierwiastek kwadratowy z 1000? (uwaga: pierwiastka nie moŝna obliczyć za pomocąŝadnej /dostępnej na kalkulatorze/ pojedynczej operacji typu dodawanie, odejmowanie, mnoŝenie czy dzielenie) 293

Przykład ciekawego zastosowania metody Newtona Pierwiastki rzeczywiste z (rzeczywistych) liczb nieujemnych pytanie: jak obliczyć pierwiastek kwadratowy z 1000? odpowiedź: skorzystać z kalkulatora! pytanie: jak kalkulator moŝe obliczyć pierwiastek kwadratowy z 1000? (uwaga: pierwiastka nie moŝna obliczyć za pomocąŝadnej /dostępnej na kalkulatorze/ pojedynczej operacji typu dodawanie, odejmowanie, mnoŝenie czy dzielenie) odpowiedź: moŝe skorzystać z (aproksymacyjnej) metody Newtona 294

Przykład ciekawego zastosowania metody Newtona Aproksymacyjna metoda Newtona w poszukiwaniu pierwiastków kwadratowych z rzeczywistych liczb nieujemnych dla nieujemnych p zachodzi x = p 1/2 x 2 = p x 2 p = 0 wniosek: p 1/2 jest miejscem zerowym funkcji f(x) = x 2 p (jedynym, gdy p = 0; jednym z dwóch, gdy p > 0 /drugim jest p 1/2 /) 295

Przykład ciekawego zastosowania metody Newtona Aproksymacyjna metoda Newtona w poszukiwaniu pierwiastków kwadratowych z rzeczywistych liczb nieujemnych, c.d. wyprowadzenie (aproksymacyjnego) schematu iteracyjnego funkcja: f(x) = x 2 p pochodna: f (x) = 2x schemat: x k+1 = x k f(x k )/f (x k ) = = x k ((x k ) 2 p)/(2x k ) = = x k (x k ) 2 /(2x k ) + p/(2x k ) = = x k x k /2 + p/(2x k ) = = (1/2) x k + (p/2)/x k = = (1/2) x k + (1/2) p/x k = = (1/2) (x k + p/x k ) (średnia arytmetyczna z x k oraz p/x k ) załoŝenie: x k 0 dla wszystkich k, w szczególności x 0 0 po przyjęciu x 0 > 0, wobec nieujemności p, mamy gwarancję, Ŝe dla wszystkich k zachodzi x k 0 296

Przykład ciekawego zastosowania metody Newtona Aproksymacyjna metoda Newtona w poszukiwaniu pierwiastków kwadratowych z rzeczywistych liczb nieujemnych, c.d. algorytm (wejscie p, wyjscie y) if (p < 0) y = error elseif (p = 0) y = 0 else x 0 = p for k=0 to 19 x k+1 = (1/2) (x k + p/x k ) end y = x 20 uwagi liczba iteracji dostosowana do kalkulatora 9-cio pozycyjnego demonstrowane wyniki nie uwzględniają tego faktu (zostały wygenerowane w arytmetyce typu double) 297

Przykład ciekawego zastosowania metody Newtona p = 1000 /20 iteracji/ y = 31.6227766 x k 298

Przykład ciekawego zastosowania metody Newtona p = 2 /20 iteracji/ y = 1.41421356 x k 299

Przykład ciekawego zastosowania metody Newtona p = 9 /20 iteracji/ y = 3 x k 300

Przykład ciekawego zastosowania metody Newtona p = 0.12345678 /20 iteracji/ y = 0.35136417 x k 301

Przykład ciekawego zastosowania metody Newtona x k p = 999999999 (dziewięć dziewiątek) /20 iteracji/ y = 31622.7765 302

Przykład ciekawego zastosowania metody Newtona I wreszcie te ciekawe... 303

Przykład ciekawego zastosowania metody Newtona Co się dzieje, gdy załoŝenie p 0 nie jest spełnione ale schemat iteracyjny zostanie uruchomiony? 304

Przykład ciekawego zastosowania metody Newtona x k p = 1 (wbrew załoŝeniu!) /2 iteracje/ x 0 = 1, x 1 = 0, czyli jest x 2 nieokreślone (formalny wynik: y = error ) 305

Przykład ciekawego zastosowania metody Newtona x k p = 3 (wbrew załoŝeniu!) /20 iteracji/ cykliczność ciągu {x k } (formalny wynik: y = error ) 306

Przykład ciekawego zastosowania metody Newtona x k p = 10 (wbrew załoŝeniu!) /20 iteracji/ niezbieŝność ciągu {x k } (formalny wynik: y = error ) 307

Przykład ciekawego zastosowania metody Newtona x k p = 10 (wbrew załoŝeniu!) /2000 iteracji/, zawęŝone wartości niezbieŝność ciągu {x k } (formalny wynik: y = error ) 311

... 312

Metoda Newtona (optymalizacyjna) 313

Metoda Newtona (optymalizacyjna) Metoda (optymalizacyjna) Newtona metoda optymalizacji jednowymiarowej bez ograniczeń (z ewentualnymi ograniczeniami na zakres zmienności zmiennej) Dane jednowymiarowy obszar S (obszar musi spełniać kilka dodatkowych załoŝeń) określona w obszarze S funkcja f(x) (funkcja musi spełniać kilka dodatkowych załoŝeń) Cel metody znaleźć x* S taki, Ŝe x S f(x*) f(x) (minimalizacja funkcji f(x) w obszarze S) 314

Metoda Newtona (optymalizacyjna) Idea metody Newtona (optymalizacji jednowymiarowej) niech będzie dana analitycznie jednowymiarowa funkcja f(x), dla której poszukujemy minimum w pewnym obszarze (w praktyce: w przedziale), i o której zakładamy, Ŝe w tym właśnie przedziale jest ciągła jest wypukła posiada pierwszą i drugą pochodną (dane analitycznie), które są ciągłe uznaje się, Ŝe przebieg optymalizowanej, jednowymiarowej funkcji f(x) w otoczeniu pewnego ustalonego punktu x 0 jest taki sam, jak przebieg pewnej funkcji kwadratowej, czyli funkcji postaci g(x) = ax 2 + bx + c, gdzie a > 0, o parametrach a, b i c tak dobranych, aby dobrze odzwierciedlały przebieg funkcji f(x) do jakości takiego odzwierciedlenia przyczyniają się oczywiście powyŝsze załoŝenia dotyczące funkcji f(x), które (nie przez przypadek, oczywiście) są takŝe właściwościami funkcji kwadratowej postaci g(x) = ax 2 + bx + c, gdzie a > 0 przybliŝenie funkcji f(x) jest wykonywane z uŝyciem jej pochodnych 315

Metoda Newtona (optymalizacyjna) Idea metody Newtona (optymalizacji jednowymiarowej), c.d. za rozwiązanie funkcji f(x) uznaje się rozwiązanie funkcji g(x), przy czym: jeŝeli znaleziony punkt (czyli rozwiązanie kwadratowej funkcji g(x)) stanowi rozwiązanie optymalizowanej funkcji f(x), to zadanie jest zakończone powyŝsze sprawdzenie moŝe nie być trywialne ogólne rozwiązanie tego problemu stanowi osobne zagadnienie (warunek stopu) jeŝeli znaleziony punkt (czyli rozwiązanie kwadratowej funkcji g(x)) nie stanowi rozwiązania optymalizowanej funkcji f(x), to przyjmuje się, Ŝe stanowi on lepsze przybliŝenie poszukiwanego rozwiązania i powtarza się całe postępowanie powyŝsze przyjęcie moŝe być błędne ogólne rozwiązanie tego problemu stanowi osobne zagadnienie (niezbieŝność) 316

Metoda Newtona (optymalizacyjna) Idea metody Newtona (optymalizacji jednowymiarowej), c.d. funkcja kwadratowa i jej dwie pierwsze pochodne funkcja: g(x) = ax 2 + bx + c, gdzie a > 0 jej pierwsza pochodna: g (x) = 2ax + b jej druga pochodna: g (x) = 2a połoŝenie rozwiązania funkcji kwadratowej: punkt zerowania się (pierwszej) pochodnej przyrównanie pierwszej pochodnej do zera: 2ax + b = 0 rozwiązanie: x = b/2/a pierwsza pochodna jest funkcją afiniczną, która zmienia znak w punkcie x = b/2/a (jest ujemna dla x < b/2/a i dodatnia dla x > b/2/a), z czego wynika, Ŝe funkcja g(x) posiada ekstremum w punkcie x = b/2/a poniewaŝ (z załoŝenia) a > 0, więc takŝe 2a > 0, a zatem ekstremum funkcji g(x) jest typu minimum uwaga: w zaleŝności od a, funkcja g(x) = ax 2 + bx + c moŝe mieć minima, maksima albo punkty przegięcia, a konkretnie: funkcja ma minimum, gdy a > 0 funkcja ma punkt przegięcia, gdy a = 0 funkcja ma maksimum, gdy a < 0 317

Metoda Newtona (optymalizacyjna) PrzybliŜanie funkcji f(x) funkcją kwadratową z uŝyciem pochodnych jeŝeli wszystkie pochodne funkcji f(x) istnieją w pewnym obszarze S, to w tym obszarze moŝliwe jest przybliŝenie tej funkcji wykorzystujące jej rozwinięcie w szereg Taylora 318

Metoda Newtona (optymalizacyjna) PrzybliŜanie funkcji f(x) funkcją kwadratową z uŝyciem pochodnych niech dane będą ustalony obszar S funkcja f(x) określona w obszarze S i posiadająca wszystkie pochodne określone w obszarze S rozwinięcie T(x) funkcji f(x) w szereg Taylora wokół punktu x 0 S dane jest następującym wzorem T(x) = f (0) (x 0 )(x x 0 ) 0 /(0!) + f (1) (x 0 )(x x 0 ) 1 /(1!) + f (2) (x 0 )(x x 0 ) 2 /(2!) + = f(x 0 ) 1/1 + f (x 0 )(x x 0 )/1 + f (x 0 )(x x 0 ) 2 /2 + = f(x 0 ) + f (x 0 )(x x 0 ) + f (x 0 )(x x 0 ) 2 /2 + (rozwinięcie obejmuje nieskończoną liczbę składników) zastosowana notacja: f (k) (x) oznaczenie k-tej pochodnej funkcji f(x) w szczególności f (0) (x) f(x) funkcja f (1) (x) f (x) jej pierwsza pochodna f (2) (x) f (x) jej druga pochodna 319

Metoda Newtona (optymalizacyjna) PrzybliŜanie funkcji f(x) funkcją kwadratową z uŝyciem pochodnych dla dowolnej funkcji f(x) dla kaŝdego x S wykorzystując nieskończoną liczbę składników rozwinięcia otrzymujemy T(x) = f(x) skończoną liczbę składników rozwinięcia otrzymujemy T(x) f(x) dla szczególnej funkcji, spełniającej f (k) (x) = 0 dla wszystkich k 3 dla kaŝdego x S wykorzystując trzy pierwsze składniki rozwinięcia otrzymujemy T(x) = f(x) przykładem takiej funkcji jest g(x) = ax 2 + bx + c, poniewaŝ: g (x) = 2ax + b g (x) = 2a g (x) = 0 g (x) = 0 itd. 320

Metoda Newtona (optymalizacyjna) PrzybliŜanie funkcji f(x) funkcją kwadratową z uŝyciem pochodnych wykorzystując trzyelementowe przybliŝenie q(x) rozwinięcia funkcji f(x) wokół punktu x 0 S mamy dla kaŝdego x S f(x) q(x) = f(x 0 ) + f (x 0 )(x x 0 ) + f (x 0 )(x x 0 ) 2 /2 funkcja q(x) stanowi przybliŝenie funkcji f(x) jest trzyelementowym rozwinięciem f(x) w szereg Taylora wokół punktu x 0 ma postać g(x) = ax 2 + bx + c poniewaŝ q(x) = f(x 0 ) + f (x 0 )(x x 0 ) + f (x 0 )(x x 0 ) 2 /2 = = f(x 0 ) + f (x 0 )x f (x 0 )x 0 + f (x 0 )(x x 0 ) 2 /2 = = f(x 0 ) + f (x 0 )x f (x 0 )x 0 + f (x 0 )(x 2 2xx 0 +(x 0 ) 2 )/2 = = f(x 0 ) + f (x 0 )x f (x 0 )x 0 + f (x 0 )x 2 /2 2f (x 0 )xx 0 /2 + f (x 0 )(x 0 ) 2 /2 = = f(x 0 ) + f (x 0 )x f (x 0 )x 0 + f (x 0 )x 2 /2 f (x 0 )xx 0 + f (x 0 )(x 0 ) 2 /2 = = f (x 0 )x 2 /2 + f (x 0 )x f (x 0 )xx 0 + f(x 0 ) f (x 0 )x 0 + f (x 0 )(x 0 ) 2 /2 = f (x 0 )/2 x 2 + (f (x 0 ) f (x 0 )x 0 ) x + (f(x 0 ) f (x 0 )x 0 +f (x 0 )(x 0 ) 2 /2) a więc: a = f (x 0 )/2, b = f (x 0 ) f (x 0 )x 0, c = f(x 0 ) f (x 0 )x 0 +f (x 0 )(x 0 ) 2 /2 321

Metoda Newtona (optymalizacyjna) Schemat iteracyjny metody zakładamy, Ŝe dla kaŝdego x S spełniony jest warunek f (x) 0 powyŝsze załoŝenie oraz zaleŝności a = f (x 0 )/2 i b = f (x 0 ) f (x 0 )x 0 pozwalają na następujące określenie rozwiązania funkcji x = b/2/a = = (f (x 0 ) f (x 0 )x 0 )/2/(f (x 0 )/2) = (f (x 0 ) f (x 0 )x 0 )/f (x 0 ) = = (f (x 0 )/f (x 0 ) f (x 0 )x 0 /f (x 0 )) = (f (x 0 )/f (x 0 ) x 0 ) = = x 0 f (x 0 )/f (x 0 ) jeŝeli x 0 jest dowolnym punktem ustalonego obszaru S, to (zgodnie z zasadą przybliŝania funkcji f(x) funkcją kwadratową) punkt x = x 0 f (x 0 )/f (x 0 ) jest rozwiązaniem funkcji f(x) lub lepszym przybliŝeniem tego rozwiązania niŝ punkt x 0 (powyŝsze działa takŝe w przypadku, gdy x 0 jest juŝ rozwiązaniem funkcji f(x) /ale spełniającym f (x 0 ) 0/, poniewaŝ wtedy x 0 f (x 0 )/f (x 0 ) = x 0 0/f (x 0 ) = x 0 0 = x 0 ) 322

Metoda Newtona (optymalizacyjna) Schemat iteracyjny metody zasada ustalania następnego punktu na podstawie poprzedniego pozwala na sformułowanie następującego schematu iteracyjnego x k+1 = x k f (x k )/f (x k ) Algorytm 1. ustal punkt x 0 i podstaw k = 0 2. dopóki nie zachodzi warunek stopu, wykonuj: oblicz x k+1 = x k f (x k )/f (x k ) podstaw k = k + 1 323

Metoda Newtona (optymalizacyjna) Potencjalne warunki stopu metody osiągnięcie minimum teoretycznie badamy: f (x k ) = 0 praktycznie badamy: f (x k ) ε ustabilizowanie wyniku teoretycznie badamy: x k+1 = x k praktycznie badamy: x k+1 x k ε przekroczenie maksymalnej liczby iteracji k > k 0 gdzie ε jest (małą) dodatnią wartością rzeczywistą (dokładność obliczeń) k 0 jest (duŝą) dodatnią wartością całkowitą (maksymalna liczba iteracji) 324

Metoda Newtona (optymalizacyjna) ZbieŜność metody metoda nie gwarantuje zbieŝności dla kaŝdego wektora początkowego teoretyczne przyczyny ewentualnej niezbieŝności zerowość drugiej pochodnej (a więc nie istnieje jej odwrotność) rezultat: nie moŝna obliczyć x k+1 niewłaściwy krok metody (choć prawidłowo obliczony) rezultat: f(x k+1 ) f(x k ) praktyczne przyczyny ewentualnej niezbieŝności... w (korzystnych) przypadkach zbieŝnych: (w pobliŝu rozwiązania) zbieŝność rzędu drugiego (czyli wysoka!) 325

Metoda Newtona (optymalizacyjna) Czy są moŝliwe sytuacje, w których (optymalizacyjna) metoda Newtona nie działa wcale? tak przyczyny druga pochodna nieokreślona (nie moŝna zainicjować ciągu {x k }) druga pochodna dla pewnego x k zerowa (nie moŝna utworzyć elementu x k+1 ) ciąg {x k } jest niezbieŝny, a więc np.: ciąg {x k } dąŝy do + ciąg {x k } dąŝy do ciąg {x k } jest cykliczny ciąg {x k } przejawia inne powody niezbieŝności» np.: +1, 2, +4, 8, +16, 32, +64, 128, +256, 326

Metoda Newtona (optymalizacyjna) Czy są moŝliwe sytuacje, w których (optymalizacyjna) metoda Newtona nie działa jednoznacznie (w jakimś sensie)? tak przyczyna istnienie wielu minimów z których róŝne mogą zostać osiągnięte (zaleŝnie od doboru punktu startowego) 327

... 328

Metoda Newtona (optymalizacyjna) Przykład przybliŝania funkcji danej funkcją przybliŝającą (kwadratową) /cel: znalezienie ekstremum funkcji danej/ funkcja f(x) = 0.01x 5 + 0.05x 4 + 0x 3 + 0.2x 2 x 5 (przykładowe) punkty, w których znajdujemy przybliŝenie x 0 : 4, 3, 2, 1, 0, +1, +2, +3, +4 329

8 Metoda Newtona (optymalizacyjna) 6 4 2 0-2 -4-6 -8-8 -6-4 -2 0 2 4 6 8 330

Metoda Newtona (optymalizacyjna) Przykład działania /cel: znalezienie ekstremum funkcji danej/ funkcja f(x) = 0.01x 5 + 0.05x 4 + 0x 3 + 0.2x 2 x 5 wartość początkowa x 0 = 2 341

... 352

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji funkcja f(x) = x 4 50x 2 + 300x + 2000 353

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji funkcja f(x) = x 4 50x 2 + 300x + 2000 pierwsza pochodna f (x) = 4x 3 100x + 300 druga pochodna f (x) = 12x 2 100 354

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji przyjęty warunek stopu: f (x) 0.001 warunek ten pozwala na uznanie, Ŝe: funkcja f (x) osiąga wartość zero, czyli funkcja f(x) osiąga wartość minimalną (o ile f (x) > 0) 355

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji minimum funkcji: x* = 6.10598343090539 356

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji przyjęty punkt początkowy x 0 = 1 punkt ten decyduje o przebiegu całego procesu 357

Metoda Newtona (optymalizacyjna) Przykład poszukiwania zer funkcji, c.d. funkcja 358

Metoda Newtona (optymalizacyjna) Przykład poszukiwania zer funkcji, c.d. x 359

Metoda Newtona (optymalizacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) 360

Metoda Newtona (optymalizacyjna) Przykład poszukiwania zer funkcji, c.d. log( f(x) ) 361

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = x 4 50x 2 + 300x + 2000 362

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = x 4 50x 2 + 300x + 2000 minimum funkcji: x* = 6.10598343090539 przyjęty warunek stopu: f (x) 10 6 363

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = x 4 50x 2 + 300x + 2000, f (x) 10 6, x 0 = 1 osiągnięto warunek stopu 364

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = x 4 50x 2 + 300x + 2000, f (x) 10 6, x 0 losowy z rozkladu N(0,1) osiągnięto warunek stopu 368

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.5x 2 5x + 50 372

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.5x 2 5x + 50 minimum funkcji: x* = 5 przyjęty warunek stopu: f(x) 10 6 373

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.5x 2 5x + 50, f (x) 10 6, x 0 = 1 osiągnięto warunek stopu 374

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = (1/3)x 3 378

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = (1/3)x 3 minimum funkcji: x*: brak (lim x x 3 = ) przyjęty warunek stopu: f(x) 10 6 379

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = (1/3)x 3, f (x) 10 6, x 0 = 1 osiągnięto warunek stopu (problem: wynik nie jest minimum!) (uwaga: zbieŝność rzędu pierwszego) 380

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = (1/3)x 3, f (x) 10 6, x 0 = 0 osiągnięto warunek stopu (problem: wynik nie jest minimum) 384

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.25x 4 x 2 + 2x + 10 385

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.25x 4 x 2 + 2x + 10 minimum funkcji: x* = 1.76929235424336 przyjęty warunek stopu: f(x) 10 6 386

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.25x 4 x 2 + 2x + 10, f (x) 10 6, x 0 losowy z rozkladu N(0,1) osiągnięto warunek stopu 387

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.25x 4 x 2 + 2x + 10, f (x) 10 6, x 0 = 1 nie osiągnięto warunku stopu (problem: brak zbieŝności) 390

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.75x 4/3 391

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.75x 4/3 minimum funkcji: x* = 0 przyjęty warunek stopu: f(x) 10 6 392

Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.75x 4/3, f(x) 10 6, x 0 = 1 nie osiągnięto warunku stopu (problem: brak zbieŝności) 393

... 394

Metody Newtona: porównanie 395

Metody Newtona: porównanie Porównanie: optymalizacyjna a aproksymacyjna metoda Newtona dzięki odpowiednim załoŝeniom dotyczącym funkcji f(x) optymalizacyjny schemat iteracyjny x k+1 = x k f (x k )/f (x k ) dla funkcji f(x) prowadzi do: znalezienia rozwiązania funkcji f(x) (argumentu zapewniającego minimum) a jednocześnie znalezienia miejsca zerowego funkcji f (x) (argumentu zapewniającego zerowość) a więc jest jednocześnie schematem aproksymacyjnym dla funkcji f (x) przez analogię: schematem aproksymacyjnym dla funkcji f(x) jest więc x k+1 = x k f(x k )/f (x k ) (reszta algorytmu jest takŝe analogiczna) 396

Metody Newtona: porównanie Porównanie: optymalizacyjna a aproksymacyjna metoda Newtona jakość przybliŝania funkcją liniową a funkcją kwadratową... przybliŝenie funkcji f(x) w punkcie x 0 funkcją liniową gwarantuje q(x 0 ) = f(x 0 ) /identyczna wartość w x 0 / q (x 0 ) = f (x 0 ) /identyczne nachylenie w x 0 / (nadaje się do poszukiwania miejsc zerowych) przybliŝenie funkcji f(x) q(x) w punkcie x 0 funkcją kwadratową gwarantuje q(x 0 ) = f(x 0 ) /identyczna wartość w x 0 / q (x 0 ) = f (x 0 ) /identyczne nachylenie w x 0 / q (x 0 ) = f (x 0 ) /identyczne ugięcie* w x 0 / (nadaje się do poszukiwania ekstremów)... * powiązane pojęcia: krzywizna, wklęsłość, wypukłość, punkt przegięcia, punkt siodłowy 397

Metody Newtona: porównanie Porównanie: optymalizacyjna a aproksymacyjna metoda Newtona związek funkcja-pochodna rozciąga się takŝe na funkcje przybliŝające w metodzie aproksymacyjnej jest to funkcja liniowa q l (x) postaci: q l (x) = ax + b gdzie a = f (x 0 ), b = f(x 0 ) f (x 0 )x 0, czyli q l (x) = f (x 0 )x + f(x 0 ) f (x 0 )x 0 w metodzie optymalizacyjnej jest to funkcja kwadratowa q k (x) postaci: q k (x) = ax 2 + bx + c gdzie a = f (x 0 )/2, b = f (x 0 ) f (x 0 )x 0, c = f(x 0 ) f (x 0 )x 0 +f (x 0 )(x 0 ) 2 /2 pochodna tej funkcji (q k (x)) = (ax 2 + bx + c) = 2ax + b = 2(f (x 0 )/2)x + f (x 0 ) f (x 0 )x 0 = = f (x 0 )x + f (x 0 ) f (x 0 )x 0 gdy aproksymacja jest stosowana do pochodnej funkcji optymalizowanej, w kategoriach tej funkcji mamy a = f (x 0 ), b = f (x 0 ) f (x 0 )x 0, czyli q l (x) = f (x 0 )x + f (x 0 ) f (x 0 )x 0 wniosek: (q k (x)) = q l (x) 398

Metody Newtona (optymalizacyjna+aproksymacyjna) Przykład przybliŝania pewnej funkcji danej funkcją przybliŝającą (kwadratową) /cel: znalezienie ekstremum funkcji danej/ funkcja f(x) = 0.01x 5 + 0.05x 4 + 0x 3 + 0.2x 2 x 5 wraz z jednoczesnym przybliŝaniem pochodnej funkcji danej funkcją przybliŝającą (liniową) /cel: znalezienie miejsca zerowego pochodnej funkcji danej/ funkcja f (x) = 0.05x 4 + 0.2x 3 + 0x 2 + 0.4x 1 (przykładowe) punkty, w których znajdujemy oba przybliŝenia x 0 : 4, 3, 2, 1, 0, +1, +2, +3, +4 399

Metody Newtona (optymalizacyjna+aproksymacyjna) 8 6 4 2 0-2 -4-6 -8-8 -6-4 -2 0 2 4 6 8 400

Metody Newtona (optymalizacyjna+aproksymacyjna) Przykład znajdowanie ekstremum funkcji danej funkcja f(x) = 0.01x 5 + 0.05x 4 + 0x 3 + 0.2x 2 x 5 wartość początkowa x 0 = 2 wraz z jednoczesnym znajdowaniem miejsca zerowego pochodnej funkcji danej funkcja f (x) = 0.05x 4 + 0.2x 3 + 0x 2 + 0.4x 1 wartość początkowa x 0 = 2 411

... 422

Przykład ciekawego zastosowania metody Newtona 423

Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki 424

Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 1 1? 425

Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) 426

Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 2 1? 427

Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1 oraz x = 1 (istnieją dwa zera tej funkcji) 428

Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1 oraz x = 1 (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 3 1? 429

Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1 oraz x = 1 (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 3 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) 430

Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1 oraz x = 1 (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 3 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) czwartego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 4 1? 431

Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1 oraz x = 1 (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 3 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) czwartego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 4 1? odpowiedź: x = 1 oraz x = 1 (istnieją dwa zera tej funkcji) 432

Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1 oraz x = 1 (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 3 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) czwartego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 4 1? odpowiedź: x = 1 oraz x = 1 (istnieją dwa zera tej funkcji) 433

Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki 434

Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 1 1? 435

Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1+0i (istnieje jedno zero tej funkcji) 436

Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1+0i (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 2 1? 437

Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1+0i (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1+0i oraz x = 1+0i (istnieją dwa zera tej funkcji) 438

Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1+0i (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1+0i oraz x = 1+0i (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 3 1? 439

Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1+0i (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1+0i oraz x = 1+0i (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 3 1? odpowiedź: x = 1+0i, x = ( 1+3 1/2 i)/2 oraz x = ( 1 3 1/2 i)/2 (istnieją trzy zera tej funkcji) 440

Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1+0i (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1+0i oraz x = 1+0i (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 3 1? odpowiedź: x = 1+0i, x = ( 1+3 1/2 i)/2 oraz x = ( 1 3 1/2 i)/2 (istnieją trzy zera tej funkcji) czwartego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 4 1? 441

Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1+0i (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1+0i oraz x = 1+0i (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 3 1? odpowiedź: x = 1+0i, x = ( 1+3 1/2 i)/2 oraz x = ( 1 3 1/2 i)/2 (istnieją trzy zera tej funkcji) czwartego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 4 1? odpowiedź: x = 1+0i, x = 0+i, x = 1+0i oraz x = 0 i (istnieją cztery zera tej funkcji) 442

Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1+0i (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1+0i oraz x = 1+0i (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 3 1? odpowiedź: x = 1+0i, x = ( 1+3 1/2 i)/2 oraz x = ( 1 3 1/2 i)/2 (istnieją trzy zera tej funkcji) czwartego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 4 1? odpowiedź: x = 1+0i, x = 0+i, x = 1+0i oraz x = 0 i (istnieją cztery zera tej funkcji) 443

Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki stopnia czwartego oczywiście spełniają x = 1+0i: x 4 = (1+0i) 4 = 1 4 = 1 x = 0+i: x 4 = (0+i) 4 = i 4 = (i 2 ) 2 = ( 1) 2 = 1 x = 1+0i: x 4 = ( 1+0i) 4 = ( 1) 4 = 1 x = 0 i: x 4 = (0 i) 4 = ( i) 4 = (( i) 2 ) 2 = (( 1) 2 i 2 ) 2 = (1 i 2 ) 2 = (1 ( 1)) 2 = ( 1) 2 = 1 444

Przykład ciekawego zastosowania metody Newtona TakŜe zespolone pierwiastki z jedynki stopnia trzeciego spełniają x = 1+0i: x 3 = (1+0i) 3 =...? x = ( 1+3 1/2 i)/2: x 3 = (( 1+3 1/2 i)/2) 3 =...? x = ( 1 3 1/2 i)/2: x 3 = (( 1 3 1/2 i)/2) 3 =...? 445

Przykład ciekawego zastosowania metody Newtona Cztery zera funkcji zespolonej f(x) = x 4 1 446

Przykład ciekawego zastosowania metody Newtona Cztery zera funkcji zespolonej f(x) = x 4 1 (i dwa zera funkcji rzeczywistej f(x) = x 4 1) 447

Przykład ciekawego zastosowania metody Newtona Aproksymacyjna metoda Newtona w poszukiwaniu pierwiastków z jedynki n-tego stopnia wyprowadzenie (aproksymacyjnego) schematu iteracyjnego funkcja: f(x) = x n 1 pochodna: f (x) = nx n 1 schemat: x k+1 = x k f(x k )/f (x k ) = x k ((x k ) n 1)/(n(x k ) n 1 ) = = x k (x k ) n /(n(x k ) n 1 ) + 1/(n(x k ) n 1 ) = = x k x k /n + 1/(n(x k ) n 1 ) = = (n 1)/n x k + 1/n 1/(x k ) n 1 wobec istnienia wielu zer funkcji (wielu pierwiastków z jedynki) aproksymacyjna metoda Newtona moŝe znaleźć dowolne z nich to, które rozwiązanie zostanie znalezione, zaleŝy od punktu początkowego (x 0 w schemacie iteracyjnym) zachodzi pytanie: Jaka jest zaleŝność pomiędzy połoŝeniem punktów początkowych a znajdowanymi pierwiastkami? 448

Przykład ciekawego zastosowania metody Newtona Który pierwiastek znajdzie metoda Newtona startując z tego punktu? 449

Przykład ciekawego zastosowania metody Newtona Baseny przyciągania w przypadku problemu poszukiwania pierwiastków z jedynki czwartego stopnia kaŝdy moŝliwy punkt początkowy (czyli w praktyce kaŝdą liczbę zespoloną) moŝna przydzielić do jednego z pięciu rozłącznych podzbiorów podzbiór punktów, dla których znaleziony zostaje pierwiastek 1 podzbiór punktów, dla których znaleziony zostaje pierwiastek 1 podzbiór punktów, dla których znaleziony zostaje pierwiastek i podzbiór punktów, dla których znaleziony zostaje pierwiastek i podzbiór punktów, dla których nie znaleziony zostaje Ŝaden pierwiastek podzbiory te noszą nazwę basenów przyciągania pytanie o zaleŝność pomiędzy połoŝeniem punktów początkowych a znajdowanymi pierwiastkami przyjmuje postać: Jakie kształty mają baseny przyciągania? 450

Przykład ciekawego zastosowania metody Newtona Baseny przyciągania? 451

Przykład ciekawego zastosowania metody Newtona Obszary Woronoja? 452

Przykład ciekawego zastosowania metody Newtona Obszary Woronoja? 453

Przykład ciekawego zastosowania metody Newtona Obszary Woronoja 454

Przykład ciekawego zastosowania metody Newtona Baseny przyciągania w postaci obszarów Woronoja? 455

Przykład ciekawego zastosowania metody Newtona Obszary Woronoja dla pierwiastków z jedynki czwartego stopnia. Czy są to jednocześnie baseny przyciągania metody Newtona? 456

Przykład ciekawego zastosowania metody Newtona Czy obszary Woronoja są basenami przyciągania dla pierwiastków z jedynki czwartego stopnia? nie! Jak więc wyglądają te baseny? 457

Przykład ciekawego zastosowania metody Newtona Baseny przyciągania metody Newtona (w problemie pierwiastków z jedynki czwartego stopnia) 458

Przykład ciekawego zastosowania metody Newtona Baseny przyciągania metody Newtona; powiększenie * 2 (w problemie pierwiastków z jedynki czwartego stopnia) 460

Przykład ciekawego zastosowania metody Newtona??? Baseny przyciągania metody Newtona; powiększenie * 256 (w problemie pierwiastków z jedynki czwartego stopnia) 473

Przykład ciekawego zastosowania metody Newtona powiększenie * 2 powiększenie * 128 (porównanie) 474

Przykład ciekawego zastosowania metody Newtona A jak wyglądają baseny przyciagania dla pierwiastków z jedynki wyŝszych, parzystych stopni? (szóstego, ósmego, ) 475

Przykład ciekawego zastosowania metody Newtona Baseny przyciągania metody Newtona (w problemie pierwiastków z jedynki szóstego stopnia) 476

Przykład ciekawego zastosowania metody Newtona Baseny przyciągania metody Newtona (w problemie pierwiastków z jedynki ósmego stopnia) 477

Przykład ciekawego zastosowania metody Newtona??? Baseny przyciągania metody Newtona (w problemie pierwiastków z jedynki dziesiątego stopnia) 478

Przykład ciekawego zastosowania metody Newtona A jak wyglądają baseny przyciagania dla pierwiastków z jedynki nieparzystych stopni? (trzeciego, piątego, ) 479

Przykład ciekawego zastosowania metody Newtona Baseny przyciągania metody Newtona (w problemie pierwiastków z jedynki trzeciego stopnia) 480

Przykład ciekawego zastosowania metody Newtona Baseny przyciągania metody Newtona (w problemie pierwiastków z jedynki piątego stopnia) 481

Przykład ciekawego zastosowania metody Newtona Baseny przyciągania metody Newtona (w problemie pierwiastków z jedynki siódmego stopnia) 482

Przykład ciekawego zastosowania metody Newtona Baseny przyciągania metody Newtona (w problemie pierwiastków z jedynki dziewiątego stopnia) 483