Materiały wykładowe (fragmenty)

Transkrypt

1 Materiały wykładowe (fragmenty) 1

2 Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL kontakt osobisty Centrum Wykładowe, blok informatyki, pok. 7 2

3 Wyłączenie odpowiedzialności Prezentowane materiały, będące dodatkiem do wykładów, są jedynie fragmentaryczne i mają charakter pomocniczy, co oznacza m.in., Ŝe mogą nie być pozbawione przypadkowych błędów, braków, wypaczeń i przeinaczeń :-) Autor 3

4 Techniki optymalizacji Cz. 1: Andrzej Jaszkiewicz Cz. 2: Robert Susmaga Cz. 3: Wojciech Kotłowski 4

5 Techniki optymalizacji Cz. 2 5

6 ... 6

7 Wymagane (i wykorzystywane) pojęcia 7

8 Wymagane (i wykorzystywane) pojęcia algebraiczne Podstawowe operacje na wektorach i macierzach (prawie) wszędzie RóŜniczkowanie funkcji metody newtonowskie Szereg Taylora metody newtonowskie Gradient i hesjan metoda Newtona-Raphsona i jej pochodne Macierz nieujemnie/niedodatnio określona metoda Levenberga-Marquarda, metoda MDS Wartości własne macierzy metoda Levenberga-Marquarda, metoda MDS 8

9 Wymagane (i wykorzystywane) pojęcia geometryczne Przestrzenie wielowymiarowe (prawie) wszędzie Interpretacja wektorów w przestrzeniach wielowymiarowych (prawie) wszędzie Interpretacja funkcji w przestrzeniach wielowymiarowych (prawie) wszędzie 9

10 ... 10

11 Przedstawiane metody/rozwiązania 11

12 Przedstawiane metody/rozwiązania Rodzaje przedstawianych metod: klasyczne dla dziedziny optymalizacji ciągłej dawno zdefiniowane dokładnie przebadane to się jednak zmienia! Związki z metodami metaheurystycznymi: metody klasyczne mają zastosowania podrzędne heurystyczne lub dokładne (w zaleŝności od postaci wyników) metody lokalne potencjalne wykorzystanie: generowanie kolejnych rozwiązań (jako lokalnych ekstremów) w metodach metaheurystycznych 12

13 Przedstawiane metody/rozwiązania Postać problemu minimalizacja funkcji co w przypadku maksymalizacji? co w przypadku poszukiwania konkretnej wartości? optymalizacja/aproksymacja przy (ewentualnie istniejących) ograniczeniach ograniczenia jednowymiarowe (zakres zmienności) ograniczenia wielowymiarowe /robocze, właściwe/ 13

14 Przedstawiane metody/rozwiązania Postaci funkcji celu i ograniczeń (zawsze) dane analitycznie wzór! (zazwyczaj) dodatkowo uwarunkowane ciągłe, gładkie, (przykłady?) nieraz konkretnie: liniowe, kwadratowe, 14

15 Przedstawiane metody/rozwiązania Generowane rozwiązania dokładne w sensie dokładności maszynowej* przybliŝone * temat dokładności maszynowej nie będzie bliŝej na tym wykładzie przedstawiany 15

16 ... 16

17 Optymalizacja w... 17

18 Optymalizacja w języku Słownik wyrazów obcych PWN optymalizacja -cji, Ŝ, blm 1. «organizowanie jakichś działań, procesów itp. w taki sposób, aby dały jak największe efekty przy jak najmniejszych nakładach» 2. ekon. «poszukiwanie za pomocą metod matematycznych najlepszego ze względu na wybrane kryterium (np. koszt lub zysk) rozwiązania danego zagadnienia gospodarczego, przy uwzględnieniu określonych ograniczeń» optymalny «najlepszy z moŝliwych w jakichś warunkach» <fr. optimal>!niepoprawnie: Najbardziej optymalne, poprawnie: optymalne, rozwiązanie. 18

19 Optymalizacja w języku Komentarz: kryterium: warunek ( muszą spełnione być pewne kryteria ) trzecie znaczenie: funkcja celu ( wielokryterialne PL ) koszt lub zysk? ( kryterium (np. koszt lub zysk)... ) 19

20 ... 20

21 Optymalizacja w zastosowaniach 21

22 Optymalizacja w zastosowaniach Optymalizacja ma zastosowania w takich dziedzinach jak fizyka technika chemia inŝynieria informatyka biologia ekonomia... 22

23 ... 23

24 Optymalizacja w Ŝyciu 24

25 Optymalizacja w Ŝyciu HodŜy Nasreddina :-) Kim jest/był HodŜa Nasreddin? bliskowschodni średniowieczny mędrzec-podróŝnik, zajmujący się rozwiązywaniem zagadek, m.in. matematycznych i logicznych jego rozmaite przygody są fabularyzowanymi zapisami bliskowschodnich mądrości ludowych Więcej o Ŝyciu HodŜy Nasreddina m.in. w ksiąŝce Przygody HodŜy Nasreddina (a jeszcze więcej: w internecie!) 25

26 Optymalizacja w Ŝyciu HodŜy Nasreddina :-) Problem majątku dwaj bracia odziedziczyli majątek po ojcu, który przykazał im podzielić się nim sprawiedliwie, nie podał jednak konkretnie, które dobra mają przypaść w spadku któremu z braci bracia natychmiast pokłócili się o majątek, poniewaŝ kaŝdy z nich proponował inny podział pozostałych po ojcu dóbr na dwie części: kaŝdy dzielił rzeczy w taki sposób, aby wartości obu części nie były równe, oczywiście przydzielając sobie część o większej wartości, a swemu bratu część o mniejszej wartości 26

27 Optymalizacja w Ŝyciu HodŜy Nasreddina :-) Jak moŝna rozwiązać powyŝszy konflikt? Jak rozwiązał ten konflikt HodŜa Nasreddin? 27

28 Optymalizacja w Ŝyciu HodŜy Nasreddina :-) MoŜliwe rozwiązanie konfliktu jeden z braci dokonuje podziału dziedziczonych rzeczy na dwie części drugi podejmuje decyzję to tym, która część przypadnie komu w udziale 28

29 Optymalizacja w Ŝyciu HodŜy Nasreddina :-) Interesujące cechy zaproponowanego rozwiązania jeŝeli dokonujący podziału podzieli dziedziczone dobra na dwie części o nierównej wartości, to naraŝa się na to, Ŝe (wskutek decyzji drugiego z braci) przypadnie mu w udziale część mniej wartościowa dokonujący podziału powinien więc dąŝyć do tego, aby róŝnica wartości obu części spadku była jak najmniejsza, w rezultacie czego bracia zostaną sprawiedliwie obdzieleni spadkiem w idealnym przypadku wartości obu części będą jednakowe! (choć taki podział moŝe nie być moŝliwy do zrealizowania) 29

30 Optymalizacja w Ŝyciu HodŜy Nasreddina :-) Optymalizacyjny punkt widzenia tego problemu i jego rozwiązania tzw. problem min-max lub osoba dokonująca podziału wie, Ŝe jeŝeli któraś z utworzonych przez nią części majątku będzie większej wartości, to osoba wybierająca na pewno przydzieli tę część sobie (wniosek: tworzenie jakiejkolwiek części o wartości większej od innych części nie jest korzystne!) oznacza to, Ŝe osoba dokonująca podziału powinna minimalizować (min) wartość największej (max) z tworzonych części tzw. problem max-min osoba dokonująca podziału wie, Ŝe jeŝeli któraś z utworzonych przez nią części majątku będzie mniejszej wartości, to osoba wybierająca na pewno przydzieli sobie inną część (wniosek: tworzenie części o wartości mniejszej od innych części nie jest korzystne!) oznacza to, Ŝe osoba dokonująca podziału powinna maksymalizować (max) wartość najmniejszej (min) z tworzonych części 30

31 ... 31

32 Elementy ekstremalne w zbiorach uporządkowanych 32

33 Elementy ekstremalne w zbiorach uporządkowanych W zbiorze X uporządkowanym relacjami,, < oraz > moŝna zdefiniować element najmniejszy: jest nim a X spełniający a x X a < x element największy: jest nim b X spełniający b x X b > x 33

34 Elementy ekstremalne w zbiorach uporządkowanych W zbiorze X uporządkowanym relacjami,, < oraz > moŝna zdefiniować element minimalny: jest nim c X spełniający x X c x ( x X x < c) element maksymalny: jest nim d X spełniający x X d x ( x X x > c) 34

35 Dygresja Quiz czy istnieje element najmniejszy zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? 35

36 Dygresja Quiz czy istnieje element najmniejszy zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? tak! 36

37 Dygresja Quiz czy istnieje element najmniejszy zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? tak! jest nim: a 5 (równe 1) 37

38 Dygresja Quiz czy istnieje element minimalny zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? 38

39 Dygresja Quiz czy istnieje element minimalny zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? tak! 39

40 Dygresja Quiz czy istnieje element minimalny zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? tak! jest nim: a 5 (równe 1) 40

41 Dygresja Quiz czy istnieje element największy zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? 41

42 Dygresja Quiz czy istnieje element największy zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? nie! 42

43 Dygresja Quiz czy istnieje element maksymalny zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? 43

44 Dygresja Quiz czy istnieje element maksymalny zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? tak! 44

45 Dygresja Quiz czy istnieje element maksymalny zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? tak! (i to nie jeden, lecz dwa!) są nimi: a 2 (równe 9) oraz a 6 (równe 9) 45

46 Elementy ekstremalne w zbiorach uporządkowanych Definicje elementu minimalnego/maksymalnego wykorzystuje się w przypadku problemu optymalizacji funkcji f(x) zbiorem uporządkowanym jest przeciwdziedzina funkcji f(x) (która dla funkcji rzeczywistej stanowi podzbiór zbioru liczb rzeczywistych) poszukiwany jest argument funkcji (czyli element jej dziedziny D), dla którego wartość tej funkcji jest minimalna (niekoniecznie najmniejsza), czyli x* D taki, Ŝe x D f(x*) f(x) skrócony zapis powyŝszej zaleŝności: x* = argmin x D f(x) (x* będzie dalej nazywany rozwiązaniem (funkcji) ) 46

47 Elementy ekstremalne w zbiorach uporządkowanych Definicje elementu minimalnego/maksymalnego wykorzystuje się w przypadku problemu optymalizacji funkcji f(x) zbiorem uporządkowanym jest przeciwdziedzina funkcji f(x) (która dla funkcji rzeczywistej stanowi podzbiór zbioru liczb rzeczywistych) poszukiwany jest argument funkcji (czyli element jej dziedziny D), dla którego wartość tej funkcji jest minimalna (niekoniecznie najmniejsza), czyli x* D taki, Ŝe x D f(x*) f(x) skrócony zapis powyŝszej zaleŝności: x* = argmin x D f(x) (x* będzie dalej nazywany rozwiązaniem (funkcji) ) (czym argmin róŝni się od min?) 47

48 ... 48

49 Pochodne funkcji w postaci wektorowo/macierzowej 49

50 Pochodne funkcji w postaci wektorowo/macierzowej Pochodne prostych funkcji w postaci skalarnej (przypomnienie) afinicznej (popularnie zwanej liniową) f(x) = ax + b f/ x = a 2 f/ x 2 = 0 3 f/ x 3 = 0 kwadratowej: f(x) = ax 2 + bx + c f/ x = 2ax + b 2 f/ x 2 = 2a 3 f/ x 3 = 0 4 f/ x 4 = 0 50

51 Pochodne funkcji w postaci wektorowo/macierzowej Pochodne prostych funkcji w postaci skalarnej (przypomnienie) liniowej f(x) = ax f/ x = a 2 f/ x 2 = 0 3 f/ x 3 = 0 (ściśle) kwadratowej: f(x) = ax 2 f/ x = 2ax 2 f/ x 2 = 2a 3 f/ x 3 = 0 4 f/ x 4 = 0 51

52 Pochodne funkcji w postaci wektorowo/macierzowej Pochodne prostych funkcji w postaci wektorowo/macierzowej liniowej: f(x) = a T x f/ x = a formy kwadratowej: f(x) = x T Ax f/ x = (A + A T )x 2 f/ x 2 = A + A T w szczególnym przypadku, gdy A T = A (czyli macierz A jest symetryczna) 2 f/ x 2 = A + A T = A + A = 2A (jednocześnie 2 f/ x 2 = 2A T ) w bardzo szczególnym przypadku, gdy A = [a] (czyli macierz A reprezentuje skalar) 2 f/ x 2 = [a] + [a] T = [a] + [a] = 2[a] (czyli, właściwie, 2 f/ x 2 = 2a) 52

53 Pochodne funkcji w postaci wektorowo/macierzowej Pochodne prostych funkcji w postaci wektorowo/macierzowej afinicznej: f(x) = a T x + b f/ x = a (pełnej) kwadratowej: f(x) = x T Ax + b T x + c f/ x = (A + A T )x + b 2 f/ x 2 = A + A T 53

54 Pochodne funkcji w postaci wektorowo/macierzowej Pochodne prostych funkcji w postaci wektorowo/macierzowej f(x) = ax 1 f/ x = a f(x) = ax 2 f/ x = 2ax f(x) = ax 3 f/ x = 3ax 2... f(x) = a(x x 0 ) 1 f/ x = a f(x) = a(x x 0 ) 2 f/ x = 2a(x x 0 ) f(x) = a(x x 0 ) 3 f/ x = 3a(x x 0 )

55 ... 55

56 Minimalizacja funkcji 56

57 Minimalizacja funkcji Niech f(x) będzie daną analitycznie funkcją rzeczywistą określoną dla kaŝdego wektora x naleŝącego do jakiegoś ustalonego obszaru zainteresowań S (zawartego w lub równego dziedzinie funkcji), np.: n-wymiarowej hiperprzestrzeni V n n-wymiarowego hiperprostopadłościanu H n wyznaczonego przez wektory [a 1,, a n ] oraz [b 1,, b n ], gdzie a 1 < b 1,, a n < b n O funkcji f(x) zakładamy w ogólności, Ŝe w obszarze S jest ciągła posiada przynajmniej dwie pierwsze pochodne (dane analitycznie) jej dwie pierwsze pochodne są ciągłe Niektóre metody zakładają takŝe, Ŝe f(x) w obszarze S jest wypukła 57

58 Minimalizacja funkcji Przykłady funkcji sformułowania skalarne f([x 1,x 2,x 3,x 4 ] T ) = (x 1 ) 2 + (x 2 ) 2 + (x 3 ) 2 + (x 4 ) 2 f([x 1,x 2,x 3 ] T ) = (x 1 ) 2 + 2(x 2 ) 2 + 3x 1 f([x 1,x 2 ] T ) = e x 1 + e x 2 58

59 Minimalizacja funkcji Przykłady funkcji, c.d sformułowania wektorowe/macierzowe f(x) = a T x/ a / x, gdzie a jest ustalonym wektorem niezerowym (korelacja wektorów) f(x) = x T Ax/x T x gdzie A jest ustaloną macierzą (współczynnik Rayleigh a) f(x) = x T Ax + b T x + c, gdzie A jest ustaloną niezerową macierzą nieujemnie określoną b jest ustalonym wektorem c jest ustalonym skalarem (postać macierzowej funkcji kwadratowej) 59

60 Pochodne funkcji w postaci wektorowo/macierzowej Rozwinięcia z postaci wektorowo/macierzowej do skalarnej, np.: f(x) = a T x + b dla a = [3 4] T, b = 5 f([x 1 x 2 ] T ) = [3 4][x 1 x 2 ] T + 5 = 3x 1 + 4x f(x) = x T Ax dla A = [1 2; 3 4] f([x 1 x 2 ] T ) = [x 1 x 2 ][1 2; 3 4][x 1 x 2 ] T = = [x 1 x 2 ]([1 2; 3 4][x 1 x 2 ] T ) = = [x 1 x 2 ][1x 1 + 2x 2, 3x 1 + 4x 2 ] T = = x 1 (1x 1 + 2x 2 ) + x 2 (3x 1 + 4x 2 ) = = 1(x 1 ) 2 + 2x 1 x 2 + 3x 1 x 2 + 4(x 2 ) 2 = = 1(x 1 ) 2 + 5x 1 x 2 + 4(x 2 ) 2 60

61 ... 61

62 Szereg Taylora 62

63 Szereg Taylora Dane jest wyraŝenie T(x) = k=0.. a k (x x 0 ) k jest ono zaleŝne od zmiennego argumentu x, ustalonej wartości x 0 oraz ustalonych wartości a k (dla k=0.. ) wyraŝenie to reprezentuje sumę nieskończonego ciągu o elementach a k (x x 0 ) k (dla k=0.. ) T(x) jest więc sumą nieskończonej liczby elementów Przyjmując, Ŝe w 0 = 1 dla wszystkich moŝliwych w (takŝe dla w = 0), wyraŝenie T(x) moŝna przedstawić w postaci T(x) = a 0 + k=1.. a k (x x 0 ) k gdy dla wszystkich k większych od pewnego ustalonego n zachodzi a k (x x 0 ) k = 0, wyraŝenie T(x) moŝna zapisać w postaci T n (x) = a 0 + k=1..n a k (x x 0 ) k wyraŝenie to reprezentuje wtedy sumę skończonego ciągu o elementach a k (x x 0 ) k (dla k=0..n) T n (x) jest więc sumą skończonej liczby elementów, a konkretniej: wielomianem stopnia n od argumentu x 63

64 Szereg Taylora Dzięki podobieństwu do wielomianu, wyraŝenie T(x) moŝe być róŝniczkowane (operacja jest analogiczna do róŝniczkowania wielomianów) Tzn. jeŝeli: T(x) = a 0 + a 1 (x x 0 ) + a 2 (x x 0 ) 2 + a 3 (x x 0 ) 3 + a 4 (x x 0 )

65 Szereg Taylora Dzięki podobieństwu do wielomianu, wyraŝenie T(x) moŝe być róŝniczkowane (operacja jest analogiczna do róŝniczkowania wielomianów) Tzn. jeŝeli: T(x) = a 0 + a 1 (x x 0 ) + a 2 (x x 0 ) 2 + a 3 (x x 0 ) 3 + a 4 (x x 0 ) 4 + to: T (x) = 0 + a 1 + 2a 2 (x x 0 ) + 3a 3 (x x 0 ) 2 + 4a 4 (x x 0 )

66 Szereg Taylora Dzięki podobieństwu do wielomianu, wyraŝenie T(x) moŝe być róŝniczkowane (operacja jest analogiczna do róŝniczkowania wielomianów) Tzn. jeŝeli: T(x) = a 0 + a 1 (x x 0 ) + a 2 (x x 0 ) 2 + a 3 (x x 0 ) 3 + a 4 (x x 0 ) 4 + to: T (x) = 0 + a 1 + 2a 2 (x x 0 ) + 3a 3 (x x 0 ) 2 + 4a 4 (x x 0 ) 3 + T (x) = a a 3 (x x 0 ) + 4 3a 4 (x x 0 )

67 Szereg Taylora Dzięki podobieństwu do wielomianu, wyraŝenie T(x) moŝe być róŝniczkowane (operacja jest analogiczna do róŝniczkowania wielomianów) Tzn. jeŝeli: T(x) = a 0 + a 1 (x x 0 ) + a 2 (x x 0 ) 2 + a 3 (x x 0 ) 3 + a 4 (x x 0 ) 4 + to: T (x) = 0 + a 1 + 2a 2 (x x 0 ) + 3a 3 (x x 0 ) 2 + 4a 4 (x x 0 ) 3 + T (x) = a a 3 (x x 0 ) + 4 3a 4 (x x 0 ) 2 + T (x) = a a 4 (x x 0 ) + 67

68 Szereg Taylora Dzięki podobieństwu do wielomianu, wyraŝenie T(x) moŝe być róŝniczkowane (operacja jest analogiczna do róŝniczkowania wielomianów) Tzn. jeŝeli: T(x) = a 0 + a 1 (x x 0 ) + a 2 (x x 0 ) 2 + a 3 (x x 0 ) 3 + a 4 (x x 0 ) 4 + to: T (x) = 0 + a 1 + 2a 2 (x x 0 ) + 3a 3 (x x 0 ) 2 + 4a 4 (x x 0 ) 3 + T (x) = a a 3 (x x 0 ) + 4 3a 4 (x x 0 ) 2 + T (x) = a a 4 (x x 0 ) + 68

69 Szereg Taylora WyraŜenie T(x) moŝe zostać uŝyte do wyraŝania (w przybliŝony lub dokładny sposób) wartości pewnej funkcji f(x) (czyli funkcji zaleŝnej od argumentu x) wyraŝanie to ma szanse powodzenia, gdy moŝliwe jest znalezienie wartości x 0 oraz a k (dla k=0.. ), które gwarantują f(x) = T(x) dla wszystkich (lub wybranych) x naleŝących do dziedziny funkcji f(x) mówimy wtedy, Ŝe dokonano rozwinięcia wartości funkcji f(x) w szereg Taylora często operacji tej dokonuje się najpierw ustalając wartość x 0, a potem dopiero wartości a k (dla k=0.. ) mówimy wtedy, Ŝe dokonano rozwinięcia wartości funkcji f(x) wokół wartości x 0 operacja ta jest szczególnie łatwa dla funkcji wielokrotnie róŝniczkowalnych 69

70 Szereg Taylora Niech dana będzie wielokrotnie róŝniczkowalna funkcja f(x), której wartość ma być wyraŝona z uŝyciem T(x), a więc zakładamy istnienie a i oraz x 0 takich, Ŝe: f(x) = a 0 + a 1 (x x 0 ) + a 2 (x x 0 ) 2 + a 3 (x x 0 ) 3 + a 4 (x x 0 )

71 Szereg Taylora Wystarczy więc tylko znaleźć wartości a i oraz x 0 i rozwinięcie funkcji f(x) w szereg Taylora jest gotowe! 71

72 Szereg Taylora Proces poszukiwania współczynników a k współczynnik a 0 równanie f(x) = T(x) ma postać f(x) = a 0 + a 1 (x x 0 ) + a 2 (x x 0 ) 2 + a 3 (x x 0 ) 3 + a 4 (x x 0 ) 4 + niech x = x 0, wtedy f(x 0 ) = a 0 + a 1 (x 0 x 0 ) + a 2 (x 0 x 0 ) 2 + a 3 (x 0 x 0 ) 3 + a 4 (x 0 x 0 ) 4 + f(x 0 ) = a 0 + a a a a f(x 0 ) = a 0 a więc a 0 moŝna ustalić obliczając f(x 0 ) 72

73 Szereg Taylora Proces poszukiwania współczynników a k współczynnik a 1 w rezultacie jednokrotnego zróŝniczkowania (ze względu na x) obu stron równania f(x) = T(x) otrzymujemy f (x) = a 1 + 2a 2 (x x 0 ) + 3a 3 (x x 0 ) 2 + 4a 4 (x x 0 ) 3 + niech x = x 0, wtedy f (x 0 ) = a 1 + 2a 2 (x 0 x 0 ) + 3a 3 (x 0 x 0 ) 2 + 4a 4 (x 0 x 0 ) 3 + f (x 0 ) = a 1 + 2a a a f (x 0 ) = a 1 a więc a 1 moŝna ustalić obliczając f (x 0 ) 73

74 Szereg Taylora Proces poszukiwania współczynników a k współczynnik a 2 w rezultacie dwukrotnego zróŝniczkowania (ze względu na x) obu stron równania f(x) = T(x) otrzymujemy f (x) = 2a a 3 (x x 0 ) + 4 3a 4 (x x 0 ) 2 + niech x = x 0, wtedy f (x 0 ) = 2a a 3 (x 0 x 0 ) + 4 3a 4 (x 0 x 0 ) 2 + f (x 0 ) = 2a a a f (x 0 ) = 2a 2 a więc a 2 moŝna ustalić obliczając f (x 0 )/2 74

75 Szereg Taylora Proces poszukiwania współczynników a k współczynnik a 3 w rezultacie trzykrotnego zróŝniczkowania (ze względu na x) obu stron równania f(x) = T(x) otrzymujemy f (x) = 3 2a a 4 (x x 0 ) + niech x = x 0, wtedy f (x 0 ) = 3 2a 3 (x 0 x 0 ) + 4 3a 4 (x 0 x 0 ) 2 + f (x 0 ) = 3 2a a f (x 0 ) = 3 2a 3 a więc a 3 moŝna ustalić obliczając f (x 0 )/(2 3) 75

76 Szereg Taylora Proces poszukiwania współczynników a k współczynnik a 4 w rezultacie czterokrotnego zróŝniczkowania (ze względu na x) obu stron równania f(x) = T(x) otrzymujemy f (x) = 4 3 2a 4 + niech x = x 0, wtedy f (x 0 ) = 4 3 2a 4 + f (x 0 ) = 4 3 2a 4 a więc a 4 moŝna ustalić obliczając f (x 0 )/(2 3 4) 76

77 Szereg Taylora Proces poszukiwania współczynników a k współczynnik a k (w ogólności) w rezultacie k-krotnego zróŝniczkowania (ze względu na x) obu stron równania f(x) = T(x) otrzymujemy f (k) (x) = k (k 1) 2 a k + niech x = x 0, wtedy f (k) (x) = k (k 1) 2 a k = k! a k a więc a k moŝna ustalić obliczając f (k) (x 0 )/(k!) 77

78 Szereg Taylora Czyli dla wielokrotnie róŝniczkowalnej f(x) mamy f(x) = f(x 0 ) + f (x 0 )(x x 0 ) + f (x 0 )/2 (x x 0 ) 2 + f (x 0 )/3! (x x 0 ) 3 + Wykorzystując 0! = 1! = 1 mamy: f(x) = k=0.. f (k) (x 0 )/k! (x x 0 ) k gdzie f (0) (x) f(x) f (1) (x) f (x) f (2) (x) f (x) 78

79 Szereg Taylora Dzięki temu, Ŝe k! szybko rośnie, w wielu przypadkach, dla odpowiednio duŝych k zachodzi f (k) (x 0 )(x x 0 ) k << k! Oczywiście wtedy: f (k) (x 0 )(x x 0 ) k /k! << 1 czy wręcz f (k) (x 0 )(x x 0 ) k /k! 0 79

80 Szereg Taylora Dzięki temu moŝliwe jest skrócenie szeregu do kilku (np. n) początkowych elementów (czyli tych, dla których zakładamy, Ŝe f (k) (x 0 )(x x 0 ) k /k! 0 nie zachodzi) f(x) k=0..n f (k) (x 0 )/k! (x x 0 ) k Gdy skrócenie jest niemoŝliwe, stosuje się zapis pozwalający na wyróŝnienie tzw. reszty (oznaczenie R n+1 ) f(x) = k=0.. f (k) (x 0 )/k! (x x 0 ) k = k=0..n f (k) (x 0 )/k! (x x 0 ) k + R n+1 80

81 Szereg Taylora Szereg T(x) nosi nazwę szeregu Taylora gdy x 0 = 0, szereg Taylora nazywa się szeregiem MacLaurina Wiele popularnych funkcji analitycznych posiada rozwinięcia w szereg Taylora (względnie MacLaurina) wniosek: funkcje te dają się przedstawić w postaci wielomianu zyski z powyŝszego: łatwiejsza interpretacja łatwiejsza ewaluacja 81

82 Szereg Taylora Pytanie: jeŝeli (nawet skomplikowane) funkcje (np. e x ) posiadają rozwinięcia Taylora (czyli moŝna je przedstawiać w postaci wielomianu), to moŝe warto w ogóle zrezygnowąć z posługiwania się tymi funkcjami i po prostu wszędzie uŝywać ich rozwinięć? czyli np. przyjąć raz na dobre, Ŝe f(x) T n (x) = k=0..n f (k) (x 0 )/k! (x x 0 ) k (oczywiście pamiętając, Ŝe T n (x) jest jedynie przybliŝeniem) (ale o kontrolowalnej dokładności /wpływ parametru n/) 82

83 Szereg Taylora Odpowiedź: mimo wszystko nie warto! :-) (wręcz: nie moŝna!) przyczyna: rozwinięcie jest lokalne (czyli: inne dla kaŝdego x 0 ) 83

84 Szereg Taylora Przykład: sześcioelementowe T 6 (x) rozwinięcie funkcji e x w szereg Taylora wokół wartości x 0 = 0 funkcja i jej pochodne: (e x ) (0) = e x (e x ) (1) = (e x ) = e x (e x ) (2) = (e x ) = e x (e x ) (3) = (e x ) = e x (e x ) (4) = (e x ) = e x (e x ) (5) = (e x ) = e x... 84

85 Szereg Taylora Przykład: sześcioelementowe T 6 (x) rozwinięcie funkcji e x w szereg Taylora wokół wartości x 0 = 0 współczynniki a k a 0 = f (0) (x 0 )/(0!) = e 0 /1 = 1/1 = 1 a 1 = f (1) (x 0 )/(1!) = e 0 /1 = 1/1 = 1 a 2 = f (2) (x 0 )/(2!) = e 0 /2 = 1/2 a 3 = f (3) (x 0 )/(3!) = e 0 /6 = 1/6 a 4 = f (4) (x 0 )/(4!) = e 0 /24 = 1/24 a 5 = f (5) (x 0 )/(5!) = e 0 /120 = 1/

86 Szereg Taylora Ostateczny wzór: rozwinięcie nieskończone e x = T(x) = k=0.. f (k) (x 0 )/k! (x x 0 ) k = 1 + x + x 2 /2! + x 3 /3! + x 4 /4! + x 5 /5!

87 Szereg Taylora Ostateczny wzór: rozwinięcie nieskończone e x = T(x) = k=0.. f (k) (x 0 )/k! (x x 0 ) k = 1 + x + x 2 /2! + x 3 /3! + x 4 /4! + x 5 /5! +... rozwinięcie skończone, sześcioelementowe: e x T 6 (x) = k=0..5 f (k) (x 0 )/k! (x x 0 ) k = 1 + x + x 2 /2! + x 3 /3! + x 4 /4! + x 5 /5! 87

88 Szereg Taylora Kolory wykresów: f(x) = e x w 0 (x) = 1 w 1 (x) = 1 + x w 2 (x) = 1 + x + x 2 /2! w 3 (x) = 1 + x + x 2 /2! + x 3 /3! w 4 (x) = 1 + x + x 2 /2! + x 3 /3! + x 4 /4! w 5 (x) = 1 + x + x 2 /2! + x 3 /3! + x 4 /4! + x 5 /5! 88

89

90

91

92

93

94

95

96 Szereg Taylora Inny przykład: dwunastoelementowe T 6 (x) rozwinięcie funkcji sin(x) w szereg Taylora wokół wartości x 0 = 0 sin(x) T(x) = k=0.. f (k) (x 0 )/k! (x x 0 ) k = = 0 + x + 0 x 3 /3! x 5 /5! + 0 x 7 /7! x 9 /9! + 0 x 11 /11!

97 Szereg Taylora Kolory wykresów: f(x) = sin(x) w 0 (x) = 0 w 1 (x) = x w 2 (x) = x w 3 (x) = x - x 3 /3! w 4 (x) = x - x 3 /3! w 5 (x) = x - x 3 /3! + x 5 /5! w 6 (x) = x - x 3 /3! + x 5 /5! w 7 (x) = x - x 3 /3! + x 5 /5! - x 7 /7! w 8 (x) = x - x 3 /3! + x 5 /5! - x 7 /7! w 9 (x) = x - x 3 /3! + x 5 /5! - x 7 /7! + x 9 /9! w 10 (x) = x - x 3 /3! + x 5 /5! - x 7 /7! + x 9 /9! w 11 (x) = x - x 3 /3! + x 5 /5! - x 7 /7! + x 9 /9! - x 11 /11! 97

98 4 Szereg Taylora Ostateczny wzór (rozwinięcie skończone, pięcioelementowe):

105 Szereg Taylora PrzybliŜanie funkcji f(x) szeregiem Taylora niech dane będą ustalony obszar S funkcja f(x) określona w obszarze S i posiadająca wszystkie pochodne określone w obszarze S rozwinięcie T(x) funkcji f(x) w szereg Taylora wokół punktu y S dane jest następującym wzorem T(x) = f (0) (y)/(0!) (x y) 0 + f (1) (y)/(1!) (x y) 1 + f (2) (y)/(2!) (x y) 2 + uwaga: rozwinięcie moŝe obejmować nieskończoną lub skończoną liczbę (niezerowych) składników (w przypadku liczby skończonej ostatni element szeregu jest innej postaci /i stanowi tzw. resztę/) zastosowana notacja: f (k) (x) oznaczenie k-tej pochodnej funkcji f(x) w szczególności f (0) (x) f(x) funkcja f (1) (x) f (x) jej pierwsza pochodna f (2) (x) f (x) jej druga pochodna 105

106

107 Dygresja 107

108 Dygresja 50, , , , , , , , , ,

109 Dygresja 109

110 Dygresja 50, ,894 50,89 50, , , ,27 295, , , , ,6... 0, ,000 0,00 0,0... 0, ,833 0,83 0,8... 1, ,079 1,08 1,1... 0, ,000 0,00 0,0... 0, ,000 0,00 0, , , , ,9... 0, ,027 0,03 0,

111 Dygresja 50, ,894 50,89 50, , , ,27 295, , , , ,6... 0, ,000 0,00 0,0... 0, ,833 0,83 0,8... 1, ,079 1,08 1,1... 0, ,000 0,00 0,0... 0, ,000 0,00 0, , , , ,9... 0, ,027 0,03 0,

112 Dygresja 50, ,894 50,89 50, , , ,27 295, , , , ,6... 0, ,000 0,00 0,0... 0, ,833 0,83 0,8... 1, ,079 1,08 1,1... 0, ,000 0,00 0,0... 0, ,000 0,00 0, , , , ,9... 0, ,027 0,03 0,

113 Dygresja 50, ,894 50,89 50, , , ,27 295, , , , ,6... 0, ,000 0,00 0,0... 0, ,833 0,83 0,8... 1, ,079 1,08 1,1... 0, ,000 0,00 0,0... 0, ,000 0,00 0, , , , ,9... 0, ,027 0,03 0,

114 Dygresja 50, ,894 50,89 50, , , ,27 295, , , , ,6... 0, ,000 0,00 0,0... 0, ,833 0,83 0,8... 1, ,079 1,08 1,1... 0, ,000 0,00 0,0... 0, ,000 0,00 0, , , , ,9... 0, ,027 0,03 0,

115 Dygresja 10 x x 115

120 Dygresja 3 log 10 (x) x 120

121 Dygresja 50, , , , , ,086 0, ,309 0, ,079 1, ,033 0, ,377 0, , , ,700 0, ,

122 Dygresja

123 Dygresja 2 0, , , , , , , , , ,

124 Dygresja 3 0, , , , , , , , , , x

126 Dygresja log 10 (10 x ) x 126

127

128 Współczynnik i rząd zbieŝności 128

129 Współczynnik i rząd zbieŝności ciągu Idea współczynnika i rzędu zbieŝności ciągu skalarów 129

130 Współczynnik i rząd zbieŝności ciągu Idea współczynnika i rzędu zbieŝności ciągu skalarów niech s 0, s 1, s 2, będzie ciągiem skalarów zbieŝnym do skalara s = lim k s k niech p 1 będzie maksymalną wartością, dla której istnieje granica β = lim k s k+1 s / s k s p wtedy wartość p nazywamy rzędem zbieŝności wartość β nazywamy współczynnikiem zbieŝności p-tego rzędu jeŝeli p = 1 i β (0,1), to ciąg ma zbieŝność liniową p = 1 i β = 0 lub p > 1, to ciąg ma zbieŝność superliniową (w znaczeniu: lepszą od liniowej) 130

131 Współczynnik i rząd zbieŝności ciągu Ilustracja (rząd pierwszy) 131

132 Współczynnik i rząd zbieŝności ciągu Ilustracja (rząd drugi) 132

133 Współczynnik i rząd zbieŝności ciągu Idea współczynnika... po zastosowaniu oznaczenia e k = s k+1 s (error), dla duŝych n zachodzi e k+1 = β(e k ) p 133

134 Współczynnik i rząd zbieŝności ciągu Idea... ciąg e k+1 = β(e k ) p dla e 0 = 1 β = 2 p = 1 134

135 Współczynnik i rząd zbieŝności ciągu Idea... ciąg e k+1 = β(e k ) p dla e 0 = 1 β = 2 p = 1 2 0, , , , , , , , , ,

136 Współczynnik i rząd zbieŝności ciągu Idea... ciąg e k+1 = β(e k ) p dla e 0 = 1 β = 1/2 p =

137 Współczynnik i rząd zbieŝności ciągu Idea... ciąg e k+1 = β(e k ) p dla e 0 = 1 β = 2 p = 2 137

138 Współczynnik i rząd zbieŝności ciągu Idea... ciąg e k+1 = β(e k ) p dla e 0 = 1 β = 2 p =

139 Współczynnik i rząd zbieŝności ciągu Idea... ciąg e k+1 = β(e k ) p dla e 0 = 1 β = 2 p = 2 2 0, , , , , ,22E+18 18, ,70E+38 38, ,79E+76 76, ,70E , ,99E , x

140 Współczynnik i rząd zbieŝności ciągu Idea... ciąg e k+1 = β(e k ) p dla e 0 = 1 β = 1/2 p =

141 Współczynnik i rząd zbieŝności ciągu Idea współczynnika i rzędu zbieŝności ciągu wektorów 141

142 Współczynnik i rząd zbieŝności ciągu Idea współczynnika i rzędu zbieŝności ciągu wektorów niech w 0, w 1, w 2, będzie ciągiem wektorów zbieŝnym do wektora w = lim k w k niech p 1 będzie maksymalną wartością, dla której istnieje granica β = lim k w k+1 w / w k w p, wtedy wartość p nazywamy rzędem zbieŝności wartość β nazywamy współczynnikiem zbieŝności p-tego rzędu jeŝeli p = 1 i β (0,1), to ciąg ma zbieŝność liniową p = 1 i β = 0 lub p > 1, to ciąg ma zbieŝność superliniową (w znaczeniu: lepszą od liniowej) 142

143

144 Aproksymacja i optymalizacja: ilustracja problemów 144

145 Aproksymacja i optymalizacja: ilustracja problemów Przykład funkcji: f(x) = x 4 50x x

146 Aproksymacja i optymalizacja: ilustracja problemów Aproksymacja problem istnienia rozwiązań (miejsc zerowych) brak miejsc zerowych asymptotyczne zbliŝanie miejsca zerowe poza granicami przedziału zmienności

147 Aproksymacja i optymalizacja: ilustracja problemów Aproksymacja problem jednoznaczności rozwiązań (miejsc zerowych) policzalne liczby miejsc zerowych niepoliczalne ilości miejsc zerowych policzalne liczby niepoliczalnych ilości miejsc zerowych

148 Aproksymacja i optymalizacja: ilustracja problemów Optymalizacja problem istnienia rozwiązań brak rozwiązań asymptotyczne zbliŝanie rozwiązania poza granicami przedziału zmienności

149 Aproksymacja i optymalizacja: ilustracja problemów Optymalizacja problem jednoznaczności rozwiązań (minimów/maksimów) policzalne liczby rozwiązań niepoliczalne ilości rozwiązań policzalne liczby niepoliczalnych ilości rozwiązań

150 Aproksymacja i optymalizacja: ilustracja problemów Ograniczona ilość informacji w aproksymacji/optymalizacji 150

151 Aproksymacja i optymalizacja: ilustracja problemów Ograniczona ilość informacji w aproksymacji/optymalizacji 151

152 Aproksymacja i optymalizacja: ilustracja problemów Ograniczona ilość informacji w aproksymacji/optymalizacji wartość funkcji 152

153 Aproksymacja i optymalizacja: ilustracja problemów Ograniczona ilość informacji w aproksymacji/optymalizacji wartość funkcji i wartość jej (pierwszej) pochodnej 153

154 Aproksymacja i optymalizacja: ilustracja problemów Ograniczona ilość informacji w aproksymacji/optymalizacji itd. 154

155 Aproksymacja i optymalizacja: ilustracja problemów Ograniczona ilość informacji w aproksymacji/optymalizacji bez względu na ilość takich danych, to nie to samo, co informacja o całym przebiegu funkcji! 155

156

157 Metody newtonowskie 157

158 Metody newtonowskie Mętlik terminologiczny istnieje wiele metod noszących (pełną lub częściową) nazwę Newtona, z których jedne słuŝą do poszukiwania ekstremów funkcji a inne do poszukiwania miejsc zerowych funkcji w ramach wykładu nazewnictwo tych metod będzie następujące poszukiwanie ekstremów funkcji metody optymalizacyjne poszukiwanie miejsc zerowych funkcji metody aproksymacyjne uwaga: nazywanie metod optymalizacyjnymi (w odróŝnieniu od nazywania ich aproksymacyjnymi) jest nieco mylące, poniewaŝ takŝe metody aproksymacyjne starają się znajdować rozwiązania optymalnie (ewentualnie w przybliŝeniu optymalnie) i posługują się nieraz bardzo podobnymi technikami lepszą praktyką byłoby nazywanie metod poszukujacych ekstremów funkcji metodami ekstremalizacyjnymi (lub konkretnie, w zaleŝności od specyfiki metody minimalizacyjnymi względnie maksymalizacyjnymi) 158

159 Metody newtonowskie Mętlik terminologiczny, c.d. optymalizacyjne metody newtonowskie (m.in.) metoda jednowymiarowej optymalizacji Newtona (zwana takŝe metodą Newtona-Raphsona) metoda wielowymiarowej optymalizacji Newtona-Raphsona (zwana takŝe metodą Newtona), jest naturalnym uogólnieniem metody (jednowymiarowej optymalizacji) Newtona na wiele wymiarów metoda wielowymiarowej optymalizacji uogólniona Newtona (zwana takŝe metodą Cauchy ego), bezpośrednio wykorzystuje metodę (jednowymiarowej optymalizacji) Newtona metoda wielowymiarowej optymalizacji Cauchyego metoda wielowymiarowej optymalizacji Levenberga-Marquarda aproksymacyjne metody newtonowskie (m.in.) metoda jednowymiarowej aproksymacji Newtona 159

160 Metody newtonowskie W dalszej części wykładu metoda Newtona metoda aproksymacji jednowymiarowej metoda Newtona metoda optymalizacji jednowymiarowej metoda Newtona-Raphsona metoda optymalizacji wielowymiarowej podstawowe modyfikacje metod Newtona-Raphsona (uogólniona metoda Newtona, metoda Cauchy ego i metoda Levenberga-Marquarda) metody optymalizacji wielowymiarowej 160

161 Metody newtonowskie Związek pomiędzy metodą (optymalizacyjną) Newtona a metodą (optymalizacyjną) Newtona-Raphsona metoda Newtona-Raphsona jest naturalnym uogólnieniem metody Newtona na wiele wymiarów nie mylić tego uogólnienia z metodą o nazwie uogólniona metoda Newtona! a więc oczywiście moŝe być stosowana w problemach jednowymiarowych metoda Newtona jest naturalnym uszczególnieniem metody Newtona-Raphsona na jeden wymiar a więc nie moŝe moŝe być stosowana w problemach wielowymiarowych 161

162 Dygresja Pytanie: w jakim sensie Newtona-Raphsona jest naturalnym uogólnieniem metody Newtona? Odpowiedź: w takim samym, w jakim zapisany macierzowo układ równań z wieloma niewiadomymi jest uogólnieniem zapisanego skalarnie jednego równania z jedną niewiadomą zapis skalarny: ax = b zapis macierzowy: Ax = b 162

163

164 Metoda Newtona (aproksymacyjna) Metoda (aproksymacyjna) Newtona metoda aproksymacji jednowymiarowej bez ograniczeń (z ewentualnymi ograniczeniami na zakres zmienności zmiennej) Dane jednowymiarowy obszar S (obszar musi spełniać kilka dodatkowych załoŝeń) określona w obszarze S funkcja f(x) (funkcja musi spełniać kilka dodatkowych załoŝeń) Cel metody znaleźć x 0 S taki, Ŝe f(x 0 ) = 0 (poszukiwanie miejsc zerowych funkcji f(x) w obszarze S) 164

165 Metoda Newtona (aproksymacyjna) Idea metody Newtona (aproksymacji jednowymiarowej) niech będzie dana analitycznie jednowymiarowa funkcja f(x), dla której poszukujemy miejsca zerowego w pewnym obszarze (w praktyce: w przedziale), i o której zakładamy, Ŝe w tym właśnie przedziale jest ciągła posiada pierwszą pochodną (daną analitycznie), która jest ciągła uznaje się, Ŝe przebieg aproksymowanej, jednowymiarowej funkcji f(x) w otoczeniu pewnego ustalonego punktu x 0 jest taki sam, jak przebieg pewnej funkcji afinicznej, czyli funkcji postaci g(x) = ax + b, gdzie a 0, o parametrach a i b tak dobranych, aby dobrze odzwierciedlały przebieg funkcji f(x) do jakości takiego odzwierciedlenia przyczyniają się oczywiście powyŝsze załoŝenia dotyczące funkcji f(x), które (nie przez przypadek, oczywiście) są takŝe właściwościami funkcji afinicznej postaci g(x) = ax+b, gdzie a 0 przybliŝenie funkcji f(x) jest wykonywane z uŝyciem jej pochodnych 165

166 Metoda Newtona (aproksymacyjna) Idea metody Newtona (aproksymacji jednowymiarowej), c.d. za miejsce zerowe funkcji f(x) uznaje się miejsce zerowe funkcji g(x), przy czym: jeŝeli znaleziony punkt (czyli miejsce zerowe afinicznej funkcji g(x)) stanowi miejsce zerowe optymalizowanej funkcji f(x), to zadanie jest zakończone powyŝsze sprawdzenie moŝe nie być trywialne ogólne rozwiązanie tego problemu stanowi osobne zagadnienie (warunek stopu) jeŝeli znaleziony punkt (czyli miejsce zerowe afinicznej funkcji g(x)) nie stanowi miejsca zerowego aproksymowanej funkcji f(x), to przyjmuje się,ŝe stanowi on lepsze przybliŝenie poszukiwanego miejsca zerowego i powtarza się całe postępowanie powyŝsze przyjęcie moŝe być błędne ogólne rozwiązanie tego problemu stanowi osobne zagadnienie (niezbieŝność) 166

167 Metoda Newtona (aproksymacyjna) Idea metody Newtona (aproksymacji jednowymiarowej), c.d. funkcja afiniczna i jej pochodna funkcja: g(x) = ax + b, gdzie a 0 jej pierwsza pochodna: g (x) = a połoŝenie miejsca zerowego funkcji afinicznej przyrównanie funkcji do zera: ax + b = 0 miejsce zerowe: x = b/a poniewaŝ (z załoŝenia) a 0, więc miejsce zerowe istnieje uwaga: w zaleŝności od a i b, funkcja g(x) = ax + b moŝe mieć róŝne liczby miejsc zerowych, a konkretnie: ma jedno miejsce zerowe, gdy a 0 nie ma miejsc zerowych, gdy a = 0 i b 0 ma nieskończenie wiele miejsc zerowych, gdy a = 0 i b = 0 167

168 Metoda Newtona (aproksymacyjna) PrzybliŜanie funkcji f(x) funkcją afiniczną z uŝyciem pochodnych jeŝeli odpowiednie pochodne funkcji f(x) istnieją w pewnym obszarze S, to w tym obszarze moŝliwe jest przybliŝenie tej funkcji wykorzystujące jej rozwinięcie w szereg Taylora wykorzystując dwuelementowe przybliŝenie q(x) rozwinięcia funkcji f(x) wokół punktu y S mamy dla kaŝdego x S f(x) q(x) = f(x 0 ) + f (x 0 )(x x 0 ) funkcja q(x) stanowi przybliŝenie funkcji f(x) jest dwuelementowym rozwinięciem f(x) w szereg Taylora wokół punktu x 0 ma postać g(x) = ax + b poniewaŝ q(x) = f(x 0 ) + f (x 0 )(x x 0 ) = f(x 0 ) + f (x 0 )x f (x 0 )x 0 = f (x 0 )x + (f(x 0 ) f (x 0 )x 0 ) a więc: a = f (x 0 ), b = f(x 0 ) f (x 0 )x 0 168

169 Metoda Newtona (aproksymacyjna) Poszukiwanie przybliŝenia miejsca zerowego zakładamy, Ŝe dla kaŝdego x S spełniony jest warunek f (x) 0 powyŝsze załoŝenie oraz zaleŝności a = f (x 0 ) i b = f(x 0 ) f (x 0 )x 0 pozwalają na następujące określenie rozwiązania funkcji x = b/a = = (f(x 0 ) f (x 0 )x 0 )/f (x 0 ) = = (f (x 0 )x 0 f(x 0 ))/f (x 0 ) = = x 0 f(x 0 )/f (x 0 ) jeŝeli x 0 jest dowolnym punktem ustalonego obszaru S, to (zgodnie z zasadą przybliŝania funkcji f(x) funkcją afiniczną) punkt x = x 0 f(x 0 )/f (x 0 ) jest miejscem zerowym funkcji f(x) lub lepszym przybliŝeniem tego miejsca zerowego niŝ punkt x 0 (powyŝsze działa takŝe w przypadku, gdy x 0 jest juŝ miejscem zerowym funkcji f(x) /ale spełniającym f (x 0 ) 0/, poniewaŝ wtedy x 0 f(x 0 )/f (x 0 ) = x 0 0/f (x 0 ) = x 0 0 = x 0 ) 169

170 Metoda Newtona (aproksymacyjna) Schemat iteracyjny metody zasada ustalania następnego punktu na podstawie poprzedniego pozwala na sformułowanie następującego schematu iteracyjnego x k+1 = x k f(x k )/f (x k ) Algorytm 1. ustal punkt x 0 i podstaw k = 0 2. dopóki nie zachodzi warunek stopu, wykonuj: oblicz x k+1 = x k f(x k )/f (x k ) podstaw k = k

171 Metoda Newtona (aproksymacyjna) Interpretacja geometryczna metody Dane: funkcja f(x) wraz z pochodną f (x), a dla nich x k (punkt na osi poziomej) f(x k ) (punkt na osi pionowej) f (x k ) (tangens kąta zawartego pomiędzy osią poziomą a prostą styczną do wykresu funkcji w punkcie x k ) 171

172 Metoda Newtona (aproksymacyjna) Interpretacja geometryczna metody Więcej informacji o funkcji (w tym przypadku dość skomplikowanej) 172

173 Metoda Newtona (aproksymacyjna) Interpretacja geometryczna metody Poszukiwane: x k+1 (przybliŝenie miejsca zerowego) 173

174 Metoda Newtona (aproksymacyjna) Interpretacja geometryczna metody Wykorzystując f (x k ) = tg(α) oraz tg(α) = f(x k )/(x k x k+1 ) załoŝenie: x k x k+1 0 otrzymujemy zaleŝność f(x k )/(x k x k+1 ) = f (x k ) 174

175 Metoda Newtona (aproksymacyjna) Interpretacja geometryczna metody Przekształcenie zaleŝności f(x k )/(x k x k+1 ) = f (x k ) prowadzi do f(x k )/f (x k ) = x k x k+1, a więc ostatecznie x k+1 = x k f(x k )/f (x k ) załoŝenie: f (x k ) 0 175

176 Metoda Newtona (aproksymacyjna) Mocno uproszczona wersja metody (sytuacja f (x) 1) x k+1 = x k f(x k )/1 = x k f(x k ) wartość przesunięcia: zawsze o f(x k ) gdy f(x k ) > 0, to x k+1 < x k (przesunięcie w lewo) gdy f(x k ) = 0, to koniec gdy f(x k ) < 0, to x k+1 > x k (przesunięcie w prawo) 176

177 Metoda Newtona (aproksymacyjna) Mocno uproszczona wersja metody (sytuacja f (x) 1) x k+1 = x k f(x k )/( 1) = x k + f(x k ) wartość przesunięcia: zawsze o f(x k ) gdy f(x k ) > 0, to x k+1 > x k (przesunięcie w prawo) gdy f(x k ) = 0, to koniec gdy f(x k ) < 0, to x k+1 < x k (przesunięcie w lewo) 177

178 Metoda Newtona (aproksymacyjna) Potencjalne warunki stopu metody osiągnięcie miejsca zerowego teoretycznie badamy: f(x k ) = 0 praktycznie badamy: f(x k ) ε ustabilizowanie wyniku teoretycznie badamy: x k+1 = x k praktycznie badamy: x k+1 x k ε przekroczenie maksymalnej liczby iteracji k > k 0 gdzie ε jest (małą) dodatnią wartością rzeczywistą (dokładność obliczeń) k 0 jest (duŝą) dodatnią wartością całkowitą (maksymalna liczba iteracji) 178

179 Metoda Newtona (aproksymacyjna) ZbieŜność metody metoda nie gwarantuje zbieŝności dla kaŝdego wektora początkowego teoretyczne przyczyny ewentualnej niezbieŝności zerowość pierwszej pochodnej (a więc nie istnieje jej odwrotność) rezultat: nie moŝna obliczyć x k+1 niewłaściwy krok metody (choć prawidłowo obliczony) rezultat: f(x k+1 ) f(x k ) praktyczne przyczyny ewentualnej niezbieŝności... w (korzystnych) przypadkach zbieŝnych: (w pobliŝu rozwiązania) zbieŝność rzędu drugiego (czyli wysoka!) 179

180 Metoda Newtona (aproksymacyjna) Czy są moŝliwe sytuacje, w których (aproksymacyjna) metoda Newtona nie działa wcale? tak przyczyny pochodna nieokreślona (nie moŝna zainicjować ciągu {x k }) pochodna dla pewnego x k zerowa (nie moŝna utworzyć elementu x k+1 ) ciąg {x k } jest niezbieŝny, a więc np.: ciąg {x k } dąŝy do + ciąg {x k } dąŝy do ciąg {x k } jest cykliczny ciąg {x k } przejawia inne powody niezbieŝności» np.: +1, 2, +4, 8, +16, 32, +64, 128, +256, 180

181 Metoda Newtona (aproksymacyjna) Czy są moŝliwe sytuacje, w których (aproksymacyjna) metoda Newtona nie działa jednoznacznie (w jakimś sensie)? tak przyczyna istnienie wielu miejsc zerowych z których róŝne mogą zostać osiągnięte (zaleŝnie od doboru punktu startowego) 181

182

183 Metoda Newtona (aproksymacyjna) Przykład przybliŝania funkcji danej funkcją przybliŝającą (liniową) /cel: znalezienie miejsca zerowego funkcji danej/ funkcja f(x) = 0.05x x 3 + 0x x 1 (przykładowe) punkty, w których znajdujemy przybliŝenie x 0 : 4, 3, 2, 1, 0, +1, +2, +3,

184 8 Metoda Newtona (aproksymacyjna)

195 Metoda Newtona (aproksymacyjna) Przykład działania /cel: znalezienie miejsca zerowego funkcji danej/ funkcja f(x) = 0.05x x 3 + 0x x 1 wartość początkowa x 0 = 2 195

206

207 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji funkcja f(x) = 4x 3 100x

210 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji funkcja f(x) = 4x 3 100x pierwsza pochodna f (x) = 12x

211 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. miejsce zerowe funkcji: x z =

212 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. przyjęty warunek stopu: f(x) 10 6 warunek ten pozwala na uznanie, Ŝe: funkcja f(x) osiąga wartość zero 212

213 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. przyjęty punkt początkowy x 0 = 1 punkt ten decyduje o przebiegu całego procesu 213

214 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. funkcja 214

215 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. x 215

216 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) 216

217 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. log( f(x) ) 217

218 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = 4x 3 100x

219 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = 4x 3 100x miejsce zerowe funkcji: x z = przyjęty warunek stopu: f(x)

220 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = 4x 3 100x + 300, f(x) 10 6, x 0 = 1 osiągnięto warunek stopu 220

224 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = 4x 3 100x + 300, f(x) 10 6, x 0 losowy z rozkladu N(0,1) osiągnięto warunek stopu 224

228 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 5 228

229 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 5 miejsce zerowe funkcji: x z = 5 przyjęty warunek stopu: f(x)

230 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 5, f(x) 10 6, x 0 = 1 osiągnięto warunek stopu 230

234 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 2 234

235 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 2 miejsce zerowe funkcji: x z = 0 przyjęty warunek stopu: f(x)

236 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 2, f(x) 10 6, x 0 = 1 osiągnięto warunek stopu (uwaga: zbieŝność rzędu pierwszego) 236

241 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x

242 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2 miejsce zerowe funkcji: x z = przyjęty warunek stopu: f(x)

243 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2, f(x) 10 6, x 0 losowy z rozkladu N(0,1) osiągnięto warunek stopu 243

246 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2, f(x) 10 6, x 0 = 1 nie osiągnięto warunku stopu (problem: brak zbieŝności) 246

247 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 247

248 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 miejsce zerowe funkcji: x z = 0 przyjęty warunek stopu: f(x)

249 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3, f(x) 10 6, x 0 = 1 nie osiągnięto warunku stopu (problem: brak zbieŝności) 249

250 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x

251 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x miejsce zerowe funkcji: brak ( x (,+ ) : f(x) > 0) przyjęty warunek stopu: f(x)

252 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 2 + 1, f(x) 10 6, x 0 = 1 nie osiągnięto warunku stopu (problem: dzielenie przez zero) 252

253 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 2 6x

254 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 2 6x miejsce zerowe funkcji: brak ( x (,+ ) : f(x) > 0) przyjęty warunek stopu: f(x)

255 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 2 6x + 100, f(x) 10 6, x 0 = 1 nie osiągnięto warunku stopu (problem: brak zbieŝności) 255

256 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. uzasadnienia niektórych niezbieŝności 256

257 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2 czy moŝna wyjaśnić niezbieŝność dla x 0 = 0? 257

258 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2 pochodna: f (x) = 3x

259 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2 pochodna: f (x) = 3x 2 2 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 3 2x n + 2)/(3(x n ) 2 2) 259

260 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2 pochodna: f (x) = 3x 2 2 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 3 2x n + 2)/(3(x n ) 2 2) iteracja: x 0 = 0 260

261 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2 pochodna: f (x) = 3x 2 2 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 3 2x n + 2)/(3(x n ) 2 2) iteracja: x 0 = 0 x 1 = 0 ( )/( ) = 2/( 2) = 1 261

262 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2 pochodna: f (x) = 3x 2 2 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 3 2x n + 2)/(3(x n ) 2 2) iteracja: x 0 = 0 x 1 = 0 ( )/( ) = 2/( 2) = 1 x 2 = 1 ( )/( ) = 1 1/1 = 0 262

263 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 3 2x + 2 pochodna: f (x) = 3x 2 2 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 3 2x n + 2)/(3(x n ) 2 2) iteracja: x 0 = 0 x 1 = 0 ( )/( ) = 2/( 2) = 1 x 2 = 1 ( )/( ) = 1 1/1 =

264 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 czy moŝna wyjaśnić niezbieŝność dla x 0 0? 264

265 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 pochodna: f (x) = (1/3) x 1/3 1 = (1/3) x 2/3 265

266 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 pochodna: f (x) = (1/3) x 1/3 1 = (1/3) x 2/3 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 1/3 )/((1/3) (x n ) 2/3 ) = x n 3(x n ) 1/3 ( 2/3) = x n 3(x n ) 3/3 = x n 3x n = 2x n 266

267 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 pochodna: f (x) = (1/3) x 1/3 1 = (1/3) x 2/3 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 1/3 )/((1/3) (x n ) 2/3 ) = x n 3(x n ) 1/3 ( 2/3) = x n 3(x n ) 3/3 = x n 3x n = 2x n iteracja: x 0 = 1 267

268 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 pochodna: f (x) = (1/3) x 1/3 1 = (1/3) x 2/3 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 1/3 )/((1/3) (x n ) 2/3 ) = x n 3(x n ) 1/3 ( 2/3) = x n 3(x n ) 3/3 = x n 3x n = 2x n iteracja: x 0 = 1 x 1 = 2 1 = 2 268

269 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 pochodna: f (x) = (1/3) x 1/3 1 = (1/3) x 2/3 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 1/3 )/((1/3) (x n ) 2/3 ) = x n 3(x n ) 1/3 ( 2/3) = x n 3(x n ) 3/3 = x n 3x n = 2x n iteracja: x 0 = 1 x 1 = 2 1 = 2 x 2 = 2 ( 2) = 4 269

270 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 pochodna: f (x) = (1/3) x 1/3 1 = (1/3) x 2/3 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 1/3 )/((1/3) (x n ) 2/3 ) = x n 3(x n ) 1/3 ( 2/3) = x n 3(x n ) 3/3 = x n 3x n = 2x n iteracja: x 0 = 1 x 1 = 2 1 = 2 x 2 = 2 ( 2) = 4 x 3 = 2 4 = 8 270

271 Metoda Newtona (aproksymacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) = x 1/3 pochodna: f (x) = (1/3) x 1/3 1 = (1/3) x 2/3 schemat: x n+1 = x n f(x n )/f (x n ) = x n ((x n ) 1/3 )/((1/3) (x n ) 2/3 ) = x n 3(x n ) 1/3 ( 2/3) = x n 3(x n ) 3/3 = x n 3x n = 2x n iteracja: x 0 = 1 x 1 = 2 1 = 2 x 2 = 2 ( 2) = 4 x 3 = 2 4 =

272

273 Dygresja Jak się ma średnia arytmetyczna do kombinacji wypukłej? 273

274 Dygresja Jak się ma średnia arytmetyczna do kombinacji wypukłej? średnia arytmetyczna jest szczególnym przypadkiem tzw. kombinacji wypukłej 274

275 Dygresja Jak się ma średnia arytmetyczna do kombinacji wypukłej? średnia arytmetyczna jest szczególnym przypadkiem tzw. kombinacji wypukłej mean(a,b) = (a+b)/2 = (1/2) (a+b) = (1/2) a + (1/2) b 275

276 Dygresja Jak się ma średnia arytmetyczna do kombinacji wypukłej? średnia arytmetyczna jest szczególnym przypadkiem tzw. kombinacji wypukłej mean(a,b) = (a+b)/2 = (1/2) (a+b) = (1/2) a + (1/2) b dla wszystkich rzeczywistych a i b mamy więc: gdy a < b: a mean(a,b) b gdy a = b: a = mean(a,b) = b gdy a > b: a mean(a,b) b 276

277 Dygresja Wniosek: dla wszystkich rzeczywistych a i b średnia arytmetyczna z a i b leŝy pomiędzy* a i b * pomiędzy a i b jest rozumiane słabo, tzn. gdy a = b, to zarówno a, jak i b leŝą pomiędzy a i b 277

278 Dygresja Właściwość funkcji ciągłej (twierdzenie Darboux) niech f: [a, b] R będzie taką funkcją ciągłą, Ŝe f(a) f(b) < 0 (tzn. f(a) i f(b) są niezerowe i mają róŝne znaki) wtedy istnieje c [a, b] takie, Ŝe f(c) = 0 278

279 Dygresja Właściwości funkcji f(x) = 1/x (ciągła m.in. na przedziale (0,+ )) jeŝeli rzeczywiste, dodatnie x spełnia x < 1, to 1/x > 1, a więc x < 1 < 1/x x = 1, to 1/x = 1, a więc x = 1 = 1/x x > 1, to 1/x < 1, a więc x > 1 > 1/x 279

280 Dygresja Właściwości funkcji f(x) = x 1/2 (ciągła m.in. na przedziale (0,+ )) jeŝeli rzeczywiste, dodatnie x spełnia x < 1, to 1 > x 1/2 > x x = 1, to 1 = x 1/2 = x x > 1, to 1 < x 1/2 < x 280

281 Dygresja Wniosek: pierwiastek z rzeczywistego, dodatniego x leŝy pomiędzy* x a 1/x * pomiędzy a i b jest rozumiane słabo, tzn. gdy a = b, to zarówno a, jak i b leŝą pomiędzy a i b 281

282 Dygresja Niech x 0 > 0 282

283 Dygresja Pytanie: co się dzieje z wartościami ciągu: x n+1 = (1/2) (x n + 1/x n ) dla kolejnych n? 283

284 Dygresja Pytanie: co się dzieje z wartościami ciągu: x n+1 = (1/2) (x n + 1/x n ) dla kolejnych n? Odpowiedź: zbiegają się do 1 (bo x = 1 jest rozwiązaniem x = 1/x) 284

285 Dygresja Pytanie: co się dzieje z wartościami ciągu: x n+1 = (1/2) (x n + 4/x n ) dla kolejnych n? 285

286 Dygresja Pytanie: co się dzieje z wartościami ciągu: x n+1 = (1/2) (x n + 4/x n ) dla kolejnych n? Odpowiedź: zbiegają się do 2 (bo x = 2 jest rozwiązaniem x = 4/x) 286

287 Dygresja itd. 287

288

289 Przykład ciekawego zastosowania metody Newtona 289

290 Przykład ciekawego zastosowania metody Newtona Pierwiastki rzeczywiste z (rzeczywistych) liczb nieujemnych 290

291 Przykład ciekawego zastosowania metody Newtona Pierwiastki rzeczywiste z (rzeczywistych) liczb nieujemnych pytanie: jak obliczyć pierwiastek kwadratowy z 1000? 291

292 Przykład ciekawego zastosowania metody Newtona Pierwiastki rzeczywiste z (rzeczywistych) liczb nieujemnych pytanie: jak obliczyć pierwiastek kwadratowy z 1000? odpowiedź: skorzystać z kalkulatora! 292

293 Przykład ciekawego zastosowania metody Newtona Pierwiastki rzeczywiste z (rzeczywistych) liczb nieujemnych pytanie: jak obliczyć pierwiastek kwadratowy z 1000? odpowiedź: skorzystać z kalkulatora! pytanie: jak kalkulator moŝe obliczyć pierwiastek kwadratowy z 1000? (uwaga: pierwiastka nie moŝna obliczyć za pomocąŝadnej /dostępnej na kalkulatorze/ pojedynczej operacji typu dodawanie, odejmowanie, mnoŝenie czy dzielenie) 293

294 Przykład ciekawego zastosowania metody Newtona Pierwiastki rzeczywiste z (rzeczywistych) liczb nieujemnych pytanie: jak obliczyć pierwiastek kwadratowy z 1000? odpowiedź: skorzystać z kalkulatora! pytanie: jak kalkulator moŝe obliczyć pierwiastek kwadratowy z 1000? (uwaga: pierwiastka nie moŝna obliczyć za pomocąŝadnej /dostępnej na kalkulatorze/ pojedynczej operacji typu dodawanie, odejmowanie, mnoŝenie czy dzielenie) odpowiedź: moŝe skorzystać z (aproksymacyjnej) metody Newtona 294

295 Przykład ciekawego zastosowania metody Newtona Aproksymacyjna metoda Newtona w poszukiwaniu pierwiastków kwadratowych z rzeczywistych liczb nieujemnych dla nieujemnych p zachodzi x = p 1/2 x 2 = p x 2 p = 0 wniosek: p 1/2 jest miejscem zerowym funkcji f(x) = x 2 p (jedynym, gdy p = 0; jednym z dwóch, gdy p > 0 /drugim jest p 1/2 /) 295

296 Przykład ciekawego zastosowania metody Newtona Aproksymacyjna metoda Newtona w poszukiwaniu pierwiastków kwadratowych z rzeczywistych liczb nieujemnych, c.d. wyprowadzenie (aproksymacyjnego) schematu iteracyjnego funkcja: f(x) = x 2 p pochodna: f (x) = 2x schemat: x k+1 = x k f(x k )/f (x k ) = = x k ((x k ) 2 p)/(2x k ) = = x k (x k ) 2 /(2x k ) + p/(2x k ) = = x k x k /2 + p/(2x k ) = = (1/2) x k + (p/2)/x k = = (1/2) x k + (1/2) p/x k = = (1/2) (x k + p/x k ) (średnia arytmetyczna z x k oraz p/x k ) załoŝenie: x k 0 dla wszystkich k, w szczególności x 0 0 po przyjęciu x 0 > 0, wobec nieujemności p, mamy gwarancję, Ŝe dla wszystkich k zachodzi x k 0 296

297 Przykład ciekawego zastosowania metody Newtona Aproksymacyjna metoda Newtona w poszukiwaniu pierwiastków kwadratowych z rzeczywistych liczb nieujemnych, c.d. algorytm (wejscie p, wyjscie y) if (p < 0) y = error elseif (p = 0) y = 0 else x 0 = p for k=0 to 19 x k+1 = (1/2) (x k + p/x k ) end y = x 20 uwagi liczba iteracji dostosowana do kalkulatora 9-cio pozycyjnego demonstrowane wyniki nie uwzględniają tego faktu (zostały wygenerowane w arytmetyce typu double) 297

298 Przykład ciekawego zastosowania metody Newtona p = 1000 /20 iteracji/ y = x k 298

299 Przykład ciekawego zastosowania metody Newtona p = 2 /20 iteracji/ y = x k 299

300 Przykład ciekawego zastosowania metody Newtona p = 9 /20 iteracji/ y = 3 x k 300

301 Przykład ciekawego zastosowania metody Newtona p = /20 iteracji/ y = x k 301

302 Przykład ciekawego zastosowania metody Newtona x k p = (dziewięć dziewiątek) /20 iteracji/ y =

303 Przykład ciekawego zastosowania metody Newtona I wreszcie te ciekawe

304 Przykład ciekawego zastosowania metody Newtona Co się dzieje, gdy załoŝenie p 0 nie jest spełnione ale schemat iteracyjny zostanie uruchomiony? 304

305 Przykład ciekawego zastosowania metody Newtona x k p = 1 (wbrew załoŝeniu!) /2 iteracje/ x 0 = 1, x 1 = 0, czyli jest x 2 nieokreślone (formalny wynik: y = error ) 305

306 Przykład ciekawego zastosowania metody Newtona x k p = 3 (wbrew załoŝeniu!) /20 iteracji/ cykliczność ciągu {x k } (formalny wynik: y = error ) 306

307 Przykład ciekawego zastosowania metody Newtona x k p = 10 (wbrew załoŝeniu!) /20 iteracji/ niezbieŝność ciągu {x k } (formalny wynik: y = error ) 307

311 Przykład ciekawego zastosowania metody Newtona x k p = 10 (wbrew załoŝeniu!) /2000 iteracji/, zawęŝone wartości niezbieŝność ciągu {x k } (formalny wynik: y = error ) 311

312

313 Metoda Newtona (optymalizacyjna) 313

314 Metoda Newtona (optymalizacyjna) Metoda (optymalizacyjna) Newtona metoda optymalizacji jednowymiarowej bez ograniczeń (z ewentualnymi ograniczeniami na zakres zmienności zmiennej) Dane jednowymiarowy obszar S (obszar musi spełniać kilka dodatkowych załoŝeń) określona w obszarze S funkcja f(x) (funkcja musi spełniać kilka dodatkowych załoŝeń) Cel metody znaleźć x* S taki, Ŝe x S f(x*) f(x) (minimalizacja funkcji f(x) w obszarze S) 314

315 Metoda Newtona (optymalizacyjna) Idea metody Newtona (optymalizacji jednowymiarowej) niech będzie dana analitycznie jednowymiarowa funkcja f(x), dla której poszukujemy minimum w pewnym obszarze (w praktyce: w przedziale), i o której zakładamy, Ŝe w tym właśnie przedziale jest ciągła jest wypukła posiada pierwszą i drugą pochodną (dane analitycznie), które są ciągłe uznaje się, Ŝe przebieg optymalizowanej, jednowymiarowej funkcji f(x) w otoczeniu pewnego ustalonego punktu x 0 jest taki sam, jak przebieg pewnej funkcji kwadratowej, czyli funkcji postaci g(x) = ax 2 + bx + c, gdzie a > 0, o parametrach a, b i c tak dobranych, aby dobrze odzwierciedlały przebieg funkcji f(x) do jakości takiego odzwierciedlenia przyczyniają się oczywiście powyŝsze załoŝenia dotyczące funkcji f(x), które (nie przez przypadek, oczywiście) są takŝe właściwościami funkcji kwadratowej postaci g(x) = ax 2 + bx + c, gdzie a > 0 przybliŝenie funkcji f(x) jest wykonywane z uŝyciem jej pochodnych 315

316 Metoda Newtona (optymalizacyjna) Idea metody Newtona (optymalizacji jednowymiarowej), c.d. za rozwiązanie funkcji f(x) uznaje się rozwiązanie funkcji g(x), przy czym: jeŝeli znaleziony punkt (czyli rozwiązanie kwadratowej funkcji g(x)) stanowi rozwiązanie optymalizowanej funkcji f(x), to zadanie jest zakończone powyŝsze sprawdzenie moŝe nie być trywialne ogólne rozwiązanie tego problemu stanowi osobne zagadnienie (warunek stopu) jeŝeli znaleziony punkt (czyli rozwiązanie kwadratowej funkcji g(x)) nie stanowi rozwiązania optymalizowanej funkcji f(x), to przyjmuje się, Ŝe stanowi on lepsze przybliŝenie poszukiwanego rozwiązania i powtarza się całe postępowanie powyŝsze przyjęcie moŝe być błędne ogólne rozwiązanie tego problemu stanowi osobne zagadnienie (niezbieŝność) 316

317 Metoda Newtona (optymalizacyjna) Idea metody Newtona (optymalizacji jednowymiarowej), c.d. funkcja kwadratowa i jej dwie pierwsze pochodne funkcja: g(x) = ax 2 + bx + c, gdzie a > 0 jej pierwsza pochodna: g (x) = 2ax + b jej druga pochodna: g (x) = 2a połoŝenie rozwiązania funkcji kwadratowej: punkt zerowania się (pierwszej) pochodnej przyrównanie pierwszej pochodnej do zera: 2ax + b = 0 rozwiązanie: x = b/2/a pierwsza pochodna jest funkcją afiniczną, która zmienia znak w punkcie x = b/2/a (jest ujemna dla x < b/2/a i dodatnia dla x > b/2/a), z czego wynika, Ŝe funkcja g(x) posiada ekstremum w punkcie x = b/2/a poniewaŝ (z załoŝenia) a > 0, więc takŝe 2a > 0, a zatem ekstremum funkcji g(x) jest typu minimum uwaga: w zaleŝności od a, funkcja g(x) = ax 2 + bx + c moŝe mieć minima, maksima albo punkty przegięcia, a konkretnie: funkcja ma minimum, gdy a > 0 funkcja ma punkt przegięcia, gdy a = 0 funkcja ma maksimum, gdy a < 0 317

318 Metoda Newtona (optymalizacyjna) PrzybliŜanie funkcji f(x) funkcją kwadratową z uŝyciem pochodnych jeŝeli wszystkie pochodne funkcji f(x) istnieją w pewnym obszarze S, to w tym obszarze moŝliwe jest przybliŝenie tej funkcji wykorzystujące jej rozwinięcie w szereg Taylora 318

319 Metoda Newtona (optymalizacyjna) PrzybliŜanie funkcji f(x) funkcją kwadratową z uŝyciem pochodnych niech dane będą ustalony obszar S funkcja f(x) określona w obszarze S i posiadająca wszystkie pochodne określone w obszarze S rozwinięcie T(x) funkcji f(x) w szereg Taylora wokół punktu x 0 S dane jest następującym wzorem T(x) = f (0) (x 0 )(x x 0 ) 0 /(0!) + f (1) (x 0 )(x x 0 ) 1 /(1!) + f (2) (x 0 )(x x 0 ) 2 /(2!) + = f(x 0 ) 1/1 + f (x 0 )(x x 0 )/1 + f (x 0 )(x x 0 ) 2 /2 + = f(x 0 ) + f (x 0 )(x x 0 ) + f (x 0 )(x x 0 ) 2 /2 + (rozwinięcie obejmuje nieskończoną liczbę składników) zastosowana notacja: f (k) (x) oznaczenie k-tej pochodnej funkcji f(x) w szczególności f (0) (x) f(x) funkcja f (1) (x) f (x) jej pierwsza pochodna f (2) (x) f (x) jej druga pochodna 319

320 Metoda Newtona (optymalizacyjna) PrzybliŜanie funkcji f(x) funkcją kwadratową z uŝyciem pochodnych dla dowolnej funkcji f(x) dla kaŝdego x S wykorzystując nieskończoną liczbę składników rozwinięcia otrzymujemy T(x) = f(x) skończoną liczbę składników rozwinięcia otrzymujemy T(x) f(x) dla szczególnej funkcji, spełniającej f (k) (x) = 0 dla wszystkich k 3 dla kaŝdego x S wykorzystując trzy pierwsze składniki rozwinięcia otrzymujemy T(x) = f(x) przykładem takiej funkcji jest g(x) = ax 2 + bx + c, poniewaŝ: g (x) = 2ax + b g (x) = 2a g (x) = 0 g (x) = 0 itd. 320

321 Metoda Newtona (optymalizacyjna) PrzybliŜanie funkcji f(x) funkcją kwadratową z uŝyciem pochodnych wykorzystując trzyelementowe przybliŝenie q(x) rozwinięcia funkcji f(x) wokół punktu x 0 S mamy dla kaŝdego x S f(x) q(x) = f(x 0 ) + f (x 0 )(x x 0 ) + f (x 0 )(x x 0 ) 2 /2 funkcja q(x) stanowi przybliŝenie funkcji f(x) jest trzyelementowym rozwinięciem f(x) w szereg Taylora wokół punktu x 0 ma postać g(x) = ax 2 + bx + c poniewaŝ q(x) = f(x 0 ) + f (x 0 )(x x 0 ) + f (x 0 )(x x 0 ) 2 /2 = = f(x 0 ) + f (x 0 )x f (x 0 )x 0 + f (x 0 )(x x 0 ) 2 /2 = = f(x 0 ) + f (x 0 )x f (x 0 )x 0 + f (x 0 )(x 2 2xx 0 +(x 0 ) 2 )/2 = = f(x 0 ) + f (x 0 )x f (x 0 )x 0 + f (x 0 )x 2 /2 2f (x 0 )xx 0 /2 + f (x 0 )(x 0 ) 2 /2 = = f(x 0 ) + f (x 0 )x f (x 0 )x 0 + f (x 0 )x 2 /2 f (x 0 )xx 0 + f (x 0 )(x 0 ) 2 /2 = = f (x 0 )x 2 /2 + f (x 0 )x f (x 0 )xx 0 + f(x 0 ) f (x 0 )x 0 + f (x 0 )(x 0 ) 2 /2 = f (x 0 )/2 x 2 + (f (x 0 ) f (x 0 )x 0 ) x + (f(x 0 ) f (x 0 )x 0 +f (x 0 )(x 0 ) 2 /2) a więc: a = f (x 0 )/2, b = f (x 0 ) f (x 0 )x 0, c = f(x 0 ) f (x 0 )x 0 +f (x 0 )(x 0 ) 2 /2 321

322 Metoda Newtona (optymalizacyjna) Schemat iteracyjny metody zakładamy, Ŝe dla kaŝdego x S spełniony jest warunek f (x) 0 powyŝsze załoŝenie oraz zaleŝności a = f (x 0 )/2 i b = f (x 0 ) f (x 0 )x 0 pozwalają na następujące określenie rozwiązania funkcji x = b/2/a = = (f (x 0 ) f (x 0 )x 0 )/2/(f (x 0 )/2) = (f (x 0 ) f (x 0 )x 0 )/f (x 0 ) = = (f (x 0 )/f (x 0 ) f (x 0 )x 0 /f (x 0 )) = (f (x 0 )/f (x 0 ) x 0 ) = = x 0 f (x 0 )/f (x 0 ) jeŝeli x 0 jest dowolnym punktem ustalonego obszaru S, to (zgodnie z zasadą przybliŝania funkcji f(x) funkcją kwadratową) punkt x = x 0 f (x 0 )/f (x 0 ) jest rozwiązaniem funkcji f(x) lub lepszym przybliŝeniem tego rozwiązania niŝ punkt x 0 (powyŝsze działa takŝe w przypadku, gdy x 0 jest juŝ rozwiązaniem funkcji f(x) /ale spełniającym f (x 0 ) 0/, poniewaŝ wtedy x 0 f (x 0 )/f (x 0 ) = x 0 0/f (x 0 ) = x 0 0 = x 0 ) 322

323 Metoda Newtona (optymalizacyjna) Schemat iteracyjny metody zasada ustalania następnego punktu na podstawie poprzedniego pozwala na sformułowanie następującego schematu iteracyjnego x k+1 = x k f (x k )/f (x k ) Algorytm 1. ustal punkt x 0 i podstaw k = 0 2. dopóki nie zachodzi warunek stopu, wykonuj: oblicz x k+1 = x k f (x k )/f (x k ) podstaw k = k

324 Metoda Newtona (optymalizacyjna) Potencjalne warunki stopu metody osiągnięcie minimum teoretycznie badamy: f (x k ) = 0 praktycznie badamy: f (x k ) ε ustabilizowanie wyniku teoretycznie badamy: x k+1 = x k praktycznie badamy: x k+1 x k ε przekroczenie maksymalnej liczby iteracji k > k 0 gdzie ε jest (małą) dodatnią wartością rzeczywistą (dokładność obliczeń) k 0 jest (duŝą) dodatnią wartością całkowitą (maksymalna liczba iteracji) 324

325 Metoda Newtona (optymalizacyjna) ZbieŜność metody metoda nie gwarantuje zbieŝności dla kaŝdego wektora początkowego teoretyczne przyczyny ewentualnej niezbieŝności zerowość drugiej pochodnej (a więc nie istnieje jej odwrotność) rezultat: nie moŝna obliczyć x k+1 niewłaściwy krok metody (choć prawidłowo obliczony) rezultat: f(x k+1 ) f(x k ) praktyczne przyczyny ewentualnej niezbieŝności... w (korzystnych) przypadkach zbieŝnych: (w pobliŝu rozwiązania) zbieŝność rzędu drugiego (czyli wysoka!) 325

326 Metoda Newtona (optymalizacyjna) Czy są moŝliwe sytuacje, w których (optymalizacyjna) metoda Newtona nie działa wcale? tak przyczyny druga pochodna nieokreślona (nie moŝna zainicjować ciągu {x k }) druga pochodna dla pewnego x k zerowa (nie moŝna utworzyć elementu x k+1 ) ciąg {x k } jest niezbieŝny, a więc np.: ciąg {x k } dąŝy do + ciąg {x k } dąŝy do ciąg {x k } jest cykliczny ciąg {x k } przejawia inne powody niezbieŝności» np.: +1, 2, +4, 8, +16, 32, +64, 128, +256, 326

327 Metoda Newtona (optymalizacyjna) Czy są moŝliwe sytuacje, w których (optymalizacyjna) metoda Newtona nie działa jednoznacznie (w jakimś sensie)? tak przyczyna istnienie wielu minimów z których róŝne mogą zostać osiągnięte (zaleŝnie od doboru punktu startowego) 327

328

329 Metoda Newtona (optymalizacyjna) Przykład przybliŝania funkcji danej funkcją przybliŝającą (kwadratową) /cel: znalezienie ekstremum funkcji danej/ funkcja f(x) = 0.01x x 4 + 0x x 2 x 5 (przykładowe) punkty, w których znajdujemy przybliŝenie x 0 : 4, 3, 2, 1, 0, +1, +2, +3,

330 8 Metoda Newtona (optymalizacyjna)

341 Metoda Newtona (optymalizacyjna) Przykład działania /cel: znalezienie ekstremum funkcji danej/ funkcja f(x) = 0.01x x 4 + 0x x 2 x 5 wartość początkowa x 0 = 2 341

352

353 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji funkcja f(x) = x 4 50x x

354 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji funkcja f(x) = x 4 50x x pierwsza pochodna f (x) = 4x 3 100x druga pochodna f (x) = 12x

355 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji przyjęty warunek stopu: f (x) warunek ten pozwala na uznanie, Ŝe: funkcja f (x) osiąga wartość zero, czyli funkcja f(x) osiąga wartość minimalną (o ile f (x) > 0) 355

356 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji minimum funkcji: x* =

357 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji przyjęty punkt początkowy x 0 = 1 punkt ten decyduje o przebiegu całego procesu 357

358 Metoda Newtona (optymalizacyjna) Przykład poszukiwania zer funkcji, c.d. funkcja 358

359 Metoda Newtona (optymalizacyjna) Przykład poszukiwania zer funkcji, c.d. x 359

360 Metoda Newtona (optymalizacyjna) Przykład poszukiwania zer funkcji, c.d. f(x) 360

361 Metoda Newtona (optymalizacyjna) Przykład poszukiwania zer funkcji, c.d. log( f(x) ) 361

362 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = x 4 50x x

363 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = x 4 50x x minimum funkcji: x* = przyjęty warunek stopu: f (x)

364 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = x 4 50x x , f (x) 10 6, x 0 = 1 osiągnięto warunek stopu 364

368 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = x 4 50x x , f (x) 10 6, x 0 losowy z rozkladu N(0,1) osiągnięto warunek stopu 368

372 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.5x 2 5x

373 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.5x 2 5x + 50 minimum funkcji: x* = 5 przyjęty warunek stopu: f(x)

374 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.5x 2 5x + 50, f (x) 10 6, x 0 = 1 osiągnięto warunek stopu 374

378 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = (1/3)x 3 378

379 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = (1/3)x 3 minimum funkcji: x*: brak (lim x x 3 = ) przyjęty warunek stopu: f(x)

380 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = (1/3)x 3, f (x) 10 6, x 0 = 1 osiągnięto warunek stopu (problem: wynik nie jest minimum!) (uwaga: zbieŝność rzędu pierwszego) 380

384 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = (1/3)x 3, f (x) 10 6, x 0 = 0 osiągnięto warunek stopu (problem: wynik nie jest minimum) 384

385 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.25x 4 x 2 + 2x

386 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.25x 4 x 2 + 2x + 10 minimum funkcji: x* = przyjęty warunek stopu: f(x)

387 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.25x 4 x 2 + 2x + 10, f (x) 10 6, x 0 losowy z rozkladu N(0,1) osiągnięto warunek stopu 387

390 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.25x 4 x 2 + 2x + 10, f (x) 10 6, x 0 = 1 nie osiągnięto warunku stopu (problem: brak zbieŝności) 390

391 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.75x 4/3 391

392 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.75x 4/3 minimum funkcji: x* = 0 przyjęty warunek stopu: f(x)

393 Metoda Newtona (optymalizacyjna) Przykład poszukiwania minimów funkcji, c.d. f(x) = 0.75x 4/3, f(x) 10 6, x 0 = 1 nie osiągnięto warunku stopu (problem: brak zbieŝności) 393

394

395 Metody Newtona: porównanie 395

396 Metody Newtona: porównanie Porównanie: optymalizacyjna a aproksymacyjna metoda Newtona dzięki odpowiednim załoŝeniom dotyczącym funkcji f(x) optymalizacyjny schemat iteracyjny x k+1 = x k f (x k )/f (x k ) dla funkcji f(x) prowadzi do: znalezienia rozwiązania funkcji f(x) (argumentu zapewniającego minimum) a jednocześnie znalezienia miejsca zerowego funkcji f (x) (argumentu zapewniającego zerowość) a więc jest jednocześnie schematem aproksymacyjnym dla funkcji f (x) przez analogię: schematem aproksymacyjnym dla funkcji f(x) jest więc x k+1 = x k f(x k )/f (x k ) (reszta algorytmu jest takŝe analogiczna) 396

397 Metody Newtona: porównanie Porównanie: optymalizacyjna a aproksymacyjna metoda Newtona jakość przybliŝania funkcją liniową a funkcją kwadratową... przybliŝenie funkcji f(x) w punkcie x 0 funkcją liniową gwarantuje q(x 0 ) = f(x 0 ) /identyczna wartość w x 0 / q (x 0 ) = f (x 0 ) /identyczne nachylenie w x 0 / (nadaje się do poszukiwania miejsc zerowych) przybliŝenie funkcji f(x) q(x) w punkcie x 0 funkcją kwadratową gwarantuje q(x 0 ) = f(x 0 ) /identyczna wartość w x 0 / q (x 0 ) = f (x 0 ) /identyczne nachylenie w x 0 / q (x 0 ) = f (x 0 ) /identyczne ugięcie* w x 0 / (nadaje się do poszukiwania ekstremów)... * powiązane pojęcia: krzywizna, wklęsłość, wypukłość, punkt przegięcia, punkt siodłowy 397

398 Metody Newtona: porównanie Porównanie: optymalizacyjna a aproksymacyjna metoda Newtona związek funkcja-pochodna rozciąga się takŝe na funkcje przybliŝające w metodzie aproksymacyjnej jest to funkcja liniowa q l (x) postaci: q l (x) = ax + b gdzie a = f (x 0 ), b = f(x 0 ) f (x 0 )x 0, czyli q l (x) = f (x 0 )x + f(x 0 ) f (x 0 )x 0 w metodzie optymalizacyjnej jest to funkcja kwadratowa q k (x) postaci: q k (x) = ax 2 + bx + c gdzie a = f (x 0 )/2, b = f (x 0 ) f (x 0 )x 0, c = f(x 0 ) f (x 0 )x 0 +f (x 0 )(x 0 ) 2 /2 pochodna tej funkcji (q k (x)) = (ax 2 + bx + c) = 2ax + b = 2(f (x 0 )/2)x + f (x 0 ) f (x 0 )x 0 = = f (x 0 )x + f (x 0 ) f (x 0 )x 0 gdy aproksymacja jest stosowana do pochodnej funkcji optymalizowanej, w kategoriach tej funkcji mamy a = f (x 0 ), b = f (x 0 ) f (x 0 )x 0, czyli q l (x) = f (x 0 )x + f (x 0 ) f (x 0 )x 0 wniosek: (q k (x)) = q l (x) 398

399 Metody Newtona (optymalizacyjna+aproksymacyjna) Przykład przybliŝania pewnej funkcji danej funkcją przybliŝającą (kwadratową) /cel: znalezienie ekstremum funkcji danej/ funkcja f(x) = 0.01x x 4 + 0x x 2 x 5 wraz z jednoczesnym przybliŝaniem pochodnej funkcji danej funkcją przybliŝającą (liniową) /cel: znalezienie miejsca zerowego pochodnej funkcji danej/ funkcja f (x) = 0.05x x 3 + 0x x 1 (przykładowe) punkty, w których znajdujemy oba przybliŝenia x 0 : 4, 3, 2, 1, 0, +1, +2, +3,

400 Metody Newtona (optymalizacyjna+aproksymacyjna)

411 Metody Newtona (optymalizacyjna+aproksymacyjna) Przykład znajdowanie ekstremum funkcji danej funkcja f(x) = 0.01x x 4 + 0x x 2 x 5 wartość początkowa x 0 = 2 wraz z jednoczesnym znajdowaniem miejsca zerowego pochodnej funkcji danej funkcja f (x) = 0.05x x 3 + 0x x 1 wartość początkowa x 0 = 2 411

422

423 Przykład ciekawego zastosowania metody Newtona 423

424 Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki 424

425 Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 1 1? 425

426 Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) 426

427 Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 2 1? 427

428 Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1 oraz x = 1 (istnieją dwa zera tej funkcji) 428

429 Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1 oraz x = 1 (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 3 1? 429

430 Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1 oraz x = 1 (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 3 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) 430

431 Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1 oraz x = 1 (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 3 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) czwartego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 4 1? 431

432 Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1 oraz x = 1 (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 3 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) czwartego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 4 1? odpowiedź: x = 1 oraz x = 1 (istnieją dwa zera tej funkcji) 432

433 Przykład ciekawego zastosowania metody Newtona Rzeczywiste pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1 oraz x = 1 (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 3 1? odpowiedź: x = 1 (istnieje jedno zero tej funkcji) czwartego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji rzeczywistej f(x) o argumencie rzeczywistym x danej wzorem f(x) = x 4 1? odpowiedź: x = 1 oraz x = 1 (istnieją dwa zera tej funkcji) 433

434 Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki 434

435 Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 1 1? 435

436 Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1+0i (istnieje jedno zero tej funkcji) 436

437 Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1+0i (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 2 1? 437

438 Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1+0i (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1+0i oraz x = 1+0i (istnieją dwa zera tej funkcji) 438

439 Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1+0i (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1+0i oraz x = 1+0i (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 3 1? 439

440 Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1+0i (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1+0i oraz x = 1+0i (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 3 1? odpowiedź: x = 1+0i, x = ( 1+3 1/2 i)/2 oraz x = ( 1 3 1/2 i)/2 (istnieją trzy zera tej funkcji) 440

441 Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1+0i (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1+0i oraz x = 1+0i (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 3 1? odpowiedź: x = 1+0i, x = ( 1+3 1/2 i)/2 oraz x = ( 1 3 1/2 i)/2 (istnieją trzy zera tej funkcji) czwartego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 4 1? 441

442 Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1+0i (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1+0i oraz x = 1+0i (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 3 1? odpowiedź: x = 1+0i, x = ( 1+3 1/2 i)/2 oraz x = ( 1 3 1/2 i)/2 (istnieją trzy zera tej funkcji) czwartego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 4 1? odpowiedź: x = 1+0i, x = 0+i, x = 1+0i oraz x = 0 i (istnieją cztery zera tej funkcji) 442

443 Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki pierwszego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 1 1? odpowiedź: x = 1+0i (istnieje jedno zero tej funkcji) drugiego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 2 1? odpowiedź: x = 1+0i oraz x = 1+0i (istnieją dwa zera tej funkcji) trzeciego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 3 1? odpowiedź: x = 1+0i, x = ( 1+3 1/2 i)/2 oraz x = ( 1 3 1/2 i)/2 (istnieją trzy zera tej funkcji) czwartego stopnia pytanie: czy istnieją i jakie są zera jednowymiarowej funkcji zespolonej f(x) o argumencie zespolonym x danej wzorem f(x) = x 4 1? odpowiedź: x = 1+0i, x = 0+i, x = 1+0i oraz x = 0 i (istnieją cztery zera tej funkcji) 443

444 Przykład ciekawego zastosowania metody Newtona Zespolone pierwiastki z jedynki stopnia czwartego oczywiście spełniają x = 1+0i: x 4 = (1+0i) 4 = 1 4 = 1 x = 0+i: x 4 = (0+i) 4 = i 4 = (i 2 ) 2 = ( 1) 2 = 1 x = 1+0i: x 4 = ( 1+0i) 4 = ( 1) 4 = 1 x = 0 i: x 4 = (0 i) 4 = ( i) 4 = (( i) 2 ) 2 = (( 1) 2 i 2 ) 2 = (1 i 2 ) 2 = (1 ( 1)) 2 = ( 1) 2 = 1 444

445 Przykład ciekawego zastosowania metody Newtona TakŜe zespolone pierwiastki z jedynki stopnia trzeciego spełniają x = 1+0i: x 3 = (1+0i) 3 =...? x = ( 1+3 1/2 i)/2: x 3 = (( 1+3 1/2 i)/2) 3 =...? x = ( 1 3 1/2 i)/2: x 3 = (( 1 3 1/2 i)/2) 3 =...? 445

446 Przykład ciekawego zastosowania metody Newtona Cztery zera funkcji zespolonej f(x) = x

447 Przykład ciekawego zastosowania metody Newtona Cztery zera funkcji zespolonej f(x) = x 4 1 (i dwa zera funkcji rzeczywistej f(x) = x 4 1) 447

448 Przykład ciekawego zastosowania metody Newtona Aproksymacyjna metoda Newtona w poszukiwaniu pierwiastków z jedynki n-tego stopnia wyprowadzenie (aproksymacyjnego) schematu iteracyjnego funkcja: f(x) = x n 1 pochodna: f (x) = nx n 1 schemat: x k+1 = x k f(x k )/f (x k ) = x k ((x k ) n 1)/(n(x k ) n 1 ) = = x k (x k ) n /(n(x k ) n 1 ) + 1/(n(x k ) n 1 ) = = x k x k /n + 1/(n(x k ) n 1 ) = = (n 1)/n x k + 1/n 1/(x k ) n 1 wobec istnienia wielu zer funkcji (wielu pierwiastków z jedynki) aproksymacyjna metoda Newtona moŝe znaleźć dowolne z nich to, które rozwiązanie zostanie znalezione, zaleŝy od punktu początkowego (x 0 w schemacie iteracyjnym) zachodzi pytanie: Jaka jest zaleŝność pomiędzy połoŝeniem punktów początkowych a znajdowanymi pierwiastkami? 448

449 Przykład ciekawego zastosowania metody Newtona Który pierwiastek znajdzie metoda Newtona startując z tego punktu? 449

450 Przykład ciekawego zastosowania metody Newtona Baseny przyciągania w przypadku problemu poszukiwania pierwiastków z jedynki czwartego stopnia kaŝdy moŝliwy punkt początkowy (czyli w praktyce kaŝdą liczbę zespoloną) moŝna przydzielić do jednego z pięciu rozłącznych podzbiorów podzbiór punktów, dla których znaleziony zostaje pierwiastek 1 podzbiór punktów, dla których znaleziony zostaje pierwiastek 1 podzbiór punktów, dla których znaleziony zostaje pierwiastek i podzbiór punktów, dla których znaleziony zostaje pierwiastek i podzbiór punktów, dla których nie znaleziony zostaje Ŝaden pierwiastek podzbiory te noszą nazwę basenów przyciągania pytanie o zaleŝność pomiędzy połoŝeniem punktów początkowych a znajdowanymi pierwiastkami przyjmuje postać: Jakie kształty mają baseny przyciągania? 450

451 Przykład ciekawego zastosowania metody Newtona Baseny przyciągania? 451

452 Przykład ciekawego zastosowania metody Newtona Obszary Woronoja? 452

453 Przykład ciekawego zastosowania metody Newtona Obszary Woronoja? 453

454 Przykład ciekawego zastosowania metody Newtona Obszary Woronoja 454

455 Przykład ciekawego zastosowania metody Newtona Baseny przyciągania w postaci obszarów Woronoja? 455

456 Przykład ciekawego zastosowania metody Newtona Obszary Woronoja dla pierwiastków z jedynki czwartego stopnia. Czy są to jednocześnie baseny przyciągania metody Newtona? 456

457 Przykład ciekawego zastosowania metody Newtona Czy obszary Woronoja są basenami przyciągania dla pierwiastków z jedynki czwartego stopnia? nie! Jak więc wyglądają te baseny? 457

458 Przykład ciekawego zastosowania metody Newtona Baseny przyciągania metody Newtona (w problemie pierwiastków z jedynki czwartego stopnia) 458

460 Przykład ciekawego zastosowania metody Newtona Baseny przyciągania metody Newtona; powiększenie * 2 (w problemie pierwiastków z jedynki czwartego stopnia) 460

473 Przykład ciekawego zastosowania metody Newtona??? Baseny przyciągania metody Newtona; powiększenie * 256 (w problemie pierwiastków z jedynki czwartego stopnia) 473

474 Przykład ciekawego zastosowania metody Newtona powiększenie * 2 powiększenie * 128 (porównanie) 474

475 Przykład ciekawego zastosowania metody Newtona A jak wyglądają baseny przyciagania dla pierwiastków z jedynki wyŝszych, parzystych stopni? (szóstego, ósmego, ) 475

476 Przykład ciekawego zastosowania metody Newtona Baseny przyciągania metody Newtona (w problemie pierwiastków z jedynki szóstego stopnia) 476

477 Przykład ciekawego zastosowania metody Newtona Baseny przyciągania metody Newtona (w problemie pierwiastków z jedynki ósmego stopnia) 477

478 Przykład ciekawego zastosowania metody Newtona??? Baseny przyciągania metody Newtona (w problemie pierwiastków z jedynki dziesiątego stopnia) 478

479 Przykład ciekawego zastosowania metody Newtona A jak wyglądają baseny przyciagania dla pierwiastków z jedynki nieparzystych stopni? (trzeciego, piątego, ) 479

480 Przykład ciekawego zastosowania metody Newtona Baseny przyciągania metody Newtona (w problemie pierwiastków z jedynki trzeciego stopnia) 480

481 Przykład ciekawego zastosowania metody Newtona Baseny przyciągania metody Newtona (w problemie pierwiastków z jedynki piątego stopnia) 481

482 Przykład ciekawego zastosowania metody Newtona Baseny przyciągania metody Newtona (w problemie pierwiastków z jedynki siódmego stopnia) 482