Materiały wykładowe (fragmenty)

Transkrypt

1 Materiały wykładowe (fragmenty) 1

2 Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL kontakt osobisty Centrum Wykładowe, blok informatyki, pok. 7 2

3 Techniki optymalizacji Cz. 1 3

4 Wyłączenie odpowiedzialności Prezentowane materiały, będące dodatkiem pomocniczym do wykładów, z konieczności fragmentarycznym i niedopracowanym, należy wykorzystywaćz pełnąświadomościąfaktu, że mogąnie byćpozbawione przypadkowych błędów, braków, wypaczeń i przeinaczeń:-) Autor

5 ... 5

6 Wymagane (i wykorzystywane) pojęcia algebraiczne Podstawowe operacje na wektorach i macierzach (prawie) wszędzie Różniczkowanie funkcji metody newtonowskie Macierz nieujemnie/niedodatnio określona metoda Levenberga-Marquarda, metoda MDS Wartości własne macierzy metoda Levenberga-Marquarda, metoda MDS 6

7 Wymagane (i wykorzystywane) pojęcia geometryczne Przestrzenie wielowymiarowe (prawie) wszędzie Interpretacja wektorów w przestrzeniach wielowymiarowych (prawie) wszędzie Interpretacja funkcji w przestrzeniach wielowymiarowych (prawie) wszędzie 7

8 ... 8

9 Przedstawiane metody/rozwiązania Rodzaje przedstawianych metod: klasyczne dla dziedziny optymalizacji ciągłej dawno zdefiniowane dokładnie przebadane to się jednak zmienia! Związki z metodami metaheurystycznymi: metody klasyczne mają zastosowania podrzędne heurystyczne lub dokładne (w zależności od postaci wyników) metody lokalne potencjalne wykorzystanie: generowanie kolejnych rozwiązań (jako lokalnych ekstremów) w metodach metaheurystycznych 9

10 Przedstawiane metody/rozwiązania Postać problemu minimalizacja funkcji co w przypadku maksymalizacji? co w przypadku poszukiwania konkretnej wartości? optymalizacja/aproksymacja przy (ewentualnie istniejących) ograniczeniach ograniczenia jednowymiarowe (zakres zmienności) ograniczenia wielowymiarowe /robocze, właściwe/ 10

11 Przedstawiane metody/rozwiązania Postaci funkcji celu i ograniczeń (zawsze) dane analitycznie wzór! (zazwyczaj) dodatkowo uwarunkowane ciągłe, gładkie, (przykłady?) nieraz konkretnie: liniowe, kwadratowe, 11

12 Przedstawiane metody/rozwiązania Generowane rozwiązania dokładne w sensie dokładności maszynowej* przybliżone * temat dokładności maszynowej nie będzie bliżej na tym wykładzie przedstawiany 12

13 ... 13

14 Optymalizacja w języku Słownik wyrazów obcych PWN optymalizacja-cji, ż, blm 1.«organizowanie jakichśdziałań, procesów itp. w taki sposób, aby dały jak największe efekty przy jak najmniejszych nakładach» 2.ekon.«poszukiwanie za pomocąmetod matematycznych najlepszego ze względu na wybrane kryterium (np. koszt lub zysk) rozwiązania danego zagadnienia gospodarczego, przy uwzględnieniu określonych ograniczeń» optymalny «najlepszy z możliwych w jakichś warunkach» <fr. optimal>!niepoprawnie: Najbardziej optymalne, poprawnie: optymalne, rozwiązanie. 14

15 Optymalizacja w języku Komentarz: kryterium: warunek ( muszą spełnione być pewne kryteria ) trzecie znaczenie: funkcja celu ( wielokryterialne PL ) koszt lub zysk? ( kryterium (np. koszt lub zysk)... ) 15

16 Optymalizacja w zastosowaniach Optymalizacja ma zastosowania w takich dziedzinach jak fizyka technika chemia inżynieria informatyka biologia ekonomia... 16

17 Optymalizacja w życiu Hodży Nasreddina:-) Kim jest/był Hodża Nasreddin? bliskowschodni średniowieczny mędrzec-podróżnik, zajmujący się rozwiązywaniem zagadek, m.in. matematycznych i logicznych jego rozmaite przygody sąfabularyzowanymi zapisami bliskowschodnich mądrości ludowych Więcej o życiu Hodży Nasreddinam.in. w książce Przygody Hodży Nasreddina (a jeszcze więcej: w Internecie!) 17

18 Optymalizacja w życiu Hodży Nasreddina:-) Problem majątku dwaj bracia odziedziczyli majątek po ojcu, który przykazał im podzielić się nim sprawiedliwie, nie podał jednak konkretnie, które dobra mają przypaść w spadku któremu z braci bracia natychmiast pokłócili sięo majątek, ponieważkażdy z nich proponowałinny podziałpozostałych po ojcu dóbr na dwie części: każdy dzieliłrzeczy w taki sposób, aby wartości obu części nie były równe, oczywiście przydzielając sobie częśćo większej wartości, a swemu bratu część o mniejszej wartości 18

19 Optymalizacja w życiu Hodży Nasreddina:-) Jak można rozwiązać powyższy konflikt? Jak rozwiązał ten konflikt Hodża Nasreddin? 19

20 Optymalizacja w życiu Hodży Nasreddina:-) Możliwe rozwiązanie konfliktu jeden z braci dokonuje podziału dziedziczonych rzeczy na dwie części drugi podejmuje decyzję to tym, która część przypadnie komu w udziale 20

21 Optymalizacja w życiu Hodży Nasreddina:-) Interesujące cechy zaproponowanego rozwiązania jeżeli dokonujący podziału podzieli dziedziczone dobra na dwie części o nierównej wartości, to naraża sięna to, że (wskutek decyzji drugiego z braci) przypadnie mu w udziale część mniej wartościowa dokonujący podziału powinien więc dążyćdo tego, aby różnica wartości obu części spadku była jak najmniejsza, w rezultacie czego bracia zostaną sprawiedliwie obdzieleni spadkiem w idealnym przypadku wartości obu części będą jednakowe! (choć taki podział może nie być możliwy do zrealizowania) 21

22 Optymalizacja w życiu Hodży Nasreddina:-) Optymalizacyjny punkt widzenia tego problemu i jego rozwiązania tzw. problem min-max lub osoba dokonująca podziału wie, że jeżeli któraś z utworzonych przez nią części majątku będzie większej wartości, to osoba wybierająca na pewno przydzieli tęczęśćsobie (wniosek: tworzenie jakiejkolwiek części o wartości większej od innych części nie jest korzystne!) oznacza to, że osoba dokonująca podziału powinna minimalizować(min) wartość największej (max) z tworzonych części tzw. problem max-min osoba dokonująca podziału wie, że jeżeli któraś z utworzonych przez nią części majątku będzie mniejszej wartości, to osoba wybierająca na pewno przydzieli sobie innączęść(wniosek: tworzenie części o wartości mniejszej od innych części nie jest korzystne!) oznacza to, że osoba dokonująca podziału powinna maksymalizować(max) wartość najmniejszej (min) z tworzonych części 22

23 ... 23

24 Problem ekstremów Problem ekstremów czyli jak dla nietrywialnegoproblemu optymalizacji bez ograniczeń(czyli zadania przeszukiwania przestrzeni wielowymiarowych) skonstruować nietrywialne podejście rozwiązujące ten problem 24

25 ... 25

26 Elementy ekstremalne w zbiorach uporządkowanych W zbiorze X uporządkowanym relacjami,, < oraz > można zdefiniować element najmniejszy: jest nim a X spełniający a x X a < x element największy: jest nim b X spełniający b x X b > x 26

27 Elementy ekstremalne w zbiorach uporządkowanych W zbiorze X uporządkowanym relacjami,, < oraz > można zdefiniować element minimalny: jest nim c X spełniający x X c x ( x X x < c) element maksymalny: jest nim d X spełniający x X d x ( x X x > c) 27

28 Dygresja Quiz czy istnieje element najmniejszy zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? tak! jest nim: a 5 (równe 1) 28

29 Dygresja Quiz czy istnieje element minimalny zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? tak! jest nim: a 5 (równe 1) 29

30 Dygresja Quiz czy istnieje element największy zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? nie! 30

31 Dygresja Quiz czy istnieje element maksymalny zbioru {a 1, a 2, a 3, a 4, a 5, a 6, a 7, a 8, a 9 }, gdzie a 1 =3, a 2 =9, a 3 =2, a 4 =7, a 5 =1, a 6 =9, a 7 =4, a 8 =4, a 9 =5? tak! (i to nie jeden, lecz dwa!) sąnimi: a 2 (równe 9) oraz a 6 (równe 9) 31

32 Elementy ekstremalne w zbiorach uporządkowanych Definicje elementu minimalnego/maksymalnego wykorzystuje się w przypadku problemu optymalizacji funkcji f(x) zbiorem uporządkowanym jest przeciwdziedzinafunkcji f(x) (która dla funkcji rzeczywistej stanowi podzbiór zbioru liczb rzeczywistych) poszukiwany jest argument funkcji (czyli element jej dziedziny D), dla którego wartość tej funkcji jest minimalna (niekoniecznie najmniejsza), czyli x* D taki, że x D f(x*) f(x) skrócony zapis powyższej zależności: x* = argmin x D f(x) (x* będzie dalej nazywany rozwiązaniem (funkcji) ) (czym argmin różni się od min?) 32

33 ... 33

34 Pochodne funkcji w postaci wektorowo/macierzowej Pochodne prostych funkcji w postaci skalarnej (przypomnienie) afinicznej(popularnie zwanej liniową) f(x) = ax+ b f/ x = a 2 f/ x 2 = 0 3 f/ x 3 = 0 kwadratowej: f(x) = ax 2 + bx+ c f/ x = 2ax + b 2 f/ x 2 = 2a 3 f/ x 3 = 0 4 f/ x 4 = 0 34

35 Pochodne funkcji w postaci wektorowo/macierzowej Pochodne prostych funkcji w postaci skalarnej (przypomnienie) liniowej f(x) = ax f/ x = a 2 f/ x 2 = 0 3 f/ x 3 = 0 (ściśle) kwadratowej: f(x) = ax 2 f/ x = 2ax 2 f/ x 2 = 2a 3 f/ x 3 = 0 4 f/ x 4 = 0 35

36 Pochodne funkcji w postaci wektorowo/macierzowej Pochodne prostych funkcji w postaci wektorowo/macierzowej liniowej: f(x) = a T x f/ x= a formy kwadratowej: f(x) = x T Ax f/ x= (A+ A T )x 2 f/ x 2 = A+ A T w szczególnym przypadku, gdy A T = A(czyli macierz Ajest symetryczna) 2 f/ x 2 = A+ A T = A+ A= 2A(jednocześnie 2 f/ x 2 = 2A T ) w bardzo szczególnym przypadku, gdy A = [a] (czyli macierz A reprezentuje skalar) 2 f/ x 2 = [a]+ [a] T = [a]+ [a]= 2[a] (czyli, właściwie, 2 f/ x 2 = 2a) 36

37 Pochodne funkcji w postaci wektorowo/macierzowej Pochodne prostych funkcji w postaci wektorowo/macierzowej afinicznej: f(x) = a T x+ b f/ x= a (pełnej) kwadratowej: f(x) = x T Ax+ b T x+ c f/ x= (A+ A T )x+ b 2 f/ x 2 = A+ A T 37

38 Pochodne funkcji w postaci wektorowo/macierzowej Pochodne prostych funkcji w postaci wektorowo/macierzowej f(x) = ax 1 f/ x = a f(x) = ax 2 f/ x = 2ax f(x) = ax 3 f/ x = 3ax 2... f(x) = a(x x 0 ) 1 f/ x = a f(x) = a(x x 0 ) 2 f/ x = 2a(x x 0 ) f(x) = a(x x 0 ) 3 f/ x = 3a(x x 0 )

39 Pochodne funkcji w postaci wektorowo/macierzowej Oznaczenie pochodnych wielokrotnych f (k) (x) oznaczenie k-tej pochodnej funkcji f(x) w szczególności f (0) (x) f(x) funkcja f (1) (x) f (x) jej pierwsza pochodna f (2) (x) f (x) jej druga pochodna 39

40 ... 40

41 Szereg Taylora Generator wzorów funkcji, np. f(x) = e x rozwinięcie nieskończone: e x = 1 + x + x 2 /2! + x 3 /3! + x 4 /4! + x 5 /5! +... rozwinięcie skończone, sześcioelementowe: e x = 1 + x + x 2 /2! + x 3 /3! + x 4 /4! + x 5 /5! 41

42 Szereg Taylora Dane jest wyrażenie T(x) = k=0.. a k (x x 0 ) k jest ono zależne od zmiennego argumentu x, ustalonej wartości x 0 oraz ustalonych wartości a k (dla k=0.. ) wyrażenie to reprezentuje sumęnieskończonego ciągu o elementach a k (x x 0 ) k (dla k=0.. ) T(x) jest więc sumą nieskończonej liczby elementów Przyjmując, że w 0 = 1 dla wszystkich możliwych w (także dla w = 0), wyrażenie T(x) można przedstawićw postaci T(x) = a 0 + k=1.. a k (x x 0 ) k gdy dla wszystkich k większych od pewnego ustalonego n zachodzi a k (x x 0 ) k = 0, wyrażenie T(x) można zapisać w postaci T n (x) = a 0 + k=1..n a k (x x 0 ) k wyrażenie to reprezentuje wtedy sumęskończonego ciągu o elementach a k (x x 0 ) k (dla k=0..n) T n (x) jest więc sumąskończonej liczby elementów, a konkretniej: wielomianem stopnia n od argumentu x 42

43 Szereg Taylora Dzięki podobieństwu do wielomianu, wyrażenie T(x) może byćróżniczkowane (operacja jest analogiczna do różniczkowania wielomianów) Tzn. jeżeli: T(x) = a 0 + a 1 (x x 0 ) + a 2 (x x 0 ) 2 + a 3 (x x 0 ) 3 + a 4 (x x 0 ) 4 + to: T (x) = 0 + a 1 + 2a 2 (x x 0 ) + 3a 3 (x x 0 ) 2 + 4a 4 (x x 0 ) 3 + T (x) = a a 3 (x x 0 ) + 4 3a 4 (x x 0 ) 2 + T (x) = a a 4 (x x 0 ) + 43

44 Szereg Taylora Wyrażenie T(x) może zostaćużyte do wyrażania (w przybliżony lub dokładny sposób) wartości pewnej funkcji f(x) (czyli funkcji zależnej od argumentu x) wyrażanie to ma szanse powodzenia, gdy możliwe jest znalezienie wartości x 0 oraz a k (dla k=0.. ), które gwarantująf(x) = T(x) dla wszystkich (lub wybranych) x należących do dziedziny funkcji f(x) mówimy wtedy, że dokonano rozwinięcia wartości funkcji f(x) w szereg Taylora często operacji tej dokonuje sięnajpierw ustalając wartośćx 0, a potem dopiero wartości a k (dla k=0.. ) mówimy wtedy, że dokonano rozwinięcia wartości funkcji f(x) wokółwartości x 0 operacja ta jest szczególnie łatwa dla funkcji wielokrotnie różniczkowalnych 44

45 Szereg Taylora Niech dana będzie wielokrotnie różniczkowalna funkcja f(x), której wartośćma byćwyrażona z użyciem T(x), a więc zakładamy istnienie a i oraz x 0 takich, że: f(x) = a 0 + a 1 (x x 0 ) + a 2 (x x 0 ) 2 + a 3 (x x 0 ) 3 + a 4 (x x 0 )

46 Szereg Taylora Wystarczy więc tylko znaleźćwartości a i oraz x 0 i rozwinięcie funkcji f(x) w szereg Taylora jest gotowe! 46

47 Szereg Taylora Proces poszukiwania współczynników a k współczynnik a 0 równanie f(x) = T(x) ma postać f(x) = a 0 + a 1 (x x 0 ) + a 2 (x x 0 ) 2 + a 3 (x x 0 ) 3 + a 4 (x x 0 ) 4 + niech x = x 0, wtedy f(x 0 ) = a 0 + a 1 (x 0 x 0 ) + a 2 (x 0 x 0 ) 2 + a 3 (x 0 x 0 ) 3 + a 4 (x 0 x 0 ) 4 + f(x 0 ) = a 0 + a a a a f(x 0 ) = a 0 a więc a 0 można ustalićobliczając f(x 0 ) 47

48 Szereg Taylora Proces poszukiwania współczynników a k współczynnik a 1 w rezultacie jednokrotnego zróżniczkowania (ze względu na x) obu stron równania f(x) = T(x) otrzymujemy f (x) = a 1 + 2a 2 (x x 0 ) + 3a 3 (x x 0 ) 2 + 4a 4 (x x 0 ) 3 + niech x = x 0, wtedy f (x 0 ) = a 1 + 2a 2 (x 0 x 0 ) + 3a 3 (x 0 x 0 ) 2 + 4a 4 (x 0 x 0 ) 3 + f (x 0 ) = a 1 + 2a a a f (x 0 ) = a 1 a więc a 1 można ustalićobliczając f (x 0 ) 48

49 Szereg Taylora Proces poszukiwania współczynników a k współczynnik a 2 w rezultacie dwukrotnego zróżniczkowania (ze względu na x) obu stron równania f(x) = T(x) otrzymujemy f (x) = 2a a 3 (x x 0 ) + 4 3a 4 (x x 0 ) 2 + niech x = x 0, wtedy f (x 0 ) = 2a a 3 (x 0 x 0 ) + 4 3a 4 (x 0 x 0 ) 2 + f (x 0 ) = 2a a a f (x 0 ) = 2a 2 a więc a 2 można ustalićobliczając f (x 0 )/2 49

50 Szereg Taylora Proces poszukiwania współczynników a k współczynnik a 3 w rezultacie trzykrotnego zróżniczkowania (ze względu na x) obu stron równania f(x) = T(x) otrzymujemy f (x) = 3 2a a 4 (x x 0 ) + niech x = x 0, wtedy f (x 0 ) = 3 2a 3 (x 0 x 0 ) + 4 3a 4 (x 0 x 0 ) 2 + f (x 0 ) = 3 2a a f (x 0 ) = 3 2a 3 a więc a 3 można ustalićobliczając f (x 0 )/(2 3) 50

51 Szereg Taylora Proces poszukiwania współczynników a k współczynnik a 4 w rezultacie czterokrotnego zróżniczkowania (ze względu na x) obu stron równania f(x) = T(x) otrzymujemy f (x) = 4 3 2a 4 + niech x = x 0, wtedy f (x 0 ) = 4 3 2a 4 + f (x 0 ) = 4 3 2a 4 a więc a 4 można ustalićobliczając f (x 0 )/(2 3 4) 51

52 Szereg Taylora Proces poszukiwania współczynników a k współczynnik a k (w ogólności) w rezultacie k-krotnego zróżniczkowania (ze względu na x) obu stron równania f(x) = T(x) otrzymujemy f (k) (x) = k (k 1) 2 a k + niech x = x 0, wtedy f (k) (x) = k (k 1) 2 a k = k! a k a więc a k można ustalićobliczając f (k) (x 0 )/(k!) 52

53 Szereg Taylora Czyli dla wielokrotnie różniczkowalnej f(x) mamy f(x) = f(x 0 ) + f (x 0 )(x x 0 ) + f (x 0 )/2 (x x 0 ) 2 + f (x 0 )/3! (x x 0 ) 3 + Wykorzystując 0! = 1! = 1 mamy: f(x) = k=0.. f (k) (x 0 )/k! (x x 0 ) k (założenie: istnienie f (x 0 ), f (x 0 ),..., f (k) (x 0 )) 53

54 Szereg Taylora Dzięki temu, że k! szybko rośnie, w wielu przypadkach, dla odpowiednio dużych k zachodzi f (k) (x 0 )(x x 0 ) k << k! Oczywiście wtedy: f (k) (x 0 )(x x 0 ) k /k! << 1 czy wręcz f (k) (x 0 )(x x 0 ) k /k! 0 54

55 Szereg Taylora Dzięki temu możliwe jest skrócenie szeregu do kilku (np. n) początkowych elementów (czyli tych, dla których zakładamy, że f (k) (x 0 )(x x 0 ) k /k! 0 nie zachodzi) f(x) k=0..n f (k) (x 0 )/k! (x x 0 ) k Gdy skrócenie jest niemożliwe, stosuje sięzapis pozwalający na wyróżnienie tzw. reszty (oznaczenie R n+1 ) f(x) = k=0.. f (k) (x 0 )/k! (x x 0 ) k = k=0..n f (k) (x 0 )/k! (x x 0 ) k + R n+1 55

56 Szereg Taylora Szereg T(x) nosi nazwę szeregu Taylora gdy x 0 = 0, szereg Tayloranazywa sięszeregiem MacLaurina Wiele popularnych funkcji analitycznych posiada rozwinięcia w szereg Taylora(względnie MacLaurina) wniosek: funkcje te dają się przedstawić w postaci nieskończonego wielomianu zyski z powyższego dotyczą: interpretacji ewaluacji 56

57 Szereg Taylora Pytanie: jeżeli (nawet skomplikowane) funkcje (np. e x ) posiadająrozwinięcia Taylora(czyli można je przedstawiaćw postaci wielomianu), to może warto w ogóle zrezygnowąćz posługiwania siętymi funkcjami i po prostu wszędzie używać ich rozwinięć? czyli np. przyjąć raz na dobre, że f(x) T n (x) = k=0..n f (k) (x 0 )/k! (x x 0 ) k (oczywiście pamiętając, że T n (x) jest jedynie przybliżeniem) (ale o kontrolowalnej dokładności /wpływ parametru n/) 57

58 Szereg Taylora Odpowiedź: mimo wszystko nie warto! :-) (wręcz: nie można!) przyczyna: rozwinięcie jest lokalne (czyli: inne dla każdego x 0 ) 58

59 Szereg Taylora Przykład: sześcioelementowe T 5 (x) rozwinięcie funkcji e x w szereg Taylorawokółwartości x 0 = 0 funkcja i jej pochodne: (e x ) (0) = e x (e x ) (1) = (e x ) = e x (e x ) (2) = (e x ) = e x (e x ) (3) = (e x ) = e x (e x ) (4) = (e x ) = e x (e x ) (5) = (e x ) = e x... 59

60 Szereg Taylora Przykład: sześcioelementowe T 5 (x) rozwinięcie funkcji e x w szereg Taylorawokółwartości x 0 = 0 współczynniki a k a 0 = f (0) (x 0 )/(0!) = e 0 /1 = 1/1 = 1 a 1 = f (1) (x 0 )/(1!) = e 0 /1 = 1/1 = 1 a 2 = f (2) (x 0 )/(2!) = e 0 /2 = 1/2 a 3 = f (3) (x 0 )/(3!) = e 0 /6 = 1/6 a 4 = f (4) (x 0 )/(4!) = e 0 /24 = 1/24 a 5 = f (5) (x 0 )/(5!) = e 0 /120 = 1/

61 Szereg Taylora Ostateczny wzór: rozwinięcie nieskończone e x = T(x) = k=0.. f (k) (x 0 )/k! (x x 0 ) k = 1 + x + x 2 /2! + x 3 /3! + x 4 /4! + x 5 /5! +... rozwinięcie skończone, sześcioelementowe: e x T 5 (x) = k=0..5 f (k) (x 0 )/k! (x x 0 ) k = 1 + x + x 2 /2! + x 3 /3! + x 4 /4! + x 5 /5! 61

62 Szereg Taylora x T 5 (x) e x = = = = = = = = =

63 Szereg Taylora Kolory wykresów: f(x) = e x w 0 (x) = 1 w 1 (x) = 1 + x w 2 (x) = 1 + x + x 2 /2! w 3 (x) = 1 + x + x 2 /2! + x 3 /3! w 4 (x) = 1 + x + x 2 /2! + x 3 /3! + x 4 /4! w 5 (x) = 1 + x + x 2 /2! + x 3 /3! + x 4 /4! + x 5 /5! 63

64

65

66

67

68

69

70

71 Szereg Taylora Inny przykład: dwunastoelementowe T 11 (x) rozwinięcie funkcji sin(x) w szereg Taylorawokółwartości x 0 = 0 sin(x) T(x) = k=0.. f (k) (x 0 )/k! (x x 0 ) k = = 0 + x + 0 x 3 /3! x 5 /5! + 0 x 7 /7! x 9 /9! + 0 x 11 /11!

72 Szereg Taylora Kolory wykresów: f(x) = sin(x) w 0 (x) = 0 w 1 (x) = x w 2 (x) = x w 3 (x) = x -x 3 /3! w 4 (x) = x -x 3 /3! w 5 (x) = x -x 3 /3! + x 5 /5! w 6 (x) = x -x 3 /3! + x 5 /5! w 7 (x) = x -x 3 /3! + x 5 /5! -x 7 /7! w 8 (x) = x -x 3 /3! + x 5 /5! -x 7 /7! w 9 (x) = x -x 3 /3! + x 5 /5! -x 7 /7! + x 9 /9! w 10 (x) = x -x 3 /3! + x 5 /5! -x 7 /7! + x 9 /9! w 11 (x) = x -x 3 /3! + x 5 /5! -x 7 /7! + x 9 /9! -x 11 /11! 72

73 4 Szereg Taylora Ostateczny wzór (rozwinięcie skończone, pięcioelementowe):

74 4 Szereg Taylora Ostateczny wzór (rozwinięcie skończone, pięcioelementowe):

75 4 Szereg Taylora Ostateczny wzór (rozwinięcie skończone, pięcioelementowe):

76 4 Szereg Taylora Ostateczny wzór (rozwinięcie skończone, pięcioelementowe):

77 4 Szereg Taylora Ostateczny wzór (rozwinięcie skończone, pięcioelementowe):

78 4 Szereg Taylora Ostateczny wzór (rozwinięcie skończone, pięcioelementowe):

79 4 Szereg Taylora Ostateczny wzór (rozwinięcie skończone, pięcioelementowe):

80 Szereg Taylora Jeszcze inny przykład: dwunastoelementowe T 11 (x) rozwinięcie funkcji cos(x)w szereg Taylorawokółwartości x 0 = 0 cos(x) T(x) = k=0.. f (k) (x 0 )/k! (x x 0 ) k = =... 80

81 Szereg Taylora Przybliżanie funkcji f(x) szeregiem Taylora niech dane będą ustalony obszar S funkcja f(x) określona w obszarze S i posiadająca wszystkie pochodne określone w obszarze S rozwinięcie T(x) funkcji f(x) w szereg Taylorawokółpunktu x 0 S dane jest następującym wzorem T(x) = f (0) (x 0 )/(0!) (x x 0 ) 0 + f (1) (x 0 )/(1!) (x x 0 ) 1 + f (2) (x 0 )/(2!) (x x 0 ) 2 + uwaga: rozwinięcie może obejmować nieskończoną lub skończoną liczbę(niezerowych) składników (w przypadku liczby skończonej ostatni element szeregu jest innej postaci /i stanowi tzw. resztę/) 81

82 Szereg Taylora Przybliżanie funkcji f(x) szeregiem Taylora, c.d. aby otrzymać dokładniejsze przybliżenie wartości funkcji w punktach odległych od (zastosowanego) x 0 należy: stosować wieloelementowe przybliżenia użyć nowego x 0 do utworzenia nowego rozwinięcia 82

83 ... 83

84 Dygresja 50, , , , , , , , , ,

85 Dygresja 85

86 Dygresja 50, ,894 50,89 50, , , ,27 295, , , , ,6... 0, ,000 0,00 0,0... 0, ,833 0,83 0,8... 1, ,079 1,08 1,1... 0, ,000 0,00 0,0... 0, ,000 0,00 0, , , , ,9... 0, ,027 0,03 0,

87 Dygresja 10 x x 87

88 Dygresja 3 log 10 (x) x 88

89 Dygresja 50, , , , , ,086 0, ,309 0, ,079 1, ,033 0, ,377 0, , , ,700 0, ,571 89

90 Dygresja

91 Dygresja 2 0, , , , , , , , , ,

92 Dygresja 3 0, , , , , , , , , , x

93 Dygresja 10 x x 93

94 Dygresja log 10 (10 x ) x 94

95 ... 95

96 Współczynnik i rząd zbieżności ciągu Idea współczynnika i rzędu zbieżności ciągu skalarów 96

97 Współczynnik i rząd zbieżności ciągu Idea współczynnika i rzędu zbieżności ciągu skalarów niech s 0, s 1, s 2, będzie ciągiem skalarów zbieżnym do skalara s = lim k s k niech p 1 będzie maksymalnąwartością, dla której istnieje granica = lim k s k+1 s / s k s p wtedy wartość p nazywamy rzędem zbieżności wartość nazywamy współczynnikiem zbieżności p-tego rzędu jeżeli p = 1 i (0,1), to ciąg ma zbieżnośćliniową p = 1 i = 0 lub p > 1, to ciąg ma zbieżnośćsuperliniową (w znaczeniu: lepszą od liniowej) 97

98 Współczynnik i rząd zbieżności ciągu Ilustracja (rząd pierwszy) 98

99 Współczynnik i rząd zbieżności ciągu Ilustracja (rząd drugi) 99

100 Współczynnik i rząd zbieżności ciągu Idea współczynnika... po zastosowaniu oznaczenia e k = s k+1 s (error), dla dużych n zachodzi e k+1 = (e k ) p 100

101 Współczynnik i rząd zbieżności ciągu Idea... ciąg e k+1 = (e k ) p dla e 0 = 1 = 2 p = 1 2 0, , , , , , , , , ,

102 Współczynnik i rząd zbieżności ciągu Idea... ciąg e k+1 = (e k ) p dla e 0 = 1 = 1/2 p =

103 Współczynnik i rząd zbieżności ciągu Idea... ciąg e k+1 = (e k ) p dla e 0 = 1 = 2 p =

104 Współczynnik i rząd zbieżności ciągu Idea... ciąg e k+1 = (e k ) p dla e 0 = 1 = 2 p = 2 2 0, , , , , ,22E+18 18, ,70E+38 38, ,79E+76 76, ,70E , ,99E , x

105 Współczynnik i rząd zbieżności ciągu Idea... ciąg e k+1 = (e k ) p dla e 0 = 1 = 1/2 p =

106 Współczynnik i rząd zbieżności ciągu (Przykładowe) porównanie: ciąg e k+1 = (e k ) p ciąg e k+1 = (e k ) p dla dla e 0 = 1 e 0 = 1 = 2 = 2 p = 1 p = 2 czyli czyli e k+1 = 2(e k ) 1 = 2e k e k+1 = 2(e k ) 2 wtedy wtedy log(e k+1 ) = log(2e k ) log(e k+1 ) = log(2(e k ) 2 ) = log(2)+log(e k ) = 2(log(2)+log(e k )) W ogólności log(e k+1 ) = log( (e k ) p ) = p log( e k ) = p (log( )+log(e k )) generuje przyrost wykładniczy dla 1 p > 0 106

107 Współczynnik i rząd zbieżności ciągu Idea współczynnika i rzędu zbieżności ciągu wektorów 107

108 Współczynnik i rząd zbieżności ciągu Idea współczynnika i rzędu zbieżności ciągu wektorów niech w 0, w 1, w 2, będzie ciągiem wektorów zbieżnym do wektora w= lim k w k niech p 1 będzie maksymalnąwartością, dla której istnieje granica = lim k w k+1 w / w k w p, wtedy wartość p nazywamy rzędem zbieżności wartość nazywamy współczynnikiem zbieżności p-tego rzędu jeżeli p = 1 i (0,1), to ciąg ma zbieżnośćliniową p = 1 i = 0 lub p > 1, to ciąg ma zbieżnośćsuperliniową (w znaczeniu: lepszą od liniowej) 108

109

110 Aproksymacja i optymalizacja: ilustracja problemów Przykład funkcji: f(x) = x 4 50x x

111 Aproksymacja i optymalizacja: ilustracja problemów Aproksymacja problem istnienia rozwiązań(miejsc zerowych) brak miejsc zerowych asymptotyczne zbliżanie miejsca zerowe poza granicami przedziału zmienności

112 Aproksymacja i optymalizacja: ilustracja problemów Aproksymacja problem jednoznaczności rozwiązań(miejsc zerowych) policzalne liczby miejsc zerowych niepoliczalne ilości miejsc zerowych policzalne liczby niepoliczalnych ilości miejsc zerowych

113 Aproksymacja i optymalizacja: ilustracja problemów Optymalizacja problem istnienia rozwiązań brak rozwiązań asymptotyczne zbliżanie rozwiązania poza granicami przedziału zmienności

114 Aproksymacja i optymalizacja: ilustracja problemów Optymalizacja problem jednoznaczności rozwiązań(minimów/maksimów) policzalne liczby rozwiązań niepoliczalne ilości rozwiązań policzalne liczby niepoliczalnych ilości rozwiązań

115 Aproksymacja i optymalizacja: ilustracja problemów Ograniczona ilość informacji w aproksymacji/optymalizacji 115

116 Aproksymacja i optymalizacja: ilustracja problemów Ograniczona ilość informacji w aproksymacji/optymalizacji wartość funkcji i wartość jej (pierwszej) pochodnej 116

117 Aproksymacja i optymalizacja: ilustracja problemów Ograniczona ilość informacji w aproksymacji/optymalizacji bez względu na ilośćtakich danych, to nie to samo, co informacja o całym przebiegu funkcji! 117

118