Optymalizacja ciągła
|
|
|
- Nina Matusiak
- 4 lat temu
- Przeglądów:
Transkrypt
1 Optymalizacja ciągła 1. Optymalizacja funkcji jednej zmiennej Wojciech Kotłowski Instytut Informatyki PP / 54
2 Plan wykładu Optymalizacja funkcji jednej zmiennej (x R): min p.o. f(x) x X R 1. Rozwiązanie analityczne 2. Przeszukiwanie jednostajne 3. Optymalizacja funkcji jednomodalnych: przeszukiwanie dychotomiczna i metoda złotego podziału 4. Optymalizacja funkcji różniczkowalnych: metoda bisekcji 5. Optymalizacja funkcji różniczkowalnych: metoda Newtona 2 / 54
3 Rozwiązanie analityczne 3 / 54
4 Rozwiązanie analityczne W pewnych przypadkach można znaleźć minimum funkcji bez odwoływania się do metod numerycznych Założenia: Funkcja f zdefiniowana jest na dziedzinie X = [x min, x max ] Funkcja f jest różniczkowalna na X 4 / 54
5 Warunek konieczny na istnienie minimum Jeśli różniczkowalna funkcja f osiąga minimum lokalne w punkcie x 0 wewnątrz dziedziny, to f (x 0 ) = 0. 5 / 54
6 Warunek konieczny na istnienie minimum Jeśli różniczkowalna funkcja f osiąga minimum lokalne w punkcie x 0 wewnątrz dziedziny, to f (x 0 ) = 0. Wniosek: Algorytm znajdywania minimum funkcji f na X = [x min, x max ]: 1. Wyznacz punkty zerowanie się pochodnej X 0 = {x X : f (x) = 0} 2. Sprawdź wartość funkcji dla wszystkich punktów z X 0 oraz na krańcach dziedziny {x min, x max } i wybierz ten o najmniejszej wartości funkcji. 5 / 54
7 Przykład f(x) min f(x) = x 3 3x + 9 p.o. x [ 3, 2] 3 2 x 6 / 54
8 Przykład f(x) min f(x) = x 3 3x + 9 p.o. x [ 3, 2] 3 2 x 1. Obliczamy pochodną: f (x) = 3x / 54
9 Przykład f(x) min f(x) = x 3 3x + 9 p.o. x [ 3, 2] x 1. Obliczamy pochodną: f (x) = 3x Wyznaczamy punkty zerowania się pochodnej: f (x) = 0 3x 2 3 = 0 x = 1 lub x = 1 6 / 54
10 Przykład f(x) min f(x) = x 3 3x + 9 p.o. x [ 3, 2] x 1. Obliczamy pochodną: f (x) = 3x Wyznaczamy punkty zerowania się pochodnej: f (x) = 0 3x 2 3 = 0 x = 1 lub x = 1 3. Obliczamy wartość funkcji w kandydatach na minimum globalne: f( 3) = 9, f( 1) = 11, f(1) = 7, f(2) = 11 6 / 54
11 Przykład f(x) min f(x) = x 3 3x + 9 p.o. x [ 3, 2] x 1. Obliczamy pochodną: f (x) = 3x Wyznaczamy punkty zerowania się pochodnej: f (x) = 0 3x 2 3 = 0 x = 1 lub x = 1 3. Obliczamy wartość funkcji w kandydatach na minimum globalne: f( 3) = 9, f( 1) = 11, f(1) = 7, f(2) = Wniosek: minimum globalne w x = 3 6 / 54
12 min f(x) = ln2 (x) x p.o. x [0.4, 12] Przykład f(x) 0.4 x 12 7 / 54
13 min f(x) = ln2 (x) x p.o. x [0.4, 12] Przykład f(x) 0.4 x Obliczamy pochodną: f (x) = 2 ln(x) ln2 (x) x 2 = ln(x) (2 ln(x)) x 2 7 / 54
14 Przykład min f(x) = ln2 (x) x p.o. x [0.4, 12] f(x) x 0.41 e Obliczamy pochodną: f (x) = 2 ln(x) ln2 (x) ln(x) (2 ln(x)) x 2 = x 2 2. Wyznaczamy punkty zerowania się pochodnej: f (x) = 0 ln(x) (2 ln(x)) = 0 x = 1 lub x = e 2 7 / 54
15 Przykład min f(x) = ln2 (x) x p.o. x [0.4, 12] f(x) x 0.41 e Obliczamy pochodną: f (x) = 2 ln(x) ln2 (x) ln(x) (2 ln(x)) x 2 = x 2 2. Wyznaczamy punkty zerowania się pochodnej: f (x) = 0 ln(x) (2 ln(x)) = 0 x = 1 lub x = e 2 3. Obliczamy wartość funkcji w kandydatach na minimum globalne: f(1) = 0, f(e 2 ) = 0.541, f(0.4) = 2.1, f(12) = / 54
16 Przykład min f(x) = ln2 (x) x p.o. x [0.4, 12] f(x) x 0.41 e Obliczamy pochodną: f (x) = 2 ln(x) ln2 (x) ln(x) (2 ln(x)) x 2 = x 2 2. Wyznaczamy punkty zerowania się pochodnej: f (x) = 0 ln(x) (2 ln(x)) = 0 x = 1 lub x = e 2 3. Obliczamy wartość funkcji w kandydatach na minimum globalne: f(1) = 0, f(e 2 ) = 0.541, f(0.4) = 2.1, f(12) = Wniosek: minimum globalne w x = 1 7 / 54
17 Czy to wystarcza? 8 / 54
18 Czy to wystarcza? Oczywiście nie wystarcza: Rzadko kiedy potrafimy analitycznie wyznaczyć punkty zerowania się pochodnej, tzn. rozwiązać równanie f (x) = 0 Funkcja może nie być różniczkowalna 8 / 54
19 Czy to wystarcza? Oczywiście nie wystarcza: Rzadko kiedy potrafimy analitycznie wyznaczyć punkty zerowania się pochodnej, tzn. rozwiązać równanie f (x) = 0 Funkcja może nie być różniczkowalna Musimy odwołać się do numerycznych metod optymalizacji 8 / 54
20 Przeszukiwanie jednostajne 9 / 54
21 Opis problemu min p.o. f(x) x min x x max Nie zakładamy nic o różniczkowalności Kształt funkcji zupełnie nieznany 10 / 54
22 Metoda przeszukiwania jednostajnego Podziel dziedzinę funkcji X = [x min, x max ] na bardzo wiele krótkich odcinków i sprawdź wartość funkcji w każdym z odcinków (np. w punkcie środkowym odcinka) Zwracamy punkt x o najmniejszej wartości funkcji 11 / 54
23 Przeszukiwanie jednostajne przykład f(x) x 12 / 54
24 Przeszukiwanie jednostajne przykład f(x) x 12 / 54
25 Przeszukiwanie jednostajne przykład f(x) x 12 / 54
26 Przeszukiwanie jednostajne przykład f(x) x 2 4 x 12 / 54
27 Czy przeszukiwanie jednostajne gwarantuje znalezienie minimum? f(x) x 13 / 54
28 Czy przeszukiwanie jednostajne gwarantuje znalezienie minimum? f(x) x 13 / 54
29 Czy przeszukiwanie jednostajne gwarantuje znalezienie minimum? f(x) x 13 / 54
30 Czy przeszukiwanie jednostajne gwarantuje znalezienie minimum? f(x) x 2 4 x 13 / 54
31 Przeszukiwanie jednostajne Metoda o złożoności liniowej z liczbą odcinków (bardzo wolno!) Nie gwarantuje znalezienia minimum globalnego, nawet w przybliżeniu (choć dla większości funkcji w praktyce działa dobrze) Jakość rozwiązania silnie zależy od regularności funkcji Alternatywa: przeszukiwanie losowe (losuj punkty z dziedziny i sprawdzaj wartość funkcji), posiada podobne wady Bez dodatkowych założeń niewiele więcej można zrobić 14 / 54
32 Optymalizacja funkcji jednomodalnych (bez informacji o pochodnej) 15 / 54
33 Funkcja jednomodalna Funkcja jednomodalna to funkcja posiadająca tylko jedno (globalne) minimum (być może na granicy dziedziny) f(x) f(x) f(x) x x x 16 / 54
34 Własność funkcji jednomodalnej Niech funkcja f(x) posiada jedno (ścisłe) minimum na przedziale [a, b]. Wybierzmy dowolne x l, x p [a, b] takie, że x l < x p. Jeśli f(x l ) f(x p ) to minimum na pewno nie ma w [a, x l ) Jeśli f(x l ) f(x p ) to minimum na pewno nie ma w (x p, b] 17 / 54
35 Własność funkcji jednomodalnej Niech funkcja f(x) posiada jedno (ścisłe) minimum na przedziale [a, b]. Wybierzmy dowolne x l, x p [a, b] takie, że x l < x p. Jeśli f(x l ) f(x p ) to minimum na pewno nie ma w [a, x l ) Jeśli f(x l ) f(x p ) to minimum na pewno nie ma w (x p, b] Dowód: obrazkowy, nie wprost f(x p ) f(x l ) f(x l ) f(x p ) a x l x p b a x l x p b 17 / 54
36 Własność funkcji jednomodalnej Niech funkcja f(x) posiada jedno (ścisłe) minimum na przedziale [a, b]. Wybierzmy dowolne x l, x p [a, b] takie, że x l < x p. Jeśli f(x l ) f(x p ) to minimum na pewno nie ma w [a, x l ) Jeśli f(x l ) f(x p ) to minimum na pewno nie ma w (x p, b] Dowód: obrazkowy, nie wprost f(x p ) f(x l ) f(x l ) f(x p ) a x l x p b a x l x p b Wniosek: próbkując funkcję w dwóch punktach x l, x p zawsze możemy odrzucić jeden z obszarów [a, x l ) lub (x p, b]! 17 / 54
37 Algorytm znajdywania minimum funkcji jednomodalnej Rozpocznij od pełnej dziedziny a = x min, b = x max W kolejnych iteracjach: 1. Wybierz x l, x p [a, b] takie, że x l < x p 2. Jeśli f(x l ) f(x p ), przypisz b = x p, w przeciwny przypadku przypisz a = x l 18 / 54
38 Algorytm znajdywania minimum funkcji jednomodalnej Rozpocznij od pełnej dziedziny a = x min, b = x max W kolejnych iteracjach: 1. Wybierz x l, x p [a, b] takie, że x l < x p 2. Jeśli f(x l ) f(x p ), przypisz b = x p, w przeciwny przypadku przypisz a = x l a b 18 / 54
39 Algorytm znajdywania minimum funkcji jednomodalnej Rozpocznij od pełnej dziedziny a = x min, b = x max W kolejnych iteracjach: 1. Wybierz x l, x p [a, b] takie, że x l < x p 2. Jeśli f(x l ) f(x p ), przypisz b = x p, w przeciwny przypadku przypisz a = x l f(x p) f(x l ) a x l x p b 18 / 54
40 Algorytm znajdywania minimum funkcji jednomodalnej Rozpocznij od pełnej dziedziny a = x min, b = x max W kolejnych iteracjach: 1. Wybierz x l, x p [a, b] takie, że x l < x p 2. Jeśli f(x l ) f(x p ), przypisz b = x p, w przeciwny przypadku przypisz a = x l a b 18 / 54
41 Algorytm znajdywania minimum funkcji jednomodalnej Rozpocznij od pełnej dziedziny a = x min, b = x max W kolejnych iteracjach: 1. Wybierz x l, x p [a, b] takie, że x l < x p 2. Jeśli f(x l ) f(x p ), przypisz b = x p, w przeciwny przypadku przypisz a = x l f(x l ) f(x p) a x l x p b 18 / 54
42 Algorytm znajdywania minimum funkcji jednomodalnej Rozpocznij od pełnej dziedziny a = x min, b = x max W kolejnych iteracjach: 1. Wybierz x l, x p [a, b] takie, że x l < x p 2. Jeśli f(x l ) f(x p ), przypisz b = x p, w przeciwny przypadku przypisz a = x l a b 18 / 54
43 Algorytm znajdywania minimum funkcji jednomodalnej Jak dobrać punkty x l, x p, aby maksymalnie zawęzić obszar przeszukiwań?
44 Algorytm znajdywania minimum funkcji jednomodalnej Jak dobrać punkty x l, x p, aby maksymalnie zawęzić obszar przeszukiwań? W każdej iteracji odrzucamy jeden z kolorowych obszarów (nie wiemy który) a x l x p b
45 Algorytm znajdywania minimum funkcji jednomodalnej Jak dobrać punkty x l, x p, aby maksymalnie zawęzić obszar przeszukiwań? W każdej iteracji odrzucamy jeden z kolorowych obszarów (nie wiemy który) Oba obszary powinny być tej samej wielkości a x l x p b
46 Algorytm znajdywania minimum funkcji jednomodalnej Jak dobrać punkty x l, x p, aby maksymalnie zawęzić obszar przeszukiwań? W każdej iteracji odrzucamy jeden z kolorowych obszarów (nie wiemy który) Oba obszary powinny być tej samej wielkości a x l x p b Punkty x l, x p jak najbliżej środka 19 / 54
47 Algorytm przeszukiwania dychotomicznego Wejście: Inicjalizuj: procedura wyznaczająca wartość funkcji f(x) w dowolnym punkcie dziedziny [x min, x max ]; liczba odwołań do funkcji n; bardzo mała stała δ (np. δ = 10 8 ) a = x min, b = x max Powtarzaj dla k = 1, 2,..., n/2: 1. Wyznacz środkowy punkt m = a+b 2 2. Przypisz x l = m δ, x p = m + δ 3. Wyznacz wartości funkcji f(x l ) i f(x p ) 4. Jeśli f(x l ) f(x p ), przypisz b = x p, w przeciwnym przypadku przypisz a = x l Zwróć wartość x n = a+b 2 20 / 54
48 Przeszukiwanie dychotomiczne przykład f(x) a x b 21 / 54
49 Przeszukiwanie dychotomiczne przykład f(x) a x l x p x b 21 / 54
50 Przeszukiwanie dychotomiczne przykład f(x) a x l x p x b 21 / 54
51 Przeszukiwanie dychotomiczne przykład f(x) a b x 21 / 54
52 Przeszukiwanie dychotomiczne przykład f(x) a x l x p b x 21 / 54
53 Przeszukiwanie dychotomiczne przykład f(x) a x l x p b x 21 / 54
54 Przeszukiwanie dychotomiczne przykład f(x) a b x 21 / 54
55 Przeszukiwanie dychotomiczne przykład f(x) a x l x p b x 21 / 54
56 Przeszukiwanie dychotomiczne przykład f(x) a x l x p b x 21 / 54
57 Przeszukiwanie dychotomiczne przykład f(x) a b x 21 / 54
58 Przeszukiwanie dychotomiczne zbieżność Jeśli na początku iteracji obszar lokalizacji minimum ma długość x, pod koniec iteracji jest zawężony do 1 2 x + δ 1 2 x 22 / 54
59 Przeszukiwanie dychotomiczne zbieżność Jeśli na początku iteracji obszar lokalizacji minimum ma długość x, pod koniec iteracji jest zawężony do 1 2 x + δ 1 2 x Wniosek: rozpoczynając z zakresem o długości X, po k iteracjach ) k minimum jest zlokalizowane z dokładnością X ( / 54
60 Przeszukiwanie dychotomiczne zbieżność Jeśli na początku iteracji obszar lokalizacji minimum ma długość x, pod koniec iteracji jest zawężony do 1 2 x + δ 1 2 x Wniosek: rozpoczynając z zakresem o długości X, po k iteracjach ) k minimum jest zlokalizowane z dokładnością X Wniosek: po n odwołaniach do funkcji: x n x ( 1 2 ) n/2 X = ( 1 2 ( 1 2 ) n X, punkt zwracany przez algorytm punkt optymalny (minimum f(x)) 22 / 54
61 Przeszukiwanie dychotomiczne zbieżność n x n x / 54
62 Czy można to zrobić szybciej? 24 / 54
63 Czy można to zrobić szybciej? Dotychczas w każdej iteracji próbkowaliśmy funkcję w dwóch punktach i zmniejszaliśmy przedział przeszukiwań o połowę. Jeden z dwóch punktów staje się nową granicą przedziału, po czym próbkujemy funkcję w dwóch nowych punktach. 24 / 54
64 Czy można to zrobić szybciej? Dotychczas w każdej iteracji próbkowaliśmy funkcję w dwóch punktach i zmniejszaliśmy przedział przeszukiwań o połowę. Jeden z dwóch punktów staje się nową granicą przedziału, po czym próbkujemy funkcję w dwóch nowych punktach. Pomysł: wykorzystać jeden z punktów z poprzedniej iteracji i próbkować funkcję tylko raz na iterację! 24 / 54
65 Czy można to zrobić szybciej? Dotychczas w każdej iteracji próbkowaliśmy funkcję w dwóch punktach i zmniejszaliśmy przedział przeszukiwań o połowę. Jeden z dwóch punktów staje się nową granicą przedziału, po czym próbkujemy funkcję w dwóch nowych punktach. Pomysł: wykorzystać jeden z punktów z poprzedniej iteracji i próbkować funkcję tylko raz na iterację! f(x) a x b 24 / 54
66 Czy można to zrobić szybciej? Dotychczas w każdej iteracji próbkowaliśmy funkcję w dwóch punktach i zmniejszaliśmy przedział przeszukiwań o połowę. Jeden z dwóch punktów staje się nową granicą przedziału, po czym próbkujemy funkcję w dwóch nowych punktach. Pomysł: wykorzystać jeden z punktów z poprzedniej iteracji i próbkować funkcję tylko raz na iterację! f(x) a x l x x p b 24 / 54
67 Czy można to zrobić szybciej? Dotychczas w każdej iteracji próbkowaliśmy funkcję w dwóch punktach i zmniejszaliśmy przedział przeszukiwań o połowę. Jeden z dwóch punktów staje się nową granicą przedziału, po czym próbkujemy funkcję w dwóch nowych punktach. Pomysł: wykorzystać jeden z punktów z poprzedniej iteracji i próbkować funkcję tylko raz na iterację! f(x) a x l x x p b 24 / 54
68 Czy można to zrobić szybciej? Dotychczas w każdej iteracji próbkowaliśmy funkcję w dwóch punktach i zmniejszaliśmy przedział przeszukiwań o połowę. Jeden z dwóch punktów staje się nową granicą przedziału, po czym próbkujemy funkcję w dwóch nowych punktach. Pomysł: wykorzystać jeden z punktów z poprzedniej iteracji i próbkować funkcję tylko raz na iterację! f(x) a x l x b 24 / 54
69 Czy można to zrobić szybciej? Dotychczas w każdej iteracji próbkowaliśmy funkcję w dwóch punktach i zmniejszaliśmy przedział przeszukiwań o połowę. Jeden z dwóch punktów staje się nową granicą przedziału, po czym próbkujemy funkcję w dwóch nowych punktach. Pomysł: wykorzystać jeden z punktów z poprzedniej iteracji i próbkować funkcję tylko raz na iterację! f(x) a x l x p x b 24 / 54
70 Konstrukcja algorytmu a x l x p b x 25 / 54
71 Konstrukcja algorytmu x p a a x l x p b x b x l W następnej iteracji obszar zwęża się do x p a lub b x l. Ponieważ nie wiemy, który przypadek nastąpi, ustalamy: x p a = b x l 25 / 54
72 a Konstrukcja algorytmu x l a x p a x l x p b x l W następnej iteracji obszar zwęża się do x p a lub b x l. Ponieważ nie wiemy, który przypadek nastąpi, ustalamy: x p a = b x l Jeśli wybierzemy obszar np. x p a, punkt x l zostanie użyty ponownie. Aby zachować proporcje podziału, ustalamy: x p a b a = x l a x p a b x 25 / 54
73 a Konstrukcja algorytmu x l a x p a x l x p b x l W następnej iteracji obszar zwęża się do x p a lub b x l. Ponieważ nie wiemy, który przypadek nastąpi, ustalamy: x p a = b x l = x l a = b x p Jeśli wybierzemy obszar np. x p a, punkt x l zostanie użyty ponownie. Aby zachować proporcje podziału, ustalamy: x p a b a = x l a x p a Podstawiając pierwsze z równań do drugiego: x p a b a = b x p x p a = b a (x p a) x p a b x = b a x p a 1 25 / 54
74 a Konstrukcja algorytmu x l a x p a x l x p b x l W następnej iteracji obszar zwęża się do x p a lub b x l. Ponieważ nie wiemy, który przypadek nastąpi, ustalamy: b x x p a = b x l = x l a = b x p Jeśli wybierzemy obszar np. x p a, punkt x l zostanie użyty ponownie. Aby zachować proporcje podziału, ustalamy: x p a b a = x l a x p a Podstawiając pierwsze z równań do drugiego: x p a b a }{{} q = b x p x p a = b a (x p a) x p a = b a 1 x p a }{{} 1/q 25 / 54
75 Konstrukcja algorytmu x p a a x l x p b x Otrzymaliśmy równanie: q = 1 q 1 = q2 + q 1 = 0, dla q = x p a b a 25 / 54
76 Konstrukcja algorytmu x p a a x l x p b x Otrzymaliśmy równanie: q = 1 q 1 = q2 + q 1 = 0, dla q = x p a b a Rozwiązanie: 5 1 q = Złoty podział odcinka. 25 / 54
77 Wejście: Inicjalizuj: Algorytm złotego podziału procedura wyznaczająca wartość funkcji f(x) w dowolnym punkcie dziedziny [x min, x max ]; liczba odwołań do funkcji n; α := a = x min, b = x max x l = αa + (1 α)b, x p = (1 α)a + αb Wyznacz wartości funkcji f(x l ), f(x p ) Powtarzaj dla k = 2, 3,..., n: Jeśli f(x l ) < f(x p ) Przypisz b = x p, x p = x l, x l = αa + (1 α)b Jeśli k n, wyznacz wartość funkcji f(x l ). w przeciwnym przypadku Przypisz a = x l, x l = x p, x p = (1 α)a + αb Jeśli k n, wyznacz wartość funkcji f(x p ). Zwróć wartość x n = a+b 2 26 / 54
78 Algorytm złotego podziału przykład f(x) a x b 27 / 54
79 Algorytm złotego podziału przykład f(x) a x l x x p b 27 / 54
80 Algorytm złotego podziału przykład f(x) a x l x x p b 27 / 54
81 Algorytm złotego podziału przykład f(x) a x l x p x b 27 / 54
82 Algorytm złotego podziału przykład f(x) a x l x p x b 27 / 54
83 Algorytm złotego podziału przykład f(x) a x l x p b x 27 / 54
84 Algorytm złotego podziału przykład f(x) a x l x p b x 27 / 54
85 Algorytm złotego podziału przykład f(x) a x l x p b x 27 / 54
86 Algorytm złotego podziału zbieżność Jeśli na początku iteracji obszar lokalizacji minimum ma długość x, pod koniec iteracji jest zawężony do αx, gdzie α = / 54
87 Algorytm złotego podziału zbieżność Jeśli na początku iteracji obszar lokalizacji minimum ma długość x, pod koniec iteracji jest zawężony do αx, gdzie α = Wniosek: rozpoczynając z zakresem o długości X, po n 1 iteracjach minimum jest zlokalizowane z dokładnością α n 1 X 28 / 54
88 Algorytm złotego podziału zbieżność Jeśli na początku iteracji obszar lokalizacji minimum ma długość x, pod koniec iteracji jest zawężony do αx, gdzie α = Wniosek: rozpoczynając z zakresem o długości X, po n 1 iteracjach minimum jest zlokalizowane z dokładnością α n 1 X Wniosek: po n odwołaniach do funkcji: x n x α n 1 X (0.618) n X, 28 / 54
89 Porównanie: dychotomiczne vs. złoty podział algorytm przeszukiwania dychotomicznego złotego podziału ( ) n 2 1 ( zbieżność (0.707) n ) n 1 (0.618) n 29 / 54
90 Porównanie: dychotomiczne vs. złoty podział algorytm przeszukiwania dychotomicznego złotego podziału ( ) n 2 1 ( zbieżność (0.707) n ) n 1 (0.618) n Zbieżność (0.618) n jest asymptotycznie optymalna. Algorytm optymalny to metoda Fibonacciego: Zbieżność bardzo podobna jak dla algorytmu złotego podziału (asymptotycznie taka sama). Bardziej skomplikowany i przez to mniej praktyczny. 29 / 54
91 Optymalizacja funkcji różniczkowalnych: algorytm bisekcji 30 / 54
92 Założenia Założenia: 1. Funkcja f ma ciągłą pochodną na X = [x min, x max ] 2. Pochodna zmienia na X jednokrotnie znak z ujemnego na dodatni 31 / 54
93 Założenia: Założenia 1. Funkcja f ma ciągłą pochodną na X = [x min, x max ] 2. Pochodna zmienia na X jednokrotnie znak z ujemnego na dodatni Wniosek: funkcja jest jednomodalna: wpierw ściśle malejąca, potem ściśle rosnąca, z minimum w punkcie zerowania się pochodnej f(x) f (x) 0 x x 31 / 54
94 Założenia: Założenia 1. Funkcja f ma ciągłą pochodną na X = [x min, x max ] 2. Pochodna zmienia na X jednokrotnie znak z ujemnego na dodatni Wniosek: funkcja jest jednomodalna: wpierw ściśle malejąca, potem ściśle rosnąca, z minimum w punkcie zerowania się pochodnej f(x) f (x) 0 x x Wniosek: Sprowadzamy problem do znalezienia miejsca zerowego pochodnej 31 / 54
95 Metoda bisekcji Rozważmy przedział [a, b] z f (a) < 0 i f (b) > 0, w którym f ma dokładnie jedno miejsce zerowe f (x) 0 a x b 32 / 54
96 Metoda bisekcji Rozważmy przedział [a, b] z f (a) < 0 i f (b) > 0, w którym f ma dokładnie jedno miejsce zerowe f (x) 0 a m= a+b 2 x b 32 / 54
97 Metoda bisekcji Rozważmy przedział [a, b] z f (a) < 0 i f (b) > 0, w którym f ma dokładnie jedno miejsce zerowe f (x) 0 a m= a+b 2 x b Skoro f (m) < 0 to miejsce zerowe musi leżeć po prawej stronie! 32 / 54
98 Metoda bisekcji Rozważmy przedział [a, b] z f (a) < 0 i f (b) > 0, w którym f ma dokładnie jedno miejsce zerowe f (x) 0 a x b Zawężamy obszar przyjmując a = m i ponownie mamy f (a) < 0, f (b) > 0 32 / 54
99 Metoda bisekcji Wejście: Inicjalizuj: procedura wyznaczająca wartość pochodnej f (x) w dowolnym punkcie dziedziny [x min, x max ]; liczba odwołań do pochodnej n; a = x min, b = x max Powtarzaj dla k = 1, 2,..., n: Wyznacz pochodną f (m) w punkcie m = a+b 2 Jeśli f (m) = 0, zakończ algorytm (znaleziono minimum) W przeciwny przypadku: Jeśli f (m) > 0 przypisz b = m Jeśli f (m) < 0 przypisz a = m Zwróć wartość x n = a+b 2 33 / 54
100 Metoda bisekcji przykład f (x) 0 a x b 34 / 54
101 Metoda bisekcji przykład f (x) 0 a m x b 34 / 54
102 Metoda bisekcji przykład f (x) 0 a m x b 34 / 54
103 Metoda bisekcji przykład f (x) 0 a x b 34 / 54
104 Metoda bisekcji przykład f (x) 0 a x m b 34 / 54
105 Metoda bisekcji przykład f (x) 0 a x m b 34 / 54
106 Metoda bisekcji przykład f (x) 0 a x b 34 / 54
107 Metoda bisekcji przykład f (x) 0 a x m b 34 / 54
108 Metoda bisekcji przykład f (x) 0 a x m b 34 / 54
109 Metoda bisekcji przykład f (x) 0 x a b 34 / 54
110 Metoda bisekcji zbieżność Jeśli na początku iteracji obszar lokalizacji minimum ma długość x, pod koniec iteracji jest zawężony do 1 2 x 35 / 54
111 Metoda bisekcji zbieżność Jeśli na początku iteracji obszar lokalizacji minimum ma długość x, pod koniec iteracji jest zawężony do 1 2 x Wniosek: po n odwołaniach do pochodnej funkcji: x n x ( 1 2 ) n X 35 / 54
112 Metoda bisekcji zbieżność Jeśli na początku iteracji obszar lokalizacji minimum ma długość x, pod koniec iteracji jest zawężony do 1 2 x Wniosek: po n odwołaniach do pochodnej funkcji: x n x ( 1 2 ) n X algorytm przeszukiwania dychotomicznego złotego podziału bisekcji zbieżność (0.707) n (0.618) n (0.5) n 35 / 54
113 Metoda bisekcji zbieżność Jeśli na początku iteracji obszar lokalizacji minimum ma długość x, pod koniec iteracji jest zawężony do 1 2 x Wniosek: po n odwołaniach do pochodnej funkcji: x n x ( 1 2 ) n X algorytm przeszukiwania dychotomicznego złotego podziału bisekcji zbieżność (0.707) n (0.618) n (0.5) n Znajomość pochodnej pozwala na szybszą zbieżność! Algorytm przeszukiwania dychotomicznego jest przybliżeniem metody bisekcji, gdzie znak pochodnej szacuje się poprzez f(m + δ) f(m δ) 35 / 54
114 Optymalizacja funkcji różniczkowalnych: algorytm Newtona 36 / 54
115 Wielomian: Wielomian Taylora i wzór Taylora P m (x; x 0 ) = f(x 0 )+ f (x 0 ) 1! (x x 0 )+ f (x 0 ) 2! (x x 0 ) f (m) (x 0 ) (x x 0 ) m m! nazywamy Wielomianem Taylora rzędu m funkcji f w punkcie x 0. Wielomian Taylora coraz lepiej przybliża przebieg funkcji wokół punktu x 0 dla coraz większych m. 37 / 54
116 Wielomian: Wielomian Taylora i wzór Taylora P m (x; x 0 ) = f(x 0 )+ f (x 0 ) 1! (x x 0 )+ f (x 0 ) 2! (x x 0 ) f (m) (x 0 ) (x x 0 ) m m! nazywamy Wielomianem Taylora rzędu m funkcji f w punkcie x 0. Wielomian Taylora coraz lepiej przybliża przebieg funkcji wokół punktu x 0 dla coraz większych m. Wzór Taylora: Błąd oszacowania funkcji f(x) wielomianem Taylora P m (x; x 0 ) wokół punktu x 0 : f(x) = P m (x; x 0 )+R m (x; x 0 ), R m (x; x 0 ) = f (m+1) (ξ) (m + 1)! (x x 0) m+1, }{{} reszta w postaci Lagrange a gdzie ξ jest punktem leżącym między x a x 0 37 / 54
117 Wielomiany Taylora przykład Rozwinięcie Taylora funkcji f(x) = e x w punkcie x 0 = / 54
118 Wielomiany Taylora przykład Rozwinięcie Taylora funkcji f(x) = e x w punkcie x 0 = 0. f(x) = e x f(x 0 ) = e 0 = 1 P 0 (x; 0) = 1 38 / 54
119 Wielomiany Taylora przykład Rozwinięcie Taylora funkcji f(x) = e x w punkcie x 0 = 0. f(x) = e x f(x 0 ) = e 0 = 1 P 0 (x; 0) = 1 f (x) = e x f (x 0 ) = e 0 = 1 P 1 (x; 0) = ! x = 1 + x 38 / 54
120 Wielomiany Taylora przykład Rozwinięcie Taylora funkcji f(x) = e x w punkcie x 0 = 0. f(x) = e x f(x 0 ) = e 0 = 1 P 0 (x; 0) = 1 f (x) = e x f (x 0 ) = e 0 = 1 P 1 (x; 0) = ! x = 1 + x f (x) = e x f (x 0 ) = e 0 = 1 P 2 (x; 0) = 1 + x + 1 2! x = 1 + x + x / 54
121 Wielomiany Taylora przykład Rozwinięcie Taylora funkcji f(x) = e x w punkcie x 0 = 0. f(x) = e x f(x 0 ) = e 0 = 1 P 0 (x; 0) = 1 f (x) = e x f (x 0 ) = e 0 = 1 P 1 (x; 0) = ! x = 1 + x f (x) = e x f (x 0 ) = e 0 = 1 P 2 (x; 0) = 1 + x + 1 2! x = 1 + x + x2 2 f (3) (x) = e x f (3) (x 0 ) = e 0 = 1 P 3 (x; 0) = 1 + x + x2 2 + x / 54
122 Wielomiany Taylora przykład f(x) = e x, x 0 = 0. y f(x) x 0 = 0 x 39 / 54
123 Wielomiany Taylora przykład f(x) = e x, x 0 = 0. y f(x) P 0 (x; 0) = 1 x 0 = 0 x 39 / 54
124 Wielomiany Taylora przykład f(x) = e x, x 0 = 0. y f(x) P 1 (x; 0) = 1 + x x 0 = 0 x 39 / 54
125 Wielomiany Taylora przykład f(x) = e x, x 0 = 0. y f(x) P 2 (x; 0) = 1 + x + x2 2 x 0 = 0 x 39 / 54
126 Wielomiany Taylora przykład f(x) = e x, x 0 = 0. y f(x) P 3 (x; 0) = 1 + x + x2 2 + x3 6 x 0 = 0 x 39 / 54
127 Założenia metody Newtona Warunek wystarczający na minimum: Jeśli f (x ) = 0 i f (x ) > 0 w punkcie x X, to funkcja f(x) ma minimum lokalne w x. 40 / 54
128 Założenia metody Newtona Warunek wystarczający na minimum: Jeśli f (x ) = 0 i f (x ) > 0 w punkcie x X, to funkcja f(x) ma minimum lokalne w x. Wykorzystując tę własność możemy rozsądnie założyć, że f (x ) > 0 w punkcie minimum x funkcji f(x) 40 / 54
129 Założenia metody Newtona Warunek wystarczający na minimum: Jeśli f (x ) = 0 i f (x ) > 0 w punkcie x X, to funkcja f(x) ma minimum lokalne w x. Wykorzystując tę własność możemy rozsądnie założyć, że f (x ) > 0 w punkcie minimum x funkcji f(x) Przyjmując, że druga pochodna jest ciągła, zakładamy dodatkowo, że f (x) > 0 w pewnym otoczeniu punktu x. 40 / 54
130 Metoda Newtona Metoda Newtona to iteracyjny algorytm minimalizacji bez ograniczeń funkcji f(x) o ciągłej pierwszej i drugiej pochodnej 41 / 54
131 Metoda Newtona Metoda Newtona to iteracyjny algorytm minimalizacji bez ograniczeń funkcji f(x) o ciągłej pierwszej i drugiej pochodnej Wynikiem metody jest ciąg punktów x 1, x 2,... zbiegających do minimum lokalnego x funkcji f(x) 41 / 54
132 Metoda Newtona Metoda Newtona to iteracyjny algorytm minimalizacji bez ograniczeń funkcji f(x) o ciągłej pierwszej i drugiej pochodnej Wynikiem metody jest ciąg punktów x 1, x 2,... zbiegających do minimum lokalnego x funkcji f(x) W każdej iteracji k = 1, 2,... przybliżamy funkcję f(x) wielomianem Taylora drugiego rzędu wokół aktualnego punktu x k : f(x) P 2 (x; x k ) = f(x k ) + f (x k )(x x k ) f (x k )(x x k ) 2 41 / 54
133 Metoda Newtona Metoda Newtona to iteracyjny algorytm minimalizacji bez ograniczeń funkcji f(x) o ciągłej pierwszej i drugiej pochodnej Wynikiem metody jest ciąg punktów x 1, x 2,... zbiegających do minimum lokalnego x funkcji f(x) W każdej iteracji k = 1, 2,... przybliżamy funkcję f(x) wielomianem Taylora drugiego rzędu wokół aktualnego punktu x k : f(x) P 2 (x; x k ) = f(x k ) + f (x k )(x x k ) f (x k )(x x k ) 2 f(x) x k x 41 / 54
134 Metoda Newtona Metoda Newtona to iteracyjny algorytm minimalizacji bez ograniczeń funkcji f(x) o ciągłej pierwszej i drugiej pochodnej Wynikiem metody jest ciąg punktów x 1, x 2,... zbiegających do minimum lokalnego x funkcji f(x) W każdej iteracji k = 1, 2,... przybliżamy funkcję f(x) wielomianem Taylora drugiego rzędu wokół aktualnego punktu x k : f(x) P 2 (x; x k ) = f(x k ) + f (x k )(x x k ) f (x k )(x x k ) 2 P 2 (x; x k ) f(x) Przybliżenie funkcji f(x) funkcją kwadratową wokół x k Powód: Minimum funkcji kwadratowej umiemy znaleźć analitycznie! x k x 41 / 54
135 Metoda Newtona Z założenia f (x) > 0 w otoczeniu x, stąd dla x k bliskiego x P 2 (x; x k ) = f(x k ) + f (x k )(x x k ) f (x k )(x x k ) 2 }{{} >0 jest parabolą wypukłą posiadającą minimum 42 / 54
136 Metoda Newtona Z założenia f (x) > 0 w otoczeniu x, stąd dla x k bliskiego x P 2 (x; x k ) = f(x k ) + f (x k )(x x k ) f (x k )(x x k ) 2 }{{} >0 jest parabolą wypukłą posiadającą minimum Kolejny punkt x k+1 przyjmujemy więc jako minimum P 2 (x; x k ) uzyskane poprzez przyrównanie pochodnej P 2 (x; x k ) do zera: P 2(x; x k ) = 0 f (x k ) + f (x k )(x x k ) = 0 42 / 54
137 Metoda Newtona Z założenia f (x) > 0 w otoczeniu x, stąd dla x k bliskiego x P 2 (x; x k ) = f(x k ) + f (x k )(x x k ) f (x k )(x x k ) 2 }{{} >0 jest parabolą wypukłą posiadającą minimum Kolejny punkt x k+1 przyjmujemy więc jako minimum P 2 (x; x k ) uzyskane poprzez przyrównanie pochodnej P 2 (x; x k ) do zera: P 2(x; x k ) = 0 f (x k ) + f (x k )(x x k ) = 0 x k+1 = x k f (x k ) f (x k ) 42 / 54
138 Metoda Newtona Wejście: procedura wyznaczająca wartości f (x) i f (x) w dowolnym punkcie dziedziny; liczba iteracji n; Inicjalizuj: x 1 odpowiednio blisko minimum x Powtarzaj dla k = 1, 2,..., n: Wyznacz pierwszą i drugą pochodną w x k : f (x k ), f (x k ) Przypisz x k+1 = x k f (x k ) f (x k ) Zwróć wartość x n+1 43 / 54
139 Metoda Newtona przykład f(x) x x 44 / 54
140 Metoda Newtona przykład f(x) x 1 x x 44 / 54
141 Metoda Newtona przykład f(x) x 1 x x 44 / 54
142 Metoda Newtona przykład f(x) x x 1 x 2 x 44 / 54
143 Metoda Newtona przykład f(x) x x x 2 44 / 54
144 Metoda Newtona przykład f(x) x x x 2 44 / 54
145 Metoda Newtona przykład f(x) x x x 3 x 2 44 / 54
146 Metoda Newtona przykład f(x) x x x 3 44 / 54
147 Metoda Newtona przykład f(x) x x x 3 44 / 54
148 Metoda Newtona przykład f(x) x 4 x x 3 x 44 / 54
149 Metoda Newtona przykład Szukamy minimum funkcji f(x) = e x + e x f (x) = e x e x, f (x) = e x + e x Łatwo wyznaczyć minimum globalne analitycznie: x = / 54
150 Metoda Newtona przykład Szukamy minimum funkcji f(x) = e x + e x f (x) = e x e x, f (x) = e x + e x Łatwo wyznaczyć minimum globalne analitycznie: x = 0. Rozpoczynamy od rozwiązania x 1 = 1 45 / 54
151 Metoda Newtona przykład Szukamy minimum funkcji f(x) = e x + e x f (x) = e x e x, f (x) = e x + e x Łatwo wyznaczyć minimum globalne analitycznie: x = 0. Rozpoczynamy od rozwiązania x 1 = 1 k x k x k x / 54
152 Metoda Newtona przykład Szukamy minimum funkcji f(x) = e x + e x f (x) = e x e x, f (x) = e x + e x Łatwo wyznaczyć minimum globalne analitycznie: x = 0. Rozpoczynamy od rozwiązania x 1 = / 54
153 Metoda Newtona przykład Szukamy minimum funkcji f(x) = e x + e x f (x) = e x e x, f (x) = e x + e x Łatwo wyznaczyć minimum globalne analitycznie: x = 0. Rozpoczynamy od rozwiązania x 1 = 10 k x k x k x / 54
154 Metoda Newtona przykład Szukamy minimum funkcji f(x) = x 2 + 2x + 1 f (x) = 2x + 2 f (x) = 2 Łatwo wyznaczyć minimum globalne analitycznie: x = / 54
155 Metoda Newtona przykład Szukamy minimum funkcji f(x) = x 2 + 2x + 1 f (x) = 2x + 2 f (x) = 2 Łatwo wyznaczyć minimum globalne analitycznie: x = 1. Rozpoczynamy od rozwiązania x 1 = 5 k x k x k x / 54
156 Metoda Newtona przykład Szukamy minimum funkcji f(x) = x 2 + 2x + 1 f (x) = 2x + 2 f (x) = 2 Łatwo wyznaczyć minimum globalne analitycznie: x = 1. Rozpoczynamy od rozwiązania x 1 = 5 k x k x k x Metoda Newtona znajduje minimum funkcji kwadratowej dokładnie w jednym kroku! Dlaczego? 46 / 54
157 Metoda Newtona przykład Szukamy minimum funkcji f(x) = x 2 + 2x + 1 f (x) = 2x + 2 f (x) = 2 Łatwo wyznaczyć minimum globalne analitycznie: x = 1. Rozpoczynamy od rozwiązania x 1 = 5 k x k x k x Metoda Newtona znajduje minimum funkcji kwadratowej dokładnie w jednym kroku! Dlaczego? Ponieważ przybliżenie kwadratowe jest w tym wypadku tożsame z funkcją f(x)! 46 / 54
158 Metoda Newtona przykład Szukamy minimum funkcji f(x) = x log(x) f (x) = 1 1 x, f (x) = 1 x 2 Łatwo wyznaczyć minimum globalne analitycznie: x = / 54
159 Metoda Newtona przykład Szukamy minimum funkcji f(x) = x log(x) f (x) = 1 1 x, f (x) = 1 x 2 Łatwo wyznaczyć minimum globalne analitycznie: x = 1. Rozpoczynamy od rozwiązania x 1 = / 54
160 Metoda Newtona przykład Szukamy minimum funkcji f(x) = x log(x) f (x) = 1 1 x, f (x) = 1 x 2 Łatwo wyznaczyć minimum globalne analitycznie: x = 1. Rozpoczynamy od rozwiązania x 1 = 1.5 k x k x k x / 54
161 Metoda Newtona przykład Szukamy minimum funkcji f(x) = x log(x) f (x) = 1 1 x, f (x) = 1 x 2 Łatwo wyznaczyć minimum globalne analitycznie: x = 1. Rozpoczynamy od rozwiązania x 1 = 3 47 / 54
162 Metoda Newtona przykład Szukamy minimum funkcji f(x) = x log(x) f (x) = 1 1 x, f (x) = 1 x 2 Łatwo wyznaczyć minimum globalne analitycznie: x = 1. Rozpoczynamy od rozwiązania x 1 = 3 k x k x k x Metoda rozbiega się do (minus) nieskończoności! 47 / 54
163 Metoda Newtona Wymaga dostępu do pierwszej i drugiej pochodnej Nie radzi sobie z ograniczeniami dziedziny W ogólności algorytm trzeba rozpocząć dostatecznie blisko optimum, w przeciwnym wypadku może się nawet rozbiec! Rozpoczęty blisko optimum, algorytm zbiega błyskawicznie, zwykle wystarczy kilka iteracji! (z tego względu zwykle preferowany w praktyce) 48 / 54
164 Przypomnienie (wzór Taylora): Zbieżność metody Newtona f(x) = P m (x; x 0 ) + f (m+1) (ξ) (m + 1)! (x x 0) m+1 gdzie ξ jest punktem leżącym między x a x 0. W szczególności dla m = 1: f(x) = f(x 0 ) + f (x 0 )(x x 0 ) f (ξ)(x x 0 ) 2 49 / 54
165 Przypomnienie (wzór Taylora): Zbieżność metody Newtona f(x) = P m (x; x 0 ) + f (m+1) (ξ) (m + 1)! (x x 0) m+1 gdzie ξ jest punktem leżącym między x a x 0. W szczególności dla m = 1: f(x) = f(x 0 ) + f (x 0 )(x x 0 ) f (ξ)(x x 0 ) 2 Wniosek: Stosując to twierdzenie do pochodnej f (x) (dla m = 1) z x = x i x 0 = x k mamy: f (x ) }{{} =0 = f (x k ) + f (x k )(x x k ) f (ξ)(x x k ) 2, (zakładamy, że funkcja jest trzykrotnie różniczkowalna) 49 / 54
166 Przypomnienie (wzór Taylora): Zbieżność metody Newtona f(x) = P m (x; x 0 ) + f (m+1) (ξ) (m + 1)! (x x 0) m+1 gdzie ξ jest punktem leżącym między x a x 0. W szczególności dla m = 1: f(x) = f(x 0 ) + f (x 0 )(x x 0 ) f (ξ)(x x 0 ) 2 Wniosek: Stosując to twierdzenie do pochodnej f (x) (dla m = 1) z x = x i x 0 = x k mamy: f (x ) }{{} =0 = f (x k ) + f (x k )(x x k ) f (ξ)(x x k ) 2, (zakładamy, że funkcja jest trzykrotnie różniczkowalna) co daje: f (x k ) = f (x k )(x x k ) f (ξ)(x x k ) 2 49 / 54
167 Zbieżność metody Newtona f (x k ) = f (x k )(x x k ) f (ξ)(x x k ) 2 Z definicji metody Newtona mamy: x k+1 x = x k x f (x k ) f (x k ) 50 / 54
168 Zbieżność metody Newtona f (x k ) = f (x k )(x x k ) f (ξ)(x x k ) 2 Z definicji metody Newtona mamy: Używając wzoru w ramce: x k+1 x = x k x f (x k ) f (x k ) x k+1 x = x k x + f (x k )(x x k ) f (ξ)(x x k ) 2 f (x k ) 50 / 54
169 Zbieżność metody Newtona f (x k ) = f (x k )(x x k ) f (ξ)(x x k ) 2 Z definicji metody Newtona mamy: Używając wzoru w ramce: x k+1 x = x k x f (x k ) f (x k ) x k+1 x = x k x + f (x k )(x x k ) f (ξ)(x x k ) 2 f (x k ) = 1 f (ξ) 2 f (x k ) (x x k ) 2 50 / 54
170 Zbieżność metody Newtona f (x k ) = f (x k )(x x k ) f (ξ)(x x k ) 2 Z definicji metody Newtona mamy: Używając wzoru w ramce: x k+1 x = x k x f (x k ) f (x k ) x k+1 x = x k x + f (x k )(x x k ) f (ξ)(x x k ) 2 f (x k ) = 1 f (ξ) 2 f (x k ) (x x k ) 2 Zbieżność kwadratowa: x k+1 x = β k (x k x ) 2, β k = 1 f (ξ) 2 f (x k ) 50 / 54
171 Rząd zbieżności Niech p 1 będzie maksymalną wartością, dla której istnieje granica: β = lim β k, gdzie β k = x k+1 x k x k x p. Wtedy p nazywamy rzędem zbieżności ciągu x k do x. 51 / 54
172 Rząd zbieżności Niech p 1 będzie maksymalną wartością, dla której istnieje granica: β = lim β k, gdzie β k = x k+1 x k x k x p. Wtedy p nazywamy rzędem zbieżności ciągu x k do x. Jeśli p = 1 i β (0, 1) to ciąg ma zbieżność liniową (przeszukiwanie dychotomiczne, złoty podział, bisekcja) Jeśli p = 2 to ciąg ma zbieżność kwadratową (metoda Newtona) 51 / 54
173 Porównanie rzędów zbieżności Załóżmy dla uproszczenia, że zachodzi x k+1 x = β x k x p dla wszystkich n. Porównamy rzędy zbieżności dla β = 0.5 i p = 1, 2, tzn: x k+1 x = 0.5 x k x, x k+1 x = 0.5 x k x 2 52 / 54
174 Porównanie rzędów zbieżności Załóżmy dla uproszczenia, że zachodzi x k+1 x = β x k x p dla wszystkich n. Porównamy rzędy zbieżności dla β = 0.5 i p = 1, 2, tzn: x k+1 x = 0.5 x k x, x k+1 x = 0.5 x k x 2 Rozpoczynamy od x 1 x = 1. k wartość x k x p = 1 p = / 54
175 Porównanie rzędów zbieżności Załóżmy dla uproszczenia, że zachodzi x k+1 x = β x k x p dla wszystkich n. Porównamy rzędy zbieżności dla β = 0.5 i p = 1, 2, tzn: x k+1 x = 0.5 x k x, x k+1 x = 0.5 x k x 2 Rozpoczynamy od x 1 x = 4. k wartość x k x p = 1 p = / 54
176 Metoda siecznych Druga pochodna potrzebna w metodzie Newtona może być czasem trudna (lub wręcz niemożliwa) do pozyskania 53 / 54
177 Metoda siecznych Druga pochodna potrzebna w metodzie Newtona może być czasem trudna (lub wręcz niemożliwa) do pozyskania Rozwiązanie: Korzystając z definicji drugiej pochodnej: f (x) = lim 0 f (x + ) f (x) przybliżamy: f (x k ) f (x k ) f (x k 1 ) x k x k 1 53 / 54
178 Metoda siecznych Druga pochodna potrzebna w metodzie Newtona może być czasem trudna (lub wręcz niemożliwa) do pozyskania Rozwiązanie: Korzystając z definicji drugiej pochodnej: przybliżamy: f (x) = lim 0 f (x + ) f (x) f (x k ) f (x k ) f (x k 1 ) x k x k 1 W rezultacie dostajemy tzw. metodę siecznych: x k+1 = x k f (x k )(x k x k 1 ) f (x k ) f (x k 1 ) 53 / 54
179 Metoda siecznych Druga pochodna potrzebna w metodzie Newtona może być czasem trudna (lub wręcz niemożliwa) do pozyskania Rozwiązanie: Korzystając z definicji drugiej pochodnej: przybliżamy: f (x) = lim 0 f (x + ) f (x) f (x k ) f (x k ) f (x k 1 ) x k x k 1 W rezultacie dostajemy tzw. metodę siecznych: x k+1 = x k f (x k )(x k x k 1 ) f (x k ) f (x k 1 ) Można pokazać, że metoda siecznych ma rząd zbieżności β = / 54
180 Kryteria stopu algorytmów optymalizacji Poznane algorytmy mogą w zasadzie działać nieskończenie długo, coraz lepiej przybliżając optimum, ale nigdy go dokładnie nie osiągając. Potrzebne jest więc dodatkowe kryterium stopu 54 / 54
181 Kryteria stopu algorytmów optymalizacji Poznane algorytmy mogą w zasadzie działać nieskończenie długo, coraz lepiej przybliżając optimum, ale nigdy go dokładnie nie osiągając. Potrzebne jest więc dodatkowe kryterium stopu Dla uproszczenia dotychczas stosowaliśmy kryterium czasu obliczeń, w którym z góry zadana jest liczba iteracji n. 54 / 54
182 Kryteria stopu algorytmów optymalizacji Poznane algorytmy mogą w zasadzie działać nieskończenie długo, coraz lepiej przybliżając optimum, ale nigdy go dokładnie nie osiągając. Potrzebne jest więc dodatkowe kryterium stopu Dla uproszczenia dotychczas stosowaliśmy kryterium czasu obliczeń, w którym z góry zadana jest liczba iteracji n. Alternatywnie, można rozważać kryteria jakości przybliżenia x k wyrażone za pomocą numerycznej stałej ɛ (np. ɛ = 10 8 ), np. zatrzymaj algorytm: Jeśli x k x ɛ (co otrzymujemy z analizy teoretycznej) 54 / 54
183 Kryteria stopu algorytmów optymalizacji Poznane algorytmy mogą w zasadzie działać nieskończenie długo, coraz lepiej przybliżając optimum, ale nigdy go dokładnie nie osiągając. Potrzebne jest więc dodatkowe kryterium stopu Dla uproszczenia dotychczas stosowaliśmy kryterium czasu obliczeń, w którym z góry zadana jest liczba iteracji n. Alternatywnie, można rozważać kryteria jakości przybliżenia x k wyrażone za pomocą numerycznej stałej ɛ (np. ɛ = 10 8 ), np. zatrzymaj algorytm: Jeśli x k x ɛ (co otrzymujemy z analizy teoretycznej) Jeśli f (x k ) ɛ (korzystając z faktu, że f (x ) = 0) 54 / 54
184 Kryteria stopu algorytmów optymalizacji Poznane algorytmy mogą w zasadzie działać nieskończenie długo, coraz lepiej przybliżając optimum, ale nigdy go dokładnie nie osiągając. Potrzebne jest więc dodatkowe kryterium stopu Dla uproszczenia dotychczas stosowaliśmy kryterium czasu obliczeń, w którym z góry zadana jest liczba iteracji n. Alternatywnie, można rozważać kryteria jakości przybliżenia x k wyrażone za pomocą numerycznej stałej ɛ (np. ɛ = 10 8 ), np. zatrzymaj algorytm: Jeśli x k x ɛ (co otrzymujemy z analizy teoretycznej) Jeśli f (x k ) ɛ (korzystając z faktu, że f (x ) = 0) Jeśli x k x k 1 x k 1 < ɛ (relatywna zmiana rozwiązania niewielka) 54 / 54
185 Kryteria stopu algorytmów optymalizacji Poznane algorytmy mogą w zasadzie działać nieskończenie długo, coraz lepiej przybliżając optimum, ale nigdy go dokładnie nie osiągając. Potrzebne jest więc dodatkowe kryterium stopu Dla uproszczenia dotychczas stosowaliśmy kryterium czasu obliczeń, w którym z góry zadana jest liczba iteracji n. Alternatywnie, można rozważać kryteria jakości przybliżenia x k wyrażone za pomocą numerycznej stałej ɛ (np. ɛ = 10 8 ), np. zatrzymaj algorytm: Jeśli x k x ɛ (co otrzymujemy z analizy teoretycznej) Jeśli f (x k ) ɛ (korzystając z faktu, że f (x ) = 0) Jeśli x k x k 1 x k 1 < ɛ (relatywna zmiana rozwiązania niewielka) Jeśli f(x k) f(x k 1 ) f(x k 1 ) niewielka) < ɛ (relatywna zmiana jakości rozwiązania 54 / 54
Iteracyjne rozwiązywanie równań
Elementy metod numerycznych Plan wykładu 1 Wprowadzenie Plan wykładu 1 Wprowadzenie 2 Plan wykładu 1 Wprowadzenie 2 3 Wprowadzenie Metoda bisekcji Metoda siecznych Metoda stycznych Plan wykładu 1 Wprowadzenie
Metody numeryczne I Równania nieliniowe
Metody numeryczne I Równania nieliniowe Janusz Szwabiński szwabin@ift.uni.wroc.pl Metody numeryczne I (C) 2004 Janusz Szwabiński p.1/66 Równania nieliniowe 1. Równania nieliniowe z pojedynczym pierwiastkiem
VIII. Zastosowanie rachunku różniczkowego do badania funkcji. 1. Twierdzenia o wartości średniej. Monotoniczność funkcji.
VIII. Zastosowanie rachunku różniczkowego do badania funkcji. 1. Twierdzenia o wartości średniej. Monotoniczność funkcji. Twierdzenie 1.1. (Rolle a) Jeżeli funkcja f jest ciągła w przedziale domkniętym
1 Metody rozwiązywania równań nieliniowych. Postawienie problemu
1 Metody rozwiązywania równań nieliniowych. Postawienie problemu Dla danej funkcji ciągłej f znaleźć wartości x, dla których f(x) = 0. (1) 2 Przedział izolacji pierwiastka Będziemy zakładać, że równanie
Optymalizacja ciągła
Optymalizacja ciągła 5. Metody kierunków poparwy (metoda Newtona-Raphsona, metoda gradientów sprzężonych) Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 28.03.2019 1
Optymalizacja ciągła
Optymalizacja ciągła 4. Metody kierunków poprawy (metoda spadku wzdłuż gradientu) Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 21.03.2019 1 / 41 Plan wykładu Minimalizacja
METODY NUMERYCZNE. Wykład 4. Numeryczne rozwiązywanie równań nieliniowych z jedną niewiadomą. prof. dr hab.inż. Katarzyna Zakrzewska
METODY NUMERYCZNE Wykład 4. Numeryczne rozwiązywanie równań nieliniowych z jedną niewiadomą prof. dr hab.inż. Katarzyna Zakrzewska Met.Numer. Wykład 4 1 Rozwiązywanie równań nieliniowych z jedną niewiadomą
1 Równania nieliniowe
1 Równania nieliniowe 1.1 Postać ogólna równania nieliniowego Często występującym, ważnym problemem obliczeniowym jest numeryczne poszukiwanie rozwiązań równań nieliniowych, np. algebraicznych (wielomiany),
METODY NUMERYCZNE. Wykład 4. Numeryczne rozwiązywanie równań nieliniowych z jedną niewiadomą. Rozwiązywanie równań nieliniowych z jedną niewiadomą
METODY NUMERYCZNE Wykład 4. Numeryczne rozwiązywanie równań nieliniowych z jedną niewiadomą dr hab.inż. Katarzyna Zakrzewska, prof.agh Met.Numer. Wykład 4 1 Rozwiązywanie równań nieliniowych z jedną niewiadomą
Wprowadzenie Metoda bisekcji Metoda regula falsi Metoda siecznych Metoda stycznych RÓWNANIA NIELINIOWE
Transport, studia niestacjonarne I stopnia, semestr I Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Postać ogólna równania nieliniowego Zazwyczaj nie można znaleźć
RÓWNANIA NIELINIOWE Maciej Patan
RÓWNANIA NIELINIOWE Maciej Patan Uniwersytet Zielonogórski Przykład 1 Prędkość v spadającego spadochroniarza wyraża się zależnością v = mg ( 1 e c t) m c gdzie g = 9.81 m/s 2. Dla współczynnika oporu c
Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania
Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania Metody optymalizacji Metody poszukiwania ekstremum funkcji jednej zmiennej Materiały pomocnicze do ćwiczeń
Optymalizacja ciągła
Optymalizacja ciągła 5. Metoda stochastycznego spadku wzdłuż gradientu Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 04.04.2019 1 / 20 Wprowadzenie Minimalizacja różniczkowalnej
Laboratorium 5 Przybliżone metody rozwiązywania równań nieliniowych
Uniwersytet Zielonogórski Wydział Informatyki, Elektrotechniki i Telekomunikacji Instytut Sterowania i Systemów Informatycznych Elektrotechnika niestacjonarne-zaoczne pierwszego stopnia z tyt. inżyniera
ROZWIĄZYWANIE RÓWNAŃ NIELINIOWYCH
Transport, studia I stopnia Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Postać ogólna równania nieliniowego Często występującym, ważnym problemem obliczeniowym
Wstęp do metod numerycznych Rozwiazywanie równań algebraicznych. P. F. Góra
Wstęp do metod numerycznych Rozwiazywanie równań algebraicznych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2010 Co to znaczy rozwiazać równanie? Przypuśmy, że postawiono przed nami problem rozwiazania
Metody numeryczne. materiały do wykładu dla studentów
Metody numeryczne materiały do wykładu dla studentów 5. Przybliżone metody rozwiązywania równań 5.1 Lokalizacja pierwiastków 5.2 Metoda bisekcji 5.3 Metoda iteracji 5.4 Metoda stycznych (Newtona) 5.5 Metoda
IX. Rachunek różniczkowy funkcji wielu zmiennych. 1. Funkcja dwóch i trzech zmiennych - pojęcia podstawowe. - funkcja dwóch zmiennych,
IX. Rachunek różniczkowy funkcji wielu zmiennych. 1. Funkcja dwóch i trzech zmiennych - pojęcia podstawowe. Definicja 1.1. Niech D będzie podzbiorem przestrzeni R n, n 2. Odwzorowanie f : D R nazywamy
ZADANIA OPTYMALIZCJI BEZ OGRANICZEŃ
ZADANIA OPTYMALIZCJI BEZ OGRANICZEŃ Maciej Patan Uniwersytet Zielonogórski WSTEP Zadanie minimalizacji bez ograniczeń f(ˆx) = min x R nf(x) f : R n R funkcja ograniczona z dołu Algorytm rozwiazywania Rekurencyjny
Pochodne funkcji wraz z zastosowaniami - teoria
Pochodne funkcji wraz z zastosowaniami - teoria Pochodne Definicja 2.38. Niech f : O(x 0 ) R. Jeżeli istnieje skończona granica f(x 0 + h) f(x 0 ) h 0 h to granicę tę nazywamy pochodną funkcji w punkcie
Metody numeryczne. Równania nieliniowe. Janusz Szwabiński.
Metody numeryczne Równania nieliniowe Janusz Szwabiński szwabin@ift.uni.wroc.pl nm_slides-9.tex Metody numeryczne Janusz Szwabiński 7/1/2003 20:18 p.1/64 Równania nieliniowe 1. Równania nieliniowe z pojedynczym
1 Pochodne wyższych rzędów
1 Pochodne wyższych rzędów Definicja 1.1 (Pochodne cząstkowe drugiego rzędu) Niech f będzie odwzorowaniem o wartościach w R m, określonym na zbiorze G R k. Załóżmy, że zbiór tych x G, dla których istnieje
Z52: Algebra liniowa Zagadnienie: Zastosowania algebry liniowej Zadanie: Operatory różniczkowania, zagadnienie brzegowe.
Z5: Algebra liniowa Zagadnienie: Zastosowania algebry liniowej Zadanie: Operatory różniczkowania zagadnienie brzegowe Dyskretne operatory różniczkowania Numeryczne obliczanie pochodnych oraz rozwiązywanie
Metody Numeryczne. Wojciech Szewczuk
Metody Numeryczne Równania nieliniowe Równania nieliniowe W tych równaniach jedna lub więcej zmiennych występuje nieliniowo, np równanie Keplera x a sin x = b. Zajmiemy się teraz lokalizacją pierwiastków
2. ZASTOSOWANIA POCHODNYCH. (a) f(x) = ln 3 x ln x, (b) f(x) = e2x x 2 2.
2. ZASTOSOWANIA POCHODNYCH. Koniecznie trzeba znać: twierdzenia o ekstremach (z wykorzystaniem pierwszej i drugiej pochodnej), Twierdzenie Lagrange a, Twierdzenie Taylora (z resztą w postaci Peano, Lagrange
Metody rozwiązywania równań nieliniowych
Metody rozwiązywania równań nieliniowych Rozwiązywanie równań nieliniowych Ogólnie równanie o jednej niewiadomej x można przedstawić w postaci f ( x)=0, x R, (1) gdzie f jest wystarczająco regularną funkcją.
VII. Elementy teorii stabilności. Funkcja Lapunowa. 1. Stabilność w sensie Lapunowa.
VII. Elementy teorii stabilności. Funkcja Lapunowa. 1. Stabilność w sensie Lapunowa. W rozdziale tym zajmiemy się dokładniej badaniem stabilności rozwiązań równania różniczkowego. Pojęcie stabilności w
METODY ROZWIĄZYWANIA RÓWNAŃ NIELINIOWYCH
METODY ROZWIĄZYWANIA RÓWNAŃ NIELINIOWYCH Jednym z zastosowań metod numerycznych jest wyznaczenie pierwiastka lub pierwiastków równania nieliniowego. W tym celu stosuje się szereg metod obliczeniowych np:
Wybrane metody przybliżonego. wyznaczania rozwiązań (pierwiastków) równań nieliniowych
Wykład trzeci 1 Wybrane metody przybliżonego wyznaczania rozwiązań pierwiastków równań nieliniowych 2 Metody rozwiązywania równań nieliniowych = 0 jest unkcją rzeczywistą zmiennej rzeczywistej Rozwiązanie
KADD Minimalizacja funkcji
Minimalizacja funkcji Poszukiwanie minimum funkcji Foma kwadratowa Metody przybliżania minimum minimalizacja Minimalizacja w n wymiarach Metody poszukiwania minimum Otaczanie minimum Podział obszaru zawierającego
Rozwiązywanie równań nieliniowych
Rozwiązywanie równań nieliniowych Marcin Orchel 1 Wstęp Przykłady wyznaczania miejsc zerowych funkcji f : f(ξ) = 0. Wyszukiwanie miejsc zerowych wielomianu n-tego stopnia. Wymiar tej przestrzeni wektorowej
Rozwiązywanie równań nieliniowych i ich układów. Wyznaczanie zer wielomianów.
Rozwiązywanie równań nieliniowych i ich układów. Wyznaczanie zer wielomianów. Plan wykładu: 1. Wyznaczanie pojedynczych pierwiastków rzeczywistych równań nieliniowych metodami a) połowienia (bisekcji)
Metody numeryczne. materiały do wykładu dla studentów. 7. Całkowanie numeryczne
Metody numeryczne materiały do wykładu dla studentów 7. Całkowanie numeryczne 7.1. Całkowanie numeryczne 7.2. Metoda trapezów 7.3. Metoda Simpsona 7.4. Metoda 3/8 Newtona 7.5. Ogólna postać wzorów kwadratur
Metody numeryczne Wykład 7
Metody numeryczne Wykład 7 Dr inż. Michał Łanczont Instytut Elektrotechniki i Elektrotechnologii E419, tel. 4293, m.lanczont@pollub.pl, http://m.lanczont.pollub.pl Plan wykładu Rozwiązywanie równań algebraicznych
Wykład 6, pochodne funkcji. Siedlce
Wykład 6, pochodne funkcji Siedlce 20.12.2015 Definicja pochodnej funkcji w punkcie Niech f : (a; b) R i niech x 0 ; x 1 (a; b), x0 x1. Wyrażenie nazywamy ilorazem różnicowym funkcji f między punktami
RACHUNEK RÓŻNICZKOWY FUNKCJI JEDNEJ ZMIENNEJ. Wykorzystano: M A T E M A T Y K A Wykład dla studentów Część 1 Krzysztof KOŁOWROCKI
RACHUNEK RÓŻNICZKOWY FUNKCJI JEDNEJ ZMIENNEJ Wykorzystano: M A T E M A T Y K A Wykład dla studentów Część 1 Krzyszto KOŁOWROCKI Przyjmijmy, że y (, D, jest unkcją określoną w zbiorze D R oraz niec D Deinicja
Notatki z Analizy Matematycznej 3. Jacek M. Jędrzejewski
Notatki z Analizy Matematycznej 3 Jacek M. Jędrzejewski ROZDZIAŁ 6 Różniczkowanie funkcji rzeczywistej 1. Pocodna funkcji W tym rozdziale rozważać będziemy funkcje rzeczywiste określone w pewnym przedziale
1 Pochodne wyższych rzędów
Pochodne wyższych rzędów Pochodną rzędu drugiego lub drugą pochodną funkcji y = f(x) nazywamy pochodną pierwszej pochodnej tej funkcji. Analogicznie definiujemy pochodne wyższych rzędów, jako pochodne
Ekstrema globalne funkcji
SIMR 2013/14, Analiza 1, wykład 9, 2013-12-13 Ekstrema globalne funkcji Definicja: Funkcja f : D R ma w punkcie x 0 D minimum globalne wtedy i tylko (x D) f(x) f(x 0 ). Wartość f(x 0 ) nazywamy wartością
22 Pochodna funkcji definicja
22 Pochodna funkcji definicja Rozważmy funkcję f : (a, b) R, punkt x 0 b = +. (a, b), dopuszczamy również a = lub Definicja 33 Mówimy, że funkcja f jest różniczkowalna w punkcie x 0, gdy istnieje granica
Zagadnienia - równania nieliniowe
Zagadnienia - równania nieliniowe Sformułowanie zadania poszukiwania pierwiastków. Przedział izolacji. Twierdzenia o istnieniu pierwiastków. Warunki zatrzymywania algorytmów. Metoda połowienia: założenia,
Pochodna funkcji. Pochodna funkcji w punkcie. Różniczka funkcji i obliczenia przybliżone. Zastosowania pochodnych. Badanie funkcji.
Pochodna funkcji Pochodna funkcji w punkcie. Różniczka funkcji i obliczenia przybliżone. Zastosowania pochodnych. Badanie funkcji. Małgorzata Wyrwas Katedra Matematyki Wydział Informatyki Politechnika
Elementy metod numerycznych
Wykład nr 5 i jej modyfikacje. i zera wielomianów Założenia metody Newtona Niech będzie dane równanie f (x) = 0 oraz przedział a, b taki, że w jego wnętrzu znajduje się dokładnie jeden pierwiastek α badanego
Wykład 13. Informatyka Stosowana. 14 stycznia 2019 Magdalena Alama-Bućko. Informatyka Stosowana Wykład , M.A-B 1 / 34
Wykład 13 Informatyka Stosowana 14 stycznia 2019 Magdalena Alama-Bućko Informatyka Stosowana Wykład 13 14.01.2019, M.A-B 1 / 34 Pochodne z funkcji elementarnych c = 0 (x n ) = nx n 1 (a x ) = a x ln a,
4b. Badanie przebiegu zmienności funkcji - monotoniczność i wypukłość
4b. Badanie przebiegu zmienności funkcji - monotoniczność i wypukłość Grzegorz Kosiorowski Uniwersytet Ekonomiczny w Krakowie zima 2017/2018 rzegorz Kosiorowski (Uniwersytet Ekonomiczny 4b. wbadanie Krakowie)
Wyznaczanie miejsc zerowych funkcji
Wyznaczanie miejsc zerowych funkcji Piotr Modliński 6 października 010 Spis treści 1 Wstęp 1 Metody iteracyjne 1.1 Zbieżność metody............ Lokalizacja zer.............3 Metody odnajdywania zer.......3.1
Metody Obliczeniowe w Nauce i Technice
7. Równania nieliniowe (non-linear equations) Marian Bubak Department of Computer Science AGH University of Science and Technology Krakow, Poland bubak@agh.edu.pl dice.cyfronet.pl Contributors Dawid Prokopek
Wzór Maclaurina. Jeśli we wzorze Taylora przyjmiemy x 0 = 0 oraz h = x, to otrzymujemy tzw. wzór Maclaurina: f (x) = x k + f (n) (θx) x n.
Wzór Maclaurina Jeśli we wzorze Taylora przyjmiemy x 0 = 0 oraz h = x, to otrzymujemy tzw. wzór Maclaurina: f (x) = n 1 k=0 f (k) (0) k! x k + f (n) (θx) x n. n! Wzór Maclaurina Przykład. Niech f (x) =
Funkcje dwóch zmiennych
Funkcje dwóch zmiennych Andrzej Musielak Str Funkcje dwóch zmiennych Wstęp Funkcja rzeczywista dwóch zmiennych to funkcja, której argumentem jest para liczb rzeczywistych, a wartością liczba rzeczywista.
Pochodne wyższych rzędów definicja i przykłady
Pochodne wyższych rzędów definicja i przykłady Pochodne wyższych rzędów Drugą pochodną funkcji nazywamy pochodną pochodnej tej funkcji. Trzecia pochodna jest pochodną drugiej pochodnej; itd. Ogólnie, -ta
Matematyka i Statystyka w Finansach. Rachunek Różniczkowy
Rachunek Różniczkowy Ciąg liczbowy Link Ciągiem liczbowym nieskończonym nazywamy każdą funkcję a która odwzorowuje zbiór liczb naturalnych N w zbiór liczb rzeczywistych R a : N R. Tradycyjnie wartość a(n)
Wykład 4 Przebieg zmienności funkcji. Badanie dziedziny oraz wyznaczanie granic funkcji poznaliśmy na poprzednich wykładach.
Wykład Przebieg zmienności funkcji. Celem badania przebiegu zmienności funkcji y = f() jest poznanie ważnych własności tej funkcji na podstawie jej wzoru. Efekty badania pozwalają naszkicować wykres badanej
Metody numeryczne. Instytut Sterowania i Systemów Informatycznych Wydział Elektrotechniki, Informatyki i Telekomunikacji Uniwersytet Zielonogórski
Metody numeryczne Instytut Sterowania i Systemów Informatycznych Wydział Elektrotechniki, Informatyki i Telekomunikacji Uniwersytet Zielonogórski Elektrotechnika stacjonarne-dzienne pierwszego stopnia
Wykład 11 i 12. Informatyka Stosowana. 9 stycznia Informatyka Stosowana Wykład 11 i 12 9 stycznia / 39
Wykład 11 i 12 Informatyka Stosowana 9 stycznia 2017 Informatyka Stosowana Wykład 11 i 12 9 stycznia 2017 1 / 39 Twierdzenie Lagrange a Jeżeli funkcja f spełnia warunki: 1 jest ciagła na [a, b] 2 f istnieje
Rachunek Różniczkowy
Rachunek Różniczkowy Sąsiedztwo punktu Liczby rzeczywiste będziemy teraz nazywać również punktami. Dla ustalonego punktu x 0 i promienia r > 0 zbiór S(x 0, r) = (x 0 r, x 0 ) (x 0, x 0 + r) nazywamy sąsiedztwem
Ciągłość funkcji jednej zmiennej rzeczywistej. Autorzy: Anna Barbaszewska-Wiśniowska
Ciągłość funkcji jednej zmiennej rzeczywistej Autorzy: Anna Barbaszewska-Wiśniowska 2018 Spis treści Definicja ciągłości funkcji. Przykłady Funkcja nieciągła. Typy nieciągłości funkcji Własności funkcji
Całkowanie numeryczne przy użyciu kwadratur
Całkowanie numeryczne przy użyciu kwadratur Plan wykładu: 1. Kwadratury Newtona-Cotesa a) wzory: trapezów, parabol etc. b) kwadratury złożone 2. Ekstrapolacja a) ekstrapolacja Richardsona b) metoda Romberga
Fakt 3.(zastosowanie różniczki do obliczeń przybliżonych) Przy czym błąd, jaki popełniamy zastępując przyrost funkcji
Wykład 5 De.5 (różniczka unkcji Niech unkcja ma pochodną w punkcie. Różniczką unkcji w punkcie nazywamy unkcję d zmiennej określoną wzorem. Fakt 3.(zastosowanie różniczki do obliczeń przybliżonych Jeżeli
Zadania z analizy matematycznej - sem. I Pochodne funkcji, przebieg zmienności funkcji
Zadania z analizy matematycznej - sem. I Pochodne funkcji przebieg zmienności funkcji Definicja 1. Niech f : (a b) R gdzie a < b oraz 0 (a b). Dla dowolnego (a b) wyrażenie f() f( 0 ) = f( 0 + ) f( 0 )
Kubatury Gaussa (całka podwójna po trójkącie)
Kubatury Gaussa (całka podwójna po trójkącie) Całka podwójna po trójkącie Dana jest funkcja dwóch zmiennych f (x, y) ciągła i ograniczona w obszarze trójkątnym D. Wierzchołki trójkąta wyznaczają punkty
Wykłady z matematyki inżynierskiej EKSTREMA FUNKCJI. JJ, IMiF UTP
Wykłady z matematyki inżynierskiej EKSTREMA FUNKCJI JJ, IMiF UTP 05 MINIMUM LOKALNE y y = f () f ( 0 ) 0 DEFINICJA. Załóżmy, że funkcja f jest określona w pewnym otoczeniu punktu 0. MINIMUM LOKALNE y y
INFORMATYKA ELEMENTY METOD NUMERYCZNYCH.
INFORMATYKA ELEMENTY METOD NUMERYCZNYCH http://www.infoceram.agh.edu.pl METODY NUMERYCZNE Metody numeryczne zbiór metod rozwiązywania problemów matematycznych za pomocą operacji na liczbach. Otrzymywane
Dystrybucje, wiadomości wstępne (I)
Temat 8 Dystrybucje, wiadomości wstępne (I) Wielkości fizyczne opisujemy najczęściej przyporządkowując im funkcje (np. zależne od czasu). Inną drogą opisu tych wielkości jest przyporządkowanie im funkcjonałów
Pochodna funkcji. Zastosowania
Pochodna funkcji Zastosowania Informatyka (sem.1 2015/16) Analiza Matematyczna Temat 3 1 / 33 Niektóre zastosowania pochodnych 1 Pochodna jako narzędzie do przybliżania wartości 2 Pochodna jako narzędzie
Prawdopodobieństwo i statystyka
Wykład XIV: Metody Monte Carlo 19 stycznia 2016 Przybliżone obliczanie całki oznaczonej Rozważmy całkowalną funkcję f : [0, 1] R. Chcemy znaleźć przybliżoną wartość liczbową całki 1 f (x) dx. 0 Jeden ze
Zastosowania pochodnych
Zastosowania pochodnych Zbigniew Koza Wydział Fizyki i Astronomii Wrocław, 2015 SZACOWANIE NIEPEWNOŚCI POMIAROWEJ Przykład: objętość kuli Kulka z łożyska tocznego ma średnicę 2,3 mm, co oznacza, że objętość
Rzut oka na współczesną matematykę spotkanie 3: jak liczy kalkulator i o źródłach chaosu
Rzut oka na współczesną matematykę spotkanie 3: jak liczy kalkulator i o źródłach chaosu P. Strzelecki pawelst@mimuw.edu.pl Instytut Matematyki, Uniwersytet Warszawski MISH UW, semestr zimowy 2011-12 P.
Rozwiązania prac domowych - Kurs Pochodnej. x 2 4. (x 2 4) 2. + kπ, gdzie k Z
1 Wideo 5 1.1 Zadanie 1 1.1.1 a) f(x) = x + x f (x) = x + f (x) = 0 x + = 0 x = 1 [SZKIC] zatem w x = 1 występuje minimum 1.1. b) f(x) = x x 4 f (x) = x(x 4) x (x) (x 4) f (x) = 0 x(x 4) x (x) (x 4) =
II. RÓŻNICZKOWANIE I CAŁKOWANIE NUMERYCZNE Janusz Adamowski
II. RÓŻNICZKOWANIE I CAŁKOWANIE NUMERYCZNE Janusz Adamowski 1 1 Różniczkowanie numeryczne Rozważmy funkcję f(x) określoną na sieci równoodległyc węzłów. Funkcja f(x) może być dana za pomocą wzoru analitycznego
Metody numeryczne. dr Artur Woike. Ćwiczenia nr 2. Rozwiązywanie równań nieliniowych metody połowienia, regula falsi i siecznych.
Ćwiczenia nr 2 metody połowienia, regula falsi i siecznych. Sformułowanie zagadnienia Niech będzie dane równanie postaci f (x) = 0, gdzie f jest pewną funkcją nieliniową (jeżeli f jest liniowa to zagadnienie
9. BADANIE PRZEBIEGU ZMIENNOŚCI FUNKCJI
BADANIE PRZEBIEGU ZMIENNOŚCI FUNKCJI Ekstrema i monotoniczność funkcji Oznaczmy przez D f dziedzinę funkcji f Mówimy, że funkcja f ma w punkcie 0 D f maksimum lokalne (minimum lokalne), gdy dla każdego
Notatki z Analizy Matematycznej 2. Jacek M. Jędrzejewski
Notatki z Analizy Matematycznej 2 Jacek M. Jędrzejewski Definicja 3.1. Niech (a n ) n=1 będzie ciągiem liczbowym. Dla każdej liczby naturalnej dodatniej n utwórzmy S n nazywamy n-tą sumą częściową. ROZDZIAŁ
Matematyka dyskretna. Andrzej Łachwa, UJ, /15
Matematyka dyskretna Andrzej Łachwa, UJ, 2013 andrzej.lachwa@uj.edu.pl 7/15 Rachunek różnicowy Dobrym narzędziem do obliczania skończonych sum jest rachunek różnicowy. W rachunku tym odpowiednikiem operatora
Funkcja kwadratowa. f(x) = ax 2 + bx + c = a
Funkcja kwadratowa. Funkcją kwadratową nazywamy funkcję f : R R określoną wzorem gdzie a, b, c R, a 0. f(x) = ax + bx + c, Szczególnym przypadkiem funkcji kwadratowej jest funkcja f(x) = ax, a R \ {0}.
Wstęp do metod numerycznych 9. Minimalizacja: funkcje jednej zmiennej. P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/
Wstęp do metod numerycznych 9. Minimalizacja: funkcje jednej zmiennej P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2011 Lokalna minimalizacja ciagła Minimalizacja funkcji jest jedna z najważniejszych
Matematyka stosowana i metody numeryczne
Ewa Pabisek Adam Wosatko Piotr Pluciński Matematyka stosowana i metody numeryczne Konspekt z wykładu 6 Rozwiązywanie równań nieliniowych Rozwiązaniem lub pierwiastkiem równania f(x) = 0 lub g(x) = h(x)
Funkcja kwadratowa. f(x) = ax 2 + bx + c,
Funkcja kwadratowa. Funkcją kwadratową nazywamy funkcję f : R R określoną wzorem gdzie a, b, c R, a 0. f(x) = ax 2 + bx + c, Szczególnym przypadkiem funkcji kwadratowej jest funkcja f(x) = ax 2, a R \
Obliczanie długości łuku krzywych. Autorzy: Witold Majdak
Obliczanie długości łuku krzywych Autorzy: Witold Majdak 7 Obliczanie długości łuku krzywych Autor: Witold Majdak DEFINICJA Definicja : Długość łuku krzywej zadanej parametrycznie Rozważmy krzywą Γ zadaną
Twierdzenia Rolle'a i Lagrange'a
Twierdzenia Rolle'a i Lagrange'a Zadanie 1 Wykazać, że dla dowolnych zachodzi. W przypadku nierówność (a właściwie równość) w treści zadania spełniona jest w sposób oczywisty, więc tego przypadku nie musimy
5. Badanie przebiegu zmienności funkcji - monotoniczność i wypukłość
5. Badanie przebiegu zmienności funkcji - monotoniczność i wypukłość Grzegorz Kosiorowski Uniwersytet Ekonomiczny w Krakowie rzegorz Kosiorowski (Uniwersytet Ekonomiczny 5. Badanie w Krakowie) przebiegu
Wstęp do metod numerycznych 11. Minimalizacja: funkcje jednej zmiennej. P. F. Góra
Wstęp do metod numerycznych 11. Minimalizacja: funkcje jednej zmiennej P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2015 Lokalna minimalizacja ciagła Minimalizacja funkcji jest jedna z najważniejszych
Lab 10. Funkcje w argumentach funkcji metoda Newtona. Synonimy nazw typów danych. Struktury. Tablice struktur.
Języki i paradygmaty programowania 1 studia stacjonarne 2018/19 Lab 10. Funkcje w argumentach funkcji metoda Newtona. Synonimy nazw typów danych. Struktury. Tablice struktur. 1. Identyfikator funkcji,
Znaleźć wzór ogólny i zbadać istnienie granicy ciągu określonego rekurencyjnie:
Ciągi rekurencyjne Zadanie 1 Znaleźć wzór ogólny i zbadać istnienie granicy ciągu określonego rekurencyjnie: w dwóch przypadkach: dla i, oraz dla i. Wskazówka Należy poszukiwać rozwiązania w postaci, gdzie
Egzamin z Metod Numerycznych ZSI, Egzamin, Gr. A
Egzamin z Metod Numerycznych ZSI, 06.2007. Egzamin, Gr. A Imię i nazwisko: Nr indeksu: Section 1. Test wyboru, max 33 pkt Zaznacz prawidziwe odpowiedzi literą T, a fałszywe N. Każda prawidłowa odpowiedź
Aproksymacja funkcji a regresja symboliczna
Aproksymacja funkcji a regresja symboliczna Problem aproksymacji funkcji polega na tym, że funkcję F(x), znaną lub określoną tablicą wartości, należy zastąpić inną funkcją, f(x), zwaną funkcją aproksymującą
Układy równań nieliniowych (wielowymiarowa metoda Newtona-Raphsona) f(x) = 0, gdzie. dla n=2 np.
Układy równań nieliniowych (wielowymiarowa metoda Newtona-Raphsona f(x 0, f ( f, f,..., f n gdzie 2 x ( x, x 2,..., x n dla n2 np. f ( x, y 0 g( x, y 0 dla każdej wielowymiarowej rozwinięcie w szereg Taylora
Metody numeryczne. Sformułowanie zagadnienia interpolacji
Ćwiczenia nr 4. Sformułowanie zagadnienia interpolacji Niech będą dane punkty x 0,..., x n i wartości y 0,..., y n, takie że i=0,...,n y i = f (x i )). Szukamy funkcji F (funkcji interpolującej), takiej
RÓŻNICZKOWANIE FUNKCJI WIELU ZMIENNYCH: rachunek pochodnych dla funkcji wektorowych. Pochodne cząstkowe funkcji rzeczywistej wielu zmiennych
RÓŻNICZKOWANIE FUNKCJI WIELU ZMIENNYCH: rachunek pochodnych dla funkcji wektorowych Pochodne cząstkowe funkcji rzeczywistej wielu zmiennych wyliczamy według wzoru (x, x 2,..., x n ) f(x, x 2,..., x n )
UKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH
Transport, studia I stopnia rok akademicki 2011/2012 Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Uwagi wstępne Układ liniowych równań algebraicznych można
Wstęp do metod numerycznych 9. Rozwiazywanie równań algebraicznych. P. F. Góra
Wstęp do metod numerycznych 9. Rozwiazywanie równań algebraicznych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2015 Co to znaczy rozwiazać równanie? Przypuśmy, że postawiono przed nami problem rozwiazania
Materiały do ćwiczeń z matematyki - przebieg zmienności funkcji
Materiały do ćwiczeń z matematyki - przebieg zmienności funkcji Kierunek: chemia Specjalność: podstawowa Zadanie 1. Zbadać przebieg zmienności funkcji Rozwiązanie. I Analiza funkcji f(x) = x 3 3x 2 + 2.
METODY NUMERYCZNE. Wykład 3. Plan. Aproksymacja Interpolacja wielomianowa Przykłady. dr hab.inż. Katarzyna Zakrzewska, prof.agh. Met.Numer.
METODY NUMERYCZNE Wykład 3. dr hab.inż. Katarzyna Zakrzewska, prof.agh Met.Numer. wykład 3 1 Plan Aproksymacja Interpolacja wielomianowa Przykłady Met.Numer. wykład 3 2 1 Aproksymacja Metody numeryczne
I. Pochodna i różniczka funkcji jednej zmiennej. 1. Definicja pochodnej funkcji i jej interpretacja fizyczna. Istnienie pochodnej funkcji.
I. Pochodna i różniczka funkcji jednej zmiennej. 1. Definicja pochodnej funkcji i jej interpretacja fizyczna. Istnienie pochodnej funkcji. Niech x 0 R i niech f będzie funkcją określoną przynajmniej na
Funkcja jednej zmiennej - przykładowe rozwiązania 1. Badając przebieg zmienności funkcji postępujemy według poniższego schematu:
Funkcja jednej zmiennej - przykładowe rozwiązania Zadanie 4 c) Badając przebieg zmienności funkcji postępujemy według poniższego schematu:. Analiza funkcji: (a) Wyznaczenie dziedziny funkcji (b) Obliczenie
14a. Analiza zmiennych dyskretnych: ciągi liczbowe
14a. Analiza zmiennych dyskretnych: ciągi liczbowe Grzegorz Kosiorowski Uniwersytet Ekonomiczny w Krakowie rzegorz Kosiorowski (Uniwersytet Ekonomiczny 14a. wanaliza Krakowie) zmiennych dyskretnych: ciągi
KADD Metoda najmniejszych kwadratów funkcje nieliniowe
Metoda najmn. kwadr. - funkcje nieliniowe Metoda najmniejszych kwadratów Funkcje nieliniowe Procedura z redukcją kroku iteracji Przykłady zastosowań Dopasowanie funkcji wykładniczej Dopasowanie funkcji
Analiza matematyczna - pochodna funkcji 5.8 POCHODNE WYŻSZYCH RZĘDÓW
5.8 POCHODNE WYŻSZYCH RZĘDÓW Drugą pochodną nazywamy pochodną funkcji pochodnej f () i zapisujemy f () = [f ()] W ten sposób możemy też obliczać pochodne n-tego rzędu. Obliczmy wszystkie pochodne wielomianu
Pochodna funkcji odwrotnej
Pochodna funkcji odwrotnej Niech będzie dana w przedziale funkcja różniczkowalna i różnowartościowa. Wiadomo, że istnieje wówczas funkcja odwrotna (którą oznaczymy tu : ), ciągła w przedziale (lub zależnie
Metody Numeryczne Optymalizacja. Wojciech Szewczuk
Metody Numeryczne Optymalizacja Optymalizacja Definicja 1 Przez optymalizację będziemy rozumieć szukanie minimów lub maksimów funkcji. Optymalizacja Definicja 2 Optymalizacja lub programowanie matematyczne
Pochodna funkcji jednej zmiennej
Pochodna funkcji jednej zmiennej Def:(pochodnej funkcji w punkcie) Jeśli funkcja f : D R, D R określona jest w pewnym otoczeniu punktu 0 D i istnieje skończona granica ilorazu różniczkowego: f f( ( 0 )