KADD Minimalizacja funkcji
|
|
- Maja Szulc
- 7 lat temu
- Przeglądów:
Transkrypt
1 Minimalizacja funkcji n-wymiarowych Forma kwadratowa w n wymiarach Procedury minimalizacji Minimalizacja wzdłuż prostej w n-wymiarowej przestrzeni Metody minimalizacji wzdłuż osi współrzędnych wzdłuż kierunków sprzężonych do gradientu przy pomocy formy kwadratowej metodą Marquardta Wybór metody minimalizacji Błędy mninimalizacji 1
2 Forma kwadratowa Rozważmy prostą formę kwadratową: M x=c bx1/2 A x 2 która osiąga ekstremum w miejscach zerowych pierwszej pochodnej: dm dx =0 = bxa x czyli gdy x = x m = b/a. Oznaczymy M(x m ) = M m i: M x M m =1/2 A x x m 2 Bardziej skomplikowane funkcje można zawsze przybliżyć przez taką formę w pobliżu minimum poprzez rozwinięcie w szereg Taylora w x 0 : M x=m x 0 b x x 0 1/2 A x x 0 2 skąd b=-m'(x 0 ) i A=M''(x 0 ) a minimum funkcji jest w x mp =x 0 b/ A 2
3 Minimalizacja w n wymiarach W przypadku n niezależnych zmiennych forma kwadratowa ma postać: M x=c b x1/2 x T A x=c k b k x k 1/2 k,l x k A kl x l Gdzie A jest macierzą symetryczną Pochodne względem x i są dane jako: dm dx i = b i x1/2 l A il x l k A ki = b i l A il x l lub w zwartej postaci: M= ba x i analogicznie do przypadku jednowymiarowego: x m =A 1 b Gdy funkcja M nie jest prostą formą kwadratową, rozwijamy ją w szereg Taylora wokół x 0 M x=m x 0 b x x 0 1/2 x x 0 T A x x 0 3
4 Procedury minimalizacji w n wymiarach Wtedy gradient i macierz drugich pochodnych to: b= M x 0, tzn. b i = M x i x=x0 A ik = 2 M I tworzymy procedury minimalizacyjne: Minimalizacja w kierunku gradientu Rozpoczynając od x0 poszukujemy minimum w kierunku gradientu M(x 0 ). Wynik: x 1 bierzemy jako następne przybliżenie i poszukujemy dalej w kierunku M(x 1 ). Jest to metoda największego spadku dla przypadku wielowymiarowego. x i x k x=x0 4
5 Procedury n-wymiarowe c.d. Krok o zadanej długości w kierunku gradientu Oblicza się wartość wektora: przy zadanej dodatniej liczbie c. Jest to więc krok w kierunku maksymalnego spadku, ale bez wyznaczania minimum w tym kierunku. Wykorzystanie gradientu i drugich pochodnych Korzystamy ze wzoru: x 1 =x 0 c b, b= M x 0 x mp =x 0 A 1 b Następnie rozwiązanie przyjmujemy jako następne przybliżenie, liczymy w tym punkcie gradienty i drugie pochodne i powtarzamy procedurę. 5
6 Min. w n-wymiarowej przestrzeni Procedury minimalizacyjne poznane na poprzednim wykładzie można prosto uogólnić na problem minimalizacji wzdłuż prostej w przestrzeni n-wymiarowej x 0 d x = x 0 +ad Mamy funkcję M zależną od wektora zmiennych x Przyjmujemy punkt x 0 i wektor d określające prostą w przestrzeni n- wymiarowej Problem sprowadzamy do minimalizacji funkcji jednej zmiennej: f a=m x 0 a d 6
7 Min. funkcji wielowymiarowych Aby dokonać minimalizacji w wielu wymiarach należy wybrać strategię postępowania. Nie można podać ogólnej procedury poszukującej obszaru zawierającego minimum Sprowadzamy problem do minimalizacji w jednym kierunku, podczas której posługujemy się procedurami poznanymi na poprzednim wykładzie w połączeniu z metodą minimalizacji wzdłuż prostej w przestrzeni n-wymiarowej W zależności od wyboru prostych wzdłuż których przeprowadzamy kolejne kroki mimimalizacji otrzymujemy metody o różnym stopniu komplikacji i zbieżności 7
8 Wzdłuż osi współrzędnych Najprostszą metodą jest minimalizacja kolejno wzdłuż poszczególnych osi współrzędnych Procedura posuwa się naprzemiennie wzdłuż osi współrzędnych Metoda ta jest stosunkowo wolno zbieżna ale niezawodna Nie wymaga liczenia pochodnych 8
9 Kierunki sprzężone Załóżmy iż minimalizowana funkcja jest formą kwadratową. W punkcie x jej gradient wynosi: M= ba x Jego zmiana przy przesunięciu o Δx to: M = M x x M x=a xa x A x=a x Jeżeli przeprowadziliśmy minimalizację w kierunku p, to aby nie zatracić minimalizacji w tym kierunku kolejną minimalizację przeprowadzamy w kierunku q takim, aby gradient zmieniał się jedynie w kierunku prostopadłym do p, czyli: p A q= p T A q=0 Wektory p i q to wektory sprzężone względem dodatnio określonej macierzy A 9
10 Wyznaczanie kierunków sprzężonych Wybieramy dowolny zbiór kierunków p i, np. wzdłuż wektorów jednostkowych p i =ε i. Startując z x 0 posuwamy się kolejno wzdłuż p i wyznaczając minima funkcji. Wyniki zapisujemy jako: a 1 = 1 p 1 2 p 2 n p n, a 2 = 2 p 2 n p n, a n = n p n gdzie a 1 to wektor otrzymany po wszystkich krokach minimalizacji. Punkt x 0 zastępujemy punktem x 1 : x 1 =x 0 a 1 10
11 Wyznaczanie kierunków sprzężonych Kierunek a 1 to średni kierunek otrzymany w wyniku wykonania pierwszych n kroków etapu. Wyznaczamy nowy zbiór kierunków: q 1 = p 2 q 2 = p 3 q n 1 = p n q n =a 1 / a 1 i w kolejnych krokach postępujemy analogicznie. Można wykazać, że po wykonaniu n kroków (czyli n(n+1) minimalizacjach) otrzymane kierunki są wzajemnie sprzężone. 11
12 Minimalizacja wzdłuż gradientu Śledzimy wartość wektora największego spadku (przeciwnego do gradientu) w punkcie x 0 : b x= M x W kolejnym punkcie znów obliczamy gradient funkcji i kontynuujemy poszukiwanie kolejnego minimum wzdłuż tego kierunku. W tej procedurze kolejne kroki są do siebie prostopadłe, gdyż w minimum gradient w kierunku minimalizacji znika. Nie można więc dostosować kierunku minimalizacji do kształtu funkcji. Metoda jest przez to wolno zbieżna, tak jak metoda kierunków jednostkowych. 12
13 Kierunki sprzężone do gradientu Wychodząc z dowolnego wektora g 1 =h 1 konstruujemy dwa ciągi wektorów: g i1 =g i i A h i, h i1 =g i i h i, gdzie współczynniki wynoszą: T g i i = g i g T i A h i i=1,2,, i=1,2,, i = g A h i1 i h T i A h i Otrzymane wektory g są do siebie prostopadłe, a kolejne wektory h są do siebie sprzężone Rozpoczynamy w x 0 i obliczamy gradient: g 1 = M x 0, h 1 = M x 0 Minimalizujemy w kierunku h 1 i wyznaczamy x 1 T g 2 = M x 1, h 2 =g 1 1 h 1, gdzie 1 = g 2 g 1 T g 1 g 1 T g 1 13
14 Przybliżanie formą kwadratową Gdy funkcja jest formą kwadratową, jej minimum znajdujemy natychmiast Każda funkcja może być przybliżona przez formę kwadratową przez rozwinięcie w szereg Taylora: gdzie M x=m x 0 b x x 0 1/2 x x 0 T A x x 0 i otrzymujemy wartość przybliżoną położenia minimum: W punkcie x 1 znów liczymy pochodne i procedurę powtarzamy b= M x o, x 1 =x 0 A 1 b A ik = 2 M x i x k 14
15 Metoda Marquardta W poprzedniej metodzie używaliśmy wzoru: x i =x i 1 A 1 b Zaś w metodzie największego spadku: x i =x i 1 I 1 b Zwiększając λ zmniejszamy krok. Gdy krok jest odpowiednio mały, to jesteśmy pewni, że podążamy w stronę minimum. Proponujemy metodę, która łączy szybkość zbieżności metody opartej na formie kwadratowej przy jednoczesnym zapewnieniu zmniejszania się funkcji M w każdym kroku przybliżenia. Obliczamy wyrażenie: x i =x i 1 A I 1 b 15
16 Metoda Marquardta - warunki Zakładamy pewną wartość początkową stałej λ (0). Zadajemy też liczbę ν>1. W kolejnym kroku rozważamy dwie wartości: λ (i-1) i λ (i-1) /ν. Obliczamy odpowiadające im wektory x i (λ (i-1) ) i x i (λ (i-1) /ν) oraz wartości funkcji M w tych punktach M i (x i (λ (i-1) )) i M i (ν) (x i (λ (i-1) /ν)). Porównujemy je z M i-1 (x i-1 ). I mamy: a. M i M i 1, x i =x i i 1 / i i = i 1 / b. M i M i 1 i M i M i 1, x i =x i i 1 i i = i 1 c. M i M i 1 i M i M i 1 W przypadku c) stałą λ (i-1) zastępujemy λ (i-1) ν i powtarzamy obliczenia wektorów x i wartości M 16
17 Wybór metody minimalizacji Poszczególne metody minimalizacji mają charakterystyczne właściwości: Minimalizacja wzdłuż wybranego kierunku Metoda sprzężonych gradientów Przybliżanie funkcji formą kwadratową Metoda Marquardta Niezawodność duża duża Szybkość zbieżności mała mała zależna od warunków duża początkowych duża maksymalna Obliczanie pierwszej pochodnej nie tak tak tak Obliczanie drugiej pochodnej nie nie tak tak 17
18 Sposób wyboru metody Wyboru metody minimalizacji dokonujemy biorąc pod uwagę charakterystyczne właściwości każdej z nich oraz następujące kryteria: Ile razy trzeba będzie powtarzać minimalizację? Jak dobrze znamy punkt początkowy? Czy mamy możliwość implementacji liczenia pierwszej i drugiej pochodnej funkcji analitycznie? Dodatkowo należy pamiętać, że przy metodzie najmniejszych kwadratów, ze względu na specyfikę problemu używamy zawsze metod podanych na odpowiednim wykładzie, a nie metod ogólnych 18
19 Błędy minimalizacji Rozważamy teraz dokładność otrzymanych w minimalizacji parametrów. Definiujemy wielkości: H ik = 2 M x i x k x= x W specjalnym przypadku gdy M jest sumą kwadratów, mamy mnożnik f QL =1, gdy zaś jest to logarytm funkcji wiarygodności, to f QL =1/2 Macierz kowariancji jest dana wzorem: C x =2 f QL H 1 Błędy symetryczne wynoszą wtedy: x i = c ii 19
20 Obszar ufności Macierz kowariancji definiuje elipsoidę kowariancji. Przy zadanym poziomie ufności W mamy też macierz ufności C x W = W 2 n f C x Gdzie χ 2 W to kwantyl odpowiedniego rozkładu χ2. Gdy nie można określić elipsoidy ufności, wciąż można mówić o obszarze ufności, czyli hiperpowierzchni na której: M x=m x W 2 n f f QL W takim przypadku mamy niesymetryczne błędy minimalizacji wyznaczane ze wzoru: min {M x; x i =x i± W } =M x W 2 n f f QL 20
KADD Minimalizacja funkcji
Minimalizacja funkcji Poszukiwanie minimum funkcji Foma kwadratowa Metody przybliżania minimum minimalizacja Minimalizacja w n wymiarach Metody poszukiwania minimum Otaczanie minimum Podział obszaru zawierającego
KADD Metoda najmniejszych kwadratów funkcje nieliniowe
Metoda najmn. kwadr. - funkcje nieliniowe Metoda najmniejszych kwadratów Funkcje nieliniowe Procedura z redukcją kroku iteracji Przykłady zastosowań Dopasowanie funkcji wykładniczej Dopasowanie funkcji
Komputerowa Analiza Danych Doświadczalnych
Komputerowa Analiza Danych Doświadczalnych Prowadząca: dr inż. Hanna Zbroszczyk e-mail: gos@if.pw.edu.pl tel: +48 22 234 58 51 konsultacje: poniedziałek, 10-11; środa: 11-12 www: http://www.if.pw.edu.pl/~gos/students/kadd
Optymalizacja ciągła
Optymalizacja ciągła 5. Metody kierunków poparwy (metoda Newtona-Raphsona, metoda gradientów sprzężonych) Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 28.03.2019 1
Wstęp do metod numerycznych 11. Minimalizacja: funkcje wielu zmiennych. P. F. Góra
Wstęp do metod numerycznych 11. Minimalizacja: funkcje wielu zmiennych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2012 Strategia minimalizacji wielowymiarowej Zakładamy, że metody poszukiwania minimów
Układy równań nieliniowych (wielowymiarowa metoda Newtona-Raphsona) f(x) = 0, gdzie. dla n=2 np.
Układy równań nieliniowych (wielowymiarowa metoda Newtona-Raphsona f(x 0, f ( f, f,..., f n gdzie 2 x ( x, x 2,..., x n dla n2 np. f ( x, y 0 g( x, y 0 dla każdej wielowymiarowej rozwinięcie w szereg Taylora
ZADANIA OPTYMALIZCJI BEZ OGRANICZEŃ
ZADANIA OPTYMALIZCJI BEZ OGRANICZEŃ Maciej Patan Uniwersytet Zielonogórski WSTEP Zadanie minimalizacji bez ograniczeń f(ˆx) = min x R nf(x) f : R n R funkcja ograniczona z dołu Algorytm rozwiazywania Rekurencyjny
1 Metody rozwiązywania równań nieliniowych. Postawienie problemu
1 Metody rozwiązywania równań nieliniowych. Postawienie problemu Dla danej funkcji ciągłej f znaleźć wartości x, dla których f(x) = 0. (1) 2 Przedział izolacji pierwiastka Będziemy zakładać, że równanie
Zaawansowane metody numeryczne
Wykład 11 Ogólna postać metody iteracyjnej Definicja 11.1. (metoda iteracyjna rozwiązywania układów równań) Metodą iteracyjną rozwiązywania { układów równań liniowych nazywamy ciąg wektorów zdefiniowany
Wstęp do metod numerycznych 12. Minimalizacja: funkcje wielu zmiennych. P. F. Góra
Wstęp do metod numerycznych 12. Minimalizacja: funkcje wielu zmiennych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2015 Strategia minimalizacji wielowymiarowej Zakładamy, że metody poszukiwania minimów
UKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH
Transport, studia I stopnia rok akademicki 2011/2012 Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Uwagi wstępne Układ liniowych równań algebraicznych można
Wstęp do metod numerycznych 9a. Układy równań algebraicznych. P. F. Góra
Wstęp do metod numerycznych 9a. Układy równań algebraicznych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2012 Układy równań algebraicznych Niech g:r N równanie R N będzie funkcja klasy co najmniej
Pochodne cząstkowe i ich zastosowanie. Ekstrema lokalne funkcji
Pochodne cząstkowe i ich zastosowanie. Ekstrema lokalne funkcji Adam Kiersztyn Lublin 2014 Adam Kiersztyn () Pochodne cząstkowe i ich zastosowanie. Ekstrema lokalne funkcji maj 2014 1 / 24 Zanim przejdziemy
Ważne rozkłady i twierdzenia c.d.
Ważne rozkłady i twierdzenia c.d. Funkcja charakterystyczna rozkładu Wielowymiarowy rozkład normalny Elipsa kowariacji Sploty rozkładów Rozkłady jednostajne Sploty z rozkładem normalnym Pobieranie próby
Optymalizacja ciągła
Optymalizacja ciągła 5. Metoda stochastycznego spadku wzdłuż gradientu Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 04.04.2019 1 / 20 Wprowadzenie Minimalizacja różniczkowalnej
Wykład Matematyka A, I rok, egzamin ustny w sem. letnim r. ak. 2002/2003. Każdy zdający losuje jedno pytanie teoretyczne i jedno praktyczne.
Wykład Matematyka A, I rok, egzamin ustny w sem. letnim r. ak. 2002/2003. Każdy zdający losuje jedno pytanie teoretyczne i jedno praktyczne. pytania teoretyczne:. Co to znaczy, że wektory v, v 2 i v 3
Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania
Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania Metody optymalizacji Metody bezgradientowe optymalizacji bez ograniczeń Materiały pomocnicze do ćwiczeń
Rozkłady wielu zmiennych
Rozkłady wielu zmiennych Uogólnienie pojęć na rozkład wielu zmiennych Dystrybuanta, gęstość prawdopodobieństwa, rozkład brzegowy, wartości średnie i odchylenia standardowe, momenty Notacja macierzowa Macierz
WYKŁAD 9 METODY ZMIENNEJ METRYKI
WYKŁAD 9 METODY ZMIENNEJ METRYKI Kierunki sprzężone. Metoda Newtona Raphsona daje dobre przybliżenie najlepszego kierunku poszukiwań, lecz jest to okupione znacznym kosztem obliczeniowym zwykle postać
Wstęp do metod numerycznych Zadania numeryczne 2016/17 1
Wstęp do metod numerycznych Zadania numeryczne /7 Warunkiem koniecznym (nie wystarczającym) uzyskania zaliczenia jest rozwiązanie co najmniej 3 z poniższych zadań, przy czym zadania oznaczone literą O
Optymalizacja ciągła
Optymalizacja ciągła 4. Metody kierunków poprawy (metoda spadku wzdłuż gradientu) Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 21.03.2019 1 / 41 Plan wykładu Minimalizacja
IX. Rachunek różniczkowy funkcji wielu zmiennych. 1. Funkcja dwóch i trzech zmiennych - pojęcia podstawowe. - funkcja dwóch zmiennych,
IX. Rachunek różniczkowy funkcji wielu zmiennych. 1. Funkcja dwóch i trzech zmiennych - pojęcia podstawowe. Definicja 1.1. Niech D będzie podzbiorem przestrzeni R n, n 2. Odwzorowanie f : D R nazywamy
UKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH
Transport, studia niestacjonarne I stopnia, semestr I Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Postać układu równań liniowych Układ liniowych równań algebraicznych
Rozwiązywanie układów równań liniowych
Rozwiązywanie układów równań liniowych Marcin Orchel 1 Wstęp Jeśli znamy macierz odwrotną A 1, to możęmy znaleźć rozwiązanie układu Ax = b w wyniku mnożenia x = A 1 b (1) 1.1 Metoda eliminacji Gaussa Pierwszy
Metody numeryczne II
Metody numeryczne II Poszukiwanie ekstremów funkcji Janusz Szwabiński szwabin@ift.uni.wroc.pl Metody numeryczne II (C) 2004 Janusz Szwabiński p.1/55 Poszukiwanie ekstremów funkcji 1. Funkcje jednej zmiennej
1 Pochodne wyższych rzędów
1 Pochodne wyższych rzędów Definicja 1.1 (Pochodne cząstkowe drugiego rzędu) Niech f będzie odwzorowaniem o wartościach w R m, określonym na zbiorze G R k. Załóżmy, że zbiór tych x G, dla których istnieje
1.3. Optymalizacja geometrii czasteczki
0 1 Część teoretyczna 13 Optymalizacja geometrii czasteczki Poszukiwanie punktów stacjonarnych (krytycznych) funkcji stanowi niezwykle istotny problem w obliczeniowej chemii kwantowej Sprowadza się on
Stosowana Analiza Regresji
Stosowana Analiza Regresji Wykład VIII 30 Listopada 2011 1 / 18 gdzie: X : n p Q : n n R : n p Zał.: n p. X = QR, - macierz eksperymentu, - ortogonalna, - ma zera poniżej głównej diagonali. [ R1 X = Q
Wstęp do metod numerycznych 9. Minimalizacja: funkcje jednej zmiennej. P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/
Wstęp do metod numerycznych 9. Minimalizacja: funkcje jednej zmiennej P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2011 Lokalna minimalizacja ciagła Minimalizacja funkcji jest jedna z najważniejszych
Statystyka opisowa. Wykład V. Regresja liniowa wieloraka
Statystyka opisowa. Wykład V. e-mail:e.kozlovski@pollub.pl Spis treści 1 Prosta regresji cechy Y względem cech X 1,..., X k. 2 3 Wyznaczamy zależność cechy Y od cech X 1, X 2,..., X k postaci Y = α 0 +
Wykład 14. Elementy algebry macierzy
Wykład 14 Elementy algebry macierzy dr Mariusz Grządziel 26 stycznia 2009 Układ równań z dwoma niewiadomymi Rozważmy układ równań z dwoma niewiadomymi: a 11 x + a 12 y = h 1 a 21 x + a 22 y = h 2 a 11,
Uczenie sieci typu MLP
Uczenie sieci typu MLP Przypomnienie budowa sieci typu MLP Przypomnienie budowy neuronu Neuron ze skokową funkcją aktywacji jest zły!!! Powszechnie stosuje -> modele z sigmoidalną funkcją aktywacji - współczynnik
Iteracyjne rozwiązywanie równań
Elementy metod numerycznych Plan wykładu 1 Wprowadzenie Plan wykładu 1 Wprowadzenie 2 Plan wykładu 1 Wprowadzenie 2 3 Wprowadzenie Metoda bisekcji Metoda siecznych Metoda stycznych Plan wykładu 1 Wprowadzenie
1 Równania nieliniowe
1 Równania nieliniowe 1.1 Postać ogólna równania nieliniowego Często występującym, ważnym problemem obliczeniowym jest numeryczne poszukiwanie rozwiązań równań nieliniowych, np. algebraicznych (wielomiany),
Optymalizacja (minimalizacja) funkcji. Plan wykładu: 1. Sformułowanie problemu, funkcja celu. 2. Metody bezgradientowe
Optymalizacja (minimalizacja) funkcji Plan wykładu: 1. Sformułowanie problemu, funkcja celu. Metody bezgradientowe a) metoda złotego podziału b) metoda sympleks c) metoda interpolacji Powell'a 3. Metody
Metody numeryczne II
Metody numeryczne II Poszukiwanie ekstremów funkcji Janusz Szwabiński szwabin@ift.uni.wroc.pl nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.1/55 Poszukiwanie ekstremów funkcji
Weryfikacja hipotez statystycznych
Weryfikacja hipotez statystycznych Hipoteza Test statystyczny Poziom istotności Testy jednostronne i dwustronne Testowanie równości wariancji test F-Fishera Testowanie równości wartości średnich test t-studenta
Z52: Algebra liniowa Zagadnienie: Zastosowania algebry liniowej Zadanie: Operatory różniczkowania, zagadnienie brzegowe.
Z5: Algebra liniowa Zagadnienie: Zastosowania algebry liniowej Zadanie: Operatory różniczkowania zagadnienie brzegowe Dyskretne operatory różniczkowania Numeryczne obliczanie pochodnych oraz rozwiązywanie
5. Metody stochastyczne (symulowane wyżarzanie, algorytmy genetyczne) -> metody Monte Carlo
Optymalizacja (minimalizacja) funkcji Plan wykładu: 1. Sformułowanie problemu, funkcja celu 2. Metody bezgradientowe a) metoda złotego podziału b) metoda sympleks c) metoda interpolacji Powell'a 3. Metody
Metody numeryczne rozwiązywania równań różniczkowych
Metody numeryczne rozwiązywania równań różniczkowych Marcin Orchel Spis treści Wstęp. Metody przybliżone dla równań pierwszego rzędu................ Metoda kolejnych przybliżeń Picarda...................2
Programowanie celowe #1
Programowanie celowe #1 Problem programowania celowego (PC) jest przykładem problemu programowania matematycznego nieliniowego, który można skutecznie zlinearyzować, tzn. zapisać (i rozwiązać) jako problem
ROZWIĄZYWANIE RÓWNAŃ NIELINIOWYCH
Transport, studia I stopnia Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Postać ogólna równania nieliniowego Często występującym, ważnym problemem obliczeniowym
W naukach technicznych większość rozpatrywanych wielkości możemy zapisać w jednej z trzech postaci: skalara, wektora oraz tensora.
1. Podstawy matematyki 1.1. Geometria analityczna W naukach technicznych większość rozpatrywanych wielkości możemy zapisać w jednej z trzech postaci: skalara, wektora oraz tensora. Skalarem w fizyce nazywamy
Przegląd metod optymalizacji wielowymiarowej. Funkcja testowa. Funkcja testowa. Notes. Notes. Notes. Notes. Tomasz M. Gwizdałła
Przegląd metod optymalizacji wielowymiarowej Tomasz M. Gwizdałła 2012.12.06 Funkcja testowa Funkcją testową dla zagadnień rozpatrywanych w ramach tego wykładu będzie funkcja postaci f (x) = (x 1 1) 4 +
Wprowadzenie Metoda bisekcji Metoda regula falsi Metoda siecznych Metoda stycznych RÓWNANIA NIELINIOWE
Transport, studia niestacjonarne I stopnia, semestr I Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Postać ogólna równania nieliniowego Zazwyczaj nie można znaleźć
INTERPOLACJA I APROKSYMACJA FUNKCJI
Transport, studia niestacjonarne I stopnia, semestr I Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Wprowadzenie Na czym polega interpolacja? Interpolacja polega
Metoda określania pozycji wodnicy statków na podstawie pomiarów odległości statku od głowic laserowych
inż. Marek Duczkowski Metoda określania pozycji wodnicy statków na podstawie pomiarów odległości statku od głowic laserowych słowa kluczowe: algorytm gradientowy, optymalizacja, określanie wodnicy W artykule
Programowanie liniowe metoda sympleks
Programowanie liniowe metoda sympleks Mirosław Sobolewski Wydział Matematyki, Informatyki i Mechaniki UW wykład z algebry liniowej Warszawa, styczeń 2009 Mirosław Sobolewski (UW) Warszawa, 2009 1 / 13
Zastosowania pochodnych
Zastosowania pochodnych Zbigniew Koza Wydział Fizyki i Astronomii Wrocław, 2015 SZACOWANIE NIEPEWNOŚCI POMIAROWEJ Przykład: objętość kuli Kulka z łożyska tocznego ma średnicę 2,3 mm, co oznacza, że objętość
Układy równań i równania wyższych rzędów
Rozdział Układy równań i równania wyższych rzędów Układy równań różniczkowych zwyczajnych Wprowadzenie W poprzednich paragrafach zajmowaliśmy się równaniami różniczkowymi y = f(x, y), których rozwiązaniem
1 Funkcje dwóch zmiennych podstawowe pojęcia
1 Funkcje dwóch zmiennych podstawowe pojęcia Definicja 1 Funkcją dwóch zmiennych określoną na zbiorze A R 2 o wartościach w zbiorze R nazywamy przyporządkowanie każdemu punktowi ze zbioru A dokładnie jednej
Funkcje charakterystyczne zmiennych losowych, linie regresji 1-go i 2-go rodzaju
Funkcje charakterystyczne zmiennych losowych, linie regresji -go i 2-go rodzaju Dr Joanna Banaś Zakład Badań Systemowych Instytut Sztucznej Inteligencji i Metod Matematycznych Wydział Informatyki Politechniki
Definicja pochodnej cząstkowej
1 z 8 gdzie punkt wewnętrzny Definicja pochodnej cząstkowej JeŜeli iloraz ma granicę dla to granicę tę nazywamy pochodną cząstkową funkcji względem w punkcie. Oznaczenia: Pochodną cząstkową funkcji względem
Metody iteracyjne rozwiązywania układów równań liniowych (5.3) Normy wektorów i macierzy (5.3.1) Niech. x i. i =1
Normy wektorów i macierzy (5.3.1) Niech 1 X =[x x Y y =[y1 x n], oznaczają wektory przestrzeni R n, a yn] niech oznacza liczbę rzeczywistą. Wyrażenie x i p 5.3.1.a X p = p n i =1 nosi nazwę p-tej normy
METODY NUMERYCZNE. Wykład 4. Numeryczne rozwiązywanie równań nieliniowych z jedną niewiadomą. prof. dr hab.inż. Katarzyna Zakrzewska
METODY NUMERYCZNE Wykład 4. Numeryczne rozwiązywanie równań nieliniowych z jedną niewiadomą prof. dr hab.inż. Katarzyna Zakrzewska Met.Numer. Wykład 4 1 Rozwiązywanie równań nieliniowych z jedną niewiadomą
Komputerowa Analiza Danych Doświadczalnych
Komputerowa Analiza Danych Doświadczalnych dr inż. Adam Kisiel kisiel@if.pw.edu.pl pokój 117b (12b) 1 Materiały do wykładu Transparencje do wykładów: http://www.if.pw.edu.pl/~kisiel/kadd/kadd.html Literatura
Programowanie liniowe metoda sympleks
Programowanie liniowe metoda sympleks Mirosław Sobolewski Wydział Matematyki, Informatyki i Mechaniki UW 13. wykład z algebry liniowej Warszawa, styczeń 2018 Mirosław Sobolewski (UW) Warszawa, 2018 1 /
2 1 3 c c1. e 1, e 2,..., e n A= e 1 e 2...e n [ ] M. Przybycień Matematyczne Metody Fizyki I
Liniowa niezależno ność wektorów Przykład: Sprawdzić czy następujące wektory z przestrzeni 3 tworzą bazę: e e e3 3 Sprawdzamy czy te wektory są liniowo niezależne: 3 c + c + c3 0 c 0 c iei 0 c + c + 3c3
Wykład 12 i 13 Macierz w postaci kanonicznej Jordana , 0 A 2
Wykład 12 i 13 Macierz w postaci kanonicznej Jordana Niech A - macierz kwadratowa stopnia n Jak obliczyć np A 100? a 11 0 0 0 a 22 0 Jeśli A jest macierzą diagonalną tzn A =, to Ak = 0 0 a nn Niech B =
Co to jest wektor? Jest to obiekt posiadający: moduł (długość), kierunek wraz ze zwrotem.
1 Wektory Co to jest wektor? Jest to obiekt posiadający: moduł (długość), kierunek wraz ze zwrotem. 1.1 Dodawanie wektorów graficzne i algebraiczne. Graficzne - metoda równoległoboku. Sprowadzamy wektory
Rozwiązywanie algebraicznych układów równań liniowych metodami iteracyjnymi. Plan wykładu:
Rozwiązywanie algebraicznych układów równań liniowych metodami iteracynymi Plan wykładu: 1. Przykłady macierzy rzadkich i formaty ich zapisu 2. Metody: Jacobiego, Gaussa-Seidla, nadrelaksaci 3. Zbieżność
Metody Numeryczne Optymalizacja. Wojciech Szewczuk
Metody Numeryczne Optymalizacja Optymalizacja Definicja 1 Przez optymalizację będziemy rozumieć szukanie minimów lub maksimów funkcji. Optymalizacja Definicja 2 Optymalizacja lub programowanie matematyczne
Sterowanie optymalne
Sterowanie optymalne Sterowanie Procesami Ciągłymi 2017 Optymalizacja statyczna funkcji Funkcja celu/kryterialna/kosztów Ograniczenie Q(x) min x x = arg min Q(x) x x X, gdzie X zbiór rozwiązań dopuszczalnych
Wstęp do metod numerycznych Rozwiazywanie równań algebraicznych. P. F. Góra
Wstęp do metod numerycznych Rozwiazywanie równań algebraicznych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2010 Co to znaczy rozwiazać równanie? Przypuśmy, że postawiono przed nami problem rozwiazania
Rozwiązywanie równań nieliniowych i ich układów. Wyznaczanie zer wielomianów.
Rozwiązywanie równań nieliniowych i ich układów. Wyznaczanie zer wielomianów. Plan wykładu: 1. Wyznaczanie pojedynczych pierwiastków rzeczywistych równań nieliniowych metodami a) połowienia (bisekcji)
Ważne rozkłady i twierdzenia
Ważne rozkłady i twierdzenia Rozkład dwumianowy i wielomianowy Częstość. Prawo wielkich liczb Rozkład hipergeometryczny Rozkład Poissona Rozkład normalny i rozkład Gaussa Centralne twierdzenie graniczne
Programowanie liniowe metoda sympleks
Programowanie liniowe metoda sympleks Mirosław Sobolewski Wydział Matematyki, Informatyki i Mechaniki UW wykład z algebry liniowej Warszawa, styczeń 2012 Mirosław Sobolewski (UW) Warszawa, 2012 1 / 12
Materiały wykładowe (fragmenty)
Materiały wykładowe (fragmenty) 1 Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL kontakt osobisty Centrum Wykładowe, blok informatyki, pok. 7
Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I
Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I Wojciech Kotłowski Instytut Informatyki Politechniki Poznańskiej email: imię.nazwisko@cs.put.poznan.pl pok. 2 (CW) tel. (61)665-2936 konsultacje:
Wstęp do metod numerycznych 12. Minimalizacja: funkcje wielu zmiennych. P. F. Góra
Wstęp do metod numerycznych 12. Minimalizacja: funkcje wielu zmiennych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2018 Strategia minimalizacji wielowymiarowej Zakładamy, że metody poszukiwania minimów
Funkcje wielu zmiennych
Funkcje wielu zmiennych Wykresy i warstwice funkcji wielu zmiennych. Granice i ciagłość funkcji wielu zmiennych. Pochodne czastkowe funkcji wielu zmiennych. Gradient. Pochodna kierunkowa. Różniczka zupełna.
Metody optymalizacji. notatki dla studentów matematyki semestr zimowy 2015/2016
Metody optymalizacji notatki dla studentów matematyki semestr zimowy 2015/2016 Aktualizacja: 11 stycznia 2016 Spis treści Spis treści 2 1 Wprowadzenie do optymalizacji 1 11 Podstawowe definicje i własności
Oznacza to, że chcemy znaleźć minimum, a właściwie wartość najmniejszą funkcji
Wykład 11. Metoda najmniejszych kwadratów Szukamy zależności Dane są wyniki pomiarów dwóch wielkości x i y: (x 1, y 1 ), (x 2, y 2 ),..., (x n, y n ). Przypuśćmy, że nanieśliśmy je na wykres w układzie
POD- I NADOKREŚLONE UKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH
POD- I NADOKREŚLONE UKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH Transport, studia I stopnia rok akademicki 2011/2012 Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko
W wielu obliczeniach w matematyce bądź fizyce wykonanie niektórych kroków zależy od spełnienia warunku.
W wielu obliczeniach w matematyce bądź fizyce wykonanie niektórych kroków zależy od spełnienia warunku. Nie wolno dzielić przez zero i należy sprawdzić, czy dzielna nie jest równa zeru. W dziedzinie liczb
6. FUNKCJE. f: X Y, y = f(x).
6. FUNKCJE Niech dane będą dwa niepuste zbiory X i Y. Funkcją f odwzorowującą zbiór X w zbiór Y nazywamy przyporządkowanie każdemu elementowi X dokładnie jednego elementu y Y. Zapisujemy to następująco
II. FUNKCJE WIELU ZMIENNYCH
II. FUNKCJE WIELU ZMIENNYCH 1. Zbiory w przestrzeni R n Ustalmy dowolne n N. Definicja 1.1. Zbiór wszystkich uporzadkowanych układów (x 1,..., x n ) n liczb rzeczywistych, nazywamy przestrzenią n-wymiarową
Metody Rozmyte i Algorytmy Ewolucyjne
mgr inż. Wydział Matematyczno-Przyrodniczy Szkoła Nauk Ścisłych Uniwersytet Kardynała Stefana Wyszyńskiego Podstawy optymalizacji Plan prezentacji 1 Podstawy matematyczne 2 3 Eliminacja ograniczeń Metody
Redukcja wariancji w metodach Monte-Carlo
14.02.2006 Seminarium szkoleniowe 14 lutego 2006 Plan prezentacji Wprowadzenie Metoda losowania warstwowego Metoda próbkowania ważonego Metoda zmiennych kontrolnych Metoda zmiennych antytetycznych Metoda
5. Metody Newtona. 5.1 Wzór Taylora
5. Metody Newtona Na ostatnich zajęciach zidentyfikowaliśmy ważny problem poznanych dotychczas metod (Gaussa-Seidel a, Cauchy iego, spadku wzdłuż gradientu, stochastycznego spadku wzdłuż gradientu): ich
Elementy Modelowania Matematycznego
Elementy Modelowania Matematycznego Wykład 8 Programowanie nieliniowe Spis treści Programowanie nieliniowe Zadanie programowania nieliniowego Zadanie programowania nieliniowego jest identyczne jak dla
Szukanie rozwiązań funkcji uwikłanych (równań nieliniowych)
Szukanie rozwiązań funkcji uwikłanych (równań nieliniowych) Funkcja uwikłana (równanie nieliniowe) jest to funkcja, która nie jest przedstawiona jawnym przepisem, wzorem wyrażającym zależność wartości
II. RÓŻNICZKOWANIE I CAŁKOWANIE NUMERYCZNE Janusz Adamowski
II. RÓŻNICZKOWANIE I CAŁKOWANIE NUMERYCZNE Janusz Adamowski 1 1 Różniczkowanie numeryczne Rozważmy funkcję f(x) określoną na sieci równoodległyc węzłów. Funkcja f(x) może być dana za pomocą wzoru analitycznego
Komputerowa Analiza Danych Doświadczalnych
Komputerowa Analiza Danych Doświadczalnych Prowadząca: dr inż. Hanna Zbroszczyk e-mail: gos@if.pw.edu.pl tel: +48 22 234 58 51 konsultacje: poniedziałek, 10-11, środa: 11-12 www: http://www.if.pw.edu.pl/~gos/students/kadd
Rozdział 2: Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów
Rozdział : Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów W tym rozdziale omówione zostaną dwie najpopularniejsze metody estymacji parametrów w ekonometrycznych modelach nieliniowych,
Metody numeryczne Wykład 4
Metody numeryczne Wykład 4 Dr inż. Michał Łanczont Instytut Elektrotechniki i Elektrotechnologii E419, tel. 4293, m.lanczont@pollub.pl, http://m.lanczont.pollub.pl Zakres wykładu Metody skończone rozwiązywania
Janusz Adamowski METODY OBLICZENIOWE FIZYKI Kwantowa wariacyjna metoda Monte Carlo. Problem własny dla stanu podstawowego układu N cząstek
Janusz Adamowski METODY OBLICZENIOWE FIZYKI 1 Rozdział 20 KWANTOWE METODY MONTE CARLO 20.1 Kwantowa wariacyjna metoda Monte Carlo Problem własny dla stanu podstawowego układu N cząstek (H E 0 )ψ 0 (r)
Wstęp do metod numerycznych Algebraiczna metoda gradientów sprzężonych. P. F. Góra
Wstęp do metod numerycznych Algebraiczna metoda gradientów sprzężonych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2015 Metoda gradientów sprzężonych motywacja Rozważmy funcję f : R N R f(x) = 1 2
CMAES. Zapis algorytmu. Generacja populacji oraz selekcja Populacja q i (t) w kroku t generowana jest w następujący sposób:
CMAES Covariance Matrix Adaptation Evolution Strategy Opracowanie: Lidia Wojciechowska W algorytmie CMAES, podobnie jak w algorytmie EDA, adaptowany jest rozkład prawdopodobieństwa generacji punktów, opisany
dr Mariusz Grządziel 15,29 kwietnia 2014 Przestrzeń R k R k = R R... R k razy Elementy R k wektory;
Wykłady 8 i 9 Pojęcia przestrzeni wektorowej i macierzy Układy równań liniowych Elementy algebry macierzy dodawanie, odejmowanie, mnożenie macierzy; macierz odwrotna dr Mariusz Grządziel 15,29 kwietnia
Wartości i wektory własne
Dość często przy rozwiązywaniu problemów naukowych czy technicznych pojawia się konieczność rozwiązania dość specyficznego układu równań: Zależnego od n nieznanych zmiennych i pewnego parametru. Rozwiązaniem
Zagadnienia brzegowe dla równań eliptycznych
Temat 7 Zagadnienia brzegowe dla równań eliptycznych Rozważmy płaski obszar R 2 ograniczony krzywą. la równania Laplace a (Poissona) stawia się trzy podstawowe zagadnienia brzegowe. Zagadnienie irichleta
Rachunek różniczkowy i całkowy w przestrzeniach R n
Rachunek różniczkowy i całkowy w przestrzeniach R n Na dzisiejszym wykładzie rozważać będziemy funkcje f : R m R n Każda taka funkcję f można przedstawić jako wektor funkcji (f 1, f 2,, f n ), gdzie każda
Postać Jordana macierzy
Rozdział 8 Postać Jordana macierzy Niech F = R lub F = C Macierz J r λ) F r r postaci λ 1 0 0 0 λ 1 J r λ) = 0 λ 1 0 0 λ gdzie λ F nazywamy klatką Jordana stopnia r Oczywiście J 1 λ) = [λ Definicja 81
Komputerowa analiza zagadnień różniczkowych 2. Metoda gradientów sprzężonych Minimalizacja i układy równań algebraicznych
Komputerowa analiza zagadnień różniczkowych 2. Metoda gradientów sprzężonych Minimalizacja i układy równań algebraicznych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ semestr letni 2007/08 Metoda gradientów
Metoda największej wiarygodności
Metoda największej wiarygodności Próbki w obecności tła Funkcja wiarygodności Iloraz wiarygodności Pomiary o różnej dokładności Obciążenie Informacja z próby i nierówność informacyjna Wariancja minimalna
Stopę zbieżności ciagu zmiennych losowych a n, takiego, że E (a n ) < oznaczamy jako a n = o p (1) prawdopodobieństwa szybciej niż n α.
Stopy zbieżności Stopę zbieżności ciagu zmiennych losowych a n, takiego, że a n oznaczamy jako a n = o p (1 p 0 a Jeśli n p n α 0, to a n = o p (n α i mówimy a n zbiega według prawdopodobieństwa szybciej
Całkowanie numeryczne przy użyciu kwadratur
Całkowanie numeryczne przy użyciu kwadratur Plan wykładu: 1. Kwadratury Newtona-Cotesa a) wzory: trapezów, parabol etc. b) kwadratury złożone 2. Ekstrapolacja a) ekstrapolacja Richardsona b) metoda Romberga
Matematyka II. Bezpieczeństwo jądrowe i ochrona radiologiczna Semestr letni 2018/2019 wykład 13 (27 maja)
Matematyka II Bezpieczeństwo jądrowe i ochrona radiologiczna Semestr letni 208/209 wykład 3 (27 maja) Całki niewłaściwe przedział nieograniczony Rozpatrujemy funkcje ciągłe określone na zbiorach < a, ),
Programowanie nieliniowe. Badania operacyjne Wykład 3 Metoda Lagrange a
Programowanie nieliniowe Badania operacyjne Wykład 3 Metoda Lagrange a Plan wykładu Przykład problemu z nieliniową funkcją celu Sformułowanie problemu programowania matematycznego Podstawowe definicje