WYKŁAD 9 METODY ZMIENNEJ METRYKI
|
|
- Mariusz Kuczyński
- 5 lat temu
- Przeglądów:
Transkrypt
1 WYKŁAD 9 METODY ZMIENNEJ METRYKI Kierunki sprzężone. Metoda Newtona Raphsona daje dobre przybliżenie najlepszego kierunku poszukiwań, lecz jest to okupione znacznym kosztem obliczeniowym zwykle postać analityczna hesjanu nie jest znana, a numeryczna estymacja pochodnych każdorazowo grozi wprowadzeniem znacznego błędu obliczeniowego. Istotą tzw. metod zmiennej metryki jest wykorzystanie posiadanych na każdym kroku informacji x k, x k+1, f(x k ), f(x k+1 ) dla coraz lepszego wyznaczania hesjanu bez potrzeby znajdowania jego składników explicite. Poszukiwany jest algorytm generujący iteracyjnie uzupełnienie [ G k ] przybliżające macierz startową [ G 1 ] do odwrotności hesjanu [ H ] -1. W tym celu wprowadzono pojęcie kierunków sprzężonych d i, d j względem pewnej macierzy [ A ] definicyjnie określonych zależnością (9.1) Jak widać pojęcie A-sprzężenia jest uogólnieniem pojęcia ortogonalności podstawiając za [ A ] macierz identycznościową [ I ] otrzymujemy zwykły warunek ortogonalności dwóch kierunków. Użyteczność kierunków sprzężonych w zagadnieniach optymalizacyjnych wynika z następujących twierdzeń przytaczanych tu bez dowodów, które można znaleźć w specjalistycznych monografiach 1 : TWIERDZENIE 1. Dla dowolnego ciągu d 1, d 2,...d n kierunków sprzężonych względem symetrycznej, dodatnio określonej macierzy [A] o rozmiarze n i dowolnego punktu startowego x 0 jest możliwe znalezienie minimum funkcji kwadratowej f Q (9.2) w co najwyżej n krokach iteracyjnych prowadząc minimalizację wzdłuż każdego kierunku d i. Twierdzenie to oznacza, że każda kolejna minimalizacja wzdłuż d i (i=1, 2,...n), znajduje minimum f Q na podprzestrzeni definiowanej przez rosnący zbiór A-ortogonalnych kierunków. 1 Findeisen W., Szymanowski J.,Wierzbicki A.: Teoria i metody obliczeniowe optymalizacji, PWN Warszawa, 1980; Aoki M.: Introduction to optimization techniques, Macmillan, New York,
2 W celu określenia tego zbioru kierunków wykorzystywany jest algorytm Grama- Schmidta, w którym zwykły iloczyn skalarny został zastąpiony przez iloczyn A-sprzężony (9.1). Jako zbiór wyjściowych kierunków D 0 najprościej jest wykorzystać bazę e i przestrzeni euklidesowej, w której zdefiniowano wektor zmiennych decyzyjnych (9.3) Załóżmy, że (9.4) poszukujemy skalara 21, takiego że kierunki d 1 i d 2 powiązane zależnością (9.5) są A-sprzężone. Oznacza to, że zachodzi (9.6) Wynika stąd (9.7) Dla dowolnego kolejnego kierunku d k+1 mamy więc zależność (9.8) gdzie współczynniki kj wynoszą (9.7) Można wykazać, że znalezienie kolejnych minimów wzdłuż kierunków d i czyli przesunięcia x i+1 x i jest równe (9.8) Iloraz iloczynów skalarnych w zależności (9.8) będący odległością do kolejnego minimum w podprzestrzeni wyznacza się zwykle jedną z metod minimalizacji kierunkowej 2
3 (np. za pomocą aproksymacji parabolicznej). Zauważmy również, że przypadku kiedy punkt startowy jest odległy od minimum, czyli gdy funkcja kwadratowa f Q (x) jest bliska formie liniowej b, x i pozadiagonalne współczynniki hesjanu A nj mogą być pominięte, to algorytm Grama-Schmidta jako kierunki sprzężone generuje ortogonalne kierunki bazy euklidesowej e. Metoda kierunków sprzężonych staje się wtedy identyczna z metodą Gaussa-Seidela. Zaletą metody kierunków sprzężonych w stosunku do metody Newtona jest wyeliminowanie konieczności odwracania hesjanu, tym niemniej sam hesjan musi być obliczany przy tworzeniu zbioru kierunków A-sprzężonych. Warto w tym momencie przedstawić ilustrację geometryczną tego pojęcia. Załóżmy, ze funkcja celu f Q (x) jest dwuwymiarowa a jej kolejne izolinie są dane równaniem (9.9) Zależność (9.6) przedstawia zbiór elips ośrodku w punkcie x=[0, 0]. Wyznaczając kolejno gradient i hesjan tej funkcji mamy (9.10) (9.11) Odwrotność hesjanu [H] -1 wyznacza się elementarnie dla przypadku kiedy sam hesjan ma strukturę diagonalną (9.12) Jeżeli przyjmiemy, że macierz [A] jest równa [H] -1, to forma kwadratowa f Q (x 1, x 2 ) w nowej metryce ma postać (9.13) co dla rozpatrywanej funkcji daje (9.14) 3
4 Izolinie f Q (x 1, x 2 ) w tej metryce będą okręgami co pokazano na rys.9.1. Należy zwrócić uwagę, że omówiona transformacja dotyczy także dowolnego położenia elips funkcji kwadratowej oraz że zmiana metryki nie zmienia położenia minimum badanej funkcji. f Q E 2 x 2 x 1 f Q [H] -1 Rys.9.1. Izolinie testowej funkcji kwadratowej w różnych metrykach Algorytm kierunków sprzężonych Powella wykorzystujący znajomość hesjanu [H(x 0 )] w punkcie startowym x 0 oraz wykorzystujący jedynie wartości minimalizowanej funkcji jest następujący: 1. Wyznacz Hesjan w punkcie x 0 oraz H-sprzężoną bazę wektorów d 1...d n ; 2. Podstaw k=1 3. Oblicz przemieszczenie k punktów o minimalnej funkcji celu f Q (x) wzdłuż kierunku d k (9.15) 4. Sprawdź kryterium zatrzymania, jeśli nie jest spełnione to idź do p.5 5. Jeżeli k<n to k=k+1 i wróć do p.3, dla k=n x 0 =x n i wróć do p.1. Algorytmy zmiennej metryki Kierunki sprzężone posiadają istotną cechę, wykorzystywaną przy tworzeniu algorytmów optymalizacyjnych, którą opisuje następujące twierdzenie. TWIERDZENIE. Jeżeli punkt x k+1 został uzyskany w procesie minimalizacji funkcji kwadratowej wzdłuż A-sprzężonych kierunków, to gradient funkcji w tym punkcie jest również A-sprzężony z poprzednimi kierunkami (9.16) 4
5 W metodzie kierunków sprzężonych jest konieczne wyznaczanie hesjanu, najczęściej w sposób numeryczny, po każdych n krokach minimalizacji w kierunku. Procedura ta jest niezbędna, ponieważ funkcja celu f(x) jest przeważnie różna od funkcji kwadratowej i jej hesjan zmienia się w zależności od bieżącego położenia punktu x. Jak pokazano wcześniej, obliczanie składników macierzy drugich pochodnych jest kosztowne, zwłaszcza kiedy funkcja celu nie jest dana w sposób jawny oraz co jest równie istotne, prowadzi do błędów związanych z aproksymacją pochodnej ilorazem różnicowym. Okazuje się, że znając jedynie gradienty funkcji celu w kolejnych minimach wzdłuż kierunków sprzężonych można coraz lepiej aproksymować hesjan funkcji celu. Wykorzystuje się tu iteracyjne uzupełnianie pewnej macierzy [V] j, (j=1, 2,... n) o przyczynki pozyskiwane po każdym kroku optymalizacyjnym. Istnieje cała rodzina takich formuł, nazywanych wzorami zmiennej metryki, które dla kwadratowej funkcji celu zapewniają osiągnięcie minimum w co najwyżej n krokach. Najczęściej stosowane to: Wzór Davidona Fletchera - Powella (9.17) oraz Wzór Broydena Fletchera - Shanno (9.18) Oznaczenia są następujące [ I ] macierz jednostkowa, k = x k+1 x k = k d k - przesunięcie punktu optymalnego, k = f(x k+1 ) - f(x k ) zmiana wektora gradientu funkcji celu w kolejnych punktach optymalnych d g iloczyn zewnętrzny wektorów d, g. 5
6 Algorytm metody zmiennej metryki jest następujący: 1. Wybierz punkt startowy x 1 oraz startowe przybliżenie odwrotności hesjanu [V] 1. Najczęściej jest to macierz identycznościowa [ I ] lub, jeśli są ku temu przesłanki, inna symetryczna i dodatnio określona. Podstaw k=1. 2. Oblicz d k = - [V k ] f(x k ). 3. Wykonaj minimalizację w kierunku d k znajdując k takie że (9.19) 4. Sprawdź kryterium zatrzymania, jeśli nie jest spełnione wykonaj p Wykonaj podstawienia (9.20) gdzie poprawka [ V] k jest obliczana ze wzoru (9.17) lub (9.18) w zależności od wyboru metody. 6. Podstaw k=k+1 i wróć do p.3. 6
ZADANIA OPTYMALIZCJI BEZ OGRANICZEŃ
ZADANIA OPTYMALIZCJI BEZ OGRANICZEŃ Maciej Patan Uniwersytet Zielonogórski WSTEP Zadanie minimalizacji bez ograniczeń f(ˆx) = min x R nf(x) f : R n R funkcja ograniczona z dołu Algorytm rozwiazywania Rekurencyjny
Bardziej szczegółowoOptymalizacja ciągła
Optymalizacja ciągła 5. Metody kierunków poparwy (metoda Newtona-Raphsona, metoda gradientów sprzężonych) Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 28.03.2019 1
Bardziej szczegółowoUKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH
Transport, studia I stopnia rok akademicki 2011/2012 Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Uwagi wstępne Układ liniowych równań algebraicznych można
Bardziej szczegółowo1 Równania nieliniowe
1 Równania nieliniowe 1.1 Postać ogólna równania nieliniowego Często występującym, ważnym problemem obliczeniowym jest numeryczne poszukiwanie rozwiązań równań nieliniowych, np. algebraicznych (wielomiany),
Bardziej szczegółowoOptymalizacja ciągła
Optymalizacja ciągła 4. Metody kierunków poprawy (metoda spadku wzdłuż gradientu) Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 21.03.2019 1 / 41 Plan wykładu Minimalizacja
Bardziej szczegółowo1.3. Optymalizacja geometrii czasteczki
0 1 Część teoretyczna 13 Optymalizacja geometrii czasteczki Poszukiwanie punktów stacjonarnych (krytycznych) funkcji stanowi niezwykle istotny problem w obliczeniowej chemii kwantowej Sprowadza się on
Bardziej szczegółowoWprowadzenie Metoda bisekcji Metoda regula falsi Metoda siecznych Metoda stycznych RÓWNANIA NIELINIOWE
Transport, studia niestacjonarne I stopnia, semestr I Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Postać ogólna równania nieliniowego Zazwyczaj nie można znaleźć
Bardziej szczegółowoPrzestrzeń unitarna. Jacek Kłopotowski. 23 października Katedra Matematyki i Ekonomii Matematycznej SGH
Katedra Matematyki i Ekonomii Matematycznej SGH 23 października 2018 Definicja iloczynu skalarnego Definicja Iloczynem skalarnym w przestrzeni liniowej R n nazywamy odwzorowanie ( ) : R n R n R spełniające
Bardziej szczegółowoWstęp do metod numerycznych 11. Minimalizacja: funkcje wielu zmiennych. P. F. Góra
Wstęp do metod numerycznych 11. Minimalizacja: funkcje wielu zmiennych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2012 Strategia minimalizacji wielowymiarowej Zakładamy, że metody poszukiwania minimów
Bardziej szczegółowojeśli nie jest spełnione kryterium zatrzymania, to nowym punktem roboczym x(t+1) staje i następuje przejście do 1)
Metody automatycznej optymalizacji cz.i metody dwufazowe Święta Wielkanocne już za nami, tak więc bierzemy się wspólnie do pracy. Ostatnim razem dokonaliśmy charakterystyki zadań optymalizacji i wskazaliśmy
Bardziej szczegółowoPolitechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania
Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania Metody optymalizacji Metody bezgradientowe optymalizacji bez ograniczeń Materiały pomocnicze do ćwiczeń
Bardziej szczegółowoAproksymacja. funkcji: ,a 2. ,...,a m. - są funkcjami bazowymi m+1 wymiarowej podprzestrzeni liniowej X m+1
Założenie: f(x) funkcja którą aproksymujemy X jest przestrzenią liniową Aproksymacja liniowa funkcji f(x) polega na wyznaczeniu współczynników a 0,a 1,a 2,...,a m funkcji: Gdzie: - są funkcjami bazowymi
Bardziej szczegółowoKADD Minimalizacja funkcji
Minimalizacja funkcji n-wymiarowych Forma kwadratowa w n wymiarach Procedury minimalizacji Minimalizacja wzdłuż prostej w n-wymiarowej przestrzeni Metody minimalizacji wzdłuż osi współrzędnych wzdłuż kierunków
Bardziej szczegółowoOptymalizacja (minimalizacja) funkcji. Plan wykładu: 1. Sformułowanie problemu, funkcja celu. 2. Metody bezgradientowe
Optymalizacja (minimalizacja) funkcji Plan wykładu: 1. Sformułowanie problemu, funkcja celu. Metody bezgradientowe a) metoda złotego podziału b) metoda sympleks c) metoda interpolacji Powell'a 3. Metody
Bardziej szczegółowo5. Metody stochastyczne (symulowane wyżarzanie, algorytmy genetyczne) -> metody Monte Carlo
Optymalizacja (minimalizacja) funkcji Plan wykładu: 1. Sformułowanie problemu, funkcja celu 2. Metody bezgradientowe a) metoda złotego podziału b) metoda sympleks c) metoda interpolacji Powell'a 3. Metody
Bardziej szczegółowoMatematyka stosowana i metody numeryczne
Ewa Pabisek Adam Wosatko Piotr Pluciński Matematyka stosowana i metody numeryczne Konspekt z wykładu 6 Rozwiązywanie równań nieliniowych Rozwiązaniem lub pierwiastkiem równania f(x) = 0 lub g(x) = h(x)
Bardziej szczegółowoPochodne cząstkowe i ich zastosowanie. Ekstrema lokalne funkcji
Pochodne cząstkowe i ich zastosowanie. Ekstrema lokalne funkcji Adam Kiersztyn Lublin 2014 Adam Kiersztyn () Pochodne cząstkowe i ich zastosowanie. Ekstrema lokalne funkcji maj 2014 1 / 24 Zanim przejdziemy
Bardziej szczegółowoAlgebra Liniowa 2 (INF, TIN), MAP1152 Lista zadań
Algebra Liniowa 2 (INF, TIN), MAP1152 Lista zadań Przekształcenia liniowe, diagonalizacja macierzy 1. Podano współrzędne wektora v w bazie B. Znaleźć współrzędne tego wektora w bazie B, gdy: a) v = (1,
Bardziej szczegółowoZaawansowane metody numeryczne
Wykład 10 Rozkład LU i rozwiązywanie układów równań liniowych Niech będzie dany układ równań liniowych postaci Ax = b Załóżmy, że istnieją macierze L (trójkątna dolna) i U (trójkątna górna), takie że macierz
Bardziej szczegółowoUKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH
Transport, studia niestacjonarne I stopnia, semestr I Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Postać układu równań liniowych Układ liniowych równań algebraicznych
Bardziej szczegółowoROZWIĄZYWANIE RÓWNAŃ NIELINIOWYCH
Transport, studia I stopnia Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Postać ogólna równania nieliniowego Często występującym, ważnym problemem obliczeniowym
Bardziej szczegółowoZaawansowane metody numeryczne
Wykład 6 Własności wielomianów ortogonalnych Wszystkie znane rodziny wielomianów ortogonalnych dzielą pewne wspólne cechy: 1) definicja za pomocą wzoru różniczkowego, jawnej sumy lub funkcji tworzącej;
Bardziej szczegółowoOptymalizacja ciągła
Optymalizacja ciągła 5. Metoda stochastycznego spadku wzdłuż gradientu Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 04.04.2019 1 / 20 Wprowadzenie Minimalizacja różniczkowalnej
Bardziej szczegółowoELEMENTY ANALIZY NUMERYCZNEJ ELEMENTY ANALIZY NUMERYCZNEJ. Egzamin pisemny zestaw 1 26 czerwca 2017 roku
Egzamin pisemny zestaw czerwca 0 roku Imię i nazwisko:.... ( pkt.) Udowodnić, że jeśli funkcja g interpoluje funkcję f w węzłach x 0, x, K, x n, a funk- cja h interpoluje funkcję f w węzłach x, x, K, x
Bardziej szczegółowoWstęp do metod numerycznych Uwarunkowanie Eliminacja Gaussa. P. F. Góra
Wstęp do metod numerycznych Uwarunkowanie Eliminacja Gaussa P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2012 Uwarunkowanie zadania numerycznego Niech ϕ : R n R m będzie pewna funkcja odpowiednio wiele
Bardziej szczegółowoZaawansowane metody numeryczne
Wykład 11 Ogólna postać metody iteracyjnej Definicja 11.1. (metoda iteracyjna rozwiązywania układów równań) Metodą iteracyjną rozwiązywania { układów równań liniowych nazywamy ciąg wektorów zdefiniowany
Bardziej szczegółowoELEMENTY ANALIZY NUMERYCZNEJ ELEMENTY ANALIZY NUMERYCZNEJ. Egzamin pisemny zestaw 1 24 czerwca 2019 roku
Egzamin pisemny zestaw. ( pkt.) Udowodnić, że jeśli funkcja g interpoluje funkcję f w węzłach x 0, x, K, x n, a funk- cja h interpoluje funkcję f w węzłach x, x, K, x n, to funkcja x0 x gx ( ) + [ gx (
Bardziej szczegółowoWykład Matematyka A, I rok, egzamin ustny w sem. letnim r. ak. 2002/2003. Każdy zdający losuje jedno pytanie teoretyczne i jedno praktyczne.
Wykład Matematyka A, I rok, egzamin ustny w sem. letnim r. ak. 2002/2003. Każdy zdający losuje jedno pytanie teoretyczne i jedno praktyczne. pytania teoretyczne:. Co to znaczy, że wektory v, v 2 i v 3
Bardziej szczegółowoMetody numeryczne I Równania nieliniowe
Metody numeryczne I Równania nieliniowe Janusz Szwabiński szwabin@ift.uni.wroc.pl Metody numeryczne I (C) 2004 Janusz Szwabiński p.1/66 Równania nieliniowe 1. Równania nieliniowe z pojedynczym pierwiastkiem
Bardziej szczegółowo5. Rozwiązywanie układów równań liniowych
5. Rozwiązywanie układów równań liniowych Wprowadzenie (5.1) Układ n równań z n niewiadomymi: a 11 +a 12 x 2 +...+a 1n x n =a 10, a 21 +a 22 x 2 +...+a 2n x n =a 20,..., a n1 +a n2 x 2 +...+a nn x n =a
Bardziej szczegółowoLista. Przestrzenie liniowe. Zadanie 1 Sprawdź, czy (V, +, ) jest przestrzenią liniową nadr :
Lista Przestrzenie liniowe Zadanie 1 Sprawdź, czy (V, +, ) jest przestrzenią liniową nadr : V = R[X], zbiór wielomianów jednej zmiennej o współczynnikach rzeczywistych, wraz ze standardowym dodawaniem
Bardziej szczegółowoWstęp do metod numerycznych 12. Minimalizacja: funkcje wielu zmiennych. P. F. Góra
Wstęp do metod numerycznych 12. Minimalizacja: funkcje wielu zmiennych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2015 Strategia minimalizacji wielowymiarowej Zakładamy, że metody poszukiwania minimów
Bardziej szczegółowo1 Formy hermitowskie. GAL (Informatyka) Wykład - formy hermitowskie. Paweł Bechler
GAL (Informatyka) Wykład - formy hermitowskie Wersja z dnia 23 stycznia 2014 Paweł Bechler 1 Formy hermitowskie Niech X oznacza przestrzeń liniową nad ciałem K. Definicja 1. Funkcję φ : X X K nazywamy
Bardziej szczegółowoWartości i wektory własne
Dość często przy rozwiązywaniu problemów naukowych czy technicznych pojawia się konieczność rozwiązania dość specyficznego układu równań: Zależnego od n nieznanych zmiennych i pewnego parametru. Rozwiązaniem
Bardziej szczegółowoAnaliza numeryczna Kurs INP002009W. Wykłady 6 i 7 Rozwiązywanie układów równań liniowych. Karol Tarnowski A-1 p.
Analiza numeryczna Kurs INP002009W Wykłady 6 i 7 Rozwiązywanie układów równań liniowych Karol Tarnowski karol.tarnowski@pwr.wroc.pl A-1 p.223 Plan wykładu Podstawowe pojęcia Własności macierzy Działania
Bardziej szczegółowoAutomatyka i Robotyka II Stopień ogólno akademicki studia niestacjonarne wszystkie Katedra Automatyki i Robotyki Prof. dr hab. inż.
Załącznik nr 7 do Zarządzenia Rektora nr 10/12 z dnia 21 lutego 2012r. KARTA MODUŁU / KARTA PRZEDMIOTU Kod modułu Nazwa modułu Nazwa modułu w języku angielskim Obowiązuje od roku akademickiego 2013/2014
Bardziej szczegółowoRozwiązywanie równań nieliniowych
Rozwiązywanie równań nieliniowych Marcin Orchel 1 Wstęp Przykłady wyznaczania miejsc zerowych funkcji f : f(ξ) = 0. Wyszukiwanie miejsc zerowych wielomianu n-tego stopnia. Wymiar tej przestrzeni wektorowej
Bardziej szczegółowoProgramowanie liniowe. Tadeusz Trzaskalik
Programowanie liniowe Tadeusz Trzaskalik .. Wprowadzenie Słowa kluczowe Model matematyczny Cel, środki, ograniczenia Funkcja celu funkcja kryterium Zmienne decyzyjne Model optymalizacyjny Układ warunków
Bardziej szczegółowoAproksymacja. j<k. L 2 p[a, b] l 2 p,n X = Lemat 1. Wielomiany ortogonalne P 0,P 1,...,P n tworza przestrzeni liniowej Π n. Dowód.
Metody numeryczne Paweł Zieliński p. 1/19 Lemat 1. Wielomiany ortogonalne P 0,P 1,...,P n tworza bazę przestrzeni liniowej Π n. Dowód. Lemat 2. Dowolny wielomian Q j stopnia j niższego od k jest prostopadły
Bardziej szczegółowoWstęp do metod numerycznych 9a. Układy równań algebraicznych. P. F. Góra
Wstęp do metod numerycznych 9a. Układy równań algebraicznych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2012 Układy równań algebraicznych Niech g:r N równanie R N będzie funkcja klasy co najmniej
Bardziej szczegółowoAlgorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta
Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta www.michalbereta.pl Sieci radialne zawsze posiadają jedną warstwę ukrytą, która składa się z neuronów radialnych. Warstwa wyjściowa składa
Bardziej szczegółowoPolitechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania
Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania Metody optymalizacji Metody poszukiwania ekstremum funkcji jednej zmiennej Materiały pomocnicze do ćwiczeń
Bardziej szczegółowoNumeryczne metody optymalizacji Optymalizacja w kierunku. informacje dodatkowe
Numeryczne metody optymalizacji Optymalizacja w kierunku informacje dodatkowe Numeryczne metody optymalizacji x F x = min x D x F(x) Problemy analityczne: 1. Nieliniowa złożona funkcja celu F i ograniczeń
Bardziej szczegółowoMetody numeryczne II
Metody numeryczne II Poszukiwanie ekstremów funkcji Janusz Szwabiński szwabin@ift.uni.wroc.pl nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.1/55 Poszukiwanie ekstremów funkcji
Bardziej szczegółowoINTERPOLACJA I APROKSYMACJA FUNKCJI
Transport, studia niestacjonarne I stopnia, semestr I Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Wprowadzenie Na czym polega interpolacja? Interpolacja polega
Bardziej szczegółowoW naukach technicznych większość rozpatrywanych wielkości możemy zapisać w jednej z trzech postaci: skalara, wektora oraz tensora.
1. Podstawy matematyki 1.1. Geometria analityczna W naukach technicznych większość rozpatrywanych wielkości możemy zapisać w jednej z trzech postaci: skalara, wektora oraz tensora. Skalarem w fizyce nazywamy
Bardziej szczegółowoRozdział 5. Macierze. a 11 a a 1m a 21 a a 2m... a n1 a n2... a nm
Rozdział 5 Macierze Funkcję, która każdej parze liczb naturalnych (i,j) (i = 1,,n;j = 1,,m) przyporządkowuje dokładnie jedną liczbę a ij F, gdzie F = R lub F = C, nazywamy macierzą (rzeczywistą, gdy F
Bardziej szczegółowoPODSTAWY AUTOMATYKI. MATLAB - komputerowe środowisko obliczeń naukowoinżynierskich - podstawowe operacje na liczbach i macierzach.
WYDZIAŁ ELEKTROTECHNIKI I AUTOMATYKI Katedra Inżynierii Systemów Sterowania PODSTAWY AUTOMATYKI MATLAB - komputerowe środowisko obliczeń naukowoinżynierskich - podstawowe operacje na liczbach i macierzach.
Bardziej szczegółowoMetoda Karusha-Kuhna-Tuckera
Badania operacyjne i teoria optymalizacji Poznań, 2015/2016 Plan 1 Sformułowanie problemu 2 3 Warunki ortogonalności 4 Warunki Karusha-Kuhna-Tuckera 5 Twierdzenia Karusha-Kuhna-Tuckera 6 Ograniczenia w
Bardziej szczegółowoMetoda określania pozycji wodnicy statków na podstawie pomiarów odległości statku od głowic laserowych
inż. Marek Duczkowski Metoda określania pozycji wodnicy statków na podstawie pomiarów odległości statku od głowic laserowych słowa kluczowe: algorytm gradientowy, optymalizacja, określanie wodnicy W artykule
Bardziej szczegółowo3 Podstawy teorii drgań układów o skupionych masach
3 Podstawy teorii drgań układów o skupionych masach 3.1 Drgania układu o jednym stopniu swobody Rozpatrzmy elementarny układ drgający, nazywany też oscylatorem harmonicznym, składający się ze sprężyny
Bardziej szczegółowoRozwiązywanie równań nieliniowych i ich układów. Wyznaczanie zer wielomianów.
Rozwiązywanie równań nieliniowych i ich układów. Wyznaczanie zer wielomianów. Plan wykładu: 1. Wyznaczanie pojedynczych pierwiastków rzeczywistych równań nieliniowych metodami a) połowienia (bisekcji)
Bardziej szczegółowoDefinicja pochodnej cząstkowej
1 z 8 gdzie punkt wewnętrzny Definicja pochodnej cząstkowej JeŜeli iloraz ma granicę dla to granicę tę nazywamy pochodną cząstkową funkcji względem w punkcie. Oznaczenia: Pochodną cząstkową funkcji względem
Bardziej szczegółowoMetoda gradientu prostego
Metoda gradientu prostego Metoda gradientu prostego jest pojęciem z zakresu optymalizacji matematycznej. Jest to algorytm numeryczny mający na celu znalezienie minimum zadanej funkcji celu. Jest to jedna
Bardziej szczegółowoMacierze. Rozdział Działania na macierzach
Rozdział 5 Macierze Funkcję, która każdej parze liczb naturalnych (i, j) (i 1,..., n; j 1,..., m) przyporządkowuje dokładnie jedną liczbę a ij F, gdzie F R lub F C, nazywamy macierzą (rzeczywistą, gdy
Bardziej szczegółowoII. RÓŻNICZKOWANIE I CAŁKOWANIE NUMERYCZNE Janusz Adamowski
II. RÓŻNICZKOWANIE I CAŁKOWANIE NUMERYCZNE Janusz Adamowski 1 1 Różniczkowanie numeryczne Rozważmy funkcję f(x) określoną na sieci równoodległyc węzłów. Funkcja f(x) może być dana za pomocą wzoru analitycznego
Bardziej szczegółowoCałkowanie numeryczne przy użyciu kwadratur
Całkowanie numeryczne przy użyciu kwadratur Plan wykładu: 1. Kwadratury Newtona-Cotesa a) wzory: trapezów, parabol etc. b) kwadratury złożone 2. Ekstrapolacja a) ekstrapolacja Richardsona b) metoda Romberga
Bardziej szczegółowoAproksymacja funkcji a regresja symboliczna
Aproksymacja funkcji a regresja symboliczna Problem aproksymacji funkcji polega na tym, że funkcję F(x), znaną lub określoną tablicą wartości, należy zastąpić inną funkcją, f(x), zwaną funkcją aproksymującą
Bardziej szczegółowoWażne rozkłady i twierdzenia c.d.
Ważne rozkłady i twierdzenia c.d. Funkcja charakterystyczna rozkładu Wielowymiarowy rozkład normalny Elipsa kowariacji Sploty rozkładów Rozkłady jednostajne Sploty z rozkładem normalnym Pobieranie próby
Bardziej szczegółowodr Mariusz Grządziel 15,29 kwietnia 2014 Przestrzeń R k R k = R R... R k razy Elementy R k wektory;
Wykłady 8 i 9 Pojęcia przestrzeni wektorowej i macierzy Układy równań liniowych Elementy algebry macierzy dodawanie, odejmowanie, mnożenie macierzy; macierz odwrotna dr Mariusz Grządziel 15,29 kwietnia
Bardziej szczegółowoMetody Numeryczne Optymalizacja. Wojciech Szewczuk
Metody Numeryczne Optymalizacja Optymalizacja Definicja 1 Przez optymalizację będziemy rozumieć szukanie minimów lub maksimów funkcji. Optymalizacja Definicja 2 Optymalizacja lub programowanie matematyczne
Bardziej szczegółowo3. FUNKCJA LINIOWA. gdzie ; ół,.
1 WYKŁAD 3 3. FUNKCJA LINIOWA FUNKCJĄ LINIOWĄ nazywamy funkcję typu : dla, gdzie ; ół,. Załóżmy na początek, że wyraz wolny. Wtedy mamy do czynienia z funkcją typu :.. Wykresem tej funkcji jest prosta
Bardziej szczegółowoZał nr 4 do ZW. Dla grupy kursów zaznaczyć kurs końcowy. Liczba punktów ECTS charakterze praktycznym (P)
Zał nr 4 do ZW WYDZIAŁ PODSTAWOWYCH PROBLEMÓW TECHNIKI KARTA PRZEDMIOTU Nazwa w języku polskim : Obliczenia Naukowe Nazwa w języku angielskim : Scientific Computing. Kierunek studiów : Informatyka Specjalność
Bardziej szczegółowoWykład z równań różnicowych
Wykład z równań różnicowych 1 Wiadomości wstępne Umówmy się, że na czas tego wykładu zrezygnujemy z oznaczania n-tego wyrazu ciągu symbolem typu x n, y n itp. Zamiast tego pisać będziemy x (n), y (n) itp.
Bardziej szczegółowoPochodna funkcji c.d.-wykład 5 ( ) Funkcja logistyczna
Pochodna funkcji c.d.-wykład 5 (5.11.07) Funkcja logistyczna Rozważmy funkcję logistyczną y = f 0 (t) = 40 1+5e 0,5t Funkcja f może być wykorzystana np. do modelowania wzrostu masy ziaren kukurydzy (zmienna
Bardziej szczegółowo3. Interpolacja. Interpolacja w sensie Lagrange'a (3.1) Dana jest funkcja y= f x określona i ciągła w przedziale [a ;b], która
3. Interpolacja Interpolacja w sensie Lagrange'a (3.1) Dana jest funkcja y= f x określona i ciągła w przedziale [a ;b], która przyjmuje wartości y 1, y 2,, y n, dla skończonego zbioru argumentów x 1, x
Bardziej szczegółowoRozdzia l 11. Przestrzenie Euklidesowe Definicja, iloczyn skalarny i norma. iloczynem skalarnym.
Rozdzia l 11 Przestrzenie Euklidesowe 11.1 Definicja, iloczyn skalarny i norma Definicja 11.1 Przestrzenia Euklidesowa nazywamy par e { X K,ϕ }, gdzie X K jest przestrzenia liniowa nad K, a ϕ forma dwuliniowa
Bardziej szczegółowoEgzamin / zaliczenie na ocenę*
Zał. nr do ZW 33/01 WYDZIAŁ / STUDIUM KARTA PRZEDMIOTU Nazwa w języku polskim Optymalizacja systemów Nazwa w języku angielskim System optimization Kierunek studiów (jeśli dotyczy): Inżynieria Systemów
Bardziej szczegółowoMETODY ROZWIĄZYWANIA RÓWNAŃ NIELINIOWYCH
METODY ROZWIĄZYWANIA RÓWNAŃ NIELINIOWYCH Jednym z zastosowań metod numerycznych jest wyznaczenie pierwiastka lub pierwiastków równania nieliniowego. W tym celu stosuje się szereg metod obliczeniowych np:
Bardziej szczegółowoProgramowanie celowe #1
Programowanie celowe #1 Problem programowania celowego (PC) jest przykładem problemu programowania matematycznego nieliniowego, który można skutecznie zlinearyzować, tzn. zapisać (i rozwiązać) jako problem
Bardziej szczegółowoMetody iteracyjne rozwiązywania układów równań liniowych (5.3) Normy wektorów i macierzy (5.3.1) Niech. x i. i =1
Normy wektorów i macierzy (5.3.1) Niech 1 X =[x x Y y =[y1 x n], oznaczają wektory przestrzeni R n, a yn] niech oznacza liczbę rzeczywistą. Wyrażenie x i p 5.3.1.a X p = p n i =1 nosi nazwę p-tej normy
Bardziej szczegółowoWprowadzenie do metod numerycznych Wykład 3 Metody algebry liniowej I Wektory i macierze
Wprowadzenie do metod numerycznych Wykład 3 Metody algebry liniowej I Wektory i macierze Polsko-Japońska Wyższa Szkoła Technik Komputerowych Katedra Informatyki Stosowanej Spis treści Spis treści 1 Wektory
Bardziej szczegółowoZał nr 4 do ZW. Dla grupy kursów zaznaczyć kurs końcowy. Liczba punktów ECTS charakterze praktycznym (P)
Zał nr 4 do ZW WYDZIAŁ PODSTAWOWYCH PROBLEMÓW TECHNIKI KARTA PRZEDMIOTU Nazwa w języku polskim : Algebra z Geometria Analityczna Nazwa w języku angielskim : Algebra and Analytic Geometry Kierunek studiów
Bardziej szczegółowoKADD Minimalizacja funkcji
Minimalizacja funkcji Poszukiwanie minimum funkcji Foma kwadratowa Metody przybliżania minimum minimalizacja Minimalizacja w n wymiarach Metody poszukiwania minimum Otaczanie minimum Podział obszaru zawierającego
Bardziej szczegółowoMETODY NUMERYCZNE. Wykład 4. Numeryczne rozwiązywanie równań nieliniowych z jedną niewiadomą. prof. dr hab.inż. Katarzyna Zakrzewska
METODY NUMERYCZNE Wykład 4. Numeryczne rozwiązywanie równań nieliniowych z jedną niewiadomą prof. dr hab.inż. Katarzyna Zakrzewska Met.Numer. Wykład 4 1 Rozwiązywanie równań nieliniowych z jedną niewiadomą
Bardziej szczegółowoProgramowanie nieliniowe. Badania operacyjne Wykład 3 Metoda Lagrange a
Programowanie nieliniowe Badania operacyjne Wykład 3 Metoda Lagrange a Plan wykładu Przykład problemu z nieliniową funkcją celu Sformułowanie problemu programowania matematycznego Podstawowe definicje
Bardziej szczegółowo. : a 1,..., a n F. . a n Wówczas (F n, F, +, ) jest przestrzenią liniową, gdzie + oraz są działaniami zdefiniowanymi wzorami:
9 Wykład 9: Przestrzenie liniowe i podprzestrzenie Definicja 9 Niech F będzie ciałem Algebrę (V, F, +, ), gdzie V, + jest działaniem w zbiorze V zwanym dodawaniem wektorów, a jest działaniem zewnętrznym
Bardziej szczegółowoKubatury Gaussa (całka podwójna po trójkącie)
Kubatury Gaussa (całka podwójna po trójkącie) Całka podwójna po trójkącie Dana jest funkcja dwóch zmiennych f (x, y) ciągła i ograniczona w obszarze trójkątnym D. Wierzchołki trójkąta wyznaczają punkty
Bardziej szczegółowo1 Pochodne wyższych rzędów
1 Pochodne wyższych rzędów Definicja 1.1 (Pochodne cząstkowe drugiego rzędu) Niech f będzie odwzorowaniem o wartościach w R m, określonym na zbiorze G R k. Załóżmy, że zbiór tych x G, dla których istnieje
Bardziej szczegółowoWstęp do metod numerycznych Algebraiczna metoda gradientów sprzężonych. P. F. Góra
Wstęp do metod numerycznych Algebraiczna metoda gradientów sprzężonych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2015 Metoda gradientów sprzężonych motywacja Rozważmy funcję f : R N R f(x) = 1 2
Bardziej szczegółowoUkłady równań nieliniowych (wielowymiarowa metoda Newtona-Raphsona) f(x) = 0, gdzie. dla n=2 np.
Układy równań nieliniowych (wielowymiarowa metoda Newtona-Raphsona f(x 0, f ( f, f,..., f n gdzie 2 x ( x, x 2,..., x n dla n2 np. f ( x, y 0 g( x, y 0 dla każdej wielowymiarowej rozwinięcie w szereg Taylora
Bardziej szczegółowoPROGRAMOWANIE KWADRATOWE
PROGRAMOWANIE KWADRATOWE Programowanie kwadratowe Zadanie programowania kwadratowego: Funkcja celu lub/i co najmniej jedno z ograniczeń jest funkcją kwadratową. 2 Programowanie kwadratowe Nie ma uniwersalnej
Bardziej szczegółowoObliczenia naukowe Wykład nr 6
Obliczenia naukowe Wykład nr 6 Paweł Zieliński Katedra Informatyki, Wydział Podstawowych Problemów Techniki, Politechnika Wrocławska Literatura Literatura podstawowa [1] D. Kincaid, W. Cheney, Analiza
Bardziej szczegółowoBezgradientowe metody optymalizacji funkcji wielu zmiennych. informacje dodatkowe
Bezgradientowe metody optymalizacji funkcji wielu zmiennych informacje dodatkowe Wybór kierunku poszukiwań Kierunki bazowe i ich modyfikacje metody bezgradientowe. Kierunki oparte na gradiencie funkcji
Bardziej szczegółowoPolitechnika Wrocławska, Wydział Informatyki i Zarządzania. Optymalizacja
Politechnika Wrocławska, Wydział Informatyki i Zarządzania Optymalizacja Dla podanych niżej problemów decyzyjnych (zad.1 zad.5) należy sformułować zadania optymalizacji, tj.: określić postać zmiennych
Bardziej szczegółowoIX. Rachunek różniczkowy funkcji wielu zmiennych. 1. Funkcja dwóch i trzech zmiennych - pojęcia podstawowe. - funkcja dwóch zmiennych,
IX. Rachunek różniczkowy funkcji wielu zmiennych. 1. Funkcja dwóch i trzech zmiennych - pojęcia podstawowe. Definicja 1.1. Niech D będzie podzbiorem przestrzeni R n, n 2. Odwzorowanie f : D R nazywamy
Bardziej szczegółowoMetody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Laboratorium Zadanie nr 3 Osada autor: A Gonczarek Celem poniższego zadania jest zrealizowanie fragmentu komputerowego przeciwnika w grze strategiczno-ekonomicznej
Bardziej szczegółowoPOD- I NADOKREŚLONE UKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH
POD- I NADOKREŚLONE UKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH Transport, studia I stopnia rok akademicki 2011/2012 Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko
Bardziej szczegółowoBardzo łatwa lista powtórkowa
Analiza numeryczna, II rok inf., WPPT- 12 stycznia 2008 Terminy egzaminów Przypominam, że egzaminy odbędą się w następujących terminach: egzamin podstawowy: 30 stycznia, godz. 13 15, C-13/1.31 egzamin
Bardziej szczegółowow analizie wyników badań eksperymentalnych, w problemach modelowania zjawisk fizycznych, w analizie obserwacji statystycznych.
Aproksymacja funkcji a regresja symboliczna Problem aproksymacji funkcji polega na tym, że funkcję F(), znaną lub określoną tablicą wartości, należy zastąpić inną funkcją, f(), zwaną funkcją aproksymującą
Bardziej szczegółowoMetody Numeryczne Wykład 4 Wykład 5. Interpolacja wielomianowa
Sformułowanie zadania interpolacji Metody Numeryczne Wykład 4 Wykład 5 Interpolacja wielomianowa Niech D R i niech F bȩdzie pewnym zbiorem funkcji f : D R. Niech x 0, x 1,..., x n bȩdzie ustalonym zbiorem
Bardziej szczegółowoMETODY NUMERYCZNE. Wykład 3. Plan. Aproksymacja Interpolacja wielomianowa Przykłady. dr hab.inż. Katarzyna Zakrzewska, prof.agh. Met.Numer.
METODY NUMERYCZNE Wykład 3. dr hab.inż. Katarzyna Zakrzewska, prof.agh Met.Numer. wykład 3 1 Plan Aproksymacja Interpolacja wielomianowa Przykłady Met.Numer. wykład 3 2 1 Aproksymacja Metody numeryczne
Bardziej szczegółowoMetody numeryczne II
Metody numeryczne II Poszukiwanie ekstremów funkcji Janusz Szwabiński szwabin@ift.uni.wroc.pl Metody numeryczne II (C) 2004 Janusz Szwabiński p.1/55 Poszukiwanie ekstremów funkcji 1. Funkcje jednej zmiennej
Bardziej szczegółowoInterpolacja. Marcin Orchel. Drugi przypadek szczególny to interpolacja trygonometryczna
Interpolacja Marcin Orchel 1 Wstęp Mamy daną funkcję φ (x; a 0,..., a n ) zależną od n + 1 parametrów a 0,..., a n. Zadanie interpolacji funkcji φ polega na określeniu parametrów a i tak aby dla n + 1
Bardziej szczegółowo3. Macierze i Układy Równań Liniowych
3. Macierze i Układy Równań Liniowych Rozważamy równanie macierzowe z końcówki ostatniego wykładu ( ) 3 1 X = 4 1 ( ) 2 5 Podstawiając X = ( ) x y i wymnażając, otrzymujemy układ 2 równań liniowych 3x
Bardziej szczegółowoMet Me ody numer yczne Wykład ykład Dr inż. Mic hał ha Łanc Łan zon Instyt Ins ut Elektr Elektr echn iki echn i Elektrot Elektr echn olo echn
Metody numeryczne Wykład 3 Dr inż. Michał Łanczont Instytut Elektrotechniki i Elektrotechnologii E419, tel. 4293, m.lanczont@pollub.pl, http://m.lanczont.pollub.pl Zakres wykładu Pojęcia podstawowe Algebra
Bardziej szczegółowoKierunek i poziom studiów: Matematyka, studia I stopnia (licencjackie), rok I
Uniwersytet Śląski w Katowicach str. 1 Kierunek i poziom studiów: Matematyka, studia I stopnia (licencjackie), rok I Sylabus modułu: Wstęp do algebry liniowej i geometrii analitycznej (03-M01N-12-WALG)
Bardziej szczegółowoP. F. Góra.
Komputerowa analiza zagadnień różniczkowych 10. Dygresje matematycze: Metody iteracyjne rozwiazywania układów równań liniowych, minimalizacja wielowymiarowa i układy równań algebraicznych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/
Bardziej szczegółowoMatematyka stosowana i metody numeryczne
Ewa Pabisek Adam Wosatko Piotr Pluciński Matematyka stosowana i metody numeryczne Konspekt z wykładu 8 Interpolacja Interpolacja polega na budowaniu tzw. funkcji interpolujących ϕ(x) na podstawie zadanych
Bardziej szczegółowocx cx 1,cx 2,cx 3,...,cx n. Przykład 4, 5
Matematyka ZLic - 07 Wektory i macierze Wektorem rzeczywistym n-wymiarowym x x 1, x 2,,x n nazwiemy ciąg n liczb rzeczywistych (tzn odwzorowanie 1, 2,,n R) Zbiór wszystkich rzeczywistych n-wymiarowych
Bardziej szczegółowo