Teoria i metody optymalizacji

Podobne dokumenty
Nieliniowe zadanie optymalizacji bez ograniczeń numeryczne metody iteracyjne optymalizacji

min h = x x Algorytmy optymalizacji lokalnej Nieliniowe zadanie optymalizacji bez ograniczeń numeryczne metody iteracyjne optymalizacji x x

Technika optymalizacji

Teoria i metody optymalizacji

n R ZałóŜmy, Ŝe istnieje d, dla którego: Metody optymalizacji Dr inŝ. Ewa Szlachcic otwarte otoczenie R n punktu x, Ŝe

N ( µ, σ ). Wyznacz estymatory parametrów µ i. Y które są niezależnymi zmiennymi losowymi.

Analiza Matematyczna Ćwiczenia. J. de Lucas

Zadanie 1. Rzucamy symetryczną monetą tak długo, aż w dwóch kolejnych rzutach pojawią się,,reszki. Oblicz wartość oczekiwaną liczby wykonanych rzutów.

W loterii bierze udział 10 osób. Regulamin loterii faworyzuje te osoby, które w eliminacjach osiągnęły lepsze wyniki:

wykład nr 2 Metody obliczeniowe metody rozwiązywania równań nieliniowych zadanie optymalizacji

W zadaniu nie ma polecenia wyznaczania estymatora nieobciążonego o minimalnej wariancji. σ σ σ σ σ = =

Stanisław Cichocki Natalia Nehrebecka. Zajęcia 7-8

FUNKCJE DWÓCH ZMIENNYCH

f f x f, f, f / / / METODA RÓŻNIC SKOŃCZONYCH niech N = 2 (2 równania różniczkowe zwyczajne liniowe I-rz.) lub jedno II-rzędu

( X, Y ) będzie dwuwymiarową zmienną losową o funkcji gęstości

Metoda najszybszego spadku

Permutacje. } r ( ) ( ) ( ) 1 2 n. f = M. Przybycień Matematyczne Metody Fizyki I Wykład 2-2

Prawdopodobieństwo i statystyka r.

W zadaniu nie ma polecenia wyznaczania estymatora nieobciążonego o minimalnej wariancji. σ σ σ σ σ = =

Matematyka dyskretna. 10. Funkcja Möbiusa

WYKŁAD nr 8 METODY CYFROWE POSZUKIWANIA MINIMUM FUNKCJI. Zadania minimalizacji funkcji bez ograniczeń można wyrazić następująco

Prawdopodobieństwo i statystyka r.

Technika optymalizacji

Indukcja matematyczna

X i T (X) = i=1. i + 1, X i+1 i + 1. Cov H0. ( X i. k 31 ) 1 Φ(1, 1818) 0, 12.

i = 0, 1, 2 i = 0, 1 33,115 1,698 0,087 0,005!0,002 34,813 1,785 0,092 0,003 36,598 1,877 0,095 38,475 1,972 40,447 i = 0, 1, 2, 3

APROKSYMACJA I INTERPOLACJA. funkcja f jest zbyt skomplikowana; użycie f w dalszej analizie problemu jest trudne

Bezgradientowe metody optymalizacji funkcji wielu zmiennych. informacje dodatkowe

JEDNOWYMIAROWA ZMIENNA LOSOWA

PERMUTACJE Permutacją zbioru n-elementowego X nazywamy dowolną wzajemnie jednoznaczną funkcję f : X X X

ZMIENNA LOSOWA JEDNOWYMIAROWA POJĘCIE ZMIENNEJ LOSOWEJ

EKSTREMA FUNKCJI EKSTREMA FUNKCJI JEDNEJ ZMIENNEJ. Tw. Weierstrassa Każda funkcja ciągła na przedziale domkniętym ma wartość najmniejszą i największą.

Plan wykładu. Sztuczne sieci neuronowe. Algorytmy gradientowe optymalizacji. Uczenie z nauczycielem. Wykład 4: Algorytmy optymalizacji

PRZEDZIAŁOWE METODY ROZWIĄZYWANIA ALGEBRAICZNYCH RÓWNAŃ NIELINIOWYCH MECHANIKI KONSTRUKCJI

Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania MODELOWANIE I PODSTAWY IDENTYFIKACJI

Stanisław Cichocki. Natalia Nehrebecka. Zajęcia 5

ZAGADNIENIE TRANSPORTOWE

Wnioskowanie statystyczne dla korelacji i regresji.

Numeryczne metody optymalizacji Optymalizacja w kierunku. informacje dodatkowe

Portfel złożony z wielu papierów wartościowych

TESTY NORMALNOŚCI. ( Cecha X populacji ma rozkład normalny). Hipoteza alternatywna H1( Cecha X populacji nie ma rozkładu normalnego).

Rachunek różniczkowy funkcji wielu zmiennych

Politechnika Poznańska

MATEMATYKA STOSOWANA W INŻYNIERII CHEMICZNEJ

Rozwiązywanie zadań optymalizacji w środowisku programu MATLAB

( ) ( ) ( ) ( ) ( ) ( )

VIII. NIELINIOWE ZAGADNIENIA MECHANIKI

f '. Funkcja h jest ciągła. Załóżmy, że ciąg (z n ) n 0, z n+1 = h(z n ) jest dobrze określony, tzn. n 0 f ' ( z n

Nadokreślony Układ Równań

5. Maszyna Turinga. q 1 Q. Konfiguracja: (q,α β) q stan αβ niepusta część taśmy wskazanie położenia głowicy

Różniczkowanie funkcji rzeczywistych wielu zmiennych. Matematyka Studium doktoranckie KAE SGH Semestr letni 2008/2009 R. Łochowski

8.1 Zbieżność ciągu i szeregu funkcyjnego

Wykłady z Analizy rzeczywistej i zespolonej w Matematyce stosowanej. Literatura. W. Rudin: Podstawy analizy matematycznej, PWN, Warszawa, 1982.

ma rozkład normalny z wartością oczekiwaną EX = EY = 1, EZ = 0 i macierzą kowariancji

IV. ZMIENNE LOSOWE DWUWYMIAROWE

i i i = (ii) TAK sprawdzamy (i) (i) NIE

5. OPTYMALIZACJA NIELINIOWA

ZAGADNIENIE W POSTACI OGÓLNEJ

Badanie stabilności układu sterowania statkiem z nieliniowym autopilotem

Referaty wygłoszone w roku akademickim 2007/08

Lista 6. Kamil Matuszewski 26 listopada 2015

będą niezależnymi zmiennymi losowymi z rozkładu o gęstości

METODY KOMPUTEROWE 1

Statystyka Matematyczna Anna Janicka

Teoria Sygnałów. III rok Informatyki Stosowanej. Wykład 7 [ ] ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) Analiza częstotliwościowa dyskretnych sygnałów cyfrowych

Równania rekurencyjne

1. Relacja preferencji

k k M. Przybycień Rachunek Prawdopodobieństwa i Statystyka Wykład 13-2

SZTUCZNA INTELIGENCJA

Badania operacyjne. Algorytm simpleks. Organizacja zajęć. Zaliczenie. Literatura. Program zajęć

IX. ZAGADNIENIA TEORII PLASTYCZNOŚCI

będą niezależnymi zmiennymi losowymi o tym samym 2 x

Teoria Sygnałów. II Inżynierii Obliczeniowej. Wykład /2019 [ ] ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

Pojęcie statystyki. Definicja. Wektorową funkcję mierzalną T: X T(X)=(T 1 (X),...,T k (X)) R k wymiarową statystyką. próby X nazywamy k

1. Struktura montażowa

Laboratorium ochrony danych

ELEMENTY OPTYKI GEOMETRYCZNEJ

Granica i ciągłość funkcji. 1 Granica funkcji rzeczywistej jednej zmiennej rzeczywistej

Definicja interpolacji

3. OPTYMALIZACJA NIELINIOWA

Dokonajmy zestawienia wszystkich równań teorii sprężystości. 1. Różniczkowe równania równowagi (warunki Naviera)

Analiza matematyczna i algebra liniowa

( ) ( ) ( ) ( ) ( ) ( )

Teoria i metody optymalizacji

Metody optymalizacji nieliniowej (metody programowania nieliniowego) Ewa Niewiadomska-Szynkiewicz Instytut Automatyki i Informatyki Stosowanej

Podstawy matematyki finansowej i ubezpieczeniowej

Statystyka. Wykład 2. Krzysztof Topolski. Wrocław, 11 października 2012

Wyk lad 8 Zasadnicze twierdzenie algebry. Poj. ecie pierścienia

Granica i ciągłość funkcji. 1 Granica funkcji rzeczywistej jednej zmiennej rzeczywsitej

Zadanie 1. ), gdzie 1. Zmienna losowa X ma rozkład logarytmiczno-normalny LN (, . EX (A) 0,91 (B) 0,86 (C) 1,82 (D) 1,95 (E) 0,84

Minimalizacja globalna. Algorytmy genetyczne i ewolucyjne.

ZAJĘCIA NR 3. loga. i nosi nazwę entropii informacyjnej źródła informacji. p. oznacza, Ŝe to co po im występuje naleŝy sumować biorąc za i

Automatyka i Robotyka Analiza Wykład 27 dr Adam Ćmiel

( ) ( ) 2. Zadanie 1. są niezależnymi zmiennymi losowymi o. oraz. rozkładach normalnych, przy czym EX. i σ są nieznane. 1 Niech X

Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania

Wykład FIZYKA I. 6. Zasada zachowania pędu. Dr hab. inż. Władysław Artur Woźniak

INSTYTUT ŁĄCZNOŚCI PAŃSTWOWY INSTYTUT BADAWCZY. Zakład Teletransmisji i Technik Optycznych (Z-14)

Podprzestrzenie macierzowe

Typ może być dowolny. //realizacja funkcji zamiana //przestawiajacej dwa elementy //dowolnego typu void zamiana(int &A, int &B) { int t=a; A=B; B=t; }

Transkrypt:

Teora metoy optymalzacj Nelowe zaae optymalzacj bez ograczeń umerycze metoy teracyje optymalzacj m x R f = f x Algorytmy poszuwaa mmum loalego zaaa programowaa elowego: Bez ograczeń Z ograczeam Algorytmy zbeŝe o mmum loalego x*, jeŝel ta put steje. I. Tech optymalzacj loalej A.I Iteracyje algorytmy optymalzacj Algorytmy optymalzacj w eruu Algorytmy optymalzacj bez ograczeń Algorytmy optymalzacj z ograczeam Algorytmy zbeŝe o mmum loalego x*, jeŝel ta put steje. Algorytm optymalzacj loalej - przemerzae obszaru rozwązań opuszczalych w poszuwau estremum fucj celu weług teracyjego schematu. Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Schemat algorytmu optymalzacj loalej bez ograczeń ( Wyberz put startowy xo=x. ( Oblcz wartość fucj f(x oraz jeŝel jest to wymagae to jej graet f(x (3 Zbaaj przyjęte ryterum zbeŝośc. Jeśl ryterum jest spełoe to oec algorytmu uzysao rozwązae optymale x optymalą wartość fucj celu f(x JeŜel e, to przejź o (4 Do mmalzacj w eruu moŝa uŝyć lu algorytmów tach ja p.: Algorytmy bez-graetowe: złotego pozału, aprosymacj waratowej, (4 Wyzacz ustaloy erue poszuwań : (5 Wyoaj mmalzację eruową wybraą metoą: + x T( x, (6 Postaw przejź o ( x x + oraz + Algorytmy graetowe: espasj otracj geometryczej z testem jeosośym, logarytmczy złoty pozał oca ze wstępą espasją otracją geometryczą, aprosymacj parabolczej z testem jeosośym, bsecj z testem wusośym Golste a, Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Iteracja metoy poszuwaa mmum w eruu Przebeg typowej -tej teracj owolej metoy realzującej eę poszuwaa wzłuŝ eruu:. Oreśl erue poszuwań. ZbeŜość cągu putów { x } Defcja. Mówmy, Ŝe cąg putów = jest zbeŝy o putu x jeŝel cąg róŝc -tych przyblŝeń putu optymalego (putu mmum h = x x zbega o zera, co w przestrze R ozacza, Ŝe h ~. Zajźα mmalzujące f ( α = f + α ze wzglęu a α. 3. Postaw x = x + α. + Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya

Teora metoy optymalzacj Krytera zbeŝośc: Algorytmy optymalzacj loalej. Test teoretyczy f fˆ, x xˆ. PrzyblŜoa stacjoarość rozwązaa = g 3. Testy pratycze: x x, =,..., lub f f + g Algorytmy bezgraetowe Algorytm Hooe a-jeeves a Algorytm Neler -Meae a Algorytm Gauss a-sela Algorytm Powella Algorytmy graetowe Algorytm ajwęszego spau Zmoyfoway algorytm Newtoa Algorytm Zagwlla Algorytm Fletchera-Reeves a Algorytm Polaa-Rbery Algorytm Fletchera-Powella-Davoa Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Metoy postawowe eruów poprawy. Metoa Gaussa-Sela (bezgraetowa.. Metoa ajwęszego spau (graetowa. 3. Metoa Newtoa (graet hesja. x ( ( ( H= = e ( = = Hx { h } ( ( ( ( f j = x xj, j {,,..., } Metoa Gaussa-Sela (barzo wola zbeŝość lowa Metoa ajwęszego spau (zbeŝość lowa Metoa Newtoa (zbeŝa waratowo ale osztowa e zawsze stabla Ilustracja metoy Gaussa-Sela Najefetywejsze są tzw. metoy quas-ewtoowse, w tórych w olejych teracjach ostruuje sę przyblŝee owrotośc hesjau. Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc x Wyzał Eletro stua II st. er. Automatya Robotya Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Algorytm Gauss a-seela Istotą metoy jest mmalzacja fucj f(x wzłuŝ olejych eruów ortogoalej bazy, tóra utworzoa jest z wersorów ułau współrzęych artezjańsch. Algorytm Gaussa-Seela polega a cylczym stosowau owzorowaa T o eruów. Wyoae jeego taego cylu azywa sę -tą terację. Owzorowae T: T( x, = + + + { x } : f = mf + τ, x = x + τ τ σ Algorytm oblczeń metoa Gauss a-sela ( Wyberz put startowy x o =x. Oblcz wartość fucj f(x ( Zbaaj ryterum zbeŝośc: x x + +, =,..., oraz f f gze ε [, δ ] p.: ε = 6 Jeśl ta, to oec, jeśl e, to przejź o (3 Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya

Teora metoy optymalzacj (3 Wyzacz erue poszuwań : są to oleje eru ortogoalej bazy =e Np. e = [,,...,] (4 Wyoaj mmalzację eruową wybraą metoą: + x T, (5 Postaw x x + oraz + powtórz ( Metoa ajwęszego spau NS jest to metoa graetowa, tóra pozwala szuać mmum róŝczowalej fucj elowej f(x. Kocepcja metoy wya z lematu, w tórym wyazao, Ŝe jeśl steje erue w przestrze R to ta, Ŝe, < f +τ < f Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Algorytm oblczeń metoa NS ( Wyberz put startowy x o =x. Oblcz wartość fucj f(x oraz jej graet f(x ( Zbaaj ryterum zbeŝośc: f, = czyl, (3 Wyzacz erue poszuwań : = ( x (4 Wyoaj mmalzację eruową wybraą metoą: + x T, (5 Postaw x x + oraz + powtórz ( gze ε [, δ ] p.: ε = 6 Jeśl ta, to oec, jeśl e, to przejź o (3 Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Algorytm bsecj z testem wusośym Golste a algorytm graetowy Do mmalzacj w eruu zastosowao graetowy algorytm bsecj z testem wusośym Golste a : Pratycze o wyszuaa putów spełających test wusośy Golstea stosuje sę astępujący algorytm bsecj: ( Oblcz pochoą w eruu p= o T oraz współczy rou τ R > ta, Ŝe f + τ R < f ( Wyzacz τ = ( τl+ τr. Oblcz f + τ. (3 Jeśl f + τ < f + ( β pτ to postaw τ L przejź o rou (, w przecwym raze przejź o rou (4 (4 Jeśl f + τ > f + βpτ to postaw τ R przejź o rou (, w przecwym przypau oec. Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya 3

Teora metoy optymalzacj Dzałae algorytmu bsecj z testem wusośym Golste'a la fucj: Pochoa w eruu zatem mamy: p= o T f(x, x = (x + (x 6x + x x put początowy x = [, ] T erue = [, ] T współczy testu β = początowa wartość współczya rou τ R = 9 ołaość la testu ε = 5 5 la x = x = [, ] T = f, f = x 6+ x,4x + x x x = [ 6,] Otrzymujemy wartość pochoej p: o T p= = [ 6 ] = 6 Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya ( Oblczamy τ = ( τl+ τr oraz f + τ. τ = ( τr = (9 = 4,5 f + τ = f(, + (4,5, =,5-7= - 6,75 (3 JeŜel f + τ < f + ( β pτ to postaw τ L przejź o rou (. W przecwym wypau przejź o rou (4 Przechozmy o rou (3 sprawzamy: -6,75 <? NIE + ( 6 (,6 (4,5 = 6, Przechozmy o rou (4 Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya (4 JeŜel to postaw f + τ > f + βpτ τ R przejź o rou (. W przecwym wypau KONIEC ( 8 sprawzamy: -6,75 >? TAK + ( 6,4 (4,5 =, przechozmy o rou ( DRUGA ITERACJA (... Po trzecej teracj otrzymujemy wy τ=3,375 Dzałae algorytmu ajszybszego spau la fucj: f(x, x = (x + (x x x put początowy x = [, 3] T współczy testu β = 4 początowa wartość współczya rou τ R = Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya 4

Teora metoy optymalzacj Oblczamy = = [, ] T PoewaŜ perwsza stosowaa wartość współczya rou τ R = speła test wusośy Golstea, węc: x = x + τ = [ ] T = = [ ] T W rugej teracj mamy: f + τ = τ 8τ + Otrzymujemy: T p= = [ ] = 8 Zatem test wusośy ma postać -6 τ - 8τ - Za pomocą algorytmu bsecj (test wusośy Golstea w trzecej próbe zajujemy wartość współczya τ =,5 Stą x = x + τ = [ ] T Postępując zgoe z algorytmem otrzymujemy oleje wartośc putów optymalzowaej fucj. Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Kolejo poae są puty wyzaczoe za pomocą algorytmu ajszybszego spau la fucj: f(x, x = (x + (x x x Fucja celu f(x x = [ 3] x = [ ] x = [ ] 3 x = [ ] 4 4 x = [ ] t... 4 4 I ta olejo, aŝ o mometu gy zostae spełoy warue ^, ^ < ε = 3 Ta uzysao rozwązae optymale x =[,] f(x =. M Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Koleje teracje metoy ajwęszego spau NS Algorytmy optymalzacj z ograczeam x W celu uwzglęea ograczeń moŝa postąpć w poŝszy sposób: ooać trasformacj zmeych ecyzyjych ooać trasformacj fucj celu wprowazając fucje ary. Przyłay trasformacj zmeych la typowych ograczeń: x x 5 x 3 x^ x 4 x.. 3. x x a x b x = u x = exp( u x = u x s = u exp( u x = exp( u + exp( u x = a + ( b a s ( u Teora metoy Moptymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya 5

Teora metoy optymalzacj Algorytmy optymalzacj z ograczeam c. Algorytmy optymalzacj z ograczeam c. Trasformacja fucj ryteralej: m P( x, σ, θ = f + σϕ ( g + θ H ( g + θ = Fucja ary charateryzuje sę tym, Ŝe w zborze rozwązań opuszczalych X przyjmuje wartość rówą zeru lub blsą zeru, a poza tym obszarem przyjmuje barzo uŝe wartośc. Gze: σ >, σ = [ σ, σ,..., σ ] m θ >, θ = [ θ, θ,..., θ ] m φ( fucja ary jest wetorem współczyów ary jest wetorem przesuęć ary ϕ ( g + θ : p. ( g + θ lub ( g + θ Fucja H ma poŝszą własość: H ( g + θ = lag + θ > lag + θ. Metoy zewętrzej fucj ary (metoa Courata, metoa Schmta Foxa. Metoy wewętrzej fucj ary (metoa Rosebroca, metoa Carolla 3. Metoy przesuwaej fucj ary (metoa Powella. Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya Teora metoy optymalzacj Dr Ŝ. Ewa Szlachcc Wyzał Eletro stua II st. er. Automatya Robotya 6