KADD Minimalizacja funkcji
|
|
- Maja Szulc
- 7 lat temu
- Przeglądów:
Transkrypt
1 Minimalizacja funkcji n-wymiarowych Forma kwadratowa w n wymiarach Procedury minimalizacji Minimalizacja wzdłuż prostej w n-wymiarowej przestrzeni Metody minimalizacji wzdłuż osi współrzędnych wzdłuż kierunków sprzężonych do gradientu przy pomocy formy kwadratowej metodą Marquardta Wybór metody minimalizacji Błędy mninimalizacji 1
2 Forma kwadratowa Rozważmy prostą formę kwadratową: M x=c bx1/2 A x 2 która osiąga ekstremum w miejscach zerowych pierwszej pochodnej: dm dx =0 = bxa x czyli gdy x = x m = b/a. Oznaczymy M(x m ) = M m i: M x M m =1/2 A x x m 2 Bardziej skomplikowane funkcje można zawsze przybliżyć przez taką formę w pobliżu minimum poprzez rozwinięcie w szereg Taylora w x 0 : M x=m x 0 b x x 0 1/2 A x x 0 2 skąd b=-m'(x 0 ) i A=M''(x 0 ) a minimum funkcji jest w x mp =x 0 b/ A 2
3 Minimalizacja w n wymiarach W przypadku n niezależnych zmiennych forma kwadratowa ma postać: M x=c b x1/2 x T A x=c k b k x k 1/2 k,l x k A kl x l Gdzie A jest macierzą symetryczną Pochodne względem x i są dane jako: dm dx i = b i x1/2 l A il x l k A ki = b i l A il x l lub w zwartej postaci: M= ba x i analogicznie do przypadku jednowymiarowego: x m =A 1 b Gdy funkcja M nie jest prostą formą kwadratową, rozwijamy ją w szereg Taylora wokół x 0 M x=m x 0 b x x 0 1/2 x x 0 T A x x 0 3
4 Procedury minimalizacji w n wymiarach Wtedy gradient i macierz drugich pochodnych to: b= M x 0, tzn. b i = M x i x=x0 A ik = 2 M I tworzymy procedury minimalizacyjne: Minimalizacja w kierunku gradientu Rozpoczynając od x0 poszukujemy minimum w kierunku gradientu M(x 0 ). Wynik: x 1 bierzemy jako następne przybliżenie i poszukujemy dalej w kierunku M(x 1 ). Jest to metoda największego spadku dla przypadku wielowymiarowego. x i x k x=x0 4
5 Procedury n-wymiarowe c.d. Krok o zadanej długości w kierunku gradientu Oblicza się wartość wektora: przy zadanej dodatniej liczbie c. Jest to więc krok w kierunku maksymalnego spadku, ale bez wyznaczania minimum w tym kierunku. Wykorzystanie gradientu i drugich pochodnych Korzystamy ze wzoru: x 1 =x 0 c b, b= M x 0 x mp =x 0 A 1 b Następnie rozwiązanie przyjmujemy jako następne przybliżenie, liczymy w tym punkcie gradienty i drugie pochodne i powtarzamy procedurę. 5
6 Min. w n-wymiarowej przestrzeni Procedury minimalizacyjne poznane na poprzednim wykładzie można prosto uogólnić na problem minimalizacji wzdłuż prostej w przestrzeni n-wymiarowej x 0 d x = x 0 +ad Mamy funkcję M zależną od wektora zmiennych x Przyjmujemy punkt x 0 i wektor d określające prostą w przestrzeni n- wymiarowej Problem sprowadzamy do minimalizacji funkcji jednej zmiennej: f a=m x 0 a d 6
7 Min. funkcji wielowymiarowych Aby dokonać minimalizacji w wielu wymiarach należy wybrać strategię postępowania. Nie można podać ogólnej procedury poszukującej obszaru zawierającego minimum Sprowadzamy problem do minimalizacji w jednym kierunku, podczas której posługujemy się procedurami poznanymi na poprzednim wykładzie w połączeniu z metodą minimalizacji wzdłuż prostej w przestrzeni n-wymiarowej W zależności od wyboru prostych wzdłuż których przeprowadzamy kolejne kroki mimimalizacji otrzymujemy metody o różnym stopniu komplikacji i zbieżności 7
8 Wzdłuż osi współrzędnych Najprostszą metodą jest minimalizacja kolejno wzdłuż poszczególnych osi współrzędnych Procedura posuwa się naprzemiennie wzdłuż osi współrzędnych Metoda ta jest stosunkowo wolno zbieżna ale niezawodna Nie wymaga liczenia pochodnych 8
9 Kierunki sprzężone Załóżmy iż minimalizowana funkcja jest formą kwadratową. W punkcie x jej gradient wynosi: M= ba x Jego zmiana przy przesunięciu o Δx to: M = M x x M x=a xa x A x=a x Jeżeli przeprowadziliśmy minimalizację w kierunku p, to aby nie zatracić minimalizacji w tym kierunku kolejną minimalizację przeprowadzamy w kierunku q takim, aby gradient zmieniał się jedynie w kierunku prostopadłym do p, czyli: p A q= p T A q=0 Wektory p i q to wektory sprzężone względem dodatnio określonej macierzy A 9
10 Wyznaczanie kierunków sprzężonych Wybieramy dowolny zbiór kierunków p i, np. wzdłuż wektorów jednostkowych p i =ε i. Startując z x 0 posuwamy się kolejno wzdłuż p i wyznaczając minima funkcji. Wyniki zapisujemy jako: a 1 = 1 p 1 2 p 2 n p n, a 2 = 2 p 2 n p n, a n = n p n gdzie a 1 to wektor otrzymany po wszystkich krokach minimalizacji. Punkt x 0 zastępujemy punktem x 1 : x 1 =x 0 a 1 10
11 Wyznaczanie kierunków sprzężonych Kierunek a 1 to średni kierunek otrzymany w wyniku wykonania pierwszych n kroków etapu. Wyznaczamy nowy zbiór kierunków: q 1 = p 2 q 2 = p 3 q n 1 = p n q n =a 1 / a 1 i w kolejnych krokach postępujemy analogicznie. Można wykazać, że po wykonaniu n kroków (czyli n(n+1) minimalizacjach) otrzymane kierunki są wzajemnie sprzężone. 11
12 Minimalizacja wzdłuż gradientu Śledzimy wartość wektora największego spadku (przeciwnego do gradientu) w punkcie x 0 : b x= M x W kolejnym punkcie znów obliczamy gradient funkcji i kontynuujemy poszukiwanie kolejnego minimum wzdłuż tego kierunku. W tej procedurze kolejne kroki są do siebie prostopadłe, gdyż w minimum gradient w kierunku minimalizacji znika. Nie można więc dostosować kierunku minimalizacji do kształtu funkcji. Metoda jest przez to wolno zbieżna, tak jak metoda kierunków jednostkowych. 12
13 Kierunki sprzężone do gradientu Wychodząc z dowolnego wektora g 1 =h 1 konstruujemy dwa ciągi wektorów: g i1 =g i i A h i, h i1 =g i i h i, gdzie współczynniki wynoszą: T g i i = g i g T i A h i i=1,2,, i=1,2,, i = g A h i1 i h T i A h i Otrzymane wektory g są do siebie prostopadłe, a kolejne wektory h są do siebie sprzężone Rozpoczynamy w x 0 i obliczamy gradient: g 1 = M x 0, h 1 = M x 0 Minimalizujemy w kierunku h 1 i wyznaczamy x 1 T g 2 = M x 1, h 2 =g 1 1 h 1, gdzie 1 = g 2 g 1 T g 1 g 1 T g 1 13
14 Przybliżanie formą kwadratową Gdy funkcja jest formą kwadratową, jej minimum znajdujemy natychmiast Każda funkcja może być przybliżona przez formę kwadratową przez rozwinięcie w szereg Taylora: gdzie M x=m x 0 b x x 0 1/2 x x 0 T A x x 0 i otrzymujemy wartość przybliżoną położenia minimum: W punkcie x 1 znów liczymy pochodne i procedurę powtarzamy b= M x o, x 1 =x 0 A 1 b A ik = 2 M x i x k 14
15 Metoda Marquardta W poprzedniej metodzie używaliśmy wzoru: x i =x i 1 A 1 b Zaś w metodzie największego spadku: x i =x i 1 I 1 b Zwiększając λ zmniejszamy krok. Gdy krok jest odpowiednio mały, to jesteśmy pewni, że podążamy w stronę minimum. Proponujemy metodę, która łączy szybkość zbieżności metody opartej na formie kwadratowej przy jednoczesnym zapewnieniu zmniejszania się funkcji M w każdym kroku przybliżenia. Obliczamy wyrażenie: x i =x i 1 A I 1 b 15
16 Metoda Marquardta - warunki Zakładamy pewną wartość początkową stałej λ (0). Zadajemy też liczbę ν>1. W kolejnym kroku rozważamy dwie wartości: λ (i-1) i λ (i-1) /ν. Obliczamy odpowiadające im wektory x i (λ (i-1) ) i x i (λ (i-1) /ν) oraz wartości funkcji M w tych punktach M i (x i (λ (i-1) )) i M i (ν) (x i (λ (i-1) /ν)). Porównujemy je z M i-1 (x i-1 ). I mamy: a. M i M i 1, x i =x i i 1 / i i = i 1 / b. M i M i 1 i M i M i 1, x i =x i i 1 i i = i 1 c. M i M i 1 i M i M i 1 W przypadku c) stałą λ (i-1) zastępujemy λ (i-1) ν i powtarzamy obliczenia wektorów x i wartości M 16
17 Wybór metody minimalizacji Poszczególne metody minimalizacji mają charakterystyczne właściwości: Minimalizacja wzdłuż wybranego kierunku Metoda sprzężonych gradientów Przybliżanie funkcji formą kwadratową Metoda Marquardta Niezawodność duża duża Szybkość zbieżności mała mała zależna od warunków duża początkowych duża maksymalna Obliczanie pierwszej pochodnej nie tak tak tak Obliczanie drugiej pochodnej nie nie tak tak 17
18 Sposób wyboru metody Wyboru metody minimalizacji dokonujemy biorąc pod uwagę charakterystyczne właściwości każdej z nich oraz następujące kryteria: Ile razy trzeba będzie powtarzać minimalizację? Jak dobrze znamy punkt początkowy? Czy mamy możliwość implementacji liczenia pierwszej i drugiej pochodnej funkcji analitycznie? Dodatkowo należy pamiętać, że przy metodzie najmniejszych kwadratów, ze względu na specyfikę problemu używamy zawsze metod podanych na odpowiednim wykładzie, a nie metod ogólnych 18
19 Błędy minimalizacji Rozważamy teraz dokładność otrzymanych w minimalizacji parametrów. Definiujemy wielkości: H ik = 2 M x i x k x= x W specjalnym przypadku gdy M jest sumą kwadratów, mamy mnożnik f QL =1, gdy zaś jest to logarytm funkcji wiarygodności, to f QL =1/2 Macierz kowariancji jest dana wzorem: C x =2 f QL H 1 Błędy symetryczne wynoszą wtedy: x i = c ii 19
20 Obszar ufności Macierz kowariancji definiuje elipsoidę kowariancji. Przy zadanym poziomie ufności W mamy też macierz ufności C x W = W 2 n f C x Gdzie χ 2 W to kwantyl odpowiedniego rozkładu χ2. Gdy nie można określić elipsoidy ufności, wciąż można mówić o obszarze ufności, czyli hiperpowierzchni na której: M x=m x W 2 n f f QL W takim przypadku mamy niesymetryczne błędy minimalizacji wyznaczane ze wzoru: min {M x; x i =x i± W } =M x W 2 n f f QL 20
KADD Minimalizacja funkcji
Minimalizacja funkcji Poszukiwanie minimum funkcji Foma kwadratowa Metody przybliżania minimum minimalizacja Minimalizacja w n wymiarach Metody poszukiwania minimum Otaczanie minimum Podział obszaru zawierającego
Bardziej szczegółowoKADD Metoda najmniejszych kwadratów funkcje nieliniowe
Metoda najmn. kwadr. - funkcje nieliniowe Metoda najmniejszych kwadratów Funkcje nieliniowe Procedura z redukcją kroku iteracji Przykłady zastosowań Dopasowanie funkcji wykładniczej Dopasowanie funkcji
Bardziej szczegółowoKomputerowa Analiza Danych Doświadczalnych
Komputerowa Analiza Danych Doświadczalnych Prowadząca: dr inż. Hanna Zbroszczyk e-mail: gos@if.pw.edu.pl tel: +48 22 234 58 51 konsultacje: poniedziałek, 10-11; środa: 11-12 www: http://www.if.pw.edu.pl/~gos/students/kadd
Bardziej szczegółowoOptymalizacja ciągła
Optymalizacja ciągła 5. Metody kierunków poparwy (metoda Newtona-Raphsona, metoda gradientów sprzężonych) Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 28.03.2019 1
Bardziej szczegółowoWstęp do metod numerycznych 11. Minimalizacja: funkcje wielu zmiennych. P. F. Góra
Wstęp do metod numerycznych 11. Minimalizacja: funkcje wielu zmiennych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2012 Strategia minimalizacji wielowymiarowej Zakładamy, że metody poszukiwania minimów
Bardziej szczegółowoUkłady równań nieliniowych (wielowymiarowa metoda Newtona-Raphsona) f(x) = 0, gdzie. dla n=2 np.
Układy równań nieliniowych (wielowymiarowa metoda Newtona-Raphsona f(x 0, f ( f, f,..., f n gdzie 2 x ( x, x 2,..., x n dla n2 np. f ( x, y 0 g( x, y 0 dla każdej wielowymiarowej rozwinięcie w szereg Taylora
Bardziej szczegółowoZADANIA OPTYMALIZCJI BEZ OGRANICZEŃ
ZADANIA OPTYMALIZCJI BEZ OGRANICZEŃ Maciej Patan Uniwersytet Zielonogórski WSTEP Zadanie minimalizacji bez ograniczeń f(ˆx) = min x R nf(x) f : R n R funkcja ograniczona z dołu Algorytm rozwiazywania Rekurencyjny
Bardziej szczegółowo1 Metody rozwiązywania równań nieliniowych. Postawienie problemu
1 Metody rozwiązywania równań nieliniowych. Postawienie problemu Dla danej funkcji ciągłej f znaleźć wartości x, dla których f(x) = 0. (1) 2 Przedział izolacji pierwiastka Będziemy zakładać, że równanie
Bardziej szczegółowoZaawansowane metody numeryczne
Wykład 11 Ogólna postać metody iteracyjnej Definicja 11.1. (metoda iteracyjna rozwiązywania układów równań) Metodą iteracyjną rozwiązywania { układów równań liniowych nazywamy ciąg wektorów zdefiniowany
Bardziej szczegółowoWstęp do metod numerycznych 12. Minimalizacja: funkcje wielu zmiennych. P. F. Góra
Wstęp do metod numerycznych 12. Minimalizacja: funkcje wielu zmiennych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2015 Strategia minimalizacji wielowymiarowej Zakładamy, że metody poszukiwania minimów
Bardziej szczegółowoUKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH
Transport, studia I stopnia rok akademicki 2011/2012 Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Uwagi wstępne Układ liniowych równań algebraicznych można
Bardziej szczegółowoWstęp do metod numerycznych 9a. Układy równań algebraicznych. P. F. Góra
Wstęp do metod numerycznych 9a. Układy równań algebraicznych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2012 Układy równań algebraicznych Niech g:r N równanie R N będzie funkcja klasy co najmniej
Bardziej szczegółowoPochodne cząstkowe i ich zastosowanie. Ekstrema lokalne funkcji
Pochodne cząstkowe i ich zastosowanie. Ekstrema lokalne funkcji Adam Kiersztyn Lublin 2014 Adam Kiersztyn () Pochodne cząstkowe i ich zastosowanie. Ekstrema lokalne funkcji maj 2014 1 / 24 Zanim przejdziemy
Bardziej szczegółowoWażne rozkłady i twierdzenia c.d.
Ważne rozkłady i twierdzenia c.d. Funkcja charakterystyczna rozkładu Wielowymiarowy rozkład normalny Elipsa kowariacji Sploty rozkładów Rozkłady jednostajne Sploty z rozkładem normalnym Pobieranie próby
Bardziej szczegółowoOptymalizacja ciągła
Optymalizacja ciągła 5. Metoda stochastycznego spadku wzdłuż gradientu Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 04.04.2019 1 / 20 Wprowadzenie Minimalizacja różniczkowalnej
Bardziej szczegółowoWykład Matematyka A, I rok, egzamin ustny w sem. letnim r. ak. 2002/2003. Każdy zdający losuje jedno pytanie teoretyczne i jedno praktyczne.
Wykład Matematyka A, I rok, egzamin ustny w sem. letnim r. ak. 2002/2003. Każdy zdający losuje jedno pytanie teoretyczne i jedno praktyczne. pytania teoretyczne:. Co to znaczy, że wektory v, v 2 i v 3
Bardziej szczegółowoPolitechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania
Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania Metody optymalizacji Metody bezgradientowe optymalizacji bez ograniczeń Materiały pomocnicze do ćwiczeń
Bardziej szczegółowoRozkłady wielu zmiennych
Rozkłady wielu zmiennych Uogólnienie pojęć na rozkład wielu zmiennych Dystrybuanta, gęstość prawdopodobieństwa, rozkład brzegowy, wartości średnie i odchylenia standardowe, momenty Notacja macierzowa Macierz
Bardziej szczegółowoWYKŁAD 9 METODY ZMIENNEJ METRYKI
WYKŁAD 9 METODY ZMIENNEJ METRYKI Kierunki sprzężone. Metoda Newtona Raphsona daje dobre przybliżenie najlepszego kierunku poszukiwań, lecz jest to okupione znacznym kosztem obliczeniowym zwykle postać
Bardziej szczegółowoWstęp do metod numerycznych Zadania numeryczne 2016/17 1
Wstęp do metod numerycznych Zadania numeryczne /7 Warunkiem koniecznym (nie wystarczającym) uzyskania zaliczenia jest rozwiązanie co najmniej 3 z poniższych zadań, przy czym zadania oznaczone literą O
Bardziej szczegółowoOptymalizacja ciągła
Optymalizacja ciągła 4. Metody kierunków poprawy (metoda spadku wzdłuż gradientu) Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 21.03.2019 1 / 41 Plan wykładu Minimalizacja
Bardziej szczegółowoIX. Rachunek różniczkowy funkcji wielu zmiennych. 1. Funkcja dwóch i trzech zmiennych - pojęcia podstawowe. - funkcja dwóch zmiennych,
IX. Rachunek różniczkowy funkcji wielu zmiennych. 1. Funkcja dwóch i trzech zmiennych - pojęcia podstawowe. Definicja 1.1. Niech D będzie podzbiorem przestrzeni R n, n 2. Odwzorowanie f : D R nazywamy
Bardziej szczegółowoUKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH
Transport, studia niestacjonarne I stopnia, semestr I Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Postać układu równań liniowych Układ liniowych równań algebraicznych
Bardziej szczegółowoRozwiązywanie układów równań liniowych
Rozwiązywanie układów równań liniowych Marcin Orchel 1 Wstęp Jeśli znamy macierz odwrotną A 1, to możęmy znaleźć rozwiązanie układu Ax = b w wyniku mnożenia x = A 1 b (1) 1.1 Metoda eliminacji Gaussa Pierwszy
Bardziej szczegółowoMetody numeryczne II
Metody numeryczne II Poszukiwanie ekstremów funkcji Janusz Szwabiński szwabin@ift.uni.wroc.pl Metody numeryczne II (C) 2004 Janusz Szwabiński p.1/55 Poszukiwanie ekstremów funkcji 1. Funkcje jednej zmiennej
Bardziej szczegółowo1 Pochodne wyższych rzędów
1 Pochodne wyższych rzędów Definicja 1.1 (Pochodne cząstkowe drugiego rzędu) Niech f będzie odwzorowaniem o wartościach w R m, określonym na zbiorze G R k. Załóżmy, że zbiór tych x G, dla których istnieje
Bardziej szczegółowo1.3. Optymalizacja geometrii czasteczki
0 1 Część teoretyczna 13 Optymalizacja geometrii czasteczki Poszukiwanie punktów stacjonarnych (krytycznych) funkcji stanowi niezwykle istotny problem w obliczeniowej chemii kwantowej Sprowadza się on
Bardziej szczegółowoStosowana Analiza Regresji
Stosowana Analiza Regresji Wykład VIII 30 Listopada 2011 1 / 18 gdzie: X : n p Q : n n R : n p Zał.: n p. X = QR, - macierz eksperymentu, - ortogonalna, - ma zera poniżej głównej diagonali. [ R1 X = Q
Bardziej szczegółowoWstęp do metod numerycznych 9. Minimalizacja: funkcje jednej zmiennej. P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/
Wstęp do metod numerycznych 9. Minimalizacja: funkcje jednej zmiennej P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2011 Lokalna minimalizacja ciagła Minimalizacja funkcji jest jedna z najważniejszych
Bardziej szczegółowoStatystyka opisowa. Wykład V. Regresja liniowa wieloraka
Statystyka opisowa. Wykład V. e-mail:e.kozlovski@pollub.pl Spis treści 1 Prosta regresji cechy Y względem cech X 1,..., X k. 2 3 Wyznaczamy zależność cechy Y od cech X 1, X 2,..., X k postaci Y = α 0 +
Bardziej szczegółowoWykład 14. Elementy algebry macierzy
Wykład 14 Elementy algebry macierzy dr Mariusz Grządziel 26 stycznia 2009 Układ równań z dwoma niewiadomymi Rozważmy układ równań z dwoma niewiadomymi: a 11 x + a 12 y = h 1 a 21 x + a 22 y = h 2 a 11,
Bardziej szczegółowoUczenie sieci typu MLP
Uczenie sieci typu MLP Przypomnienie budowa sieci typu MLP Przypomnienie budowy neuronu Neuron ze skokową funkcją aktywacji jest zły!!! Powszechnie stosuje -> modele z sigmoidalną funkcją aktywacji - współczynnik
Bardziej szczegółowoIteracyjne rozwiązywanie równań
Elementy metod numerycznych Plan wykładu 1 Wprowadzenie Plan wykładu 1 Wprowadzenie 2 Plan wykładu 1 Wprowadzenie 2 3 Wprowadzenie Metoda bisekcji Metoda siecznych Metoda stycznych Plan wykładu 1 Wprowadzenie
Bardziej szczegółowo1 Równania nieliniowe
1 Równania nieliniowe 1.1 Postać ogólna równania nieliniowego Często występującym, ważnym problemem obliczeniowym jest numeryczne poszukiwanie rozwiązań równań nieliniowych, np. algebraicznych (wielomiany),
Bardziej szczegółowoOptymalizacja (minimalizacja) funkcji. Plan wykładu: 1. Sformułowanie problemu, funkcja celu. 2. Metody bezgradientowe
Optymalizacja (minimalizacja) funkcji Plan wykładu: 1. Sformułowanie problemu, funkcja celu. Metody bezgradientowe a) metoda złotego podziału b) metoda sympleks c) metoda interpolacji Powell'a 3. Metody
Bardziej szczegółowoMetody numeryczne II
Metody numeryczne II Poszukiwanie ekstremów funkcji Janusz Szwabiński szwabin@ift.uni.wroc.pl nmslides-13.tex Metody numeryczne II Janusz Szwabiński 29/5/2003 14:40 p.1/55 Poszukiwanie ekstremów funkcji
Bardziej szczegółowoWeryfikacja hipotez statystycznych
Weryfikacja hipotez statystycznych Hipoteza Test statystyczny Poziom istotności Testy jednostronne i dwustronne Testowanie równości wariancji test F-Fishera Testowanie równości wartości średnich test t-studenta
Bardziej szczegółowoZ52: Algebra liniowa Zagadnienie: Zastosowania algebry liniowej Zadanie: Operatory różniczkowania, zagadnienie brzegowe.
Z5: Algebra liniowa Zagadnienie: Zastosowania algebry liniowej Zadanie: Operatory różniczkowania zagadnienie brzegowe Dyskretne operatory różniczkowania Numeryczne obliczanie pochodnych oraz rozwiązywanie
Bardziej szczegółowo5. Metody stochastyczne (symulowane wyżarzanie, algorytmy genetyczne) -> metody Monte Carlo
Optymalizacja (minimalizacja) funkcji Plan wykładu: 1. Sformułowanie problemu, funkcja celu 2. Metody bezgradientowe a) metoda złotego podziału b) metoda sympleks c) metoda interpolacji Powell'a 3. Metody
Bardziej szczegółowoMetody numeryczne rozwiązywania równań różniczkowych
Metody numeryczne rozwiązywania równań różniczkowych Marcin Orchel Spis treści Wstęp. Metody przybliżone dla równań pierwszego rzędu................ Metoda kolejnych przybliżeń Picarda...................2
Bardziej szczegółowoProgramowanie celowe #1
Programowanie celowe #1 Problem programowania celowego (PC) jest przykładem problemu programowania matematycznego nieliniowego, który można skutecznie zlinearyzować, tzn. zapisać (i rozwiązać) jako problem
Bardziej szczegółowoROZWIĄZYWANIE RÓWNAŃ NIELINIOWYCH
Transport, studia I stopnia Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Postać ogólna równania nieliniowego Często występującym, ważnym problemem obliczeniowym
Bardziej szczegółowoW naukach technicznych większość rozpatrywanych wielkości możemy zapisać w jednej z trzech postaci: skalara, wektora oraz tensora.
1. Podstawy matematyki 1.1. Geometria analityczna W naukach technicznych większość rozpatrywanych wielkości możemy zapisać w jednej z trzech postaci: skalara, wektora oraz tensora. Skalarem w fizyce nazywamy
Bardziej szczegółowoPrzegląd metod optymalizacji wielowymiarowej. Funkcja testowa. Funkcja testowa. Notes. Notes. Notes. Notes. Tomasz M. Gwizdałła
Przegląd metod optymalizacji wielowymiarowej Tomasz M. Gwizdałła 2012.12.06 Funkcja testowa Funkcją testową dla zagadnień rozpatrywanych w ramach tego wykładu będzie funkcja postaci f (x) = (x 1 1) 4 +
Bardziej szczegółowoWprowadzenie Metoda bisekcji Metoda regula falsi Metoda siecznych Metoda stycznych RÓWNANIA NIELINIOWE
Transport, studia niestacjonarne I stopnia, semestr I Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Postać ogólna równania nieliniowego Zazwyczaj nie można znaleźć
Bardziej szczegółowoINTERPOLACJA I APROKSYMACJA FUNKCJI
Transport, studia niestacjonarne I stopnia, semestr I Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Wprowadzenie Na czym polega interpolacja? Interpolacja polega
Bardziej szczegółowoMetoda określania pozycji wodnicy statków na podstawie pomiarów odległości statku od głowic laserowych
inż. Marek Duczkowski Metoda określania pozycji wodnicy statków na podstawie pomiarów odległości statku od głowic laserowych słowa kluczowe: algorytm gradientowy, optymalizacja, określanie wodnicy W artykule
Bardziej szczegółowoProgramowanie liniowe metoda sympleks
Programowanie liniowe metoda sympleks Mirosław Sobolewski Wydział Matematyki, Informatyki i Mechaniki UW wykład z algebry liniowej Warszawa, styczeń 2009 Mirosław Sobolewski (UW) Warszawa, 2009 1 / 13
Bardziej szczegółowoZastosowania pochodnych
Zastosowania pochodnych Zbigniew Koza Wydział Fizyki i Astronomii Wrocław, 2015 SZACOWANIE NIEPEWNOŚCI POMIAROWEJ Przykład: objętość kuli Kulka z łożyska tocznego ma średnicę 2,3 mm, co oznacza, że objętość
Bardziej szczegółowoUkłady równań i równania wyższych rzędów
Rozdział Układy równań i równania wyższych rzędów Układy równań różniczkowych zwyczajnych Wprowadzenie W poprzednich paragrafach zajmowaliśmy się równaniami różniczkowymi y = f(x, y), których rozwiązaniem
Bardziej szczegółowo1 Funkcje dwóch zmiennych podstawowe pojęcia
1 Funkcje dwóch zmiennych podstawowe pojęcia Definicja 1 Funkcją dwóch zmiennych określoną na zbiorze A R 2 o wartościach w zbiorze R nazywamy przyporządkowanie każdemu punktowi ze zbioru A dokładnie jednej
Bardziej szczegółowoFunkcje charakterystyczne zmiennych losowych, linie regresji 1-go i 2-go rodzaju
Funkcje charakterystyczne zmiennych losowych, linie regresji -go i 2-go rodzaju Dr Joanna Banaś Zakład Badań Systemowych Instytut Sztucznej Inteligencji i Metod Matematycznych Wydział Informatyki Politechniki
Bardziej szczegółowoDefinicja pochodnej cząstkowej
1 z 8 gdzie punkt wewnętrzny Definicja pochodnej cząstkowej JeŜeli iloraz ma granicę dla to granicę tę nazywamy pochodną cząstkową funkcji względem w punkcie. Oznaczenia: Pochodną cząstkową funkcji względem
Bardziej szczegółowoMetody iteracyjne rozwiązywania układów równań liniowych (5.3) Normy wektorów i macierzy (5.3.1) Niech. x i. i =1
Normy wektorów i macierzy (5.3.1) Niech 1 X =[x x Y y =[y1 x n], oznaczają wektory przestrzeni R n, a yn] niech oznacza liczbę rzeczywistą. Wyrażenie x i p 5.3.1.a X p = p n i =1 nosi nazwę p-tej normy
Bardziej szczegółowoMETODY NUMERYCZNE. Wykład 4. Numeryczne rozwiązywanie równań nieliniowych z jedną niewiadomą. prof. dr hab.inż. Katarzyna Zakrzewska
METODY NUMERYCZNE Wykład 4. Numeryczne rozwiązywanie równań nieliniowych z jedną niewiadomą prof. dr hab.inż. Katarzyna Zakrzewska Met.Numer. Wykład 4 1 Rozwiązywanie równań nieliniowych z jedną niewiadomą
Bardziej szczegółowoKomputerowa Analiza Danych Doświadczalnych
Komputerowa Analiza Danych Doświadczalnych dr inż. Adam Kisiel kisiel@if.pw.edu.pl pokój 117b (12b) 1 Materiały do wykładu Transparencje do wykładów: http://www.if.pw.edu.pl/~kisiel/kadd/kadd.html Literatura
Bardziej szczegółowoProgramowanie liniowe metoda sympleks
Programowanie liniowe metoda sympleks Mirosław Sobolewski Wydział Matematyki, Informatyki i Mechaniki UW 13. wykład z algebry liniowej Warszawa, styczeń 2018 Mirosław Sobolewski (UW) Warszawa, 2018 1 /
Bardziej szczegółowo2 1 3 c c1. e 1, e 2,..., e n A= e 1 e 2...e n [ ] M. Przybycień Matematyczne Metody Fizyki I
Liniowa niezależno ność wektorów Przykład: Sprawdzić czy następujące wektory z przestrzeni 3 tworzą bazę: e e e3 3 Sprawdzamy czy te wektory są liniowo niezależne: 3 c + c + c3 0 c 0 c iei 0 c + c + 3c3
Bardziej szczegółowoWykład 12 i 13 Macierz w postaci kanonicznej Jordana , 0 A 2
Wykład 12 i 13 Macierz w postaci kanonicznej Jordana Niech A - macierz kwadratowa stopnia n Jak obliczyć np A 100? a 11 0 0 0 a 22 0 Jeśli A jest macierzą diagonalną tzn A =, to Ak = 0 0 a nn Niech B =
Bardziej szczegółowoCo to jest wektor? Jest to obiekt posiadający: moduł (długość), kierunek wraz ze zwrotem.
1 Wektory Co to jest wektor? Jest to obiekt posiadający: moduł (długość), kierunek wraz ze zwrotem. 1.1 Dodawanie wektorów graficzne i algebraiczne. Graficzne - metoda równoległoboku. Sprowadzamy wektory
Bardziej szczegółowoRozwiązywanie algebraicznych układów równań liniowych metodami iteracyjnymi. Plan wykładu:
Rozwiązywanie algebraicznych układów równań liniowych metodami iteracynymi Plan wykładu: 1. Przykłady macierzy rzadkich i formaty ich zapisu 2. Metody: Jacobiego, Gaussa-Seidla, nadrelaksaci 3. Zbieżność
Bardziej szczegółowoMetody Numeryczne Optymalizacja. Wojciech Szewczuk
Metody Numeryczne Optymalizacja Optymalizacja Definicja 1 Przez optymalizację będziemy rozumieć szukanie minimów lub maksimów funkcji. Optymalizacja Definicja 2 Optymalizacja lub programowanie matematyczne
Bardziej szczegółowoSterowanie optymalne
Sterowanie optymalne Sterowanie Procesami Ciągłymi 2017 Optymalizacja statyczna funkcji Funkcja celu/kryterialna/kosztów Ograniczenie Q(x) min x x = arg min Q(x) x x X, gdzie X zbiór rozwiązań dopuszczalnych
Bardziej szczegółowoWstęp do metod numerycznych Rozwiazywanie równań algebraicznych. P. F. Góra
Wstęp do metod numerycznych Rozwiazywanie równań algebraicznych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2010 Co to znaczy rozwiazać równanie? Przypuśmy, że postawiono przed nami problem rozwiazania
Bardziej szczegółowoRozwiązywanie równań nieliniowych i ich układów. Wyznaczanie zer wielomianów.
Rozwiązywanie równań nieliniowych i ich układów. Wyznaczanie zer wielomianów. Plan wykładu: 1. Wyznaczanie pojedynczych pierwiastków rzeczywistych równań nieliniowych metodami a) połowienia (bisekcji)
Bardziej szczegółowoWażne rozkłady i twierdzenia
Ważne rozkłady i twierdzenia Rozkład dwumianowy i wielomianowy Częstość. Prawo wielkich liczb Rozkład hipergeometryczny Rozkład Poissona Rozkład normalny i rozkład Gaussa Centralne twierdzenie graniczne
Bardziej szczegółowoProgramowanie liniowe metoda sympleks
Programowanie liniowe metoda sympleks Mirosław Sobolewski Wydział Matematyki, Informatyki i Mechaniki UW wykład z algebry liniowej Warszawa, styczeń 2012 Mirosław Sobolewski (UW) Warszawa, 2012 1 / 12
Bardziej szczegółowoMateriały wykładowe (fragmenty)
Materiały wykładowe (fragmenty) 1 Robert Susmaga Instytut Informatyki ul. Piotrowo 2 Poznań kontakt mail owy Robert.Susmaga@CS.PUT.Poznan.PL kontakt osobisty Centrum Wykładowe, blok informatyki, pok. 7
Bardziej szczegółowoTechniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I
Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I Wojciech Kotłowski Instytut Informatyki Politechniki Poznańskiej email: imię.nazwisko@cs.put.poznan.pl pok. 2 (CW) tel. (61)665-2936 konsultacje:
Bardziej szczegółowoWstęp do metod numerycznych 12. Minimalizacja: funkcje wielu zmiennych. P. F. Góra
Wstęp do metod numerycznych 12. Minimalizacja: funkcje wielu zmiennych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2018 Strategia minimalizacji wielowymiarowej Zakładamy, że metody poszukiwania minimów
Bardziej szczegółowoFunkcje wielu zmiennych
Funkcje wielu zmiennych Wykresy i warstwice funkcji wielu zmiennych. Granice i ciagłość funkcji wielu zmiennych. Pochodne czastkowe funkcji wielu zmiennych. Gradient. Pochodna kierunkowa. Różniczka zupełna.
Bardziej szczegółowoMetody optymalizacji. notatki dla studentów matematyki semestr zimowy 2015/2016
Metody optymalizacji notatki dla studentów matematyki semestr zimowy 2015/2016 Aktualizacja: 11 stycznia 2016 Spis treści Spis treści 2 1 Wprowadzenie do optymalizacji 1 11 Podstawowe definicje i własności
Bardziej szczegółowoOznacza to, że chcemy znaleźć minimum, a właściwie wartość najmniejszą funkcji
Wykład 11. Metoda najmniejszych kwadratów Szukamy zależności Dane są wyniki pomiarów dwóch wielkości x i y: (x 1, y 1 ), (x 2, y 2 ),..., (x n, y n ). Przypuśćmy, że nanieśliśmy je na wykres w układzie
Bardziej szczegółowoPOD- I NADOKREŚLONE UKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH
POD- I NADOKREŚLONE UKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH Transport, studia I stopnia rok akademicki 2011/2012 Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko
Bardziej szczegółowoW wielu obliczeniach w matematyce bądź fizyce wykonanie niektórych kroków zależy od spełnienia warunku.
W wielu obliczeniach w matematyce bądź fizyce wykonanie niektórych kroków zależy od spełnienia warunku. Nie wolno dzielić przez zero i należy sprawdzić, czy dzielna nie jest równa zeru. W dziedzinie liczb
Bardziej szczegółowo6. FUNKCJE. f: X Y, y = f(x).
6. FUNKCJE Niech dane będą dwa niepuste zbiory X i Y. Funkcją f odwzorowującą zbiór X w zbiór Y nazywamy przyporządkowanie każdemu elementowi X dokładnie jednego elementu y Y. Zapisujemy to następująco
Bardziej szczegółowoII. FUNKCJE WIELU ZMIENNYCH
II. FUNKCJE WIELU ZMIENNYCH 1. Zbiory w przestrzeni R n Ustalmy dowolne n N. Definicja 1.1. Zbiór wszystkich uporzadkowanych układów (x 1,..., x n ) n liczb rzeczywistych, nazywamy przestrzenią n-wymiarową
Bardziej szczegółowoMetody Rozmyte i Algorytmy Ewolucyjne
mgr inż. Wydział Matematyczno-Przyrodniczy Szkoła Nauk Ścisłych Uniwersytet Kardynała Stefana Wyszyńskiego Podstawy optymalizacji Plan prezentacji 1 Podstawy matematyczne 2 3 Eliminacja ograniczeń Metody
Bardziej szczegółowoRedukcja wariancji w metodach Monte-Carlo
14.02.2006 Seminarium szkoleniowe 14 lutego 2006 Plan prezentacji Wprowadzenie Metoda losowania warstwowego Metoda próbkowania ważonego Metoda zmiennych kontrolnych Metoda zmiennych antytetycznych Metoda
Bardziej szczegółowo5. Metody Newtona. 5.1 Wzór Taylora
5. Metody Newtona Na ostatnich zajęciach zidentyfikowaliśmy ważny problem poznanych dotychczas metod (Gaussa-Seidel a, Cauchy iego, spadku wzdłuż gradientu, stochastycznego spadku wzdłuż gradientu): ich
Bardziej szczegółowoElementy Modelowania Matematycznego
Elementy Modelowania Matematycznego Wykład 8 Programowanie nieliniowe Spis treści Programowanie nieliniowe Zadanie programowania nieliniowego Zadanie programowania nieliniowego jest identyczne jak dla
Bardziej szczegółowoSzukanie rozwiązań funkcji uwikłanych (równań nieliniowych)
Szukanie rozwiązań funkcji uwikłanych (równań nieliniowych) Funkcja uwikłana (równanie nieliniowe) jest to funkcja, która nie jest przedstawiona jawnym przepisem, wzorem wyrażającym zależność wartości
Bardziej szczegółowoII. RÓŻNICZKOWANIE I CAŁKOWANIE NUMERYCZNE Janusz Adamowski
II. RÓŻNICZKOWANIE I CAŁKOWANIE NUMERYCZNE Janusz Adamowski 1 1 Różniczkowanie numeryczne Rozważmy funkcję f(x) określoną na sieci równoodległyc węzłów. Funkcja f(x) może być dana za pomocą wzoru analitycznego
Bardziej szczegółowoKomputerowa Analiza Danych Doświadczalnych
Komputerowa Analiza Danych Doświadczalnych Prowadząca: dr inż. Hanna Zbroszczyk e-mail: gos@if.pw.edu.pl tel: +48 22 234 58 51 konsultacje: poniedziałek, 10-11, środa: 11-12 www: http://www.if.pw.edu.pl/~gos/students/kadd
Bardziej szczegółowoRozdział 2: Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów
Rozdział : Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów W tym rozdziale omówione zostaną dwie najpopularniejsze metody estymacji parametrów w ekonometrycznych modelach nieliniowych,
Bardziej szczegółowoMetody numeryczne Wykład 4
Metody numeryczne Wykład 4 Dr inż. Michał Łanczont Instytut Elektrotechniki i Elektrotechnologii E419, tel. 4293, m.lanczont@pollub.pl, http://m.lanczont.pollub.pl Zakres wykładu Metody skończone rozwiązywania
Bardziej szczegółowoJanusz Adamowski METODY OBLICZENIOWE FIZYKI Kwantowa wariacyjna metoda Monte Carlo. Problem własny dla stanu podstawowego układu N cząstek
Janusz Adamowski METODY OBLICZENIOWE FIZYKI 1 Rozdział 20 KWANTOWE METODY MONTE CARLO 20.1 Kwantowa wariacyjna metoda Monte Carlo Problem własny dla stanu podstawowego układu N cząstek (H E 0 )ψ 0 (r)
Bardziej szczegółowoWstęp do metod numerycznych Algebraiczna metoda gradientów sprzężonych. P. F. Góra
Wstęp do metod numerycznych Algebraiczna metoda gradientów sprzężonych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2015 Metoda gradientów sprzężonych motywacja Rozważmy funcję f : R N R f(x) = 1 2
Bardziej szczegółowoCMAES. Zapis algorytmu. Generacja populacji oraz selekcja Populacja q i (t) w kroku t generowana jest w następujący sposób:
CMAES Covariance Matrix Adaptation Evolution Strategy Opracowanie: Lidia Wojciechowska W algorytmie CMAES, podobnie jak w algorytmie EDA, adaptowany jest rozkład prawdopodobieństwa generacji punktów, opisany
Bardziej szczegółowodr Mariusz Grządziel 15,29 kwietnia 2014 Przestrzeń R k R k = R R... R k razy Elementy R k wektory;
Wykłady 8 i 9 Pojęcia przestrzeni wektorowej i macierzy Układy równań liniowych Elementy algebry macierzy dodawanie, odejmowanie, mnożenie macierzy; macierz odwrotna dr Mariusz Grządziel 15,29 kwietnia
Bardziej szczegółowoWartości i wektory własne
Dość często przy rozwiązywaniu problemów naukowych czy technicznych pojawia się konieczność rozwiązania dość specyficznego układu równań: Zależnego od n nieznanych zmiennych i pewnego parametru. Rozwiązaniem
Bardziej szczegółowoZagadnienia brzegowe dla równań eliptycznych
Temat 7 Zagadnienia brzegowe dla równań eliptycznych Rozważmy płaski obszar R 2 ograniczony krzywą. la równania Laplace a (Poissona) stawia się trzy podstawowe zagadnienia brzegowe. Zagadnienie irichleta
Bardziej szczegółowoRachunek różniczkowy i całkowy w przestrzeniach R n
Rachunek różniczkowy i całkowy w przestrzeniach R n Na dzisiejszym wykładzie rozważać będziemy funkcje f : R m R n Każda taka funkcję f można przedstawić jako wektor funkcji (f 1, f 2,, f n ), gdzie każda
Bardziej szczegółowoPostać Jordana macierzy
Rozdział 8 Postać Jordana macierzy Niech F = R lub F = C Macierz J r λ) F r r postaci λ 1 0 0 0 λ 1 J r λ) = 0 λ 1 0 0 λ gdzie λ F nazywamy klatką Jordana stopnia r Oczywiście J 1 λ) = [λ Definicja 81
Bardziej szczegółowoKomputerowa analiza zagadnień różniczkowych 2. Metoda gradientów sprzężonych Minimalizacja i układy równań algebraicznych
Komputerowa analiza zagadnień różniczkowych 2. Metoda gradientów sprzężonych Minimalizacja i układy równań algebraicznych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ semestr letni 2007/08 Metoda gradientów
Bardziej szczegółowoMetoda największej wiarygodności
Metoda największej wiarygodności Próbki w obecności tła Funkcja wiarygodności Iloraz wiarygodności Pomiary o różnej dokładności Obciążenie Informacja z próby i nierówność informacyjna Wariancja minimalna
Bardziej szczegółowoStopę zbieżności ciagu zmiennych losowych a n, takiego, że E (a n ) < oznaczamy jako a n = o p (1) prawdopodobieństwa szybciej niż n α.
Stopy zbieżności Stopę zbieżności ciagu zmiennych losowych a n, takiego, że a n oznaczamy jako a n = o p (1 p 0 a Jeśli n p n α 0, to a n = o p (n α i mówimy a n zbiega według prawdopodobieństwa szybciej
Bardziej szczegółowoCałkowanie numeryczne przy użyciu kwadratur
Całkowanie numeryczne przy użyciu kwadratur Plan wykładu: 1. Kwadratury Newtona-Cotesa a) wzory: trapezów, parabol etc. b) kwadratury złożone 2. Ekstrapolacja a) ekstrapolacja Richardsona b) metoda Romberga
Bardziej szczegółowoMatematyka II. Bezpieczeństwo jądrowe i ochrona radiologiczna Semestr letni 2018/2019 wykład 13 (27 maja)
Matematyka II Bezpieczeństwo jądrowe i ochrona radiologiczna Semestr letni 208/209 wykład 3 (27 maja) Całki niewłaściwe przedział nieograniczony Rozpatrujemy funkcje ciągłe określone na zbiorach < a, ),
Bardziej szczegółowoProgramowanie nieliniowe. Badania operacyjne Wykład 3 Metoda Lagrange a
Programowanie nieliniowe Badania operacyjne Wykład 3 Metoda Lagrange a Plan wykładu Przykład problemu z nieliniową funkcją celu Sformułowanie problemu programowania matematycznego Podstawowe definicje
Bardziej szczegółowo