Elementy wspo łczesnej teorii inwersji

Podobne dokumenty
Elementy wspo łczesnej teorii inwersji

Metody inwersji Bayesowskiej -L7- IGF PAN, 21.IV.2005

Elementy wspo łczesnej teorii inwersji

Elementy wspo łczesnej teorii inwersji

Współczesna technika inwersyjna - dokad zmierzamy? Wojciech Dȩbski

Optymalizacja. Symulowane wyżarzanie

Techniki optymalizacji

Co to jest model Isinga?

METODY SZTUCZNEJ INTELIGENCJI algorytmy ewolucyjne

Metody Obliczeniowe w Nauce i Technice

Przegląd metod optymalizacji wielowymiarowej. Funkcja testowa. Funkcja testowa. Notes. Notes. Notes. Notes. Tomasz M. Gwizdałła

e E Z = P = 1 Z e E Kanoniczna suma stanów Prawdopodobieństwo wystąpienia mikrostanu U E = =Z 1 Wartość średnia energii

Algorytm Grovera. Kwantowe przeszukiwanie zbiorów. Robert Nowotniak

Wstęp do sieci neuronowych, wykład 14 Maszyna Boltzmanna

Inverse problems - Introduction - Probabilistic approach

Układy statystyczne. Jacek Jurkowski, Fizyka Statystyczna. Instytut Fizyki

Program MC. Obliczyć radialną funkcję korelacji. Zrobić jej wykres. Odczytać z wykresu wartość radialnej funkcji korelacji w punkcie r=

Układy równań nieliniowych (wielowymiarowa metoda Newtona-Raphsona) f(x) = 0, gdzie. dla n=2 np.

Prawdopodobieństwo i statystyka

2) wzrost i hodowla kryształów, metalurgia algorytm symulowanego wygrzewania

Wykład 8 i 9. Hipoteza ergodyczna, rozkład mikrokanoniczny, wzór Boltzmanna

Wielowymiarowy próbnik Gibbsa

Optymalizacja ciągła

RÓWNANIA NIELINIOWE Maciej Patan

Metody Rozmyte i Algorytmy Ewolucyjne

Aproksymacja funkcji a regresja symboliczna

REGRESJA LINIOWA Z UOGÓLNIONĄ MACIERZĄ KOWARIANCJI SKŁADNIKA LOSOWEGO. Aleksander Nosarzewski Ekonometria bayesowska, prowadzący: dr Andrzej Torój

Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa

Zadanie 1. Liczba szkód N w ciągu roku z pewnego ryzyka ma rozkład geometryczny: k =

Prawdopodobieństwo i statystyka

Fizyka statystyczna Termodynamika bliskiej nierównowagi. P. F. Góra

SZTUCZNA INTELIGENCJA

WYKŁAD 6. Witold Bednorz, Paweł Wolff. Rachunek Prawdopodobieństwa, WNE, Uniwersytet Warszawski. 1 Instytut Matematyki

Redukcja wariancji w metodach Monte-Carlo

Rozdział 2: Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów

Lokalizacja zjawisk sejsmicznych w kopalni - problemy. Lokalizacja - problemy. brak czasu w ognisku. Lokalizacja względna. niedokładne wyznaczanie

Optymalizacja. Wybrane algorytmy

Metody systemowe i decyzyjne w informatyce

Stochastyczne zagadnienie rozdziału z dyskretnym rozkładem popytu

Testowanie hipotez. Hipoteza prosta zawiera jeden element, np. H 0 : θ = 2, hipoteza złożona zawiera więcej niż jeden element, np. H 0 : θ > 4.

Metody systemowe i decyzyjne w informatyce

Wprowadzenie do teorii ekonometrii. Wykład 1 Warunkowa wartość oczekiwana i odwzorowanie liniowe

SPOTKANIE 6: Klasteryzacja: K-Means, Expectation Maximization

Algorytmy MCMC (Markowowskie Monte Carlo) dla skokowych procesów Markowa

ALGORYTMY EWOLUCYJNE W OPTYMALIZACJI JEDNOKRYTERIALNEJ

KADD Minimalizacja funkcji

Bezgradientowe metody optymalizacji funkcji wielu zmiennych. informacje dodatkowe

Wykład na Politechnice Krakowskiej w dniu 18 stycznia 2012 r. ZADAŃ I ALGORYTMÓW W OPTYMALIZACJI DYSKRETNEJ

Wstęp do sieci neuronowych, wykład 11 Łańcuchy Markova

Metody systemowe i decyzyjne w informatyce

Optymalizacja ciągła

Wstęp do metod numerycznych Algebraiczna metoda gradientów sprzężonych. P. F. Góra

Metody numeryczne II

Janusz Adamowski METODY OBLICZENIOWE FIZYKI Kwantowa wariacyjna metoda Monte Carlo. Problem własny dla stanu podstawowego układu N cząstek

Wstęp do metod numerycznych Zadania numeryczne 2016/17 1

model isinga 2d ab 10 grudnia 2016

Weryfikacja hipotez statystycznych

Optymalizacja. Przeszukiwanie lokalne

Obliczenia inspirowane Naturą

Modyfikacja schematu SCPF obliczeń energii polaryzacji

Równoległe symulacje Monte Carlo na współdzielonej sieci

Wstęp do sieci neuronowych, wykład 12 Wykorzystanie sieci rekurencyjnych w optymalizacji grafowej

SPOTKANIE 3: Regresja: Regresja liniowa

Matematyka ubezpieczeń majątkowych r.

Programowanie celowe #1

w analizie wyników badań eksperymentalnych, w problemach modelowania zjawisk fizycznych, w analizie obserwacji statystycznych.

STATYKA Z UWZGLĘDNIENIEM DUŻYCH SIŁ OSIOWYCH

Optymalizacja ciągła

Przykłady problemów optymalizacyjnych

Matematyka ubezpieczeń majątkowych r.

ROZWIĄZYWANIE UKŁADÓW RÓWNAŃ NIELINIOWYCH PRZY POMOCY DODATKU SOLVER PROGRAMU MICROSOFT EXCEL. sin x2 (1)

Geometryczna zbieżność algorytmu Gibbsa

1 Wykład 4. Proste Prawa wielkich liczb, CTG i metody Monte Carlo

5 Błąd średniokwadratowy i obciążenie

Spis treści. Przedmowa... XI. Rozdział 1. Pomiar: jednostki miar Rozdział 2. Pomiar: liczby i obliczenia liczbowe... 16

AKADEMIA GÓRNICZO-HUTNICZA Wydział Matematyki Stosowanej ROZKŁAD NORMALNY ROZKŁAD GAUSSA

ALHE Z11 Jarosław Arabas wykład 11

Metody systemowe i decyzyjne w informatyce

Rozwiazywanie układów równań liniowych. Ax = b

2.12. Zadania odwrotne kinematyki

Teoria systemów uczacych się i wymiar Vapnika-Chervonenkisa

Matematyka stosowana i metody numeryczne

Wyk lad 2: Algorytmy heurystyczne

Rozkłady wielu zmiennych

Algorytm Metropolisa-Hastingsa

Optymalizacja. doc. dr inż. Tadeusz Zieliński r. ak. 2013/14. Metody komputerowe w inżynierii komunikacyjnej. ograniczenie kosztów budowy.

Badania operacyjne egzamin

ROZWIĄZYWANIE RÓWNAŃ NIELINIOWYCH

BADANIA OPERACYJNE I TEORIE OPTYMALIZACJI. Zagadnienie transportowe

ALHE Jarosław Arabas Metaheurystyki w Rn Ewolucja różnicowa EDA CMAES Rój cząstek

Fuzja sygnałów i filtry bayesowskie

Metody numeryczne. Janusz Szwabiński. Metody numeryczne I (C) 2004 Janusz Szwabiński p.1/50

UKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH

Metody Optymalizacji: Przeszukiwanie z listą tabu

16 Jednowymiarowy model Isinga

Algorytmy MCMC i ich zastosowania statystyczne

Kodowanie i kompresja Streszczenie Studia Licencjackie Wykład 11,

Ekonometria. Prognozowanie ekonometryczne, ocena stabilności oszacowań parametrów strukturalnych. Jakub Mućk. Katedra Ekonomii Ilościowej

Ważne rozkłady i twierdzenia c.d.

Metody eksploracji danych 2. Metody regresji. Piotr Szwed Katedra Informatyki Stosowanej AGH 2017

Transkrypt:

Elementy wspo łczesnej teorii inwersji Metoda optymalizacyjna (2) W. Debski, 8.01.2015

Liniowy problem odwrotny m est (λ) = m apr + (G T G + λi) 1 G T ( dobs G m apr) +δ d est d o = + λ I ( G T G + λi ) 1 (Gm apr d o ) + G ( G T G + λi ) 1 G T δ debski@igf.edu.pl: W3-1 IGF PAN, 8.01.2015

Metoda algebraiczna - back-projection data d=gm Dobs d=g(m) Dapr Mapr Mtrue model parameter debski@igf.edu.pl: W3-2 IGF PAN, 8.01.2015

Metoda algebraiczna - back-projection W podejściu algebraicznym, ze wzgl edu na liniowość problemu: d = G m możemy w jednym kroku przejść od modelu a priori do modelu prawdziwego m apr = m true : d obs G m true debski@igf.edu.pl: W3-3 IGF PAN, 8.01.2015

Problem nieliniowy - iteracja algebraiczna Dobs d=g(m) Dapr Mapr Mtrue model parameter debski@igf.edu.pl: W3-4 IGF PAN, 8.01.2015

Elementy wspo łczesnej teorii inwersji Metoda optymalizacyjna (2) Iteracyjna metoda algebraiczna - przeszukiwanie przestrzeni R(m) = dobs dth(m) Zagadnienie odwrotne minimalizacja residuo w debski@igf.edu.pl: W3-5 IGF PAN, 8.01.2015

Inwersja - metoda optymalizacyjna Zagadnienie odwrotne szukamy m est takiego, że d obs d th (m est ) = min lub (w praktyce) d obs d th (m est ) D + λ m est m apr M = min debski@igf.edu.pl: W3-6 IGF PAN, 8.01.2015

Inwersja - metoda optymalizacyjna metoda nieliniowa fizyczny sens regularyzacji poszukujemy jednego (optymalnego) rozwiazania zaniedbane wszystkie bł edy i niedokładności jak mierzyć dokładność dopasowania d th d obs? jak rozwiazać problem optymalizacji? czy rozwiazanie jest jednoznaczne? debski@igf.edu.pl: W3-7 IGF PAN, 8.01.2015

Jednoznaczność rozwiazań Rozwiazania problemów odwrotnych sa czesto niejednoznaczne: z powodu ograniczeń algorytmów optymalizacyjnych (obecność lokalnych minimów dla problemów nieliniowych) z powodu jakości i zupełności danych pomiarowych (niemożliwość wyznaczenia pewnych parametrów) wielorakość modeli teoretycznych d th i = G i (m) W takich wypadkach konieczna jest zwykle regularyzacja aby dostać jakiekolwiek sensowne rozwiazanie. Cena tego jest subiektywność wyniku. debski@igf.edu.pl: W3-8 IGF PAN, 8.01.2015

Elementy wspo łczesnej teorii inwersji Metoda optymalizacyjna (2) Jednoznacznos c rozwiaza, n - optymalizacja globalna/lokalna debski@igf.edu.pl: W3-9 IGF PAN, 8.01.2015

Elementy wspo łczesnej teorii inwersji Metoda optymalizacyjna (2) Jednoznacznos c rozwiaza, n - brak danych debski@igf.edu.pl: W3-10 IGF PAN, 8.01.2015

Ocena bł edów W podejściu optymalizacyjnym znajdujemy optymalny model. Ocena dokkładności rozwiazania jest jednak bardzo problematyczna. Ocena błedów w tym podejściu wymaga znacznego, dodatkowego wysiłku i zawsze obarczona jest duża subiektywnościa. Możliwe podejścia: linearyzacja i wyznaczenie macierzy kowariancji symulacje Monte Carlo pominiecie sprawy milczeniem debski@igf.edu.pl: W3-11 IGF PAN, 8.01.2015

Ocena bł edów technika Monte Carlo d obs d th (m est ) D + λ m est m apr M = min d obs d th (m est ) + ɛ obs + ɛ th (m) D + λ m est m apr + ɛ apr M = min ijk = m ( est ɛ obs i, ɛ th j (m est ), ɛ apr ) k m est debski@igf.edu.pl: W3-12 IGF PAN, 8.01.2015

Algorytm optymalizacji - grid search Rmin = Rmax for m_1 = a_{min} : a_{max} for m_2 = b_{min} : b_{max} R = dˆ{obs}\; - \;\dˆ{th}(\m) R = R + \lambda \m - \ma if(r<rmin) Rmin = R m_1ˆ{est}\; = \;m_1 m_2ˆ{est}\; = \;m_2 endif end end debski@igf.edu.pl: W3-13 IGF PAN, 8.01.2015

Algorytm optymalizacji - preconditioned stepest descent 1. m 0 - dowolny, 2. G n : G(m) G n (m m n ) 3. Ŝ 0 (I + C M G T o C 1 D G o) 1 4. γ n = C M G T o C 1 D (G om n d obs ) + (m n m apr ) 5. φ n = Ŝ0γ n 6. b n = Gφ n 7. µ n = γ t n C 1 M φ n φ t n C 1 M φ n+b t n C Db n 8. m n+1 = m n µ n φ n debski@igf.edu.pl: W3-14 IGF PAN, 8.01.2015

Algorytm optymalizacji - Simulated Annealing Roztopiony metal, skały, gazy,ciecze itp: 1m 3 : N 10 21 Jak opisać taki układ??? ( r i, v i ) debski@igf.edu.pl: W3-15 IGF PAN, 8.01.2015

Układy złożone: podejście statystyczne Interesuja nas na ogół makroskopowe wielkości: temperatura, gestość, lepkość, ciśnienie, itp. Wiele różnych mikroskopowych samemej wielkości makroskopowej stanów odpowiada tej Równowaga termodynamiczna: stan makroskopowy nie zmienia sie w czasie jednakże stany mikroskopowe - tak debski@igf.edu.pl: W3-16 IGF PAN, 8.01.2015

Układy złożone: termodynamika równowagowa Rozkład Boltzmana (kanoniczny) p(c) = 1 ( Z exp E(C) ) kt E - energia danego stanu (mikroskopowego) T - temperatura Z(T, M,...) = ( exp E(C) ) kt C rozkład ten opisuje prawdopodobieństwo realizacji stanu makroskopowego przez dany stan mikroskopowy C debski@igf.edu.pl: W3-17 IGF PAN, 8.01.2015

Proces schładzania - schładzanie powolne Proces schładzania - system zdaża do stanu o minimum energii wewnetrznej - ruchy termiczne zostaja zamrożone T - high T - low debski@igf.edu.pl: W3-18 IGF PAN, 8.01.2015

Proces schładzania - szybkie schładzanie T - high T - low debski@igf.edu.pl: W3-19 IGF PAN, 8.01.2015

Proces schładzania - ewolucja rozkładu Boltzmana T=10 T=1 T=0.1 debski@igf.edu.pl: W3-20 IGF PAN, 8.01.2015

Stan podstawowy i stany metatrwałe debski@igf.edu.pl: W3-21 IGF PAN, 8.01.2015

Proces schładzania - ewolucja stanów mikroskopowych Model Space Temperature debski@igf.edu.pl: W3-22 IGF PAN, 8.01.2015

Symulowane schładzanie optymalizacja (Kirkpatrick, 1983) Szukamy absolutnego minimum dodatniej funkcji S(m) > 0 S(m) = σ(m, T ) = e S(m) T debski@igf.edu.pl: W3-23 IGF PAN, 8.01.2015

Symulowane schładzanie optymalizacja Jeśli umiemy wygenerować m α z rozkładu σ(m, T ) p(m α ) = σ(m α, T ) wówczas T 0 = m α m opt S(m opt ) = min debski@igf.edu.pl: W3-24 IGF PAN, 8.01.2015

Algorytmy typu Simulated Annealing (SA) Wybierz To Wygeneruj C z p(c) Zmniejsz T Zakoncz gdy T = Tk debski@igf.edu.pl: W3-25 IGF PAN, 8.01.2015

Symulowane schładzanie realizacja Dwa istotne elementy algorytmu SA 1. efektywne generowanie próbek m α 2. odpowiedni sposób obniżania temperatury T Rozwiazanie problemu efektywnego próbkowania zaproponował Metropolis a nastepnie uogólnił Hasttings. Sposób optymalnego zmniejszania T (gdy używany jest algorytm MH) podał Kirkpatrick: T k = T o ln(k) debski@igf.edu.pl: W3-26 IGF PAN, 8.01.2015

Algorytm Metropolisa-Hastinga wygeneruj próbk e m 0 powtarzaj wygeneruj jednorodna liczbe losowa u U(0, 1) wygeneruj próbke m β = m α + δm jeśli u < P (m α, m β ) = min [ ] ( 1, σ(mβ ) σ(m α ; exp S(mβ ) S(m α ) ) ) T w przeciwnym razie kontynuuj m α+1 m α+1 = m β = m α debski@igf.edu.pl: W3-27 IGF PAN, 8.01.2015

Algorytm ASA (Ingber) Ingber zaproponował zmian e algorytmu generowania próbek m β δm i = r i (T ) ( m max i m min ) i r i (x, T ) : C(x, T ) = N i 1 2( x i + T ) log(1 + 1/T ) T k = T o exp ( ck 1/N) debski@igf.edu.pl: W3-28 IGF PAN, 8.01.2015

Algorytm ASA - ewolucja σ(m) Model Space Temperature debski@igf.edu.pl: W3-29 IGF PAN, 8.01.2015

Generowane próbki T=10 T=1 T=0.1 debski@igf.edu.pl: W3-30 IGF PAN, 8.01.2015

Inwersja klasyczna - co dalej debski@igf.edu.pl: W3-31 IGF PAN, 8.01.2015

Inwersja klasyczna - co dalej debski@igf.edu.pl: W3-32 IGF PAN, 8.01.2015

Elementy wspo łczesnej teorii inwersji Metoda optymalizacyjna (2) Inwersja klasyczna - co dalej debski@igf.edu.pl: W3-33 IGF PAN, 8.01.2015

Elementy wspo łczesnej teorii inwersji Metoda optymalizacyjna (2) Koniec Create: JO-07-01-2015 IGF PAN, 8.01.2015