Metody inwersji Bayesowskiej -L7- IGF PAN, 21.IV.2005

Transkrypt

1 Metody inwersji Bayesowskiej -L7-

2 Podejście optymalizacyjne i probabilistyczne podobieństwa i różnice (C) G(m) d obs + λ m m apr = min d obs m apr d th = d true + ɛ obs = m true + ɛ apr = G(m) + ɛ th G(m) d true +ɛ obs +ɛ th +λ m m apr +ɛ apr = min

3 Podejście optymalizacyjne i probabilistyczne podobieństwa i różnice (D) Rozwiazania dla różnych realizacji ɛ obs, ɛ th ɛ apr : m (1), m (2), m (K) Pozwala utworzyć histogram rozwiazań: h(m) = N α (m) N K który jest przybliżeniem σ(m) Technika nieefektywna w przypadkach wielowymiarowych!!!

4 Model najbardziej prawdopodobny - optymalizacja szukanie modelu najbardziej prawdopodobnego m ml : σ(m ml ) = max metody gradientowe metody Monte Carlo Symulowane wyżarzanie Algorytm Genetyczny technika równoważna podejściu optymalizacyjnemu

5 Optymalizacja gradientowa i Monte Carlo

6 Metoda: preconditioned sttepest descent 1. m 0 - dowolny, Ŝ 0 (I + C M G t C 1 D G) 1 2. γ n = C M G t C 1 D (Gm n d obs ) + (m n m apr ) 3. φ n = Ŝ0γ n 4. b n = Gφ n 5. µ n = γ t n C 1 M φ n φ t n C 1 M φ n+b t n C Db n 6. m n+1 = m n µ n φ n

7 Optymalizacja gradientowa - ograniczenia

8 System z wieloma stopniami swobody Roztopiony metal, skały, itp: 1m 3 : N Jak opisać taki układ??? ( r i, v i )

9 Podejście statystyczne Interesuja nas na ogół makroskopiczne wielkości: temperatura, gestość, lepkość, itp. Wiele różnych mikroskopowych stanów odpowiada tej samemej wielkości makroskopowej Równowaga termodynamiczna: stan makroskopowy nie zmienia sie w czasie jednakże stany mikroskopowy - tak

10 Thermodynamika srównowagowa Rozkład Boltzmana (kanoniczny) p(c) = 1 ( Z exp E(C) ) kt E - energy of a given state T - temperature Z(T, M,...) = ( exp E ) i kt C prwdopodobieństwo realizacji stanu makroskopowego przez dany stan mikroskopowy C

11 Proces schładzania schładzanie powolne Proces schładzania - system zdaża do stanu o minimum energii wewnetrznej - ruchy termiczne zostaja zamrożone T - high T - low

12 Proces schładzania szybkie schładzanie T - high T - low

13 Proces schładzania - zmiany w rozkładzie Boltzmanna Cooling system Cooling system States C States C

14 Proces schładzania ewolucja rozkładu Boltzmana T=10 T=1 T=0.1

15 Proces schładzania: krystalizacja Model Space Temperature

16 Symulowane schładzanie - optymalizacja Szukamy absolutnego minimum dodatniej funkcji S(m) > 0 S(m) = e S(m) T

17 Algorytmy typu Simulated Annealing Wybierz To Wygeneruj C z p(c) Zmniejsz T Zakoncz gdy T = Tk

18 Generowane próbki T=10 T=1 T=0.1

19 Stan podstawowy i stany metatrwałe

20 Utwórz rozkład Boltzmanowski p(m, T ) = exp( S(m)/T ) Wybierz T 0, i model poczatkowy m α i oceń go p α = p(m α, T 0 ) Dla danej temperatury T k wylosuj m α+1 z p(m, T k ) wylosuj próbke testowa m β : m β = m α + δm oceń m β : p β = p(m β, T k ) Utwóż m α+1 zaakceptuj m β z prawdopodobiństwem p = min (1, p β /p α ) m α+1 = m β jeśli m β odrzucona duplikuj stan obecny m α+1 = m α Zmniejsz temperatur e T k+1 = f(t k ) Powtarzaj aż do osiagni ecia końcowej temperatury

21 Algorytm SA przykład while( T > Tf) /* decrease T loop */ { nc =ceil( p2+p3*exp(-(double)k/(double)sa->n)); if(nc<=1) nc=1; ++k; for(l=0;l<nc;l++) /* T=const loop */ { for(j=0;j<n;j++) /* generate new sample */ { u=sarandval(0,1); /* modified VFSA */ x= fabs(2*u -1); z= T*( pow(1+1/t,x) - 1); if(u >=0.5) p=mi[j] + z * (mu[j]-mi[j]); else

22 p= mi[j] - z * (mi[j]-ml[j]); mf[j]=p; } tt= (*fun)(mf); /* evaluate */ e = tt-ta; z=exp(-e/t); u=sarandval(0,1); if( e<0 z > u) /* accept */ { ta=tt; mc = mi; mi = mf; mf=mc; if(ta < ts) /* keep the best */ { ts=ta; for(i=0;i < N; i++) ms[i]=mi[i]; }

23 } } /* End of T=const loop */ To=T; /* decrease T (VFSA scheme) */ z=tc*pow((double)(k),di); T = Ti*exp(-z); if(sa->pf>0) /* messages to STD_ERR */ { if(k%sa->pf==0) fprintf(stderr," VFSA: T = %.2e dt = %.2e iter: %-6d nc: %- } } /* End of cooling (T) loop */

24 Thermodynamika - Optymalizacja/Inwersja analogie Termodynamika Optymalizacja wiele stopni swobody optymalizacja wielo parametrowa rozkład Boltzmana rozkład a posteriori energia niedopasowanie stan podstawowy globalne maksimum możliwe stany metatrwałe lokalne maksima Schładzanie wymaga by układ był w stanie równowagi termodynamicznej