Stochastyczne metody optymalizacji

Transkrypt

1 Stochastycze metody otymalizacji I a b b a b = a d Metoda rostokątów N N i i= 0 i= 0 d = σ = h y Metoda traezów d h y y N 0 + ( ) = + yi i= Metoda Simsoa i ξ [ a, b] b h = a ( b a) R = ( ξ ) N ( b a) R = ( ξ ) N 5 d [ y + 4y + y + 4y + y + 4y + K + y y ] ( b a) ( 4) + Kwadratura Gaussa d = F( t) dt = i= F( t ) w i i R = R = 80N + ( b a) ( + )! (! ) [( )!] 3 ( ξ ) ( ) ( ξ )

2 I = y = d 0 y y y () Y 0 = (, y) = y ( ) I Pole N I = N = y ( ) d dla ˆ ( ) N N I y I dla reszty y y 0 Rozkład z którego obieramy róbki jest jedostajy (ukcja gęstości rawdoodobieństwa jest stała). Próbki są z jedakowym rawdoodobieństwem obierae z rzedziałów gdzie wartość ukcji jest duża bądź mała. R ~ Waże ytaie : jak wylosować oulację z dowolego rozkładu rawdoodobieństwa? Zacziemy od rzyadków, gdy. gęstości rozkładu jest day kokretym wzorem aalityczym. Ivers trasorm samlig Musimy w tym celu zać reguły trasormacji ukcji gęstości rawdoodobieństwa. Przyjmujemy, że ri sto zmiee losowe o gęstościach odowiedio r (r)i s (s). Niech Tbędzie rzekształceiem jedej zmieej losowej w drugą, wzajemie jedozaczym i różiczkowalym. ( r) 0 r 0 s = T s W Rach. Prawd. zaa jest reguła wiążąca gęstości r (r)i s (s). dr ( s) r ( r) ds s = Niech ukcją T będzie dystrybuata: s = T r ( r) = r ( w)dw Otrzymujemy stąd wiosek, że gęstość rawdoodobieństwa zmieej losowej s jest jedoroda (stała). r ds dt( r) d dr = = r ( w) dw = r ( r) dr dr dr s ( s) = r ( r) = r ( r) = 0 ds r ( r) Przyadek dyskrety: k k j r ( r ) = k = 0,,, K, L sk = T ( rk ) = r ( rj ) = k = 0,, K, L 0 k j= 0 k j= 0

3 Ivers trasorm samlig Reguła ostęowaia jest w tym wyadku dość rosta. Poieważ dystrybuata dowolego rozkładu rawdoodobieństwa ma rozkład jedostajy w rzedziale [0,] to dla dowolej ukcji gęstości rawdoodobieństwa () z której chcemy obrać róbki liczymy dystrybuatę y=f(), otem róbkujemy (losujemy) zmieą y i =F( i ) a astęie obliczamy dla każdej róbki wartość i =F - (y i ). Przykład: Niech zmiea ma rozkład jedorody w rzedziale [a,b]. 0 = ( ) dla dla reszty stąd F ( t) = dt = ( ) Jeśli teraz wylosujemy róbkę y i z rozkładu U[0,], rzyróway do F a astęie obliczymy i Nrazy to otrzymamy róbki o rozkładzie. ( ) i = yi + Jest to rówież rozkład jedorody U i jak łatwo srawdzić ma rozkład (). Przykład: Losowaie z rozkładu wykładiczego Niech ukcja gęstości rawdoodobieństwa będzie miała ostać: = λe λ λ wtedy F = e = F l ( y) = λ ( y) Losujemy y i z U[0,] i ze wzoru a F - otrzymujemy i o rozkładzie ().

4 Ivers trasorm samlig Niestety. Nie zawsze łatwo obliczyć F - Przyadek losowaia z rozkładu ormalego tj. Dystrybuata: F ( µ ) σ ( ) = e σ π µ σ = Φ Φ = e dt π t Aalitycze wzory a F - ()dla takiej ukcji ie istieją. Aby geerować ciągi o rozkładzie ormalym ależy używać iych metod. Rejectio samlig () () Losowaie z oulacji o rozkładzie rawdoodobieństwa oisaego ukcją gęstości () jest losowaiem iejedorodym. Próbki są obierae częściej tam, gdzie wartość.g. jest większa. Losowaie to moża rzerowadzić iaczej. Próbkujemy w sosób jedorody ole owierzchi od krzywą (). Poieważ liczba róbek w dowolym asku jest roorcjoala do wartości () więc odczytując ws. wylosowaego uktu od krzywą otrzymujemy oulację róbek o rozkładzie ().

5 Rejectio samlig Jak róbkować jedorodie od krzywą ()? Procedura a ozór może wydawać się dość rosta jeśli otraimy losować w sosób jedorody w rzedziale [, ] oraz umiemy obliczyć wartość ( i ) () ( i ) u ( i ) Procedura ) Losujemy w sosób jedorody róbkę i z rzedziału [, ] ) Liczymy ( i ) 3) Losujemy u z rzedziału [0, ] 4) Liczymy u ( i ) i Lecz iestety ie będzie to losowaie jedorode od krzywą. W rzedziałach i zostaie wylosowaych tą metodą dokładie tyle samo uktów, wobec czego ich gęstość od krzywą w tych dwóch askach a ewo ie będzie taka sama. Rejectio samlig Procedura róbkowaia (eektywa i rawidłowa!!! ) jest astęująca: Ograiczamy rozkład gęstości rawdoodobieństwa () rozkładem z którego otraimy metodą iverse trasormsamlig tjrozkładem Mq(). Stałą M dobieramy tak by w rzedziale [, ] całe () było od Mq() jak a rysuku. - geerujemy rozkład { i } a osi wg gęstości Mq() - geerujemy liczbę u~u(0,) - dla każdego i liczymy y i = umq( i ) - jeśli ( i ) > y i to ukt i ( i,y i ) leży od krzywą () Pukty i sróbkująole od () tym bardziej jedorodie im bardziej obie krzywe są do siebie zbliżoe. W R krzywą adległą jest. odowiedio dobieray wielomia używay do geerowaia. rozkładu ormalego. reject accet () M q() : i = : while i N do 3: (i) ~ q() 4: u ~ U(0,) 5: i u < ( (i) )/ M q( (i) ) the 6: accet (i) 7: i i + 8: else 9: reject (i) 0: ed i : ed while

6 Imortace samlig Potwierdzeiem wiosków z metody rejectiosamlig jest dyskutowaa w metodzie imortacesamlig. Rozatrzmy róbkowaie osi. Małe wartości ukcji dają małe rzyczyki do wartości całki, duże zaś duże. Eektywiej jest róbkować ukcję z większą gęstością tam, gdzie jej wartości są duże. Niech () będzie ukcją wagową (może być oa utożsamioa z ukcją gęstości rawdoodobieństwa) zmieej ζ. I = d I = E( ζ ) = E gdzie = ζ Wariacja zmieej ζ wyosi: Jest to wartość oczekiwaa zmieej ζ ( ) σ ζ = I d ( ) ( ) σ ζ = d I Imortace samlig Tak więc by obliczyć całkę rocedura jest astęująca: θ = Iˆ = N N i= ( i ) ( ) i Losujemy N uktów i z rozkładu rawdoodobieństwa ( i ). Otrzymujemy estymator całki I. Jeśli N Iˆ I Chcemy tak dobrać ( i ) tak by zimalizować wariację zmieej ζ. Miimum ma miejsce, gdy = d Miimum jest rówe σ ( ζ ) ( d) I = Jeśli ()>0 to ukcja gęstości () rzybiera ostać ( ) = zaś wariacja jest rówa zero: σ ( ζ ) = 0 d I =

7 Wiosek: Aby zimalizować wariację ależy losować ukty z rozkładu który jest roorcjoaly do ukcji z której jest liczoa całka tjukcji (). Wsółczyik roorcjoalości to α = d ( ) Poieważ zawiera o całkę Ito aby jak ajleiej zrealizować rocedurę obliczeia całki Imusimy zać jej wartość. Całe szczęście, że tak jest wtedy, gdy chcemy otrzymać wyik erekcyjy. De acto moża wybrać dowolą ukcję wagową () i dowoly (!) wsółczyik wagowy α. Czy da się uikąć kostrukcji rozkładu () i otrzymać asymtotyczy rezultat dochodząc do rozkładu iteracyjie? Idee zaożyczoo z mechaiki statystyczej i metalurgii. wzrost temeratury gorącej kąieli do takiej wartości, w której ciało stałe toieje owole zmiejszaie temeratury do chwili, w której cząsteczki ułożą się wzajemie i osiągą (ag. groud state) temeraturę zerową rzeciwieństwo hartowaia Metroolis i i. (953) -algorytm statystyczego symulowaia (Mote Carlo) zmia ciała stałego w gorącej kąieli aż do stau termiczej rówowagi Losowe geerowaie sekwecji staów ciała stałego: sta i ciała stałego i jego eergia E i, erturbacja (małe ziekształceie) astęy sta. Eergia astęego stau wyosi E j. jeslie j -E i 0, sta j jest akcetoway jako sta bieżący w rzeciwym wyadku, sta j jest akcetoway z ewym rawdoodobieństwem: Ei E e kbt j T temeratura kaieli k B stała Boltzmaa

8 Wysoka temeratura: Ei E j lim e = T kbt Wszystkie ruchy akcetowae błądzeie losowe. Niska temeratura Ei E j lim e = 0 T kbt Akcetoway wyłączie ruchy, które oleszają rozwiązaie klasycze rzeszukiwaie lokale. Algorytm SA zaczya od wysokiej temeratury i owoli ja obiża. System izyczy sta Eergia temeratura Szybkie schładzaie owole schładzaie Problem otymalizacji rozwiązaie koszt Parametr kotroly lokala otymalizacja symulowae wyżarzaie

9 Moża uzyskać takie N, M, T i, które zaewiają zbieżość SW do otimum Dobre rzybliżeie SW: geerowaie homogeiczych łańcuchów Markowa skończoej długości dla skończoej sekwecji malejących wartości arametru kotrolego (temeratury). Łańcuch Markowa jest sekwecja rób (rozwiązań), w której rawdoodobieństwo wyiku daej róby zależy od wyiku orzediej róby. Łańcuch Markowa jest iehomogeiczy jeśli rawdoodobieństwo rzejścia zależy od umeru róby k. Jeśli ie zależy, to łańcuch Markowa jest homogeiczy. : wybierz model startowy m 0,oblicz E(m 0 ), ustaw T 0 : reeat T i 3: reeat m j 4: oblicz E(m j ) 5: E= E(m j )- E(m j- ) 6: P=e(- E/T i ) 7: i E 0 8: m 0 =m 9: E(m 0 )= E(m ) 0: edi : i E > 0 : losuj u ~ U(0,) 3: i P > u 4: m 0 =m 5: E(m 0 )= E(m ) 6: edi 7: edi 8: util j=n 9: util i=m Lokalizacja źródła emisji sejsmiczej z użyciem ięciu czujików mierzących czas [m] Y[m] Z[m] t[s] Ws. źródła (800, 3500, -400)

10