Metody numeryczne. Wykład nr 12. Dr Piotr Fronczak

Transkrypt

1 Metody numeryczne Wykład nr 1 Dr Piotr Fronczak

2 Generowanie liczb losowych Metody Monte Carlo są oparte na probabilistyce działają dzięki generowaniu liczb losowych. W komputerach te liczby generowane przez odpowiednie procedury nie są wcale losowe, a raczej deterministyczne i odtwarzalne choć wyglądają jak ciąg przypadkowych liczb. Procedury te nazywamy więc generatorami liczb pseudolosowych. Własności generatorów liczb pseudolosowych (GLP) powtarzalność sekwencja wylosowanych liczb powinna być powtarzalna przy przyjęciu tej samej pierwszej wylosowanej liczby. losowość GLP powinien generować niezaleŝne, jednorodnie rozłoŝone liczby, które pozytywnie przechodzą wszelkie statystyczne testy na losowość. Długi okres okres generatora powinien być znacznie dłuŝszy niŝ liczba potrzebnych w symulacji liczb losowych. Nieczułość na warunek początkowy okres i własności losowe nie powinny zaleŝeć od wyboru warunku początkowego.

3 Liniowy generator kongruentny (LCG) Zaproponowany przez D. H. Lehmera w 1951 roku. Większość dzisiejszych procedur do generowania liczb pseudolosowych jest oparta na tym generatorze.. n+1 (a n + b) (mod m) Przykład: 0 7, a 1, b 7, m 10, Otrzymamy następującą sekwencję liczb: 7, 4, 1, 8, 5,, 9, 6, 3, 0, 7, 4, Wybór parametru m. m powinno być jak największe, bo okres nie moŝe być większy niŝ m. Zwykle wybieramy m najbliŝsze największej liczbie całkowitej dostępnej w komputerze (dla komputerów 3-bitowych 3-1).

4 Wady LCG: Weźmy n+1 (5 n + 1)mod(16) Mamy okres P 16, (najdłuŝszy moŝliwy). Integer Binary Real 0 : / : / : / : / : / : 0010 / : / : / : / : / : / : / : / : / : / : / Korelacje w ostatnim bicie! MoŜna pokazać, Ŝe <> 1/ <( - <>) > 1/ U nas: <> <( - <>) > 1/ Całkiem nieźle.

5 Jednorodność w 1D nie oznacza jednorodności w D

6 MoŜna pokazać, Ŝe punkty, których współrzędnymi jest kolejnych d liczb z sekwencji generatora LCG leŝą w przestrzeni d-wymiarowej na równoległych d-1 wymiarowych hiperpłaszczyznach. Liczba hiperpłaszczyzn N d m Przykłady współczesnych generatorów LCG We wszystkich powyŝszych kompilatorach m 3-1

7 Generator Fibonacciego (LFG) Generator Fibonacciego jest jednym z wielu wariantów uogólnionego generatora liniowego liczb losowych. LFG stają się popularne w ostatnich latach. Nazwane tak z powodu podobieństwa do sekwencji Fibonacciego: 0, 1, 1,, 3, 5,8, 13, F Fn 1 Fn LFG wykorzystuje do generowania liczb losowych algorytm n n l + n k (mod m) gdzie l > k > 0 z m wartościami początkowymi { 0, 1,, l 1 }. n

8 Generator Fibonacciego (LFG) W większości aplikacji, m jest potęgą dwójki, m M. Przy odpowiednim wyborze parametrów l, k i wartości początkowych, okres generatora P (l 1) M 1. Dwa najczęściej uŝywane LFG: n n 17 + n 5 (mod 31 ) okres 47 n n 55 + n 4 (mod 31 ) period 85 W odróŝnieniu od LCG, wartość parametru m nie ogranicza okresu generatora. LFG jest prosty w implementacji: - dodawanie całkowite - logiczne AND (operacja mod M ) - tablica (niewielka).

9 Niejednorodne generatory liczb losowych Większość generatorów daje liczby rozłoŝone jednorodnie. Rozkłady nieliniowe moŝna otrzymać za pomocą: metody odwracania dystrybuanty metody akceptacji / odrzucenia Metoda odwracania dystrybuanty Jeśli zmienna losowa U ma rozkład jednostajny na odcinku [0, 1], to zmienna losowa X F 1 (U) ma rozkład o dystrybuancie F(). Dowód: PoniewaŜ P{X } P{F 1 (U) } P{U F()} F(), więc zmienna losowa X ma rzeczywiście rozkład prawdopodobieństwa o dystrybuancie F.

10 Przykład: rozkład wykładniczy Gęstość rozkładu wykładniczego Liczymy dystrybuantę F( ) λ f ( ) λe λ' λ' λe d' e e λ Zatem U F( X ) 1 e 1 X ln(1 U ) λ λx PoniewaŜ U [0,1], to kusi, aby liczyć X 1 ln( U ) λ Niebezpieczne!

11 Przykład: rozkład jednorodny RozwaŜmy zmienną losową X jednorodnie rozłoŝoną na przedziale [a, b]. Funkcja gęstości X ma postać f ( ) 1 b a 0,, a b w pozostałych przyp. 1 ( b a) Dystrybuanta ma postać 0, < a a F( ), a b b a 1, > b Zatem X a F ( X ) U b a 0 a b Odwracając X a + ( b a) U

12 Zalety: Dokładna. Prosta i szybka dla niektórych rozkładów. Do wygenerowania zmiennej losowej o danym rozkładzie potrzebna jest tylko jedna liczba losowa o rozkładzie U(0, 1). Wady: Na ogół wymagane jest aby dystrybuanta była znana i odwracalna analitycznie stosunkowo niewielka liczba funkcji! W zasadzie, moŝna numerycznie odwracać dystrybuantę ta metoda jest jednak zwykle znacznie wolniejsza, mniej dokładna i bardziej naraŝona na niestabilności numeryczne. Numeryczne odwracanie dystrybuanty Szukanie miejsca zerowego X 0 funkcji: U F( X 0 ) U f ( ) d (np. metodami: siecznych, stycznych itd.) X 0 0 0

13 Generowanie liczb z rozkładu normalnego f ( ) 1 ep πσ σ Stosując metodę odwracania dystrybuanty dostajemy równanie U 1 ' 1 ep d' 1 + erf πσ σ σ Niestety, tego równania nie da się odwrócić Metoda Boa-Mullera Weźmy dwie niezaleŝne liczby losowe oraz y, wylosowane z rozkładu normalnego. Prawdopodobieństwo, Ŝe punkt (,y) leŝy w małym obszarze ddy płaszczyzny y: f (, y) ddy 1 πσ + y ep σ ddy

14 WyraŜając to we współrzędnych biegunowych f ( r, θ ) drdθ 1 πσ ep r σ rdrdθ Jeśli wygenerujemy zgodnie z powyŝszym rozkładem dwie liczby r oraz θ, a następnie przetransformujemy je z powrotem do współrzędnych kartezjańskich i y, otrzymamy dwie liczby losowe z rozkładu Gaussa. Wygenerowanie θ jest proste losujemy liczbę z rozkładu jednorodnego [0, π). r generujemy metodą odwrotnej dystrybuanty U 1 r f ( r) ep r σ σ r 1 r' r ep r' dr' 1 ep σ 0 σ σ r σ log(1 U ) Mając r oraz θ otrzymujemy dwie liczby losowe z rozkładu Gaussa r sinθ y r cosθ

15 Inna metoda Centralne twierdzenie graniczne JeŜeli X n jest ciągiem niezaleŝnych zmiennych o jednakowym rozkładzie, o wartości przeciętnej <X> i skończonej wariancji σ, to ciąg zmiennych losowych Y n n i 1 n jest zbieŝny do zmiennej losowej o rozkładzie normalnym N(0,1). X i σ n X n 30 wystarczy, aby Y 30 traktować jak zmienną losową o rozkładzie normalnym.

16 Algorytm 1 Przyjmujemy odpowiednio duŝe n. Wybieramy rozkład dla X i o znanej wartości oczekiwanej <X> i znanej wariancji σ. Kierujemy się równieŝ tym, aby algorytm generowania zmiennych X i był szybki. 3 Losujemy n realizacji niezaleŝnych zmiennych losowych X i. 4 Liczymy Y n i uznajemy je za realizacje zmiennej losowej o rozkładzie normalnym.

17 Metoda eliminacji Chcemy wygenerować liczby losowe w przedziału [ min, ma ] zgodnie z rozkładem prawdopodobieństwa f(). f ma Niech f ma maksymalna wartość f() na przedziale [ min, ma ] f() 1. Losujemy liczbę losową z rozkładu jednorodnego + ) U min ( ma min min ma. Losujemy inną liczbę losową r z rozkładu jednorodnego (między 0 i 1) 3. Jeśli akceptujemy liczbę losową. r < r U f ( ) f ma W przeciwnym wypadku, powracamy do kroku 1.

18 Dlaczego to działa? Prawdopodobieństwo wygenerowania liczby z przedziału +d p gen Prawdopodobieństwo akceptacji ( ) d ma d min p akcept ( ) f ( ) f ma Zatem prawdopodobieństwo, Ŝe nasz generator zwróci liczbę : p( ) d p gen ( ) p akcept ( ) f ma f ( ) d ( ma min ) Czyli jest ono proporcjonalne do f()d.

19 Fakt, Ŝe czasem odrzucamy wylosowaną liczbę, zmniejsza efektywność algorytmu. Obliczmy liczbę kroków algorytmu (liczbę wywołania funkcji rand()), by uzyskać średnio jedną liczbę losową. Prawdopodobieństwo P, Ŝe wylosujemy jakąkolwiek liczbę w jednym kroku: P ma min p( ) d f ma ma min ( f ( ) d A zatem liczba kroków algorytmu potrzebna, by uzyskać jedną liczbę N kroków Liczba wywołań funkcji rand() f ( ma min ma 1 ma ma min P f ( ) d min ) ) N rand fma ( ma min ) ma min f ( ) d

20 Porównajmy dwa sposoby generowania liczb z rozkładu normalnego N(0,1). Jeśli granice zakresu liczb leŝą 6 odchyleń standardowych od średniej (1 na 10 7 liczb leŝy poza tym zakresem), a σ 1, to min 6, ma 6 ( ) 1 f ( ) ep N rand f ma ( ma min ma f ( ) d min ) ep( 1 ) d 9,57... Czyli 10 razy więcej niŝ w metodzie odwracania dystrybuanty.

21 Hybrydowa metoda eliminacji Znajdźmy funkcję g(), która jest podobna do f(), ale jest całkowalna i g( ) f ( ) dla Zastosujmy metodę odwrotnej dystrybuanty, by wylosować liczbę losową z rozkładu g(). Jeśli g() jest znormalizowana (czyli f() nie jest), to min ma p gen ( ) d g( ) d p akcept ( ) f ( ) g( ) p( ) d pgen ( ) pakcept ( ) f ( ) d

22 Niech g() będzie funkcją Lorentza 1 1 g( ) π 1+ Aby f() leŝało poniŝej funkcji g(), trzeba je przeskalować (metodą prób i błędów) f ( ) 0.65 f ( ) new old MoŜna pokazać, Ŝe dla liczby wylosowanej z rozkładu Lorentza (sprawdź!) [ π ( )] tan U 1 Prawdopodobieństwo wylosowania liczby w jednym pełnym kroku algorytmu f(), g() Lorentz Gauss 0.05 g() f() P p( ) d f ( ) 0.65 new d fold ( ) d 0.65 N rand 3 P Czyli aby lepiej niŝ w prostej metodzie eliminacji, ale nadal gorzej niŝ w metodzie odwrotnej dystrybuanty.