Prawdopodobieństwo i statystyka

Transkrypt

1 Wykład VI: Metoda Mote Carlo 17 listopada 2014

2 Zastosowaie: przybliżoe całkowaie Prosta metoda Mote Carlo Przybliżoe obliczaie całki ozaczoej Rozważmy całkowalą fukcję f : [0, 1] R. Chcemy zaleźć przybliżoą wartość liczbową całki 1 f (x) dx. 0 Jede ze sposobów może wyglądać astępująco. Niech U 1, U 2, U 3,... będzie ciągiem iezależych zmieych losowych o jedakowym rozkładzie U(0, 1) (jedostajym a odciku [0, 1]). Rozważmy ciąg średich f (U 1 ) f (U ). (1) Z mocego prawa wielkich liczb wyika, że P-prawie wszędzie, f (U 1 ) f (U ) Ef (U 1 ) = 1 0 f (x) dx.

3 Prosta metoda Mote Carlo Zastosowaie: przybliżoe całkowaie Prosta metoda Mote Carlo Twierdzeie Niech f : [0, 1] k R 1 będzie fukcja całkowalą. Niech U 1,..., U k, U k+1,..., U 2k, U 2k+1,..., U 3k, U 3k+1,..., U k,..., będą iezależymi zmieymi losowymi o jedakowym rozkładzie U(0, 1). Wtedy f (U 1,..., U k ) + f (U k+1,..., U 2k ) f (U ( 1)k+1,..., U k ) f ( x) d x P-prawie wszędzie. [0,1] k Uwaga: W powyższym wzorze [0,1] k f ( x) d x = 1 0 dx dx 2... dx k f (x 1, x 2,..., x k ). 0

4 Dwa waże pytaia Prawo iterowaego logarytmu Cetrale twierdzeie graicze PYTANIE 1: Jak duże ależy wybrać, aby uzyskać odpowiedią dokładość przybliżeia. Iymi słowy: Jakie jest tempo zbieżości w prawie wielkich liczb? W praktyce metod Mote Carlo, do obliczeń wykorzystujemy ciąg liczbowy u 1, u 2,..., u,... uzyskay z geeratora liczb losowych, który a ogół fukcjouje w oparciu o algorytm determiistyczy. Taki ciąg jedyie aśladuje kokretą realizację X 1 (ω), X 2 (ω),..., X (ω),... ciągu iezależych zmieych losowych.

5 Dwa waże pytaia Prawo iterowaego logarytmu Cetrale twierdzeie graicze PYTANIE 2: Jakie własości powiie mieć geeroway ciąg, aby moża było uzać, że dobrze aśladuje ciąg iezależych zmieych losowych? Podamy dwie takie własości, stosukowo często iespełiae przez geeratory liczb losowych: Prawo iterowaego logarytmu. Cetrale twierdzeie graicze.

6 Prawo iterowaego logarytmu Prawo iterowaego logarytmu Cetrale twierdzeie graicze Twierdzeie (Hartma-Witer) Niech X 1, X 2,..., będzie ciągiem iezależych zmieych losowych o jedakowym rozkładzie. Jeśli EX1 2 < +, to lim sup lim if X 1 + X X EX 1 2 log log =D(X 1 ), P-prawie wszędzie, X 1 + X X EX 1 2 log log = D(X 1 ), P-prawie wszędzie. Iymi słowy, P-prawie wszędzie, lim sup 2 log log lim if 2 log log ( X1 + X X ) EX 1 =D(X 1 ), ( X1 + X X ) EX 1 = D(X 1 ).

7 Cetrale twierdzeie graicze Prawo iterowaego logarytmu Cetrale twierdzeie graicze Twierdzeie (P. Lévy) Niech X 1, X 2,..., będzie ciągiem iezależych zmieych losowych o jedakowym rozkładzie. Jeśli EX 2 1 < + oraz D2 (X 1 ) > 0, to dla wszystkich a < b ( P a < X 1 + X X EX 1 D 2 (X 1 ) W szczególości, dla każdego b > 0 ) < b Φ(b) Φ(a). ( X 1 + X X EX ) 1 P < b 2 ( ) Φ(b) 1/2. D 2 (X 1 )

8 Cetrale twierdzeie graicze Prawo iterowaego logarytmu Cetrale twierdzeie graicze Uwaga Zauważmy, że a mocy cetralego twierdzeia graiczego prawdopodobieństwo zdarzeia { X 1 + X X EX 1 D 2 (X 1 ) } < b = { X 1 + X X D = EX 2 (X 1 )} 1 < b ma dla dużych wartość bliską 2 ( Φ(b) 1/2 ).

9 Postawieie zagadieia Motywacje Rozkład wykładiczy Odwracaie ciągłych dystrybuat Motywacja Zamy rozkład ν zmieej losowej X, ale ie potrafimy aalityczie obliczyć Ef (X ) dla pewej fukcji f. Wtedy symulujemy ciąg X 1, X 2,..., iezależych zmieych losowych o rozkładzie ν i badamy asymptotykę ciągu f (X 1 ) + f (X 2 ) f (X ), o którym wiemy, z mocego prawa wielkich liczb, że zmierza do Ef (X 1 ). Motywacja Budujemy model systemu obsługi masowej. Aby oceić wybraą charakterystykę liczbową modelu potrzeby jest strumień daych o zadaym rozkładzie.

10 Przykład - rozkład wykładiczy Motywacje Rozkład wykładiczy Odwracaie ciągłych dystrybuat Niech F (x) = 1 e x, x > 0 (dystrybuata rozkładu wykładiczego). Jest to fukcja ciągła i ściśle rosąca a R +. Istieje więc F 1 : [0, 1) R +. Z relacji F ( F 1 (t) ) = t otrzymujemy a więc 1 t = e F 1 (t), F 1 (t) = log(1 t). Jaki jest rozkład fukcji F 1 : ( [0, 1], B [0,1), l ) R 1? Mamy {t [0, 1) ; F 1 (t) x } = { t [0, 1) ; t F (x) }. Stąd l { t [0, 1) ; F 1 (t) x } = F (x), x > 0.

11 Ciągłe dystrybuaty Motywacje Rozkład wykładiczy Odwracaie ciągłych dystrybuat Uwaga: Jeśli więc U U(0, 1), to F 1 (U) = log(1 U) ma rozkład wykładiczy. Zauważmy, że log(1 U) log(u), a więc rówież log U ma rozkład wykładiczy. Wiosek Jeżeli U 1, U 2,... jest ciągiem zmieych z geeratora U(0, 1), to jest ciągiem z geeratora Ex(1). Wiosek log U 1, log U 2, log U 3,... Jeżeli dystrybuata F : R 1 [0, 1] jest ściśle rosąca i ciągła a R 1, to ciąg F 1 (U 1 ), F 1 (U 2 ),... jest z geeratora rozkładu o dystrybuacie F.

12 Kometarze Prosta metoda Mote Carlo Motywacje Rozkład wykładiczy Odwracaie ciągłych dystrybuat Jak pokazuje przykład rozkładu wykładiczego, wzór F 1 (U) zadaje zmieą losową o rozkładzie F, jeśli tylko dystrybuata F jest ściśle rosąca i ciągła a zbiorze (F, F ), gdzie F = if{x R 1 ; F (x) > 0}, F = sup{x R 1 ; F (x) < 1}. W oparciu o tę metodę łatwo geerujemy zmiee losowe z rozkładów Pareto, logistyczego itp. Nie potrafimy podać zwartego wzoru a fukcję odwrotą do Φ (dystrybuaty rozkładu ormalego). W tej sytuacji zaskakująco użytecze bywają aproksymacje za pomocą fukcji wymierych (ilorazów wielomiaów). Dobrym źródłem wiedzy w tym zakresie jest książka R. Wieczorkowski i R. Zieliński, Komputerowe geeratory liczb losowych, Wydawictwo Naukowo- Techicze, Warszawa 1997

13 Metoda odwróceia dystrybuaty Metoda odwróceia dystrybuaty Symulacja rozkładów dyskretych Twierdzeie Niech X ma rozkład o dystrybuacie F. Defiiujemy lewostroie ciągłą odwrotą do F wzorem F (u) = if{x ; F (x) u}. Jeżeli U 1, U 2, U 3,... jest ciągiem zmieych z geeratora rozkładu U(0, 1), to F (U 1 ), F (U 2 ), F (U 3 ),... jest ciągiem z geeratora rozkładu o dystrybuacie F.

14 Metoda odwróceia dystrybuaty Symulacja rozkładów dyskretych Przykład - symulacja rozkładów dyskretych Niech X ma rozkład dyskrety skończoy, tz. istieją liczby p i > 0, x i R 1, i = 1, 2,..., m, takie, że m i=1 p i = 1, x i x j dla i j, oraz P ( X = x i ) = pi, i = 1, 2,..., m. Załóżmy dla ustaleia uwagi, że = x 0 < x 1 < x 2 <... < x m < x m+1 = +. Wtedy Dlatego F (x) = k p i = p i, jeśli x k x < x k+1. {i ; x i x} i=1 m 1 F (u) = x k+1 1I Ak+1 (u), k=0 gdzie A k+1 = ( k i=1 p i, k+1 i=1 p i].

15 Symulacja rozkładów dyskretych Metoda odwróceia dystrybuaty Symulacja rozkładów dyskretych Kometarz Powyższa metoda symulacji rozkładów dyskretych jest aiwa. Moża ją stosować w przypadku iewielkich m, rzędu kilkuset - kilkuastu tysięcy. W przypadku m rzędu taka metoda jest praktyczie iewykoala.