Metody numeryczne. Wykład nr 12. Dr Piotr Fronczak



Podobne dokumenty
Prawdopodobieństwo i statystyka

Podstawy symulacji komputerowej

PODSTAWOWE ROZKŁADY PRAWDOPODOBIEŃSTWA. Piotr Wiącek

Algorytmy zrandomizowane

Prawdopodobieństwo i statystyka

Generacja liczb pseudolosowych

Metody Rozmyte i Algorytmy Ewolucyjne

Jeśli wszystkie wartości, jakie może przyjmować zmienna można wypisać w postaci ciągu {x 1, x 2,...}, to mówimy, że jest to zmienna dyskretna.

Statystyka i eksploracja danych

Statystyka matematyczna

PEWNE FAKTY Z RACHUNKU PRAWDOPODOBIEŃSTWA

Kwantyle. Kwantyl rzędu p rozkładu prawdopodobieństwa to taka liczba x p. , że. Możemy go obliczyć z dystrybuanty: P(X x p.

Generowanie ciągów pseudolosowych o zadanych rozkładach przykładowy raport

Ważne rozkłady i twierdzenia

Wykład 14. Testowanie hipotez statystycznych - test zgodności chi-kwadrat. Generowanie liczb losowych.

Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Elektroniki

Modelowanie komputerowe

ZMIENNE LOSOWE. Zmienna losowa (ZL) X( ) jest funkcją przekształcającą przestrzeń zdarzeń elementarnych w zbiór liczb rzeczywistych R 1 tzn. X: R 1.

Literatura. Leitner R., Zacharski J., Zarys matematyki wyŝszej dla studentów, cz. III.

zadania z rachunku prawdopodobieństwa zapożyczone z egzaminów aktuarialnych

STATYSTYKA MATEMATYCZNA ZESTAW 0 (POWT. RACH. PRAWDOPODOBIEŃSTWA) ZADANIA

Komputerowa Analiza Danych Doświadczalnych

Sieci Mobilne i Bezprzewodowe laboratorium 2 Modelowanie zdarzeń dyskretnych

Układy stochastyczne

Prawdopodobieństwo i statystyka

Liczba godzin Punkty ECTS Sposób zaliczenia. ćwiczenia 16 zaliczenie z oceną

Prawdopodobieństwo i statystyka

Rozkłady i ich dystrybuanty 16 marca F X (t) = P (X < t) 0, gdy t 0, F X (t) = 1, gdy t > c, 0, gdy t x 1, 1, gdy t > x 2,

Rachunek prawdopodobieństwa projekt Ilustracja metody Monte Carlo obliczania całek oznaczonych

Ćwiczenia 7 - Zmienna losowa i jej rozkład. Parametry rozkładu.

Rozkłady zmiennych losowych

Ważne rozkłady i twierdzenia c.d.

Zmienne losowe. dr Mariusz Grządziel Wykład 12; 20 maja 2014

Przykład 1 W przypadku jednokrotnego rzutu kostką przestrzeń zdarzeń elementarnych

Wynik pomiaru jako zmienna losowa

1 Wykład 3 Generatory liczb losowych o dowolnych rozkładach.

Zestaw 2: Zmienne losowe. 0, x < 1, 2, 2 x, 1 1 x, 1 x, F 9 (x) =

Rekurencje. Jeśli algorytm zawiera wywołanie samego siebie, jego czas działania moŝe być określony rekurencją. Przykład: sortowanie przez scalanie:

1. Znajdowanie miejsca zerowego funkcji metodą bisekcji.

AKADEMIA GÓRNICZO-HUTNICZA Wydział Matematyki Stosowanej ROZKŁAD NORMALNY ROZKŁAD GAUSSA

Rachunek prawdopodobieństwa i statystyka

Zmienne losowe ciągłe i ich rozkłady

Generatory liczb losowych

Korzystanie z podstawowych rozkładów prawdopodobieństwa (tablice i arkusze kalkulacyjne)

Prawdopodobieństwo i statystyka r.

WYKŁADY Z RACHUNKU PRAWDOPODOBIEŃSTWA I wykład 2 i 3 Zmienna losowa

WSTĘP. Tematy: Regresja liniowa: model regresji liniowej, estymacja nieznanych parametrów. Wykład:30godz., ćwiczenia:15godz., laboratorium:30godz.

07DRAP - Zmienne losowe: dyskretne i ciągłe

PRAWDOPODOBIEŃSTWO. ZMIENNA LOSOWA. TYPY ROZKŁADÓW

Zmienne losowe. dr Mariusz Grzadziel. rok akademicki 2016/2017 semestr letni. Katedra Matematyki, Uniwersytet Przyrodniczy we Wrocławiu

Spis treści. Przedmowa... XI. Rozdział 1. Pomiar: jednostki miar Rozdział 2. Pomiar: liczby i obliczenia liczbowe... 16

Temat: BADANIE ZGODNOŚCI ROZKŁADU CECHY (EMPIRYCZNEGO) Z ROZKŁADEM TEORETYCZNYM TEST CHI-KWADRAT. Anna Rajfura 1

STATYSTYKA MATEMATYCZNA. rachunek prawdopodobieństwa

Wykład z analizy danych: powtórzenie zagadnień z rachunku prawdopodobieństwa

Technologie Informacyjne

Komputerowa Analiza Danych Doświadczalnych

W rachunku prawdopodobieństwa wyróżniamy dwie zasadnicze grupy rozkładów zmiennych losowych:

Spis treści 3 SPIS TREŚCI

Rozdział 1. Zmienne losowe, ich rozkłady i charakterystyki. 1.1 Definicja zmiennej losowej

Zmienne losowe ciągłe i ich rozkłady

L.Kowalski zadania z rachunku prawdopodobieństwa-zestaw 2 ZADANIA - ZESTAW 2

Iteracyjne rozwiązywanie równań

Wykład 1 Zmienne losowe, statystyki próbkowe - powtórzenie materiału

Temat: Zmienna losowa. Rozkład skokowy. Rozkład ciągły. Kody kolorów: Ŝółty nowe pojęcie pomarańczowy uwaga. Anna Rajfura, Matematyka

Biostatystyka, # 3 /Weterynaria I/

Z Wikipedii, wolnej encyklopedii.

Testowanie hipotez statystycznych.

Komputerowa analiza danych doświadczalnych

MATEMATYKA Z ELEMENTAMI STATYSTYKI LABORATORIUM KOMPUTEROWE DLA II ROKU KIERUNKU ZARZĄDZANIE I INŻYNIERIA PRODUKCJI ZESTAWY ZADAŃ

Instytut Fizyki Politechniki Łódzkiej Laboratorium Metod Analizy Danych Doświadczalnych Ćwiczenie 3 Generator liczb losowych o rozkładzie Rayleigha.

zdarzenie losowe - zdarzenie którego przebiegu czy wyniku nie da się przewidzieć na pewno.

Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa

Rozkłady statystyk z próby

Komputerowa analiza danych doświadczalnych

RACHUNEK PRAWDOPODOBIEŃSTWA WYKŁAD 3.

Wstęp do sieci neuronowych, wykład 11 Łańcuchy Markova

Rachunek prawdopodobieństwa i statystyka - W 9 Testy statystyczne testy zgodności. Dr Anna ADRIAN Paw B5, pok407

Identyfikacja i modelowanie struktur i procesów biologicznych

Na A (n) rozważamy rozkład P (n) , który na zbiorach postaci A 1... A n określa się jako P (n) (X n, A (n), P (n)

Monte Carlo, bootstrap, jacknife

Przestrzeń probabilistyczna

Rozkłady prawdopodobieństwa

Generowanie ciągów pseudolosowych o zadanych rozkładach wstęp do projektu

3. Generacja liczb losowych o różnych rozkładach

Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory

Weryfikacja hipotez statystycznych

6. Zmienne losowe typu ciagłego ( ) Pole trapezu krzywoliniowego

Janusz Adamowski METODY OBLICZENIOWE FIZYKI Kwantowa wariacyjna metoda Monte Carlo. Problem własny dla stanu podstawowego układu N cząstek

Wykład 1 Próba i populacja. Estymacja parametrów z wykorzystaniem metody bootstrap

Ćwiczenia 3 ROZKŁAD ZMIENNEJ LOSOWEJ JEDNOWYMIAROWEJ

Proces Poissona. Proces {N(t), t 0} nazywamy procesem zliczającym jeśli N(t) oznacza całkowitą liczbę badanych zdarzeń zaobserwowanych do chwili t.

Zmienne losowe, statystyki próbkowe. Wrocław, 2 marca 2015

7. Estymacja parametrów w modelu normalnym( ) Pojęcie losowej próby prostej

Przykłady do zadania 8.1 : 0 dla x 1, c x 4/3 dla x > 1. (b) Czy można dobrać stałą c tak, aby funkcja f(x) = była gęstością pewnego

III. ZMIENNE LOSOWE JEDNOWYMIAROWE

Jednowymiarowa zmienna losowa

PODSTAWOWE ROZKŁADY ZMIENNYCH LOSOWYCH CIĄGŁYCH

Prawdopodobieństwo i statystyka

18. Obliczyć. 9. Obliczyć iloczyn macierzy i. 10. Transponować macierz. 11. Transponować macierz. A następnie podać wymiar powstałej macierzy.

Rozkład zmiennej losowej Polega na przyporządkowaniu każdej wartości zmiennej losowej prawdopodobieństwo jej wystąpienia.

Transkrypt:

Metody numeryczne Wykład nr 1 Dr Piotr Fronczak

Generowanie liczb losowych Metody Monte Carlo są oparte na probabilistyce działają dzięki generowaniu liczb losowych. W komputerach te liczby generowane przez odpowiednie procedury nie są wcale losowe, a raczej deterministyczne i odtwarzalne choć wyglądają jak ciąg przypadkowych liczb. Procedury te nazywamy więc generatorami liczb pseudolosowych. Własności generatorów liczb pseudolosowych (GLP) powtarzalność sekwencja wylosowanych liczb powinna być powtarzalna przy przyjęciu tej samej pierwszej wylosowanej liczby. losowość GLP powinien generować niezaleŝne, jednorodnie rozłoŝone liczby, które pozytywnie przechodzą wszelkie statystyczne testy na losowość. Długi okres okres generatora powinien być znacznie dłuŝszy niŝ liczba potrzebnych w symulacji liczb losowych. Nieczułość na warunek początkowy okres i własności losowe nie powinny zaleŝeć od wyboru warunku początkowego.

Liniowy generator kongruentny (LCG) Zaproponowany przez D. H. Lehmera w 1951 roku. Większość dzisiejszych procedur do generowania liczb pseudolosowych jest oparta na tym generatorze.. n+1 (a n + b) (mod m) Przykład: 0 7, a 1, b 7, m 10, Otrzymamy następującą sekwencję liczb: 7, 4, 1, 8, 5,, 9, 6, 3, 0, 7, 4, Wybór parametru m. m powinno być jak największe, bo okres nie moŝe być większy niŝ m. Zwykle wybieramy m najbliŝsze największej liczbie całkowitej dostępnej w komputerze (dla komputerów 3-bitowych 3-1).

Wady LCG: Weźmy n+1 (5 n + 1)mod(16) Mamy okres P 16, (najdłuŝszy moŝliwy). Integer Binary Real 0 : 1 0001 1/16 0.065 1 : 6 0110 6/16 0.3750 : 15 1111 15/16 0.9375 3 : 1 1100 1/16 0.7500 4 : 13 1101 13/16 0.815 5 : 0010 /16 0.150 6 : 11 1011 11/16 0.6875 7 : 8 1000 8/16 0.5000 8 : 9 1001 9/16 0.565 9 : 14 1110 14/16 0.8750 10 : 7 0111 7/16 0.4375 11 : 4 0100 4/16 0.500 1 : 5 0101 5/16 0.315 13 : 10 1010 10/16 0.675 14 : 3 0011 3/16 0.1875 15 : 0 0000 0/16 0.0000 Korelacje w ostatnim bicie! 1010101 MoŜna pokazać, Ŝe <> 1/ <( - <>) > 1/1 0.083. U nas: <> 0.469 <( - <>) > 1/1 0.088. Całkiem nieźle.

Jednorodność w 1D nie oznacza jednorodności w D

MoŜna pokazać, Ŝe punkty, których współrzędnymi jest kolejnych d liczb z sekwencji generatora LCG leŝą w przestrzeni d-wymiarowej na równoległych d-1 wymiarowych hiperpłaszczyznach. Liczba hiperpłaszczyzn N d m Przykłady współczesnych generatorów LCG We wszystkich powyŝszych kompilatorach m 3-1

Generator Fibonacciego (LFG) Generator Fibonacciego jest jednym z wielu wariantów uogólnionego generatora liniowego liczb losowych. LFG stają się popularne w ostatnich latach. Nazwane tak z powodu podobieństwa do sekwencji Fibonacciego: 0, 1, 1,, 3, 5,8, 13, F Fn 1 Fn LFG wykorzystuje do generowania liczb losowych algorytm n n l + n k (mod m) gdzie l > k > 0 z m wartościami początkowymi { 0, 1,, l 1 }. n

Generator Fibonacciego (LFG) W większości aplikacji, m jest potęgą dwójki, m M. Przy odpowiednim wyborze parametrów l, k i wartości początkowych, okres generatora P (l 1) M 1. Dwa najczęściej uŝywane LFG: n n 17 + n 5 (mod 31 ) okres 47 n n 55 + n 4 (mod 31 ) period 85 W odróŝnieniu od LCG, wartość parametru m nie ogranicza okresu generatora. LFG jest prosty w implementacji: - dodawanie całkowite - logiczne AND (operacja mod M ) - tablica (niewielka).

Niejednorodne generatory liczb losowych Większość generatorów daje liczby rozłoŝone jednorodnie. Rozkłady nieliniowe moŝna otrzymać za pomocą: metody odwracania dystrybuanty metody akceptacji / odrzucenia Metoda odwracania dystrybuanty Jeśli zmienna losowa U ma rozkład jednostajny na odcinku [0, 1], to zmienna losowa X F 1 (U) ma rozkład o dystrybuancie F(). Dowód: PoniewaŜ P{X } P{F 1 (U) } P{U F()} F(), więc zmienna losowa X ma rzeczywiście rozkład prawdopodobieństwa o dystrybuancie F.

Przykład: rozkład wykładniczy Gęstość rozkładu wykładniczego Liczymy dystrybuantę F( ) λ f ( ) λe λ' λ' λe d' e 1 0 0 0 e λ Zatem U F( X ) 1 e 1 X ln(1 U ) λ λx PoniewaŜ U [0,1], to kusi, aby liczyć X 1 ln( U ) λ Niebezpieczne!

Przykład: rozkład jednorodny RozwaŜmy zmienną losową X jednorodnie rozłoŝoną na przedziale [a, b]. Funkcja gęstości X ma postać f ( ) 1 b a 0,, a b w pozostałych przyp. 1 ( b a) Dystrybuanta ma postać 0, < a a F( ), a b b a 1, > b Zatem X a F ( X ) U b a 0 a b Odwracając X a + ( b a) U

Zalety: Dokładna. Prosta i szybka dla niektórych rozkładów. Do wygenerowania zmiennej losowej o danym rozkładzie potrzebna jest tylko jedna liczba losowa o rozkładzie U(0, 1). Wady: Na ogół wymagane jest aby dystrybuanta była znana i odwracalna analitycznie stosunkowo niewielka liczba funkcji! W zasadzie, moŝna numerycznie odwracać dystrybuantę ta metoda jest jednak zwykle znacznie wolniejsza, mniej dokładna i bardziej naraŝona na niestabilności numeryczne. Numeryczne odwracanie dystrybuanty Szukanie miejsca zerowego X 0 funkcji: U F( X 0 ) U f ( ) d (np. metodami: siecznych, stycznych itd.) X 0 0 0

Generowanie liczb z rozkładu normalnego f ( ) 1 ep πσ σ Stosując metodę odwracania dystrybuanty dostajemy równanie U 1 ' 1 ep d' 1 + erf πσ σ σ Niestety, tego równania nie da się odwrócić Metoda Boa-Mullera Weźmy dwie niezaleŝne liczby losowe oraz y, wylosowane z rozkładu normalnego. Prawdopodobieństwo, Ŝe punkt (,y) leŝy w małym obszarze ddy płaszczyzny y: f (, y) ddy 1 πσ + y ep σ ddy

WyraŜając to we współrzędnych biegunowych f ( r, θ ) drdθ 1 πσ ep r σ rdrdθ Jeśli wygenerujemy zgodnie z powyŝszym rozkładem dwie liczby r oraz θ, a następnie przetransformujemy je z powrotem do współrzędnych kartezjańskich i y, otrzymamy dwie liczby losowe z rozkładu Gaussa. Wygenerowanie θ jest proste losujemy liczbę z rozkładu jednorodnego [0, π). r generujemy metodą odwrotnej dystrybuanty U 1 r f ( r) ep r σ σ r 1 r' r ep r' dr' 1 ep σ 0 σ σ r σ log(1 U ) Mając r oraz θ otrzymujemy dwie liczby losowe z rozkładu Gaussa r sinθ y r cosθ

Inna metoda Centralne twierdzenie graniczne JeŜeli X n jest ciągiem niezaleŝnych zmiennych o jednakowym rozkładzie, o wartości przeciętnej <X> i skończonej wariancji σ, to ciąg zmiennych losowych Y n n i 1 n jest zbieŝny do zmiennej losowej o rozkładzie normalnym N(0,1). X i σ n X n 30 wystarczy, aby Y 30 traktować jak zmienną losową o rozkładzie normalnym.

Algorytm 1 Przyjmujemy odpowiednio duŝe n. Wybieramy rozkład dla X i o znanej wartości oczekiwanej <X> i znanej wariancji σ. Kierujemy się równieŝ tym, aby algorytm generowania zmiennych X i był szybki. 3 Losujemy n realizacji niezaleŝnych zmiennych losowych X i. 4 Liczymy Y n i uznajemy je za realizacje zmiennej losowej o rozkładzie normalnym.

Metoda eliminacji Chcemy wygenerować liczby losowe w przedziału [ min, ma ] zgodnie z rozkładem prawdopodobieństwa f(). f ma Niech f ma maksymalna wartość f() na przedziale [ min, ma ] f() 1. Losujemy liczbę losową z rozkładu jednorodnego + ) U min ( ma min min ma. Losujemy inną liczbę losową r z rozkładu jednorodnego (między 0 i 1) 3. Jeśli akceptujemy liczbę losową. r < r U f ( ) f ma W przeciwnym wypadku, powracamy do kroku 1.

Dlaczego to działa? Prawdopodobieństwo wygenerowania liczby z przedziału +d p gen Prawdopodobieństwo akceptacji ( ) d ma d min p akcept ( ) f ( ) f ma Zatem prawdopodobieństwo, Ŝe nasz generator zwróci liczbę : p( ) d p gen ( ) p akcept ( ) f ma f ( ) d ( ma min ) Czyli jest ono proporcjonalne do f()d.

Fakt, Ŝe czasem odrzucamy wylosowaną liczbę, zmniejsza efektywność algorytmu. Obliczmy liczbę kroków algorytmu (liczbę wywołania funkcji rand()), by uzyskać średnio jedną liczbę losową. Prawdopodobieństwo P, Ŝe wylosujemy jakąkolwiek liczbę w jednym kroku: P ma min p( ) d f ma ma min ( f ( ) d A zatem liczba kroków algorytmu potrzebna, by uzyskać jedną liczbę N kroków Liczba wywołań funkcji rand() f ( ma min ma 1 ma ma min P f ( ) d min ) ) N rand fma ( ma min ) ma min f ( ) d

Porównajmy dwa sposoby generowania liczb z rozkładu normalnego N(0,1). Jeśli granice zakresu liczb leŝą 6 odchyleń standardowych od średniej (1 na 10 7 liczb leŝy poza tym zakresem), a σ 1, to min 6, ma 6 ( ) 1 f ( ) ep N rand f ma ( ma min ma f ( ) d min ) 6 6 4 ep( 1 ) d 9,57... Czyli 10 razy więcej niŝ w metodzie odwracania dystrybuanty.

Hybrydowa metoda eliminacji Znajdźmy funkcję g(), która jest podobna do f(), ale jest całkowalna i g( ) f ( ) dla Zastosujmy metodę odwrotnej dystrybuanty, by wylosować liczbę losową z rozkładu g(). Jeśli g() jest znormalizowana (czyli f() nie jest), to min ma p gen ( ) d g( ) d p akcept ( ) f ( ) g( ) p( ) d pgen ( ) pakcept ( ) f ( ) d

Niech g() będzie funkcją Lorentza 1 1 g( ) π 1+ Aby f() leŝało poniŝej funkcji g(), trzeba je przeskalować (metodą prób i błędów) f ( ) 0.65 f ( ) new old MoŜna pokazać, Ŝe dla liczby wylosowanej z rozkładu Lorentza (sprawdź!) [ π ( )] tan U 1 Prawdopodobieństwo wylosowania liczby w jednym pełnym kroku algorytmu f(), g() 0.35 0.30 0.5 0.0 0.15 0.10 Lorentz Gauss 0.05 g() f() 0.00-6 -4-0 4 6 P p( ) d f ( ) 0.65 new d fold ( ) d 0.65 N rand 3 P Czyli aby lepiej niŝ w prostej metodzie eliminacji, ale nadal gorzej niŝ w metodzie odwrotnej dystrybuanty.