Algorytmy MCMC i ich zastosowania statystyczne
|
|
- Seweryn Władysław Lis
- 6 lat temu
- Przeglądów:
Transkrypt
1 Algorytmy MCMC i ich zastosowania statystyczne Wojciech Niemiro Uniwersytet Mikołaja Kopernika, Toruń i Uniwersytet Warszawski Statystyka Matematyczna Wisła, grudzień 2010
2 Wykład 2 1 Podstawowe idee symulacji stochastycznych Generowanie zmiennych losowych Eliminacja/akceptacja Losowanie istotne (ważone) 2 Łańcuchy Markowa Definicja, oznaczenia Rozkład stacjonarny Odwracalność Twierdzenia graniczne 3 Algorytmy MCMC Algorytm Metropolisa-Hastingsa (MH) Próbnik Gibbsa (PG)
3 Generowanie zmiennych losowych Uwaga: Odtad rozważana będzie jedynie losowość Monte Carlo, pochodzaca z generatorów komputerowych. W tym sensie używane będa litery P i E. Obserwacje realnych zmiennych losowych, wartości statystyk itp. będa traktowane jako ustalone liczby. Założenie: Możemy produkować dowolnie wiele niezależnych zmiennych losowych o jednakowym rozkładzie jednostajnym Unif (0, 1), powiedzmy U 1,..., U n,....
4 Metoda przekształceń. Niech F będzie dystrybuanta jednowymiarowego rozkładu prawdopodobieństwa. TWIERDZENIE Jeśli U Unif (0, 1) i X = F 1 (U) to X F. Dowód. P(X x) = P(F 1 (U) x) = P(U F (x)) = F (x). Nieco ogólniej: dla dowolnego rozkładu (niekoniecznie jednowymiarowego), możemy wyprodukować zmienna losowa X o tym rozkładzie jako X = ψ(u). W istocie, U zazwyczaj jest wektorem (U 1,..., U s ), przeważnie losowego wymiaru. Ale to wszystko jedno... (teoretycznie).
5 Metoda przekształceń. Niech F będzie dystrybuanta jednowymiarowego rozkładu prawdopodobieństwa. TWIERDZENIE Jeśli U Unif (0, 1) i X = F 1 (U) to X F. Dowód. P(X x) = P(F 1 (U) x) = P(U F (x)) = F (x). Nieco ogólniej: dla dowolnego rozkładu (niekoniecznie jednowymiarowego), możemy wyprodukować zmienna losowa X o tym rozkładzie jako X = ψ(u). W istocie, U zazwyczaj jest wektorem (U 1,..., U s ), przeważnie losowego wymiaru. Ale to wszystko jedno... (teoretycznie).
6 Eliminacja/akceptacja Uwaga: Odtad, na ogół, rozkłady prawdopodobieństwa utożsamiamy z gęstościami. Napis p p oznacza, że p (x) = cp(x) dla pewnej stałej c, czyli znamy gęstość p z dokładnościa do stałej normujacej. Algorytm eliminacji/akceptacji: Zakładamy, że umiemy generować zmienne losowe o gęstości q, a chcielibyśmy otrzymać zmienna o gęstości p. Zakładamy, że p p, q q i p q. repeat Gen Y q Gen U Unif (0, 1) until U p (Y ) q (Y ) X := Y
7 Eliminacja/akceptacja Zakładamy, że p p, q q i p q. repeat Gen Y q Gen U Unif (0, 1) until U p (Y ) q (Y ) X := Y TWIERDZENIE Na wyjściu z tego algorytmu otrzymujemy X p. Dowód. Niech V = Uq (Y ). Punkt (Y, V ) ma rozkład jednostajny na podwykresie {(y, v) : 0 v q (y)}. Zatem po eliminacji, punkt (X, V ) ma rozkład jednostajny na podwykresie {(x, v) : 0 v p (x)}. Brzegowo, X p.
8 Losowanie istotne (ważone) Chcemy obliczyć całkę θ = X f (x)p(x)dx. Przypuśćmy, że umiemy losować z rozkładu o gęstości q. Losowanie istotne, wersja I: Niech X 1,..., X n będa niezależnymi zmiennymi losowymi o jednakowym rozkładzie q, ˆθ n = 1 n n W i f (X i ), (1) i=1 gdzie W i = w(x i ) = p(x i) q(x i ) traktujemy jako wagi wylosowanych punktów X i.
9 Losowanie istotne (ważone) TWIERDZENIE Estymator (1) jest nieobciażony, zgodny, asymptotycznie normalny. Dowód. Zauważmy, że p(x) θ = q(x) f (x)q(x)dx = E p(x) q q(x) f (X) = E qw(x)f (X), X gdzie w(x) = p(x)/q(x). Stad nieobciażoność. Zgodność wynika z PWL. Asymptotyczna normalność wynika z CTG.
10 Losowanie istotne (ważone) Załóżmy, że umiemy tylko obliczać iloraz w (x) w(x) ale nie znamy stałej normujacej. Losowanie istotne, wersja II: gdzie TWIERDZENIE n i=1 ˆθ n = W i f (X i) n i=1 W i, (2) W i = w (X i ). Estymator (2) jest zgodny, asymptotycznie normalny. Dowód. Zauważmy, że ˆθ n = n 1 n i=1 W if (X i ) n 1 n i=1 W. i Licznik jest estymatorem (1). Mianownik 1 p.n.
11 Przykład: ENW metoda MC, przykład Geyera-Thompson Przykład losowania istotne, wersja I: Z (θ) = x = x [ ] exp θ T T (x) [ ] [ ] exp (θ θ ) T T (x) exp θ T T (x) [ ] exp (θ θ ) T T (x) p θ (x) x [ ] = E θ exp (θ θ ) T T (x).
12 Definicja (symulacyjna) Niech X będzie przestrzenia polska. Jak zwykle, U 0, U 1,..., U n,... Unif (0, 1), iid. DEFINICJA Łańcuch Markowa (jednorodny) jest to ciag zmiennych losowych X 0, X 1,..., X n,... o wartościach w X określony następujaco (IRF): X 0 = ψ(u 0 ) X n+1 = φ(x n, U n+1 ), dla pewnych funkcji ψ : [0, 1] X oraz φ : X [0, 1] X. Jadro przejścia: dla x X i A X mamy P(x, A) = P(X n+1 A X n = x) = P(φ(x, U) A). Rozkład poczatkowy: ξ(a) = P(X 0 A) = P(ψ(U) A).
13 Oznaczenia Zależność od rozkładu poczatkowego: P ξ, E ξ. Jeśli ξ = δ x to P x, E x. Operatory zwiazane z jadrem przejścia P: Jeśli ξ jest miara i f jest funkcja na X to: Pf (x) = P(x, dy)f (x) = E x f (X 1 ); ξp(a) = ξ(dx)p(x, A) = P ξ (X 1 A); ξf = ξ(dx)f (x). J adro przejścia w n krokach: P n (x, A) = P(x, dx1 )P(x 1, dx 2 ) P(x n 1, A) = P x (X n A).
14 Rozkład stacjonarny Inaczej zwany rozkładem równowagi. DEFINICJA Rozkład prawdopodobieństwa π jest stacjonarny dla jadra P jeśli πp = π. Uwaga: Jeśli X 0 π to łańcuch X n jest procesem ściśle stacjonarnym. DEFINICJA Łańcuch o j adrze P jest π-nieprzywiedlny, jeśli dla każdego A X takiego, że π(a) > 0 i dla każdego x X istnieje n = n(x, A) takie, że P n (x, A) > 0.
15 Odwracalność DEFINICJA Łańcuch o jadrze P jest odwracalny względem rozkładu prawdopodobieństwa π, jeśli dla dowolnych A, B X mamy π(dx)p(x, B) = π(dy)p(y, A). W skrócie, A TWIERDZENIE π(dx)p(x, dy) = π(dy)p(y, dx). Jeśli π(dx)p(x, dy) = π(dy)p(y, dx) to πp = P. Dowód. πp(b) = X π(dx)p(x, B) = B π(dy)p(y, X ) = B π(dy) = π(b). B
16 (Słabe) Twierdzenie Ergodyczne, PWL, CTG Założenia: Łańcuch X 0,..., X n,... ma rozkład stacjonarny π i jest π-nieprzywiedlny... i dodatkowe warunki. (Słabe) Twierdzenie Ergodyczne P(X n ) π( ) (n ), w odpowiednim sensie. Prawo Wielkich Liczb, PWL 1 n n f (X i ) π(f ) (n ), prawie na pewno. i=1 Centralne Twierdzenie Graniczne, CTG 1 n n [f (X i ) π(f )] N(0, σas(f 2 )) (n ), według rozkładu. i=1
17 Algorytm Metropolisa-Hastingsa (MH) Rozkład docelowy: π(dx) = π(x)dx. Rozkład propozycji : q(x, dy) = q(x, y)dy. Reguła akceptacji: a(x, y) = π(y)q(y, x) π(x)q(x, y) 1. X n = x y q(x, ) a(x,y) 1 a(x,y) X n+1 = y X n+1 = x
18 Algorytm Metropolisa-Hastingsa (MH) Bładzenie losowe zgodnie z jadrem przejścia q, modyfikowane tak aby zmierzało do π function KrokMH(x) Gen y q(x, ) { propozycja } Gen U Unif (0, 1) if U > a(x, y) then y := x { ruch odrzucony z pr-stwem 1 a(x, y) } end if return y Gen X 0 π 0 { start } for n := 1 to do X n := KrokMH(X n 1 ) { krok } end for
19 Algorytm Metropolisa-Hastingsa (MH) Jadro przejścia M-H. P(x, B) = dy q(x, y)a(x, y)+i(x B) B X dy q(x, y)[1 a(x, y)]. Dla przestrzeń skończonej, prawdopodobieństwa przejścia M-H, dla x y: P(x, y) = q(x, y)a(x, y).
20 Algorytm Metropolisa-Hastingsa (MH) TWIERDZENIE Jadro przejścia MH jest odwracalne względem π. Dowód. Przestrzeń skończona. Niech (bez straty ogólności) Wtedy a(x, y) = π(y)q(y, x) 1, a(y, x) = 1. π(x)q(x, y) π(x)p(x, y) = π(x)q(x, y)a(x, y) π(y)q(y, x) = π(x)q(x, y) π(x)q(x, y) = π(y)q(y, x) = π(y)p(y, x) bo a(y, x) = 1!
21 Algorytm Metropolisa-Hastingsa (MH) Uwagi historyczne: Metropolis: 1953: q(x, y) = q(y, x), a(x, y) = π(y) π(x) 1. Łańcuch propozycji ma rozkład stacjonarny jednostajny. Hastings, Uwaga ważna: Algorytm MH wymaga znajomości gęstość π tylko z dokładnościa do proporcjonalności, bez stałej normujacej.
22 Próbnik Gibbsa (PG) Gibbs Sampler (GS). Przestrzeń produktowa: X = d i=1 X i. Oznaczenia: Jeśli X x = (x i ) d i=1 to x i = (x j ) j i : wektor z pominięta i-ta współrzędna. Rozkład docelowy (gęstość): π(dx) = π(x)dx. Pełne rozkłady warunkowe (full conditionals): π(x i x i ) = π(x) π(x i ) Mały krok PG: zmiana i-tej współrzędnej: x = (x 1,..., x i,..., x d ) Gen y i π( x i ) Y = (x 1,..., y i,..., x d ).
23 Próbnik Gibbsa (PG) Prawdopodobieństwo przejścia małego kroku PG (w przypadku przestrzeni skończonej): TWIERDZENIE Mały krok PG jest π-odwracalny. Dowód. Niech x i = y i. (symetria). P i (x, y) = π(y i x i )I(x i = y i ). π(x)p i (x, y) = π(x)π(y i x i ) = π(x i )π(x i x i )π(y i x i ) = π(y i )π(x i x i )π(y i y i ) = π(y)p i (y, x).
24 Próbnik Gibbsa (PG) Pełny krok PG, 2 wersje Losowy wybór współrzędnych, LosPG. Systematyczny wybór współrzędnych, SystemPG. Losowy PG: Wybieramy współrzędna i-ta z pr-stwem c(i). function LosPG(x) Gen i c( ) Gen y i := π( x i ) { zmieniamy i-ta współrzędna } y := (x i, y i ) return y Jadro przejścia w dużym kroku LosPG P = d c(i)p i, i=1 LosPG jest odwracalny.
25 Próbnik Gibbsa (PG) Systematyczny PG: Współrzędne zmieniane w porzadku cyklicznym. function SystemPG(x) Gen y 1 π( x 2,..., x d ) Gen y 2 π( y 1, x 3,..., x d ) Gen y d π( y 1,..., y d 1 ) return y Jadro przejścia w dużym kroku SystemPG. P = P 1 P 2 P d, SystemPG nie jest odwracalny. Ale jest π-stacjonarny, bo πp 1 P 2 P d = π. Problemy: Dobrać c( ) w LosPG. Dobrać kolejność w SystemPG. Zmieniać bloki współrzędnych na raz. W praktyce SystemPG preferowany ale trudniejszy do analizy!
26 Próbnik Gibbsa, trajektoria kappa mu
27 Próbnik Gibbsa, chmurka kappa mu
Algorytmy MCMC i ich zastosowania statystyczne
Algorytmy MCMC i ich zastosowania statystyczne Wojciech Niemiro Uniwersytet Mikołaja Kopernika, Toruń i Uniwersytet Warszawski Statystyka Matematyczna Wisła, grudzień 2010 Wykład 3 1 Łańcuchy Markowa Oznaczenia
Algorytmy MCMC (Markowowskie Monte Carlo) dla skokowych procesów Markowa
Algorytmy MCMC (Markowowskie Monte Carlo) dla skokowych procesów Markowa Wojciech Niemiro 1 Uniwersytet Warszawski i UMK Toruń XXX lat IMSM, Warszawa, kwiecień 2017 1 Wspólne prace z Błażejem Miasojedowem,
Algorytm Metropolisa-Hastingsa
Seminarium szkoleniowe, 25 kwietnia 2006 Plan prezentacji 1 Problem Metoda MCMC 2 Niezależny algorytm Metropolisa-Hastingsa Bła dzenie losowe Zbieżność procedury Metropolisa-Hastingsa Problem Metoda MCMC
Algorytmy MCMC i ich zastosowania statystyczne
Algorytmy MCMC i ich zastosowania statystyczne Wojciech Niemiro Uniwersytet Mikołaja Kopernika, Toruń i Uniwersytet Warszawski Statystyka Matematyczna Wisła, grudzień 2010 Wykład 1 1 Co to jest MCMC? 2
Geometryczna zbieżność algorytmu Gibbsa
Geometryczna zbieżność algorytmu Gibbsa Iwona Żerda Wydział Matematyki i Informatyki, Uniwersytet Jagielloński 6 grudnia 2013 6 grudnia 2013 1 / 19 Plan prezentacji 1 Algorytm Gibbsa 2 Tempo zbieżności
Wstęp do sieci neuronowych, wykład 11 Łańcuchy Markova
Wstęp do sieci neuronowych, wykład 11 Łańcuchy Markova M. Czoków, J. Piersa 2010-12-21 1 Definicja Własności Losowanie z rozkładu dyskretnego 2 3 Łańcuch Markova Definicja Własności Losowanie z rozkładu
Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa
Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa M. Czoków, J. Piersa 2012-01-10 1 Łańcucha Markowa 2 Istnienie Szukanie stanu stacjonarnego 3 1 Łańcucha Markowa 2 Istnienie Szukanie stanu stacjonarnego
Wielowymiarowy próbnik Gibbsa
29.05.2006 Seminarium szkoleniowe 30 maja 2006 Plan prezentacji Slgorytm MH i PG przypomnienie wiadomości Wielowymiarowy PG Algorytm PG z dopełnieniem Odwracalny PG Modele hierarchiczne Modele hybrydowe
Prawdopodobieństwo i statystyka
Wykład VII: Metody specjalne Monte Carlo 24 listopada 2014 Transformacje specjalne Przykład - symulacja rozkładu geometrycznego Niech X Ex(λ). Rozważmy zmienną losową [X ], która przyjmuje wartości naturalne.
Prawdopodobieństwo i statystyka
Wykład XIV: Metody Monte Carlo 19 stycznia 2016 Przybliżone obliczanie całki oznaczonej Rozważmy całkowalną funkcję f : [0, 1] R. Chcemy znaleźć przybliżoną wartość liczbową całki 1 f (x) dx. 0 Jeden ze
Oszacowania błędów estymatorów stosowanych w markowowskich metodach Monte Carlo
Uniwersytet Warszawski Wydział Matematyki, Informatyki i Mechaniki Błażej Miasojedow Oszacowania błędów estymatorów stosowanych w markowowskich metodach Monte Carlo rozprawa doktorska Promotor rozprawy
Metody Rozmyte i Algorytmy Ewolucyjne
mgr inż. Wydział Matematyczno-Przyrodniczy Szkoła Nauk Ścisłych Uniwersytet Kardynała Stefana Wyszyńskiego Podstawowe operatory genetyczne Plan wykładu Przypomnienie 1 Przypomnienie Metody generacji liczb
Metoda Monte Carlo. Jerzy Mycielski. grudzien Jerzy Mycielski () Metoda Monte Carlo grudzien / 10
Metoda Monte Carlo Jerzy Mycielski grudzien 2012 Jerzy Mycielski () Metoda Monte Carlo grudzien 2012 1 / 10 Przybliżanie całek Powiedzmy, że mamy do policzenia następującą całkę: b f (x) dx = I a Założmy,
Statystyka i eksploracja danych
Wykład II: i charakterystyki ich rozkładów 24 lutego 2014 Wartość oczekiwana Dystrybuanty Słowniczek teorii prawdopodobieństwa, cz. II Wartość oczekiwana Dystrybuanty Słowniczek teorii prawdopodobieństwa,
Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory
Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory Dr Anna ADRIAN Paw B5, pok 407 adrian@tempus.metal.agh.edu.pl
Procesy stochastyczne
Wykład IV: dla łańcuchów Markowa 14 marca 2017 Wykład IV: Klasyfikacja stanów Kiedy rozkład stacjonarny jest jedyny? Przykład Macierz jednostkowa I wymiaru #E jest macierzą stochastyczną. Dla tej macierzy
Imputacja brakujacych danych binarnych w modelu autologistycznym 1
Imputacja brakujacych danych binarnych w modelu autologistycznym 1 Marta Zalewska Warszawski Uniwesytet Medyczny Statystyka Matematyczna Wisła, grudzień 2009 1 Współautorzy: Wojciech Niemiro, UMK Toruń
Prawdopodobieństwo i statystyka
Wykład II: Zmienne losowe i charakterystyki ich rozkładów 13 października 2014 Zmienne losowe Wartość oczekiwana Dystrybuanty Słowniczek teorii prawdopodobieństwa, cz. II Definicja zmiennej losowej i jej
Układy stochastyczne
Instytut Informatyki Uniwersytetu Śląskiego 21 stycznia 2009 Definicja Definicja Proces stochastyczny to funkcja losowa, czyli funkcja matematyczna, której wartości leżą w przestrzeni zdarzeń losowych.
Spacery losowe generowanie realizacji procesu losowego
Spacery losowe generowanie realizacji procesu losowego Michał Krzemiński Streszczenie Omówimy metodę generowania trajektorii spacerów losowych (błądzenia losowego), tj. szczególnych procesów Markowa z
1 Wykład 3 Generatory liczb losowych o dowolnych rozkładach.
Wykład 3 Generatory liczb losowych o dowolnych rozkładach.. Metoda odwracania Niech X oznacza zmienna losowa o dystrybuancie F. Oznaczmy F (t) = inf (x : t F (x)). Uwaga Zauważmy, że t [0, ] : F ( F (t)
Prognozowanie i Symulacje. Wykład I. Matematyczne metody prognozowania
Prognozowanie i Symulacje. Wykład I. e-mail:e.kozlovski@pollub.pl Spis treści Szeregi czasowe 1 Szeregi czasowe 2 3 Szeregi czasowe Definicja 1 Szereg czasowy jest to proces stochastyczny z czasem dyskretnym
Wykład 9: Markov Chain Monte Carlo
RAP 412 17.12.2008 Wykład 9: Markov Chain Monte Carlo Wykładowca: Andrzej Ruciński Pisarz: Ewelina Rychlińska i Wojciech Wawrzyniak Wstęp W tej części wykładu zajmiemy się zastosowaniami łańcuchów Markowa
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 7 i 8 - Efektywność estymatorów, przedziały ufności
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 7 i 8 - Efektywność estymatorów, przedziały ufności Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 1 / 9 EFEKTYWNOŚĆ ESTYMATORÓW, próba
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 13 i 14 - Statystyka bayesowska
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 13 i 14 - Statystyka bayesowska Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 13 i 14 1 / 15 MODEL BAYESOWSKI, przykład wstępny Statystyka
1 Wykład 4. Proste Prawa wielkich liczb, CTG i metody Monte Carlo
1 Wykład 4. Proste Prawa wielkich liczb, CTG i metody Monte Carlo 1.1 Rodzaje zbieżności ciagów zmiennych losowych Niech (Ω, F, P ) będzie przestrzenia probabilistyczna na której określony jest ciag {X
5 Błąd średniokwadratowy i obciążenie
5 Błąd średniokwadratowy i obciążenie Przeprowadziliśmy 200 powtórzeń przebiegu próbnika dla tego samego zestawu parametrów modelowych co w Rozdziale 1, to znaczy µ = 0, s = 10, v = 10, n i = 10 (i = 1,...,
Metody numeryczne. Wykład nr 12. Dr Piotr Fronczak
Metody numeryczne Wykład nr 1 Dr Piotr Fronczak Generowanie liczb losowych Metody Monte Carlo są oparte na probabilistyce działają dzięki generowaniu liczb losowych. W komputerach te liczby generowane
Rozkłady statystyk z próby
Rozkłady statystyk z próby Rozkłady statystyk z próby Przypuśćmy, że wykonujemy serię doświadczeń polegających na 4 krotnym rzucie symetryczną kostką do gry, obserwując liczbę wyrzuconych oczek Nr kolejny
PROCESY STOCHASTYCZNE. PEWNE KLASY PROCESÓW STOCHASTYCZNYCH Definicja. Procesem stochastycznym nazywamy rodzinę zmiennych losowych X(t) = X(t, ω)
PROCESY STOCHASTYCZNE. PEWNE KLASY PROCESÓW STOCHASTYCZNYCH Definicja. Procesem stochastycznym nazywamy rodzinę zmiennych losowych X(t) = X(t, ω) określonych na tej samej przestrzeni probabilistycznej
Wykład z analizy danych: powtórzenie zagadnień z rachunku prawdopodobieństwa
Wykład z analizy danych: powtórzenie zagadnień z rachunku prawdopodobieństwa Marek Kubiak Instytut Informatyki Politechnika Poznańska Plan wykładu Podstawowe pojęcia rachunku prawdopodobieństwa Rozkład
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym. estymatorów
Wykład 6 Estymatory efektywne. Własności asymptotyczne estymatorów Wrocław, 30 listopada 2016r Powtórzenie z rachunku prawdopodobieństwa Zbieżność Definicja 6.1 Niech ciąg {X } n ma rozkład o dystrybuancie
Procesy stochastyczne WYKŁAD 2-3. Łańcuchy Markowa. Łańcuchy Markowa to procesy "bez pamięci" w których czas i stany są zbiorami dyskretnymi.
Procesy stochastyczne WYKŁAD 2-3 Łańcuchy Markowa Łańcuchy Markowa to procesy "bez pamięci" w których czas i stany są zbiorami dyskretnymi. 2 Łańcuchem Markowa nazywamy proces będący ciągiem zmiennych
Wykład 2 Zmienne losowe i ich rozkłady
Wykład 2 Zmienne losowe i ich rozkłady Magdalena Frąszczak Wrocław, 11.10.2017r Zmienne losowe i ich rozkłady Doświadczenie losowe: Rzut monetą Rzut kostką Wybór losowy n kart z talii 52 Gry losowe Doświadczenie
Rozdział 1. Wektory losowe. 1.1 Wektor losowy i jego rozkład
Rozdział 1 Wektory losowe 1.1 Wektor losowy i jego rozkład Definicja 1 Wektor X = (X 1,..., X n ), którego każda współrzędna jest zmienną losową, nazywamy n-wymiarowym wektorem losowym (krótko wektorem
Prawdopodobieństwo i statystyka
Wykład VII: Rozkład i jego charakterystyki 22 listopada 2016 Uprzednio wprowadzone pojęcia i ich własności Definicja zmiennej losowej Zmienna losowa na przestrzeni probabilistycznej (Ω, F, P) to funkcja
Niech X i Y będą niezależnymi zmiennymi losowymi o rozkładach wykładniczych, przy czym Y EX = 4 i EY = 6. Rozważamy zmienną losową Z =.
Prawdopodobieństwo i statystyka 3..00 r. Zadanie Niech X i Y będą niezależnymi zmiennymi losowymi o rozkładach wykładniczych, przy czym Y EX 4 i EY 6. Rozważamy zmienną losową Z. X + Y Wtedy (A) EZ 0,
Prawdopodobieństwo i statystyka r.
Zadanie. Niech (X, Y) ) będzie dwuwymiarową zmienną losową, o wartości oczekiwanej (μ, μ, wariancji każdej ze współrzędnych równej σ oraz kowariancji równej X Y ρσ. Staramy się obserwować niezależne realizacje
Prawa wielkich liczb, centralne twierdzenia graniczne
, centralne twierdzenia graniczne Katedra matematyki i ekonomii matematycznej 17 maja 2012, centralne twierdzenia graniczne Rodzaje zbieżności ciągów zmiennych losowych, centralne twierdzenia graniczne
Modelowanie komputerowe
Modelowanie komputerowe wykład 1- Generatory liczb losowych i ich wykorzystanie dr Marcin Ziółkowski Instytut Matematyki i Informatyki Akademia im. Jana Długosza w Częstochowie 5,12 października 2016 r.
Na A (n) rozważamy rozkład P (n) , który na zbiorach postaci A 1... A n określa się jako P (n) (X n, A (n), P (n)
MODELE STATYSTYCZNE Punktem wyjścia w rozumowaniu statystycznym jest zmienna losowa (cecha) X i jej obserwacje opisujące wyniki doświadczeń bądź pomiarów. Zbiór wartości zmiennej losowej X (zbiór wartości
Zadania o numerze 4 z zestawów licencjat 2014.
Zadania o numerze 4 z zestawów licencjat 2014. W nawiasie przy zadaniu jego występowanie w numerze zestawu Spis treści (Z1, Z22, Z43) Definicja granicy ciągu. Obliczyć granicę:... 3 Definicja granicy ciągu...
Generowanie liczb o zadanym rozkładzie. ln(1 F (y) λ
Wprowadzenie Generowanie liczb o zadanym rozkładzie Generowanie liczb o zadanym rozkładzie wejście X U(0, 1) wyjście Y z zadanego rozkładu F (y) = 1 e λy y = ln(1 F (y) λ = ln(1 0,1563 0, 5 0,34 Wprowadzenie
Ważne rozkłady i twierdzenia c.d.
Ważne rozkłady i twierdzenia c.d. Funkcja charakterystyczna rozkładu Wielowymiarowy rozkład normalny Elipsa kowariacji Sploty rozkładów Rozkłady jednostajne Sploty z rozkładem normalnym Pobieranie próby
Elementy modelowania matematycznego
Elementy modelowania matematycznego Łańcuchy Markowa: zagadnienia graniczne. Ukryte modele Markowa. Jakub Wróblewski jakubw@pjwstk.edu.pl http://zajecia.jakubw.pl/ KLASYFIKACJA STANÓW Stan i jest osiągalny
Testowanie hipotez statystycznych.
Bioinformatyka Wykład 9 Wrocław, 5 grudnia 2011 Temat. Test zgodności χ 2 Pearsona. Statystyka χ 2 Pearsona Rozpatrzmy ciąg niezależnych zmiennych losowych X 1,..., X n o jednakowym dyskretnym rozkładzie
Centralne twierdzenie graniczne
Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 4 Ważne uzupełnienie Dwuwymiarowy rozkład normalny N (µ X, µ Y, σ X, σ Y, ρ): f XY (x, y) = 1 2πσ X σ Y 1 ρ 2 { [ (x ) 1
Wykład 6 Centralne Twierdzenie Graniczne. Rozkłady wielowymiarowe
Wykład 6 Centralne Twierdzenie Graniczne. Rozkłady wielowymiarowe Nierówność Czebyszewa Niech X będzie zmienną losową o skończonej wariancji V ar(x). Wtedy wartość oczekiwana E(X) też jest skończona i
Podstawy symulacji komputerowej
Podstawy symulacji komputerowej Wykład 3 Generatory liczb losowych Wojciech Kordecki wojciech.kordecki@pwsz-legnica.eu Państwowa Wyższa Szkoła Zawodowa im. Witelona w Legnicy Wydział Nauk Technicznych
Wstęp do Rachunku Prawdopodobieństwa, IIr. WMS
Wstęp do Rachunku Prawdopodobieństwa, IIr. WMS przykładowe zadania na. kolokwium czerwca 6r. Poniżej podany jest przykładowy zestaw zadań. Podczas kolokwium na ich rozwiązanie przeznaczone będzie ok. 85
e E Z = P = 1 Z e E Kanoniczna suma stanów Prawdopodobieństwo wystąpienia mikrostanu U E = =Z 1 Wartość średnia energii
Metoda Metropolisa Z = e E P = 1 Z e E Kanoniczna suma stanów Prawdopodobieństwo wystąpienia mikrostanu U E = P E =Z 1 E e E Wartość średnia energii Średnia wartość A = d r N A r N exp[ U r N ] d r N exp[
Janusz Adamowski METODY OBLICZENIOWE FIZYKI Kwantowa wariacyjna metoda Monte Carlo. Problem własny dla stanu podstawowego układu N cząstek
Janusz Adamowski METODY OBLICZENIOWE FIZYKI 1 Rozdział 20 KWANTOWE METODY MONTE CARLO 20.1 Kwantowa wariacyjna metoda Monte Carlo Problem własny dla stanu podstawowego układu N cząstek (H E 0 )ψ 0 (r)
STATYSTYKA
Wykład 1 20.02.2008r. 1. ROZKŁADY PRAWDOPODOBIEŃSTWA 1.1 Rozkład dwumianowy Rozkład dwumianowy, 0 1 Uwaga: 1, rozkład zero jedynkowy. 1 ; 1,2,, Fakt: Niech,, będą niezależnymi zmiennymi losowymi o jednakowym
Modelowanie zależności. Matematyczne podstawy teorii ryzyka i ich zastosowanie R. Łochowski
Modelowanie zależności pomiędzy zmiennymi losowymi Matematyczne podstawy teorii ryzyka i ich zastosowanie R. Łochowski P Zmienne losowe niezależne - przypomnienie Dwie rzeczywiste zmienne losowe X i Y
Metody probabilistyczne
Metody probabilistyczne. Twierdzenia graniczne Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 20.2.208 / 26 Motywacja Rzucamy wielokrotnie uczciwą monetą i zliczamy
19 marzec, Łańcuchy Markowa z czasem dyskretnym. Procesy Stochastyczne, wykład 6, T. Byczkowski, Procesy Stochastyczne, PPT, Matematyka MAP1136
Procesy Stochastyczne, wykład 6, T. Byczkowski, Procesy Stochastyczne, PPT, Matematyka MAP1136 19 marzec, 2012 Przykłady procesów Markowa (i). P = (p ij ) - macierz stochastyczna, tzn. p ij 0, j p ij =
Rachunek prawdopodobieństwa Rozdział 5. Rozkłady łączne
Rachunek prawdopodobieństwa Rozdział 5. Rozkłady łączne 5.3 Rozkłady warunkowe i warunkowa wartość oczekiwana Katarzyna Rybarczyk-Krzywdzińska semestr zimowy 2015/2016 Prawdopodobieństwo wyraża postawę
Metoda Monte Carlo i jej zastosowania
i jej zastosowania Tomasz Mostowski Zajęcia 31.03.2008 Plan 1 PWL 2 3 Plan PWL 1 PWL 2 3 Przypomnienie PWL Istnieje wiele wariantów praw wielkich liczb. Wspólna ich cecha jest asymptotyczne zachowanie
Prawdopodobieństwo i statystyka
Wykład IV: 27 października 2014 Współczynnik korelacji Brak korelacji a niezależność Definicja współczynnika korelacji Współczynnikiem korelacji całkowalnych z kwadratem zmiennych losowych X i Y nazywamy
Monte Carlo, bootstrap, jacknife
Monte Carlo, bootstrap, jacknife Literatura Bruce Hansen (2012 +) Econometrics, ze strony internetowej: http://www.ssc.wisc.edu/~bhansen/econometrics/ Monte Carlo: rozdział 8.8, 8.9 Bootstrap: rozdział
Matematyka z el. statystyki, # 6 /Geodezja i kartografia II/
Matematyka z el. statystyki, # 6 /Geodezja i kartografia II/ Uniwersytet Przyrodniczy w Lublinie Katedra Zastosowań Matematyki i Informatyki ul. Głęboka 28, bud. CIW, p. 221 e-mail: zdzislaw.otachel@up.lublin.pl
Wykład 3 Jednowymiarowe zmienne losowe
Wykład 3 Jednowymiarowe zmienne losowe Niech (Ω, F, P ) będzie ustaloną przestrzenią probabilistyczną Definicja 1 Jednowymiarowa zmienna losowa (o wartościach rzeczywistych), określoną na przestrzeni probabilistycznej
Instytut Matematyczny Uniwersytet Wrocławski. Zakres egzaminu magisterskiego. Wybrane rozdziały anazlizy i topologii 1 i 2
Instytut Matematyczny Uniwersytet Wrocławski Zakres egzaminu magisterskiego Wybrane rozdziały anazlizy i topologii 1 i 2 Pojęcia, fakty: Definicje i pojęcia: metryka, iloczyn skalarny, norma supremum,
Przestrzeń probabilistyczna
Przestrzeń probabilistyczna (Ω, Σ, P) Ω pewien niepusty zbiór Σ rodzina podzbiorów tego zbioru P funkcja określona na Σ, zwana prawdopodobieństwem. Przestrzeń probabilistyczna (Ω, Σ, P) Ω pewien niepusty
Pobieranie prób i rozkład z próby
Pobieranie prób i rozkład z próby Marcin Zajenkowski Marcin Zajenkowski () Pobieranie prób i rozkład z próby 1 / 15 Populacja i próba Populacja dowolnie określony zespół przedmiotów, obserwacji, osób itp.
Metoda największej wiarogodności
Wprowadzenie Założenia Logarytm funkcji wiarogodności Metoda Największej Wiarogodności (MNW) jest bardziej uniwersalną niż MNK metodą szacowania wartości nieznanych parametrów Wprowadzenie Założenia Logarytm
WYKŁADY Z RACHUNKU PRAWDOPODOBIEŃSTWA I wykład 4 Przekształcenia zmiennej losowej, momenty
WYKŁADY Z RACHUNKU PRAWDOPODOBIEŃSTWA I wykład 4 Przekształcenia zmiennej losowej, momenty Agata Boratyńska Agata Boratyńska Rachunek prawdopodobieństwa, wykład 4 / 9 Przekształcenia zmiennej losowej X
Rozkłady i ich dystrybuanty 16 marca F X (t) = P (X < t) 0, gdy t 0, F X (t) = 1, gdy t > c, 0, gdy t x 1, 1, gdy t > x 2,
Wykład 4. Rozkłady i ich dystrybuanty 6 marca 2007 Jak opisać cały rozkład jedną funkcją? Aby znać rozkład zmiennej X, musimy umieć obliczyć P (a < X < b) dla dowolnych a < b. W tym celu wystarczy znać
Liczba godzin Punkty ECTS Sposób zaliczenia. ćwiczenia 16 zaliczenie z oceną
Wydział: Zarządzanie i Finanse Nazwa kierunku kształcenia: Finanse i Rachunkowość Rodzaj przedmiotu: podstawowy Opiekun: prof. nadzw. dr hab. Tomasz Kuszewski Poziom studiów (I lub II stopnia): II stopnia
Wykład 7: Warunkowa wartość oczekiwana. Rozkłady warunkowe.
Rachunek prawdopodobieństwa MAP3040 WPPT FT, rok akad. 2010/11, sem. zimowy Wykładowca: dr hab. Agnieszka Jurlewicz Wykład 7: Warunkowa wartość oczekiwana. Rozkłady warunkowe. Warunkowa wartość oczekiwana.
zadania z rachunku prawdopodobieństwa zapożyczone z egzaminów aktuarialnych
zadania z rachunku prawdopodobieństwa zapożyczone z egzaminów aktuarialnych 1. [E.A 5.10.1996/zad.4] Funkcja gęstości dana jest wzorem { 3 x + 2xy + 1 y dla (x y) (0 1) (0 1) 4 4 P (X > 1 2 Y > 1 2 ) wynosi:
Sieci Mobilne i Bezprzewodowe laboratorium 2 Modelowanie zdarzeń dyskretnych
Sieci Mobilne i Bezprzewodowe laboratorium 2 Modelowanie zdarzeń dyskretnych Plan laboratorium Generatory liczb pseudolosowych dla rozkładów dyskretnych: Generator liczb o rozkładzie równomiernym Generator
Wykład 10 Estymacja przedziałowa - przedziały ufności dla średn
Wykład 10 Estymacja przedziałowa - przedziały ufności dla średniej Wrocław, 21 grudnia 2016r Przedział ufności Niech będzie dana próba X 1, X 2,..., X n z rozkładu P θ, θ Θ. Definicja 10.1 Przedziałem
Własności statystyczne regresji liniowej. Wykład 4
Własności statystyczne regresji liniowej Wykład 4 Plan Własności zmiennych losowych Normalna regresja liniowa Własności regresji liniowej Literatura B. Hansen (2017+) Econometrics, Rozdział 5 Własności
Algorytmy zrandomizowane
Algorytmy zrandomizowane http://zajecia.jakubw.pl/nai ALGORYTMY ZRANDOMIZOWANE Algorytmy, których działanie uzależnione jest od czynników losowych. Algorytmy typu Monte Carlo: dają (po pewnym czasie) wynik
MODELE MATEMATYCZNE W UBEZPIECZENIACH
MODELE MATEMATYCZNE W UBEZPIECZENIACH WYKŁAD 3: WYZNACZANIE ROZKŁADU CZASU PRZYSZŁEGO ŻYCIA 1 Hipoteza jednorodnej populacji Rozważmy pewną populację osób w różnym wieku i załóżmy, że każda z tych osób
Mikroekonometria 6. Mikołaj Czajkowski Wiktor Budziński
Mikroekonometria 6 Mikołaj Czajkowski Wiktor Budziński Metody symulacyjne Monte Carlo Metoda Monte-Carlo Wykorzystanie mocy obliczeniowej komputerów, aby poznać charakterystyki zmiennych losowych poprzez
RACHUNEK PRAWDOPODOBIE STWA
Jerzy Ombach RACHUNEK PRAWDOPODOBIE STWA WSPOMAGANY KOMPUTEROWO DLA STUDENTÓW MATEMATYKI STOSOWANEJ Wydawnictwo Uniwersytetu Jagielloƒskiego Seria Matematyka Książka finansowana przez Wydział Matematyki
W4 Eksperyment niezawodnościowy
W4 Eksperyment niezawodnościowy Henryk Maciejewski Jacek Jarnicki Jarosław Sugier www.zsk.iiar.pwr.edu.pl Badania niezawodnościowe i analiza statystyczna wyników 1. Co to są badania niezawodnościowe i
KARTA PRZEDMIOTU. 12. Przynależność do grupy przedmiotów: Prawdopodobieństwo i statystyka
(pieczęć wydziału) KARTA PRZEDMIOTU Z1-PU7 WYDANIE N1 Strona 1 z 5 1. Nazwa przedmiotu: RACHUNEK PRAWDOPODOBIEŃSTWA 2. Kod przedmiotu: RPr 3. Karta przedmiotu ważna od roku akademickiego: 20152016 4. Forma
Wykład 2 Hipoteza statystyczna, test statystyczny, poziom istotn. istotności, p-wartość i moc testu
Wykład 2 Hipoteza statystyczna, test statystyczny, poziom istotności, p-wartość i moc testu Wrocław, 01.03.2017r Przykład 2.1 Właściciel firmy produkującej telefony komórkowe twierdzi, że wśród jego produktów
Optymalizacja. Symulowane wyżarzanie
dr hab. inż. Instytut Informatyki Politechnika Poznańska www.cs.put.poznan.pl/mkomosinski, Maciej Hapke Wyżarzanie wzrost temperatury gorącej kąpieli do takiej wartości, w której ciało stałe topnieje powolne
Ćwiczenia 7 - Zmienna losowa i jej rozkład. Parametry rozkładu.
Ćwiczenia 7 - Zmienna losowa i jej rozkład. Parametry rozkładu. A Teoria Definicja A.1. Niech (Ω, F, P) będzie przestrzenią probabilistyczną. Zmienną losową określoną na przestrzeni Ω nazywamy dowolną
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 4 - zagadnienie estymacji, metody wyznaczania estymatorów
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 4 - zagadnienie estymacji, metody wyznaczania estymatorów Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 4 1 / 23 ZAGADNIENIE ESTYMACJI Zagadnienie
Fuzja sygnałów i filtry bayesowskie
Fuzja sygnałów i filtry bayesowskie Roboty Manipulacyjne i Mobilne dr inż. Janusz Jakubiak Katedra Cybernetyki i Robotyki Wydział Elektroniki, Politechnika Wrocławska Wrocław, 10.03.2015 Dlaczego potrzebna
Procesy stochastyczne WYKŁAD 2-3. Łańcuchy Markowa. Łańcuchy Markowa to procesy "bez pamięci" w których czas i stany są zbiorami dyskretnymi.
Procesy stochastyczne WYKŁAD 2-3 Łańcuchy Markowa Łańcuchy Markowa to procesy "bez pamięci" w których czas i stany są zbiorami dyskretnymi. Przykład Symetryczne błądzenie przypadkowe na prostej. 1 2 Łańcuchem
REGRESJA LINIOWA Z UOGÓLNIONĄ MACIERZĄ KOWARIANCJI SKŁADNIKA LOSOWEGO. Aleksander Nosarzewski Ekonometria bayesowska, prowadzący: dr Andrzej Torój
1 REGRESJA LINIOWA Z UOGÓLNIONĄ MACIERZĄ KOWARIANCJI SKŁADNIKA LOSOWEGO Aleksander Nosarzewski Ekonometria bayesowska, prowadzący: dr Andrzej Torój 2 DOTYCHCZASOWE MODELE Regresja liniowa o postaci: y
Wstęp do Metod Systemowych i Decyzyjnych Opracowanie: Jakub Tomczak
Wstęp do Metod Systemowych i Decyzyjnych Opracowanie: Jakub Tomczak 1 Wprowadzenie. Zmienne losowe Podczas kursu interesować nas będzie wnioskowanie o rozpatrywanym zjawisku. Poprzez wnioskowanie rozumiemy
Zadania z Rachunku Prawdopodobieństwa II Podaj przykład rozkładów prawdopodobieństwa µ n, µ, takich, że µ n µ,
Zadania z Rachunku Prawdopodobieństwa II -. Udowodnij, że dla dowolnych liczb x n, x, δ xn δ x wtedy i tylko wtedy, gdy x n x.. Wykaż, że n n k= δ k/n λ, gdzie λ jest miarą Lebesgue a na [, ].. Podaj przykład
Statystyka w przykładach
w przykładach Tomasz Mostowski Zajęcia 10.04.2008 Plan Estymatory 1 Estymatory 2 Plan Estymatory 1 Estymatory 2 Własności estymatorów Zazwyczaj w badaniach potrzebujemy oszacować pewne parametry na podstawie
Metody probabilistyczne
Metody probabilistyczne 13. Elementy statystki matematycznej I Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 17.01.2019 1 / 30 Zagadnienia statystki Przeprowadzamy
Statystyka matematyczna
Statystyka matematyczna Wykład 6 Magdalena Alama-Bućko 8 kwietnia 019 Magdalena Alama-Bućko Statystyka matematyczna 8 kwietnia 019 1 / 1 Rozkłady ciagłe Magdalena Alama-Bućko Statystyka matematyczna 8
Procesy stochastyczne
Wykład I: Istnienie procesów stochastycznych 2 marca 2015 Forma zaliczenia przedmiotu Forma zaliczenia Literatura 1 Zaliczenie ćwiczeń rachunkowych. 2 Egzamin ustny z teorii 3 Do wykładu przygotowane są
Prawdopodobieństwo i statystyka
Wykład XIII: Prognoza. 26 stycznia 2015 Wykład XIII: Prognoza. Prognoza (predykcja) Przypuśćmy, że mamy dany ciąg liczb x 1, x 2,..., x n, stanowiących wyniki pomiaru pewnej zmiennej w czasie wielkości
Redukcja wariancji w metodach Monte-Carlo
14.02.2006 Seminarium szkoleniowe 14 lutego 2006 Plan prezentacji Wprowadzenie Metoda losowania warstwowego Metoda próbkowania ważonego Metoda zmiennych kontrolnych Metoda zmiennych antytetycznych Metoda
Zagadnienia brzegowe dla równań eliptycznych
Temat 7 Zagadnienia brzegowe dla równań eliptycznych Rozważmy płaski obszar R 2 ograniczony krzywą. la równania Laplace a (Poissona) stawia się trzy podstawowe zagadnienia brzegowe. Zagadnienie irichleta
Definicja 7.4 (Dystrybuanta zmiennej losowej). Dystrybuantą F zmiennej losowej X nazywamy funkcję: Własności dystrybuanty zmiennej losowej:
Definicja 7.4 (Dystrybuanta zmiennej losowej). Dystrybuantą F zmiennej losowej X nazywamy funkcję: F (t) P (X t) < t < Własności dystrybuanty zmiennej losowej: jest niemalejąca: 0 F (t) jest prawostronnie
Zbigniew S. Szewczak Uniwersytet Mikołaja Kopernika Wydział Matematyki i Informatyki. Graniczne własności łańcuchów Markowa
Zbigniew S. Szewczak Uniwersytet Mikołaja Kopernika Wydział Matematyki i Informatyki Graniczne własności łańcuchów Markowa Toruń, 2003 Co to jest łańcuch Markowa? Każdy skończony, jednorodny łańcuch Markowa
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 3 - model statystyczny, podstawowe zadania statystyki matematycznej
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 3 - model statystyczny, podstawowe zadania statystyki matematycznej Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 3 1 / 8 ZADANIE z rachunku
Wykład 12: Warunkowa wartość oczekiwana. Rozkłady warunkowe. Mieszanina rozkładów.
Rachunek prawdopodobieństwa MAP1181 Wydział PPT, MS, rok akad. 213/14, sem. zimowy Wykładowca: dr hab. Agnieszka Jurlewicz Wykład 12: Warunkowa wartość oczekiwana. Rozkłady warunkowe. Mieszanina rozkładów.