Wykład 9: Markov Chain Monte Carlo
|
|
- Elżbieta Romanowska
- 9 lat temu
- Przeglądów:
Transkrypt
1 RAP Wykład 9: Markov Chain Monte Carlo Wykładowca: Andrzej Ruciński Pisarz: Ewelina Rychlińska i Wojciech Wawrzyniak Wstęp W tej części wykładu zajmiemy się zastosowaniami łańcuchów Markowa w informatyce. Naszym celem bedzie bowiem przedstawienie na kilku przykładach tzw. metody MCMC ang. Markov Chain Monte Carlo), czyli metody Monte Carlo z wykorzystaniem łańcuchów Markowa. Ogólnie metoda Monte Carlo MC jest zaliczana do klasy metod symulacyjnych, gdyż jest stosowana do modelowania matematycznego procesów zbyt złożonych, aby można było przewidzieć ich wyniki za pomocą prostego modelu zastępczego, który można zaimplementować na komputerze, a następnie przeprowadzić symulacje tegoż modelu. Istotną rolę w metodzie MC odgrywa losowanie wielkości charakteryzujących proces, przy czym losowanie dokonywane jest zgodnie ze znanym nam rozkładem. Metody MC powstały w odpowiedzi na postawione problemy przy projektowaniu eksperymentów fizycznych, w fizyce statystycznej czy chemii fizycznej, stąd są one bardzo rozpowszechnione w tych naukach. Warto wspomnieć, że twórcami metody Monte Carlo była grupa wybitnych matematyków - Nicholas Metropolis, John von Neumann oraz Stanisław Ulam, pracujących w ośrodku badań jądrowych w Los Alamos w latach 40-tych XX wieku. Idea MCMC Niech Ω będzie skończoną przestrzenią probabilistyczną o rozbudowanej strukturze ze skomplikowanym rozkładem π. Metoda MCMC polega na konstrukcji nieredukowalnego nieokresowego łańcucha Markowa o danej przestrzeni stanów S = Ω, macierzy przejść P o nieskomplikowanej budowie oraz rozkładzie stacjonarnym π. Celem bowiem będzie skorzystanie z twierdzenia ergodycznego, które gwarantuje, że obrany rozkład początkowy dla takiego łańcucha po wystarczająco długim czasie dąży do rozkładu stacjonarnego. 1 Przykłady Przykład 1. The hard-core model Niech dany będzie graf G = V, E), gdzie V = k jest jego liczbą wierzchołków oraz E = l liczbą krawędzi. Wierzchołki grafu są ponumerowane w sposób losowy wartościami 0 oraz 1. Oczywiście każde takie przyporządkowanie wartości 0, 1 jest funkcją, tutaj zwaną konfiguracją, jedną z {0, 1} V możliwych. Konfiguracją dopuszczalną nazywamy taką, w której żadne dwie 1 nie są połączone krawędzią w teorii grafów konfiguracją dopuszczalną jest tzw. zbiór niezależny). 9-1
2 Niech Z G będzie liczbą dopuszczalnych konfiguracji w grafie G. Dla dowolnej konfiguracji ξ {0, 1} V bierzemy miarę probabilistyczną µ G ξ) = { 1 Z G, jeżeli ξ jest dopuszczalna 0, w przeciwnym przypadku tzn. losowanie dowolnej konfiguracji sprowadza się do wybrania każdej z dopuszczalnych z równym prawdopodobieństwem. Naturalnym pytaniem, jakie się pojawia jest: Jaka jest średnia liczba 1 w losowej konfiguracji wybranej zgodnie z rozkładem µ G ξ)? Niech n ξ) będzie liczbą 1 w ξ inaczej wielkość zbioru niezależnego) oraz X losową konfiguracją wybraną zgodnie z µ G ξ). Wówczas średnia wielkość konfiguracji dopuszczalnej w G średnia wielkość zbioru niezależnego) jest równa E n X)) = ξ {0,1} V n ξ) µ G ξ) = 1 Z G ξ {0,1} V n ξ) I {ξ dopuszczalna} Zauważmy, że powyższa suma zawiera bardzo dużo składników, co znacznie zniechęca do jej obliczenia. A gdyby do postawionego problemu użyć symulacji? Pojawia się jednak problem: Ile wykonać symulacji, aby otrzymać satysfakcjonujący wynik nieodbiegający zbyt od powyższego, oraz w jaki sposób wygenerować losowe ξ będące dopuszczalnym? Pomysł polega na konstrukcji nieredukowalnego { i nieokresowego łańcucha Markowa } X = X 0, X 1,...), na przestrzeni stanów S = ξ {0, 1} V : ξ dopuszczalna, mającego ) P ξ,ξ = P X n+1 = ξ X n = ξ oraz rozkład stacjonarny µ G. Łańcuch Markowa spełniający powyższe wymagania tworzymy na podstawie algorytmu: 2. Rzuć symetryczną monetą 3. Jeśli Orzeł oraz w N G v) : X n w) = 0, to X n+1 v) = 1; w przeciwnym przypadku X n+1 v) = 0 4. w v: X n+1 w) = X n w) Powstały w ten sposób łańcuch Markowa jest nieredukowalny i nieokresowy zad.dom). Pozostaje jeszcze pokazać, że µ G jest jego rozkładem stacjonarnym, co sprowadza się do sprawdzenia jego odwracalności. Zatem µ G będzie odwracalny, gdy: ξ, ξ dopuszczalnych: µ G ξ) P ξ,ξ = µ G ξ ) P ξ,ξ Niech d = d ξ, ξ ) będzie odległością Hamminga, będącą liczbą wierzchołków różniących się wartościami w ξ i ξ. 9-2
3 Należy rozpatrzyć przypadki: 1. d = 0, gdy ξ = ξ 2. d 2, to P ξ,ξ = 0 3. d = 1, to v: ξ v) = 1 ξ v) = 0 Zatem otrzymujemy: µ G ξ) P ξ,ξ = 1 1 Z G 2k rozkładem stacjonarnym. = µ G ξ ) P ξ,ξ, czyli µ G jest żądanym Podany powyżej algorytm jest szczególnym przypadkiem algorytmu zwanego próbkowaniem probierzem) Gibbsa ang. Gibbs sampler, Glauber dynamics), który jest używany do symulacji rozkładu prawdopodobieństwa π na przestrzeni stanów D V, gdzie D jest zbiorem możliwych wartości każdego wierzchołka pochodzącego ze zbioru V. Próbkowanie Gibbsa: 2. Wylosuj X n+1 v) zgodnie z warunkowym rozkładem π względem wszystkich wartości X n w) dla w v 3. w v: X n+1 w) = X n w) Przykład 2. Losowe q-kolorowanie Niech dany będzie graf G = V, E) oraz q 2 kolorów. Przez kolorowanie grafu będziemy rozumieć jedno konkretne przypisanie kolorów wierzchołkom jedno z [q] V możliwych). Interesować nas będą q-kolorowania grafu, czyli kolorowania, w których przypisano wierzchołkom q różnych kolorów w taki sposób, aby żadne dwa sąsiednie nie były tego samego koloru. Losowym q-kolorowaniem jest q-kolorowanie wybrane z jednakowym prawdopodobieństwem ze zbioru wszystkich możliwych kolorowań, czyli zgodnie z rozkładem jednostajnym ρ G,q na przestrzeni [q] V. Próbkowanie Gibbsa dla losowego q-kolorowania: 2. Wylosuj X n+1 v) zgodnie z warunkowym rozkładem ρ G,q pod warunkiem {X n w) : w v} 3. w v: X n+1 w) = X n w) Powstały w ten sposób łańcuch Markowa jest nieredukowalny i nieokresowy z rozkładem stacjonarnym ρ G,q, przy czym nie jest łatwym zadaniem pokazanie nieredukowalności zad.dom). 9-3
4 Inny algorytm dla losowego q-kolorowania tzw. wersja Metropolis: 1. Wylosuj v V oraz c [q] 2. Jeżeli c jest OK dla v, to X n+1 v) = c; w przeciwnym przypadku X n+1 v) = X n v) 3. w v: X n+1 w) = X n w) 2 Przybliżone przeliczanie Nawiązując do Przykładu 2 spróbujemy wejść w zagadnienie przeliczania interesujących nas obiektów za pomocą losowych algorytmów - szybkich i dających dobre przybliżenie z bardzo dużym prawdopodobieństwem. Niech dany będzie graf G = V, E) oraz q 2 kolorów - jak w Przykładzie 2. Naturalnym pytaniem, jakie się pojawia jest: Ile jest różnych q-kolorowań danego grafu G? Rozwiązanie naiwne sprowadza się do wygenerowania wszystkich q-kolorowań dla danego grafu G i ich zliczenia. Jest to jednak podejście niepraktyczne, zwłaszcza w przypadku dużych grafów, ze względu na bardzo dużą liczbę możliwości kolorowań. Celem jest zatem znalezienie losowego algorytmu o następujących własnościach: a) o wielomianowym czasie działania względem k b) dla każdego ɛ > 0 zwracającym wynik z spełniający nierówność: 1 ɛ) Z G,q z 1 + ɛ) Z G,q czyli spełnienia dwóch pierwszych pod- c) z prawdopodobieństwu sukcesu co najmniej 2 3 punktów). Algorytmy losowe o powyższych własnościach nazywane są skrótem RPTAS - Randomized polynomial time approximation scheme. Natomiast algorytmy, w których do podpunktu a) dołożymy założenie, iż czas działania algorytmu powinien być wielomianowy względem 1 ɛ nazywamy FPRAS - Fully polynomial randomized approximation scheme. Naiwne podejście: Niech dany będzie graf G = V, E), V = k oraz Z G,q oznacza liczbę q-kolorowań w G. Przypuśćmy, że każdemu wierzchołkowi został przypisany kolor ze zbioru [q] z jednakowym prawdopodobieństwem. Wówczas każda konfiguracja ξ [q] V powstaje z prawdopodobieństwem 1. Zatem prawdopodobieństwo, że podczas tej procedury powstanie q-kolorowanie, jest równe Z G,q. Rozważmy powtórzenie n razy powyższej procedury. W takim przypadku otrzymamy schemat Bernoulliego n prób z prawdopodobieństwem sukcesu p = Z G,q. Niech Y n będzie 9-4
5 liczbą właściwych q-kolorowań otrzymanych w n próbach. ) Wówczas Y n ma rozkład dwumianowy z E Y n ) = n ZG,q, co implikuje, że E n Y n = Z G,q, czyli qk n Y n jest nieobciążonym estymatorem dla Z G,q. Zauważmy, że na podstawie nierówności Czebyszewa mamy P X E X) ɛ) ) P n Y n Z G,q ɛ Z G,q V ar X) ɛ 2 q2k V ar Y n ) n 2 ɛ 2 Z 2 G,q nɛ 2 Z G,q ) gdzie V ar Y n ) = n Z G,q 1 Z G,q jest wariancją zmiennej losowej Y n, dla której zastosowano oszacowanie 1 Z G,q 1. Aby były spełnione podpunkty b) i c) założeń algorytmu RPTAS, tzn., aby aproksymacja z błędem ɛ zachodziła z prawdopodobienstwem co najmniej 2/3, trzeba jednak założyć, że n 3 2 ɛ 2 Z G,q, co, na podstawie ZD 8/3, jest co najmniej wykładniczą funkcją k o podstawie q 1)/q) i nasz algorytm nie spełnia podpunktu a) założeń algorytmu RPTAS. Zatem okazuje się, że zastosowanie zaproponowanej naiwnej metody nie jest dobrym rozwiązaniem problemu i trzeba zastosować bardziej wyrafinowany sposób, który zostanie przedstawiony na kolejnym wykładzie. 9-5
Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa
Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa M. Czoków, J. Piersa 2012-01-10 1 Łańcucha Markowa 2 Istnienie Szukanie stanu stacjonarnego 3 1 Łańcucha Markowa 2 Istnienie Szukanie stanu stacjonarnego
Wstęp do sieci neuronowych, wykład 11 Łańcuchy Markova
Wstęp do sieci neuronowych, wykład 11 Łańcuchy Markova M. Czoków, J. Piersa 2010-12-21 1 Definicja Własności Losowanie z rozkładu dyskretnego 2 3 Łańcuch Markova Definicja Własności Losowanie z rozkładu
Metody probabilistyczne
Metody probabilistyczne. Twierdzenia graniczne Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 20.2.208 / 26 Motywacja Rzucamy wielokrotnie uczciwą monetą i zliczamy
1. Symulacje komputerowe Idea symulacji Przykład. 2. Metody próbkowania Jackknife Bootstrap. 3. Łańcuchy Markova. 4. Próbkowanie Gibbsa
BIOINFORMATYKA 1. Wykład wstępny 2. Bazy danych: projektowanie i struktura 3. Równowaga Hardyego-Weinberga, wsp. rekombinacji 4. Analiza asocjacyjna 5. Analiza asocjacyjna 6. Sekwencjonowanie nowej generacji
Prawdopodobieństwo geometryczne
Prawdopodobieństwo geometryczne Krzysztof Jasiński Wydział Matematyki i Informatyki UMK, Toruń V Lieceum Ogólnokształące im. Jana Pawała II w Toruniu 13.03.2014 Krzysztof Jasiński (WMiI UMK) Prawdopodobieństwo
Wykład 4. Plan: 1. Aproksymacja rozkładu dwumianowego rozkładem normalnym. 2. Rozkłady próbkowe. 3. Centralne twierdzenie graniczne
Wykład 4 Plan: 1. Aproksymacja rozkładu dwumianowego rozkładem normalnym 2. Rozkłady próbkowe 3. Centralne twierdzenie graniczne Przybliżenie rozkładu dwumianowego rozkładem normalnym Niech Y ma rozkład
Spacery losowe generowanie realizacji procesu losowego
Spacery losowe generowanie realizacji procesu losowego Michał Krzemiński Streszczenie Omówimy metodę generowania trajektorii spacerów losowych (błądzenia losowego), tj. szczególnych procesów Markowa z
Algorytm Metropolisa-Hastingsa
Seminarium szkoleniowe, 25 kwietnia 2006 Plan prezentacji 1 Problem Metoda MCMC 2 Niezależny algorytm Metropolisa-Hastingsa Bła dzenie losowe Zbieżność procedury Metropolisa-Hastingsa Problem Metoda MCMC
Procesy Markowa zawdzięczają swoją nazwę ich twórcy Andriejowi Markowowi, który po raz pierwszy opisał problem w 1906 roku.
Procesy Markowa zawdzięczają swoją nazwę ich twórcy Andriejowi Markowowi, który po raz pierwszy opisał problem w 1906 roku. Uogólnienie na przeliczalnie nieskończone przestrzenie stanów zostało opracowane
Procesy stochastyczne
Wykład IV: dla łańcuchów Markowa 14 marca 2017 Wykład IV: Klasyfikacja stanów Kiedy rozkład stacjonarny jest jedyny? Przykład Macierz jednostkowa I wymiaru #E jest macierzą stochastyczną. Dla tej macierzy
Prawdopodobieństwo i statystyka
Wykład XIV: Metody Monte Carlo 19 stycznia 2016 Przybliżone obliczanie całki oznaczonej Rozważmy całkowalną funkcję f : [0, 1] R. Chcemy znaleźć przybliżoną wartość liczbową całki 1 f (x) dx. 0 Jeden ze
POISSONOWSKA APROKSYMACJA W SYSTEMACH NIEZAWODNOŚCIOWYCH
POISSONOWSKA APROKSYMACJA W SYSTEMACH NIEZAWODNOŚCIOWYCH Barbara Popowska bpopowsk@math.put.poznan.pl Politechnika Poznańska http://www.put.poznan.pl/ PROGRAM REFERATU 1. WPROWADZENIE 2. GRAF JAKO MODEL
Wykład 6 Centralne Twierdzenie Graniczne. Rozkłady wielowymiarowe
Wykład 6 Centralne Twierdzenie Graniczne. Rozkłady wielowymiarowe Nierówność Czebyszewa Niech X będzie zmienną losową o skończonej wariancji V ar(x). Wtedy wartość oczekiwana E(X) też jest skończona i
Przykład 1 W przypadku jednokrotnego rzutu kostką przestrzeń zdarzeń elementarnych
Rozdział 1 Zmienne losowe, ich rozkłady i charakterystyki 1.1 Definicja zmiennej losowej Niech Ω będzie przestrzenią zdarzeń elementarnych. Definicja 1 Rodzinę S zdarzeń losowych (zbiór S podzbiorów zbioru
Algorytmy MCMC (Markowowskie Monte Carlo) dla skokowych procesów Markowa
Algorytmy MCMC (Markowowskie Monte Carlo) dla skokowych procesów Markowa Wojciech Niemiro 1 Uniwersytet Warszawski i UMK Toruń XXX lat IMSM, Warszawa, kwiecień 2017 1 Wspólne prace z Błażejem Miasojedowem,
5 Błąd średniokwadratowy i obciążenie
5 Błąd średniokwadratowy i obciążenie Przeprowadziliśmy 200 powtórzeń przebiegu próbnika dla tego samego zestawu parametrów modelowych co w Rozdziale 1, to znaczy µ = 0, s = 10, v = 10, n i = 10 (i = 1,...,
Deska Galtona. Adam Osękowski. Instytut Matematyki, Wydział Matematyki, Informatyki i Mechaniki Uniwersytet Warszawski
a schemat Bernoulliego Instytut Matematyki, Wydział Matematyki, Informatyki i Mechaniki Uniwersytet Warszawski XV Festiwal Nauki, 21 września 2011r. a schemat Bernoulliego Schemat Bernoulliego B(n, p)
P (A B) = P (A), P (B) = P (A), skąd P (A B) = P (A) P (B). P (A)
Wykład 3 Niezależność zdarzeń, schemat Bernoulliego Kiedy dwa zdarzenia są niezależne? Gdy wiedza o tym, czy B zaszło, czy nie, NIE MA WPŁYWU na oszacowanie prawdopodobieństwa zdarzenia A: P (A B) = P
Ilustracja metody Monte Carlo obliczania pola obszaru D zawartego w kwadracie [a,b]x[a,b]
Ilustracja metody Monte Carlo obliczania pola obszaru D zawartego w kwadracie [a,b]x[a,b] Dagna Bieda, Piotr Jarecki, Tomasz Nachtigall, Jakub Ciesiółka, Marek Kubiczek Metoda Monte Carlo Metoda Monte
Prawa wielkich liczb, centralne twierdzenia graniczne
, centralne twierdzenia graniczne Katedra matematyki i ekonomii matematycznej 17 maja 2012, centralne twierdzenia graniczne Rodzaje zbieżności ciągów zmiennych losowych, centralne twierdzenia graniczne
Analiza Algorytmów 2018/2019 (zadania na laboratorium)
Analiza Algorytmów 2018/2019 (zadania na laboratorium) Wybór lidera (do 9 III) Zadanie 1 W dowolnym języku programowania zaimplementuj symulator umożliwiający przetestowanie algorytmu wyboru lidera ELECT
Ćwiczenia: Ukryte procesy Markowa lista 1 kierunek: matematyka, specjalność: analiza danych i modelowanie, studia II
Ćwiczenia: Ukryte procesy Markowa lista kierunek: matematyka, specjalność: analiza danych i modelowanie, studia II dr Jarosław Kotowicz Zadanie. Dany jest łańcuch Markowa, który może przyjmować wartości,,...,
Wnioskowanie bayesowskie
Wnioskowanie bayesowskie W podejściu klasycznym wnioskowanie statystyczne oparte jest wyłącznie na podstawie pobranej próby losowej. Możemy np. estymować punktowo lub przedziałowo nieznane parametry rozkładów,
Algorytmy MCMC i ich zastosowania statystyczne
Algorytmy MCMC i ich zastosowania statystyczne Wojciech Niemiro Uniwersytet Mikołaja Kopernika, Toruń i Uniwersytet Warszawski Statystyka Matematyczna Wisła, grudzień 2010 Wykład 3 1 Łańcuchy Markowa Oznaczenia
Rachunek prawdopodobieństwa
Rachunek prawdopodobieństwa Sebastian Rymarczyk srymarczyk@afm.edu.pl Tematyka zajęć 1. Elementy kombinatoryki. 2. Definicje prawdopodobieństwa. 3. Własności prawdopodobieństwa. 4. Zmienne losowe, parametry
Metody probabilistyczne
Metody probabilistyczne 13. Elementy statystki matematycznej I Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 17.01.2019 1 / 30 Zagadnienia statystki Przeprowadzamy
Kolorowanie wierzchołków Kolorowanie krawędzi Kolorowanie regionów i map. Wykład 8. Kolorowanie
Wykład 8. Kolorowanie 1 / 62 Kolorowanie wierzchołków - definicja Zbiory niezależne Niech G będzie grafem bez pętli. Definicja Mówimy, że G jest grafem k kolorowalnym, jeśli każdemu wierzchołkowi możemy
Prawdopodobieństwo i statystyka
Wykład VII: Metody specjalne Monte Carlo 24 listopada 2014 Transformacje specjalne Przykład - symulacja rozkładu geometrycznego Niech X Ex(λ). Rozważmy zmienną losową [X ], która przyjmuje wartości naturalne.
Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory
Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory Dr Anna ADRIAN Paw B5, pok 407 adrian@tempus.metal.agh.edu.pl
Zestaw 2: Zmienne losowe. 0, x < 1, 2, 2 x, 1 1 x, 1 x, F 9 (x) =
Zestaw : Zmienne losowe. Które z poniższych funkcji są dystrybuantami? Odpowiedź uzasadnij. Wskazówka: naszkicuj wykres. 0, x 0,, x 0, F (x) = x, F (x) = x, 0 x
Prawdopodobieństwo geometryczne
Prawdopodobieństwo geometryczne Bartosz Ziemkiewicz Wydział Matematyki i Informatyki UMK, Toruń Uniwersyteckie Koło Matematyczne 23 kwietnia 2009 r. Bartosz Ziemkiewicz (WMiI UMK) Prawdopodobieństwo geometryczne
Zbigniew S. Szewczak Uniwersytet Mikołaja Kopernika Wydział Matematyki i Informatyki. Graniczne własności łańcuchów Markowa
Zbigniew S. Szewczak Uniwersytet Mikołaja Kopernika Wydział Matematyki i Informatyki Graniczne własności łańcuchów Markowa Toruń, 2003 Co to jest łańcuch Markowa? Każdy skończony, jednorodny łańcuch Markowa
7. Estymacja parametrów w modelu normalnym(14.04.2008) Pojęcie losowej próby prostej
7. Estymacja parametrów w modelu normalnym(14.04.2008) Pojęcie losowej próby prostej Definicja 1 n-elementowa losowa próba prosta nazywamy ciag n niezależnych zmiennych losowych o jednakowych rozkładach
Spis treści 3 SPIS TREŚCI
Spis treści 3 SPIS TREŚCI PRZEDMOWA... 1. WNIOSKOWANIE STATYSTYCZNE JAKO DYSCYPLINA MATEMATYCZNA... Metody statystyczne w analizie i prognozowaniu zjawisk ekonomicznych... Badania statystyczne podstawowe
Wykład 11: Martyngały: Twierdzenie o zbieżności i Hoeffdinga
RAP 412 21.01.2009 Wykład 11: Martyngały: Twierdzenie o zbieżności i Hoeffdinga Wykładowca: Andrzej Ruciński Pisarz: Łukasz Waszak 1 Wstęp Na ostatnim wykładzie przedstawiliśmy twierdzenie o zbieżności
III. ZMIENNE LOSOWE JEDNOWYMIAROWE
III. ZMIENNE LOSOWE JEDNOWYMIAROWE.. Zmienna losowa i pojęcie rozkładu prawdopodobieństwa W dotychczas rozpatrywanych przykładach każdemu zdarzeniu była przyporządkowana odpowiednia wartość liczbowa. Ta
Wykład 5 Estymatory nieobciążone z jednostajnie minimalną war
Wykład 5 Estymatory nieobciążone z jednostajnie minimalną wariancją Wrocław, 25 października 2017r Statystyki próbkowe - Przypomnienie Niech X = (X 1, X 2,... X n ) będzie n elementowym wektorem losowym.
WYKŁAD 2. Zdarzenia losowe i prawdopodobieństwo Zmienna losowa i jej rozkłady
WYKŁAD 2 Zdarzenia losowe i prawdopodobieństwo Zmienna losowa i jej rozkłady Metody statystyczne metody opisu metody wnioskowania statystycznego syntetyczny liczbowy opis właściwości zbioru danych ocena
Podstawy nauk przyrodniczych Matematyka
Podstawy nauk przyrodniczych Matematyka Elementy rachunku prawdopodobieństwa dr inż. Małgorzata Szeląg Zakład Genetyki Molekularnej Człowieka tel. 61 829 59 04 malgorzata.szelag@amu.edu.pl Pokój 1.118
MODELE MATEMATYCZNE W UBEZPIECZENIACH
MODELE MATEMATYCZNE W UBEZPIECZENIACH WYKŁAD 3: WYZNACZANIE ROZKŁADU CZASU PRZYSZŁEGO ŻYCIA 1 Hipoteza jednorodnej populacji Rozważmy pewną populację osób w różnym wieku i załóżmy, że każda z tych osób
Wykład 7: Warunkowa wartość oczekiwana. Rozkłady warunkowe.
Rachunek prawdopodobieństwa MAP3040 WPPT FT, rok akad. 2010/11, sem. zimowy Wykładowca: dr hab. Agnieszka Jurlewicz Wykład 7: Warunkowa wartość oczekiwana. Rozkłady warunkowe. Warunkowa wartość oczekiwana.
Estymacja parametrów w modelu normalnym
Estymacja parametrów w modelu normalnym dr Mariusz Grządziel 6 kwietnia 2009 Model normalny Przez model normalny będziemy rozumieć rodzine rozkładów normalnych N(µ, σ), µ R, σ > 0. Z Centralnego Twierdzenia
EGZAMIN DYPLOMOWY, część II, Biomatematyka
Biomatematyka Niech a będzie recesywnym płciowo skojarzonym genem i załóżmy, że proces selekcji uniemożliwia kojarzenie się osobników płci męskiej o genotypie aa. Przyjmijmy, że genotypy AA, Aa i aa występują
EGZAMIN MAGISTERSKI, 18 września 2013 Biomatematyka
Biomatematyka Liczebność populacji pewnego gatunku jest modelowana przez równanie różnicowe w którym N k stałymi. rn 2 n N n+1 =, A+Nn 2 oznacza liczebność populacji w k tej generacji, a r i A są dodatnimi
Mikroekonometria 5. Mikołaj Czajkowski Wiktor Budziński
Mikroekonometria 5 Mikołaj Czajkowski Wiktor Budziński Zadanie 1. Wykorzystując dane me.medexp3.dta przygotuj model regresji kwantylowej 1. Przygotuj model regresji kwantylowej w którym logarytm wydatków
Ilustracja metody Monte Carlo do obliczania pola obszaru D zawartego w kwadracie [a, b] [a, b].
Rachunek Prawdopodobienstwa MAEW104 Wydział Elektroniki, rok akad. 2008/09, sem. letni wykład: dr hab. Agnieszka Jurlewicz Temat projektu: Ilustracja metody Monte Carlo do obliczania pola obszaru D zawartego
STATYSTYKA MATEMATYCZNA ZESTAW 0 (POWT. RACH. PRAWDOPODOBIEŃSTWA) ZADANIA
STATYSTYKA MATEMATYCZNA ZESTAW 0 (POWT. RACH. PRAWDOPODOBIEŃSTWA) ZADANIA Zadanie 0.1 Zmienna losowa X ma rozkład określony funkcją prawdopodobieństwa: x k 0 4 p k 1/3 1/6 1/ obliczyć EX, D X. (odp. 4/3;
Mikroekonometria 6. Mikołaj Czajkowski Wiktor Budziński
Mikroekonometria 6 Mikołaj Czajkowski Wiktor Budziński Metody symulacyjne Monte Carlo Metoda Monte-Carlo Wykorzystanie mocy obliczeniowej komputerów, aby poznać charakterystyki zmiennych losowych poprzez
Algorytmy MCMC i ich zastosowania statystyczne
Algorytmy MCMC i ich zastosowania statystyczne Wojciech Niemiro Uniwersytet Mikołaja Kopernika, Toruń i Uniwersytet Warszawski Statystyka Matematyczna Wisła, grudzień 2010 Wykład 1 1 Co to jest MCMC? 2
WYKŁADY Z RACHUNKU PRAWDOPODOBIEŃSTWA I wykład 2 i 3 Zmienna losowa
WYKŁADY Z RACHUNKU PRAWDOPODOBIEŃSTWA I wykład 2 i 3 Zmienna losowa Agata Boratyńska Agata Boratyńska Rachunek prawdopodobieństwa, wykład 2 i 3 1 / 19 Zmienna losowa Definicja Dana jest przestrzeń probabilistyczna
Zadania o numerze 4 z zestawów licencjat 2014.
Zadania o numerze 4 z zestawów licencjat 2014. W nawiasie przy zadaniu jego występowanie w numerze zestawu Spis treści (Z1, Z22, Z43) Definicja granicy ciągu. Obliczyć granicę:... 3 Definicja granicy ciągu...
Statystyka i eksploracja danych
Wykład II: i charakterystyki ich rozkładów 24 lutego 2014 Wartość oczekiwana Dystrybuanty Słowniczek teorii prawdopodobieństwa, cz. II Wartość oczekiwana Dystrybuanty Słowniczek teorii prawdopodobieństwa,
Matematyczne Podstawy Kognitywistyki
Matematyczne Podstawy Kognitywistyki Dorota Leszczyńska-Jasion Kombinatoryka, ci agi liczbowe, skończone przestrzenie probabilistyczne Przykłady zagadnień kombinatorycznych Rozważmy układ n miast o bardzo
Lista zadania nr 7 Metody probabilistyczne i statystyka studia I stopnia informatyka (rok 2) Wydziału Ekonomiczno-Informatycznego Filia UwB w Wilnie
Lista zadania nr 7 Metody probabilistyczne i statystyka studia I stopnia informatyka (rok 2) Wydziału Ekonomiczno-Informatycznego Filia UwB w Wilnie Jarosław Kotowicz Instytut Matematyki Uniwersytet w
Elementy modelowania matematycznego
Elementy modelowania matematycznego Łańcuchy Markowa: zagadnienia graniczne. Ukryte modele Markowa. Jakub Wróblewski jakubw@pjwstk.edu.pl http://zajecia.jakubw.pl/ KLASYFIKACJA STANÓW Stan i jest osiągalny
Programowanie liniowe
Programowanie liniowe Maciej Drwal maciej.drwal@pwr.wroc.pl 1 Problem programowania liniowego min x c T x (1) Ax b, (2) x 0. (3) gdzie A R m n, c R n, b R m. Oznaczmy przez x rozwiązanie optymalne, tzn.
WYKŁAD 3. Witold Bednorz, Paweł Wolff. Rachunek Prawdopodobieństwa, WNE, Uniwersytet Warszawski. 1 Instytut Matematyki
WYKŁAD 3 Witold Bednorz, Paweł Wolff 1 Instytut Matematyki Uniwersytet Warszawski Rachunek Prawdopodobieństwa, WNE, 2010-2011 Schemmat Bernouliego Rzucamy 10 razy moneta, próba Bernouliego jest pojedynczy
Metody teorii gier. ALP520 - Wykład z Algorytmów Probabilistycznych p.2
Metody teorii gier ALP520 - Wykład z Algorytmów Probabilistycznych p.2 Metody teorii gier Cel: Wyprowadzenie oszacowania dolnego na oczekiwany czas działania dowolnego algorytmu losowego dla danego problemu.
Instytut Politechniczny Państwowa Wyższa Szkoła Zawodowa. Diagnostyka i niezawodność robotów
Instytut Politechniczny Państwowa Wyższa Szkoła Zawodowa Diagnostyka i niezawodność robotów Laboratorium nr 6 Model matematyczny elementu naprawialnego Prowadzący: mgr inż. Marcel Luzar Cele ćwiczenia:
Proces Poissona. Proces {N(t), t 0} nazywamy procesem zliczającym jeśli N(t) oznacza całkowitą liczbę badanych zdarzeń zaobserwowanych do chwili t.
Procesy stochastyczne WYKŁAD 5 Proces Poissona. Proces {N(t), t } nazywamy procesem zliczającym jeśli N(t) oznacza całkowitą liczbę badanych zdarzeń zaobserwowanych do chwili t. Proces zliczający musi
Przykłady 6.1 : charakterystyki liczbowe rozkładów dyskretnych
Rachunek Prawdopodobieństwa MAP8 Wydział Matematyki, Matematyka Stosowana Przykłady 6. Wartość oczekiwana, wariancja, mediana, kwartyle rozkładu prawdopodobieństwa. Transformacje zmiennej losowej. Opracowanie:
W rachunku prawdopodobieństwa wyróżniamy dwie zasadnicze grupy rozkładów zmiennych losowych:
W rachunku prawdopodobieństwa wyróżniamy dwie zasadnicze grupy rozkładów zmiennych losowych: Zmienne losowe skokowe (dyskretne) przyjmujące co najwyżej przeliczalnie wiele wartości Zmienne losowe ciągłe
Procesy stochastyczne WYKŁAD 2-3. Łańcuchy Markowa. Łańcuchy Markowa to procesy "bez pamięci" w których czas i stany są zbiorami dyskretnymi.
Procesy stochastyczne WYKŁAD 2-3 Łańcuchy Markowa Łańcuchy Markowa to procesy "bez pamięci" w których czas i stany są zbiorami dyskretnymi. Przykład Symetryczne błądzenie przypadkowe na prostej. 1 2 Łańcuchem
Rachunek prawdopodobieństwa - Teoria - Przypomnienie.. A i B są niezależne, gdy P(A B) = P(A)P(B). P(A B i )P(B i )
Rachunek prawdopodobieństwa - Teoria - Przypomnienie Podstawy Definicja 1. Schemat klasyczny - wszystkie zdarzenia elementarne są równo prawdopodobne, licząc prawdopodobieństwo liczymy stosunek liczby
Testowanie hipotez statystycznych.
Bioinformatyka Wykład 6 Wrocław, 7 listopada 2011 Temat. Weryfikacja hipotez statystycznych dotyczących proporcji. Test dla proporcji. Niech X 1,..., X n będzie próbą statystyczną z 0-1. Oznaczmy odpowiednio
Sieci Mobilne i Bezprzewodowe laboratorium 2 Modelowanie zdarzeń dyskretnych
Sieci Mobilne i Bezprzewodowe laboratorium 2 Modelowanie zdarzeń dyskretnych Plan laboratorium Generatory liczb pseudolosowych dla rozkładów dyskretnych: Generator liczb o rozkładzie równomiernym Generator
Algorytmika Problemów Trudnych
Algorytmika Problemów Trudnych Wykład 9 Tomasz Krawczyk krawczyk@tcs.uj.edu.pl Kraków, semestr letni 2016/17 plan wykładu Algorytmy aproksymacyjne: Pojęcie algorytmu aproksymacyjnego i współczynnika aproksymowalności.
Wykład 11: Martyngały: definicja, twierdzenia o zbieżności
RAP 412 14.01.2009 Wykład 11: Martyngały: definicja, twierdzenia o zbieżności Wykładowca: Andrzej Ruciński Pisarz:Mirosława Jańczak 1 Wstęp Do tej pory zajmowaliśmy się ciągami zmiennych losowych (X n
komputery? Andrzej Skowron, Hung Son Nguyen Instytut Matematyki, Wydział MIM, UW
Czego moga się nauczyć komputery? Andrzej Skowron, Hung Son Nguyen son@mimuw.edu.pl; skowron@mimuw.edu.pl Instytut Matematyki, Wydział MIM, UW colt.tex Czego mogą się nauczyć komputery? Andrzej Skowron,
Drugie kolokwium z Rachunku Prawdopodobieństwa, zestaw A
Drugie kolokwium z Rachunku Prawdopodobieństwa, zestaw A Zad. 1. Korzystając z podanych poniżej mini-tablic, oblicz pierwszy, drugi i trzeci kwartyl rozkładu N(10, 2 ). Rozwiązanie. Najpierw ogólny komentarz
i=7 X i. Zachodzi EX i = P(X i = 1) = 1 2, i {1, 2,..., 11} oraz EX ix j = P(X i = 1, X j = 1) = 1 7 VarS 2 2 = 14 3 ( 5 2 =
Kombinatoryka W tej serii zadań można znaleźć pojawiające się na egzaminach zadania dotyczące problemu wyznaczania prostych parametrów rozkładu w przypadku zgadnień kombinatorycznych. Zadania te wymagają
zadania z rachunku prawdopodobieństwa zapożyczone z egzaminów aktuarialnych
zadania z rachunku prawdopodobieństwa zapożyczone z egzaminów aktuarialnych 1. [E.A 5.10.1996/zad.4] Funkcja gęstości dana jest wzorem { 3 x + 2xy + 1 y dla (x y) (0 1) (0 1) 4 4 P (X > 1 2 Y > 1 2 ) wynosi:
Rozkłady statystyk z próby
Rozkłady statystyk z próby Rozkłady statystyk z próby Przypuśćmy, że wykonujemy serię doświadczeń polegających na 4 krotnym rzucie symetryczną kostką do gry, obserwując liczbę wyrzuconych oczek Nr kolejny
Procesy stochastyczne WYKŁAD 2-3. Łańcuchy Markowa. Łańcuchy Markowa to procesy "bez pamięci" w których czas i stany są zbiorami dyskretnymi.
Procesy stochastyczne WYKŁAD 2-3 Łańcuchy Markowa Łańcuchy Markowa to procesy "bez pamięci" w których czas i stany są zbiorami dyskretnymi. 2 Łańcuchem Markowa nazywamy proces będący ciągiem zmiennych
Rachunek prawdopodobieństwa- wykład 2
Rachunek prawdopodobieństwa- wykład 2 Pojęcie dyskretnej przestrzeni probabilistycznej i określenie prawdopodobieństwa w tej przestrzeni dr Marcin Ziółkowski Instytut Matematyki i Informatyki Uniwersytet
Próbkowanie. Wykład 4 Próbkowanie i rozkłady próbkowe. Populacja a próba. Błędy w póbkowaniu, cd, Przykład 1 (Ochotnicy)
Wykład 4 Próbkowanie i rozkłady próbkowe µ = średnia w populacji, µ=ey, wartość oczekiwana zmiennej Y σ= odchylenie standardowe w populacji, σ =(Var Y) 1/2, pierwiastek kwadratowy wariancji zmiennej Y,
Prawdopodobieństwo i statystyka
Wykład VIII: Przestrzenie statystyczne. Estymatory 1 grudnia 2014 Wprowadzenie Przykład: pomiar z błędem Współczynnik korelacji r(x, Z) = 0, 986 Wprowadzenie Przykład: pomiar z błędem Współczynnik korelacji
R ozkład norm alny Bardzo często używany do modelowania symetrycznych rozkładów zmiennych losowych ciągłych
R ozkład norm alny Bardzo często używany do modelowania symetrycznych rozkładów zmiennych losowych ciągłych Przykłady: Błąd pomiarowy Wzrost, wydajność Temperatura ciała Zawartość różnych składników we
RACHUNEK PRAWDOPODOBIEŃSTWA - POJĘCIA WSTĘPNE MATERIAŁY POMOCNICZE - TEORIA
Wydział: WiLiŚ, Transport, sem.2 dr Jolanta Dymkowska RACHUNEK PRAWDOPODOBIEŃSTWA - POJĘCIA WSTĘPNE MATERIAŁY POMOCNICZE - TEORIA Przestrzeń probabilistyczna Modelem matematycznym (tj. teoretycznym, wyidealizowanym,
RACHUNEK PRAWDOPODOBIE STWA
Jerzy Ombach RACHUNEK PRAWDOPODOBIE STWA WSPOMAGANY KOMPUTEROWO DLA STUDENTÓW MATEMATYKI STOSOWANEJ Wydawnictwo Uniwersytetu Jagielloƒskiego Seria Matematyka Książka finansowana przez Wydział Matematyki
Weryfikacja hipotez statystycznych. KG (CC) Statystyka 26 V / 1
Weryfikacja hipotez statystycznych KG (CC) Statystyka 26 V 2009 1 / 1 Sformułowanie problemu Weryfikacja hipotez statystycznych jest drugą (po estymacji) metodą uogólniania wyników uzyskanych w próbie
Wykład Centralne twierdzenie graniczne. Statystyka matematyczna: Estymacja parametrów rozkładu
Wykład 11-12 Centralne twierdzenie graniczne Statystyka matematyczna: Estymacja parametrów rozkładu Centralne twierdzenie graniczne (CTG) (Central Limit Theorem - CLT) Centralne twierdzenie graniczne (Lindenberga-Levy'ego)
Modelowanie niezawodności prostych struktur sprzętowych
Modelowanie niezawodności prostych struktur sprzętowych W ćwiczeniu tym przedstawione zostaną proste struktury sprzętowe oraz sposób obliczania ich niezawodności przy założeniu, że funkcja niezawodności
Pojęcie szeregu nieskończonego:zastosowania do rachunku prawdopodobieństwa wykład 1
Pojęcie szeregu nieskończonego:zastosowania do rachunku prawdopodobieństwa wykład dr Mariusz Grządziel 5 lutego 04 Paradoks Zenona z Elei wersja uwspółcześniona Zenek goni Andrzeja; prędkość Andrzeja:
Wykład 3 Jednowymiarowe zmienne losowe
Wykład 3 Jednowymiarowe zmienne losowe Niech (Ω, F, P ) będzie ustaloną przestrzenią probabilistyczną Definicja 1 Jednowymiarowa zmienna losowa (o wartościach rzeczywistych), określoną na przestrzeni probabilistycznej
Elementy rachunku prawdopodobieństwa (M. Skośkiewicz, A. Siejka, K. Walczak, A. Szpakowska)
Elementy rachunku prawdopodobieństwa (M. Skośkiewicz, A. Siejka, K. Walczak, A. Szpakowska) Twierdzenie (o mnożeniu) Podstawowe pojęcia i wzory kombinatoryczne. Niech,, będą zbiorami mającymi odpowiednio,,
6.4 Podstawowe metody statystyczne
156 Wstęp do statystyki matematycznej 6.4 Podstawowe metody statystyczne Spóbujemy teraz w dopuszczalnym uproszczeniu przedstawić istotę analizy statystycznej. W szczególności udzielimy odpowiedzi na postawione
PODSTAWOWE ROZKŁADY PRAWDOPODOBIEŃSTWA. Piotr Wiącek
PODSTAWOWE ROZKŁADY PRAWDOPODOBIEŃSTWA Piotr Wiącek ROZKŁAD PRAWDOPODOBIEŃSTWA Jest to miara probabilistyczna określona na σ-ciele podzbiorów borelowskich pewnej przestrzeni metrycznej. σ-ciało podzbiorów
Biostatystyka, # 3 /Weterynaria I/
Biostatystyka, # 3 /Weterynaria I/ dr n. mat. Zdzisław Otachel Uniwersytet Przyrodniczy w Lublinie Katedra Zastosowań Matematyki i Informatyki ul. Głęboka 28, p. 221 bud. CIW, e-mail: zdzislaw.otachel@up.lublin.pl
Niech X i Y będą niezależnymi zmiennymi losowymi o rozkładach wykładniczych, przy czym Y EX = 4 i EY = 6. Rozważamy zmienną losową Z =.
Prawdopodobieństwo i statystyka 3..00 r. Zadanie Niech X i Y będą niezależnymi zmiennymi losowymi o rozkładach wykładniczych, przy czym Y EX 4 i EY 6. Rozważamy zmienną losową Z. X + Y Wtedy (A) EZ 0,
Lista 1. Procesy o przyrostach niezależnych.
Lista. Procesy o przyrostach niezależnych.. Niech N t bedzie procesem Poissona o intensywnoci λ = 2. Obliczyć a) P (N 2 < 3, b) P (N =, N 3 = 6), c) P (N 2 = N 5 = 2), d) P (N =, N 2 = 3, N 4 < 5), e)
Ćwiczenia 7 - Zmienna losowa i jej rozkład. Parametry rozkładu.
Ćwiczenia 7 - Zmienna losowa i jej rozkład. Parametry rozkładu. A Teoria Definicja A.1. Niech (Ω, F, P) będzie przestrzenią probabilistyczną. Zmienną losową określoną na przestrzeni Ω nazywamy dowolną
Statystyka matematyczna
Statystyka matematyczna Wykład 1 Magdalena Alama-Bućko 25 lutego 2019 Magdalena Alama-Bućko Statystyka matematyczna 25 lutego 2019 1 / 18 Wykład : 10h (przez 10 tygodni po 45 minut) Ćwiczenia : 15h (45
Liczba godzin Punkty ECTS Sposób zaliczenia. ćwiczenia 16 zaliczenie z oceną
Wydział: Zarządzanie i Finanse Nazwa kierunku kształcenia: Finanse i Rachunkowość Rodzaj przedmiotu: podstawowy Opiekun: prof. nadzw. dr hab. Tomasz Kuszewski Poziom studiów (I lub II stopnia): II stopnia
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 7 i 8 - Efektywność estymatorów, przedziały ufności
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 7 i 8 - Efektywność estymatorów, przedziały ufności Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 1 / 9 EFEKTYWNOŚĆ ESTYMATORÓW, próba
Wykład 12: Warunkowa wartość oczekiwana. Rozkłady warunkowe. Mieszanina rozkładów.
Rachunek prawdopodobieństwa MAP1181 Wydział PPT, MS, rok akad. 213/14, sem. zimowy Wykładowca: dr hab. Agnieszka Jurlewicz Wykład 12: Warunkowa wartość oczekiwana. Rozkłady warunkowe. Mieszanina rozkładów.
Wykład 10 Estymacja przedziałowa - przedziały ufności dla średn
Wykład 10 Estymacja przedziałowa - przedziały ufności dla średniej Wrocław, 21 grudnia 2016r Przedział ufności Niech będzie dana próba X 1, X 2,..., X n z rozkładu P θ, θ Θ. Definicja 10.1 Przedziałem
Lista 5. Zadanie 3. Zmienne losowe X i (i = 1, 2, 3, 4) są niezależne o tym samym
Lista 5 Zadania na zastosowanie nierównosci Markowa i Czebyszewa. Zadanie 1. Niech zmienna losowa X ma rozkład jednostajny na odcinku [0, 1]. Korzystając z nierówności Markowa oszacować od góry prawdopodobieństwo,
Statystyka matematyczna
Statystyka matematyczna Wykład 5 Magdalena Alama-Bućko 1 kwietnia 2019 Magdalena Alama-Bućko Statystyka matematyczna 1 kwietnia 2019 1 / 19 Rozkład Poissona Po(λ), λ > 0 - parametr tzw. rozkład zdarzeń
BIOINFORMATYKA. Copyright 2011, Joanna Szyda
BIOINFORMATYKA 1. Wykład wstępny 2. Struktury danych w badaniach bioinformatycznych 3. Bazy danych: projektowanie i struktura 4. Bazy danych: projektowanie i struktura 5. Powiązania pomiędzy genami: równ.