Model Perturb-and-MAP Uczenie rozkładów Gibbsa

Wielkość: px
Rozpocząć pokaz od strony:

Download "Model Perturb-and-MAP Uczenie rozkładów Gibbsa"

Transkrypt

1 Model Perturb-and-MAP Uczenie rozkładów Gibbsa Jakub M. Tomczak Instytut Informatyki Politechnika Wrocławska 27 VI 2014

2 Wstęp Papandreou G., Perturb-and-MAP Random Fields, NIPS 2012 Workshop: Perturbations, Optimization, and Statistics 1/27

3 Wstęp Modele z użyciem energii (ang. energy-based models) Dla x X, wektora cech φ( ) oraz wektora parametrów θ R M definiujemy energię: E(x θ) = θ, φ(x) = j θ j φ j (x) Rozkład Gibbsa (ang. Gibbs distribution) Dla x X, wektora cech φ( ), wektora parametrów θ oraz energii E(x θ) rozkład Gibbsa definiujemy w następujący sposób: p(x θ) = 1 Z(θ) exp( E(x θ)) gdzie Z(θ) = x exp( E(x θ)) suma statystyczna (ang. partition function). 2/27

4 Wstęp Modele z użyciem energii Znalezienie najlepszej konfiguracji x wiąże się z minimalizacją energii (znalezienie najbardziej prawdopodobnej konfiguracji MAP): x = arg min E(x θ) x Rozwiązanie tego zadania jest zazwyczaj szybkie dla pewnej klasy energii. Uczenie parametrów odbywa się zazwyczaj poprzez stosowanie metod typu large margin. Rozkład Gibbsa Każdej konfiguracji x przyporządkowane jest prawdopodobieństwo: x p(x θ) Uczenie parametrów odbywa się poprzez ML (z regularyzacją) lub MAP. Kolmogorov, V., Zabih, R. (2004). What energy functions can be minimized via graph cuts?. PAMI. 26(2), /27

5 Wstęp Modele z użyciem energii są skuteczne w wielu zastosowaniach. Natomiast modele probabilistyczne są bardzo elastyczne, ale procedura uczenia jest skomplikowana. Pojawia się więc pytanie, czy można by połączyć te dwa podejścia? Czy istnieje technika, która pozwalałaby na uczenie modeli probabilistycznych z użyciem efektywnych technik optymalizacji? Papandreou G., Yuille A. Perturb-and-MAP Random Fields: Reducing Random Sampling to Optimization, with Applications in Computer Vision. in: Advanced Structured Prediction. (eds.) S. Nowozin, P.V. Gehler, J. Jancsary, C.H. Lampert. MIT Press 4/27

6 Perturb-and-MAP (PM) Rysunek: (a) Procedura, (b) konfiguracja MAP, (c) Konfiguracja PM. Stosując Perturb-and-MAP (PM) otrzymujemy próbki z rozkładu Gibbsa p(x θ). Rysunek: (a) MAP, (b) MCMC, (c) Variational Bayes, (d) PM Papandreou G., Yuille A. Perturb-and-MAP Random Fields: Reducing Random Sampling to Optimization, with Applications in Computer Vision. in: Advanced Structured Prediction. (eds.) S. Nowozin, P.V. Gehler, J. Jancsary, C.H. Lampert. MIT Press 5/27

7 PM dla gaussowskich pól losowych (ang. Gaussian Markov Random Field) Gaussowskie pole losowe (GMRF) Energia GMRF: E(x θ) = 1 2 (Fx µ 0) Σ 1 0 (Fx µ 0) = 1 2 x Jx k x + const. gdzie J = F Σ 0 F, k = F Σ 1 0 µ 0 Energię można wyrazić jak wcześniej definiując: θ = ( k, vec(j) ), φ(x) = ( x, 1 2 vec(xx ) ) Zatem rozkład Gibbsa dla GMRF jest rozkładem normalnym: N (J 1 k, J 1 ) = N (µ, Σ) 6/27

8 PM dla gaussowskich pól losowych (ang. Gaussian Markov Random Field) Rozwiązanie MAP Rozwiązanie MAP: 1 ˆx = arg min x 2 x Jx k x De facto szukamy średniej, µ = J 1 k, czyli problem ten jest równoważny rozwiązaniu układu równań Jµ = k. Złożoność (dekompozycja Cholesky ego): O(N 2 ). Dokładne próbkowanie z użyciem PM Wylosujmy µ 0 N (µ 0, Σ 0 ) oraz znajdźmy rozwiązanie MAP x = F Σ 0 µ 0. Wówczas x jest dokładną próbką z oryginalnego GMRF. Dowód Zauważmy, że E[ x] = µ oraz E[( x µ)( x µ) ] = J 1 F Σ 0 FJ 1 = = J 1 = Σ. Czyli x N (µ, Σ). 7/27

9 Uczenie markowskich pól losowych Uczenie MRF Dla danych D = {x n } N n=1 uczenie przeprowadzone jest poprzez maksymalizację logarytmu wiarygodności (często z regularyzacją): L(θ) = log Z(θ) 1 N Licząc gradient ( θ j L(θ) = θ j ): N E(x n θ) n=1 θ j = E x [φ j (x)] E D [φ j (x)] gdzie E x [φ j (x)] = θ j log Z(θ) trudne do policzenia, E D [φ j (x)] = 1 N N n=1 φ j(x) łatwe do policzenia. ML dla rozkładu Gibbsa może być postrzegane jako dopasowanie momentów (ang. moment matching), tj. w granicy E x [φ j (x)] = E D [φ j (x)]. 8/27

10 PM dla dyskretnych markowskich pól losowych x przyjmuje wartości z dyskretnego zbioru X D, energia: E(x θ) = θ, φ(x). Próbka PM (ɛ R zaburzenie (ang. perturbation)): x = arg min x E(x θ + ɛ). x minimalizuje energię q X D E(x θ) E(q θ). Takich nierówności jest X D i tworzą one wielościan: P x = {θ R M : θ, φ(x) φ(q) 0, q X D } Wielościany P x dzielą przestrzeń wag na obszary wpływu poszczególnych konfiguracji x. x zostanie wybrany, jeżeli θ + ɛ P x lub równoważnie ɛ P x θ = {ɛ R M : θ + ɛ P x }. Rozkład na zmienną x dla modelu PM: f P M (x θ) = P x θ f(ɛ)dɛ 9/27

11 PM dla dyskretnych markowskich pól losowych Problemy: Policzenie objętości wielościanu (tj. f P M (x θ)) jest NP-trudne. W jaki sposób skonstruować zaburzenia odpowiednie dla rozkładu Gibbsa? To jest takie, że będziemy mogli wyznaczyć parametry dla Gibbsa korzystając z f P M. 10/27

12 Uczenie z użyciem PM Wiarygodność Logarytm wiarygodności: L P M (θ) = 1 N L P M (θ) jest wklęsły N log f P M (x n θ). Jeżeli zaburzenia ɛ są losowane z rozkładu logarytmicznie wklęsłego f(ɛ), to L P M (θ) jest wklęsły. Uczenie Podobnie jak w przypadku rozkładu Gibbsa, licząc gradient po L P M (θ): n=1 θ j = E P M [φ j (x)] E D [φ j (x)] gdzie E P M [φ j (x)] = x f P M (x θ)φ j (x) Uczenie zbieżność Jeśli θ i θ różnią się wyłącznie na j-tym elemencie i θ j > θ j, to E θ P M [φ j(x)] E θ P M [φ j(x)]. 11/27

13 Uczenie z użyciem PM Rozkład Gumbela Jakie wybrać zaburzenia dla dyskretnego pola losowego?! Rozkład Gumbela (ang. Gumbel distribution) Rozkład Gumbela ciągłej zmiennej losowej z (o parametrze µ): (pdf) g(z µ) = exp((z µ) exp(z µ)), (cdf) G(z µ) = 1 exp( exp(z µ)). Jest rozkładem logarytmicznie wklęsłym. Łatwo generować: u Uni[0, 1], z = µ + log( log(u)). Różnica dwóch zmiennych Gumbela Niech y i z są zmiennymi Gumbela o średniej µ = 0. Wówczas różnica tych zmiennych, y z, jest realizacją z rozkładu logistycznego Logistic(0, 1) = 1 4 sech2 (x). 12/27

14 Uczenie z użyciem PM Własności zaburzeń Gumbela Lemat 1a Niech (θ 1,..., θ M ), θ m R, m = 1,..., M. Zaburzamy addytywnie θ m = θ m + ɛ m, gdzie ɛ m są IID realizacjami rozkładu Gumbela (µ = 0). Wówczas minimum z zaburzonych zmiennych θ min = min { θ m }, m=1:m jest z rozkładu Gumbela z modą θ 0, gdzie e θ0 Lemat 1b = M m=1 e θm. Przy założeniach jak w lemacie 1a. Wówczas prawdopodobieństwo, że θ m jest wartością minimalną wynosi Pr{arg min( θ 1,..., θ M ) = m} = e θm e θ0. Wniosek: zaburzanie Gumbela prowadzi do rozkładu Gibbsa! 13/27

15 Uczenie z użyciem PM Zaburzenia Gumbela dla rozkładu Gibbsa Dla x i X, i = 1,..., D, rozkład Gibbsa jest rozkładem na X D możliwych konfiguracji. Przedstawmy energię w maksymalnej możliwej parametryzacji, tj. wypisujemy wszystkie konfiguracje {x j, j = 1,..., J = X D }. Pełna (ang. fully-expanded) tablica energii Wówczas mamy energię: Ē(x θ) = θ, φ(x) gdzie θ j = E(x j θ) = θ, φ(x j ), j = 1,..., J, jest pełną tablicą potencjałów (energii), oraz φ(x j ) jest indykatorem. Rozkład PM i Gibbsa są równoważne Jeżeli zaburzymy każdy element pełnej tablicy potencjałów IID zaburzeniami Gumbela ɛ j, j = 1,..., J, to wówczas rozkład PM i rozkład Gibbsa pokrywają się, tj. f(ɛ) = exp( E(x θ)) Z(θ). 14/27

16 Uczenie z użyciem PM Zaburzenia Gumbela dla rozkładu Gibbsa Stosowanie zaburzeń Gumbela do pełnej tablicy potencjałów (tzw. zaburzenia pełnego rzędu) jest niepraktyczne (wykładnicza złożoność). Okazuje się, że wystarczy stosować prostsze zaburzenia. Zaburzenia 1-go rzędu Zaburzenia dodajemy wyłącznie do wyrażeń unarnych. Musimy generować D X próbek Gumbela. Zaburzenia 2-go rzędu Zaburzenia dodajemy do podzbioru par (niepokrywających się węzłów) oraz do pozostałych (niepokrytych) wyrażeń unarnych. Trzeba wygenerować co najwyżej D 2 X 2 próbek Gumbela. 15/27

17 Uczenie z użyciem PM Zaburzenia Gumbela dla rozkładu Gibbsa Pojawia się pytanie, czy dla zaburzeń niższego rzędu każdy stan jest osiągalny (ang. reachable)? Wszystkie stany dla zaburzenia 1-go rzędu są osiągalne Dodanie zaburzeń wyrażeń unarnych prowadzi do modelu PM, który przypisuje niezerowe prawdopobieństwo każdemu stanowi wówczas, gdy rozkład zaburzenia jest nieograniczony. Jest to prawdą dla zaburzenia Gumbela. Wszystkie stany dla zaburzeń wyższego rzędu są osiągalne Zaburzenia 2-go i wyższego rzędu prowadzą do bardziej ekspresyjnego modelu niż dla zaburzeń 1-go rzędu, więc tym bardziej każdy stan jest osiągalny. Papandreou, G., Yuille, A. L., Perturb-and-map random fields: Using discrete optimization to learn and sample from energy models. Supplementary Material, ICCV 2011, pp /27

18 Ograniczona maszyna Boltzmanna (RBM) Wyszczególniamy zmienne obserwowalne v {0, 1} D oraz nieobserwowalne h {0, 1} M. Definiujemy funkcję energii dla konfiguracji x = (v, h): E(v, h θ) = b v c h v Wh h gdzie: θ = {b, c, W}. Rozkład prawdopodobieństwa Gibbsa: x p(v, h θ) = 1 exp { E(v, h θ)} Z(θ) gdzie: Z(θ) = v h exp { E(v, h θ)} jest to tzw. suma statystyczna (ang. partition function). 17/27

19 Uczenie PM dla RBM Interesuje nas zadanie arg min x = E(x θ) + ɛ(x). Zaburzenia 1-go rzędu W przypadku RBM: bi = b i + ɛ(v i = 1) ɛ(v i = 0) c j = c j + ɛ(h j = 1) ɛ(h j = 0) Zaburzenia 2-go rzędu W przypadku RBM (wcześniej musimy rozwiązać problem skojarzenia w grafie dwudzielnym, ang. matching problem, np. algorytmem węgierskim): W ij = W ij + ɛ(0, 1) ɛ(0, 1) ɛ(1, 0) + ɛ(0, 0) bi = b i + ɛ(0, 1) ɛ(0, 0) c i = c i + ɛ(1, 0) ɛ(0, 0) 18/27

20 Algorytm uczenia PM dla RBM 1. Pobierz obserwację v t := v n. 2. Dla v t wyznacz ĥt = p(h v t, θ t ) oraz utwórz próbkę h t na podstawie ĥt. 3. (Perturb-) Zaburz parametry. 4. (-MAP) Rozwiąż problem minimalizacji energii z użyciem metody coordinate descent (dla k kroków): ṽ t b + Wh > 0 h t c + W v > 0 5. Uaktualnij: W := W + η(ĥt vt h ) t ṽt ) b := b + η (x t x t c := c + η (ĥt h ) t 19/27

21 Eksperyment MNIST (Gumbel 1-go rzędu) 20/27

22 Eksperyment Caltech101 (Gumbel 1-go rzędu) 21/27

23 Eksperyment znajdowanie skojarzeń Istnieje dokładny algorytm znajdowania skojarzeń w grafie dwudzielnym algorytm węgierski (ang. Hungarian algorithm). Istnieją również heurystyki, m.in. algorytm zachłanny. Zastosowanie wprost algorytmu znajdowania skojarzeń dla zaburzeń Gumbela do RBM wolne! Przeprowadzono wstępną analizę działania dla syntetycznych macierzy generowanych z W ij N (0, 4). Rozpatrywano W. Działanie algorytmów porównano ze względu na: czas działania, różnicę funkcji celu (suma wag), różnica skojarzeń. 22/27

24 Eksperyment znajdowanie skojarzeń (czas działania) 23/27

25 Eksperyment znajdowanie skojarzeń (różnica sumy wag) 24/27

26 Eksperyment znajdowanie skojarzeń (różnica skojarzeń) 25/27

27 Podsumowanie Model PM jest również stosowany do: oszacowania log Z(θ) (Hazan & Jaakkola, 2012); nieobciążonego próbkowania (Hazan, Maji & Jaakkola, 2013); anotacji obrazów (Maji, Hazan & Jaakkola, 2014). Działanie PM dla uczenia RBM bardzo ciekawe! Należy zaimplementować zaburzenia 2-go rzędu dla uczenia RBM. Model PM został zaproponowany w 2011, więc pozostaje otwartym polem do badań. 26/27

28 Dziękuję za uwagę! 27/27

Rozpoznawanie obrazów

Rozpoznawanie obrazów Rozpoznawanie obrazów Ćwiczenia lista zadań nr 7 autorzy: A. Gonczarek, J.M. Tomczak Przykładowe problemy Klasyfikacja binarna Dla obrazu x zaproponowano dwie cechy φ(x) = (φ 1 (x) φ 2 (x)) T. Na obrazie

Bardziej szczegółowo

WYKŁAD 4. Podejmowanie decyzji dla modeli probabilistycznych Modelowanie Gaussowskie. autor: Maciej Zięba. Politechnika Wrocławska

WYKŁAD 4. Podejmowanie decyzji dla modeli probabilistycznych Modelowanie Gaussowskie. autor: Maciej Zięba. Politechnika Wrocławska Wrocław University of Technology WYKŁAD 4 Podejmowanie decyzji dla modeli probabilistycznych Modelowanie Gaussowskie autor: Maciej Zięba Politechnika Wrocławska Klasyfikacja Klasyfikacja (ang. Classification):

Bardziej szczegółowo

Wstęp do Metod Systemowych i Decyzyjnych Opracowanie: Jakub Tomczak

Wstęp do Metod Systemowych i Decyzyjnych Opracowanie: Jakub Tomczak Wstęp do Metod Systemowych i Decyzyjnych Opracowanie: Jakub Tomczak 1 Wprowadzenie. Zmienne losowe Podczas kursu interesować nas będzie wnioskowanie o rozpatrywanym zjawisku. Poprzez wnioskowanie rozumiemy

Bardziej szczegółowo

Rozpoznawanie obrazów

Rozpoznawanie obrazów Rozpoznawanie obrazów Laboratorium Python Zadanie nr 1 Regresja liniowa autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, M. Zięba, J. Kaczmar Cel zadania Celem zadania jest implementacja liniowego zadania

Bardziej szczegółowo

Rozpoznawanie obrazów

Rozpoznawanie obrazów Rozpoznawanie obrazów Ćwiczenia lista zadań nr 5 autorzy: A. Gonczarek, J.M. Tomczak Przykładowe problemy Klasyfikacja binarna Dla obrazu x zaproponowano dwie cechy φ(x) = (φ 1 (x) φ 2 (x)) T. Na obrazie

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 1 Regresja liniowa autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się z liniowym zadaniem najmniejszych

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 2 Detekcja twarzy autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się algorytmem gradientu prostego

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Ćwiczenia lista zadań nr 2 autorzy: A. Gonczarek, J.M. Tomczak Metody estymacji Zad. 1 Pojawianie się spamu opisane jest zmienną losową x o rozkładzie dwupunktowym

Bardziej szczegółowo

Podstawowe modele probabilistyczne

Podstawowe modele probabilistyczne Wrocław University of Technology Podstawowe modele probabilistyczne Maciej Zięba maciej.zieba@pwr.edu.pl Rozpoznawanie Obrazów, Lato 2018/2019 Pojęcie prawdopodobieństwa Prawdopodobieństwo reprezentuje

Bardziej szczegółowo

WYKŁAD 3. Klasyfikacja: modele probabilistyczne

WYKŁAD 3. Klasyfikacja: modele probabilistyczne Wrocław University of Technology WYKŁAD 3 Klasyfikacja: modele probabilistyczne Maciej Zięba Politechnika Wrocławska Klasyfikacja Klasyfikacja (ang. Classification): Dysponujemy obserwacjami z etykietami

Bardziej szczegółowo

Rozpoznawanie obrazów

Rozpoznawanie obrazów Rozpoznawanie obrazów Laboratorium Python Zadanie nr 3 Regresja logistyczna autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, M. Zięba, J. Kaczmar Cel zadania Celem zadania jest zaimplementowanie modelu

Bardziej szczegółowo

Wykład 9: Markov Chain Monte Carlo

Wykład 9: Markov Chain Monte Carlo RAP 412 17.12.2008 Wykład 9: Markov Chain Monte Carlo Wykładowca: Andrzej Ruciński Pisarz: Ewelina Rychlińska i Wojciech Wawrzyniak Wstęp W tej części wykładu zajmiemy się zastosowaniami łańcuchów Markowa

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium JAVA Zadanie nr 2 Rozpoznawanie liter autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się z problemem klasyfikacji

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Ćwiczenia lista zadań nr 2 autorzy: A. Gonczarek, J.M. Tomczak Metody estymacji ML Zad. 1 Pojawianie się spamu opisane jest zmienną losową x o rozkładzie dwupunktowym

Bardziej szczegółowo

SPOTKANIE 6: Klasteryzacja: K-Means, Expectation Maximization

SPOTKANIE 6: Klasteryzacja: K-Means, Expectation Maximization Wrocław University of Technology SPOTKANIE 6: Klasteryzacja: K-Means, Expectation Maximization Jakub M. Tomczak Studenckie Koło Naukowe Estymator jakub.tomczak@pwr.wroc.pl 4.1.213 Klasteryzacja Zmienne

Bardziej szczegółowo

WYKŁAD 2. Problem regresji - modele liniowe

WYKŁAD 2. Problem regresji - modele liniowe Wrocław University of Technology WYKŁAD 2 Problem regresji - modele liniowe Maciej Zięba Politechnika Wrocławska Regresja Regresja (ang. Regression): Dysponujemy obserwacjami z odpowiadającymi im wartościami

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Ćwiczenia lista zadań nr 3 Metody estymacji. Estymator największej wiarygodności Zad. 1 Pojawianie się spamu opisane jest zmienną losową y o rozkładzie zero-jedynkowym

Bardziej szczegółowo

SPOTKANIE 3: Regresja: Regresja liniowa

SPOTKANIE 3: Regresja: Regresja liniowa Wrocław University of Technology SPOTKANIE 3: Regresja: Regresja liniowa Adam Gonczarek Studenckie Koło Naukowe Estymator adam.gonczarek@pwr.wroc.pl 22.11.2013 Rozkład normalny Rozkład normalny (ang. normal

Bardziej szczegółowo

Procesy stochastyczne

Procesy stochastyczne Wykład I: Istnienie procesów stochastycznych 2 marca 2015 Forma zaliczenia przedmiotu Forma zaliczenia Literatura 1 Zaliczenie ćwiczeń rachunkowych. 2 Egzamin ustny z teorii 3 Do wykładu przygotowane są

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 3 Detekcja twarzy autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, M. Zięba Cel zadania Celem zadania jest zaimplementowanie algorytmów

Bardziej szczegółowo

Optymalizacja systemów

Optymalizacja systemów Optymalizacja systemów Laboratorium - problem detekcji twarzy autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, P. Klukowski Cel zadania Celem zadania jest zapoznanie się z gradientowymi algorytmami optymalizacji

Bardziej szczegółowo

Proces rezerwy w czasie dyskretnym z losową stopą procentową i losową składką

Proces rezerwy w czasie dyskretnym z losową stopą procentową i losową składką z losową stopą procentową i losową składką Instytut Matematyki i Informatyki Politechniki Wrocławskiej 10 czerwca 2008 Oznaczenia Wprowadzenie ξ n liczba wypłat w (n 1, n], Oznaczenia Wprowadzenie ξ n

Bardziej szczegółowo

Procesy stochastyczne

Procesy stochastyczne Wykład I: Istnienie procesów stochastycznych 21 lutego 2017 Forma zaliczenia przedmiotu Forma zaliczenia Literatura 1 Zaliczenie ćwiczeń rachunkowych. 2 Egzamin ustny z teorii 3 Do wykładu przygotowane

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline. Wstęp do sieci neuronowych, wykład 3 Warstwy, jednostka Adaline. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 211-1-18 1 Pomysł Przykłady Zastosowanie 2

Bardziej szczegółowo

Algorytmy estymacji stanu (filtry)

Algorytmy estymacji stanu (filtry) Algorytmy estymacji stanu (filtry) Na podstawie: AIMA ch15, Udacity (S. Thrun) Wojciech Jaśkowski Instytut Informatyki, Politechnika Poznańska 21 kwietnia 2014 Problem lokalizacji Obserwowalność? Determinizm?

Bardziej szczegółowo

Jądrowe klasyfikatory liniowe

Jądrowe klasyfikatory liniowe Jądrowe klasyfikatory liniowe Waldemar Wołyński Wydział Matematyki i Informatyki UAM Poznań Wisła, 9 grudnia 2009 Waldemar Wołyński () Jądrowe klasyfikatory liniowe Wisła, 9 grudnia 2009 1 / 19 Zagadnienie

Bardziej szczegółowo

Wprowadzenie do uczenia maszynowego. Jakub Tomczak

Wprowadzenie do uczenia maszynowego. Jakub Tomczak Wprowadzenie do uczenia maszynowego Jakub Tomczak 2014 ii Rozdział 1 Pojęcia podstawowe 1.1 Wprowadzenie. Zmienne losowe ˆ Podczas kursu interesować nas będzie wnioskowanie o rozpatrywanym zjawisku. Poprzez

Bardziej szczegółowo

Wykład z analizy danych: powtórzenie zagadnień z rachunku prawdopodobieństwa

Wykład z analizy danych: powtórzenie zagadnień z rachunku prawdopodobieństwa Wykład z analizy danych: powtórzenie zagadnień z rachunku prawdopodobieństwa Marek Kubiak Instytut Informatyki Politechnika Poznańska Plan wykładu Podstawowe pojęcia rachunku prawdopodobieństwa Rozkład

Bardziej szczegółowo

Zrównoleglona optymalizacja stochastyczna na dużych zbiorach danych

Zrównoleglona optymalizacja stochastyczna na dużych zbiorach danych Zrównoleglona optymalizacja stochastyczna na dużych zbiorach danych mgr inż. C. Dendek prof. nzw. dr hab. J. Mańdziuk Politechnika Warszawska, Wydział Matematyki i Nauk Informacyjnych Outline 1 Uczenie

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa

Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa M. Czoków, J. Piersa 2012-01-10 1 Łańcucha Markowa 2 Istnienie Szukanie stanu stacjonarnego 3 1 Łańcucha Markowa 2 Istnienie Szukanie stanu stacjonarnego

Bardziej szczegółowo

Kwantyle. Kwantyl rzędu p rozkładu prawdopodobieństwa to taka liczba x p. , że. Możemy go obliczyć z dystrybuanty: P(X x p.

Kwantyle. Kwantyl rzędu p rozkładu prawdopodobieństwa to taka liczba x p. , że. Możemy go obliczyć z dystrybuanty: P(X x p. Kwantyle Kwantyl rzędu p rozkładu prawdopodobieństwa to taka liczba x p, że P(X x p ) p P(X x p ) 1 p Możemy go obliczyć z dystrybuanty: Jeżeli F(x p ) = p, to x p jest kwantylem rzędu p Jeżeli F(x p )

Bardziej szczegółowo

Testowanie hipotez statystycznych.

Testowanie hipotez statystycznych. Statystyka Wykład 10 Wrocław, 22 grudnia 2011 Testowanie hipotez statystycznych Definicja. Hipotezą statystyczną nazywamy stwierdzenie dotyczące parametrów populacji. Definicja. Dwie komplementarne w problemie

Bardziej szczegółowo

Metody probabilistyczne

Metody probabilistyczne Metody probabilistyczne 13. Elementy statystki matematycznej I Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 17.01.2019 1 / 30 Zagadnienia statystki Przeprowadzamy

Bardziej szczegółowo

Lista zadania nr 7 Metody probabilistyczne i statystyka studia I stopnia informatyka (rok 2) Wydziału Ekonomiczno-Informatycznego Filia UwB w Wilnie

Lista zadania nr 7 Metody probabilistyczne i statystyka studia I stopnia informatyka (rok 2) Wydziału Ekonomiczno-Informatycznego Filia UwB w Wilnie Lista zadania nr 7 Metody probabilistyczne i statystyka studia I stopnia informatyka (rok 2) Wydziału Ekonomiczno-Informatycznego Filia UwB w Wilnie Jarosław Kotowicz Instytut Matematyki Uniwersytet w

Bardziej szczegółowo

METODY ESTYMACJI PUNKTOWEJ. nieznanym parametrem (lub wektorem parametrów). Przez X będziemy też oznaczać zmienną losową o rozkładzie

METODY ESTYMACJI PUNKTOWEJ. nieznanym parametrem (lub wektorem parametrów). Przez X będziemy też oznaczać zmienną losową o rozkładzie METODY ESTYMACJI PUNKTOWEJ X 1,..., X n - próbka z rozkładu P θ, θ Θ, θ jest nieznanym parametrem (lub wektorem parametrów). Przez X będziemy też oznaczać zmienną losową o rozkładzie P θ. Definicja. Estymatorem

Bardziej szczegółowo

Metody eksploracji danych 2. Metody regresji. Piotr Szwed Katedra Informatyki Stosowanej AGH 2017

Metody eksploracji danych 2. Metody regresji. Piotr Szwed Katedra Informatyki Stosowanej AGH 2017 Metody eksploracji danych 2. Metody regresji Piotr Szwed Katedra Informatyki Stosowanej AGH 2017 Zagadnienie regresji Dane: Zbiór uczący: D = {(x i, y i )} i=1,m Obserwacje: (x i, y i ), wektor cech x

Bardziej szczegółowo

Wielowymiarowy próbnik Gibbsa

Wielowymiarowy próbnik Gibbsa 29.05.2006 Seminarium szkoleniowe 30 maja 2006 Plan prezentacji Slgorytm MH i PG przypomnienie wiadomości Wielowymiarowy PG Algorytm PG z dopełnieniem Odwracalny PG Modele hierarchiczne Modele hybrydowe

Bardziej szczegółowo

SPOTKANIE 4: Klasyfikacja: Regresja logistyczna

SPOTKANIE 4: Klasyfikacja: Regresja logistyczna Wrocław University of Technology SPOTKANIE 4: Klasyfikacja: Regresja logistyczna Szymon Zaręba Studenckie Koło Naukowe Estymator 179226@student.pwr.wroc.pl 23.11.2012 Rozkład dwupunktowy i dwumianowy Rozkład

Bardziej szczegółowo

Rozdział 2: Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów

Rozdział 2: Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów Rozdział : Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów W tym rozdziale omówione zostaną dwie najpopularniejsze metody estymacji parametrów w ekonometrycznych modelach nieliniowych,

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium Zadanie nr 3 Osada autor: A Gonczarek Celem poniższego zadania jest zrealizowanie fragmentu komputerowego przeciwnika w grze strategiczno-ekonomicznej

Bardziej szczegółowo

Stopę zbieżności ciagu zmiennych losowych a n, takiego, że E (a n ) < oznaczamy jako a n = o p (1) prawdopodobieństwa szybciej niż n α.

Stopę zbieżności ciagu zmiennych losowych a n, takiego, że E (a n ) < oznaczamy jako a n = o p (1) prawdopodobieństwa szybciej niż n α. Stopy zbieżności Stopę zbieżności ciagu zmiennych losowych a n, takiego, że a n oznaczamy jako a n = o p (1 p 0 a Jeśli n p n α 0, to a n = o p (n α i mówimy a n zbiega według prawdopodobieństwa szybciej

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 2 κ-nn i Naive Bayes autorzy: M. Zięba, J.M. Tomczak, A. Gonczarek, S. Zaręba Cel zadania Celem zadania jest implementacja klasyfikatorów

Bardziej szczegółowo

Modele DSGE. Jerzy Mycielski. Maj Jerzy Mycielski () Modele DSGE Maj / 11

Modele DSGE. Jerzy Mycielski. Maj Jerzy Mycielski () Modele DSGE Maj / 11 Modele DSGE Jerzy Mycielski Maj 2008 Jerzy Mycielski () Modele DSGE Maj 2008 1 / 11 Modele DSGE DSGE - Dynamiczne, stochastyczne modele równowagi ogólnej (Dynamic Stochastic General Equilibrium Model)

Bardziej szczegółowo

Algorytmy MCMC i ich zastosowania statystyczne

Algorytmy MCMC i ich zastosowania statystyczne Algorytmy MCMC i ich zastosowania statystyczne Wojciech Niemiro Uniwersytet Mikołaja Kopernika, Toruń i Uniwersytet Warszawski Statystyka Matematyczna Wisła, grudzień 2010 Wykład 1 1 Co to jest MCMC? 2

Bardziej szczegółowo

Definicja 1 Statystyką nazywamy (mierzalną) funkcję obserwowalnego wektora losowego

Definicja 1 Statystyką nazywamy (mierzalną) funkcję obserwowalnego wektora losowego Rozdział 1 Statystyki Definicja 1 Statystyką nazywamy (mierzalną) funkcję obserwowalnego wektora losowego X = (X 1,..., X n ). Uwaga 1 Statystyka jako funkcja wektora zmiennych losowych jest zmienną losową

Bardziej szczegółowo

PROCESY STOCHASTYCZNE. PEWNE KLASY PROCESÓW STOCHASTYCZNYCH Definicja. Procesem stochastycznym nazywamy rodzinę zmiennych losowych X(t) = X(t, ω)

PROCESY STOCHASTYCZNE. PEWNE KLASY PROCESÓW STOCHASTYCZNYCH Definicja. Procesem stochastycznym nazywamy rodzinę zmiennych losowych X(t) = X(t, ω) PROCESY STOCHASTYCZNE. PEWNE KLASY PROCESÓW STOCHASTYCZNYCH Definicja. Procesem stochastycznym nazywamy rodzinę zmiennych losowych X(t) = X(t, ω) określonych na tej samej przestrzeni probabilistycznej

Bardziej szczegółowo

Rozpoznawanie obrazów

Rozpoznawanie obrazów Rozpoznawanie obrazów Laboratorium Python Zadanie nr 2 κ-nn i Naive Bayes autorzy: M. Zięba, J.M. Tomczak, A. Gonczarek, S. Zaręba, J. Kaczmar Cel zadania Celem zadania jest implementacja klasyfikatorów

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 12 Wykorzystanie sieci rekurencyjnych w optymalizacji grafowej

Wstęp do sieci neuronowych, wykład 12 Wykorzystanie sieci rekurencyjnych w optymalizacji grafowej Wstęp do sieci neuronowych, wykład 12 Wykorzystanie sieci rekurencyjnych w optymalizacji grafowej Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2013-01-09

Bardziej szczegółowo

Optymalizacja ciągła

Optymalizacja ciągła Optymalizacja ciągła 5. Metoda stochastycznego spadku wzdłuż gradientu Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 04.04.2019 1 / 20 Wprowadzenie Minimalizacja różniczkowalnej

Bardziej szczegółowo

WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 7 i 8 - Efektywność estymatorów, przedziały ufności

WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 7 i 8 - Efektywność estymatorów, przedziały ufności WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 7 i 8 - Efektywność estymatorów, przedziały ufności Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 1 / 9 EFEKTYWNOŚĆ ESTYMATORÓW, próba

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Ćwiczenia lista zadań nr 3 autorzy: A. Gonczarek, J.M. Tomczak Zbiory i funkcje wypukłe Zad. 1 Pokazać, że następujące zbiory są wypukłe: a) płaszczyzna S = {x

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 9 Sieci rekurencyjne. Autoasocjator Hopfielda

Wstęp do sieci neuronowych, wykład 9 Sieci rekurencyjne. Autoasocjator Hopfielda Wstęp do sieci neuronowych, wykład 9. M. Czoków, J. Piersa 2010-12-07 1 Sieci skierowane 2 Modele sieci rekurencyjnej Energia sieci 3 Sieci skierowane Sieci skierowane Sieci skierowane graf połączeń synaptycznych

Bardziej szczegółowo

Statystyka. Wykład 2. Krzysztof Topolski. Wrocław, 11 października 2012

Statystyka. Wykład 2. Krzysztof Topolski. Wrocław, 11 października 2012 Wykład 2 Wrocław, 11 października 2012 Próba losowa Definicja. Zmienne losowe X 1, X 2,..., X n nazywamy próba losową rozmiaru n z rozkładu o gęstości f (x) (o dystrybuancie F (x)) jeśli X 1, X 2,...,

Bardziej szczegółowo

Metody probabilistyczne

Metody probabilistyczne Metody probabilistyczne. Twierdzenia graniczne Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 20.2.208 / 26 Motywacja Rzucamy wielokrotnie uczciwą monetą i zliczamy

Bardziej szczegółowo

WYKŁAD 6. Witold Bednorz, Paweł Wolff. Rachunek Prawdopodobieństwa, WNE, Uniwersytet Warszawski. 1 Instytut Matematyki

WYKŁAD 6. Witold Bednorz, Paweł Wolff. Rachunek Prawdopodobieństwa, WNE, Uniwersytet Warszawski. 1 Instytut Matematyki WYKŁAD 6 Witold Bednorz, Paweł Wolff 1 Instytut Matematyki Uniwersytet Warszawski Rachunek Prawdopodobieństwa, WNE, 2010-2011 Własności Wariancji Przypomnijmy, że VarX = E(X EX) 2 = EX 2 (EX) 2. Własności

Bardziej szczegółowo

Analiza zawartości dokumentów za pomocą probabilistycznych modeli graficznych

Analiza zawartości dokumentów za pomocą probabilistycznych modeli graficznych Analiza zawartości dokumentów za pomocą probabilistycznych modeli graficznych Probabilistic Topic Models Jakub M. TOMCZAK Politechnika Wrocławska, Instytut Informatyki 30.03.2011, Wrocław Plan 1. Wstęp

Bardziej szczegółowo

Ośrodkowość procesów, proces Wienera. Ośrodkowość procesów, proces Wienera Procesy Stochastyczne, wykład, T. Byczkowski,

Ośrodkowość procesów, proces Wienera. Ośrodkowość procesów, proces Wienera Procesy Stochastyczne, wykład, T. Byczkowski, Procesy Stochastyczne, wykład, T. Byczkowski, Procesy Stochastyczne, PPT, Matematyka MAP1136 27 luty, 2012 Ośrodkowość procesów Dalej zakładamy, że (Ω, Σ, P) jest zupełną przestrzenią miarową. Definicja.

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 11 Łańcuchy Markova

Wstęp do sieci neuronowych, wykład 11 Łańcuchy Markova Wstęp do sieci neuronowych, wykład 11 Łańcuchy Markova M. Czoków, J. Piersa 2010-12-21 1 Definicja Własności Losowanie z rozkładu dyskretnego 2 3 Łańcuch Markova Definicja Własności Losowanie z rozkładu

Bardziej szczegółowo

Geometryczna zbieżność algorytmu Gibbsa

Geometryczna zbieżność algorytmu Gibbsa Geometryczna zbieżność algorytmu Gibbsa Iwona Żerda Wydział Matematyki i Informatyki, Uniwersytet Jagielloński 6 grudnia 2013 6 grudnia 2013 1 / 19 Plan prezentacji 1 Algorytm Gibbsa 2 Tempo zbieżności

Bardziej szczegółowo

Wstęp do metod numerycznych Zadania numeryczne 2016/17 1

Wstęp do metod numerycznych Zadania numeryczne 2016/17 1 Wstęp do metod numerycznych Zadania numeryczne /7 Warunkiem koniecznym (nie wystarczającym) uzyskania zaliczenia jest rozwiązanie co najmniej 3 z poniższych zadań, przy czym zadania oznaczone literą O

Bardziej szczegółowo

Metoda momentów i kwantyli próbkowych. Wrocław, 7 listopada 2014

Metoda momentów i kwantyli próbkowych. Wrocław, 7 listopada 2014 Metoda momentów i kwantyli próbkowych Wrocław, 7 listopada 2014 Metoda momentów Momenty zmiennych losowych X 1, X 2,..., X n - próba losowa. Momenty zmiennych losowych X 1, X 2,..., X n - próba losowa.

Bardziej szczegółowo

Prawdopodobieństwo i statystyka

Prawdopodobieństwo i statystyka Wykład VII: Rozkład i jego charakterystyki 22 listopada 2016 Uprzednio wprowadzone pojęcia i ich własności Definicja zmiennej losowej Zmienna losowa na przestrzeni probabilistycznej (Ω, F, P) to funkcja

Bardziej szczegółowo

Metody klasyfikacji dla nielicznej próbki wektorów o wielkim wymiarze

Metody klasyfikacji dla nielicznej próbki wektorów o wielkim wymiarze Metody klasyfikacji dla nielicznej próbki wektorów o wielkim wymiarze Small n large p problem Problem w analizie wielu zbiorów danych biologicznych: bardzo mała liczba obserwacji (rekordów, próbek) rzędu

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka ADALINE.

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka ADALINE. Wstęp do sieci neuronowych, wykład 3 Warstwy, jednostka ADALINE. Maja Czoków, Jarosław Piersa, Andrzej Rutkowski Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 218-1-15/22 Projekt pn.

Bardziej szczegółowo

Co to jest model Isinga?

Co to jest model Isinga? Co to jest model Isinga? Fakty eksperymentalne W pewnych metalach (np. Fe, Ni) następuje spontaniczne ustawianie się spinów wzdłuż pewnego kierunku, powodując powstanie makroskopowego pola magnetycznego.

Bardziej szczegółowo

5. Analiza dyskryminacyjna: FLD, LDA, QDA

5. Analiza dyskryminacyjna: FLD, LDA, QDA Algorytmy rozpoznawania obrazów 5. Analiza dyskryminacyjna: FLD, LDA, QDA dr inż. Urszula Libal Politechnika Wrocławska 2015 1 1. Liniowe funkcje dyskryminacyjne Liniowe funkcje dyskryminacyjne mają ogólną

Bardziej szczegółowo

Prawdopodobieństwo i statystyka r.

Prawdopodobieństwo i statystyka r. Zadanie. Niech (X, Y) ) będzie dwuwymiarową zmienną losową, o wartości oczekiwanej (μ, μ, wariancji każdej ze współrzędnych równej σ oraz kowariancji równej X Y ρσ. Staramy się obserwować niezależne realizacje

Bardziej szczegółowo

6. Zmienne losowe typu ciagłego ( ) Pole trapezu krzywoliniowego

6. Zmienne losowe typu ciagłego ( ) Pole trapezu krzywoliniowego 6. Zmienne losowe typu ciagłego (2.04.2007) Pole trapezu krzywoliniowego Przypomnienie: figurę ograniczoną przez: wykres funkcji y = f(x), gdzie f jest funkcją ciągłą; proste x = a, x = b, a < b, oś OX

Bardziej szczegółowo

AKADEMIA GÓRNICZO-HUTNICZA Wydział Matematyki Stosowanej ROZKŁAD NORMALNY ROZKŁAD GAUSSA

AKADEMIA GÓRNICZO-HUTNICZA Wydział Matematyki Stosowanej ROZKŁAD NORMALNY ROZKŁAD GAUSSA AKADEMIA GÓRNICZO-HUTNICZA Wydział Matematyki Stosowanej KATEDRA MATEMATYKI TEMAT PRACY: ROZKŁAD NORMALNY ROZKŁAD GAUSSA AUTOR: BARBARA MARDOSZ Kraków, styczeń 2008 Spis treści 1 Wprowadzenie 2 2 Definicja

Bardziej szczegółowo

Propensity score matching (PSM)

Propensity score matching (PSM) Propensity score matching (PSM) Jerzy Mycielski Uniwersytet Warszawski Maj 2010 Jerzy Mycielski (Uniwersytet Warszawski) Propensity score matching (PSM) Maj 2010 1 / 18 Badania ewaluacyjne Ocena wpływu

Bardziej szczegółowo

W2 Podstawy rachunku prawdopodobieństwa (przypomnienie)

W2 Podstawy rachunku prawdopodobieństwa (przypomnienie) W2 Podstawy rachunku prawdopodobieństwa (przypomnienie) Henryk Maciejewski Jacek Jarnicki Marek Woda www.zsk.iiar.pwr.edu.pl Rachunek prawdopodobieństwa - przypomnienie 1. Zdarzenia 2. Prawdopodobieństwo

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 9 Sieci rekurencyjne. Autoasocjator Hopfielda

Wstęp do sieci neuronowych, wykład 9 Sieci rekurencyjne. Autoasocjator Hopfielda Wstęp do sieci neuronowych, wykład 9. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-12-10 Projekt pn. Wzmocnienie potencjału dydaktycznego UMK w Toruniu

Bardziej szczegółowo

Metody Obliczeniowe w Nauce i Technice

Metody Obliczeniowe w Nauce i Technice Metody Obliczeniowe w Nauce i Technice 15. Obliczanie całek metodami Monte Carlo Marian Bubak Department of Computer Science AGH University of Science and Technology Krakow, Poland bubak@agh.edu.pl dice.cyfronet.pl

Bardziej szczegółowo

Estymacja przedziałowa - przedziały ufności dla średnich. Wrocław, 5 grudnia 2014

Estymacja przedziałowa - przedziały ufności dla średnich. Wrocław, 5 grudnia 2014 Estymacja przedziałowa - przedziały ufności dla średnich Wrocław, 5 grudnia 2014 Przedział ufności Niech będzie dana próba X 1, X 2,..., X n z rozkładu P θ, θ Θ. Definicja Przedziałem ufności dla paramertu

Bardziej szczegółowo

Imputacja brakujacych danych binarnych w modelu autologistycznym 1

Imputacja brakujacych danych binarnych w modelu autologistycznym 1 Imputacja brakujacych danych binarnych w modelu autologistycznym 1 Marta Zalewska Warszawski Uniwesytet Medyczny Statystyka Matematyczna Wisła, grudzień 2009 1 Współautorzy: Wojciech Niemiro, UMK Toruń

Bardziej szczegółowo

Testowanie hipotez statystycznych. Wprowadzenie

Testowanie hipotez statystycznych. Wprowadzenie Wrocław University of Technology Testowanie hipotez statystycznych. Wprowadzenie Jakub Tomczak Politechnika Wrocławska jakub.tomczak@pwr.edu.pl 10.04.2014 Pojęcia wstępne Populacja (statystyczna) zbiór,

Bardziej szczegółowo

Na A (n) rozważamy rozkład P (n) , który na zbiorach postaci A 1... A n określa się jako P (n) (X n, A (n), P (n)

Na A (n) rozważamy rozkład P (n) , który na zbiorach postaci A 1... A n określa się jako P (n) (X n, A (n), P (n) MODELE STATYSTYCZNE Punktem wyjścia w rozumowaniu statystycznym jest zmienna losowa (cecha) X i jej obserwacje opisujące wyniki doświadczeń bądź pomiarów. Zbiór wartości zmiennej losowej X (zbiór wartości

Bardziej szczegółowo

Wykład 11: Martyngały: Twierdzenie o zbieżności i Hoeffdinga

Wykład 11: Martyngały: Twierdzenie o zbieżności i Hoeffdinga RAP 412 21.01.2009 Wykład 11: Martyngały: Twierdzenie o zbieżności i Hoeffdinga Wykładowca: Andrzej Ruciński Pisarz: Łukasz Waszak 1 Wstęp Na ostatnim wykładzie przedstawiliśmy twierdzenie o zbieżności

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 10 Sieci rekurencyjne. Autoasocjator Hopfielda

Wstęp do sieci neuronowych, wykład 10 Sieci rekurencyjne. Autoasocjator Hopfielda Wstęp do sieci neuronowych, wykład 10. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-12-13 1 Modele sieci rekurencyjnej Energia sieci 2 3 Modele sieci

Bardziej szczegółowo

WYKŁAD 2 i 3. Podstawowe pojęcia związane z prawdopodobieństwem. Podstawy teoretyczne. autor: Maciej Zięba. Politechnika Wrocławska

WYKŁAD 2 i 3. Podstawowe pojęcia związane z prawdopodobieństwem. Podstawy teoretyczne. autor: Maciej Zięba. Politechnika Wrocławska Wrocław University of Technology WYKŁAD 2 i 3 Podstawowe pojęcia związane z prawdopodobieństwem. Podstawy teoretyczne autor: Maciej Zięba Politechnika Wrocławska Pojęcie prawdopodobieństwa Prawdopodobieństwo

Bardziej szczegółowo

Prawdopodobieństwo i statystyka

Prawdopodobieństwo i statystyka Wykład XIV: Metody Monte Carlo 19 stycznia 2016 Przybliżone obliczanie całki oznaczonej Rozważmy całkowalną funkcję f : [0, 1] R. Chcemy znaleźć przybliżoną wartość liczbową całki 1 f (x) dx. 0 Jeden ze

Bardziej szczegółowo

Detekcja rozkładów o ciężkich ogonach

Detekcja rozkładów o ciężkich ogonach Detekcja rozkładów o ciężkich ogonach J. Śmiarowska, P. Jamer Wydział Matematyki i Nauk Informacyjnych Politechnika Warszawska 24 kwietnia 2012 J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja

Bardziej szczegółowo

zadania z rachunku prawdopodobieństwa zapożyczone z egzaminów aktuarialnych

zadania z rachunku prawdopodobieństwa zapożyczone z egzaminów aktuarialnych zadania z rachunku prawdopodobieństwa zapożyczone z egzaminów aktuarialnych 1. [E.A 5.10.1996/zad.4] Funkcja gęstości dana jest wzorem { 3 x + 2xy + 1 y dla (x y) (0 1) (0 1) 4 4 P (X > 1 2 Y > 1 2 ) wynosi:

Bardziej szczegółowo

Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I

Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I Wojciech Kotłowski Instytut Informatyki Politechniki Poznańskiej email: imię.nazwisko@cs.put.poznan.pl pok. 2 (CW) tel. (61)665-2936 konsultacje:

Bardziej szczegółowo

2. Wykaż, że moment pierwszego skoku w procesie Poissona. S 1 := inf{t : N t > 0} jest zmienną losową o rozkładzie wykładniczym z parametrem λ.

2. Wykaż, że moment pierwszego skoku w procesie Poissona. S 1 := inf{t : N t > 0} jest zmienną losową o rozkładzie wykładniczym z parametrem λ. Zadania z Procesów Stochastycznych 1 1. Udowodnij, że z prawdopodobieństwem 1 trajektorie procesu Poissona są niemalejące, przyjmują wartości z Z +, mają wszystkie skoki równe 1 oraz dążą do nieskończoności.

Bardziej szczegółowo

1 Gaussowskie zmienne losowe

1 Gaussowskie zmienne losowe Gaussowskie zmienne losowe W tej serii rozwiążemy zadania dotyczące zmiennych o rozkładzie normalny. Wymagana jest wiedza na temat własności rozkładu normalnego, CTG oraz warunkowych wartości oczekiwanych..

Bardziej szczegółowo

Wykład 4. Plan: 1. Aproksymacja rozkładu dwumianowego rozkładem normalnym. 2. Rozkłady próbkowe. 3. Centralne twierdzenie graniczne

Wykład 4. Plan: 1. Aproksymacja rozkładu dwumianowego rozkładem normalnym. 2. Rozkłady próbkowe. 3. Centralne twierdzenie graniczne Wykład 4 Plan: 1. Aproksymacja rozkładu dwumianowego rozkładem normalnym 2. Rozkłady próbkowe 3. Centralne twierdzenie graniczne Przybliżenie rozkładu dwumianowego rozkładem normalnym Niech Y ma rozkład

Bardziej szczegółowo

Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory

Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory Dr Anna ADRIAN Paw B5, pok 407 adrian@tempus.metal.agh.edu.pl

Bardziej szczegółowo

Porównanie modeli regresji. klasycznymi modelami regresji liniowej i logistycznej

Porównanie modeli regresji. klasycznymi modelami regresji liniowej i logistycznej Porównanie modeli logicznej regresji z klasycznymi modelami regresji liniowej i logistycznej Instytut Matematyczny, Uniwersytet Wrocławski Małgorzata Bogdan Instytut Matematyki i Informatyki, Politechnika

Bardziej szczegółowo

Wykład 10 Estymacja przedziałowa - przedziały ufności dla średn

Wykład 10 Estymacja przedziałowa - przedziały ufności dla średn Wykład 10 Estymacja przedziałowa - przedziały ufności dla średniej Wrocław, 21 grudnia 2016r Przedział ufności Niech będzie dana próba X 1, X 2,..., X n z rozkładu P θ, θ Θ. Definicja 10.1 Przedziałem

Bardziej szczegółowo

Weryfikacja hipotez statystycznych

Weryfikacja hipotez statystycznych Weryfikacja hipotez statystycznych Hipoteza Test statystyczny Poziom istotności Testy jednostronne i dwustronne Testowanie równości wariancji test F-Fishera Testowanie równości wartości średnich test t-studenta

Bardziej szczegółowo

Przykład 1 W przypadku jednokrotnego rzutu kostką przestrzeń zdarzeń elementarnych

Przykład 1 W przypadku jednokrotnego rzutu kostką przestrzeń zdarzeń elementarnych Rozdział 1 Zmienne losowe, ich rozkłady i charakterystyki 1.1 Definicja zmiennej losowej Niech Ω będzie przestrzenią zdarzeń elementarnych. Definicja 1 Rodzinę S zdarzeń losowych (zbiór S podzbiorów zbioru

Bardziej szczegółowo

Statystyka matematyczna

Statystyka matematyczna Statystyka matematyczna Wykład 6 Magdalena Alama-Bućko 8 kwietnia 019 Magdalena Alama-Bućko Statystyka matematyczna 8 kwietnia 019 1 / 1 Rozkłady ciagłe Magdalena Alama-Bućko Statystyka matematyczna 8

Bardziej szczegółowo

Wprowadzenie do teorii ekonometrii. Wykład 1 Warunkowa wartość oczekiwana i odwzorowanie liniowe

Wprowadzenie do teorii ekonometrii. Wykład 1 Warunkowa wartość oczekiwana i odwzorowanie liniowe Wprowadzenie do teorii ekonometrii Wykład 1 Warunkowa wartość oczekiwana i odwzorowanie liniowe Zajęcia Wykład Laboratorium komputerowe 2 Zaliczenie EGZAMIN (50%) Na egzaminie obowiązują wszystkie informacje

Bardziej szczegółowo

2.1 Przykład wstępny Określenie i konstrukcja Model dwupunktowy Model gaussowski... 7

2.1 Przykład wstępny Określenie i konstrukcja Model dwupunktowy Model gaussowski... 7 Spis treści Spis treści 1 Przedziały ufności 1 1.1 Przykład wstępny.......................... 1 1.2 Określenie i konstrukcja...................... 3 1.3 Model dwupunktowy........................ 5 1.4

Bardziej szczegółowo

WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 4 - zagadnienie estymacji, metody wyznaczania estymatorów

WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 4 - zagadnienie estymacji, metody wyznaczania estymatorów WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 4 - zagadnienie estymacji, metody wyznaczania estymatorów Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 4 1 / 23 ZAGADNIENIE ESTYMACJI Zagadnienie

Bardziej szczegółowo

WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 11 i 12 - Weryfikacja hipotez statystycznych

WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 11 i 12 - Weryfikacja hipotez statystycznych WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 11 i 12 - Weryfikacja hipotez statystycznych Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 11 i 12 1 / 41 TESTOWANIE HIPOTEZ - PORÓWNANIE

Bardziej szczegółowo

Uogolnione modele liniowe

Uogolnione modele liniowe Uogolnione modele liniowe Jerzy Mycielski Uniwersytet Warszawski grudzien 2013 Jerzy Mycielski (Uniwersytet Warszawski) Uogolnione modele liniowe grudzien 2013 1 / 17 (generalized linear model - glm) Zakładamy,

Bardziej szczegółowo

Spacery losowe generowanie realizacji procesu losowego

Spacery losowe generowanie realizacji procesu losowego Spacery losowe generowanie realizacji procesu losowego Michał Krzemiński Streszczenie Omówimy metodę generowania trajektorii spacerów losowych (błądzenia losowego), tj. szczególnych procesów Markowa z

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 10 Sieci rekurencyjne. Autoasocjator Hopfielda

Wstęp do sieci neuronowych, wykład 10 Sieci rekurencyjne. Autoasocjator Hopfielda Wstęp do sieci neuronowych, wykład 10. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-12-19 Projekt pn. Wzmocnienie potencjału dydaktycznego UMK w Toruniu

Bardziej szczegółowo