Dynamiczne wªasno±ci algorytmu propagacji przekona«

Podobne dokumenty
EGZAMIN MAGISTERSKI, r Matematyka w ekonomii i ubezpieczeniach

Janusz Adamowski METODY OBLICZENIOWE FIZYKI Zastosowanie eliptycznych równa«ró»niczkowych

Bifurkacje. Ewa Gudowska-Nowak Nowak. Plus ratio quam vis

Wykªad 4. Funkcje wielu zmiennych.

Modele liniowe i mieszane na przykªadzie analizy danych biologicznych - Wykªad 6

x y x y x y x + y x y

Rozwini cia asymptotyczne dla mocy testów przybli»onych

Proste modele o zªo»onej dynamice

MODEL HAHNFELDTA I IN. ANGIOGENEZY NOWOTWOROWEJ Z UWZGL DNIENIEM LEKOOPORNO CI KOMÓREK NOWOTWOROWYCH

Metody dowodzenia twierdze«

Ekstremalnie fajne równania

Wykªad 7. Ekstrema lokalne funkcji dwóch zmiennych.

Elementarna statystyka Wnioskowanie o regresji (Inference 2 czerwca for regression) / 13

Ekonometria Bayesowska

Modele wielorównaniowe. Problem identykacji

Metody bioinformatyki (MBI)

Funkcje wielu zmiennych

Liniowe równania ró»niczkowe n tego rz du o staªych wspóªczynnikach

Liniowe zadania najmniejszych kwadratów

Co to jest model Isinga?

Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa

Czy funkcja zadana wzorem f(x) = ex e x. 1 + e. = lim. e x + e x lim. lim. 2 dla x = 1 f(x) dla x (0, 1) e e 1 dla x = 1

Materiaªy do Repetytorium z matematyki

Metody numeryczne i statystyka dla in»ynierów

Statystyka matematyczna - ZSTA LMO

Przeksztaªcenia liniowe

Ekonometria Bayesowska

Zadanie 1. (8 punktów) Dana jest nast puj ca macierz: M =

przewidywania zapotrzebowania na moc elektryczn

ANALIZA NUMERYCZNA. Grzegorz Szkibiel. Wiosna 2014/15

Elementy Modelowania Matematycznego Wykªad 1 Prawdopodobie«stwo

JAO - J zyki, Automaty i Obliczenia - Wykªad 1. JAO - J zyki, Automaty i Obliczenia - Wykªad 1

Ciaªa i wielomiany. 1 Denicja ciaªa. Ciaªa i wielomiany 1

CAŠKA NIEOZNACZONA. Politechnika Lubelska. Z.Šagodowski. 18 lutego 2016

Analiza i aproksymacja nieliniowego modelu elastycznego ograniczaj cego odksztaªcenie

Ekonometria Bayesowska

Konstruowanie Baz Danych Wprowadzenie do projektowania. Normalizacja

Pakiety statystyczne - Wykªad 8

Ekonometria Bayesowska

Rozwi zanie równania ró»niczkowego metod operatorow (zastosowanie transformaty Laplace'a).

Wektory w przestrzeni

WST P DO TEORII INFORMACJI I KODOWANIA. Grzegorz Szkibiel. Wiosna 2013/14

Wst p do sieci neuronowych 2010/2011 wykªad 7 Algorytm propagacji wstecznej cd.

Ukªady równa«liniowych

Informacje pomocnicze

Ÿ1 Oznaczenia, poj cia wst pne

Rachunek caªkowy funkcji wielu zmiennych

Równania ró»niczkowe I rz du (RRIR) Twierdzenie Picarda. Anna D browska. WFTiMS. 23 marca 2010

Ekonometria - wykªad 8

Ekonometria. wiczenia 3 Autokorelacja, heteroskedastyczno±, wspóªliniowo± Andrzej Torój. Instytut Ekonometrii Zakªad Ekonometrii Stosowanej

Wykorzystanie lokalnej geometrii danych w Maszynie Wektorów No±nych

Prawdopodobieństwo i statystyka

Mierzalne liczby kardynalne

Macierze. 1 Podstawowe denicje. 2 Rodzaje macierzy. Denicja

Statystyka i eksploracja danych

Modele liniowe i mieszane na przykªadzie analizy danych biologicznych - Wykªad 1

Macierze i Wyznaczniki

Twierdzenie Wainera. Marek Czarnecki. Warszawa, 3 lipca Wydziaª Filozoi i Socjologii Uniwersytet Warszawski

Liczby zespolone Pochodna Caªka nieoznaczona i oznaczona Podstawowe wielko±ci zyczne. Repetytorium z matematyki

WBiA Architektura i Urbanistyka. 1. Wykonaj dziaªania na macierzach: Które z iloczynów: A 2 B, AB 2, BA 2, B 2 3, B = 1 2 0

Metodydowodzenia twierdzeń

Elementy geometrii w przestrzeni R 3

Ekonometria. wiczenia 2 Werykacja modelu liniowego. Andrzej Torój. Instytut Ekonometrii Zakªad Ekonometrii Stosowanej

5. (8 punktów) EGZAMIN MAGISTERSKI, r Matematyka w ekonomii i ubezpieczeniach

1 Granice funkcji wielu zmiennych.

Model obiektu w JavaScript

CAŠKOWANIE METODAMI MONTE CARLO Janusz Adamowski

Biostatystyka, # 5 /Weterynaria I/

det A := a 11, ( 1) 1+j a 1j det A 1j, a 11 a 12 a 21 a 22 Wn. 1 (Wyznacznik macierzy stopnia 2:). = a 11a 22 a 33 +a 12 a 23 a 31 +a 13 a 21 a 32

Metody statystyczne w biologii - Wykªad 8. Uniwersytet Przyrodniczy we Wrocªawiu Katedra Genetyki i Ogólnej Hodowli Zwierz t

WST P DO TEORII INFORMACJI I KODOWANIA. Grzegorz Szkibiel. Wiosna 2013/14

c Marcin Sydow Przepªywy Grafy i Zastosowania Podsumowanie 12: Przepªywy w sieciach

Metody probabilistyczne

Macierze i Wyznaczniki

EGZAMIN MAGISTERSKI, r Matematyka w ekonomii i ubezpieczeniach. a) (6 pkt.) oblicz intensywno± pªaconych skªadek;

*** Teoria popytu konsumenta *** I. Pole preferencji konsumenta 1. Przestrze«towarów 2. Relacja preferencji konsumenta 3. Optymalny koszyk towarów

Przekroje Dedekinda 1

STATYSTYCZNE MODELOWANIE DANYCH BIOLOGICZNYCH

Zbiory i odwzorowania

Podstawy statystycznego modelowania danych - Wykªad 7

Metody probablistyczne i statystyka stosowana

ELEMENTARNA TEORIA LICZB. 1. Podzielno±

I Rok LOGISTYKI: wykªad 2 Pochodna funkcji. iloraz ró»nicowy x y x

ANALIZA MATEMATYCZNA Z ALGEBR

Wstęp do sieci neuronowych, wykład 11 Łańcuchy Markova

Listy Inne przykªady Rozwi zywanie problemów. Listy w Mathematice. Marcin Karcz. Wydziaª Matematyki, Fizyki i Informatyki.

STATYSTYCZNE MODELOWANIE DANYCH BIOLOGICZNYCH

Szkice rozwi za«zada«z egzaminu 1

Indeksowane rodziny zbiorów

Zadania. 4 grudnia k=1

i, lub, nie Cegieªki buduj ce wspóªczesne procesory. Piotr Fulma«ski 5 kwietnia 2017

Lekcja 9 - LICZBY LOSOWE, ZMIENNE

Macierze. Dziaªania na macierzach. 1. Niech b d dane macierze , D = , C = , B = 4 12 A = , F = , G = , H = E = a) Obliczy A + B, 2A 3B,

Caªkowanie numeryczne - porównanie skuteczno±ci metody prostokatów, metody trapezów oraz metody Simpsona

1 Lista 6 1. LISTA Obliczy JSN renty z doªu dla (30)-latka na 3 lata w wysoko±ci Obliczenia zrobi dla TT -PL97m oraz i = 4%.

Podstawy matematyki dla informatyków. Logika formalna. Skªadnia rachunku zda« Skróty i priorytety. Wykªad 10 (Klasyczny rachunek zda«) 15 grudnia 2011

Interpolacja Lagrange'a, bazy wielomianów

3. (8 punktów) EGZAMIN MAGISTERSKI, Biomatematyka

1 Metody iteracyjne rozwi zywania równania f(x)=0

Elementarna statystyka

Transkrypt:

BP propagacji przekona«4. Interdyscyplinarne Warsztaty Matematyczne Wydziaª Fizyki Politechnika Warszawska B dlewo, 26 maja, 2013

BP 1 2 3 4 5 6

BP Rysunek: Zbiór zmiennych losowych.

BP Rysunek: Zbiór zmiennych losowych z zale»no±ciami.

U±ci±lijmy problem BP Szukamy rozkªadu brzegowego P(x N ) = P(x 1, x 2,..., x N ) = x 1 x 2 x N 1 = N P(x i Rdz(x i )). x 1 x 2 x N 1 i=1

Dlaczego podej±cie naiwne nie wystaczy? BP Liczba skªadników w sumie P(x N ) = x 1 x 2 x N 1 i=1 ro±nie wykªadniczo wraz z rozmiarami grafu! N P(x i Rdz(x i ))

Sugestie i przekonania BP Przyjmijmy zbiór parametrów rzeczywistych µ ij (µ ij µ ji ), gdzie i, j to w zªy grafu, który nazwiemy sugestiami (ang. messages).

Sugestie i przekonania BP Przyjmijmy zbiór parametrów rzeczywistych µ ij (µ ij µ ji ), gdzie i, j to w zªy grafu, który nazwiemy sugestiami (ang. messages). Rysunek: Schemat dziaªania BP.

Sugestie i przekonania BP Przekonania Przekonaniami nazywa b dziemy wyra»enia postaci b i (X i ) i b ij (X i, X j ), zale»ne w pewien sposób od sugestii.

Sugestie i przekonania BP Przekonania Przekonaniami nazywa b dziemy wyra»enia postaci b i (X i ) i b ij (X i, X j ), zale»ne w pewien sposób od sugestii. Przekonania nie maj dobrej interpretacji, chyba,»e algorytm BP zbiegnie do punktu staªego...

Reguªa uaktualniania sugestii w algorytmie BP BP I dalej iterujemy µ 1 ij = F ([µ 0 ij] i, j=1,..., N ) (1) µ n ij = F ([µ n 1 i j] i, j=1,..., N ). (2)

BP - podsumowanie BP Zbie»no± na drzewach Pearl wykazaª w 1982,»e algorytm BP na drzewach zbiega.

BP - podsumowanie BP Zbie»no± na drzewach Pearl wykazaª w 1982,»e algorytm BP na drzewach zbiega. A co poza drzewami? W ogólno±ci problem pozostaje otwarty. je±li zignorujemy istnienie cykli (...) sugestie mog kr»y w niezidentykowany sposób wokóª p tli, nie zbiegaj c do stanu równowagi [tªum. wª.] Judea Perl cytowany za J. S. Yedidia, W. T. Freeman, Y. Weiss, Understanding Propagation and Its Generalizations, Exploring Articial Intelligence in the New Millennium, 8, 239-236, (2003).

BP - podsumowanie BP Zbie»no± na drzewach Pearl wykazaª w 1982,»e algorytm BP na drzewach zbiega. A co poza drzewami? W ogólno±ci problem pozostaje otwarty. je±li zignorujemy istnienie cykli (...) sugestie mog kr»y w niezidentykowany sposób wokóª p tli, nie zbiegaj c do stanu równowagi [tªum. wª.] Judea Perl cytowany za J. S. Yedidia, W. T. Freeman, Y. Weiss, Understanding Propagation and Its Generalizations, Exploring Articial Intelligence in the New Millennium, 8, 239-236, (2003). Po co ta zbie»no±? W punkcie staªym BP przekonania staj si rozkªadami brzegowymi.

BP BP Systemy eksperckie (sieci bayesowskie), (losowe pola Markowa), Kody wykrywaj ce bª dy (grafy Tannera), Widzenie maszynowe, Poznawanie kodu DNA, Optymalizacja ruchu pakietów w sieci.

BP w medycynie BP Rozwa»my przykªad Asia autorstwa Laurtizena i Spiegelhaltera. Dysponujemy systemem eksperckim, który szacuje ryzyko chorób ukªadu oddechowego. Wyjazd do Azji (A) zwi ksza ryzyko gru¹licy (T). Palenie papierosów (S) to czynnik ryzyka zarówno raka pªuc (L) jak i zapalenia oskrzeli (B). Obecno± zarówno gru¹licy jak i raka pªuc (E) mo»e by wykryta poprzez prze±wietlenie klatki piersiowej (X), ale na podstawie prze±wietlenia nie mo»na rozstrzygn która to choroba. Duszno±ci mog by spowodowane przez zapalenie oskrzeli (B) lub któr ± z dwóch (E): gru¹lic lub raka pªuc.

BP w medycynie BP Rozwa»my przykªad Asia autorstwa Laurtizena i Spiegelhaltera. Dysponujemy systemem eksperckim, który szacuje ryzyko chorób ukªadu oddechowego. Wyjazd do Azji (A) zwi ksza ryzyko gru¹licy (T). Palenie papierosów (S) to czynnik ryzyka zarówno raka pªuc (L) jak i zapalenia oskrzeli (B). Obecno± zarówno gru¹licy jak i raka pªuc (E) mo»e by wykryta poprzez prze±wietlenie klatki piersiowej (X), ale na podstawie prze±wietlenia nie mo»na rozstrzygn która to choroba. Duszno±ci mog by spowodowane przez zapalenie oskrzeli (B) lub któr ± z dwóch (E): gru¹lic lub raka pªuc. BP mo»e dostarczy tutaj, bardzo po» danych rozkªadów brzegowych.

BP Ilustracja Rysunek: Graf ilustruj cy sie bayesowsk Asia.

BP Zaªo»enia Niech X b dzie polem losowym Markowa. Λ = { 1, 1}, Ponadto niech G(S, N) = Z 2 p.

BP Zaªo»enia Niech X b dzie polem losowym Markowa. Λ = { 1, 1}, Ponadto niech G(S, N) = Z 2 p. Ilustracja

BP Hamiltonian U(σ) = J ij σ i σ j h i σ i i G j N i i G

BP Hamiltonian Rozkªad Gibbsa U(σ) = J ij σ i σ j h i σ i i G j N i P(σ) = exp( βu(σ)), Z = Z σ i G exp( βu(σ))

BP Hamiltonian Rozkªad Gibbsa Cel U(σ) = J ij σ i σ j h i σ i i G j N i P(σ) = exp( βu(σ)), Z = Z σ i G exp( βu(σ)) Dla ustalonych pola h, caªki wymiany J i temperatury β znale¹ magnetyzacj w ka»dym punkcie czyli warto± oczekiwan wedªug rozkªadu brzegowego.

Reguªa uaktualniania sugestii w algorytmie BP dla modelu Isinga BP F ([µ ij ] i, j=1,..., N ) = 1 2β ln cosh β h j + J ij + n N j n i cosh β h j J ij + n N j n i µ jn µ jn

Rezultaty bada«numerycznych BP Wielokrotne symulacje numeryczne dla krat z p = 3, 4, 5, 6 pokazuj,»e mo»liwe s tylko dwa scenariusze bifurkacji

Rezultaty bada«numerycznych BP Wielokrotne symulacje numeryczne dla krat z p = 3, 4, 5, 6 pokazuj,»e mo»liwe s tylko dwa scenariusze bifurkacji Rysunek: Typowe wyniki symulacji - liczba stabilnych punktów staªych BP w funkcji β.

BP Twierdzenie W przypadku ferromagnetycznym (J > 0) przy staªej caªce wymiany i polu zewn trznym mo»liwe s nast puj ce scenariusze zachowania BP je±li rozwa»amy punkty staªe staªe na niezerowych wspóªrz dnych dla h = 0 nast puje bifurkacja w wyniku której powstaj trzy punkty staªe - dwa stabilne, jeden niestabilny, dla h ( 2J, 2J) \ {0} nast puje dokªadnie jedna bifurkacja w wyniku której oprócz istniej cego stabilnego punktu staªego powstaj dwa nowe, z czego jeden stabilny, a drugi niestabilny, dla h 2J bifurkacje nie zachodz i dla ka»dej warto±ci β ukªad posiada dokªadnie jeden punkt staªy.

BP Twierdzenie Po wykonaniu BP wszystkie elementy macierzy sugestii s ograniczone, ponadto µ ij ( J ij, J ij ). Twierdzenie Je±li macierz sugestii w punkcie staªym BP jest symetryczna, a caªka wymiany i zewn trzne pole staªe, wówczas wszystkie niezerowe wyrazy macierzy sugestii s sobie równe.

BP Co z dowolnym polem i caªk wymiany? Hipoteza Zachodz inne ni» trywialna bifurkacje, skutkuj ce pojawieniem si egzotycznych punktów staªych. Hipoteza Zachodzi dokªadnie jedna bifurkacja, w której z jednego punktu staªego powstaj dwa punkty staªe.

BP Problemy otwarte Identykacja wszystkich punktów staªych (stabilnych i niestabilnych) BP i ich basenów przyci gania. Identykacja orbit okresowych. Kiedy zachodz bifurkacje punktów staªych?

BP Przedstawiony zostaª iteracyjny algorytm poszukiwania rozkªadów brzegowych dla losowych pól Markowa. BP mo»e by stosowany w wielu dziedzinach - od zyki statystycznej, przez in»ynieri po medycyn. Dla analizy modelu Isinga istotnym pytaniem s bifurkacje punktów staªych w algorytmie BP. Ci gle jest wiele problemów otwartych!

BP Dzi kuj za uwag!