Sztuczna Inteligencja i Systemy Doradcze
|
|
- Henryka Pawłowska
- 8 lat temu
- Przeglądów:
Transkrypt
1 Sztuczna Inteligencja i Systemy Doradcze Sieci bayessowskie Sieci bayessowskie 1
2 Niepewnosc Niech akcja A t = wyjedź na lotnisko t minut przed odlotem Czy A t pozwoli mi zdążyć na czas? Problemy: 1) informacja częściowa (stan ulic, plany innych kierowców, etc.) 2) niedokładne informacje (raport o korkach) 3) niepewność działania akcji (złapanie gumy, etc.) 4) ogromna złożoność modelowania i przewidywania ruchu Stąd czysto logiczne podejście albo 1) ryzykuje fałszywość: A 25 pozwoli mi zdążyć na czas albo 2) prowadzi do wniosków zbyt słabych do podjęcia decyzji: A 25 pozwoli mi zdążyć na czas jeśli nie będzie wypadku na moście i nie będzi padać i nie złapię gumy itd. (A 1440 mogłoby być uznane że rozsądnie zapewnia, że zdąże na czas, ale nie chcę czekać całą noc na lotnisku...) Sieci bayessowskie 2
3 Podstawy prawdopodobienstwa Ω przestrzeń próbek np. 6 możliwych wyników rzutu kostką. ω Ω jest punktem próbkowym/dopuszczalnym stanem świata/ zdarzeniem atomowym Przestrzeń prawdopobieństwa lub model prawdopodobieństwa to przestrzeń próbek z przypisaniem P(ω) dla każdego ω Ω spełniającego warunki 0 P(ω) 1 Σ ω P(ω) = 1 np. P(1) =P(2) =P(3) =P(4) =P(5) = P(6) = 1/6. Zdarzenie A jest podzbiorem Ω P(A) = Σ {ω A} P(ω) Np. P(rzut kostką < 4) = 1/6 + 1/6 + 1/6 = 1/2 Sieci bayessowskie 3
4 Zmienne losowe Zmienna losowa jest funkcją z przestrzeni próbek w pewien zbiór wartości, np. rzeczywistych lub boolowskich np. Odd(1) = true. P indukuje rozkład prawdopodobieństwa dla dowolnej zm. los. X: P(X = x i ) = Σ {ω:x(ω) =xi }P(ω) np. P(Odd =true) = 1/6 + 1/6 + 1/6 = 1/2 Sieci bayessowskie 4
5 Zdania Zdania reprezentują pewne zdarzenia (podzbiory przestrzeni próbek) w których są prawdziwe Boolowskie zmienne losowe np. Cavity (czy jestem osłabiony?) Dyskretne zmienne losowe (skończone lub nieskończone) np. Weather ma jedną wartość z sunny, rain, cloudy, snow W eather = rain jest zdaniem Wartości muszą być kompletne i wzajemnie się wykluczać Ciągłe zmienne losowe (ograniczone lub nieograniczone) np. emp = 21.6; można także emp < Dowolne kombinacje boolowskie prostych zdań Sieci bayessowskie 5
6 Prawdopodobienstwo bezwarunkowe Bezwarunkowe prawdopodobieństwo zdań np. P(Cavity =true) = 0.1 i P(Weather =sunny) = 0.72 odpowiada przekonaniom przed dostarczeniem jakiejkolwiek (nowej) przesłanki Rozkład prawdopodobieństwa daje wartości dla wszystkich przypisań: P(W eather) = 0.72, 0.1, 0.08, 0.1 (znormalizowana: sumuje się do 1) Łączny rozkład prawdopodobieństwa dla zbioru zm. los. daje prawdopodobieństwa każdego zdarzenia atomowego na tych zm. los. (tzn. każdy punkt próbkowy) P(Weather, Cavity) = macierz wartości 4 2: W eather = sunny rain cloudy snow Cavity = true Cavity = f alse Każde pytanie o dziedzinę może być odpowiedziane przez łączny rozkład ponieważ każde zdarzenie jest sumą punktów próbkowych Sieci bayessowskie 6
7 Prawdopodobienstwo warunkowe Prawdopodobieństwo warunkowe lub a posteriori np. P(cavity toothache) = 0.8 tzn. zakładając, że toothache to to, o czym wiem NIE jeśli toothache to 80% szans na cavity Notacja rozkładów warunkowych: P(Cavity oothache) = 2-elementowy wektor 2-elementowych wektorów Jeśli wiemy więcej, np. cavity też jest dane, wtedy mamy P(cavity toothache, cavity) = 1 Uwaga: mniej specyficzne przekonania pozostają prawdziwe po dojściu nowych przesłanek, ale nie zawsze są użyteczne Nowe przesłanki mogą być nieistotne, umożliwiając upraszczanie, np. P(cavity toothache, 49ersW in) = P(cavity toothache) = 0.8 en rodzaj wnioskowania, uwarunkowany wiedzą dziedzinową, jest kluczowy Sieci bayessowskie 7
8 Prawdopodobienstwo warunkowe Definicja prawdopobieństwa warunkowego: P(a b) = P(a b) P(b) if P(b) 0 Reguła produkcji daje sformułowanie alternatywne: P(a b) = P(a b)p(b) = p(b a)p(a) Ogólna wersja zachodzi dla całych rozkładów, np. P(W eather, Cavity) = P(W eather Cavity)P(Cavity) (jako zbiór 4 2 równań, nie mnożenie macierzy) Reguła łańcuchowa otrzymywana przez kolejne zastosowania reguły produkcji: P(X 1,..., X n ) = P(X 1,..., X n 1 ) P(X n X 1,..., X n 1 ) = P(X 1,..., X n 2 ) P(X n1 X 1,..., X n 2 ) P(X n X 1,..., X n 1 ) =... = Π n i = 1P(X i X 1,..., X i 1 ) Sieci bayessowskie 8
9 Wnioskowanie przez wyliczanie Zazwyczaj interesuje nas rozkład warunkowy zadanych zmiennych Y przy danych specyficznych wartościach e dla zmiennych-przesłanek E Zmienne ukryte H = X Y E Ogólny pomysł: ustalamy zmienne-przesłanki i sumujemy prawdopodobieństwa po wartościach zmiennych ukrytych: P(Y E =e) = αp(y,e=e) = ασ h P(Y,E=e,H=h) Wyrażenia w sumowania są wartościami łącznego rozkładu ponieważ Y, E i H razem wyczerpują cały zbiór zmiennych losowych Problemy: 1) Złożoność czasowa O(d n ) gdzie d jest maks. liczbą wartości zmiennej 2) Złożoność pamięciowa O(d n ), żeby pamiętać łączny rozkład 3) Jak zbudować słownik wartości prawdopodobieństw dla O(d n ) punktów próbkowych??? Sieci bayessowskie 9
10 Niezaleznosc A i B są niezależne wtw P(A B) = P(A) lub P(B A) = P(B) lub P(A, B) = P(A)P(B) oothache Cavity Weather Catch decomposes into P( oothache, Catch, Cavity, W eather) = P( oothache, Catch, Cavity)P(W eather) Cavity oothache Catch Weather 32 wartości prawdopodobieństw zredukowane do 12; dla n niezależnych rzutów monetą 2 n n Pełna niezależność zmiennych jest bardzo efektywna, ale bardzo rzadka Sieci bayessowskie 10
11 Niezaleznosc warunkowa P(oothache, Cavity, Catch) wymaga = 7 niezależnych wartości Jeśli mam osłabienie, prawdopodobieństwo, że złapię wtedy przeziębienie jest niezależne od tego, czy mam ból zęba: (1) P(catch toothache, cavity) = P(catch cavity) a sama niezależność pozostaje, jeśli nie mam osłabienia: (2) P(catch toothache, cavity) = P(catch cavity) Catch jest warunkowo niezależne od oothache przy danym Cavity: P(Catch oothache, Cavity) = P(Catch Cavity) Równoważne zdania: P( oothache Catch, Cavity) = P( oothache Cavity) P( oothache, Catch Cavity) = P( oothache Cavity)P(Catch Cavity) Sieci bayessowskie 11
12 Niezaleznosc warunkowa Używając pełnego łącznego rozkładu i reguły łańcuchowej: P( oothache, Catch, Cavity) = P( oothache Catch, Cavity)P(Catch, Cavity) = P( oothache Catch, Cavity)P(Catch Cavity)P(Cavity) = P( oothache Cavity)P(Catch Cavity)P(Cavity) zn = 5 niezależnych wartości (równania 1 i 2 usuwają 2) W większości przypadków użycie prawdopodobieństwa warunkowego redukuje rozmiar reprezentacji łącznego rozkładu z wykładniczego od n do linowego od n. Niezależność warunkowa jest najbardziej podstawową i efektywną formą wiedzy o niepewnym środowisku. Sieci bayessowskie 12
13 Regula Bayessa Reguła produkcytjna P(a b) = P(a b)p(b) = P(b a)p(a) reguła Bayessa P(a b) = P(b a)p(a) P(b) lub dla rozkładów P(Y X) = P(X Y )P(Y ) P(X) = αp(x Y )P(Y ) Użyteczne przy szacowaniu prawdopodobieństwa diagnostycznego na podstawie prawdopodobieństwa przyczynowego: P(Cause Effect) = P(Effect Cause)P(Cause) P(Effect) Np. M dolegliwość meningitis, S sztywnienie szyji: P(m s) = P(s m)p(m) P(s) = = Sieci bayessowskie 13
14 Regula Bayessa i niezaleznosc warunkowa P(Cavity toothache catch) = α P(toothache catch Cavity)P(Cavity) = α P(toothache Cavity)P(catch Cavity)P(Cavity) Model wnioskowania naiwny Bayessowski (zakłada niezależność obserwacji): P(Cause, Effect 1,..., Effect n ) = P(Cause)Π i P(Effect i Cause) Cavity Cause oothache Catch Effect 1 Effect n Całkowita liczba parametrów liniowa od n Sieci bayessowskie 14
15 Sieci bayessowskie Prosta, grafowa notacja do reprezentacji stwierdzeń o niezależności warunkowej i do zwartej specyfikacji pełnych rozkładów wielu zmiennych losowych Składnia: zbiór węzłów, jeden dla każdej zmiennej losowej skierowany graf acykliczny (strzałka bezpośrednio wpływa na ) dla każdego węzła rozkład warunkowy na podstawie rodziców: P(X i Parents(X i )) W najprostszym przypadku rozkład warunkowy reprezentowany jest jako tablica prawdopodobieństwa warunkowego (PW) dająca rozkład X i dla każdej kombinacji wartości rodziców Sieci bayessowskie 15
16 Sieci bayessowskie: przyklad opologia sieci koduje stwierdzenie o warunkowej niezależności: Weather Cavity oothache Catch Weather jest niezależna od innych zmiennnych oothache i Catch są warunkowo niezależne przy danym Cavity Sieci bayessowskie 16
17 Sieci bayessowskie: przyklad Jestem w pracy, sąsiad John dzwoni do mnie, mówiąc mi, że mój alarm domowy się włączył, ale sąsiadka Mary nie dzwoni. Czasami alarm włącza się przy drobnych trzęsieniach ziemi. Czy to jest włamanie? Zmienne: Burglar, Earthquake, Alarm, JohnCalls, MaryCalls opologia sieci odzwierciedla wiedzę przyczynowo-skutkową : Włamywacz może uruchomić alarm rzęsienie ziemi może uruchomić alarm Uruchomiony alarm może spowodować, że Mary zadzwoni Uruchomiony alarm może spowodować, że John zadzwoni Sieci bayessowskie 17
18 Sieci bayessowskie: przyklad Burglary P(B).001 Earthquake P(E).002 B E P(A B,E) Alarm JohnCalls A P(J A) MaryCalls A P(M A) Sieci bayessowskie 18
19 Zwartosc reprezentacji sieci z k boolowskimi zmiennymi-rodzicami B E PW dla boolowskiej zmiennej X i ma 2 k wierszy będących kombinacjami wartości zmiennych-rodziców A Każdy wiersz PW wymaga jednej wartości prawd. p dla X i = true (prawdopodobieństwo dla X i =false jest 1 p) J M Jeśli każda zmienna ma co najwyżej k rodziców, to pełna sieć wymaga O(n 2 k ) wartości prawdopodobieństw zn. rośnie liniowo z n, vs. O(2 n ) dla pełnego rozkładu łącznego Dla sieci z włamaniem, = 10 wartości prawdopodobieństw (vs = 31) Sieci bayessowskie 19
20 Globalna semantyka Globalna semantyka definiuje pełny rozkład łączny jako produkt lokalnych rozkładów warunkowych: P(X 1,..., X n ) = Π n i = 1P(X i Parents(X i )) np. P(j m a b e) = B J A E M Sieci bayessowskie 20
21 Globalna semantyka Globalna semantyka definiuje pełny rozkład łączny jako produkt lokalnych rozkładów warunkowych: P(X 1,..., X n ) = Π n i = 1P(X i Parents(X i )) np. P(j m a b e) = P(j a)p(m a)p(a b, e)p( b)p( e) B J A E M Sieci bayessowskie 21
22 Lokala semantyka Lokalna semantyka: każdy węzeł jest warunkowo niezależny przy danych rodzicach od pozostałych węzłów nie będących jego potomkami U 1... U m Z 1j X Z nj Y 1... Y n wierdzenie: Lokalna semantyka globalna semantyka Sieci bayessowskie 22
23 Konstruowanie sieci bayessowskiej Wymaga metody takiej, że ciąg lokalnie testowalnych zależności warunkowych nadaje znaczenie globalne 1. Wybierz uporządkowanie zmiennych los. X 1,..., X n 2. Dla każdego i = 1 do n dodaj X i do sieci wybierz rodziców X 1,..., X i 1 takich, że P(X i Parents(X i )) = P(X i X 1,..., X i 1 ) Wybór rodziców gwarantuje znaczenie globalne: P(X 1,..., X n ) = Π n i = 1P(X i X 1,..., X i 1 ) (reguła łańcuchowa) = Π n i = 1P(X i Parents(X i )) (przez konstrukcję) Sieci bayessowskie 23
24 Konstruowanie sieci bayessowskiej: przyklad Załóżmy, że wybieramy M, J, A, B, E MaryCalls JohnCalls P(J M) = P(J)? Sieci bayessowskie 24
25 Konstruowanie sieci bayessowskiej: przyklad Załóżmy, że wybieramy M, J, A, B, E MaryCalls JohnCalls Alarm P(J M) = P(J)? Nie P(A J, M) = P(A J)? P(A J, M) = P(A)? Sieci bayessowskie 25
26 Konstruowanie sieci bayessowskiej: przyklad Załóżmy, że wybieramy M, J, A, B, E MaryCalls JohnCalls Alarm Burglary P(J M) = P(J)? Nie P(A J, M) = P(A J)? P(A J, M) = P(A)? P(B A, J,M) = P(B A)? P(B A, J,M) = P(B)? Nie Sieci bayessowskie 26
27 Konstruowanie sieci bayessowskiej: przyklad Załóżmy, że wybieramy M, J, A, B, E MaryCalls JohnCalls Alarm Burglary Earthquake P(J M) = P(J)? Nie P(A J, M) = P(A J)? P(A J, M) = P(A)? P(B A, J,M) = P(B A)? ak P(B A, J,M) = P(B)? Nie P(E B,A, J,M) = P(E A)? P(E B,A, J,M) = P(E A, B)? Nie Sieci bayessowskie 27
28 Konstruowanie sieci bayessowskiej: przyklad Załóżmy, że wybieramy M, J, A, B, E MaryCalls JohnCalls Alarm Burglary Earthquake P(J M) = P(J)? Nie P(A J, M) = P(A J)? P(A J, M) = P(A)? P(B A, J,M) = P(B A)? ak P(B A, J,M) = P(B)? Nie P(E B,A, J,M) = P(E A)? Nie P(E B,A, J,M) = P(E A, B)? ak Nie Sieci bayessowskie 28
29 Konstruowanie sieci bayessowskiej: przyklad MaryCalls JohnCalls Alarm Burglary Earthquake Rozpoznawanie warunkowych niezależności i oszacowanie prawdopodobieństw warunkowych jest trudne dla ludzi w nie przyczynowo-skutkowych kierunkach Sieć jest mniej zwarta: = 13 wartości prawdopodobieństw jest potrzebne Sieci bayessowskie 29
30 Siec bayessowska: diagnoza samochodu Początkowa przesłanka: samochód nie zapala Zmienne testowalne (zielone), zmienne zepsute, napraw to (pomarańczowe), zmienne ukryte (szare) rozrzedzają strukturę, redukują parametry battery age alternator broken fanbelt broken battery dead no charging battery meter battery flat no oil no gas fuel line blocked starter broken lights oil light gas gauge car won t start dipstick Sieci bayessowskie 30
31 Siec bayessowska: ubezpieczenie samochodu Age GoodStudent RiskAversion Seniorrain SocioEcon Mileage VehicleYear ExtraCar DrivingSkill MakeModel DrivingHist Antilock DrivQuality Airbag CarValue HomeBase Antiheft Ruggedness Accident OwnDamage heft Cushioning OtherCost OwnCost MedicalCost LiabilityCost PropertyCost Sieci bayessowskie 31
32 Wnioskowanie w sieci bayesowskiej Wnioskowanie dokładne Przez wyliczanie wartości Przez eliminację zmiennych Wnioskowanie aproksymacyjne Przez symulację stochastyczną metodą Monte Carlo z łancucha Markowa Sieci bayessowskie 32
33 Wnioskowanie przez wyliczanie wartosci Sumowanie iloczynów z prawdopodobieństw brzegowych bez faktycznego konstruowania ich jawnej reprezentacji, przy użyciu prawdopodobieństw warunkowych z sieci bayessowskiej Proste zapytanie w sieci z alarmem domowym: P(B j, m) = P(B, j, m)/p(j, m) = αp(b, j, m) = ασ e Σ a P(B,e, a, j, m) B J A E M Przechodząc po zmiennych w kolejności zgodnej z siecią (np. B,E, A, J, M) wyciągamy sumowanie po kolejnych zmiennych na zewnąrz wyrażenia i używamy wartości prawdopodobieństw z tablic PW: P(B j, m) = ασ e Σ a P(B)P(e)P(a B,e)P(j a)p(m a) = αp(b)σ e P(e)Σ a P(a B,e)P(j a)p(m a) Sieci bayessowskie 33
34 Wyliczanie wartosci: algorytm function Enumeration-Ask(X,e,bn) returns a distribution over X inputs: X, the query variable e, observed values for variables E bn, a Bayesian network with variables {X} E Y Q(X ) a distribution over X, initially empty for each value x i of X do extend e with value x i for X Q(x i ) Enumerate-All(Vars[bn],e) return Normalize(Q(X)) function Enumerate-All(vars,e) returns a real number if Empty?(vars) then return 1.0 Y irst(vars) if Y has value y in e then return P(y P arent(y )) Enumerate-All(Rest(vars), e) else return Σ y P(y Parent(Y )) Enumerate-All(Rest(vars),e y ) where e y is e extended with Y = y Sieci bayessowskie 34
35 Wyliczanie wartosci: dzialanie P(b).001 P(e).002 P( e).998 P(a b,e) P( a b,e) P(a b, e) P( a b, e) P(j a).90 P(j a).05 P(j a).90 P(j a).05 P(m a) P(m a) P(m a) P(m a) Rekurencyjne wyliczanie zmiennych w głąb sieci: O(n) pamięci, O(d n ) czasu Sieci bayessowskie 35
36 Wyliczanie wartosci: dzialanie P(b).001 P(e).002 P( e).998 P(a b,e) P( a b,e) P(a b, e) P( a b, e) P(j a).90 P(j a).05 P(j a).90 P(j a).05 P(m a) P(m a) P(m a) P(m a) Wyliczanie jest nieefektywne: powtarza obliczenia np. liczy P(j a)p(m a) dla każdej wartości e Sieci bayessowskie 36
37 Wnioskowanie przez eliminacje zmiennych Eliminacja zmiennych: wykonuje sumowanie z prawej do lewej, pamięta wyniki pośrednie (czynniki) w celu uniknięcia powtórzeń P(B j, m) = αp(b) } {{ } B f M (A) = Σ e P(e) } {{ } E Σ a P(a B,e) } {{ } A P(j a) } {{ } J = αp(b)σ e P(e)Σ a P(a B, e)p(j a)f M (a) = αp(b)σ e P(e)Σ a P(a B, e)f JM (a) = αp(b)σ e P(e)f ĀJM (b, e) = αp(b)f ĒĀJM (b) = αf B (b) f ĒĀJM (b) P(m a) P(m a) P(m a) } {{ } M, f JM (A) = f J (A) f M (A) = f A (A, B,E) jest macierzą dla wszystkich wartości A, B, E f ĀJM (B, E) = f A (a, B, E) f JM (a) + f A ( a, B, E) f JM ( a) f ĒĀJM (B, E) = f E (e) f ĀJM (B, e) + f E ( e) f ĀJM (B, e) P(j a)p(m a) P(j a)p(m a) Sieci bayessowskie 37
38 Eliminacja zmiennych: algorytm function Elimination-Ask(X,e,bn) returns a distribution over X inputs: X, the query variable e, evidence specified as an event bn, a belief network specifying joint distribution P(X 1,..., X n ) factors [ ]; vars Reverse(Vars[bn]) for each var in vars do factors [Make-actor(var, e) factors] if var is a hidden variable then factors Sum-Out(var, factors) return Normalize(Pointwise-Product(factors)) Sieci bayessowskie 38
39 Eliminacja zmiennych: zmienne nieistotne Rozważmy zapytanie P(JohnCalls Burglary = true) P(J b) = αp(b)σ e P(e)Σ a P(a b,e)p(j a)σ m P(m a) Suma po m jest równa 1; M jest nieistotne dla zapytania Można pominąć sumowanie po zmiennych nieistotnych B J A E M w 1: Y jest nieistotne jeśli Y Ancestors({X} E) utaj X = JohnCalls, E = {Burglary}, i Ancestors({X} E) = {Alarm, Earthquake} więc M jest nieistotne Sieci bayessowskie 39
40 Eliminacja zmiennych: zmienne nieistotne Def: moralny graf sieci bayessowskiej (nieskierowany): zawiera krawędzie z oryginalnej sieci bez kierunku oraz krawędzie pomiędzy każdą parą rodziców mającą wspólne dziecko Def: A jest m-odseparowane od B przez C wtw gdy jest odseparowane przez C w grafie moralnym w 2: Y jest nieistotne jeśli jest m-odseparowane od X przez E B E Dla P(JohnCalls Alarm = true), obie Burglary i Earthquake są nieistotne J A M Sieci bayessowskie 40
41 L L L L Zlozonosc dokladnego wnioskowania Sieci pojedynczych połączeń (polidrzewa): każde dwa wierzchołki połączone są co najwyżej jedną ścieżką złożoność czasowa i pamięciowa algorytmu eliminacji zmiennych O(d k n) Sieci wielokrotnych połączeń: można zredukować 3SA do dokładnego wnioskowania NP-trudne równoważne zliczaniu modeli 3SA #P-zupełne A B C D 1. A v B v C 2. C v D v A B v C v D AND Sieci bayessowskie 41
42 Wnioskowanie przez symulacje stochastyczna Podstawowy pomysł: 1) Losuj N próbek z rozkładem próbkowym S 2) Oblicz aproksymacyjne prawdopodobieństwo wynikowe ˆP 3) Udowodnij zbieżność do prawdopodobieństwa faktycznego P Wnioskowanie stochastyczne bezwarunkowe (bez przesłanek): Próbkowanie bezpośrednie 0.5 Coin Wnioskowanie stochastyczne warunkowe (z przesłankami): Próbkowanie z odrzucaniem: odrzuca próbki niezgodne z przesłankami Ważenie prawdopodobieństwa próbek: używa przesłanek do ważenia prawdopodobieństwa próbek Monte Carlo z łancucha Markowa (MCMC): próbkuje z procesu stochastycznego, w którym proawdopodobieństo stacjonarne jest rzeczywistym prawdopodobieństwem warunkowym Sieci bayessowskie 42
43 Probkowanie bezposrednie function Direct-Sampling(X, bn, N) returns an estimate of P(X) local variables: N, a vector of counts over X, initially zero for j = 1 to N do x Prior-Sample(bn) N[x] N[x]+1 where x is the value of X in x return Normalize(N[X]) function Prior-Sample(bn) returns an event sampled from bn inputs: bn, a belief network specifying joint distribution P(X 1,..., X n ) x an event with n elements for i = 1 to n do x i a random sample from P(X i Parents(X i )) return x Sieci bayessowskie 43
44 Probkowanie bezposrednie: przyklad P(C).50 Cloudy C P(S C) Sprinkler Rain C P(R C) S R Wet Grass P(W S,R) Sieci bayessowskie 44
45 Probkowanie bezposrednie: przyklad P(C).50 Cloudy C P(S C) Sprinkler Rain C P(R C) S R Wet Grass P(W S,R) Sieci bayessowskie 45
46 Probkowanie bezposrednie: przyklad P(C).50 Cloudy C P(S C) Sprinkler Rain C P(R C) S R Wet Grass P(W S,R) Sieci bayessowskie 46
47 Probkowanie bezposrednie: przyklad P(C).50 Cloudy C P(S C) Sprinkler Rain C P(R C) S R Wet Grass P(W S,R) Sieci bayessowskie 47
48 Probkowanie bezposrednie: przyklad P(C).50 Cloudy C P(S C) Sprinkler Rain C P(R C) S R Wet Grass P(W S,R) Sieci bayessowskie 48
49 Probkowanie bezposrednie: przyklad P(C).50 Cloudy C P(S C) Sprinkler Rain C P(R C) S R Wet Grass P(W S,R) Sieci bayessowskie 49
50 Probkowanie bezposrednie: przyklad P(C).50 Cloudy C P(S C) Sprinkler Rain C P(R C) S R Wet Grass P(W S,R) Sieci bayessowskie 50
51 Probkowanie bezposrednie: wlasnosci Prawdopodobieństwo, że PriorSample generuje dane zdarzenie S PS (x 1... x n ) = Π n i = 1P(x i Parents(X i )) = P(x 1... x n ) to odpowiada prawdopodobieństwu faktycznemu tego zdarzenia Np. S PS (t, f, t, t) = = = P(t, f, t, t) N PS (x 1... x n ) liczbą próbek wygenerowanych dla zdarzenia x 1,..., x n Wtedy lim N ˆP(x 1,..., x n ) = lim N N PS(x 1,..., x n )/N = S PS (x 1,..., x n ) = P(x 1... x n ) Powyższą własność algorytmu DirectSampling nazywamy spójnością Notacja: ˆP(x1,..., x n ) P(x 1... x n ) Sieci bayessowskie 51
52 Probkowanie z odrzucaniem ˆP(X e) szacowane z próbek zgodnych z przesłankami e function Rejection-Sampling(X, e, bn, N) returns an estimate of P(X e) local variables: N, a vector of counts over X, initially zero for j = 1 to N do x Prior-Sample(bn) if x is consistent with e then N[x] N[x]+1 where x is the value of X in x return Normalize(N[X]) Np. oszacowanie P(Rain Sprinkler = true) przy użyciu 100 próbek 27 próbek ma Sprinkler = true Z tego, 8 ma Rain =true i 19 ma Rain =false. ˆP(Rain Sprinkler = true) = Normalize( 8, 19 ) = 0.296, Sieci bayessowskie 52
53 Probkowanie z odrzucaniem: wlasnosci ˆP(X e) = αn PS (X,e) (wynik algorytmu RejectionSampling) = N PS (X,e)/N PS (e) (normalizowane przez N PS (e)) P(X, e)/p(e) (własność PriorSample) = P(X e) (prawdopodobieństwo faktyczne) Zatem próbkowanie z odrzucaniem ma własność spójności tzn. oszacowanie zbiega do faktycznego prawdopodobieństwa warunkowego Problem: bardzo kosztowne jeśli P(e) jest małe P(e) rozpada się wykładniczo wraz z liczbą zmiennych! Sieci bayessowskie 53
54 Wazenie prawdopodobienstwa probek Pomysł: ustala zmienne z przesłanek, próbkuje tylko zmienna spoza przesłanek, i waży prawdopodobieństwo każdej próbki stosownie do przesłanek function Likelihood-Weighting(X, e, bn, N) returns an estimate of P(X e) local variables: W, a vector of weighted counts over X, initially zero for j = 1 to N do x, w Weighted-Sample(bn) W[x] W[x] + w where x is the value of X in x return Normalize(W[X ]) function Weighted-Sample(bn,e) returns an event and a weight x an event with n elements; w 1 for i = 1 to n do if X i has a value x i in e then w w P(X i = x i Parents(X i )) else x i a random sample from P(X i Parents(X i )) return x, w Sieci bayessowskie 54
55 Wazenie prawdopodobienstwa probek: przyklad P(C).50 Cloudy C P(S C) Sprinkler Rain C P(R C) S R Wet Grass P(W S,R) w = 1.0 Sieci bayessowskie 55
56 Wazenie prawdopodobienstwa probek: przyklad P(C).50 Cloudy C P(S C) Sprinkler Rain C P(R C) S R Wet Grass P(W S,R) w = 1.0 Sieci bayessowskie 56
57 Wazenie prawdopodobienstwa probek: przyklad P(C).50 Cloudy C P(S C) Sprinkler Rain C P(R C) S R Wet Grass P(W S,R) w = 1.0 Sieci bayessowskie 57
58 Wazenie prawdopodobienstwa probek: przyklad P(C).50 Cloudy C P(S C) Sprinkler Rain C P(R C) S R Wet Grass P(W S,R) w = Sieci bayessowskie 58
59 Wazenie prawdopodobienstwa probek: przyklad P(C).50 Cloudy C P(S C) Sprinkler Rain C P(R C) S R Wet Grass P(W S,R) w = Sieci bayessowskie 59
60 Wazenie prawdopodobienstwa probek: przyklad P(C).50 Cloudy C P(S C) Sprinkler Rain C P(R C) S R Wet Grass P(W S,R) w = Sieci bayessowskie 60
61 Wazenie prawdopodobienstwa probek: przyklad P(C).50 Cloudy C P(S C) Sprinkler Rain C P(R C) S R Wet Grass P(W S,R) w = = Sieci bayessowskie 61
62 Wazenie prawdopodobienstwa probek: wlasnosci Prawdopodobieństwo próbki ważonej WeightedSample wynosi S WS (z,e) = Π l i = 1P(z i Parents(Z i )) Uwaga: S WS uwzględnia tylko przesłanki z przodków z i daje prawdopodobieństwo pośrednie pomiędzy prawdopodobieństwem a priori i a posteriori Sprinkler Cloudy Rain Waga dla danej próbki z,e wynosi w(z,e) = Π m i = 1P(e i Parents(E i )) Wet Grass Ważone prawdopodobieństwo próbkowe: S WS (z,e)w(z,e) = Π l i = 1P(z i Parents(Z i )) Π m i = 1P(e i Parents(E i )) = P(z,e) (ze standardowej, globalnej semantyki sieci) Stąd ważenie prawdopodobieństwa też ma własność spójności ale efektywność nadal maleje przy dużej liczbie przesłanek ponieważ bardzo mało próbek ma dużą wagę Sieci bayessowskie 62
63 Monte Carlo dla lancucha Markowa Stan sieci: bieżące przypisanie wszystkich zmiennych Łańcuch Markowa: ciąg stanów sieci, następny stan jest generowany poprzez próbkowanie jednej zmiennej nie będącej przesłanką na podstawie jej koca Markowa function MCMC-Ask(X, e, bn, N) returns an estimate of P(X e) local variables: N[X ], a vector of counts over X, initially zero Z, the nonevidence variables in bn x, the current state of the network, initially copied from e initialize x with random values for the variables in Y for j = 1 to N do N[x] N[x] + 1 where x is the value of X in x for each Z i in Z do sample the value of Z i in x from P(Z i MB(Z i )) given the values of MB(Z i ) in x return Normalize(N[X ]) Sieci bayessowskie 63
64 Koc Markowa Każdy węzeł jest warunkowo niezależny od wszystkich pozostałych przy danym jego kocu Markowa: rodzice + dzieci + inni rodzice dzieci U 1... U m Z 1j X Z nj Y 1... Y n Sieci bayessowskie 64
65 Koc Markowa: przyklad Koc Markowa dla Cloudy: Sprinkler i Rain Koc Markowa dla Rain: Cloudy, Sprinkler i WetGrass Sprinkler Cloudy Wet Grass Prawdopodobieństwo warunkowe przy danym kocu Markowa: P(x i MB(X i )) = P(x i Parents(X i ))Π Zj Children(X i )P(z j Parents(Z j )) Rain Sieci bayessowskie 65
66 Lancuch Markowa Przy przesłankach Sprinkler = true, W etgrass = true łancuch Markowa zawiera 4 stany: Cloudy Cloudy Sprinkler Rain Sprinkler Rain Wet Grass Wet Grass Cloudy Cloudy Sprinkler Rain Sprinkler Rain Wet Grass Wet Grass Sieci bayessowskie 66
67 Monte Carlo dla lancucha Markowa: przyklad Szacowanie P(Rain Sprinkler = true, W etgrass = true) Algorytm powtarza próbkowanie zmiennych Cloudy i Rain na podstawie ich koca Markowa. Zlicza, ile razy Rain było true i false w kolejnych stanach sieci. Np. odwiedza 100 stanów 31 ma Rain = true, 69 ma Rain =false ˆP(Rain Sprinkler = true, W etgrass = true) = Normalize( 31, 69 ) = 0.31, 0.69 Sieci bayessowskie 67
68 Monte Carlo dla lancucha Markowa: wlasnosci wierdzenie: łańcuch zbiega do rozkładu stacjonarnego ( spójność): proporcja czasu spędzonego w danym stanie w czasie długiego działania sieci jest dokładnie propocjonalna do faktycznego prawdopodobieństwa warunkowego Zalety Metoda nie jest wrażliwa na topologię sieci Można stosować do zmiennych dyskretnych i ciągłych Wady Zbieżność może być wolna rudno określić moment, w którym algorytm daje już bliskie rozwiązanie Może być czasowo rozrzutny, jeśli występują duże koce Markowa: P(X i MB(X i )) nie zmienia się dużo (Prawo Wielkich Liczb) a jest liczone za każdym razem Sieci bayessowskie 68
Sztuczna Inteligencja i Systemy Doradcze
Sztuczna Inteligencja i Systemy Doradcze Sieci bayessowskie 2 Sieci bayessowskie 2 1 Rodzaje zadan dla sieci bayessowskiej Zapytania proste: oblicz brzegową wartość warunkową P(X i E =e) np. P(NoGas Gauge
Bardziej szczegółowoSztuczna Inteligencja i Systemy Doradcze
Sztuczna Inteligencja i Systemy Doradcze Sieci bayessowskie 1 Sieci bayessowskie 1 1 Niepewnosc Niech akcja A t = wyjedź na lotnisko t minut przed odlotem Czy A t pozwoli mi zdążyć na czas? Problemy: 1)
Bardziej szczegółowoSID Wykład XI Sieci Bayesowskie
SID Wykład XI Sieci Bayesowskie Wydział Matematyki, Informatyki i Mechaniki UW slezak@mimuw.edu.pl Niepewność Niech akcja A t = wyjedź na lotnisko t minut przed odlotem. Czy A t pozwoli mi zdażyć na czas?
Bardziej szczegółowoAlgorytmy stochastyczne, wykład 08 Sieci bayesowskie
Algorytmy stochastyczne, wykład 08 Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2014-04-10 Prawdopodobieństwo Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne
Bardziej szczegółowoNa podstawie: AIMA, ch13. Wojciech Jaśkowski. 15 marca 2013
Na podstawie: AIMA, ch13 Instytut Informatyki, Politechnika Poznańska 15 marca 2013 Źródła niepewności Świat częściowo obserwowalny Świat niedeterministyczny Także: Lenistwo i ignorancja (niewiedza) Cel:
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 11 Łańcuchy Markova
Wstęp do sieci neuronowych, wykład 11 Łańcuchy Markova M. Czoków, J. Piersa 2010-12-21 1 Definicja Własności Losowanie z rozkładu dyskretnego 2 3 Łańcuch Markova Definicja Własności Losowanie z rozkładu
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa
Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa M. Czoków, J. Piersa 2012-01-10 1 Łańcucha Markowa 2 Istnienie Szukanie stanu stacjonarnego 3 1 Łańcucha Markowa 2 Istnienie Szukanie stanu stacjonarnego
Bardziej szczegółowoSpacery losowe generowanie realizacji procesu losowego
Spacery losowe generowanie realizacji procesu losowego Michał Krzemiński Streszczenie Omówimy metodę generowania trajektorii spacerów losowych (błądzenia losowego), tj. szczególnych procesów Markowa z
Bardziej szczegółowoP(F=1) F P(C1 = 1 F = 1) P(C1 = 1 F = 0) P(C2 = 1 F = 1) P(C2 = 1 F = 0) P(R = 1 C2 = 1) P(R = 1 C2 = 0)
Sieci bayesowskie P(F=) F P(C = F = ) P(C = F = 0) C C P(C = F = ) P(C = F = 0) M P(M = C =, C = ) P(M = C =, C = 0) P(M = C = 0, C = ) P(M = C = 0, C = 0) R P(R = C = ) P(R = C = 0) F pali papierosy C
Bardziej szczegółowoModelowanie Niepewności
Na podstawie: AIMA, ch13 Wojciech Jaśkowski Instytut Informatyki, Politechnika Poznańska 21 marca 2014 Na podstawie: AIMA, ch13 Wojciech Jaśkowski Instytut Informatyki, Politechnika Poznańska 21 marca
Bardziej szczegółowoMetody probabilistyczne
Metody probabilistyczne. Twierdzenia graniczne Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 20.2.208 / 26 Motywacja Rzucamy wielokrotnie uczciwą monetą i zliczamy
Bardziej szczegółowoAnaliza algorytmów zadania podstawowe
Analiza algorytmów zadania podstawowe Zadanie 1 Zliczanie Zliczaj(n) 1 r 0 2 for i 1 to n 1 3 do for j i + 1 to n 4 do for k 1 to j 5 do r r + 1 6 return r 0 Jaka wartość zostanie zwrócona przez powyższą
Bardziej szczegółowoSystemy ekspertowe - wiedza niepewna
Instytut Informatyki Uniwersytetu Śląskiego lab 8 Rozpatrzmy następujący przykład: Miażdżyca powoduje często zwężenie tętnic wieńcowych. Prowadzi to zazwyczaj do zmniejszenia przepływu krwi w tych naczyniach,
Bardziej szczegółowoProcesy Markowa zawdzięczają swoją nazwę ich twórcy Andriejowi Markowowi, który po raz pierwszy opisał problem w 1906 roku.
Procesy Markowa zawdzięczają swoją nazwę ich twórcy Andriejowi Markowowi, który po raz pierwszy opisał problem w 1906 roku. Uogólnienie na przeliczalnie nieskończone przestrzenie stanów zostało opracowane
Bardziej szczegółowozdarzenie losowe - zdarzenie którego przebiegu czy wyniku nie da się przewidzieć na pewno.
Rachunek prawdopodobieństwa Podstawowym celem rachunku prawdopodobieństwa jest określanie szans zajścia pewnych zdarzeń. Pojęcie podstawowe rachunku prawdopodobieństwa to: zdarzenie losowe - zdarzenie
Bardziej szczegółowoProcesy stochastyczne WYKŁAD 2-3. Łańcuchy Markowa. Łańcuchy Markowa to procesy "bez pamięci" w których czas i stany są zbiorami dyskretnymi.
Procesy stochastyczne WYKŁAD 2-3 Łańcuchy Markowa Łańcuchy Markowa to procesy "bez pamięci" w których czas i stany są zbiorami dyskretnymi. 2 Łańcuchem Markowa nazywamy proces będący ciągiem zmiennych
Bardziej szczegółowoWPROWADZENIE DO SZTUCZNEJ INTELIGENCJI
OLITECHNIKA WARSZAWSKA WYDZIAŁ MECHANICZNY ENERGETYKI I LOTNICTWA MEL WROWADZENIE DO SZTUCZNEJ INTELIGENCJI NS 586 Dr inŝ. Franciszek Dul 14. WNIOSKOWANIE STATYSTYCZNE W SIECI BAYESA Wnioskowanie statystyczne
Bardziej szczegółowoTeoretyczne podstawy informatyki
Teoretyczne podstawy informatyki Wykład 12a: Prawdopodobieństwo i algorytmy probabilistyczne http://hibiscus.if.uj.edu.pl/~erichter/dydaktyka2010/tpi-2010 Prof. dr hab. Elżbieta Richter-Wąs 1 Teoria prawdopodobieństwa
Bardziej szczegółowoWstęp do Metod Systemowych i Decyzyjnych Opracowanie: Jakub Tomczak
Wstęp do Metod Systemowych i Decyzyjnych Opracowanie: Jakub Tomczak 1 Wprowadzenie. Zmienne losowe Podczas kursu interesować nas będzie wnioskowanie o rozpatrywanym zjawisku. Poprzez wnioskowanie rozumiemy
Bardziej szczegółowoPrawdopodobieństwo i statystyka
Wykład XIV: Metody Monte Carlo 19 stycznia 2016 Przybliżone obliczanie całki oznaczonej Rozważmy całkowalną funkcję f : [0, 1] R. Chcemy znaleźć przybliżoną wartość liczbową całki 1 f (x) dx. 0 Jeden ze
Bardziej szczegółowoRachunek prawdopodobieństwa
Rachunek prawdopodobieństwa Sebastian Rymarczyk srymarczyk@afm.edu.pl Tematyka zajęć 1. Elementy kombinatoryki. 2. Definicje prawdopodobieństwa. 3. Własności prawdopodobieństwa. 4. Zmienne losowe, parametry
Bardziej szczegółowoSztuczna Inteligencja i Systemy Doradcze
Sztuczna Inteligencja i Systemy Doradcze Przeszukiwanie przestrzeni stanów algorytmy ślepe Przeszukiwanie przestrzeni stanów algorytmy ślepe 1 Strategie slepe Strategie ślepe korzystają z informacji dostępnej
Bardziej szczegółowoMaksymalne powtórzenia w tekstach i zerowa intensywność entropii
Maksymalne powtórzenia w tekstach i zerowa intensywność entropii Łukasz Dębowski ldebowsk@ipipan.waw.pl i Instytut Podstaw Informatyki PAN Warszawa 1 Wprowadzenie 2 Ograniczenia górne i dolne 3 Przykłady
Bardziej szczegółowoWykład 4. Plan: 1. Aproksymacja rozkładu dwumianowego rozkładem normalnym. 2. Rozkłady próbkowe. 3. Centralne twierdzenie graniczne
Wykład 4 Plan: 1. Aproksymacja rozkładu dwumianowego rozkładem normalnym 2. Rozkłady próbkowe 3. Centralne twierdzenie graniczne Przybliżenie rozkładu dwumianowego rozkładem normalnym Niech Y ma rozkład
Bardziej szczegółowoIndukowane Reguły Decyzyjne I. Wykład 3
Indukowane Reguły Decyzyjne I Wykład 3 IRD Wykład 3 Plan Powtórka Grafy Drzewa klasyfikacyjne Testy wstęp Klasyfikacja obiektów z wykorzystaniem drzewa Reguły decyzyjne generowane przez drzewo 2 Powtórzenie
Bardziej szczegółowoModele DSGE. Jerzy Mycielski. Maj Jerzy Mycielski () Modele DSGE Maj / 11
Modele DSGE Jerzy Mycielski Maj 2008 Jerzy Mycielski () Modele DSGE Maj 2008 1 / 11 Modele DSGE DSGE - Dynamiczne, stochastyczne modele równowagi ogólnej (Dynamic Stochastic General Equilibrium Model)
Bardziej szczegółowoPodstawy Sztucznej Inteligencji (PSZT)
Podstawy Sztucznej Inteligencji (PSZT) Paweł Wawrzyński Uczenie maszynowe Sztuczne sieci neuronowe Plan na dziś Uczenie maszynowe Problem aproksymacji funkcji Sieci neuronowe PSZT, zima 2013, wykład 12
Bardziej szczegółowoMatematyka dyskretna - wykład - część Podstawowe algorytmy kombinatoryczne
A. Permutacja losowa Matematyka dyskretna - wykład - część 2 9. Podstawowe algorytmy kombinatoryczne Załóżmy, że mamy tablice p złożoną z n liczb (ponumerowanych od 0 do n 1). Aby wygenerować losową permutację
Bardziej szczegółowoWnioskowanie statystyczne i oparte na współczynnikach wiarygodności. Wprowadzenie teoretyczne Wnioskowanie probabilistyczne Przykłady
Zarządzanie wiedzą Wnioskowanie statystyczne i oparte na współczynnikach wiarygodności 1 Plan wykładu Niepewność Wnioskowanie statystyczne: Wprowadzenie teoretyczne Wnioskowanie probabilistyczne Przykłady
Bardziej szczegółowoWykład 9: Markov Chain Monte Carlo
RAP 412 17.12.2008 Wykład 9: Markov Chain Monte Carlo Wykładowca: Andrzej Ruciński Pisarz: Ewelina Rychlińska i Wojciech Wawrzyniak Wstęp W tej części wykładu zajmiemy się zastosowaniami łańcuchów Markowa
Bardziej szczegółowoWykład 11: Martyngały: definicja, twierdzenia o zbieżności
RAP 412 14.01.2009 Wykład 11: Martyngały: definicja, twierdzenia o zbieżności Wykładowca: Andrzej Ruciński Pisarz:Mirosława Jańczak 1 Wstęp Do tej pory zajmowaliśmy się ciągami zmiennych losowych (X n
Bardziej szczegółowoAlgorytmy MCMC (Markowowskie Monte Carlo) dla skokowych procesów Markowa
Algorytmy MCMC (Markowowskie Monte Carlo) dla skokowych procesów Markowa Wojciech Niemiro 1 Uniwersytet Warszawski i UMK Toruń XXX lat IMSM, Warszawa, kwiecień 2017 1 Wspólne prace z Błażejem Miasojedowem,
Bardziej szczegółowoW2 Podstawy rachunku prawdopodobieństwa (przypomnienie)
W2 Podstawy rachunku prawdopodobieństwa (przypomnienie) Henryk Maciejewski Jacek Jarnicki Marek Woda www.zsk.iiar.pwr.edu.pl Rachunek prawdopodobieństwa - przypomnienie 1. Zdarzenia 2. Prawdopodobieństwo
Bardziej szczegółowoSortowanie topologiczne skierowanych grafów acyklicznych
Sortowanie topologiczne skierowanych grafów acyklicznych Metody boolowskie w informatyce Robert Sulkowski http://robert.brainusers.net 23 stycznia 2010 1 Definicja 1 (Cykl skierowany). Niech C = (V, A)
Bardziej szczegółowoZofia Kruczkiewicz, Algorytmu i struktury danych, Wykład 14, 1
Wykład Algorytmy grafowe metoda zachłanna. Właściwości algorytmu zachłannego:. W przeciwieństwie do metody programowania dynamicznego nie występuje etap dzielenia na mniejsze realizacje z wykorzystaniem
Bardziej szczegółowoIII. ZMIENNE LOSOWE JEDNOWYMIAROWE
III. ZMIENNE LOSOWE JEDNOWYMIAROWE.. Zmienna losowa i pojęcie rozkładu prawdopodobieństwa W dotychczas rozpatrywanych przykładach każdemu zdarzeniu była przyporządkowana odpowiednia wartość liczbowa. Ta
Bardziej szczegółowoJeśli czas działania algorytmu zależy nie tylko od rozmiaru danych wejściowych i przyjmuje różne wartości dla różnych danych o tym samym rozmiarze,
Oznaczenia: Jeśli czas działania algorytmu zależy nie tylko od rozmiaru danych wejściowych i przyjmuje różne wartości dla różnych danych o tym samym rozmiarze, to interesuje nas złożoność obliczeniowa
Bardziej szczegółowoStatystyka Astronomiczna
Statystyka Astronomiczna czyli zastosowania statystyki w astronomii historycznie astronomowie mieli wkład w rozwój dyscypliny Rachunek prawdopodobieństwa - gałąź matematyki Statystyka - metoda oceny właściwości
Bardziej szczegółowoHeurystyki. Strategie poszukiwań
Sztuczna inteligencja Heurystyki. Strategie poszukiwań Jacek Bartman Zakład Elektrotechniki i Informatyki Instytut Techniki Uniwersytet Rzeszowski DLACZEGO METODY PRZESZUKIWANIA? Sztuczna Inteligencja
Bardziej szczegółowoProcesy stochastyczne WYKŁAD 2-3. Łańcuchy Markowa. Łańcuchy Markowa to procesy "bez pamięci" w których czas i stany są zbiorami dyskretnymi.
Procesy stochastyczne WYKŁAD 2-3 Łańcuchy Markowa Łańcuchy Markowa to procesy "bez pamięci" w których czas i stany są zbiorami dyskretnymi. Przykład Symetryczne błądzenie przypadkowe na prostej. 1 2 Łańcuchem
Bardziej szczegółowoWnioskowanie statystyczne i oparte na współczynnikach wiarygodności
Systemy ekspertowe Wnioskowanie statystyczne i oparte na współczynnikach wiarygodności 1 Plan wykładu Niepewność Wnioskowanie statystyczne: Wprowadzenie teoretyczne Wnioskowanie probabilistyczne Przykłady
Bardziej szczegółowoRozdział 1. Wektory losowe. 1.1 Wektor losowy i jego rozkład
Rozdział 1 Wektory losowe 1.1 Wektor losowy i jego rozkład Definicja 1 Wektor X = (X 1,..., X n ), którego każda współrzędna jest zmienną losową, nazywamy n-wymiarowym wektorem losowym (krótko wektorem
Bardziej szczegółowoPodstawowe własności grafów. Wykład 3. Własności grafów
Wykład 3. Własności grafów 1 / 87 Suma grafów Niech będą dane grafy proste G 1 = (V 1, E 1) oraz G 2 = (V 2, E 2). 2 / 87 Suma grafów Niech będą dane grafy proste G 1 = (V 1, E 1) oraz G 2 = (V 2, E 2).
Bardziej szczegółowoFuzja sygnałów i filtry bayesowskie
Fuzja sygnałów i filtry bayesowskie Roboty Manipulacyjne i Mobilne dr inż. Janusz Jakubiak Katedra Cybernetyki i Robotyki Wydział Elektroniki, Politechnika Wrocławska Wrocław, 10.03.2015 Dlaczego potrzebna
Bardziej szczegółowoPrawa wielkich liczb, centralne twierdzenia graniczne
, centralne twierdzenia graniczne Katedra matematyki i ekonomii matematycznej 17 maja 2012, centralne twierdzenia graniczne Rodzaje zbieżności ciągów zmiennych losowych, centralne twierdzenia graniczne
Bardziej szczegółowoĆwiczenia: Ukryte procesy Markowa lista 1 kierunek: matematyka, specjalność: analiza danych i modelowanie, studia II
Ćwiczenia: Ukryte procesy Markowa lista kierunek: matematyka, specjalność: analiza danych i modelowanie, studia II dr Jarosław Kotowicz Zadanie. Dany jest łańcuch Markowa, który może przyjmować wartości,,...,
Bardziej szczegółowoEksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18
Eksploracja Danych wykład 4 Sebastian Zając WMP.SNŚ UKSW 10 maja 2017 Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja 2017 1 / 18 Klasyfikacja danych Klasyfikacja Najczęściej stosowana (najstarsza)
Bardziej szczegółowoWnioskowanie bayesowskie
Wnioskowanie bayesowskie W podejściu klasycznym wnioskowanie statystyczne oparte jest wyłącznie na podstawie pobranej próby losowej. Możemy np. estymować punktowo lub przedziałowo nieznane parametry rozkładów,
Bardziej szczegółowoElementy inteligencji obliczeniowej
Elementy inteligencji obliczeniowej Paweł Liskowski Institute of Computing Science, Poznań University of Technology 9 October 2018 1 / 19 Perceptron Perceptron (Rosenblatt, 1957) to najprostsza forma sztucznego
Bardziej szczegółowoMetody probabilistyczne
Metody probabilistyczne 5. Zmienne losowe: wprowadzenie Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 8..208 / 42 Motywacja Często bardziej niż same zdarzenia losowe
Bardziej szczegółowoi=7 X i. Zachodzi EX i = P(X i = 1) = 1 2, i {1, 2,..., 11} oraz EX ix j = P(X i = 1, X j = 1) = 1 7 VarS 2 2 = 14 3 ( 5 2 =
Kombinatoryka W tej serii zadań można znaleźć pojawiające się na egzaminach zadania dotyczące problemu wyznaczania prostych parametrów rozkładu w przypadku zgadnień kombinatorycznych. Zadania te wymagają
Bardziej szczegółowoSieci Bayesa mgr Tomasz Xięski, Instytut Informatyki, Uniwersytet Śląski Sosnowiec, 2011
Sieci Bayesa mgr Tomasz Xięski, Instytut Informatyki, Uniwersytet Śląski Sosnowiec, 2011 Sieć Bayesowska służy do przedstawiania zależności pomiędzy zdarzeniami bazując na rachunku prawdopodobieństwa.
Bardziej szczegółowoUkłady stochastyczne
Instytut Informatyki Uniwersytetu Śląskiego 21 stycznia 2009 Definicja Definicja Proces stochastyczny to funkcja losowa, czyli funkcja matematyczna, której wartości leżą w przestrzeni zdarzeń losowych.
Bardziej szczegółowoOptymalizacja ciągła
Optymalizacja ciągła 5. Metoda stochastycznego spadku wzdłuż gradientu Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 04.04.2019 1 / 20 Wprowadzenie Minimalizacja różniczkowalnej
Bardziej szczegółowoCentralne twierdzenie graniczne
Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 4 Ważne uzupełnienie Dwuwymiarowy rozkład normalny N (µ X, µ Y, σ X, σ Y, ρ): f XY (x, y) = 1 2πσ X σ Y 1 ρ 2 { [ (x ) 1
Bardziej szczegółowoPrawdopodobieństwo geometryczne
Prawdopodobieństwo geometryczne Krzysztof Jasiński Wydział Matematyki i Informatyki UMK, Toruń V Lieceum Ogólnokształące im. Jana Pawała II w Toruniu 13.03.2014 Krzysztof Jasiński (WMiI UMK) Prawdopodobieństwo
Bardziej szczegółowoReprezentacje grafów nieskierowanych Reprezentacje grafów skierowanych. Wykład 2. Reprezentacja komputerowa grafów
Wykład 2. Reprezentacja komputerowa grafów 1 / 69 Macierz incydencji Niech graf G będzie grafem nieskierowanym bez pętli o n wierzchołkach (x 1, x 2,..., x n) i m krawędziach (e 1, e 2,..., e m). 2 / 69
Bardziej szczegółowoPodstawowe modele probabilistyczne
Wrocław University of Technology Podstawowe modele probabilistyczne Maciej Zięba maciej.zieba@pwr.edu.pl Rozpoznawanie Obrazów, Lato 2018/2019 Pojęcie prawdopodobieństwa Prawdopodobieństwo reprezentuje
Bardziej szczegółowododatkowe operacje dla kopca binarnego: typu min oraz typu max:
ASD - ćwiczenia IX Kopce binarne własność porządku kopca gdzie dla każdej trójki wierzchołków kopca (X, Y, Z) porządek etykiet elem jest następujący X.elem Y.elem oraz Z.elem Y.elem w przypadku kopca typu
Bardziej szczegółowokomputery? Andrzej Skowron, Hung Son Nguyen Instytut Matematyki, Wydział MIM, UW
Czego moga się nauczyć komputery? Andrzej Skowron, Hung Son Nguyen son@mimuw.edu.pl; skowron@mimuw.edu.pl Instytut Matematyki, Wydział MIM, UW colt.tex Czego mogą się nauczyć komputery? Andrzej Skowron,
Bardziej szczegółowoALGORYTMICZNA I STATYSTYCZNA ANALIZA DANYCH
1 ALGORYTMICZNA I STATYSTYCZNA ANALIZA DANYCH WFAiS UJ, Informatyka Stosowana II stopień studiów 2 Dane w postaci grafów Przykład: social network 3 Przykład: media network 4 Przykład: information network
Bardziej szczegółowoDigraf. 13 maja 2017
Digraf 13 maja 2017 Graf skierowany, digraf, digraf prosty Definicja 1 Digraf prosty G to (V, E), gdzie V jest zbiorem wierzchołków, E jest rodziną zorientowanych krawędzi, między różnymi wierzchołkami,
Bardziej szczegółowo19 marzec, Łańcuchy Markowa z czasem dyskretnym. Procesy Stochastyczne, wykład 6, T. Byczkowski, Procesy Stochastyczne, PPT, Matematyka MAP1136
Procesy Stochastyczne, wykład 6, T. Byczkowski, Procesy Stochastyczne, PPT, Matematyka MAP1136 19 marzec, 2012 Przykłady procesów Markowa (i). P = (p ij ) - macierz stochastyczna, tzn. p ij 0, j p ij =
Bardziej szczegółowoGraf. Definicja marca / 1
Graf 25 marca 2018 Graf Definicja 1 Graf ogólny to para G = (V, E), gdzie V jest zbiorem wierzchołków (węzłów, punktów grafu), E jest rodziną krawędzi, które mogą być wielokrotne, dokładniej jednoelementowych
Bardziej szczegółowoAnaliza algorytmów zadania podstawowe
Analiza algorytmów zadania podstawowe 15 stycznia 2019 Zadanie 1 Zliczanie Zliczaj(n) 1 r 0 2 for i 1 to n 1 3 do for j i + 1 to n 4 do for k 1 to j 5 do r r + 1 6 return r P Jaka wartość zostanie zwrócona
Bardziej szczegółowoAnaliza numeryczna Kurs INP002009W. Wykłady 6 i 7 Rozwiązywanie układów równań liniowych. Karol Tarnowski A-1 p.
Analiza numeryczna Kurs INP002009W Wykłady 6 i 7 Rozwiązywanie układów równań liniowych Karol Tarnowski karol.tarnowski@pwr.wroc.pl A-1 p.223 Plan wykładu Podstawowe pojęcia Własności macierzy Działania
Bardziej szczegółowoStruktury danych i złożoność obliczeniowa Wykład 5. Prof. dr hab. inż. Jan Magott
Struktury danych i złożoność obliczeniowa Wykład. Prof. dr hab. inż. Jan Magott Algorytmy grafowe: podstawowe pojęcia, reprezentacja grafów, metody przeszukiwania, minimalne drzewa rozpinające, problemy
Bardziej szczegółowoDrzewa spinające MST dla grafów ważonych Maksymalne drzewo spinające Drzewo Steinera. Wykład 6. Drzewa cz. II
Wykład 6. Drzewa cz. II 1 / 65 drzewa spinające Drzewa spinające Zliczanie drzew spinających Drzewo T nazywamy drzewem rozpinającym (spinającym) (lub dendrytem) spójnego grafu G, jeżeli jest podgrafem
Bardziej szczegółowoElementy rachunku prawdopodobieństwa (M. Skośkiewicz, A. Siejka, K. Walczak, A. Szpakowska)
Elementy rachunku prawdopodobieństwa (M. Skośkiewicz, A. Siejka, K. Walczak, A. Szpakowska) Twierdzenie (o mnożeniu) Podstawowe pojęcia i wzory kombinatoryczne. Niech,, będą zbiorami mającymi odpowiednio,,
Bardziej szczegółowoZadanie 1. Liczba szkód N w ciągu roku z pewnego ryzyka ma rozkład geometryczny: k =
Matematyka ubezpieczeń majątkowych 0.0.006 r. Zadanie. Liczba szkód N w ciągu roku z pewnego ryzyka ma rozkład geometryczny: k 5 Pr( N = k) =, k = 0,,,... 6 6 Wartości kolejnych szkód Y, Y,, są i.i.d.,
Bardziej szczegółowoPrzykłady grafów. Graf prosty, to graf bez pętli i bez krawędzi wielokrotnych.
Grafy Graf Graf (ang. graph) to zbiór wierzchołków (ang. vertices), które mogą być połączone krawędziami (ang. edges) w taki sposób, że każda krawędź kończy się i zaczyna w którymś z wierzchołków. Graf
Bardziej szczegółowoPrawdopodobieństwo i statystyka
Wykład VII: Metody specjalne Monte Carlo 24 listopada 2014 Transformacje specjalne Przykład - symulacja rozkładu geometrycznego Niech X Ex(λ). Rozważmy zmienną losową [X ], która przyjmuje wartości naturalne.
Bardziej szczegółowoWykład 1 Próba i populacja. Estymacja parametrów z wykorzystaniem metody bootstrap
Wykład 1 Próba i populacja. Estymacja parametrów z wykorzystaniem metody bootstrap Magdalena Frąszczak Wrocław, 21.02.2018r Tematyka Wykładów: Próba i populacja. Estymacja parametrów z wykorzystaniem metody
Bardziej szczegółowoAlgorytmy i struktury danych. Drzewa: BST, kopce. Letnie Warsztaty Matematyczno-Informatyczne
Algorytmy i struktury danych Drzewa: BST, kopce Letnie Warsztaty Matematyczno-Informatyczne Drzewa: BST, kopce Definicja drzewa Drzewo (ang. tree) to nieskierowany, acykliczny, spójny graf. Drzewo może
Bardziej szczegółowoNiech X i Y będą niezależnymi zmiennymi losowymi o rozkładach wykładniczych, przy czym Y EX = 4 i EY = 6. Rozważamy zmienną losową Z =.
Prawdopodobieństwo i statystyka 3..00 r. Zadanie Niech X i Y będą niezależnymi zmiennymi losowymi o rozkładach wykładniczych, przy czym Y EX 4 i EY 6. Rozważamy zmienną losową Z. X + Y Wtedy (A) EZ 0,
Bardziej szczegółowoII WYKŁAD STATYSTYKA. 12/03/2014 B8 sala 0.10B Godz. 15:15
II WYKŁAD STATYSTYKA 12/03/2014 B8 sala 0.10B Godz. 15:15 WYKŁAD 2 Rachunek prawdopodobieństwa zdarzenia elementarne zdarzenia losowe zmienna losowa skokowa i ciągła prawdopodobieństwo i gęstość prawdopodobieństwa
Bardziej szczegółowoModelowanie rynków finansowych z wykorzystaniem pakietu R
Modelowanie rynków finansowych z wykorzystaniem pakietu R Metody numeryczne i symulacje stochastyczne Mateusz Topolewski woland@mat.umk.pl Wydział Matematyki i Informatyki UMK Plan działania 1 Całkowanie
Bardziej szczegółowoRozkład normalny Parametry rozkładu zmiennej losowej Zmienne losowe wielowymiarowe
Statystyka i opracowanie danych W4 Rozkład normalny Parametry rozkładu zmiennej losowej Zmienne losowe wielowymiarowe Dr Anna ADRIAN Paw B5, pok407 adan@agh.edu.pl Rozkład normalny wykres funkcji gęstości
Bardziej szczegółowoSTATYSTYKA wykład 1. Wanda Olech. Katedra Genetyki i Ogólnej Hodowli Zwierząt
STTYSTYK wykład 1 Wanda Olech Katedra Genetyki i Ogólnej Hodowli Zwierząt Plan wykładów Data WYKŁDY 1.X rachunek prawdopodobieństwa; 8.X zmienna losowa jednowymiarowa, funkcja rozkładu, dystrybuanta 15.X
Bardziej szczegółowoGrafem nazywamy strukturę G = (V, E): V zbiór węzłów lub wierzchołków, Grafy dzielimy na grafy skierowane i nieskierowane:
Wykład 4 grafy Grafem nazywamy strukturę G = (V, E): V zbiór węzłów lub wierzchołków, E zbiór krawędzi, Grafy dzielimy na grafy skierowane i nieskierowane: Formalnie, w grafach skierowanych E jest podzbiorem
Bardziej szczegółowoPorównanie czasów działania algorytmów sortowania przez wstawianie i scalanie
Więcej o sprawności algorytmów Porównanie czasów działania algorytmów sortowania przez wstawianie i scalanie Załóżmy, że możemy wykonać dane zadanie przy użyciu dwóch algorytmów: jednego o złożoności czasowej
Bardziej szczegółowoPrawdopodobieństwo. Prawdopodobieństwo. Jacek Kłopotowski. Katedra Matematyki i Ekonomii Matematycznej SGH. 16 października 2018
Katedra Matematyki i Ekonomii Matematycznej SGH 16 października 2018 Definicja σ-algebry Definicja Niech Ω oznacza zbiór niepusty. Rodzinę M podzbiorów zbioru Ω nazywamy σ-algebrą (lub σ-ciałem) wtedy
Bardziej szczegółowoOptymalizacja. Przeszukiwanie lokalne
dr hab. inż. Instytut Informatyki Politechnika Poznańska www.cs.put.poznan.pl/mkomosinski, Maciej Hapke Idea sąsiedztwa Definicja sąsiedztwa x S zbiór N(x) S rozwiązań, które leżą blisko rozwiązania x
Bardziej szczegółowoWykład 2. Prawdopodobieństwo i elementy kombinatoryki
Wstęp do probabilistyki i statystyki Wykład 2. Prawdopodobieństwo i elementy kombinatoryki dr hab.inż. Katarzyna Zakrzewska, prof.agh Katedra Elektroniki, AGH e-mail: zak@agh.edu.pl http://home.agh.edu.pl/~zak
Bardziej szczegółowoRozkłady statystyk z próby
Rozkłady statystyk z próby Rozkłady statystyk z próby Przypuśćmy, że wykonujemy serię doświadczeń polegających na 4 krotnym rzucie symetryczną kostką do gry, obserwując liczbę wyrzuconych oczek Nr kolejny
Bardziej szczegółowoMetody probabilistyczne
Metody probabilistyczne 2. Aksjomatyczna definicja prawdopodobieństwa Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 10.10.2017 1 / 33 Klasyczna definicja prawdopodobieństwa
Bardziej szczegółowoElementy modelowania matematycznego
Elementy modelowania matematycznego Łańcuchy Markowa: zagadnienia graniczne. Ukryte modele Markowa. Jakub Wróblewski jakubw@pjwstk.edu.pl http://zajecia.jakubw.pl/ KLASYFIKACJA STANÓW Stan i jest osiągalny
Bardziej szczegółowoZŁOŻONOŚĆ OBLICZENIOWA ALGORYTMÓW
ZŁOŻONOŚĆ OBLICZENIOWA ALGORYTMÓW RELACJE MIEDZY KLASAMI ZŁOŻONOŚCI Bartosz Zieliński Katedra Fizyki Teoretycznej i Informatyki Zima 2011-2012 KLASY ZŁOŻONOŚCI KLASE ZŁOŻONOŚCI OPISUJE SIE PODAJAC: Model
Bardziej szczegółowoPrawdopodobieństwo i statystyka
Wykład IV: 27 października 2014 Współczynnik korelacji Brak korelacji a niezależność Definicja współczynnika korelacji Współczynnikiem korelacji całkowalnych z kwadratem zmiennych losowych X i Y nazywamy
Bardziej szczegółowoWstęp do rachunku prawdopodobieństwa
wykład : Wstęp do rachunku prawdopodobieństwa STTYSTYK OPISOW Wanda Olech Katedra Genetyki i Ochrony Zwierząt Statystyka zajmuje się Zjawiskami losowymi - które bada przez doświadczenie U podstaw współczesnej
Bardziej szczegółowoWybrane rozkłady zmiennych losowych. Statystyka
Wybrane rozkłady zmiennych losowych Statystyka Rozkład dwupunktowy Zmienna losowa przyjmuje tylko dwie wartości: wartość 1 z prawdopodobieństwem p i wartość 0 z prawdopodobieństwem 1- p x i p i 0 1-p 1
Bardziej szczegółowoOgólnopolska Konferencja Aktuarialna Zagadnienia aktuarialne teoria i praktyka Warszawa, IE SGH 2009
Rafał M. Łochowski Szkoła Główna Handlowa w Warszawie O pewnym modelu pojawiania się szkód Ogólnopolska Konferencja Aktuarialna Zagadnienia aktuarialne teoria i praktyka Warszawa, IE SGH 2009 Modele pojawiania
Bardziej szczegółowoAlgorytmiczna teoria grafów
Przedmiot fakultatywny 20h wykładu + 20h ćwiczeń 21 lutego 2014 Zasady zaliczenia 1 ćwiczenia (ocena): kolokwium, zadania programistyczne (implementacje algorytmów), praca na ćwiczeniach. 2 Wykład (egzamin)
Bardziej szczegółowoPrzestrzeń probabilistyczna
Przestrzeń probabilistyczna (Ω, Σ, P) Ω pewien niepusty zbiór Σ rodzina podzbiorów tego zbioru P funkcja określona na Σ, zwana prawdopodobieństwem. Przestrzeń probabilistyczna (Ω, Σ, P) Ω pewien niepusty
Bardziej szczegółowoWykład 2: Tworzenie danych
Wykład 2: Tworzenie danych Plan: Statystyka opisowa a wnioskowanie statystyczne Badania obserwacyjne a eksperyment Planowanie eksperymentu, randomizacja Próbkowanie z populacji Rozkłady próbkowe Wstępna/opisowa
Bardziej szczegółowoAlgorytmy w teorii liczb
Łukasz Kowalik, ASD 2004: Algorytmy w teorii liczb 1 Algorytmy w teorii liczb Teoria liczb jest działem matemtyki dotyczącym własności liczb naturalnych. Rozważa się zagadnienia związane z liczbami pierwszymi,
Bardziej szczegółowoMODELOWANIE STANÓW CZYNNOŚCIOWYCH W JĘZYKU SIECI BAYESOWSKICH
Inżynieria Rolnicza 7(105)/2008 MODELOWANIE STANÓW CZYNNOŚCIOWYCH W JĘZYKU SIECI BAYESOWSKICH Katedra Podstaw Techniki, Uniwersytet Przyrodniczy w Lublinie Streszczenie. Zastosowanie sieci bayesowskiej
Bardziej szczegółowoWykład 13. Podstawowe pojęcia rachunku prawdopodobieństwa
Wykład 13. Podstawowe pojęcia rachunku prawdopodobieństwa dr Mariusz Grzadziel Katedra Matematyki, Uniwersytet Przyrodniczy we Wrocławiu semestr zimowy, rok akademicki 2015 2016 Doświadczenie losowe Doświadczenie
Bardziej szczegółowoWybrane rozkłady zmiennych losowych. Statystyka
Wybrane rozkłady zmiennych losowych Statystyka Rozkład dwupunktowy Zmienna losowa przyjmuje tylko dwie wartości: wartość 1 z prawdopodobieństwem p i wartość 0 z prawdopodobieństwem 1- p x i p i 0 1-p 1
Bardziej szczegółowoWnioskowanie statystyczne i oparte na współczynnikach wiarygodności
Wnioskowanie statystyczne i oparte na współczynnikach wiarygodności 1 Niepewność Wnioskowanie statystyczne: Wprowadzenie teoretyczne Wnioskowanie probabilistyczne Przykłady Wnioskowanie ze współczynnikami
Bardziej szczegółowo