Modelowanie Niepewności

Podobne dokumenty
Na podstawie: AIMA, ch13. Wojciech Jaśkowski. 15 marca 2013

Algorytmy stochastyczne, wykład 08 Sieci bayesowskie

Systemy ekspertowe - wiedza niepewna

Algorytmy estymacji stanu (filtry)

Klasyfikacja bayesowska

Wstęp do Metod Systemowych i Decyzyjnych Opracowanie: Jakub Tomczak

Modelowanie zależności. Matematyczne podstawy teorii ryzyka i ich zastosowanie R. Łochowski

WYKŁAD 4. Podejmowanie decyzji dla modeli probabilistycznych Modelowanie Gaussowskie. autor: Maciej Zięba. Politechnika Wrocławska

Eksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18

Metody systemowe i decyzyjne w informatyce

Weryfikacja hipotez statystycznych

P(F=1) F P(C1 = 1 F = 1) P(C1 = 1 F = 0) P(C2 = 1 F = 1) P(C2 = 1 F = 0) P(R = 1 C2 = 1) P(R = 1 C2 = 0)

Wnioskowanie statystyczne i oparte na współczynnikach wiarygodności. Wprowadzenie teoretyczne Wnioskowanie probabilistyczne Przykłady

Rachunek prawdopodobieństwa Rozdział 5. Rozkłady łączne

Wnioskowanie bayesowskie

Rozkład normalny Parametry rozkładu zmiennej losowej Zmienne losowe wielowymiarowe

Klasyfikacja metodą Bayesa

Wnioskowanie statystyczne i oparte na współczynnikach wiarygodności

Przypomnienie elementów z rachunku prawdopodobieństwa. Naiwny klasyfikator Bayesa. Aktualizacja rozkładów wg reguły Bayesa.

Sieci Bayesa mgr Tomasz Xięski, Instytut Informatyki, Uniwersytet Śląski Sosnowiec, 2011

Rachunek prawdopodobieństwa Rozdział 4. Zmienne losowe

Język rachunku predykatów Formuły rachunku predykatów Formuły spełnialne i prawdziwe Dowody założeniowe. 1 Zmienne x, y, z...

Metody probabilistyczne

Metody systemowe i decyzyjne w informatyce

Funkcje charakterystyczne zmiennych losowych, linie regresji 1-go i 2-go rodzaju

Stanisław Cichocki Natalia Nehrebecka. Wykład 7

Lista zadania nr 7 Metody probabilistyczne i statystyka studia I stopnia informatyka (rok 2) Wydziału Ekonomiczno-Informatycznego Filia UwB w Wilnie

Rachunek prawdopodobieństwa

Fuzja sygnałów i filtry bayesowskie

Metody probabilistyczne

Rozdział 2: Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów

Sztuczna inteligencja : Tworzenie sieci Bayesa

Rachunek prawdopodobieństwa Rozdział 4. Zmienne losowe

Wnioskowanie statystyczne i oparte na współczynnikach wiarygodności

Statystyka i eksploracja danych

Przestrzeń probabilistyczna

11. Gry Macierzowe - Strategie Czyste i Mieszane

Wykład 11: Martyngały: definicja, twierdzenia o zbieżności

Gdzie: N zbiór wierzchołków grafu, E zbiór krawędzi grafu, Cp zbiór prawdopodobieostw warunkowych.

Rachunek prawdopodobieństwa 1B; zadania egzaminacyjne.

Matematyka z el. statystyki, # 1 /Geodezja i kartografia I/

Uczenie ze wzmocnieniem aplikacje

teoria informacji Kanały komunikacyjne, kody korygujące Mariusz Różycki 25 sierpnia 2015

Układy stochastyczne

Prawdopodobieństwo i statystyka

Elementy Modelowania Matematycznego Wykład 4 Regresja i dyskryminacja liniowa

WYKŁAD 2 i 3. Podstawowe pojęcia związane z prawdopodobieństwem. Podstawy teoretyczne. autor: Maciej Zięba. Politechnika Wrocławska

i=7 X i. Zachodzi EX i = P(X i = 1) = 1 2, i {1, 2,..., 11} oraz EX ix j = P(X i = 1, X j = 1) = 1 7 VarS 2 2 = 14 3 ( 5 2 =

Sztuczna inteligencja : Naiwny klasyfikator Bayesa

Prawdopodobieństwo i statystyka

reguła mnożenia ilustracja zbioru wyników doświadczenia za pomocą drzewa reguła dodawania definicja n! liczba permutacji zbioru n-elementowego

Wykład 13. Podstawowe pojęcia rachunku prawdopodobieństwa

Mikroekonometria 9. Mikołaj Czajkowski Wiktor Budziński

Metody systemowe i decyzyjne w informatyce

Testowanie hipotez statystycznych.

Wymagania kl. 3. Zakres podstawowy i rozszerzony

P r a w d o p o d o b i eństwo Lekcja 1 Temat: Lekcja organizacyjna. Program. Kontrakt.

Maksymalne powtórzenia w tekstach i zerowa intensywność entropii

Rozdział 1. Wektory losowe. 1.1 Wektor losowy i jego rozkład

Technikum Nr 2 im. gen. Mieczysława Smorawińskiego w Zespole Szkół Ekonomicznych w Kaliszu

Rozpoznawanie obrazów

Sposoby prezentacji problemów w statystyce

Statystyczna analiza danych

Metody probabilistyczne

SIMR 2017/18, Statystyka, Przykładowe zadania do kolokwium - Rozwiązania

Rachunek prawdopodobieństwa - Teoria - Przypomnienie.. A i B są niezależne, gdy P(A B) = P(A)P(B). P(A B i )P(B i )

Podstawowe modele probabilistyczne

Systemy uczące się wykład 1

Zestaw 2: Zmienne losowe. 0, x < 1, 2, 2 x, 1 1 x, 1 x, F 9 (x) =

Metody systemowe i decyzyjne w informatyce

Wstęp do Rachunku Prawdopodobieństwa, IIr. WMS

Niech X i Y będą niezależnymi zmiennymi losowymi o rozkładach wykładniczych, przy czym Y EX = 4 i EY = 6. Rozważamy zmienną losową Z =.

Stanisław Cichocki. Natalia Nehrebecka. Wykład 9

Recenzenci: prof. dr hab. Henryk Domański dr hab. Jarosław Górniak

Przypomnienie elementów z rachunku prawdopodobieństwa. Naiwny klasyfikator Bayesa. Aktualizacja rozkładów wg reguły Bayesa.

Rozkłady wielu zmiennych

1 Gaussowskie zmienne losowe

Prawdopodobieństwo i statystyka

STATYSTYKA MATEMATYCZNA ZESTAW 0 (POWT. RACH. PRAWDOPODOBIEŃSTWA) ZADANIA

PODSTAWOWE ROZKŁADY ZMIENNYCH LOSOWYCH CIĄGŁYCH

Drugie kolokwium z Rachunku Prawdopodobieństwa, zestaw A

Sztuczna inteligencja : Zbiory rozmyte cz. III

Sztuczna Inteligencja i Systemy Doradcze

Zasady krytycznego myślenia (1)

Inżynieria Wiedzy i Systemy Ekspertowe. Niepewność wiedzy. dr inż. Michał Bereta Politechnika Krakowska

Wstęp do Modelu Standardowego

Prawdopodobieństwo. Prawdopodobieństwo. Jacek Kłopotowski. Katedra Matematyki i Ekonomii Matematycznej SGH. 16 października 2018

Wprowadzenie do teorii ekonometrii. Wykład 1 Warunkowa wartość oczekiwana i odwzorowanie liniowe

WYKŁAD 3. Klasyfikacja: modele probabilistyczne

Rozkład normalny. Marcin Zajenkowski. Marcin Zajenkowski () Rozkład normalny 1 / 26

Rachunek prawdopodobieństwa- wykład 2

Testy zgodności. Dr Joanna Banaś Zakład Badań Systemowych Instytut Sztucznej Inteligencji i Metod Matematycznych. Wykład 11

Procesy stochastyczne WYKŁAD 2-3. Łańcuchy Markowa. Łańcuchy Markowa to procesy "bez pamięci" w których czas i stany są zbiorami dyskretnymi.

Prawdopodobieństwo i statystyka

Elementy modelowania matematycznego

LABORATORIUM Populacja Generalna (PG) 2. Próba (P n ) 3. Kryterium 3σ 4. Błąd Średniej Arytmetycznej 5. Estymatory 6. Teoria Estymacji (cz.

MATeMAtyka 3. Propozycja przedmiotowego systemu oceniania wraz z określeniem wymagań edukacyjnych. Zakres podstawowy i rozszerzony

Własności statystyczne regresji liniowej. Wykład 4

Metody systemowe i decyzyjne w informatyce

Testowanie hipotez statystycznych

Transkrypt:

Na podstawie: AIMA, ch13 Wojciech Jaśkowski Instytut Informatyki, Politechnika Poznańska 21 marca 2014 Na podstawie: AIMA, ch13 Wojciech Jaśkowski Instytut Informatyki, Politechnika Poznańska 21 marca 2014

Źródła niepewności Wstęp Źródła niepewności Źródła niepewności Jakie są źródła niepewności? Jakie są źródła niepewności?

Źródła niepewności Wstęp Źródła niepewności Źródła niepewności Jakie są źródła niepewności? częściowa obserwowalność niedeterministyczny Wynikające często jednak z zawinionej niewiedzy: lenistwa i ignorancji Cel: Racjonalne decyzje w kontekście niepewności. Jakie są źródła niepewności? częściowa obserwowalność niedeterministyczny Wynikające często jednak z zawinionej niewiedzy: lenistwa i ignorancji Cel: Racjonalne decyzje w kontekście niepewności.

Świat Wumpus a 4 Stench Breeze PIT Wstęp Świat Wumpus a Świat Wumpus a 4 Stench 3 Stench PIT Gold 2 Stench 1 Breeze Breeze Breeze Breeze PIT PIT Breeze Breeze START 1 2 3 4 Breeze 3 Stench PIT Breeze Gold 2 Stench Breeze 1 Breeze PIT Breeze START 1 2 3 4

Świat Wumpus a 1,4 2,4 3,4 4,4 Wstęp Świat Wumpus a Świat Wumpus a 1,4 2,4 3,4 4,4 1,3 2,3 3,3 4,3 1,2 2,2 3,2 4,2 B OK 1,1 2,1 3,1 4,1 B OK OK 1,3 2,3 3,3 4,3 1. W takiej sytuacji Wumpus nie ma bezpiecznego ruchu, bo bryza w (1,2) i (2,1). Jaki ruch Wumpus powinien więc wykonać? Jakie jest prawdopodobieństwo, że na polu (1,3) jest pułapka? A jakie dla (2,2) i dla (3,1)? 1,2 2,2 3,2 4,2 B OK 1,1 2,1 3,1 4,1 B OK OK

Podstawy: notacja zmienna losowa Cancer = C = { c, c} Podstawy: notacja Podstawy: notacja zmienna losowa Cancer = C = { c, c} Test = T = { t, t} Test = T = { t, t} 1. rozkład prawd. łącznego: wektor wszystkich kombinacji wartości zmiennych losowych.

Podstawy: notacja zmienna losowa Cancer = C = { c, c} Podstawy: notacja Podstawy: notacja zmienna losowa Cancer = C = { c, c} Test = T = { t, t} prawdopodobieństwo zdarzenia P(c) = 0.3 Test = T = { t, t} prawdopodobieństwo zdarzenia 1. rozkład prawd. łącznego: wektor wszystkich kombinacji wartości zmiennych losowych. P(c) = 0.3

Podstawy: notacja zmienna losowa Cancer = C = { c, c} Podstawy: notacja Podstawy: notacja zmienna losowa Cancer = C = { c, c} Test = T = { t, t} prawdopodobieństwo zdarzenia P(c) = 0.3 rozkład prawdopodobieństwa P(Cancer) = P(c), P( c) = 0.3, 0.7 Test = T = { t, t} prawdopodobieństwo zdarzenia 1. rozkład prawd. łącznego: wektor wszystkich kombinacji wartości zmiennych losowych. P(c) = 0.3 rozkład prawdopodobieństwa P(Cancer) = P(c), P( c) = 0.3, 0.7

Podstawy: notacja zmienna losowa Cancer = C = { c, c} Podstawy: notacja Podstawy: notacja zmienna losowa Cancer = C = { c, c} Test = T = { t, t} prawdopodobieństwo zdarzenia P(c) = 0.3 rozkład prawdopodobieństwa P(Cancer) = P(c), P( c) = 0.3, 0.7 prawd. łączne P(c t) = P(c, t) = 0.4 Test = T = { t, t} prawdopodobieństwo zdarzenia 1. rozkład prawd. łącznego: wektor wszystkich kombinacji wartości zmiennych losowych. P(c) = 0.3 rozkład prawdopodobieństwa P(Cancer) = P(c), P( c) = 0.3, 0.7 prawd. łączne P(c t) = P(c, t) = 0.4

Podstawy: notacja zmienna losowa Cancer = C = { c, c} Podstawy: notacja Podstawy: notacja zmienna losowa Cancer = C = { c, c} Test = T = { t, t} prawdopodobieństwo zdarzenia P(c) = 0.3 rozkład prawdopodobieństwa P(Cancer) = P(c), P( c) = 0.3, 0.7 prawd. łączne P(c t) = P(c, t) = 0.4 rozkład prawd. łącznego P(Cancer, Test) = P(c t), P(c t), P( c, t), P( c, t) Test = T = { t, t} prawdopodobieństwo zdarzenia 1. rozkład prawd. łącznego: wektor wszystkich kombinacji wartości zmiennych losowych. P(c) = 0.3 rozkład prawdopodobieństwa P(Cancer) = P(c), P( c) = 0.3, 0.7 prawd. łączne P(c t) = P(c, t) = 0.4 rozkład prawd. łącznego P(Cancer, Test) = P(c t), P(c t), P( c, t), P( c, t)

Podstawy: prawd. warunkowe Podstawy: prawd. warunkowe Podstawy: prawd. warunkowe Prawdopodobieństwo warunkowe P(c t)p(t) = P(c t) (reguła produkcji) Prawdopodobieństwo warunkowe 1. Graficznie: dwa przecinające się zbiory. t zaistniało, więc jakie jest prawd., że zaistnieje c? P(c t) = P(c t) P(t). P(c t)p(t) = P(c t) (reguła produkcji)

(Pełny) rozkład prawd. łącznego (Pełny) rozkład prawd. łącznego (Pełny) rozkład prawd. łącznego

Prawd. marginalne (marginalizacja) [zadanie 0] P(dziura) =? P(Dziura) =? Prawd. marginalne (marginalizacja) 1. P(dziura) = 0.108 + 0.012 + 0.072 + 0.008 = 0.2 Marginalizujemy Ból i Test 2. P(Dziura) =< 0.2, 0.8 > 3. P(dziura ) = 0.072 + 0.008 = 0.08 Marginalizujemy Test Prawd. marginalne (marginalizacja) [zadanie 0] P(dziura) =? P(Dziura) =?

Prawd. marginalne (marginalizacja) [zadanie 0] P(dziura) =? P(Dziura) =? [zadanie 1] P(dziura ) =? Prawd. marginalne (marginalizacja) 1. P(dziura) = 0.108 + 0.012 + 0.072 + 0.008 = 0.2 Marginalizujemy Ból i Test 2. P(Dziura) =< 0.2, 0.8 > 3. P(dziura ) = 0.072 + 0.008 = 0.08 Marginalizujemy Test Prawd. marginalne (marginalizacja) [zadanie 0] P(dziura) =? P(Dziura) =? [zadanie 1] P(dziura ) =?

Prawd. marginalne (marginalizacja) [zadanie 0] P(dziura) =? P(Dziura) =? [zadanie 1] P(dziura ) =? Prawd. marginalne (marginalizacja) 1. P(dziura) = 0.108 + 0.012 + 0.072 + 0.008 = 0.2 Marginalizujemy Ból i Test 2. P(Dziura) =< 0.2, 0.8 > 3. P(dziura ) = 0.072 + 0.008 = 0.08 Marginalizujemy Test Prawd. marginalne (marginalizacja) [zadanie 0] P(dziura) =? P(Dziura) =? [zadanie 1] P(dziura ) =? Ogólnie: P(Y) = P(Y, x) = P(Y x)p(x), x X x X gdzie Y i X są wektorami zmiennych losowych Ogólnie: P(Y) = x X P(Y, x) = x X P(Y x)p(x), gdzie Y i X są wektorami zmiennych losowych

Prawd. całkowite [zadanie 2] Przed obliczeniami: czy to będzie duża wartość? P(dziura ) =? Prawd. całkowite Prawd. całkowite [zadanie 2] Przed obliczeniami: czy to będzie duża wartość? P(dziura ) =?

Prawd. całkowite [zadanie 2] Przed obliczeniami: czy to będzie duża wartość? P(dziura ) P(dziura ) = P() 0.108 + 0.012 = 0.108 + 0.012 + 0.016 + 0.064 = 0.6 Prawd. całkowite Prawd. całkowite 0.108 0.012 0.072 0.008 dziura [zadanie 2] Przed obliczeniami: czy to będzie duża wartość? Ogólnie: P(dziura ) = = P(Y Z) = x X P(dziura ) P() 0.108 + 0.012 0.108 + 0.012 + 0.016 + 0.064 = 0.6 P(Y, x Z) = x X P(Y, x Z)P(Z) Ogólnie: P(Y Z) = x X P(Y, x Z) = x X P(Y, x Z)P(Z)

Normalizacja Normalizacja Normalizacja P(dziura ) = P(dziura ) P() [zadanie 3] Policz, rozpisz: 1. Ten sam mianownik! Liczenie mianownika często jest trudne. 2. 0.12 + 0.08 1.0, więc normalizujemy je dzieląc przez 0.12 + 0.08 = 0.2. = P( dziura ) =? 0.108 + 0.012 0.108 + 0.012 + 0.016 + 0.064 P(dziura ) = P(dziura ) P() = 0.108 + 0.012 0.108 + 0.012 + 0.016 + 0.064 [zadanie 3] Policz, rozpisz: P( dziura ) =?

Normalizacja Normalizacja Normalizacja P(dziura ) = P(dziura ) P() [zadanie 3] Policz, rozpisz: P( dziura ) = 1. Ten sam mianownik! Liczenie mianownika często jest trudne. 2. 0.12 + 0.08 1.0, więc normalizujemy je dzieląc przez 0.12 + 0.08 = 0.2. = P( dziura ) P() 0.108 + 0.012 0.108 + 0.012 + 0.016 + 0.064 = 0.016 + 0.064 0.108 + 0.012 + 0.016 + 0.064 P(dziura ) = P(dziura ) P() = 0.108 + 0.012 0.108 + 0.012 + 0.016 + 0.064 [zadanie 3] Policz, rozpisz: P( dziura ) = P( dziura ) P() = 0.016 + 0.064 0.108 + 0.012 + 0.016 + 0.064

Normalizacja Normalizacja Normalizacja P(dziura ) = P(dziura ) P() [zadanie 3] Policz, rozpisz: P( dziura ) = 1. Ten sam mianownik! Liczenie mianownika często jest trudne. 2. 0.12 + 0.08 1.0, więc normalizujemy je dzieląc przez 0.12 + 0.08 = 0.2. = P( dziura ) P() 0.108 + 0.012 0.108 + 0.012 + 0.016 + 0.064 = P(Dziura ) = 0.016 + 0.064 0.108 + 0.012 + 0.016 + 0.064 P(dziura ) = P(dziura ) P() = 0.108 + 0.012 0.108 + 0.012 + 0.016 + 0.064 [zadanie 3] Policz, rozpisz: P( dziura ) = P( dziura ) P() = 0.016 + 0.064 0.108 + 0.012 + 0.016 + 0.064 P(Dziura ) =

Normalizacja Normalizacja Normalizacja P(dziura ) = P(dziura ) P() [zadanie 3] Policz, rozpisz: P( dziura ) = 1. Ten sam mianownik! Liczenie mianownika często jest trudne. 2. 0.12 + 0.08 1.0, więc normalizujemy je dzieląc przez 0.12 + 0.08 = 0.2. = P( dziura ) P() 0.108 + 0.012 0.108 + 0.012 + 0.016 + 0.064 = 0.016 + 0.064 0.108 + 0.012 + 0.016 + 0.064 P(Dziura ) = αp(dziura, ) = α 0.108 + 0.012, 0.016 + 0.064 α 0.12, 0.08 = 0.6, 0.4 P(dziura ) = P(dziura ) P() [zadanie 3] Policz, rozpisz: P( dziura ) = = P( dziura ) P() 0.108 + 0.012 0.108 + 0.012 + 0.016 + 0.064 = 0.016 + 0.064 0.108 + 0.012 + 0.016 + 0.064 P(Dziura ) = αp(dziura, ) = α 0.108 + 0.012, 0.016 + 0.064 α 0.12, 0.08 = 0.6, 0.4

Normalizacja Normalizacja Normalizacja [zadanie 3] Policz, rozpisz: P(Dziura ) = αp(dziura, ) = α 0.108 + 0.012, 0.016 + 0.064 Ogólnie: α 0.12, 0.08 = 0.6, 0.4 P(X e) = αp(x, e), gdzie X jest wektorem zmiennych losowych 1. Ten sam mianownik! Liczenie mianownika często jest trudne. 2. 0.12 + 0.08 1.0, więc normalizujemy je dzieląc przez 0.12 + 0.08 = 0.2. [zadanie 3] Policz, rozpisz: P(Dziura ) = αp(dziura, ) = α 0.108 + 0.012, 0.016 + 0.064 α 0.12, 0.08 = 0.6, 0.4 Ogólnie: P(X e) = αp(x, e), gdzie X jest wektorem zmiennych losowych

Podstawy: niezależność Niezależność zdarzeń losowych c t, jeśli P(c) = P(c t) lub P(t) = P(t c) Podstawy: niezależność Podstawy: niezależność Niezależność zdarzeń losowych c t, jeśli P(c) = P(c t) lub P(t) = P(t c) lub P(c)P(t) = P(c t) lub P(c)P(t) = P(c t) 1. Graficznie: niezależność zdarzeń losowych, jeśli pole c w stosunku do całości = pole c t w stosunku do t.

Podstawy: niezależność Niezależność zdarzeń losowych c t, jeśli P(c) = P(c t) lub P(t) = P(t c) Podstawy: niezależność Podstawy: niezależność Niezależność zdarzeń losowych c t, jeśli P(c) = P(c t) lub P(t) = P(t c) lub P(c)P(t) = P(c t) Niezależność zmiennych losowych C T : P(C)P(T ) = P(C T ) [zadanie 4] Rozpisać powyższe lub P(c)P(t) = P(c t) Niezależność zmiennych losowych C T : 1. Graficznie: niezależność zdarzeń losowych, jeśli pole c w stosunku do całości = pole c t w stosunku do t. [zadanie 4] Rozpisać powyższe P(C)P(T ) = P(C T )

Podstawy: niezależność Niezależność zdarzeń losowych c t, jeśli P(c) = P(c t) lub P(t) = P(t c) Podstawy: niezależność Podstawy: niezależność Niezależność zdarzeń losowych c t, jeśli P(c) = P(c t) lub P(t) = P(t c) lub P(c)P(t) = P(c t) Niezależność zmiennych losowych C T : P(C)P(T ) = P(C T ) [zadanie 4] Rozpisać powyższe Lewa = P(c), P( c) P(t), P( t) = P(c)P(t), P(c)P( t), P( c)p(t), P( c)p( t) Prawa = P(c t), P(c t), P( c t), P( c t) wiedza o niezależności zmiennych jest zwykle wiedzą dziedzinową. lub P(c)P(t) = P(c t) Niezależność zmiennych losowych C T : 1. Graficznie: niezależność zdarzeń losowych, jeśli pole c w stosunku do całości = pole c t w stosunku do t. [zadanie 4] Rozpisać powyższe P(C)P(T ) = P(C T ) Lewa = P(c), P( c) P(t), P( t) = P(c)P(t), P(c)P( t), P( c)p(t), P( c)p( t) Prawa = P(c t), P(c t), P( c t), P( c t) wiedza o niezależności zmiennych jest zwykle wiedzą dziedzinową.

Niezależność Czwarta zmienna: Pogoda(P) P(P = s loneczna, b, t, d) = P(P = s loneczna b, t, d)p(b, t, d) Niezależność Niezależność Czwarta zmienna: Pogoda(P) P(P = s loneczna, b, t, d) = P(P = s loneczna b, t, d)p(b, t, d) Ale przecież (logika!): P(P = s loneczna b, t, d) = P(Pogoda = s loneczna) więc P(P = s loneczna, b, t, d) = P(P = s loneczna)p(b, t, d) Ale przecież (logika!): więc P(P = s loneczna b, t, d) = P(Pogoda = s loneczna) P(P = s loneczna, b, t, d) = P(P = s loneczna)p(b, t, d)

decomposes into Konsekwencja niezależności Konsekwencja niezależności Konsekwencja niezależności Cavity Toothache Catch Weather Cavity Toothache Catch Weather Coin 1 decomposes into Coin 1 Coin n Coin n Cavity Toothache Weather Catch Coin 1 Coin n 1. Co nam to daje? Zamiast zapisywać rozkład prawd. łącznego za pomocą 2 4 = 32 liczb, wystarczy nam 2 3 + 2 = 18 (dekompozycja). Jest lepiej, ale w praktyce to nie wystarcza. Żeby było lepiej trzeba sięgnąć do reguły Bayesa i niezależności warunkowej. decomposes into decomposes into Cavity Toothache Catch Weather Coin 1 Coin n

Reguła Bayesa Reguła Bayesa Reguła Bayesa P(y x) = P(x y)p(y) P(x) P(x) często nieznane i rozpisuje się je jako praw. całkowite. P(y x) = P(x y)p(y) P(x) P(x) często nieznane i rozpisuje się je jako praw. całkowite. 1. Wyprowadzenie korzysta z def. prawd. warunkowego (reguły produkcji) 2. To proste równanie leży u podstawy większości nowoczesnych systemów sztucznej inteligencji opartych na wnioskowaniu probabilistycznym.

Reguła Bayesa Reguła Bayesa Reguła Bayesa P(y x) = P(x y)p(y) P(x) P(x) często nieznane i rozpisuje się je jako praw. całkowite. Wersja ogólniejsza (zmienne losowe i dodatkowa wiedza e): P(X Y, e)p(y e) P(Y X, e) = P(X e) P(y x) = P(x y)p(y) P(x) P(x) często nieznane i rozpisuje się je jako praw. całkowite. Wersja ogólniejsza (zmienne losowe i dodatkowa wiedza e): 1. Wyprowadzenie korzysta z def. prawd. warunkowego (reguły produkcji) 2. To proste równanie leży u podstawy większości nowoczesnych systemów sztucznej inteligencji opartych na wnioskowaniu probabilistycznym. P(Y X, e) = P(X Y, e)p(y e) P(X e)

Wnioskowanie Wnioskowanie Wnioskowanie P(y x) = P(x y)p(y) P(x) Zależność między zmiennymi X i Y. Możemy ją skwantyfikować w dwóch kierunkach: przyczynowym: P(efekt przyczyna), np. P(gorączka grypa) diagnostycznym: P(przyczyna efekt), np. P(grypa gorączka) [zadanie 5] Które prawd. łatwiej poznać? P(y x) = P(x y)p(y) P(x) Zależność między zmiennymi X i Y. Możemy ją skwantyfikować w dwóch kierunkach: przyczynowym: P(efekt przyczyna), np. P(gor ączka grypa) diagnostycznym: P(przyczyna efekt), np. P(grypa gor ączka) [zadanie 5] Które prawd. łatwiej poznać? 1. Łatwiej poznać P(gor ączka grypa), czyli jak często grypa powoduje gorączkę - wystarczy zebrać dane na temat ludzi z grypą. Łatwiej więc pozyskać dane o kierunku przyczynowym. Trudniej o kierunku diagnostycznym.

Przykład Przykład Przykład Zapalenie opon mózgowych (M) i sztywność karku (S). P(s m) = 0.7 (kierunek przyczynowy) P(m) = 1/50000 (a priori, że osoba ma zapalenie opon) P(s) = 0.01 (a priori, że osoba ma sztywność kark) [zadanie 6] P(m s) =? Zapalenie opon mózgowych (M) i sztywność karku (S). P(s m) = 0.7 (kierunek przyczynowy) P(m) = 1/50000 (a priori, że osoba ma zapalenie opon) P(s) = 0.01 (a priori, że osoba ma sztywność kark) [zadanie 6] P(m s) =? 1. Jeśli doktor wie, że P(m s) = 0.0014, to nie musi korzystać z reguły Bayes a, więc po co mu to całe wnioskowanie? Otóż, P(m s) nie jest stałe! Jeśli tylko wybuchnie epidemia zapalenia opon mózgowych, wtedy P(m) się zwiększy i P(m s) się zwiększy. P(m s) jest stałe, bo odzwierciedla zasady fizyki/biologii/etc.

Przykład Przykład Przykład Zapalenie opon mózgowych (M) i sztywność karku (S). P(s m) = 0.7 (kierunek przyczynowy) P(m) = 1/50000 (a priori, że osoba ma zapalenie opon) P(s) = 0.01 (a priori, że osoba ma sztywność kark) [zadanie 6] P(m s) = P(s m)p(m) = 0.0014 P(s) Zapalenie opon mózgowych (M) i sztywność karku (S). P(s m) = 0.7 (kierunek przyczynowy) P(m) = 1/50000 (a priori, że osoba ma zapalenie opon) P(s) = 0.01 (a priori, że osoba ma sztywność kark) [zadanie 6] 1. Jeśli doktor wie, że P(m s) = 0.0014, to nie musi korzystać z reguły Bayes a, więc po co mu to całe wnioskowanie? Otóż, P(m s) nie jest stałe! Jeśli tylko wybuchnie epidemia zapalenia opon mózgowych, wtedy P(m) się zwiększy i P(m s) się zwiększy. P(m s) jest stałe, bo odzwierciedla zasady fizyki/biologii/etc. P(m s) = P(s m)p(m) P(s) = 0.0014

Przykład Przykład Przykład Zapalenie opon mózgowych (M) i sztywność karku (S). P(s m) = 0.7 (kierunek przyczynowy) P(m) = 1/50000 (a priori, że osoba ma zapalenie opon) P(s) = 0.01 (a priori, że osoba ma sztywność kark) [zadanie 6] P(m s) = P(s m)p(m) = 0.0014 P(s) Prawd. w kierunku przyczynowym jest solidniejsze! Zapalenie opon mózgowych (M) i sztywność karku (S). P(s m) = 0.7 (kierunek przyczynowy) P(m) = 1/50000 (a priori, że osoba ma zapalenie opon) P(s) = 0.01 (a priori, że osoba ma sztywność kark) [zadanie 6] 1. Jeśli doktor wie, że P(m s) = 0.0014, to nie musi korzystać z reguły Bayes a, więc po co mu to całe wnioskowanie? Otóż, P(m s) nie jest stałe! Jeśli tylko wybuchnie epidemia zapalenia opon mózgowych, wtedy P(m) się zwiększy i P(m s) się zwiększy. P(m s) jest stałe, bo odzwierciedla zasady fizyki/biologii/etc. P(m s) = P(s m)p(m) P(s) = 0.0014 Prawd. w kierunku przyczynowym jest solidniejsze!

Warunkowa niezależność zmiennych Warunkowa niezależność zmiennych 1. P(Dziura test) = α 0.108, 0.016 0.871, 0.129 Warunkowa niezależność zmiennych P(Dziura test) =? Ale to się nie skaluje, gdy mamy wiele zmiennych ( wielka tabelka ). P(Dziura test) =? Ale to się nie skaluje, gdy mamy wiele zmiennych ( wielka tabelka ).

Warunkowa niezależność zmiennych Warunkowa niezależność zmiennych 1. P(Dziura test) = α 0.108, 0.016 0.871, 0.129 Warunkowa niezależność zmiennych P(Dziura test) =? Ale to się nie skaluje, gdy mamy wiele zmiennych ( wielka tabelka ). P(Dziura test) = αp( test Dziura)P(Dziura) = αp( Dziura)P(test Dziura)P(Dziura) P(Dziura test) =? Ale to się nie skaluje, gdy mamy wiele zmiennych ( wielka tabelka ). P(Dziura test) = αp( test Dziura)P(Dziura) = αp( Dziura)P(test Dziura)P(Dziura)

Warunkowa niezależność zmiennych Warunkowa niezależność zmiennych Warunkowa niezależność zmiennych C rak, T1 jakiś test na obecność raka, T2 jakiś inny test na obecność raka C jest zmienną ukrytą. Ale jeśli znalibyśmy C, jakakolwiek wiedza o T1 nie da nam żadnej dodatkowej wiedzy dot. T2, czyli T1 i T2 są niezależne warunkowo pod warunkiem C. P(T2 C, T1) = P(T2 C) P(T1, T2 C) = P(T1 C)P(T2 C) Notacja: T1 T2 C C rak, T 1 jakiś test na obecność raka, T 2 jakiś inny test na obecność raka C jest zmienną ukrytą. Ale jeśli znalibyśmy C, jakakolwiek wiedza o T 1 nie da nam żadnej dodatkowej wiedzy dot. T 2, czyli T 1 i T 2 są niezależne warunkowo pod warunkiem C. P(T2 C, T 1 ) = P(T 2 C) P(T1, T 2 C) = P(T 1 C)P(T 2 C) Notacja: T 1 T 2 C 1. Widać to na diagramie. Jeśli znamy C, to on niezależnie wpływa na T1 i T2. W pewnym sensie obcina to co się dzieje w T1 od tego co się dzieje w T2 2. Jeśli zmienne losowe A i B są niezależne pod warunkiem, że X, możemy wnioskować tak: P(A, B, X ) = P(A, B X )P(X ) = P(A X )P(B X )P(X ).

1,4 2,4 1,3 2,3 3,3 4,3 1,2 2,2 3,2 4,2 B OK 1,1 2,1 3,1 4,1 B OK OK 3,4 4,4 1,4 2,4 3,4 4,4 1,3 2,3 3,3 4,3 OTHER QUERY 1,2 2,2 3,2 4,2 FRONTIER 1,1 2,1 3,1 4,1 KNOWN Wumpus 1,4 2,4 3,4 4,4 1,4 2,4 3,4 4,4 Wumpus Wumpus Jakie jest prawd, że w polu (1,3) jest jama jeśli wiatr poczuliśmy w polu (1,2) i (2,1)? Zmienne losowe: Di,j (dziura na polu (i, j)) oraz Bi,j (bryza na polu (i, j)). 1,3 2,3 3,3 4,3 1,3 2,3 3,3 OTHER 4,3 QUERY 1,2 2,2 3,2 4,2 B OK 1,1 2,1 3,1 4,1 B 1,2 2,2 3,2 4,2 1,1 2,1 FRONTIER 3,1 4,1 KNOWN OK OK Jakie jest prawd, że w polu (1,3) jest jama jeśli wiatr poczuliśmy w polu (1,2) i (2,1)? Zmienne losowe: D i,j (dziura na polu (i, j)) oraz B i,j (bryza na polu (i, j)).