Algorytmy stochastyczne, wykład 08 Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2014-04-10
Prawdopodobieństwo Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe (Dla przestrzeni skończonej!) Prawdopodobieństwem zajścia zdarzenia A jest P(A) := liczba zdarzeń spełniających A. liczba wszystkich zdarzeń
Prawdopodobieństwo Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe (W ogólnym przypadku) Prawdopodobieństwem zajścia zdarzenia ze zbioru A jest P(A) := miara zbioru A miara całej przestrzeni = µ(a) µ(ω).
Prawdopodobieństwo spełnia Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Jeżeli P(A), P(B) prawdopodobieństwa, to P( ) = 0 P(A) 1 = P(Ω) P(A) + P(B) P(A B) P(A B) = P(A) + P(B) P(A B) jeżeli A i B są rozłączne, to P(A B) = P(A) + P(B) P(A B) P(A) P(A B)
Prawdopodobieństwo warunkowe Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Jeżeli P(A), P(B) prawdopodobieństwa i P > 0, to prawdopodobieństwo warunkowe A pod warunkiem B P(A B) := P(A B) P(B) intuicyjnie: Już wiemy, że zaszło B. Jakie są szanse, że zajdzie [jeszcze] A?
Prawdopodobieństwo warunkowe Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Przykład Rzucamy kostką sześcienną A = wypadła liczba parzysta B = wypadła liczba mniejsza niż 3 P(A B) := P(A B) P(B) = P(Parzysta mniejsza niż 3) P(mniejsza niż3) Zatem P(A B) := 1/6 2/6 = 1 2
Prawdopodobieństwo warunkowe Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Przykład A = wypadła liczba parzysta B = wypadła liczba mniejsza niż 3 P-o B pod warunkiem A: P(B A) := P(B A) P(A) = P(Parzysta mniejsza niż3) P(parzysta) i mamy P(B A) := 1/6 3/6 = 1 3
Prawdopodobieństwo warunkowe Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Nie musi być prawdą (i zwykle nie jest!), że P(A B) = P(B A)
Warunkowanie po wielu zdarzeniach Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Warunkowanie po wielu zdarzeniach: P(A B, C) = P(A B C) P(B C)
Niezależność Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Dwa zdarzenia A i B są niezależne jeżeli P(A B) = P(A) P(B) równoważna definicja P(A B) = P(A) lub P(B A) = P(B) Intuicyjnie: wiedza o tym czy zaszło [lub nie] B nic nam nie mówi o zajściu A
Wzór Bayesa Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Dla zdarzeń A i B P(A), P(B) > 0 zachodzi P(A B) = P(B A)P(A) P(B)
Zmienne losowe Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe (wersja na egzamin) Zmienna losowa X jest to funkcja mierzalna z B(R) [0, 1] (intuicyjnie) jakie jest prawdopodobieństwo, że zmienna przyjmuje ustaloną wartość np. X = 8? (rozszerzona wersja) jakie jest prawdopodobieństwo, że zmienna przyjmuje wartość z danego zbioru np. X = 8 lub X = 11 (tzn. X {8, 11})? (znacznie mniej intuicyjnie) a co jeżeli liczb w zbiorze będzie nieprzeliczalnie wiele?
Zmienne losowe Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Jeżeli nie będzie zaznaczone inaczej, to do końca wykładu zakładamy, że zmienna losowa przyjmuje skończenie wiele wartości! Zdarzenie zmienna losowa X przyjmuje wartość 1 oznaczamy X = 1 Prawdopodobieństwo zdarzenia, że zmienna losowa X przyjmuje wartość x 1 oznaczamy P(X = x 1 )
Zmienne losowe Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Jeżeli zmienna losowa X przyjmuje k różnych wartości, to P(X = x 1 ) + P(X = x 2 ) + + P(X = x k ) = 1
Reguła łańcucha Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Jeżeli zmienna losowa X przyjmuje k różnych wartości to k P(Y Z, X = x i ) P(X = x i Z) = P(Y Z) i=1
Przykład sieci bayesowskiej Tabela Pogoda pogoda P słońce.45 deszcz.55 Pogoda słońce,deszcz Spóźnienie nie,15 min,tak
Przykład sieci bayesowskiej Tabela Spóźnienie Pogoda słońce,deszcz Pogoda P(S = n) P(S = 15m) P(t) Pog= sł.8 0.1 0.1 Pog= des.3 0.4 0.3 Spóźnienie nie,15 min,tak
Przykład Jakie jest prawdopodobieństwo, że się spóźnię do 15 minut? Do przeliczenia na tablicy!
Przykład Jakie jest prawdopodobieństwo, że się spóźnię do 15 minut? Do przeliczenia na tablicy! z reguły łańcucha P(Sp = 10m) = 2 P(S = 10 P = p i ) P(P = p i ) i=1
Przykład Jakie jest prawdopodobieństwo, że się spóźnię do 15 minut? Do przeliczenia na tablicy! z reguły łańcucha P(Sp = 10m) = po podstawieniu 2 P(S = 10 P = p i ) P(P = p i ) i=1 = P(S = 10 P = sl) P(P = sl) + P(S = 10 P = de) P(P = de)
Przykład Jakie jest prawdopodobieństwo, że się spóźnię do 15 minut? Do przeliczenia na tablicy! z reguły łańcucha P(Sp = 10m) = po podstawieniu 2 P(S = 10 P = p i ) P(P = p i ) i=1 = P(S = 10 P = sl) P(P = sl) + P(S = 10 P = de) P(P = de) i liczbowo 0.1 0.45 + 0.4.55 =.045 +.22 = 0.265 prawdopodobieństwo brzegowe
Przykład Jakie jest prawdopodobieństwo, że się nie spóźnię jeżeli wiadomo, że jest deszczowo? wnioskowanie predyktywne P(Sp = nie Pog = deszcz) =?? (w tym wypadku) odczytujemy bezpośrednio z tabeli ogólnie jest trudniej
Przykład Jakie jest prawdopodobieństwo, że dziś pada, jeżeli wiadomo, że się spóźniłem? wnioskowanie diagnostyczne P(Pog = deszcz Sp = tak) =??
Przykład Jakie jest prawdopodobieństwo, że dziś pada, jeżeli wiadomo, że się spóźniłem? wnioskowanie diagnostyczne P(Pog = deszcz Sp = tak) =?? ze wzoru Bayesa P(Pog = deszcz Sp = tak) = P(Sp = tak Pog = de) P(Pog = de) P(Sp = tak)
Przykład wzór P(P = de Sp = t) = P(Sp = t P = de) P(P = de) P(Sp = t) P(Sp = t P = de) = 0.3 z tabeli dla Spóźnienia P(P = de) = 0.55 z tabeli dla Pogody P(Sp = t) =... trzeba policzyć (patrz 2 slajdy wstecz)
Przykład wzór P(P = de Sp = t) = P(Sp = t P = de) P(P = de) P(Sp = t) P(Sp = t P = de) = 0.3 z tabeli dla Spóźnienia P(P = de) = 0.55 z tabeli dla Pogody P(Sp = t) =... trzeba policzyć (patrz 2 slajdy wstecz) P(Sp = t) = P(S = t P = d)p(p = d)+p(s = t P = s)p(p = s) P(Sp = t) =.3.55 +.1.45 = 0.21
Przykład Wracamy do wzorku: P(P = de Sp = t) = P(Sp = t P = de) P(P = de) P(Sp = t) podstawiamy P(P = de Sp = t) =.3.55.21 0.79
Sieć bayesowska siecią bayesowską jest graf skierowany i acykliczny w wierzchołkach znajdują się zmienne losowe krawędzie oznaczają bezpośrednią zależność rozkładu zmiennych od rodziców
Sieć bayesowska siecią bayesowską jest wygodna do modelowania zależności przyczynowo-skutkowych każda bezpośrednia zależność (krawędź) jest opisywalna w języku ludzkim
Wnioskowanie wnioskowanie obliczenie prawdopodobieństwa (warunkowego) dla pewnych interesujących nas węzłów
Wnioskowanie Wnioskowanie apriori bez żadnej dodatkowej wiedzy wnioskowanie aposteriori posiadamy wiedzę (evidence), że zaszło pewne zdarzenie np X = x 2 i Z = z 5 jak się zmienia prawdopodobieństwo zajścia pozostałych węzłów np P(Y = y 1 X = x 2, Z = z 2 ) =??
Wnioskowanie Wnioskowanie w przód P(X Y = y 1 ), jeżeli X jest potomkiem Y predykcja zachowania
Wnioskowanie Wnioskowanie w tył P(X Y = y 1 ), jeżeli X jest przodkiem Y diagnostyka
Wnioskowanie Wnioskowanie w mieszane P(X Y = y 1 ), np. jeżeli X nie są połączone skierowaną ścieżką Y np. jeżeli wiedza jest zarówno jednocześnie w potomkach i przodkach X
Przykład 2 Tabela Stan Stan P ok.65 problem hardware.10 problem software.25 Wiatrak nie,tak Stan ok,hw,sw Grafika nie,tak
Przykład 2 Tabela Wiatrak Stan W = t W = n ok.9.1 pr. hw.5.5 pr. sw.7.3 Wiatrak nie,tak Stan ok,hw,sw Grafika nie,tak
Przykład 2 Tabela Grafika Stan G = t G = n ok 1 0 pr. hw.2.8 pr. sw.4.6 Wiatrak nie,tak Stan ok,hw,sw Grafika nie,tak
Wnioskowanie P(G = t S = hw) = 0.2 bezpośredni z tabeli Wiatrak Stan Grafika
Wnioskowanie P(S = hw G = n) =?? z Tw. Bayesa Wiatrak Stan Grafika
do policzenia z Tw. Bayesa P(S = hw G = n) =?? P(G = n S = h)p(s = h)/p(g = n) z wzoru na prawd. całkowite P(G = n S = h)p(s = h) 3 P(G = n S = s i )P(S = s i ) i=1
Wnioskowanie Stan P(W = t G = n) =?? Wiatrak Grafika
do policzenia P(W = t G = n) =?? bezpośrednio nie da rady reguła łańcucha: dodajmy sumowanie po drugim trzecim węźle: P() = P(W = t G = n, S = ok) P(S = ok G = n) +P(W = t G = n, S = hw) P(S = hw G = n) +P(W = t G = n, S = sw) P(S = sw G = n)
do policzenia P(W = t G = n) =?? zauważmy, że: P(W = t G = n, S = ok) = P(W = t S = ok) jeżeli znamy Stan maszyny, to informacje o grafice już nie są nam potrzebne zatem upraszczamy do P(W = t S = ok) P(S = ok G = n) +P(W = t S = hw) P(S = hw G = n) +P(W = t S = sw) P(S = sw G = n) (1)
do policzenia P(W = t G = n) =?? P(W = t S = ok) z tabeli P(S = ok G = n) jak wcześniej
Przykład 3 V-struktura Tabela Pożar P tak.05 nie.95 Pożar nie,tak Alarm tak,nie TIR nie,tak
Przykład 3 V-struktura Tabela Pożar nie,tak TIR Pożar A = Tak A = Nie t t 1 0 t n 1 0 n t.3.7 n n.01.99 Alarm tak,nie TIR nie,tak