Algorytmy stochastyczne, wykład 08 Sieci bayesowskie

Transkrypt

1 Algorytmy stochastyczne, wykład 08 Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika

2 Prawdopodobieństwo Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe (Dla przestrzeni skończonej!) Prawdopodobieństwem zajścia zdarzenia A jest P(A) := liczba zdarzeń spełniających A. liczba wszystkich zdarzeń

3 Prawdopodobieństwo Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe (W ogólnym przypadku) Prawdopodobieństwem zajścia zdarzenia ze zbioru A jest P(A) := miara zbioru A miara całej przestrzeni = µ(a) µ(ω).

4 Prawdopodobieństwo spełnia Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Jeżeli P(A), P(B) prawdopodobieństwa, to P( ) = 0 P(A) 1 = P(Ω) P(A) + P(B) P(A B) P(A B) = P(A) + P(B) P(A B) jeżeli A i B są rozłączne, to P(A B) = P(A) + P(B) P(A B) P(A) P(A B)

5 Prawdopodobieństwo warunkowe Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Jeżeli P(A), P(B) prawdopodobieństwa i P > 0, to prawdopodobieństwo warunkowe A pod warunkiem B P(A B) := P(A B) P(B) intuicyjnie: Już wiemy, że zaszło B. Jakie są szanse, że zajdzie [jeszcze] A?

6 Prawdopodobieństwo warunkowe Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Przykład Rzucamy kostką sześcienną A = wypadła liczba parzysta B = wypadła liczba mniejsza niż 3 P(A B) := P(A B) P(B) = P(Parzysta mniejsza niż 3) P(mniejsza niż3) Zatem P(A B) := 1/6 2/6 = 1 2

7 Prawdopodobieństwo warunkowe Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Przykład A = wypadła liczba parzysta B = wypadła liczba mniejsza niż 3 P-o B pod warunkiem A: P(B A) := P(B A) P(A) = P(Parzysta mniejsza niż3) P(parzysta) i mamy P(B A) := 1/6 3/6 = 1 3

8 Prawdopodobieństwo warunkowe Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Nie musi być prawdą (i zwykle nie jest!), że P(A B) = P(B A)

9 Warunkowanie po wielu zdarzeniach Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Warunkowanie po wielu zdarzeniach: P(A B, C) = P(A B C) P(B C)

10 Niezależność Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Dwa zdarzenia A i B są niezależne jeżeli P(A B) = P(A) P(B) równoważna definicja P(A B) = P(A) lub P(B A) = P(B) Intuicyjnie: wiedza o tym czy zaszło [lub nie] B nic nam nie mówi o zajściu A

11 Wzór Bayesa Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Dla zdarzeń A i B P(A), P(B) > 0 zachodzi P(A B) = P(B A)P(A) P(B)

12 Zmienne losowe Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe (wersja na egzamin) Zmienna losowa X jest to funkcja mierzalna z B(R) [0, 1] (intuicyjnie) jakie jest prawdopodobieństwo, że zmienna przyjmuje ustaloną wartość np. X = 8? (rozszerzona wersja) jakie jest prawdopodobieństwo, że zmienna przyjmuje wartość z danego zbioru np. X = 8 lub X = 11 (tzn. X {8, 11})? (znacznie mniej intuicyjnie) a co jeżeli liczb w zbiorze będzie nieprzeliczalnie wiele?

13 Zmienne losowe Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Jeżeli nie będzie zaznaczone inaczej, to do końca wykładu zakładamy, że zmienna losowa przyjmuje skończenie wiele wartości! Zdarzenie zmienna losowa X przyjmuje wartość 1 oznaczamy X = 1 Prawdopodobieństwo zdarzenia, że zmienna losowa X przyjmuje wartość x 1 oznaczamy P(X = x 1 )

14 Zmienne losowe Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Jeżeli zmienna losowa X przyjmuje k różnych wartości, to P(X = x 1 ) + P(X = x 2 ) + + P(X = x k ) = 1

15 Reguła łańcucha Prawdopodobieństwo Prawdopodobieństwo warunkowe Zmienne losowe Jeżeli zmienna losowa X przyjmuje k różnych wartości to k P(Y Z, X = x i ) P(X = x i Z) = P(Y Z) i=1

16 Przykład sieci bayesowskiej Tabela Pogoda pogoda P słońce.45 deszcz.55 Pogoda słońce,deszcz Spóźnienie nie,15 min,tak

17 Przykład sieci bayesowskiej Tabela Spóźnienie Pogoda słońce,deszcz Pogoda P(S = n) P(S = 15m) P(t) Pog= sł Pog= des Spóźnienie nie,15 min,tak

18 Przykład Jakie jest prawdopodobieństwo, że się spóźnię do 15 minut? Do przeliczenia na tablicy!

19 Przykład Jakie jest prawdopodobieństwo, że się spóźnię do 15 minut? Do przeliczenia na tablicy! z reguły łańcucha P(Sp = 10m) = 2 P(S = 10 P = p i ) P(P = p i ) i=1

20 Przykład Jakie jest prawdopodobieństwo, że się spóźnię do 15 minut? Do przeliczenia na tablicy! z reguły łańcucha P(Sp = 10m) = po podstawieniu 2 P(S = 10 P = p i ) P(P = p i ) i=1 = P(S = 10 P = sl) P(P = sl) + P(S = 10 P = de) P(P = de)

21 Przykład Jakie jest prawdopodobieństwo, że się spóźnię do 15 minut? Do przeliczenia na tablicy! z reguły łańcucha P(Sp = 10m) = po podstawieniu 2 P(S = 10 P = p i ) P(P = p i ) i=1 = P(S = 10 P = sl) P(P = sl) + P(S = 10 P = de) P(P = de) i liczbowo = = prawdopodobieństwo brzegowe

22 Przykład Jakie jest prawdopodobieństwo, że się nie spóźnię jeżeli wiadomo, że jest deszczowo? wnioskowanie predyktywne P(Sp = nie Pog = deszcz) =?? (w tym wypadku) odczytujemy bezpośrednio z tabeli ogólnie jest trudniej

23 Przykład Jakie jest prawdopodobieństwo, że dziś pada, jeżeli wiadomo, że się spóźniłem? wnioskowanie diagnostyczne P(Pog = deszcz Sp = tak) =??

24 Przykład Jakie jest prawdopodobieństwo, że dziś pada, jeżeli wiadomo, że się spóźniłem? wnioskowanie diagnostyczne P(Pog = deszcz Sp = tak) =?? ze wzoru Bayesa P(Pog = deszcz Sp = tak) = P(Sp = tak Pog = de) P(Pog = de) P(Sp = tak)

25 Przykład wzór P(P = de Sp = t) = P(Sp = t P = de) P(P = de) P(Sp = t) P(Sp = t P = de) = 0.3 z tabeli dla Spóźnienia P(P = de) = 0.55 z tabeli dla Pogody P(Sp = t) =... trzeba policzyć (patrz 2 slajdy wstecz)

26 Przykład wzór P(P = de Sp = t) = P(Sp = t P = de) P(P = de) P(Sp = t) P(Sp = t P = de) = 0.3 z tabeli dla Spóźnienia P(P = de) = 0.55 z tabeli dla Pogody P(Sp = t) =... trzeba policzyć (patrz 2 slajdy wstecz) P(Sp = t) = P(S = t P = d)p(p = d)+p(s = t P = s)p(p = s) P(Sp = t) = = 0.21

27 Przykład Wracamy do wzorku: P(P = de Sp = t) = P(Sp = t P = de) P(P = de) P(Sp = t) podstawiamy P(P = de Sp = t) =

28 Sieć bayesowska siecią bayesowską jest graf skierowany i acykliczny w wierzchołkach znajdują się zmienne losowe krawędzie oznaczają bezpośrednią zależność rozkładu zmiennych od rodziców

29 Sieć bayesowska siecią bayesowską jest wygodna do modelowania zależności przyczynowo-skutkowych każda bezpośrednia zależność (krawędź) jest opisywalna w języku ludzkim

30 Wnioskowanie wnioskowanie obliczenie prawdopodobieństwa (warunkowego) dla pewnych interesujących nas węzłów

31 Wnioskowanie Wnioskowanie apriori bez żadnej dodatkowej wiedzy wnioskowanie aposteriori posiadamy wiedzę (evidence), że zaszło pewne zdarzenie np X = x 2 i Z = z 5 jak się zmienia prawdopodobieństwo zajścia pozostałych węzłów np P(Y = y 1 X = x 2, Z = z 2 ) =??

32 Wnioskowanie Wnioskowanie w przód P(X Y = y 1 ), jeżeli X jest potomkiem Y predykcja zachowania

33 Wnioskowanie Wnioskowanie w tył P(X Y = y 1 ), jeżeli X jest przodkiem Y diagnostyka

34 Wnioskowanie Wnioskowanie w mieszane P(X Y = y 1 ), np. jeżeli X nie są połączone skierowaną ścieżką Y np. jeżeli wiedza jest zarówno jednocześnie w potomkach i przodkach X

35 Przykład 2 Tabela Stan Stan P ok.65 problem hardware.10 problem software.25 Wiatrak nie,tak Stan ok,hw,sw Grafika nie,tak

36 Przykład 2 Tabela Wiatrak Stan W = t W = n ok.9.1 pr. hw.5.5 pr. sw.7.3 Wiatrak nie,tak Stan ok,hw,sw Grafika nie,tak

37 Przykład 2 Tabela Grafika Stan G = t G = n ok 1 0 pr. hw.2.8 pr. sw.4.6 Wiatrak nie,tak Stan ok,hw,sw Grafika nie,tak

38 Wnioskowanie P(G = t S = hw) = 0.2 bezpośredni z tabeli Wiatrak Stan Grafika

39 Wnioskowanie P(S = hw G = n) =?? z Tw. Bayesa Wiatrak Stan Grafika

40 do policzenia z Tw. Bayesa P(S = hw G = n) =?? P(G = n S = h)p(s = h)/p(g = n) z wzoru na prawd. całkowite P(G = n S = h)p(s = h) 3 P(G = n S = s i )P(S = s i ) i=1

41 Wnioskowanie Stan P(W = t G = n) =?? Wiatrak Grafika

42 do policzenia P(W = t G = n) =?? bezpośrednio nie da rady reguła łańcucha: dodajmy sumowanie po drugim trzecim węźle: P() = P(W = t G = n, S = ok) P(S = ok G = n) +P(W = t G = n, S = hw) P(S = hw G = n) +P(W = t G = n, S = sw) P(S = sw G = n)

43 do policzenia P(W = t G = n) =?? zauważmy, że: P(W = t G = n, S = ok) = P(W = t S = ok) jeżeli znamy Stan maszyny, to informacje o grafice już nie są nam potrzebne zatem upraszczamy do P(W = t S = ok) P(S = ok G = n) +P(W = t S = hw) P(S = hw G = n) +P(W = t S = sw) P(S = sw G = n) (1)

44 do policzenia P(W = t G = n) =?? P(W = t S = ok) z tabeli P(S = ok G = n) jak wcześniej

45 Przykład 3 V-struktura Tabela Pożar P tak.05 nie.95 Pożar nie,tak Alarm tak,nie TIR nie,tak

46 Przykład 3 V-struktura Tabela Pożar nie,tak TIR Pożar A = Tak A = Nie t t 1 0 t n 1 0 n t.3.7 n n Alarm tak,nie TIR nie,tak