Systemy ekspertowe. Wykład 4 Reprezentacja wiedzy Probabilistyczne wyrażanie niepewności. Joanna Kołodziejczyk

Podobne dokumenty
Niepewność Belief Networks SE. Zarządzanie wiedzą. Wykład 9 Reprezentacja niepewności w systemach inteligentnych Probabilistyka. Joanna Kołodziejczyk

Wnioskowanie statystyczne i oparte na współczynnikach wiarygodności. Wprowadzenie teoretyczne Wnioskowanie probabilistyczne Przykłady

Wnioskowanie statystyczne i oparte na współczynnikach wiarygodności

Wnioskowanie statystyczne i oparte na współczynnikach wiarygodności

Inżynieria Wiedzy i Systemy Ekspertowe. Niepewność wiedzy. dr inż. Michał Bereta Politechnika Krakowska

Algorytmy stochastyczne, wykład 08 Sieci bayesowskie

Inżynieria wiedzy Wnioskowanie oparte na wiedzy niepewnej Opracowane na podstawie materiałów dra Michała Berety

Systemy ekspertowe - wiedza niepewna

STATYSTYKA MATEMATYCZNA

Wnioskowanie bayesowskie

WSTĘP DO REGRESJI LOGISTYCZNEJ. Dr Wioleta Drobik-Czwarno

Systemy ekspertowe. Reprezentacja wiedzy niepewnej i wnioskowanie w warunkach niepewności. Model współczynników pewności.

Wstęp do Metod Systemowych i Decyzyjnych Opracowanie: Jakub Tomczak

Sieci Bayesa mgr Tomasz Xięski, Instytut Informatyki, Uniwersytet Śląski Sosnowiec, 2011

Klasyfikacja metodą Bayesa

TEORETYCZNE PODSTAWY INFORMATYKI

Adam Kirpsza Zastosowanie regresji logistycznej w studiach nad Unią Europejska. Anna Stankiewicz Izabela Słomska

Statystyka matematyczna Testowanie hipotez i estymacja parametrów. Wrocław, r

STATYSTYKA MATEMATYCZNA

Weryfikacja hipotez statystycznych

Sortowanie topologiczne skierowanych grafów acyklicznych

Gdzie: N zbiór wierzchołków grafu, E zbiór krawędzi grafu, Cp zbiór prawdopodobieostw warunkowych.

WPROWADZENIE DO SZTUCZNEJ INTELIGENCJI

Agnieszka Nowak Brzezińska Wykład III

Metody teorii gier. ALP520 - Wykład z Algorytmów Probabilistycznych p.2

Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory

Wykład 8 Dane kategoryczne

Digraf. 13 maja 2017

Stanisław Cichocki Natalia Nehrebecka. Wykład 7

Przepustowość kanału, odczytywanie wiadomości z kanału, poprawa wydajności kanału.

Wykład Centralne twierdzenie graniczne. Statystyka matematyczna: Estymacja parametrów rozkładu

P(F=1) F P(C1 = 1 F = 1) P(C1 = 1 F = 0) P(C2 = 1 F = 1) P(C2 = 1 F = 0) P(R = 1 C2 = 1) P(R = 1 C2 = 0)

Statystyka w pracy badawczej nauczyciela Wykład 4: Analiza współzależności. dr inż. Walery Susłow walery.suslow@ie.tu.koszalin.pl

Systemy uczące się wykład 2

Grafem nazywamy strukturę G = (V, E): V zbiór węzłów lub wierzchołków, Grafy dzielimy na grafy skierowane i nieskierowane:

Rozmyte systemy doradcze

Indukowane Reguły Decyzyjne I. Wykład 3

Wykład 2 Hipoteza statystyczna, test statystyczny, poziom istotn. istotności, p-wartość i moc testu

Po co nam statystyka matematyczna? Żeby na podstawie próby wnioskować o całej populacji

SZTUCZNA INTELIGENCJA

Wprowadzenie do teorii ekonometrii. Wykład 1 Warunkowa wartość oczekiwana i odwzorowanie liniowe

Klasyfikatory: k-nn oraz naiwny Bayesa. Agnieszka Nowak Brzezińska Wykład IV

Weryfikacja hipotez statystycznych, parametryczne testy istotności w populacji

Podstawy metod probabilistycznych. dr Adam Kiersztyn

STANDARDOWE FUNKCJE PRZYNALEŻNOŚCI. METODY HEURYSTYCZNE wykład 6. (alternatywa dla s) (zdef. poprzez klasę s) GAUSSOWSKA F.

ALGORYTMICZNA I STATYSTYCZNA ANALIZA DANYCH

Modelowanie Niepewności

STATYSTYKA MATEMATYCZNA WYKŁAD 1

P: Czy studiujący i niestudiujący preferują inne sklepy internetowe?

10/24/2015 CELE ZAJĘĆ PLAN ZAJĘĆ METODY BADAŃ SPOŁECZNYCH WYKŁAD 1

Systemy ekspertowe : program PCShell

Inżynieria Wiedzy i Systemy Ekspertowe. Niepewność wiedzy. dr inż. Michał Bereta Politechnika Krakowska

Na podstawie: AIMA, ch13. Wojciech Jaśkowski. 15 marca 2013

Wnioskowanie statystyczne. Statystyka w 5

POISSONOWSKA APROKSYMACJA W SYSTEMACH NIEZAWODNOŚCIOWYCH

Testowanie hipotez statystycznych

Rozdział 1. Wektory losowe. 1.1 Wektor losowy i jego rozkład

Teoria obliczeń i złożoność obliczeniowa

Statystyka. #5 Testowanie hipotez statystycznych. Aneta Dzik-Walczak Małgorzata Kalbarczyk-Stęclik. rok akademicki 2016/ / 28

Wstęp. Regresja logistyczna. Spis treści. Hipoteza. powrót

Agnieszka Nowak Brzezińska Wykład III

Prognozowanie i Symulacje. Wykład I. Matematyczne metody prognozowania

Eksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18

Modele zapisane w przestrzeni stanów

Weryfikacja hipotez statystycznych. KG (CC) Statystyka 26 V / 1

Rozdział 2: Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów

Inteligencja obliczeniowa

Logika stosowana. Ćwiczenia Wnioskowanie przez abdukcję. Marcin Szczuka. Instytut Matematyki, Uniwersytet Warszawski

b) Niech: - wśród trzech wylosowanych opakowań jest co najwyżej jedno o dawce 15 mg. Wówczas:

Zależność cech (wersja 1.01)

Podstawy Sztucznej Inteligencji (PSZT)

Statystyka matematyczna i ekonometria

Zadania ze statystyki cz. 8 I rok socjologii. Zadanie 1.

Metody probabilistyczne klasyfikatory bayesowskie

VI WYKŁAD STATYSTYKA. 9/04/2014 B8 sala 0.10B Godz. 15:15

Statystyka matematyczna i ekonometria

STATYSTYKA wykład 5-6

Wstęp do programowania. Drzewa. Piotr Chrząstowski-Wachtel

Inżynieria oprogramowania. Część 8: Metoda szacowania ryzyka - PERT

Statystyka Astronomiczna

KARTA KURSU. Probability theory

Systemy eksperowe. Agnieszka Nowak Brzezińska Wykład I

Analiza korespondencji

STATYSTYKA INDUKCYJNA. O sondażach i nie tylko

Rachunek prawdopodobieństwa Rozdział 5. Rozkłady łączne

10/4/2015 CELE ZAJĘĆ PLAN ZAJĘĆ METODY BADAŃ SPOŁECZNYCH WYKŁAD 1: ZAJĘCIA WPROWADZAJĄCE

Rachunek prawdopodobieństwa

i=7 X i. Zachodzi EX i = P(X i = 1) = 1 2, i {1, 2,..., 11} oraz EX ix j = P(X i = 1, X j = 1) = 1 7 VarS 2 2 = 14 3 ( 5 2 =

Testowanie hipotez statystycznych

WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 9 i 10 - Weryfikacja hipotez statystycznych

Analiza składowych głównych. Wprowadzenie

Temat: Systemy Ekspertowe i ich zastosowania

Agata Boratyńska Statystyka aktuarialna... 1

Metody probabilistyczne

Kongruencje twierdzenie Wilsona

Rachunek Prawdopodobieństwa i Statystyka

Spacery losowe generowanie realizacji procesu losowego

Prawdopodobieństwo warunkowe Twierdzenie o prawdopodobieństwie całkowitym

Testowanie hipotez. Hipoteza prosta zawiera jeden element, np. H 0 : θ = 2, hipoteza złożona zawiera więcej niż jeden element, np. H 0 : θ > 4.

Modele DSGE. Jerzy Mycielski. Maj Jerzy Mycielski () Modele DSGE Maj / 11

Transkrypt:

Systemy ekspertowe Wykład 4 Reprezentacja wiedzy Probabilistyczne wyrażanie niepewności Joanna Kołodziejczyk 2016 Joanna Kołodziejczyk Systemy ekspertowe 2016 1 / 51

Niepewność Plan wykładu 1 Niepewność 2 Belief Networks 3 SE 4 Literatura Joanna Kołodziejczyk Systemy ekspertowe 2016 2 / 51

Niepewność Pochodzenie niepewności Niepewność wiedzy podstawowej np.. pewne przyczyny chorób są nieznane i nie są prezentowane w podstawach wiedzy medycznej. Niepewność działań Chcąc wykonać działanie można przedstawić warunki jego odpalenia jako relatywnie krótką listę warunków początkowych. W rzeczywistości liczba faktów do uwzględnienia jest przytłaczająco duża. Niepewność postrzegania np.. czujniki nie podają dokładnej informacji o świecie i system nigdy nie wie wszystkiego o swoim położeniu. W dodatku do czujników dociera szum. Joanna Kołodziejczyk Systemy ekspertowe 2016 3 / 51

Niepewność Systemy działające z niepewnością Wnioskowanie niemonotoniczne np.. Zakładam, że samochód nie ma dziury w oponie. W związku z tym mogę wnioskować, że dojadę do pracy. Problemem we wnioskowaniu niemonotonicznym jest określenie, które założenia są poprawne, jak radzić sobie ze sprzecznościami powstałymi w wyniki wprowadzenia nowego założenia. Zastosowanie współczynników wiarygodności Zastosowanie w MYCIN np. reguły: zraszacz mokra trawa (cf = 0.99). Wyraża na ile wiarygodny jest fakt czy reguła w skali [-1,1]. Joanna Kołodziejczyk Systemy ekspertowe 2016 4 / 51

Niepewność Systemy działające z niepewnością Prawdopodobieństwo Dobry dla systemów z danymi, w których można obliczyć prawdopodobieństwo zdarzeń. Wartości prawdopodobieństwa wykorzystuje się jako stopień przekonania (degree of belief). Logika rozmyta Wyraża w skali [0, 1] stopień prawdziwości (degree of truth) i nie powinien być mylony z intuicyjnym dla nas probabilistycznym szacowaniem przekonania. Joanna Kołodziejczyk Systemy ekspertowe 2016 5 / 51

Belief Networks Plan wykładu 1 Niepewność 2 Belief Networks Diagram Założenie o niezależności 3 SE 4 Literatura Joanna Kołodziejczyk Systemy ekspertowe 2016 6 / 51

Belief Networks Diagram Czy to się uda? Cherniak in Bayesian Networks without Tears Nevertheless, despite what seems to be their obvious importance, the ideas and techniques have not spread much beyond the research community responsible for them. This is probably because the ideas and techniques are not that easy to understand. Joanna Kołodziejczyk Systemy ekspertowe 2016 7 / 51

Belief Networks Diagram Przykład Najlepszym sposobem, aby zrozumieć sieci bayesowskie jest próba zbudowania modelu sytuacji, w której przyczynowość odgrywa główną rolę. Zdarzenie i fakty nie zawsze są kompletne, więc musimy opisać je probabilistycznie. Przykład Pan X wraca wieczorem do domu. Chce wiedzieć czy ktoś jest w domu. Żona wychodząc z domu zostawia zapalone światło nad drzwiami wejściowymi. Jednakże zapala też światło, gdy spodziewa się gości. Pan X ma psa. Gdy nie ma nikogo w domu, to pies biega przed domem. Jednakże biega też, gdy cierpi na niestrawność. Jeżeli pies jest wypuszczony, to pan X powinien usłyszeć jego warczenie (lub coś co wydaje się być warczeniem), choć czasami może mylić się słysząc warczenie innych psów. Joanna Kołodziejczyk Systemy ekspertowe 2016 8 / 51

Belief Networks Diagram Diagram do przykładu Można używać reprezentacji diagramu, by przewidzieć co się stanie (jeśli rodzina jest poza domem, pies jest wypuszczony) lub wnioskować z obserwowanych przyczyn efekt (jeśli świeci się światło i pies jest wypuszczony, to rodzina jest poza domem). Joanna Kołodziejczyk Systemy ekspertowe 2016 9 / 51

Belief Networks Diagram Istotne cechy przykładu 1 Związki przyczynowe nie są bezwzględne. Bywa, że wszyscy wyjdą z domu i nie zostawią zapalonego światła lub nie wypuszczą psa. 2 W takich wypadkach można skorzystać z diagramu mimo wszystko. Czy powinno się domniemywać, że nikogo nie ma w domu, gdy światło jest zapalone, ale nie słychać psa? A co w przypadku, gdy słychać psa, ale światło jest zgaszone? 3 Jeżeli znane będą odpowiednie prawdopodobieństwa warunkowe, np. P(fo lo, hb), to będzie można dokonywać wnioskowania o dowolnych zależnościach w grafie. 4 W rzeczywistości nie zawsze będzie możliwe uzyskanie prawdopodobieństw dla wszystkich możliwych kombinacji zdarzeń. 5 Sieci bayesowskie pozwalają na wnioskowanie z małego zestawu prawdopodobieństw, odnoszących się jedynie sąsiednich węzłów. Joanna Kołodziejczyk Systemy ekspertowe 2016 10 / 51

Belief Networks Diagram Sieci Bayesowskie Belief networks Sieci bayesowskie Bayesian networks lub sieci probabilistyczne, sieci przyczynowe to popularna struktura wykorzystywana we wnioskowaniu w warunkach niepewności z wykorzystaniem prawdopodobieństwa. Joanna Kołodziejczyk Systemy ekspertowe 2016 11 / 51

Belief Networks Diagram Sieci Bayesowskie Jest to graf, który można zdefiniować jako: Zmienne losowe tworzą węzły w sieci. Zmienne losowe mogą być binarne (trzęsienie ziemi: tak lub nie), dyskretne (trzęsienie ziemi: no-quake, trembler, rattler, major, and catastrophe) oraz ciągłe (trzęsienie ziemi: w skali Richtera). Zbiór skierowanych krawędzi łączących pary węzłów. Strzałka z węzła X do Y oznacza, że X jest rodzicem Y i X ma bezpośredni wpływ na Y. Każdy węzeł w korzeniu ma prior probability table (tablicę prawdopodobieństw a priori). Pozostałe węzły mają przypisane CPT conditional probability table (tablicę prawdopodobieństw warunkowych). CTP wyraża liczbowo wpływ jaki mają rodzice na węzły potomne. W grafie nie ma cykli, czyli jest to acykliczny graf skierowany DAG. Joanna Kołodziejczyk Systemy ekspertowe 2016 12 / 51

Belief Networks Diagram Więcej o krawędziach Niezależność 1 W sieciach bayesa krawędzie wyrażają zależności pomiędzy zmiennymi losowymi. 2 Założenie to implikuje jakie rozkłady prawdopodobieństw są niezbędne do wykonania wnioskowania. 3 Zdarzenie jest niezależne od wszystkich zdarzeń, które nie są jego potomkami. Joanna Kołodziejczyk Systemy ekspertowe 2016 13 / 51

Belief Networks Diagram Przykład Joanna Kołodziejczyk Systemy ekspertowe 2016 14 / 51

Belief Networks Diagram Wnioskowanie czyli podaj prawdopodobieństwo zdarzenia Sieci bayesowskie pozwalają na obliczenie prawdopodobieństwa warunkowego węzła w sieci przy założeniu, że zdarzenia z niektórych węzłów zostały zaobserwowane (zmienne przyjęła wartość). Na przykład, jeśli zauważono, że światło jest on (lo = true), ale nie słychać psa (hb = false), można obliczyć warunkowe prawdopodobieństwo (P(fo)) ze względu na te dowody. (Wynik to 0.5). Takie obliczenie, to ewaluacja sieci bayesowkich przy danym dowodzie. W bardziej realistycznych przypadkach, sieci mają tysiące węzłów, które mogą być ewaluowane wielokrotnie, za każdym razem, gdy pojawia się nowy dowód. Gdy pojawia się nowy dowód rodzi się pokusa myślenia, że zmienia się prawdopodobieństwo węzłów, gdy rzeczywiście zmienia się prawdopodobieństwo warunkowe węzłów ze względu na zmienne dowody. Potocznie mówi się o zmianie przekonania węzła. Joanna Kołodziejczyk Systemy ekspertowe 2016 15 / 51

Belief Networks Założenie o niezależności Niezależność węzłów dyskusja Zgodnie z teorią prawdopodobieństwa, by uzyskać pełny rozkład prawdopodobieństwa wymagane jest, na przykład dla n binarnych zmiennych losowych 2 n 1 prawdopodobieństw łącznych. Zatem pełny rozkład dla rozpatrywanego przykładu wymaga 31 wartości, a zostało określone tylko 10. Im większa sieć tym większy zysk. Joanna Kołodziejczyk Systemy ekspertowe 2016 16 / 51

Belief Networks Założenie o niezależności Niezależność węzłów przykład Czy zmienne losowe family-out i hear-bark są niezależne? Intuicyjnie są zależne, bo jeśli rodzina opuszcza dom, to jest bardziej prawdopodobne, że pies jest wypuszczony i usłyszymy jego warczenie. Mogą być niezależne, gdy wiadomo że pies jest na pewno w (lub poza) domem. Pytamy czy: P(hb fo, do)? = P(hb do) Odpowiedź jest: TAK, są niezależne, bo to, czy słychać warczenie zależy tylko od znanego faktu, że pies jest (lub nie) wypuszczony. Joanna Kołodziejczyk Systemy ekspertowe 2016 17 / 51

Belief Networks Założenie o niezależności Probabilistyczna interpretacja krawędzi Interpretacja przyczynowa krawędzi grafu Nieobecność rodziny ma bezpośrednie połączenie, związek przyczynowy z byciem psa na zewnątrz, co z kolei ma bezpośredni związek z jego warczeniem. Interpretacja probabilistyczna krawędzi grafu Wykorzystuje się założenie niezależności, które narzuca interpretacja przyczynowa. Gdyby chcieć uzyskać bezpośrednią zależność pomiędzy słyszeniem warczenia psa i bycia rodziny poza domem, należałoby dodać bezpośrednie połączenie pomiędzy tymi węzłami (gdyż prawdziwa jest zależność, iż pies częściej warczy, gdy rodzina jest poza domem niż jeżeli w nim pozostała). Joanna Kołodziejczyk Systemy ekspertowe 2016 18 / 51

Belief Networks Założenie o niezależności Zasada niezależności Zasada określająca zależność i niezależność w sieciach bayesowskich Zmienna a jest zależna od zmiennej b, przy danych dowodach E = e 1... e n, jeśli istnieje ścieżka d-connecting z a do b przy danym E. E jest niepuste. E nie zawiera a ani b. Jeżeli a nie jest zależne od b przy danym E, to a jest niezależne od b przy danym E. Zmienne niezależne Jeżeli a i b są niezależne, to mamy na myśli, że: P(a b) = P(a) Jednakże, nie muszą być już niezależne, gdy pojawi się pewien dowód e P(a b, e) P(a e) Joanna Kołodziejczyk Systemy ekspertowe 2016 19 / 51

Belief Networks Założenie o niezależności Różne możliwości połączeń węzłów Joanna Kołodziejczyk Systemy ekspertowe 2016 20 / 51

Belief Networks Założenie o niezależności d-connecting Definicja d-connecting Ścieżka z węzła q do r jest d-connecting przy danych dowodach E, jeżeli każdy wewnętrzny węzeł n w ścieżce: 1 jest albo linear lub diverging i nie jest elementem E 2 albo jest converging i n lub jakikolwiek z jego potomków jest w E. ni (((n i Lin n i Div) n i / E) (n i Con (n i E dec(n i ) E))) Definicja d-separate Dwa węzły są d-separate jeżeli nie istnieje d-connecting ścieżka pomiędzy nimi. Joanna Kołodziejczyk Systemy ekspertowe 2016 21 / 51

Belief Networks Założenie o niezależności Interpretacja d-connecting 1 Niezależność liniowa: Blokowanie przez dowód (fo do hb), gdy do E. 2 Niezależność zbieżna: (fo bp do) (jeśli dwa zdarzenia mogą spowodować ten sam stan rzeczy i brak innych połączeń pomiędzy nimi, to są one niezależne). 3 Zależność zbieżna: (zakłada się że do E zatem istnieje d-connecting pomiędzy fo i bp) (wiedząc, że rodzina jest w domu powinno to nieznacznie zwiększyć prawdopodobieństwo problemów gastrycznych psa.) Joanna Kołodziejczyk Systemy ekspertowe 2016 22 / 51

Belief Networks Założenie o niezależności Łączny rozkład prawdopodobieństwa Definicja Łączny rozkład prawdopodobieństwa zbioru zmiennych losowych v 1... v n definiuje się jako P(v 1... v n ) Dla zmiennych boolowskich (a, b) trzeba podać prawdopodobieństwa P(a, b), P( a, b), P(a, b) i P( a, b). Przykład Dany jest łączny rozkład prawdopodobieństwa dwóch zmiennych losowych a, b a a b 0.04 0.06 b 0.01 0.89 Suma rozkładu łącznego jest równa 1. Aby mieć pełen rozkład trzeba podać 2 n 1 wartości. Joanna Kołodziejczyk Systemy ekspertowe 2016 23 / 51

Belief Networks Założenie o niezależności Sieć bayesowska jako pełna reprezentacja łącznego rozkładu prawdopodobieństwa Dla sieci N składającej się z węzłów v 1... v n prawdziwe jest, że P(v 1... v n ) = P(v 1 )P(v 2 v 1 )... P(v n v 1... v n 1 ) Sortowanie topologiczne węzłów Każda zmienna jest przed swoimi potomkami. Rozkład łączny dla przykładu Prawdziwy jest łączny rozkład prawdopodobieństwa w sieci bayesowkiej, przy założeniu niezależności zmiennych: P(fo, bp, lo, do, hp) = P(fo)P(bp)P(lo fo)p(do fo bp)p(hb do) Joanna Kołodziejczyk Systemy ekspertowe 2016 24 / 51

Belief Networks Założenie o niezależności Spójność rozkładu w sieci Niespójność Brak spójność może być następstwem dużej liczby wartości w sieci. Na przykład: P(a b) = 0.7, P(b a) = 0.3, P(b) = 0.5 = P(a) > 1, bo z prawa Bayesa P(a b) = P(a)P(b a) P(b) Spójność stąd P(a) = P(b)P(a b) P(b a) = 0.5 0.7 0.3 > 1 Spójność w sieci bayesowskiej jest zagwarantowana, gdy zapewnia się spójność dla lokalnych rozkładów. Joanna Kołodziejczyk Systemy ekspertowe 2016 25 / 51

Belief Networks Założenie o niezależności Obliczanie sieci rozwiązanie dokładne Cel: Znaleźć przekonanie (prawdopodobieństwo warunkowe), gdy dane są dowody (zaobserwowane zdarzenia). (Zadanie NP-trudne) Polytree (a singly connected network) Jest to graf nieskierowany mający nie więcej niż jedną ścieżkę pomiędzy węzłami. Obliczenia w takim grafie można wykonać w czasie liniowym. Joanna Kołodziejczyk Systemy ekspertowe 2016 26 / 51

Belief Networks Założenie o niezależności Polytree Joanna Kołodziejczyk Systemy ekspertowe 2016 27 / 51

Belief Networks Założenie o niezależności Przykład Skąd bierzemy liczby? wymyślane przez ekspertów obliczane z danych Przykład wartości danych przez ekspertów: Joanna Kołodziejczyk Systemy ekspertowe 2016 28 / 51

Belief Networks Założenie o niezależności Przykład Joanna Kołodziejczyk Systemy ekspertowe 2016 29 / 51

SE Plan wykładu 1 Niepewność 2 Belief Networks 3 SE Przykład 1 Przykład 2 prognoza pogody 4 Literatura Joanna Kołodziejczyk Systemy ekspertowe 2016 30 / 51

SE Przykład 1 Probabilistyczne systemy regułowe Reguła probabilistyczna Sieci bayesowskie można przedstawić jako zbiór reguł. Ogólny schemat reguły, to: IF D(owód) jest TRUE THEN H(ipoteza) jest TRUE (z prawdopodobienstwem P) Dla boolowskich zmiennych losowych reguła Bayesa ma postać P(H D) = P(D H)p(H) P(D H)p(H) + P(D H)P( H) Joanna Kołodziejczyk Systemy ekspertowe 2016 31 / 51

SE Przykład 1 Wskaźnik wiarygodności i iloraz szans Wskaźnik wiarygodności (Likelihood ratio) Iloraz szans (Odds ratio) L(H D) = P(D H) P(D H) 1 Dla hipotezy 2 Warunkowy O(H) = P(H) P( H) = P(H) 1 P(H) O(H D) = P(H D) P( H D) Reguła Bayesa oparta na L i O O(H D) = L(H D)O(H) Joanna Kołodziejczyk Systemy ekspertowe 2016 32 / 51

SE Przykład 1 Obliczanie wniosku i stopnia przekonania przykład W środku nocy budzi nas alarm informujący o włamaniu. Istnieje 95% szansy, że włamanie włączy alarm: P(alarm wlamanie) = 0.95. W oparciu o wcześniejsze fałszywe alarmy obliczono, że jest niewielka szansa (1%), że alarm włączył się bez przyczyny: P(alarm wlamanie) = 0, 01. W oparciu o dane o przestępczości jest szansa 1 na 1000, że danej nocy do danego domu nastąpi włamanie: p(wlamanie) = 0.0001 Jaki jest stopień przekonania o włamaniu? Joanna Kołodziejczyk Systemy ekspertowe 2016 33 / 51

SE Przykład 1 Obliczanie wniosku i stopnia przekonania przykład 1 O(wlamanie alarm) = L(alarm wlamanie)o(wlamanie) 2 O(wlamanie alarm) = 0.95 0.01 0.0001 1 0.0001 = 0.0095 3 P(wlamanie alarm) = O(wlamanie alarm) 1+O(wlamanie alarm) = 0.00941 Choć to samo można uzyskać z twierdzenia Bayesa: P(wlamanie alarm) = 0.95 0.0001 0.95 0.0001 + 0.01 (1 0.0001) = 0.00941 Wniosek Retrospektywne wsparcie dla hipotezy o włamaniu dawane przez dowód w postaci włączonego alarmu zostało wzmocnione ponad stukrotnie (0.0001 do 0.0094). Joanna Kołodziejczyk Systemy ekspertowe 2016 34 / 51

SE Przykład 2 prognoza pogody Prognozowanie pogody Zadanie: Określić czy będzie, lub czy nie będzie padał deszcz następnego dnia. Dane: Reguły: minimalna temperatura w ciągu dnia maksymalna temperatura w ciągu dnia, opady w mm aktualny stan: pada lub nie pada itd... 1 IF dziś pada [LS = 2.5 LN = 0.6] THEN jutro pada {P(jp) = 0.5} 2 IF dziś nie pada [LS = 1.6 LN = 0.4] THEN jutro nie pada {P(jnp) = 0.5} Joanna Kołodziejczyk Systemy ekspertowe 2016 35 / 51

SE Przykład 2 prognoza pogody Dane Joanna Kołodziejczyk Systemy ekspertowe 2016 36 / 51

SE Przykład 2 prognoza pogody Co to jest LS i LN? LS Likelihood of Sufficiency Jest miarą ufności w hipotezę, jeżeli przedstawiony został dowód. LS = P(D H) P(D H) LN Likelihood of Necessity Jest miarą ufności w hipotezę, jeżeli dowód nie został przedstawiony. LN = P( D H) P( D H) LN nie może być wyprowadzony z LS. Joanna Kołodziejczyk Systemy ekspertowe 2016 37 / 51

SE Przykład 2 prognoza pogody Jak ekspert określa LS i LN? Zaleta: nie musi opierać się na prawdopodobieństwach warunkowych. Ekspert podaj LS i LN bezpośrednio pilnując się zasad: 1 duże LS >> 1 silnie potwierdza hipotezę H, gdy dany jest dowód D 2 niskie LN(0 < LN < 1) oznacza, że reguła silnie osłabia hipotezę ( H), gdy nie ma dowodu D. Z LN i LS łatwo wyprowadzić prawdopodobieństwa warunkowe i zastosować regułę Bayes a. W przykładzie: 1 LS = 2.5 oznacza, że jeżeli dziś pada, to z dużym prawdopodobieństwem będzie padać jutro, 2 LN = 0.6 oznacza, że istnieje szansa, że pomimo, że dziś nie pada to jutro będzie padać. Joanna Kołodziejczyk Systemy ekspertowe 2016 38 / 51

SE Przykład 2 prognoza pogody Jak oblicza się prawdopodobieństwo hipotezy? Prawdopodobieństwo a priori konsekwencji p(h) jest konwertowane na szansę a priori. O(H) = P(H)/1 P(H). Szansa warunkowa jest obliczana przy użyciu LS jeżeli poprzednik(przesłanka) reguły jest prawdziwa lub przy użyciu LN jeżeli przesłanka jest fałszywa: O(H D) = LS O(H) i O(H D) = LN O(H) Szansa warunkowa jest wykorzystana do obliczenia prawdopodobieństwa warunkowego: P(H D) = P(H D) = O(H D) 1+O(H D) O(H D) 1+O(H D) i Joanna Kołodziejczyk Systemy ekspertowe 2016 39 / 51

SE Przykład 2 prognoza pogody Obliczenia dla przykładu odpalenie reguły 1 Dowód D: dziś pada. O(jp) = O(jp)/1 O(jp) = 1 Dowód D zwiększa szansę na opad przez LS: O(jp dp) = LS O(jp) = 2.5 1 = 2.5 P(jp dp) = O(jp dp)/(1 + O(jp dp)) = 0.71 Wniosek: Prawdopodobieństwo jutrzejszego opadu wzrasta z 0.5 do 0.71 poprzez przedstawienie dowodu D. Joanna Kołodziejczyk Systemy ekspertowe 2016 40 / 51

SE Przykład 2 prognoza pogody Obliczenia dla przykładu odpalenie reguły 2 Dowód D: dziś pada. O(jnp) = O(jnp)/1 O(jnp) = 1 Dowód D zmniejsza szansę na brak opadu przez LN: O(jnp dp) = LN O(jnp) = 0.4 1 = 0.4 P(jnp dp) = O(jnp dp)/(1 + O(jnp dp)) = 0.29 Wniosek: prawdopodobieństwo, że jutro nie będzie padać, gdy dziś pada jest 0.29, czyli zmniejszyło się z powody zaistnienia D. Joanna Kołodziejczyk Systemy ekspertowe 2016 41 / 51

SE Przykład 2 prognoza pogody Obliczenia dla przykładu Dziś nie pada Obliczenia wykonuje się w sposób analogiczny. Oblicza się prawdopodobieństwa, że jutro nie będzie padać, lub będzie deszczowo, gdy dowód D mówi, że dziś nie pada. 1 Z prawdopodobieństwom 0.62 nie będzie padać, gdy dziś nie pada. 2 Z prawdopodobieństwom 0.38 będzie padało, gdy dziś nie padało Joanna Kołodziejczyk Systemy ekspertowe 2016 42 / 51

SE Przykład 2 prognoza pogody Rozbudowa systemu prognozowania pogody Powiększamy bazę wiedzy na temat prognozowania pogody o inne parametry. Wskaźniki są uzyskiwane poprzez analizę danych zbieranych z lat poprzednich. Pewne zależności są widoczne i można je ująć w reguły, które uszczegółowią analizę i sprawią, że wnioskowanie będzie bardziej wiarygodna. Reguły 1 i 2 takie jak we wcześniejszym przykładzie. Joanna Kołodziejczyk Systemy ekspertowe 2016 43 / 51

SE Przykład 2 prognoza pogody Rozbudowa systemu prognozowania pogody Dalsze reguły: 3. IF dziś pada AND wilgotność jest niska [LS = 10 LN = 1] THEN jutro nie pada {P(jnp) = 0, 5} 4. IF dziś pada AND wilgotność jest niska AND temperatura jest niska [LS = 1.5 LN = 1] THEN jutro nie pada {P(jnp) = 0, 5} 5. IF dziś nie pada AND temperatura jest wysoka [LS = 2 LN = 0.9] THEN jutro pada {P(jp) = 0, 5} 6. IF dziś nie pada AND temperatura jest wysoka AND niebo jest pochmurne [LS = 5LN = 1] THEN jutro pada {P(jp) = 0, 5} Joanna Kołodziejczyk Systemy ekspertowe 2016 44 / 51

SE Przykład 2 prognoza pogody Działanie SE d.1 Pytanie: Jaka jest dziś pogoda? Odp: PADA Obliczenia (wcześniej na slajdach): na podstawie reguły 1 P(jp dp) = 0.71 Obliczenia (wcześniej na slajdach): na podstawie reguły 2 P(jnp dp) = 0.29 Wniosek: jutro: pada [0.71], nie pada [0.29] Joanna Kołodziejczyk Systemy ekspertowe 2016 45 / 51

SE Przykład 2 prognoza pogody Działanie SE d.2 Pytanie: Jaka jest dziś wilgotność? Odp: NISKA Obliczenia: prawdopodobieństwo a priori zmienione po poprzednim kroku stąd: O(jnp) = 0.29/(1 0.29) = 0.41 Obliczenia: na podstawie reguły 3: O(jnp dp nw) = 10 0.41 = 4.1 Obliczenia: P(jnp dp nw) = 4.1/(1 + 4.1) = 0.81 Wniosek: jutro: pada [0.71], nie pada [0.81] Joanna Kołodziejczyk Systemy ekspertowe 2016 46 / 51

SE Przykład 2 prognoza pogody Działanie SE d.3 Pytanie: Jaka jest dziś temperatura? Odp: NISKA Obliczenia: prawdopodobieństwo a priori zmienione po poprzednim kroku stąd: O(jnp) = 0.81/(1 0.81) = 4.26 i O(jp) = 0.71/(1 0.71) = 2.45 Obliczenia: na podstawie reguły 4: O(jnp dp nw nt) = 1.5 4.26 = 6.4 Obliczenia: P(jnp dp nw nt) = 6.4/(1 + 6.4) = 0.86 Obliczenia: na podstawie reguły 5: O(jp dp nt) = 0.9 2.45 = 2.2 Obliczenia: PO(jp dp nt) = 2.2/(1 + 2.2) = 0.69 Wniosek: jutro: pada [0,69], nie pada [0,86] Joanna Kołodziejczyk Systemy ekspertowe 2016 47 / 51

SE Przykład 2 prognoza pogody Działanie SE d.4 Pytanie: Jakie jest niebo? Odp: NIEZACHMURZONE Obliczenia: prawdopodobieństwo a priori zmienione po poprzednim kroku stąd: O(jp) = 0.69/(1 0.69) = 2.23 Obliczenia: na podstawie reguły 6: O(jp dp nw nt np) = 1 2.23 = 2.23 P(jp dp nw nt np) = 2.23/(1 + 2.23) = 0.69 Wniosek: jutro: pada [0,69], nie pada [0,86] Joanna Kołodziejczyk Systemy ekspertowe 2016 48 / 51

SE Przykład 2 prognoza pogody Zastosowania sieci bayesowskich diagnoza medyczna ((Heckerman 1990) rozumienie języka (Charniak and Goldman 1989) widzenie (Levitt, Mullin, and Binford 1989) przeszukiwanie heurystyczne (Hansson and Mayer 1989) Joanna Kołodziejczyk Systemy ekspertowe 2016 49 / 51

Literatura Plan wykładu 1 Niepewność 2 Belief Networks 3 SE 4 Literatura Joanna Kołodziejczyk Systemy ekspertowe 2016 50 / 51

Literatura Wykorzystana literatura (do samodzielnego studiowania) Eugene Charniak Bayesian Networks without Tears. AI MAGAZINE, WINTER 1991 S.J. Russel, P. Norvig Artificial Intelligence. A modern approach. Pearson Education wyd. 2, p.111-116 Joanna Kołodziejczyk Systemy ekspertowe 2016 51 / 51