Wnioskowanie Boolowskie i teoria zbiorów przybli»onych

Transkrypt

1 Wnioskowanie Boolowskie i teoria zbiorów przybli»onych 4 Zbiory przybli»one Wprowadzenie do teorii zbiorów przybli»onych Zªo»ono± problemu szukania reduktów 5 Wnioskowanie Boolowskie w obliczaniu reduktów i reguª decyzyjnych Metody wnioskowa«boolowskich w szukaniu reduktów Systemy decyzyjne oparte o zbiory przybli»one 6 Metoda drzew decyzyjnych Wprowadzenie Konstrukcja drzew decyzyjnych 7 Problem dyskretyzacji Przypomnienia podstawowych poj Problem dyskretyzacji Dyskretyzacja metod wnioskowania Boolowskiego H.S. Nguyen (MIM UW) SYD 30 listopada / 297

2 Denition Algebra Boola Jest to struktura algebraiczna B = (B, +,, 0, 1) speªniaj ca nast puj ce aksjomaty - Przemienno± : (a + b) = (b + a) oraz (a b) = (b a) - Rozdzielno± : a (b + c) = (a b) + (a c), oraz a + (b c) = (a + b) (a + c) - Elementy neutralne: a + 0 = a oraz a 1 = a - Istnienie elementu komplementarnego: a + a = 1 and a a = 0 *) Czasem negacja jest dodana do sygnatury algebry Boola. H.S. Nguyen (MIM UW) SYD 30 listopada / 297

3 Przykªady Algebry Boola 1 Algebra zbiorów: P(X ) = (2 X,,,,, X ); 2 Rachunek zda«({zdania logiczne},,,,, ) 3 Binarna algebra Boola B 2 = ({0, 1}, +,, 0, 1) to jest najmniejsza, ale najwa»niejsza algebra Boola w zastosowaniu. x y x + y x y x x Przykªady zastosowa«: projektowanie ukªadów scalonych; rachunek zda«. H.S. Nguyen (MIM UW) SYD 30 listopada / 297

4 Wªa±ciwo±ci algebr Boola Š czno± (ang. Associative law): (x + y) + z = x + (y + z) oraz (x y) z = x (y z) Idempotence: x + x = x oraz x x = x(dual) Dziaªania z 0 i 1: x + 1 = 1 oraz x 0 = 0(dual) Pochªanienie (ang. Absorption laws): (y x) + x = x oraz (y + x) x = x(dual) Inwolocja (ang. Involution laws): (x) = x Prawa DeMorgana (ang. DeMorgan's laws): (x + y) = x y oraz (x y) = x + y(dual) Prawa konsensusu (ang. Consensus laws): (x + y) (x + z) (y + z) = (x + y) (x + z) oraz (x y) + (x z) + (y z) = (x b) + (x z) Zasada dualno±ci: Ka»da algebraiczna równo± pozostaje prawdziwa je±li zamieniamy operatory + na, na +, 0 na 1 oraz 1 na 0. H.S. Nguyen (MIM UW) SYD 30 listopada / 297

5 Funkcje Boolowskie Ka»de odwzorowanie f : {0, 1} n {0, 1} nazywamy (zupeªn ) funkcj Boolowsk. Funkcje Boolowskie formuªy Boolowskie: Staªe, zmienne, operatory, + oraz. Literaªy, mintermy (jednomiany), maxtermy,... Kanoniczna posta dyzjunkcyjna (DNF), np. f = xyz + xyz + xyz + xyz; Kanoniczna posta koniunkcyjna (CNF), np. f = (x + y + z)(x + y) Term t = x i1...x im x j1...x jk nazywamy implikantem funkcji f je±li a {0,1} n t(a) = 1 f (a) = 1 Implikant pierwszy: jest to implikant, który przestaje nim by po usuni ciu dowolnego literaªu. Kanoniczna posta Blake'a: ka»d funkcj Boolowsk mo»na przedstawi jako sum wszystkich jej imlikantów pierwszych: f = t 1 + t t k H.S. Nguyen (MIM UW) SYD 30 listopada / 297

6 Przykªad Wiele formuª reprezentuje t sam funkcj ; φ 1 = xyz + xyz + xyz + xyz φ 2 = (x + y + z)(x + y + z)(x + y + z)(x + y + z) φ 3 = xy + xz + yz xy z jest implikantem xy jest implikantem pierwszym x y z f H.S. Nguyen (MIM UW) SYD 30 listopada / 297

7 Funkcje monotoniczne Niech oznacza relacj cz ±ciowego porz dku w {0, 1} n Funkcja f jest monotoniczna (niemalej ca) wtw, gdy dla ka»dych x, y {0, 1} n je±li x y to f (x) f (y) monotoniczne funkcje Boolowskie mo»na zapisa bez u»ycia negacji. term f = x i1 x i2... x ik monotonicznej f je±li nazywamy implikantem pierwszym funkcji f (x) f (x) dla ka»dego wektora x (jest implikantem) ka»da funkcja wi ksza od f nie jest implikantem Np. funkcja f (x 1, x 2, x 3 ) = (x 1 + x 2 )(x 2 + x3) posiada 2 implikanty pierwsze: f 1 = x 2 i f 2 = x 1 x 3 H.S. Nguyen (MIM UW) SYD 30 listopada / 297

8 Wnioskowanie Boolowskie 1 Modelowanie: Kodowanie problemu za pomoc ukªadu równa«boolowskich; 2 Redukcja: Sprowadzenie ukªadu równa«do pojedynczego równania postaci f = 0 lub f = 1 3 Konstrukcja: Znalezienie wszystkich implikantów pierwszych funkcji f (konstrukcja kanonicznej postaci Blake'a); 4 Dedukcja: Zastosowanie pewnej sekwencji wnioskowa«transformuj cych implikanty pierwsze do rozwi za«problemu. H.S. Nguyen (MIM UW) SYD 30 listopada / 297

9 Boolean Reasoning Example Problem: A, B, C, D are considering going to a party. Social constrains: If A goes than B won't go and C will; If B and D go, then either A or C (but not both) will go If C goes and B does not, then D will go but A will not. Problem modeling: A B C A(B + C) = 0... BD(AC + AC) = 0... BC(A + D) = 0 After reduction: f = A(B + C) + BD(AC + AC) + BC(A + D) = 0 Blake Canonical form: f = BCD + BCD + A = 0 Facts: BD C C B D A 0 Reasoning: (theorem proving) e.g., show that nobody can go alone. H.S. Nguyen (MIM UW) SYD 30 listopada / 297

10 Metoda BR w Sztucznej Inteligencji Problem SAT: czy równanie f (x 1,..., x n ) = 1 posiada rozwi zanie? C B A E D E C A D B SAT odgrywa wa»n rol w teorii zªo»ono±ci (twierdzenie Cooka, dowodzenie NP-zupeªno±ci...) Ka»dy SAT-solver mo»e by u»ywany do rozwi zywania problemu planowania. Blocks world problem: Po redukcji formuªa boolowska nadal zawiera O(tk 2 ) zmiennych i O(tk 3 ) klauzuli (k, t - liczby bloków i kroków). Np. Dla k = 15, t = 14, mamy 3016 zmiennych i klausuli H.S. Nguyen (MIM UW) SYD 30 listopada / 297

11 Szukanie reduktów: szkic metody 1 Konstrukcja funkcji odró»nialno±ci: Zmienne boolowskie: atrybuty a 1,..., a k ; Klauzula: φ u,v = {a A : a(u) a(v)} Funkcja rozró»nialno±ci: F S (a 1,..., a k ) = x,y U:dec(x) dec(y) φ x,y (a 1,..., a k ) 2 przeksztaªcenie funkcji rozró»nialno±ci do postaci DNF 3 ka»dy implikant pierwszy odpowiada jednemu reduktowi; H.S. Nguyen (MIM UW) SYD 30 listopada / 297

12 Przykªad tablicy decyzyjnej Hurt. Jako± obsªugi Jako± towaru Obok autostrady? Centrum? decyzja ID a 1 a 2 a 3 a 4 dec 1 dobra dobra nie nie strata 2 dobra dobra nie tak strata 3 bdb dobra nie nie zysk 4 slaba super nie nie zysk 5 slaba niska tak nie zysk 6 slaba niska tak tak strata 7 bdb niska tak tak zysk 8 dobra super nie nie strata 9 dobra niska tak nie zysk 10 slaba super tak nie zysk 11 dobra super tak tak zysk 12 bdb super nie tak zysk 13 bdb dobra tak nie? 14 slaba super nie tak? H.S. Nguyen (MIM UW) SYD 30 listopada / 297

13 Macierz i funkcja odró»nialno±ci M a 1 a 1, a 4 a 1, a 2, a 3, a 4 a 1, a 2 4 a 1, a 2 a 1, a 2, a 4 a 2, a 3, a 4 a 1 5 a 1, a 2, a 3 a 1, a 2, a 3, a 4 a 4 a 1, a 2, a 3 7 a 1, a 2, a 3, a 4 a 1, a 2, a 3 a 1 a 1, a 2, a 3, a 4 9 a 2, a 3 a 2, a 3, a 4 a 1, a 4 a 2, a 3 10 a 1, a 2, a 3 a 1, a 2, a 3, a 4 a 2, a 4 a 1, a 3 11 a 2, a 3, a 4 a 2, a 3 a 1, a 2 a 3, a 4 12 a 1, a 2, a 4 a 1, a 2 a 1, a 2, a 3 a 1, a 4 f = (α 1 )(α 1 α 4 )(α 1 α 2 )(α 1 α 2 α 3 α 4 )(α 1 α 2 α 4 ) (α 2 α 3 α 4 )(α 1 α 2 α 3 )(α 4 )(α 2 α 3 )(α 2 α 4 ) (α 1 α 3 )(α 3 α 4 )(α 1 α 2 α 4 ) H.S. Nguyen (MIM UW) SYD 30 listopada / 297

14 Szukanie reduktów f = (α 1 )(α 1 α 4 )(α 1 α 2 )(α 1 α 2 α 3 α 4 )(α 1 α 2 α 4 ) (α 2 α 3 α 4 )(α 1 α 2 α 3 )(α 4 )(α 2 α 3 )(α 2 α 4 ) (α 1 α 3 )(α 3 α 4 )(α 1 α 2 α 4 ) usuwanie alternatyw reguª pochªaniania (t.j. p (p q) p): f = (α 1 )(α 4 )(α 2 α 3 ) sprowadzanie funkcji f z postaci CNF (koniunkcja alternatyw) do postaci DNF (alternatywa koniunkcji) f = α 1 α 4 α 2 α 1 α 4 α 3 Ka»dy skªadnik jest reduktem! Zatem mamy 2 redukty: R 1 = {A 1, A 2, A 4 } i R 2 = {A 1, A 3, A 4 } H.S. Nguyen (MIM UW) SYD 30 listopada / 297

15 Heurystyka Johnsona: algorytm zachªanny Atrybut jest wa»niejszy je±li cz ±ciej wyst puje w klauzulach; Selekcja: W ka»dym kroku wybierzmy atrybut, który najcz ±ciej wyst puje w funkcji rozró»nialno±ci; Usuwanie: Usuwamy z tej funkcji te klauzule, które zawieraj wybrany atrybut; Powtarzamy Selekcja i Usuwanie dopóty, póki funkcja rozró»nialno±ci zawiera jeszcze jak ± klazul. H.S. Nguyen (MIM UW) SYD 30 listopada / 297

16 Heurystyka zachªanna Heurystyka Johnsona 1 Znale¹ atrybut, który wyst puje najcz ±ciej w macierzy rozró»nialno±ci; 2 Usuwn wszystkie pola zawieraj ce wybrany atrybut; 3 Powtarzamy kroki 1 i 2 dopóki wszystkie pola macierzy s puste. H.S. Nguyen (MIM UW) SYD 30 listopada / 297

17 Przykªad dziaªania M a 1 a 1, a 4 a 1, a 2, a 3, a 4 a 1, a 2 4 a 1, a 2 a 1, a 2, a 4 a 2, a 3, a 4 a 1 5 a 1, a 2, a 3 a 1, a 2, a 3, a 4 a 4 a 1, a 2, a 3 7 a 1, a 2, a 3, a 4 a 1, a 2, a 3 a 1 a 1, a 2, a 3, a 4 9 a 2, a 3 a 2, a 3, a 4 a 1, a 4 a 2, a 3 10 a 1, a 2, a 3 a 1, a 2, a 3, a 4 a 2, a 4 a 1, a 3 11 a 2, a 3, a 4 a 2, a 3 a 1, a 2 a 3, a 4 12 a 1, a 2, a 4 a 1, a 2 a 1, a 2, a 3 a 1, a 4 W macierzy nierozróznialno±ci z poprzedniego przykªadu a 1 - wyst puje 23 razy a 2 - wyst puje 23 razy a 3 - wyst puje 18 razy a 4 - wyst puje 16 razy Je±li wybieramy a 1, to po usuni ciu pól zawieraj cych a 1 zostaªo 9 niepustych pól macierzy nierozró»nialno±ci. W±ród nich: a 2 - wyst puje 7 razy a 3 - wyst puje 7 razy a 4 - wyst puje 6 razy Je±li wybieramy tym razem a 2 to zostaªy 2 niepuste pola i w±ród nich a 4 jest zdecydowanym faworytem. Mo»emy dosta w ten sposób redukt: R 1 = {a 1, a 2, a 4 }. H.S. Nguyen (MIM UW) SYD 30 listopada / 297

18 Jak dobra jest heurystyka Johnsona? Niech X = {(u, v) U 2 : dec(u) dec(v)}; Niech S ai = {(u, v) X : a i (u) a i (v)}; Niech C A b dzie minimalnym reduktem, lecz C = {a 1,..., a k } b dzie reduktem znalezionym przez heurystyk Johnsona; Zaªó»my,»e heurystyka Johnsona musi pªaci 1zª za ka»dym razem, gdy dodaªa a i do C. Rozªó»my ten koszt tym elementom, które zostaªy po raz pierwszy pokryte przez zbiór S ai Niech c x = koszt ponoszony przez x. Je±li x jest pokryty po raz pierwszy przez a i, to c x = 1 S ai (S a1... S ai 1 ) H.S. Nguyen (MIM UW) SYD 30 listopada / 297

19 Jak dobra jest heurystyka Johnsona? Heurystyka Johnsona ponosi ª czny koszt = C. Mamy C = x X c x c x a C x S a Gdyby±my pokazali,»e dla dowolnego altrybutu a A x S a c x H( S a ) gdzie H(n) = n i=1 1 i, wówczas mo»emy oszacowa dalej: C c x C H(max{ S a : a A }) a C x S a C H( X ) C ln( X + 1) H.S. Nguyen (MIM UW) SYD 30 listopada / 297

20 Lemat: Dla dowolnego altrybutu a A Dowód: x S a c x H( S a ) Niech u i = S a (S a1... S ai 1 ), mamy: u 0 = S a... u i 1 u i... u k = 0; gdzie k jest najmniejszym indeksem t.,»e S a = S a1... S ak Zatem x S a c x = k 1 (u i 1 u i ) S ai (S a1... S ai 1 ) i=0 k 1 (u i 1 u i ) u i 1 i=0 k (H(u i 1 ) H(u i )) = H( S a ) i=0 H.S. Nguyen (MIM UW) SYD 30 listopada / 297

21 Inne heurystyki do szukania implikantów pierwszych ILP (Integer Linear Program) Symulowane wy»arzanie (simulated annealing) Algorytmy genetyczne SAT solver??? H.S. Nguyen (MIM UW) SYD 30 listopada / 297

22 ILP Dana jest funkcja f : {0, 1} n {0, 1} zapisana w postaci CNF za pomoc zmiennych x 1,..., x n 1 Utwórz nowe zmienne {y 1,..., y 2n } odpowiadaj ce literaªom x 1, x 1,..., x n, x n ; 2 Dla ka»dej zmiennej x i, utwórzmy nierówno± y 2i 1 + y 2i 1 3 Zamie«ka»d klausul ω i = (l i1... l ini ) na nierówno± y i y ini 1; 4 Utwórzmy ukªad nierówno±ci z poprzednich punktów: Ay b 5 Zagadnienie programowania liniowego liczb caªkowitych (ILP) jest deniowane jako problem szukania min n y i przy ograniczeniu: Ay b. i=1 H.S. Nguyen (MIM UW) SYD 30 listopada / 297

23 J zyk deskryptorów (ang. description language) Dla danego zbioru atrybutów A deniujemy j zyk deskryptorów jako trójk gdzie D jest zbiorem deskryptorów L(A) = (D, {,, }, F) D = {(a = v) : a A and v Val a }; {,, } jest zbiorem standardowych operatorów logicznych; F jest zbiorem formuª logicznych zbudowanych na deskryptorach z D. Dla ka»dego zbioru atrybutów B A oznaczamy: D B = {(a = v) : a B and v Val a }, czyli zbiór deskryptorów obci tych do B. F B zbiór formuª zbudowanych na D B. H.S. Nguyen (MIM UW) SYD 30 listopada / 297

24 Semantyka w systemach informacyjnych Semantyka: Niech S = (U, A) b dzie tablic informacyjn. Ka»da formuªa φ F, jest (semantycznie) skojarzona ze zbiorem [[φ]] S zawieraj cym obiekty speªniaj ce φ. Formalnie mo»emy indukcyjnie deniowa semantyk jak nast puj co: [[(a = v)]] S = {x U : a(x) = v} (1) [[φ 1 φ 2 ]] S = [[φ 1 ]] S [[φ 2 ]] S (2) [[φ 1 φ 2 ]] S = [[φ 1 ]] S [[φ 2 ]] S (3) [[ φ]] S = U \ [[φ]] S (4) Ka»da formuªa φ mo»e by charakteryzowana przez: length(φ) = liczba deskryptorów w φ; support(φ) = [[φ]] S = liczba obiektów speªniaj cych formuª H.S. Nguyen (MIM UW) SYD 30 listopada / 297

25 Reguªy decyzyjne Denition Denicja reguª decyzyjnych Niech S = {U, A {dec}} b dzie tablic decyzyjn. Reguª decyzyjn dla S nazywamy formuªy postaci: φ δ gdzie φ F A i δ F dec. Formuª φ nazywamy poprzednikiem (lub zaªo»eniem) reguªy r, a δ nazywamy nast pnikiem (lub tez ) reguªy r. Oznaczamy poprzednik i nast pnik reguªy r przez prev(r) oraz cons(r). Denition Reguªy atomowa: S to reguªy postaci: r (a i1 = v 1 )... (a im = v m ) (dec = k) (5) H.S. Nguyen (MIM UW) SYD 30 listopada / 297

26 Reguªy decyzyjne (c.d.) Ka»da reguªa decyzyjna r postaci (5) mo»e by charakteryzowana nast puj cymi cechami: length(r) = liczba deskryptorów wyst puj cych w zaªo»eniu reguªy r [r] = no±nik reguªy r, czyli zbiór obiektów z U speªniaj cych zaªo»enie reguªy r support(r) = liczba obiektów z U speªniaj cych zaªo»enie reguªyr: support(r) = card([r]) confidence(r) = wiarygodno± reguªy r: confidence(r) = [r] DEC k [r] Mówimy,»e reguªa r jest niesprzeczna z A je±li confidence(r) = 1 H.S. Nguyen (MIM UW) SYD 30 listopada / 297

27 Minimalne reguªy Denition Minimalne niesprzeczne reguªy: Niech S = (U, A {dec}) b dzie dan tablic decyzyjn. Niesprzeczn reguª (a i1 = v 1 )... (a im = v m ) (dec = k) nazywamy minimaln niesprzeczn reguª decyzyjn je±li usuni cie któregokolwiek z deskryptorów spowoduje,»e reguªa przestaje by niesprzezcna z S. H.S. Nguyen (MIM UW) SYD 30 listopada / 297

28 Ogólne metody Klasykatory reguªowe dzialaj w trzech fazach: 1 Faza treningu: Generuje pewien zbiór reguª RULES(A) z danej tablicy decyzyjnej A. 2 Faza selekcji reguª: Szuka w RULES(A) tych reguª, które s wspierane przez obiekt x. Oznaczamy zbiór tych reguª przez MatchRules(A, x). 3 Faza klasykacji: wyznacza klas decyzyjn dla x za pomoc reguª z MatchRules(A, x) wedªug nast puj cego schematu: 1 Je±li MatchRules(A, x) jest pusty: odpowied¹ dla x jest NIEWIEM, tzn. nie mamy podstaw, aby klasykowa obiekt x do którejkolwiek z klas; 2 Je±li MatchRules(A, x) zawiera tylko obiekty z k-tej klasy: wówczas dec(x) = k; 3 Je±li MatchRules(A, x) zawiera reguªy dla ró»nych klas decyzyjnych: wówczas decyzja dla x okre±limy za pomoc pewnego, ustalonego schematu gªosowania mi dzy reguªami z MatchRules(A, x). H.S. Nguyen (MIM UW) SYD 30 listopada / 297

29 Metoda Oparta o Wnioskowanie Boolowskie Ka»da reguªa powstaje poprzez skracanie opisu jakiego± obiektu. Redukty lokalne Te same heurystyki dla reduktów decyzyjnych. H.S. Nguyen (MIM UW) SYD 30 listopada / 297

30 Przykªad tablicy decyzyjnej Hurt. Jako± obsªugi Jako± towaru Obok autostrady? Centrum? decyzja ID a 1 a 2 a 3 a 4 dec 1 dobra dobra nie nie strata 2 dobra dobra nie tak strata 3 bdb dobra nie nie zysk 4 slaba super nie nie zysk 5 slaba niska tak nie zysk 6 slaba niska tak tak strata 7 bdb niska tak tak zysk 8 dobra super nie nie strata 9 dobra niska tak nie zysk 10 slaba super tak nie zysk 11 dobra super tak tak zysk 12 bdb super nie tak zysk 13 bdb dobra tak nie? 14 slaba super nie tak? H.S. Nguyen (MIM UW) SYD 30 listopada / 297

31 Macierz i funkcja lokalnych odró»nialno±ci M a 1 a 1, a 4 a 1, a 2, a 3, a 4 a 1, a 2 4 a 1, a 2 a 1, a 2, a 4 a 2, a 3, a 4 a 1 5 a 1, a 2, a 3 a 1, a 2, a 3, a 4 a 4 a 1, a 2, a 3 7 a 1, a 2, a 3, a 4 a 1, a 2, a 3 a 1 a 1, a 2, a 3, a 4 9 a 2, a 3 a 2, a 3, a 4 a 1, a 4 a 2, a 3 10 a 1, a 2, a 3 a 1, a 2, a 3, a 4 a 2, a 4 a 1, a 3 11 a 2, a 3, a 4 a 2, a 3 a 1, a 2 a 3, a 4 12 a 1, a 2, a 4 a 1, a 2 a 1, a 2, a 3 a 1, a 4 f u3 = (α 1 )(α 1 α 4 )(α 1 α 2 α 3 α 4 )(α 1 α 2 ) = α 1 Reguªy: (a 1 = bdb) = dec = zysk H.S. Nguyen (MIM UW) SYD 30 listopada / 297

32 Macierz i funkcja lokalnych odró»nialno±ci M a 1 a 1, a 4 a 1, a 2, a 3, a 4 a 1, a 2 4 a 1, a 2 a 1, a 2, a 4 a 2, a 3, a 4 a 1 5 a 1, a 2, a 3 a 1, a 2, a 3, a 4 a 4 a 1, a 2, a 3 7 a 1, a 2, a 3, a 4 a 1, a 2, a 3 a 1 a 1, a 2, a 3, a 4 9 a 2, a 3 a 2, a 3, a 4 a 1, a 4 a 2, a 3 10 a 1, a 2, a 3 a 1, a 2, a 3, a 4 a 2, a 4 a 1, a 3 11 a 2, a 3, a 4 a 2, a 3 a 1, a 2 a 3, a 4 12 a 1, a 2, a 4 a 1, a 2 a 1, a 2, a 3 a 1, a 4 f u8 = (α 1 α 2 )(α 1 )(α 1 α 2 α 3 )(α 1 α 2 α 3 α 4 )(α 2 α 3 ) (α 1 α 3 )(α 3 α 4 )(α 1 α 4 ) = α 1 (α 2 α 3 )(α 3 α 4 ) = α 1 α 3 α 1 α 2 α 4 Reguªy: (a 1 = dobra) (a 3 = nie) = dec = strata (a 1 = dobra) (a 2 = super) (a 4 = nie) = dec = strata H.S. Nguyen (MIM UW) SYD 30 listopada / 297