LOGIKA STOSOWANA Wykład monograficzny Semestr letni, 2016/2017

Transkrypt

1 LOGIKA STOSOWANA Wykład monograficzny Semestr letni, 2016/2017 Nguyen Hung Son, Marcin Szczuka Instytut Informatyki UW Warszawa, ul.banacha 2 szczuka@mimuw.edu.pl

2 2

3 Spis treści 1 Rachunek zdań Język rachunku zdań Semantyka dwuwartościowa Syntaktyka Twierdzenie o pełności Twierdzenie o zwartości Logika Modalna Wstęp Języki logiki modalnej Strukturalna Semantyka Podstawowa relacja spełnialności Przykład Trzy relacje spełnialności Relacje konsekwencji sematycznej Podstawowy system dowodzenia Przykład Inne systemy formalne Poprawność systemu dowodzenia Pełność logik modalnych Twierdzenie i główne ścieżki dowodu Konstrukcja modelu kanonicznego Dowód twierdzenia 25 (o pełności logiki modalnej) Pełność w sensie Kripkego Roztrzygalność

4 4 SPIS TREŚCI 3 Zbiory i logiki rozmyte Rachunek zbiorów rozmytych Relacje rozmyte Logiczne operatory rozmyte Logika possybilistyczna Prawdziwościowa logika rozmyta Wnioskowanie indukcyjne Problem indukcji Rozumowania indukcyjne - wprowadzenie Typy rozumowań indukcyjnych Indukcja zupełna Indukcja eliminacyjna Niezupełne wnioskowanie indukcyjne Kryterium zgodności Rodzaje wnioskowań indukcyjnych W stronę logiki indukcyjnej Indukcyjne wnioskowania bayesowskie Probabilistyczna logika indukcyjna Wnioskowanie bayesowskie Bayesowska predykcja i wspomaganie decyzji Wybór hipotezy w ogólności Indukcja reguł Reguły decyzyjne Reguły asocjacyjne ILP - Inductive Logic Programming

5 Rozdział 1 Rachunek zdań 1.1 Język rachunku zdań Język rachunku zdań składa się z następujących elementów: 1. Symbole: Nieskończony zbiór zmiennych zdaniowych V AR = {p, q, r,...} 4 wyróżnione symbole:,, (, ). 2. Reguły składania: Podajemy definicję rekurencyjną pojęcia poprawnie zdefiniowanych formuł zdaniowych lub krótko formuł zdaniowych Zmienne zdaniowe ze zbioru V AR = {p, q, r,...} są formułami zdaniowymi. Jeśli φ jest formułą zdaniową to φ też jest formułą zdaniową Jeśli φ i ψ są formułami zdaniowymi, to (φ ψ) jest formułą zdaniową. Zbiór wszystkich formuł oznaczamy przez F ORM. Symbole i nazywamy spójnikami logicznymi (lub operatorami logicznymi). Intuicyjnie, nawiasy są wprowadzone po to, aby określić kolejność działania, dlatego mogą one być usunięte z języka. W celu uproszczenia opisów oraz ułatwienia pisania formuł, wprowadzamy do języka dodatkowe stałe, oraz operatory,, 5

6 6 ROZDZIAŁ 1. RACHUNEK ZDAŃ, które są definowane następująco: φ ψ = def ( φ ψ) φ ψ = def φ ψ φ ψ = def ( φ ψ) ( ψ φ) = def p p dla pewnej zmiennej p V AR = def p p dla pewnej zmiennej p V AR Znaczenia operatorów logicznych i stałych (które mogą być traktowane jako operatory 0-argumentowe) są podane w następnym rozdziale. 1.2 Semantyka dwuwartościowa Rozpatrujemy zbiór B = {0, 1}. Utożsamiamy 0 z wartością logiczną FAŁSZ, a 1 PRAWDA. Wówczas operatory logiczne są skojarzone z odpowiednimi funkcjami na B. Spójnik jest skojarzony z funkcją : B B taką, że (x) = 1 x. Dwuczłonowe spójniki logiczne są skojarzone z funkcjami postaci : B B B gdzie oznacza dowolny operator ze zbioru {,,, }. Funkcje te są definiowane przez następującą tabelkę (truth table): x y x y x y x y x y Intuicyjnie,,, można traktować jak spójniki... lub...,... i... oraz jeśli... to... w języku naturalnym. Nazywamy je odpowiednio: alternatywą, koniunkcją, implikacją. Wprowadźmy formalną definicję semantyki formuł zdaniowych: Definicja 1. Wartościowaniem nazywamy każdą funkcję v : V AR B

7 1.2. SEMANTYKA DWUWARTOŚCIOWA 7 Dla każdego wartościowania możemy definiować semantykę dla formuł, czyli funkcję : [.] v : F ORM B przez rekursję względem struktury następująco: (Const) (Var) dla zmiennych p V AR ( ) dla dowolnej formuły φ F ORM [ ] v = 1; [ ] = 0 [p] v = v(p) ( ) dla dowolnych formuł φ, ψ F ORM [ φ] v = 1 [φ] v [φ ψ ] v = [φ] v [ψ ] v gdzie jest dowolnym operatorem logicznym (np.,,,...) Mówimy, że wartościowanie v jest modelem dla formuły φ wtedy, i tylko wtedy, gdy [φ] v = 1 wówczas mówimy, że φ jest prawdziwa w modelu v. W roku 1936, Tarski wprowadził pojęcie wynikania logicznego (lub relację semantycznej konsekwencji ). Ta relacja jest zdefiniowana w sposób następujący. Mówimy, że formuła φ wynika logicznie ze zbioru formuł Φ i piszemy Φ = φ jeśli formuła φ jest prawdziwa w każdym modelu dla wszystkich formuł z Φ. Formuły φ, dla których zachodzi relacja = φ (czyli są prawdziwe dla wszystkich wartościowań) nazywamy tautologiami.

8 8 ROZDZIAŁ 1. RACHUNEK ZDAŃ 1.3 Syntaktyka Celem rachunku zdań jest opisywanie syntaktycznego wynikania dla relacji semantycznej konsekwencji = poprzez definiowanie przybliżonego, formalnego systemu dedukcji (system dowodzeń). W tym rozdziale, wprowadzamy taki system dedukcji (Hilbert), który łatwo można będzie uogólnić w przypadku logiki modalnej. Każdy system dedukcji składa się ze zbioru aksjomatów i zbioru reguł dedukcyjnych. W przypadku rachunku zdań, system dedukcji składa się z: Aksjomatów. Aksjomatami są tautologie oraz formuły postaci (k) φ (θ φ) (l) (θ (ψ φ)) ((θ ψ) (θ φ)) wraz z aksjomatami dotyczącymi innych spójników logicznych. Jednej reguły dedukcyjnej zwanej modus ponens lub regułą odrywania: θ, θ φ φ (M odus ponens) Są one użyte do zdefiniowania relacji syntaktycznej konsekwencji Definicja 2. Niech Φ będzie zbiorem formuł. (a) Przez wywód z Φ rozumiemy każdy ciąg formuł φ 0, φ 1,..., φ n taki, że dla każdej formuły φ i z ciągu, zachodzi conajmniej jeden z następujących warunków: 1. φ i Φ 2. φ i jest aksjomatem 3. Istnieją formuły φ j, φ k występujące wcześniej w tym ciągu (tzn. j, k < i) takie, że φ k = (φ j φ i ) (b) Dla każdej formuły φ, relacja Φ φ zachodzi wtedy, i tylko wtedy, gdy istnieje wywód z Φ, na końcu którego otrzymujemy φ.

9 1.4. TWIERDZENIE O PEŁNOŚCI 9 Relacja Φ φ jest symulacją pojęcia logicznej konsekwencji. Przypomnijmy, że ten system ma własność dedukcyjną : Twierdzenie 3 (o dedukcji). Dla każdego zbioru formuł Φ oraz pary formuł θ, φ, zachodzi implikacja Φ, θ φ Φ (θ φ) (1.1) Niestety, ta ważna własność nie zachodzi dla większości systemów modalnych. 1.4 Twierdzenie o pełności Można łatwo udowodnić (przez indukcję), że system dedukcyjny jest rozsądny, tzn. Φ φ Φ = φ Pokażemy jego zupełność. Mówimy, że zbiór formuł Φ jest niesprzeczny jeśli nie zachodzi relacja Φ Niech CON będzie zbiorem wszystkich niesprzecznych zbiorów formuł Φ. Zbiór CON spełnia następujące warunki: 1. Dla każdego zbioru Φ mamy Φ CON wtw, gdy Ψ CON dla każdego skończnego podzbioru Ψ Φ. 2. Dla każdej zmiennej p V AR mamy {p, p} / CON oraz, oczywiście { } / CON 3. Dla każdego zbioru Φ CON oraz dla dowolnych formuł φ, θ mamy (φ θ) Φ Φ {φ, θ} CON (φ θ) Φ Φ { φ, θ} CON (φ θ) Φ Φ {φ, θ} CON 4. Dla każdego zbioru Φ CON oraz dla dowolnych formuł φ, θ mamy (φ θ) Φ Φ {φ} CON lub Φ {θ} CON (φ θ) Φ Φ { φ} CON lub Φ { θ} CON (φ θ) Φ Φ { φ} CON lub Φ {θ} CON

10 10 ROZDZIAŁ 1. RACHUNEK ZDAŃ 5. Dla każdego zbioru Φ CON i każdej formuły φ mamy φ Φ Φ {φ} CON Oznaczmy przez MAXCON rodzinę maksymalnie niesprzecznych zbiorów formuł, tzn. takich zbiorów Ψ CON, że dla każdego zbioru formuł Φ CON mamy jeśli Ψ Φ to Ψ = Φ Następujący lemat jest bardzo ważny dla dowodu o pełności systemu dowodzenia. Lemat 4. Dla każdego zbioru Φ CON istnieje Σ MAXCON taki, że Φ Σ. Dowód: Niech {ψ i : i < ω} będzie numeracją wszystkich formuł. Definiujemy ciąg zbiorów formuł { r : r < ω} następująco: 0 = Φ { r {φ r+1 = r } jeśli ten zbiór należy do CON, w przeciwnym przypadku. r Zauważmy, że CON dla wszystkich r < ω, wówczas definiujemy Σ = { r : r < ω} CON Z przeprowadzonej konstrukcji również mamy Σ MAXCON Twierdzenie 5. Każdy zbiór formuł Φ CON ma model. Dowód: Niech Σ będzie maksymalnie niesprzecznym zbiorem formuł takim, że Φ Σ. Definiujemy wartościowanie v Σ : V AR {0, 1} następujaco: { 1 jeśli p Σ, v Σ (p) = 0 jeśli p / Σ. Łatwo można pokazać, że wartościowanie v Σ jest modelem dla Φ. Twierdzenie 6. Dla każdego zbioru formuł Φ oraz każdej formuły φ mamy Φ φ Φ = φ

11 1.5. TWIERDZENIE O ZWARTOŚCI 11 Dowód: Implikacja ( ) jest oczywista. Zatem wystarczy udowodnić ( ). Załóżmy, że Φ = φ, wówczas zbiór Φ { φ} nie posiada modelu, i na mocy Twierdzenia 5 mamy Φ { φ} / CON czyli Φ, { φ} Z własności Dedukcji (por. równanie 1.1) mamy czyli (z pewnego aksjomatu) Φ ( φ ) Φ ( φ) Ale wiemy, że Φ zawsze zachodzi, stąd mamy Φ φ. (c.n.d) 1.5 Twierdzenie o zwartości Przypominamy, że zbiór fromuł Φ jest niesprzeczny jeśli nie zachodzi relacja Φ, co oznacza (por. twierdzenie o pełności), że posiada on model tzn. istnieje wartościowanie, w którym wszystkie formuły z Φ są prawdziwe. Dlatego niesprzeczny zbiór formuł nazywamy również spełnialnym. Rozważmy problem decyzyjny, w którym sprawdzamy czy dany zbiór jest spełnialny (problem spełnialność formuł). To oznacza, że spełnialność zbioru formuł Φ można sprawdzić dwiema równoważnymi metodami: Metodą ekperymentalną: sprawdzenie czy istnieje model dla Φ wśród wszystkich możliwych wartościowań Metodą teoretyczną: sprawdzenie czy można dowieść z Φ za pomocą reguł dedukcyjnych. W tym rozdziale podajemy jeszcze jedną metodę sprawdzenia spełnialności zbioru formuł. Pokażemy następujące twierdzenie zwane twierdzeniem o zwartości: Twierdzenie 7. Jeśli każdy skończony podzbiór zbioru formuł Φ ma model to Φ również ma model.

12 12 ROZDZIAŁ 1. RACHUNEK ZDAŃ Dowód: Niech Φ będzie dowolnym zbiorem formuł takim, że każdy jego skończony podzbiór ma model, wystarczy pokazać, że Φ jest niesprzeczny. Istotnie, gdyby Φ był sprzeczny, to istniałby wywód W = φ 0, φ 1,...φ n, dla relacji Φ. Wówczas istnieje skończnony zbiór Ψ Φ, dla którego W również jest wywodem. Zatem Ψ, czyli skończony zbiór Ψ nie ma modelu co jest sprzeczne z założeniem. ZADANIA 1. Wyprowadź formalne wywody dla następujących tautologii jedynie za pomocą logicznych aksjomatów (k) i (l): (a) φ φ; (b) (ψ φ) ((θ ψ) (θ φ)); (c) (θ (ψ φ)) (ψ (θ φ)) (d) (θ ψ) ((ψ φ) (θ φ)) (e) (θ (θ ψ)) (θ ψ) Jakie są długości tych wywodów. 2. Udowodnij Twierdzenie o własności dedukcji (por. 1.1). Φ, θ φ Φ (θ φ) Wsk. Stosuj indukcję względem długości dowodu. 3. Udowodnij prawdziwość tautologii z zadania 1 za pomocą własności dedukcji. Porównaj długości dowodów w obu przypadkach.

13 Rozdział 2 Logika Modalna 2.1 Wstęp Logika modalna, obok klasycznych spójników logicznych, posiada funktory modalne. Funktor modalny jest to funkcja, która przypisuje wartości logiczne termom, które same mogą zawierać funktory modalne. Cechą charakterystyczną funktorów modalnych jest fakt, że nie są ekstensjonalne, czyli funktor może przyporządkowywać inną wartość dwóm równoważnym zdaniom. Niekiedy termin logika modalna rozumie się szerzej, włączając w jego obręb takie podejścia jak: logiki epistemiczne, logiki temporalne, logiki deontyczne i logiki programów. 2.2 Języki logiki modalnej W języku logiki modalnej nad sygnaturą I korzystamy z następujących symboli: zbiór zmiennych zdaniowych V AR = {p, q, r,...} Spójniki rachunku zdań: Rodzina spójników modalnych,,,,, { i : i I} 13

14 14 ROZDZIAŁ 2. LOGIKA MODALNA wraz z nawiasami ( i ) do określenia kolejności obliczeń. Definicja 8. Formuły w języku modalnym nad sygnaturą I są definiowane rekurencyjnie następująco: [Formuły atomowe:] Zmienne zdaniowe ze zbioru V AR = {p, q, r,...} oraz, są formułami. [Formuły zdaniowe:] Jeśli φ i ψ są formułami, to są formułami. φ, (φ ψ), (φ ψ), (φ ψ) [Formuły modalne:] Jeśli φ jest formułą, to i φ dla każdej etykiety i I też jest formułą. Zbiór wszystkich formuł oznaczamy przez F ORM. Przykładem formuły modalnej jest 1 ((p q) 2 p) p Pierwsze badania nad logiką modalną dotyczą języka z jednym spójnikiem. Wówczas formuła φ może być różnie interpretowana np.: Koniecznie, że φ zachodzi Wiadomo, że φ... Operator modalny może być traktowany jako kwantyfikator ogólny. Możemy wprowadzić dodatkowy operator analogiczny do kwantyfikatora szczególnego i przez: i φ = def i φ który może być czytany: możliwe, że φ zachodzi.

15 2.3. STRUKTURALNA SEMANTYKA 15 Binarna wersja logiki modalnej (zwana logiką temporalną) ma dwa operatory modalne: oraz. One mogą być traktowane jako operatory temporalne, tzn. formuła φ jest czytana jako φ zajdzie w przyszłości a formuła φ jest czytana jako φ zaszła w przeszłości. W tym kursie ograniczamy nasze zainteresowanie do dwóch wyżej wymienionych języków logiki modalnej. Pewne rodziny formuł mają szczególne znaczenie w logice modalnej. Przyjmujemy te oznaczenia z pewnych historycznych powodów. Są to: D(φ) : φ φ T(φ) : φ φ B(φ) : φ φ 4(φ) : φ φ 5(φ) : φ φ P(φ) : φ φ Q(φ) : φ φ R(φ) : φ φ G(φ) : φ φ L(φ) : T(φ) φ M(φ) : φ φ 2.3 Strukturalna Semantyka Modelem Kripke go nazywamy parę K = Γ, val gdzie Γ = (W, E) jest skierowanym grafem określającym relację przejścia między stanami (lub światami) ze zbioru W, a val : W V AR {0, 1} jest wartościowaniem. Semantyka formuły φ w modelu K i w stanie q W jest definiowana przez relację (K, val, s) = φ pomiędzy modelem A wartościowaniem val stanem s (element struktury K) formułą modalną φ Jeśli model K jest ustalony, to będziemy pisali s = φ dla uproszczenia.

16 16 ROZDZIAŁ 2. LOGIKA MODALNA Podstawowa relacja spełnialności Definicja 9. Dla każdego stanu s W, definiujemy funkcję [.] s : F ORM {0, 1} przez indukcję względem konstrukcji formuły φ: (Const) (Var) dla zmiennych p V AR ( ) dla dowolnej formuły φ F ORM ( ) dla dowolnych formuł φ, ψ F ORM [ ] s = 1; [ ] s = 0 [p] s = val(s, p) [ φ] s = 1 [φ] s [φ ψ ] s = [φ] s [ψ ] s gdzie jest dowolnym operatorem logicznym (np.,,,...) ( ) dla dowolnej formuły φ F ORM [ φ] s = s R(s) [φ] s gdzie R(s) jest zbiorem stanów osiągalnych ze stanu s. Relacja s = φ zachodzi wtedy i tylko wtedy, gdy [φ] s = 1. Formalnie, relacja K, val, s = φ jest odczytywana jako s wymusza φ. Możemy również rozumiec to jako: φ jest spełniona w modelu (K, val, s); φ jest prawdziwa w stanie s; Łatwo można się przekonać, że zachodzi następujące twierdzenie: Twierdzenie 10. Jeśli formuła φ jest tautologią rachunku zdań, to φ jest spełniona we wszystkich stanach modelu Kripke go.

17 2.3. STRUKTURALNA SEMANTYKA Przykład Załóżmy, że V AR = {p}. Rozpatrujemy model Kripke go a b d c Rozpatrzmy następujące wartościowanie: val(a, p) = val(c, p) = 1; val(b, p) = val(d, p) = 0; Bezpośrednio z tego wartościowania mamy: a = p b = pc = p d = p Dalej, z grafu mamy: R(a) = {b}, R(b) = {c}, R(d) = {a, b}, R(c) = {a}. Stąd prawdziwość semantyczna zachodzi dla następujących formuł: a = p b = p d = p Możemy przerysować przykładowy graf razem z formułami prawdziwymi semantycznie w wierzchołkach: p, p a b p, p p, p d c p, p Rozpatrzmy formuły o dwóch operatorach modalnych. Zauważmy, że: a = p b = p c = p Ponadto stan d jest bardzo interesujący, gdyż z niego można dojść do innych stanów następująco:

18 18 ROZDZIAŁ 2. LOGIKA MODALNA a b c a... d c a b c... Dla stanu d mamy: d = p d = 2 p d = 3 p d = 4 p itp... Dla stanu a mamy tylko jedną ścieżkę o długości 3: a b c a Zatem dla każdej formuły φ: a = 3 φ a = φ czyli a = ( 3 φ φ) Z tego samego powodu, formuła ( 3 φ φ) jest pradziwa w stanach b i c. Stąd możemy pokazać, że d = ( 4 φ φ) Twierdzenie 11. Niech (K, val) będzie modelem Kripke go. Wówczas Dowód: a = φ ( x R(a))[x = φ] a = φ a = φ [a = φ] ( x R(a))[x = φ] ( x R(a)) [x = φ] ( x R(a))[x = φ]

19 2.3. STRUKTURALNA SEMANTYKA Trzy relacje spełnialności Wprowadzamy trzy relacje spełnialności = p = v = u dla formuł modalnych. Są one zdefiniowane następująco: Relacja punktowa = p jest po prostu relacją = z poprzedniej sekcji. Relacja = p oznacza model punktowy (stanowy) z wartościowaniem. Relacja = v jest stosowana dla modeli z wartościowaniem. Jest ona definiowana z relacji punktowej poprzez uogólnienia stanów, czyli K, val = v φ ( s W ) {K, val, s = φ} Relację = u nazywamy spełnialnością strukturalną, gdyż jest ona definiowana z relacji = v następująco K = u φ ( val) {K, val = v φ} Na przykład dla modelu w poprzedniej sekcji mamy K, val = v P 3 P ale (np. dla wartościowania val(p, {a, b, c, d} = {0, 0, 0, 1})) mamy nieprawda, że K = u P 3 P Za to relacja spełnialności strukturalnej zachodzi dla K = u 4 P P Lemat 12. Jeżeli dana struktura K = (W, E) jest odpowiednio 1. zwrotna 2. przechodnia 3. dyskretna 4. gęsta

20 20 ROZDZIAŁ 2. LOGIKA MODALNA to, w każdej sytuacji następujące formuły 1. φ φ 2. φ 2 φ 3. φ φ 4. 2 φ φ są spełnialne w K (w relacji = u ) ZADANIA 1. Rozpatrzmy modele N = N,, gdzie dla dowolnych x, y N (a) x y x < y (b) x y x y (c) x y x > y (d) x y x y Dla formuł Φ {D, T, B, 4, 5...} definiowanych na stronie 11, uzupełnić następującą tabelę znakami jeśli N = Φ jeśli N = Φ jeśli nie zachodzi N = Φ ani N = Φ (a) (b) (c) (d) D T B 4 5 P Q R G L M 2. Pokazać, że w każdego przechodniego modelu K spełnialne są następujące formuły: K = φ φ K = ( ) 2 φ φ

21 2.4. RELACJE KONSEKWENCJI SEMATYCZNEJ Relacje konsekwencji sematycznej Wzorując na logice rachunku zdań, chcemy definiować pojęcie Formuła modalna φ jest logiczną kosekwencją zbioru Φ modalnych hipotez Na pierwszy rzut oka, problem wygląda na dość oczywisty. Np. to zachodzi wówczas, gdy φ jest prawdziwa w każdym modelu dla zbioru Φ. Ale są dwa zasadnicze problemy: Po pierwsze, nie jest oczywiste którego z trzech modeli należy użyć. Z postaci trzech wprowadzonych relacji nie mamy wskazania, która z nich jest lepsza od innych. Po drugie, na razie nie wiadomo która formuła modalna może być formułą bazową (aksjomatem), a która nie. Przypomnijmy, że rozróżnialiśmy trzy typy relacji spełnialności t.j. punktową, wartościowaniową, i strukturalną (i oznaczaliśmy je przez p, v i u). Definicja 13. Niech k {u, v, p} będzie typem spełnialności. Dla każdego zbioru formuł Ψ i formuły φ, relacja Φ = k φ zachodzi wtedy i tylko wtedy, gdy każda k-struktura, która jest modelem dla Ψ jest również modelem dla φ. Relację tę nazywamy relacją konsekwencji logicznej lub relacją konsekwencji semantycznej. Między tymi relacjami zachodzi następujące twierdzenie Twierdzenie 14. Dla każdego zbioru formuł Ψ i każdej formuły φ zachodzą następujące implikacje: Dowód: Załóżmy, że Φ = p φ Φ = v φ Φ = u φ Φ = p φ oraz, że v-struktura (K, val) jest modelem dla Φ. Pokażemy, że (K, val) jest również modelem dla φ. Jeżeli wybierzemy dowolny stan s w strukturze K to z założenia (K, val, s) jest modelem punktowym dla Φ, a zatem także dla φ. Ale ponieważ wybieraliśmy dowolny stan s, to poprzednie zdanie jest prawdziwe dla wszystkich stanów w K. To zaś oznacza, że dla każdego stanu s mamy spełnialność punktową φ, co jest równoważne (z definicji), spełnialności φ dla (K, val). Dowód implikacji Φ = v φ Φ = u φ jest całkowicie analogiczny.

22 22 ROZDZIAŁ 2. LOGIKA MODALNA Na ogół tych implikacji nie można odwrócić. Na przykład dla każej formuły φ zachodzi: φ = v φ, ale dla dowolnej zmiennej p można bez trudu pokazać model punktowy p, p, w którym φ = p φ nie musi zachodzić. Na zakończenie, pokażemy lemat, który określa pewne własności relacji konsekwencji semantycznej. Własności te stanowią podstawowe aksjomaty w w systemach dowodzenia. Lemat 15. Następujące implikacje są prawdziwe dla każdego zbioru formuł Ψ i dla dowolnych formuł θ, φ: (P) φ Ψ Ψ = v φ (MP) Ψ = v θ φ Ψ = v θ } Ψ = v φ (N) Ψ = v φ Ψ = v φ 2.5 Podstawowy system dowodzenia Aksjomaty: Zbiór aksjomatów składa się z: 1. Wszystkich tautologii rachunku zdań (bez operatorów modalnych) 2. Tautologii typu (K) dla logiki modalnej, gdzie: (K) (φ θ) ( φ θ) 3. Wszystkich formuł otrzymanych z wyżej wymienionych tautologii przez podstawienie zmiennych formułami W kolejnych systemach, zbiór S będzie wzbogacony o kolejne formuły ze zbioru {D, T, B, 4, 5...} formuł zdefiniowanych na końcu podrozdziału 2.2.

23 2.5. PODSTAWOWY SYSTEM DOWODZENIA 23 Reguły wnioskowania System dowodzenia dla logiki modalnej posiada dwie reguły wnioskowania: 1. Modus ponens: (MP ) θ θ φ φ 2. Reguła wymuszania: (N) θ θ Standardowy system formalny Podajemy formalną definicję wywodu w systemie dowodzenia S (określonym przez zbiór aksjomatów S): Definicja 16. Niech Φ będzie dowolnym zbiorem formuł modalnych: (a) Wywodem w systemie S ze zbioru Φ nazywamy każdy ciąg formuł φ 0, φ 1,..., φ n taki, że dla każdej formuły φ i następujących warunków: z ciągu, zachodzi co najmniej jeden z (hyp) φ i Φ (aks) φ i jest aksjomatem (tzn. φ i S) (mp) Istnieją formuły φ j, φ k występujące wcześniej w tym ciągu (tzn. j, k < i) takie, że φ k = (φ j φ i ) (n) Istnieje indeks s < i taki, że φ i = φ s (b) Formuła φ jest S-konsekwencją zbioru Φ (tzn. konsekwencją w systemie S) Φ S φ wtedy, i tylko wtedy, gdy istnieje w systemie S wywód z Φ, na końcu którego otrzymujemy φ.

24 24 ROZDZIAŁ 2. LOGIKA MODALNA Przykład Aby ułatwić rozumienie systemu S, pokażemy niektóre jego własności: Lemat 17. Dla dowolnych formuł modalnych φ, θ mamy S φ θ S φ θ Dowód: Niech α = φ θ, kolejne formuły w wywodzie są następujące: 1. α = φ θ (hipoteza) 2. (α) (reguła N) 3. (α) ( φ θ) (aksjomat K) 4. φ θ(modus ponens) Czyli jest to wywód o długości 4 w systemie S Inne systemy formalne Do systemu standartowego, oprócz aksjomatów typu K, możemy dołązczyć do zbioru aksjomatów jeszcze formuły typu D, T, B, 4 lub 5. Np. system standartowy oznaczamy zwykle przez K, gdyż zawiera tylko formuły typu K. Systemy KD, KB, KT, K4, K5 są rozszerzeniami systemu K o aksjomaty typu D, T, B, 4 lub 5, odpowiednio. Analogicznie możemy rozszerzyć te systemy do np. KD4, KD5,... Będziemy oznaczać przez S4 = KT4 S5 = KT5 W ten sposób, możemy otrzymać 32 różne kombinacje. Ale, jak się później okaże, wśród nich jest tylko 15 istotnie różnych systemów dowodzenia (patrz Rys ). Wprowadzamy pojęcie mocy systemu. Mówimy, że system S 1 jest nie mocniejszy niż system S 2, i oznaczmy to przez S 1 S 2, jeśli φ ( S1 φ S2 φ) Dwa systemy S 1, S 2 są równoważne jeśli S 1 S 2 i S 2 S 1. Mamy następujące fakty:

25 2.5. PODSTAWOWY SYSTEM DOWODZENIA 25 Lemat 18. Formuły D są słabsze niż T, tzn. KD KT czyli KD4 S4 i KD5 S5 Dowód: Niech α = φ β = φ γ = α = φ α φ (T) (α φ) (φ α) (Tautologia) φ γ (Modus ponens) β φ (T) (β φ) ((φ γ) (β γ)) (Tautologia) ((φ γ) (β γ)) (MP) β γ (MP) Lemat 19. Lemat 20. KDB5 S5 Lemat 21. Twierdzenie 22. K4 KB5 K5 KB5 KDB4 KDB5 KT5 KTB4 Dowód: Mamy S5 = KT5 KTB4 KDB4 KDB5 S5 S5 = KDB4 = KDB5 Zależności między istotnie nietrywialnymi systemami modalnymi, które powstają przez wykorzystanie kombinacji aksjomatów K, T, B, D, 4, 5 zostały zilustrowane na Rys

26 26 ROZDZIAŁ 2. LOGIKA MODALNA Rysunek 2.1: Zależności między modalnymi systemami formalnymi Poprawność systemu dowodzenia W poprzednich rozdziałach definiowaliśmy 3 relację konsekwencji semantycznej = k dla k = u, v, p. Wprowadzamy pojęcie logicznej prawdziwości formuł modalnych: Definicja 23. Niech S będzie standardowym systemem o zbiorze aksjomatów S. Niech k {u, v, p} będzie typem spełnialności. Dla każdego zbioru formuł Φ i formuły φ, relacja Φ = k S φ zachodzi wtedy i tylko wtedy, gdy każda k-struktura, która jest modelem dla S i dla Φ, jest również modelem dla φ UWAGA: W zasadzie relacja = k S może być zastąpiona przez = k, gdyż Φ = k S φ Φ S = k φ

27 2.5. PODSTAWOWY SYSTEM DOWODZENIA 27 ale używamy parametryzowanej wersji = k S względu na jej prosty sposób zapisu. w dalszych częściach kursu ze Dotąd wprowadziliśmy dla każdego systemu formalnego S cztery relacje konsekwencji; w tym relację syntaktycznej konsekwencji: S i trzy relacje semantycznej konsekwencji: = p S, = v S i = u S Próbujemy odpowiadać na pytanie: Jak te relacje mają się do siebie? Jako wniosek z Twierdzenia 14 (przez postawienie Ψ = Φ S) mamy Φ = p S φ Φ = v S φ Φ = u S φ Możemy dodać do tej listy jeszcze twierdzenie o poprawności systemu dowodzenia: Twierdzenie 24. Dla każdego systemu S, zbioru hipotez Φ i formuły φ mamy zależność: Φ S φ Φ = v S φ Dowód: Indukcja względem długości wywodu dla Φ S φ. Główne kroki indukcyjne dowodzi się za pomocą Lematu 15. Twierdzenie o poprawności możemy wykorzystac do pokazania, że dwa formalne systemy są istotnie różne. Np. wiemy, że KD KT. Aby pokazać, że te systemy są różne, wystarczy znaleźć formułę φ taką, że KT φ i nie prawda, że KD φ Z Twierdzenia o poprawności wynika, że drugi warunek jest spełniony jeśli pokażemy, że nie prawda, że = v KD φ

28 28 ROZDZIAŁ 2. LOGIKA MODALNA 2.6 Pełność logik modalnych Niech S będzie formalnym systemem opartym na zbiorze aksjomatów S. Oznaczamy przez MOD(S) rodzinę wszystkich modeli, w których S są przawdziwe (które modelują S). W poprzednich rozdziałach definiowaliśmy już relację = v S. Możemy ją przedefiniować następująco: = v S φ def M MOD(S) M = v φ Twierdzenie i główne ścieżki dowodu W tym rozdziale zakładamy, że S jest ustalonym systemem dowodzenia. Pełność systemu dowodzenia oznacza, że S φ = v S φ Z twierdzenia o poprawności mamy już jedną implikację: S φ = v S φ Aby pokazać drugą implikację, skonstrujemy specjalny model (v-strukturę) (C, ν) MOD(S) zwany modelem kononicznym dla S. Model (C S, ν S ) jest w pewnym sensie najbardziej uniwersalnym modelem w MOD(S). Własność tę wyrażamy w następnym twierdzeniu. Twierdzenie 25. Dla każdego standardowego systemu wraz z modelem kanonicznym (C S, ν S ) i dla każdej formuły φ, następujące warunki są równoważne (i) (C S, ν S ) = v φ (ii) S φ (iii) = v S φ Zauważmy, że implikacja (ii) (iii) jest po prostu poprawność systemu dowodzenia. Implikacja (iii) (i) jest oczywista, gdyż (C, ν) MOD(S). Zatem główną treścią tego twierdzenia jest implikacja (i) (ii)

29 2.6. PEŁNOŚĆ LOGIK MODALNYCH Konstrukcja modelu kanonicznego Intuicyjnie, zbiór formuł Φ jest sprzeczny względem systemu S jeśli można wyprowadzić formułę ze zbioru Φ. Ponieważ WŁASNOŚĆ DEDUKCJI nie zachodzi dla relacji konsekwencji syntaktycznej, definiujemy pojęcie niesprzecznego zbioru formuł modalnych poprzez relację konsekwencji słabego dowodu w S : Definicja 26. Zbiór formuł modalnych Φ nazywamy niesprzecznym z S (lub S niesprzecznym) jeżeli [Φ w S ] tzn. jeśli nie istnieją formuły φ 1,..., φ n Φ takie, że S φ 1... φ n Oznaczamy przez CON(S) zbiór wszystkich S-niesprzecznych zbiorów formuł. Definicja 27. Zbiór formuł modalnych Φ nazywamy maksymalnie niesprzeczny z S (lub maksymalnie S niesprzecznym) jeżeli Φ jest S niesprzeczny i żaden jego właściwy nadzbiór nie jest S niesprzeczny. Oznaczamy przez MAXCON(S) CON(S) zbiór wszystkich maksymalnie S niesprzecznych zbiorów. Zbiór MAXCON(S) ma kilka ciekawych własności. Po pierwsze, z definicji wynika, że każdy zbiór Φ MAXCON(S) jest również elementem zbioru CON(S), oraz dla każdej formuły φ mamy Φ {φ} MAXCON(S) φ Φ Po drugie, z niesprzeczności wynika, że nie istnieje taka formuła φ, że zarówno φ jak i φ należą do Φ. Z maksymalności wynika, że dla każdej formuły φ, albo φ albo φ musi należeć do Φ. Dowód tego faktu i następnego twierdzenia pozostawiamy czytelnikom jako ćwiczenia. Twierdzenie 28. Niech Φ MAXCON(S). Mamy Φ, / Φ oraz φ Φ φ / Φ ψ θ Φ ψ Φ i θ Φ ψ θ Φ ψ Φ lub θ Φ ψ θ Φ ψ / Φ lub θ Φ Musimy pokazać, że MAXCON(S) jest niepusty i zawiera dostatecznie dużo zbiorów formuł żeby odróżnić formuły, które powinny być rozróżnialne. Szczegóły są wyrażone w dwóch lematach:

30 30 ROZDZIAŁ 2. LOGIKA MODALNA Lemat 29. (O istnieniu) Dla każdego zbioru formuł Φ CON(S) istnieje Σ MAXCON(S) taki, że Φ Σ. Dowód: Niech {ψ i : i < ω} będzie numeracją wszystkich formuł. Definiujemy ciąg zbiorów formuł { r : r < ω} następująco: 0 = Φ { r {φ r+1 = r } jeśli ten zbiór należy do CON(S), w przeciwnym przypadku. r Zauważmy, że CON dla wszystkich r < ω, wówczas definiujemy Σ = { r : r < ω} CON Z przeprowadzonej konstrukcji również mamy Σ MAXCON Z Lematu o istnieniu możemy pokazać, że Lemat 30. Dla każdego zbioru formuł Ψ i formuły φ, mamy równoważność Ψ w S φ Σ MAXCON(S) [Ψ Σ φ Σ] Stąd mamy wniosek: dla każdej formuły φ mamy S φ Σ MAXCON(S) [φ Σ] Jesteśmy już gotowi do skonstruowania struktury modelu kanonicznego C S = (S, ). Zbiór stanów definiujemy przez S = MAXCON(S). Relację przejścia między stanami Σ, Λ S określamy następująco: Σ Λ φ [ φ Σ φ Λ] Czasem używamy oznaczenia Λ Σ (czyt.: Λ jest następnikiem Σ) zamiast Σ Λ. Wartościowanie kanoniczne ν S : V AR S {0, 1} dla C S = (S, ) definiujemy przez ν S (p, Σ) = { 1 jeśli p Σ, 0 w przeciwnym przypadku. dla dowolnej zmiennej p V AR i stanu Σ S. Z Lematu o istnieniu mamy:

31 2.7. PEŁNOŚĆ W SENSIE KRIPKEGO 31 Lemat 31. Dla każdego stanu Σ S i każdej formuły φ mamy równoważność: φ Σ Υ Σ [φ Υ] Możemy również przez indukcję względem konstrukcji formuły udowodnić następujący lemat Lemat 32. Dla każdego stanu Σ S i każdej formuły φ mamy równoważność: ((C S, ν S ), Σ) = φ φ Σ Stąd mamy wniosek Wniosek 33. Model kanoniczny (C S, ν S ) jest modelem dla S Dowód twierdzenia 25 (o pełności logiki modalnej) Dowód: Pokażmy implikację (i) (ii). Niech φ będzie dowolną formułą. Z powyższych lematów mamy (C S, ν S ) = v φ Σ S ((C S, ν S ), Σ) = φ Σ S φ Σ S φ Co kończy dowód twierdzenia o pełności. 2.7 Pełność w sensie Kripkego Niech MOD będzie rodziną wszystkich modeli Kripkego. Każdy model Kripkego (dla logiki jedno-modalnej) możemy interpretować jak relację na zbiorze stanów. Wyróżniamy pewne modele według własności odpowiadającej mu relacji. Oznaczmy przez: MOD r : rodzinę wszystkich modeli zwrotnych (reflexive) MOD s : rodzinę wszystkich modeli symetrycznych (symmetric) MOD t : rodzinę wszystkich modeli przechodnich (transitive)

32 32 ROZDZIAŁ 2. LOGIKA MODALNA MOD l : rodzinę wszystkich modeli szeregowych (serial) 1 MOD e : rodzinę wszystkich modeli Euklidesowych (Euclidean) 2 Możemy również używać jednocześnie kilka górnych indeksów, np. MOD rst oznacza rodzinę wszystkich modeli zwrotnych, symetrycznych i przechodnich (czyli relacji równoważności). Z własności aksjomatów możemy pokazać, że MOD r MOD(T) ; MOD rt MOD(S4) MOD rts MOD(S5) MOD elt MOD(KD45) Niestety, nie wszystkie inkluzje są odwracalne. Np. nie każdy model w MOD(S5) musi być relacją równoważności. Dowód tych obserwacji pozostawiamy czytelnikom jako ćwiczenie. Definicja 34. Mówimy, że system formalny S jest pełny w sensie Kripkego jeśli dla dowolnej formuły φ S φ = u S φ Definicja 35. Mówimy, że system formalny S jest kanoniczny jeśli jego model kanoniczny C S jest strukturalnym modelem dla S. Twierdzenie 36. Każdy kanoniczny system jest pełny w sensie Kripkego Przykładami systemów kanonicznych są K, KD i KR. 1 R jest szeregowa wtw, gdy s t (s, t) R) 2 R jest Euclidesowa wtw, gdy s,t,u ((s, t) R (s, u) R (t, u) R)

33 2.8. ROZTRZYGALNOŚĆ Roztrzygalność W tym rozdziale rozpatrujemy problemy spełnialności i prawdziwości formuł modalnych w danym systemie dowodzenia. Pokażemy, że problem badania prawdziwości formuł modalnych w zadanym systemie formalnym jest roztrzygalny tzn., że dla każdego systemu dowodzenia S istnieje algorytm A S, który dla każdej formuły φ sprawdza w czasie skończonym czy φ jest prawdziwa w S (tzn., czy zachdzi relacja S φ). Najpierw zdefinujemy dwa pojęcia: długości formuły i podformuły dla danej formuły ψ. Intuicyjnie, długość formuły ψ (oznaczona przez ψ ) jest liczbą symboli logicznych wystepujących w ψ. Formalnie długość formuły możemy definiowac rekurencyjnie względem budowy formuły: p = 1 dla p V AR ψ = ψ + 1 ψ φ = ψ φ = ψ φ = ψ + φ + 1 ψ = ψ = ψ + 1 Na przykład dla formuły ψ = (p (q r)) r (2.1) mamy ψ = 11. Pojęcie podformuły też można definiować rekurencyjnie: Definicja 37. Formułę φ nazywamy podformułą formuły ψ wtedy i tylko wtedy, gdy spełnia jeden z następujących warunków: φ = ψ; ψ = θ i φ jest podformułą θ; ψ = ψ 1 ψ 2 (gdzie {,, }) i φ jest albo podformułą ψ 1 lub podformułą φ 2 ; ψ = θ i φ jest podformułą θ; Zbiór wszystkich podformuł ψ oznaczamy przez Sub(ψ) Na przykład dla formuły ψ definiowanej wzorem (2.1) mamy Sub(ψ) = {p, q, r, r, q r, (q r), p (q r), (p (q r)), ψ} Następny lemat jest ważny dla dalszych rozważań. Jego dowód pozostawiamy czytelnikowi jako ćwiczenie

34 34 ROZDZIAŁ 2. LOGIKA MODALNA Lemat 38. Dla każdej formuły ψ zachodzi nierówność Sub(ψ) ψ Zanim udowodnimy twierdzenie o rozstrzygalności, pokażemy następujące twierdzenia Twierdzenie 39. Dla każdej struktury (K, val, s) i formuły ψ, relację (K, val, s) = ψ można sprawdzić w czasie O( ψ K 2 ) Dowód: Uporządkujemy podformuły ψ według ich długości: Sub(ψ) = {φ 1, φ 2,..., φ k } Po kolei, dla i = 1, 2,..., sprawdzamy relację (K, val, s) = φ i dla wszystkich stanów s w K. Dla każdej ustalonej formuły φ i, czas sprawdzeń dla wszystkich stanów wynosi O( K 2 ). Twierdzenie 40. Jeśli formuła ψ jest niesprzeczna w systemie dowodzenia S to istnieje model K dla S o niewięcej niż 2 ψ stanach taki, że: K = S ψ

35 2.8. ROZTRZYGALNOŚĆ 35 Dowód: Przez Sub (ψ) oznaczamy zbiór wszystkich podformuł i ich negacje tzn.: Sub (ψ) = Sub(ψ) { φ : φ Sub(ψ)} Podobnie jak w przypadku twierdzenia o pełności, rozpatrujemy pewne podzbiory formuł Σ Sub (ψ), które są niesprzeczne (tzn. Σ S ). Niech MAXCON(ψ) będzie rodziną maksymalnie niesprzecznych zbiorów formuł z Sub (ψ). Konstrujemy model Kripkego K = (S, ). Zbiór stanów definiujemy przez S = {s Σ : Σ MAXCON(ψ)}. Relację przejścia między stanami s Σ, s Λ S określamy następująco: s Σ s Λ θ [ θ Σ θ Λ] dla dowolnej zmiennej p Sub(ψ) i stanu Σ S, wartościowanie val definiujemy przez { 1 jeśli p Σ, val(p, Σ) = 0 w przeciwnym przypadku. Pokażemy, że dla każdej formuły φ Sub(ψ) mamy K, s Σ = S φ φ Σ (2.2) Pokażemy to przez indukcję. Jeśli φ = p jest zmienną to (2.2) jest prawdziwe z definicji wartościowania. Jeśli φ = φ 1 lub φ = φ 1 φ 2 dla {,,,..}, to (2.2) też jest prawdziwe. Rozpatrujemy przypadek, gdy φ = θ i φ Σ. Pokażemy, że (K, s Σ ) = S φ. Istotnie, niech s Λ1,..., s Λk będą następnikami wierzchołka s Σ w modelu K, wówczas formuła θ musi należeć do zbiorów Λ 1,..., Λ k. Z założenia indukcyjnego mamy (K, s Λ1 ) = S θ i (K, s Λ2 ) = S θ,..., (K, s Λ1 ) = S θ. Czyli K, s Σ = φ. Z drugiej strony, niech φ = θ i (K, s Σ ) = S φ. Niech Σ/ = {θ : θ Σ}. Wówczas możemy pokazać, że (Σ/ ) { θ} musi być sprzecznym zbiorem formuł, bo w przeciwnym przypadku, istniałoby rozszerzenie (Σ/ ) { θ} Λ MAXCON. Stan s Λ jest następnikiem stanu s Σ według definicji i z założenia indukcyjnego mamy (K, s Λ ) = S θ co jest sprzeczne z tym, że (K, s Σ ) = S φ. Skoro (Σ/ ) { θ} jest sprzecznym zbiorem, to istnieją formuły φ 1,...φ k Σ/ takie, że S, φ 1,..., φ k, θ, czyli Stosując regułę wymuszania mamy: S φ 1... φ k θ S (φ 1... φ k θ) czyli S φ 1... φ k θ Skoro φ 1,..., φ k Σ to θ też musi należeć do Σ

36 36 ROZDZIAŁ 2. LOGIKA MODALNA

37 Rozdział 3 Zbiory i logiki rozmyte 3.1 Rachunek zbiorów rozmytych W 1965 Lotfi Zadeh zaproponował nowe spojrzenie na pojęcie zbioru i należenia. Jego celem było umożliwienie wyrażania zależności, które są ze swojej natury niedokładne, rozmyte (ang. fuzzy). Przykładem takiego pojęcia może być stwierdzenie w języku naturalnym: Jaś jest wysoki. Jeżeli wiemy, że Jaś ma 175 cm wzrostu, to możemy się zastanawiać nad prawdziwością powyższego stwierdzenia. W terminach klasycznej teorii mnogości, musielibyśmy twardo zdecydować, czy 175cm kwalifikuje Jasia jako wysokiego czy nie. W teorii zbiorów rozmytych, możemy wyrazić to subtelniej, określając w jakim stopniu można uznać Jasia za osobę wysoką. W klasycznej teorii mnogości każdy podzbiór A w pewnej przestrzeni X można utożsamić z jego funkcją charakterystyczną określoną jako: { 1 gdy x A χ A (x) = 0 gdy x / A W przypadku teorii zbiorów rozmytych zastępujemy binarną funkcję charakterystyczną χ A przez funkcję przynależnoci µ A : X [0, 1]. Funkcję µ A nazywamy funkcją przynależności lub funkcją należenia. Jeżeli x X µ A (x) {0, 1} to zbiór A jest zbiorem w zwykłym sensie i jest nazywany zbiorem ostrym (lub dokładnym, ang. crisp). Opiszemy teraz podstawowe własności związane ze zbiorami rozmytymi. 37

38 38 ROZDZIAŁ 3. ZBIORY I LOGIKI ROZMYTE Definicja 41. Powiemy, że zbiór rozmyty A zadany przez funkcję przynależności µ A : X [0, 1] jest normalny jeśli x X µ A (x) = 1. Definicja 42. Dla danego zbioru rozmytego A określamy następujące wartości: Wysokość A: height(a) = h(a) = max x X µ A (x). Nośnik A: Supp(A) = {x X : µ A (x) > 0}. Jądro A: Core(A) = {x X : µ A (x) = 1}. Dla dobrego określenia własności zbiorów rozmytych musimy wprowadzić podstawowe pojęcia takie jak zawieranie czy zbiór pusty. Definicja 43. Niech A, B - zbiory rozmyte w pewnej przestrzeni X. Powiemy że zbiór rozmyty A jest zawarty w zbiorze rozmytym B (ozn. A B) wtedy i tylko wtedy gdy x X µ A (x) µ B (x). Definicja 44. Powiemy że zbiór rozmyty jest pusty wtedy i tylko wtedy gdy x X µ (x) = 0 W przypadku zwykłych zbiorów moc zbioru mierzymy liczbą jego elementów. W przypadku zbiorów rozmytych posługujemy się funkcją przynależności. Definicja 45. Dla danego zbioru rozmytego A określamy jego moc { ni=1 µ P ower(a) = A = A (x) gdy X = {x 1,..., x n } X µ A(x)dx w p.p. W przypadku klasycznych zbiorów posługujemy się jednoznacznie określonymi operacjami takimi jak suma, dopełnienie, przecięcie czy różnica symetryczna. W przypadku zbiorów rozmytych możemy definiować takie operacje na wiele sposobów. Od operacji na zbiorach rozmytych będziemy wymagali spełniania podstawowych warunków, intuicyjnie naturalnych dla operacji teoriomnogościowych. Odpowiednikiem przecięcia dla zbiorów rozmytych jest pojęcie T-normy. Oznacza to, że każda operacja spełniająca warunki stawiane T-normie może być wykorzystana jako odpowiednik przecięcia dla zbiorów rozmytych. Definicja 46. T-normą nazwiemy każdą funkcję T : [0, 1] 2 [0, 1] spełniającą następujące warunki dla a, b, c, d [0, 1]:

39 3.1. RACHUNEK ZBIORÓW ROZMYTYCH 39 Przemienność: T (a, b) = T (b, a); Łączność: T (a, T (b, c)) = T (T (a, b), c); Monotoniczność: T (a, b) T (c, d) gdy a c, b d; Tożsamość jedynki: T (a, 1) = a Analogicznie, sumę zbiorów rozmytych będziemy definiowali używając pojęcia S-normy (zwanej też T-konormą). Definicja 47. S-normą (T-konormą) nazwiemy każdą funkcję S : [0, 1] 2 [0, 1] spełniającą następujące warunki dla a, b, c, d [0, 1]: Przemienność: S(a, b) = S(b, a); Łączność: S(a, S(b, c)) = S(S(a, b), c); Monotoniczność: S(a, b) S(c, d) gdy a c, b d; Tożsamość zera: S(a, 0) = a Najczęściej stosowanymi operacjami na zbiorach rozmytych jest branie minimum (jako przecięcia) i maksimum (jako sumy). Ważną własnością tej pary operacji jest spełnianie praw rozdzielności: A (B C) = (A B) (A C) A (B C) = (A B) (A C) Ponadto, min (max) są jedynymi idempotentnymi operacjami w klasie T- norm (T-konorm). Operacja minimum jest także maksymalna w klasie T- norm. Inne przykłady operacji: T (a, b) = max(0, a + b 1) - tzw. Łukasiewiczowska S(a, b) = min(1, a + b) - tzw. Łukasiewiczowska T (a, b) = a + b ab - tzw. produktowa S(a, b) = ab - tzw. produktowa Uzupełnienie zbioru (negację) możemy także zdefiniować dla zbiorów rozmytych na wiele sposobów.

40 40 ROZDZIAŁ 3. ZBIORY I LOGIKI ROZMYTE Definicja 48. Operatorem neacji nazwiemy każdą funkcję N : [0, 1] [0, 1] spełniającą następujące warunki dla a, b [0, 1]: Zachowywanie stałych: N(0) = 1;N(1) = 0; Odwracanie porządku: N(a) N(b) gdy b a; Inwolucja: N(N(a)) = a. Jeżeli nie jest spełniony warunek iwolucji to mamy do czynienia z tak zwaną negacją intuicjonistyczną. Najcześciej (praktycznie zawsze) używanym przykładem operacji dopełnienia jest µ \A (x) = 1 µ A (x). Posiadanie operatora negacji pozwala na definiowanie T-konormy dualnej do zadanej T-normy (i vice versa) zgodnie z formułą: S(a, b) = N(T (N(a), N(b))) W większości przypadków będziemy się posługiwać szczególnym przypadkiem tej fomuły: S(a, b) = 1 T (1 a, 1 b) Relacje rozmyte W zwykłej teorii mnogości relację definiuje się jako podzbiór produktu kartezjańskiego. W przypadku zbiorów rozmytych ta definicja jest analogiczna. Dalej będziemy się zajmować tylko relacjami binarnymi. Ma to na celu uproszczenie notacji, bo wszystkie podane dalej pojęcia przenoszą się na przypadek relacji o więcej niz dwóch argumentach. Definicja 49. Relacją rozmytą określoną na X Y nazwiemy każdy podzbiór rozmyty iloczynu katezjańskiego X Y. Tak określona relacja rozmyta ma wszystkie pożądane własności. Zauważmy jednak, że do jej wprowadzenia nie jest używane pojęcie iloczynu kartezjańskiego zbiorów rozmytych. Powstaje zatem pytanie czym jest taki iloczyn i jak ma się on do wprowadzonego właśnie pojęcia relacji rozmytej. Definicja 50. Niech A, B zbiory rozmyte w przestrzeniach (odpowiednio) X i Y. Iloczynem katezjańskim A B nazwiemy relację R (ozn. R = A B) określoną na X Y przez: µ R (x, y) = min(µ A (x), µ B (y))

41 3.2. LOGICZNE OPERATORY ROZMYTE 41 W ogólnym przypadku: µ R (x 1,..., x n ) = min i (µ Ai (x i )) W pewnych sytuacjach potrzebujemy rozważać własności realcji rozmytych ze względu na poszczególne współrzędne. Służą temu między innymi pojęcia rozszerzenia cylindrycznego i projekcji. Definicja 51. Niech A będzie zbiorem rozmytym w X. Rozszerzeniem cylindrycznym zbioru A na iloczyn kartezjański X Y nazywamy relację rozmytą  = A Y zadaną przez funkcję przynależności: gdzie T jest T-normą. µâ(x, y) = T (µ A (x), µ Y (y)) = T (µ A (x), 1) = µ A (x), Definicja 52. Niech R będzie relacją rozmytą określona na X Y. Projekcją R na X (analogicznie na inne współrzędne) nazywamy zbiór rozmyty A w X oznaczany A = P roj x (A) i zadany przez: µ A (x) = max(µ A (x, y)). y 3.2 Logiczne operatory rozmyte W przypadku klasycznej teorii mnogości operacje na zbiorach są jednoznacznie związane z operacjami logicznymi na zdaniach. W przypadku zbiorów rozmytych sytuacja jest bardziej złożona choćby ze względu na wiele możliwych sposobów wprowadzenia operacji na zbiorach. Dlatego przy rozpatrywaniu operacji logicznych związanych z pojęciami zbiorów rozmytych przyjmuje się inny sposób określania wartości logicznej dla formuły. W klasycznej logice zdaniowej podstawienie było funkcją v : V AR {0, 1}. W logice rozmytej będziemy przyjmować, że formuła może przyjmować wartość logiczną pomiędzy 0 a 1. Dokładniej, [φ] v [0, 1]. Operatory logiczne rozmyte nie mogą już być określane za pomocą tabelek (truth table). Są to bowiem funkcje [0, 1] 2 [0, 1] ([0, 1] [0, 1] w przypadku negacji). Używając T-norm i T-konorm możemy w naturalny sposób wprowadzić koniunkcję i alternatywę jako: [φ ψ ] v = T ([φ] v, [ψ ] v ), [φ ψ ] v = S([φ] v, [ψ ] v )

42 42 ROZDZIAŁ 3. ZBIORY I LOGIKI ROZMYTE Podobnie dla negacji możemy się posłużyć funkcją spełniającą warunki z definicji 48. Najczęściej przyjmować będziemy, że: [ φ] v = 1 [φ] v Równoważność określamy za pomocą implikacji i koniunkcji jako: Przyjmując założenie, że [φ ψ ] v = [(φ ψ) (ψ φ)] v [φ] v [ψ ] v [φ ψ ] v = 1, otrzymujemy [φ ψ ] v = 1 lub [ψ φ] v = 1. Dla koniunkcji określonej za pomocą jakiejś T-normy otrzymujemy zatem [φ ψ ] v = min([φ ψ)] v, [ψ φ)] v ) i to niezależnie od wyboru operatora koniunkcji (T-normy). Pozostaje nam zdefiniować operator implikacji. Nie jest wielkim zaskoczeniem fakt, że można to zrobić na wiele sposobów. W tabeli 3.2 zostały przedstawione najpowszechniej używane operatory implikacji rozmytej: nazwa implikacji [φ ψ ] v Łukasiewicza min(1 [φ] v + [ψ ] v, 1) { 1 gdy [φ]v [ψ ] Gödla v [ψ ] v w p.p. { 1 gdy [φ]v = 0 Goguen a min(1, [[ψ]] v ) w p.p. [[φ]] v Kleene-Dienes a max(1 [φ] v, [ψ ] v ) Zadeha max(1 [φ] v, min([ψ ] v, [φ] v )) Reichenbacha 1 [φ] v + [ψ ] v [φ] v W przypadku operacji rozmytych można, podobnie jak w przypadku klasycznych spójników logicznych, definiować jedne za pomocą innych korzystając z różnych między nimi zależności. Trzeba jednak zachowac przy tym ostrożność, gdyż zależnie od używanej metody możemy uzyskać różne wyniki. I tak na przykład, używając implikacji Łukasiewicza możemy wprowadzić

43 3.3. LOGIKA POSSYBILISTYCZNA 43 dwie różne operacje alternatywy wykorzystując dwie znane zależności między spójnikami logicznymi. [φ 1 ψ ] v = [ φ ψ ] v = min([φ] v + [ψ ] v, 1) (3.1) [φ 2 ψ ] v = [ φ (ψ φ)] v = max([φ] v, [ψ ] v ) (3.2) W klasycznej logice obie formuły φ ψ i φ (ψ φ) są równoważne alternatywie. W zwykłej logice moglibyśmy wydefiniować implikację za pomocą dowolnej z nich. W przypadku logiki rozmytej i implikacji Łukasiewicza możemy się posłużyć tylko negacją i alternatywą, czyli tylko formułą (3.1). 3.3 Logika possybilistyczna Podstawową ideą logiki possybilistycznej jest związanie z każdą formułą pewnej liczby, odzwierciedlajacej stopień konieczności w jakim ta formuła jest prawdziwa. W dalszych rozważaniach będziemy się opierać na pewnym zbiorze zdań atomowych (atomów) P = p 0, p 1,.... Przez L oznaczymy zbiór wszystkich wyrażeń logicznych, które mogą być zbudowane z atomów wybranych z P za pomocą klasycznych operacji logicznych,, oraz nawiasów. Klauzulą nazwiemy wyrażenie postaci: ϕ 1 ϕ 2... ϕ n, gdzie ϕ 1 (i = 1,..., n) jest literałem atomowym tj. formułą atomową lub negacją takiej formuły. Klauzule są zwykle interpretowane jako reguły, gdyż klauzula postaci p i1... p ik p ik+1... p in jest równoważna implikacji p i1... p ik p ik+1... p in. Zbiór wszystkich klauzul będziemy oznaczać przez K 0. Zbiór klauzul w naszych rozważaniach rozszerzymy ponadto o formuły i, które są odpowiednio zawsze prawdziwe lub zawsze fałszywe. Będziemy używać oznaczenia K = K 0 {, }. Definicja 53. Miarą konieczności nazwiemy przyporządkowanie N : L [0, 1] spełniające: 1. N( ) = 1 2. N( ) = 0

44 44 ROZDZIAŁ 3. ZBIORY I LOGIKI ROZMYTE 3. N(ϕ ψ) = min(n(ϕ), N(ψ)) 4. N(ϕ) = N(ψ) gdy ϕ i ψ są wyrażeniami logicznie równoważnymi. Wartość N(ϕ) odpowiada na pytanie w jakim stopniu jest konieczna prawdziwość formuły ϕ. Z powyższej definicji wynika, że dla każdej formuły ϕ L jedna z wartości N(ϕ) lub N( ϕ) musi być zerem. Do policzenia wartości N(ϕ ψ) dla koniunkcji wystarczy tylko znajomość N(ϕ) i N(ψ). Nie jest to jednak wystarczające do określenia wartości alternatywy i negacji. Z tego powodu logika possybilistyczna nie jest logiką prawdziwościową (ang. truth-functional). Przykład Niech N : L [0, 1] będzie zdefiniowane jako: N(ϕ) = { 1 ϕ jest tautologią 0 w p.p. Wtedy dla pewnych formuł atomowych p 0, p 1 nie będących tautologiami mamy N(p 0 ) = N( p 0 ) = N(p 1 ) = N( p 1 ) = 0, ale N(p 0 p 0 ) = N( ) = 1 0 = N(p 0 p 1 ) Analogicznie dla negacji N( ) = N(p 0 ) = 0, ale N( ) = N( ) = 1 0 = N( p 0 ). Dla alternatywy w ogólnym przypadku można tylko określić, że: gdyż zachodzi: N(ϕ ψ) max(n(ϕ), N(ψ)) N(ϕ) = N(ϕ (ϕ ψ)) = min(n(ϕ), N(ϕ ψ)) oraz N(ψ) = N(ψ (ϕ ψ)) = min(n(ψ), N(ϕ ψ)) Definicja 54. Przekształcenie Π : L [0, 1] nazywamy miarą możliwości dla L, gdy istnieje taka miara konieczności N, że: Π(ϕ) = 1 N( ϕ). Π(ϕ) ma własności 1,2 i 4 z definicji 53, a ponadto Π(ϕ ψ) = max(π(ϕ), Π(ψ)). Definicja 55. W K (0, 1] nazywamy niepewną bazą wiedzy gdy {(, α) : α (0, 1]} W

45 3.3. LOGIKA POSSYBILISTYCZNA 45 Baza wiedzy to zbiór formuł, z których każdej towarzyszy liczba z przedziału (0,1]. Parę postaci (ϕ, α) K (0, 1] nazywamy klauzulą niepewną. α wyznacza dolną granicę dla miary (nieznanej) konieczności tj. (ϕ, α) W oznacza, że N(ϕ) α. Warunek {(, α) : α (0, 1]} W jest potrzebny ze względów formalnych, aby możliwe było wykazanie (ϕ, β) gdy zachodzi (ϕ, α) i β α. Zwykła baza wiedzy, czyli zbiór aksjomatów W K odpowiada bazie niepewnej W = W {1}. Aby móc dedukować niepewne klauzule ze zbioru niepewnych klauzul (niepewnej bazy wiedzy) potrzebujemy reguły wnioskowania. Taką regułą jest w tym przypadku reguła rezolucji possybilistycznej : (ψ ϕ 1, α 1 ) ( ψ ϕ 2, α 2 ) (ϕ 1 ϕ 2, min(α 1, α 2 )) Possybilistyczna rezolucja orzeka, że informacja o (ψ ϕ 1, α 1 ) i ( ψ ϕ 2, α 2 ), co odpowiada N(ψ ϕ 1 ) α 1 i N( ψ ϕ 2 ) α 2 wystarcza do stwierdzenia, że N(ϕ 1 ϕ 2 ) min(α 1, α 2 ). Definicja 56. Niech W i W będą niepewnymi bazami wiedzy. Powiemy, że W może być besposrednio wywiedziona z W jeśli istnieje klauzula niepewna (ϕ, α) K (0, 1] taka, że: 1. W = W \ {(ϕ, α)} 2. Istnieją klauzule ψ, ϕ 1, ϕ 2 K oraz α 1, α 2 (0, 1] takie, że: (a) α = min(α 1, α 2 ) (b) ϕ jest równoważne z ϕ 1 ϕ 2 (c) (ψ ϕ 1, α 1 ) W i ( ψ ϕ 2, α 2 ) W Definicja 57. Niech W będzie niepewną bazą wiedzy, a (ϕ, α) K (0, 1] klauzulą niepewną. Powiemy, że (ϕ, α) może być dowiedziona z W (ozn. W (ϕ, α)) jeśli istnieje sekwencja W 0, W 1,..., W n niepewnych baz wiedzy takich, że: 1. W = W 0 2. W i+1 można bezpośrednio wywieść z W i

46 46 ROZDZIAŁ 3. ZBIORY I LOGIKI ROZMYTE 3. (ϕ, α) W n Powyższa definicja stanowi zakończenie konstrukcji części syntaktycznej dla logiki possybilistycznej. Dalej wprowadzamy semantykę dla tej logiki. Dla wyraźnego wyróżnienia klasycznych wartości logicznych prawdy (1) i fałszu (0) w tej części wykładu będziemy się posługiwać oznaczeniami v-verum na oznaczenie prawdy i f-falsum na oznaczenie fałszu. Definicja 58. Przypożądkowanie I : P {v, f} przypisujące każdej formule atomowej wartość prawdy lub fałszu nazywamy interpretacją standardową (podtawieniem standardowym). Interpretacja standardowa I, może być za pomocą odpowiednich formuł dla,, kanonicznie rozszerzona do interpretacji I : L {v, f}. Zbiór wszystkich interpretacji nad P oznaczamy przez B(P). Przez F(B(P)) będziemy oznaczać rodzinę wszystkich zbiorów rozmytych w B(P). Z każdą niepewną bazą wiedzy możemy związać podzbiór rozmyty w B(P). Definicja 59. Niech W będzie niepewną bazą wiedzy i (ϕ, α) K (0, 1] klauzulą niepewną. (i) Zbiór rozmyty µ (ϕ,α) F(B(P)) jest zadany przez funkcję przynależności: { 1 gdy I µ (ϕ,α) (I) = (ϕ) = v 1 α w p.p. (ii) Zbiór rozmyty µ W F(B(P)) jest zadany przez: µ W (I) = inf{µ (ϕ,α) (I) : (ϕ, α) W} (iii) Wartość cons(w) = sup{µ W (I) : I B(P)} nazywamy stopniem zgodności (niesprzeczności) W. (iv) Wartość inc(w) = 1 cons(w) nazywamy stopniem niezgodności (sprzeczności) W.

47 3.3. LOGIKA POSSYBILISTYCZNA 47 Wartość µ (ϕ,α) [0, 1] określa w jakim stopniu podstawienie I jest zgodne z klauzulą (ϕ, α). Jeśli ϕ jest prawdziwe przy przy podstawieniu I, to I jest całkowicie zgodne z (ϕ, α). Gdy I (ϕ) = f pomimo, że wiemy (ϕ, α), zgodnośc zachodzi tylko w stopniu nie większym niż 1 α. Analogicznie, zgodność niepewnej bazy wiedzy to infimum po zgodnościach formuł do niej należących. Definicja 60. Niech W będzie niepewną bazą wiedzy i (ϕ, α) K (0, 1] klauzulą niepewną. Powiemy, że W = (ϕ, α), gdy inc(w ( ϕ, 1)) α. Powyższa definicja odpowiada własności logiki klasycznej, w której formułę ϕ można było udowodnić ze zbioru formuł W przez pokazanie, że W { ϕ} jest sprzeczny. Zauważmy, że ϕ nie musi być klauzulą, ale definicja poprzednia odnosi się do dowolnego zbioru formuł. Mamy zatem wprowadzone zarówno semantykę jak i syntaktykę dla logiki possybilistycznej. Sprawdzimy teraz, że te dwa pojęcia pozostają ze sobą w związku. Twierdzenie 61. (Poprawność logiki possybilistycznej) Niech W będzie niepewną bazą wiedzy i (ϕ, α) K (0, 1] klauzulą niepewną. Wtedy W (ϕ, α) W = (ϕ, α). Dowód: Niech W (ϕ,α) W będzie zbiorem wszystkich klauzul niepewnych, które zostały wykorzystane w wywodzie (ϕ, α) z W za pomocą rezolucji possybilistycznej. Oczywiście W (ϕ,α) K [α, 1]. W zapisie formalnym: W (ϕ,α) = {ψ : β [α,1] (ψ, β) W (ϕ,α) } Jeżeli zaniedbamy stopnie prawdziwości w possybilistycznym wywodzie rezolucyjnym ϕ z W (ϕ,α) to otrzymamy zwykły (klasyczny) wywód rezolucyjny. To zaś oznacza, że W = W (ϕ,α) {( ϕ, 1)} jest sprzecznym zbiorem formuł (w klasycznym sensie). Zatem dla każdej interpretacji I istnieje formuła ψ I W taka, że I (ψ I ) = f. Stąd zaś wynika, że dla wszystkich interpretacji I zachodzi Stąd zaś µ W {( ϕ,1)} (I) 1 α. inc(w {( ϕ, 1)}) = 1 sup{µ W {( ϕ,1)} (I) : I B(P)} 1 (1 α) = α.

48 48 ROZDZIAŁ 3. ZBIORY I LOGIKI ROZMYTE Twierdzenie 62. Niech W będzie niepewną bazą wiedzy i (ϕ, α) K (0, 1] klauzulą niepewną. Wtedy W = (ϕ, α) W (ϕ, α). Dowód: Zgodnie z definicją W = (ϕ, α) mamy α inc(w {( ϕ, 1)}) = 1 sup{µ W {( ϕ,1)} (I) : I B(P)}, czyli dla każdej interpretacji I zachodzi To oznacza, że zbiór µ W {( ϕ,1)} (I) 1 α W = {ψ : β [α,1] (ψ, β) W} {( ϕ, 1)} jest sprzeczny. Zatem klauzula ϕ może być wyprowadzona ze zbioru formuł W = W \ { ϕ} za pomocą zwykłej (nie possybilistycznej) rezolucji. Taki klasyczny dowód rezolucyjny może być przekształcony w possybilistyczny dowód rezolucyjny, w którym używane są tylko klauzule postaci (ψ, β) W dla β α. W ten sposób otrzymujemy, że W (ϕ, γ) dla pewnego γ α. Stosując pojedyńczy krok rezolucji possybilistycznej dla klauzul (ϕ, γ) i (, α) otrzymujemy żądany wynik. 3.4 Prawdziwościowa logika rozmyta Logika possybilistyczna przedstawiona poprzednio nie była prawdziwościowa. Przedstawimy teraz kolejny system logiczny związany z pojęciami teorii zbiorów rozmytych, który będzie systemem prawdziwościowym. Ponownie będziemy rozpatrywać zbiór formuł atomowych P. Będziemy się ograniczać do operacji,,. Zbiór wszystkich wyrażeń zbudowanych z atomów za pomocą operacji logicznych oznaczymy, jak poprzednio, przez L. W tym systemie całkowicie odchodzimy od klasycznych wartości logicznych prawdy i fałszu reprezentowanych przez 0 i 1. Zamiast tego będziemy się posługiwali liczbami z przedziału [0,1] przy czym nadal 0 oznacza całkowity fałsz a 1 całkowitą prawdę. Interpretacja (podstawienie) w naszym systemie będzie zatem przyporządkowaniem I : P [0, 1]. Ponownie, przez wykorzystanie operacji możemy rozszerzyć I do I : L [0, 1]. Dla uproszczenia będziemy dalej zakładać, że oznacza implikację Łukasiewiczowską a i są odpowiednio ciągłą T-normą i ciągłą T-konormą.

49 3.4. PRAWDZIWOŚCIOWA LOGIKA ROZMYTA 49 Definicja 63. Wyrażenie postaci ϕ p, gdzie p P, a ϕ jest formułą logiczną złożona z atomów i operatorów,, nazywamy formułą implikacyjną. Przez I oznaczamy zbiór wszystkich formuł implikacyjnych. Dla dowodu poprawności i pełności będziemy w głównej mierze zajmować się atomami i formułami implikacyjnymi. Definicja 64. Rozmytą bazą wiedzy nazwiemy przyporządkowanie w : I P [0, 1] Rozmyta baza wiedzy może być rozpatrywana jako dolne ograniczenie dla I indukowanego przez interpretację I. Inaczej mówiąc, dla każdej formuły w ϕ I P stopień prawdziwości winien być nie mniejszy niż w(ϕ). Zwykła baza wiedzy W I P może być interpretowana jako rozmyta baza wiedzy w : I P [0, 1] taka, że w(ϕ) = 1 gdy ϕ W i 0 w przeciwnym przypadku. Definicja 65. Niech w będzie rozmytą bazą wiedzy, a I : P [0, 1] interpretacją. Powiemy, że I jest zgodne z w, gdy dla każdego ϕ I P zachodzi w(ϕ) I (ϕ). Definicja 66. Niech w będzie rozmytą bazą wiedzy. Przekształcenie Th w : L [0, 1] jest zadane przez: Th w = inf{i (ϕ) : I jest interpretacj zgodn z w} Th w odpowiada zbiorowi rozmytemu wszystkich wyrażeń, które mogą być semantycznie wyprowadzone z w. Definicja ta odpowiada uproszczonej definicji teorii w logice klasycznej. W klasycznym sensie Th (klas.) W jest zdefiniowana jako zbiór tych wszystkich formuł ϕ, dla których z faktu że I (ψ) = prawda dla każdego ψ W, wynika I (ϕ) = prawda. W jest klasyczną bazą wiedzy tzn. zbiorem formuł. Powyższe definicje dostarczają nam semantyki dla naszego systemu logicznego. Dla wprowadzenia częsci syntaktycznej posłużymy się uogólnieniem reguł modus ponens. Rozważmy rozmytą bazę wiedzy w, formułę implikacyjną ϕ p i interpretację I zgodną z w. Wprowadzamy interpretację

50 50 ROZDZIAŁ 3. ZBIORY I LOGIKI ROZMYTE I w, gdzie I w (q) = w(q) dla q P. Ponieważ I jest zgodna z w, mamy I w I. Dzięki monotoniczności i ciągłości T-normy i T-konormy otrzymujemy I w(ϕ) I (ϕ), a ponieważ I zgodna z w, mamy: w(ϕ p) I (ϕ p) = min(1 I (ϕ) + I(p), 1). Stąd Zatem w(ϕ p) 1 I (ϕ) + I(p). w(ϕ p) + I w(ϕ) 1 w(ϕ p) + I (ϕ) 1 I(p). To oznacza, że dzieki znajomości w możemy wprowadzić nowe dolne ograniczenie na prawdziwość atomu p. Następna definicja wprowadza formalne pojęcie wywodu. Definicja 67. Niech w i w będa rozmytymi bazami wiedzy. (i) w może być bezpośrednio wywiedzione z w jeśli istnieje fomuła implikacyjna ϕ p taka, że: (a) w (p) max(w(ϕ p) + I w(ϕ) 1, w(p)) (b) dla każdego ψ (I P) \ {p} zachodzi w (ψ) w(ψ). (ii) w może być wywiedzione z w jeśli istnieje sekwencja rozmytych baz wiedzy w 0, w 1,..., w n taka, że: (a) w 0 = w (b) w n = w (c) w i+1 może być bezpośrednio wywiedziona z w i. Definicja 68. Niech w będzie rozmytą bazą wiedzy. Przekształcenie th w : P [0, 1] jest zadane jako: th w (p) = sup{w (p) : w może być wyprowadzona z w} th w jest zbiorem rozmytym wszystkich atomów, które mogą byc syntaktycznie wywiedzione z w.

51 3.4. PRAWDZIWOŚCIOWA LOGIKA ROZMYTA 51 Twierdzenie 69. (poprawność) Niech w będzie rozmytą bazą wiedzy i p P. Wtedy: th w (p) Th w (p) Dowód: Wywodliwość została zdefiniowana tak, by zachowywać zgodność tzn., że jeśli interpretacja I jest zgodna z w, to I jest także zgodna z każdą rozmytą bazą wiedzy w bezpośrednio wywodliwą z w. Wykorzystując tę własność możemy (przez zwykłą indukcję zupełną) pokazać, że jeśli I jest zgodna z w, to I jest także zgodna z każdą rozmytą bazą wiedzy wywodliwą z w. Zatem dla wszystkich wyrażeń i wszystkich baz wiedzy rozmytej w, dla których zgodnie z definicjami 66 i 68 liczymy odpowiednio infima i suprema zachodzi nierówność w (p) I(p). To zaś pociąga za sobą prawdziwość twierdzenia o poprawności.

52 52 ROZDZIAŁ 3. ZBIORY I LOGIKI ROZMYTE Twierdzenie 70. (pełność) Niech w będzie rozmytą bazą wiedzy i p P. Wtedy: th w (p) Th w (p) Dowód: Kładziemy I 0 = th w. Najpierw wykażemy, że interpretacja I 0 jest zgodna z w. Zgodnie z definicją th w dla każdego atomu q P zachodzi nierówność w(q) I 0 (q). Niech ϕ q będzie formułą implikacyjną. Zakładamy, że zachodzi to jest w(ϕ q) > I 0 (ϕ q) = I 0 (q) I 0 (ϕ) + 1 w(ϕ q) + I 0 (ϕ) 1 > I 0 (q) Niech p i1,..., p in będą atomami występującymi w ϕ. Ponieważ T-norma i T- konorma, których używamy są z założenia ciągłe i monotoniczne, istnieją takie ε 1,..., ε n > 0 że warunek: jest spełniony dla w(ϕ q) + I 1 (ϕ) 1 > I 0 (q) I 1 (r) = { I0 (r) ε j gdy r = p ij 0 w p.p. Definiujemy rozmytą bazę wiedzy w następująco: { w I1 (ψ) gdy ψ P (ψ) = w(ψ) gdy ψ I Dla każdego atomu p ij (j = 1,..., n) istnieje rozmyta baza wiedzy w j, która może zostać wyprowadzona z w przez wykorzystanie nierówności w j (p ij ) > w (p ij ), gdyż zachodzi w (p ij ) < th w (p ij ). Zatem w też może być wywiedziona z w. Ale jednocześnie z w możemy bezpośrednio wywieść rozmytą bazę wiedzy w, taką, że: { w w(ϕ q) + I (ψ) = w (ϕ) 1 gdy ψ = q w (ψ) w p.p. To zaś prowadzi do sprzeczności, bo: I 0 (q) < w(ϕ q) + I 1 (ϕ) 1 = w (q) < th w (q) Zatem I 0 nie może być zgodne z w, a stąd wynika, że dla wszystkich p P zachodzi: th w (p) = inf{i(p) : I jest zgodne z w} = Th w (p)

53 Rozdział 4 Wnioskowanie indukcyjne 4.1 Problem indukcji Wszystkie systemy wnioskowania poznane dotąd na tym wykładzie były systemami dedukcyjnymi, czyli działającymi w sposób całkowicie pewny w oparciu o przyjęty zbiór przesłanek (założeń, aksjomatów) za pomocą niezawodnych reguł wnioskowania. W szczególności, niesprzeczne systemy dedukcyjne są zamknięte ze względu na tworzenie nowych pojęć i wyciąganie prawdziwych wniosków. Rozumowania czysto dedukcyjne są stosunkowo rzadko spotykane w prawdziwym świecie. Najczęściej mamy z nimi do czynienia w przypadku matematycznych modeli świata (fizyka teoretyczna, matematyka, informatyka) których opis poddaje się uporządkowaniu. Znamienitym przykładem stosowania podejścia (głównie) dedukcyjnego są Elementy Euklidesa. Jednak rygorystyczne trzymanie się dedukcji i zasada zachowywania absolutnej prawdziwości wniosków bardzo szybko napotykają na wielkie problemy. Dlatego istotnym dopełnieniem metod dedukcyjnych w nauce są rozumowania innego rodzaju, w szczególności oparte o indukcję, abdukcję i/lub kombinację tychże Rozumowania indukcyjne - wprowadzenie W największym uproszczeniu, rozumowania indukcyjne można rozumieć jako wnioskowania od szczegółu do ogółu czyli od przykładów do reguły. 53

54 54 ROZDZIAŁ 4. WNIOSKOWANIE INDUKCYJNE Wnioskowania indukcyjne są ze swojej natury niedokładne. Wnioskowanie indukcyjne jest oparte na wrodzonej ludziom zdolności do znajdowania wzorców i reguł na podstawie skończonej (i być może niekompletnej i niedokładnej) próbki pochodzącej z obserwacji. Na przykład na podstawie obserwacji każdy rozsądny badacz stwierdzi empirycznie prawdziwość stwierdzenia: Wszystkie kruki są czarne, ale nie wszystkie koty są czarne. Zagadnieniem przeprowadzania wywodów w oparciu o obserwację, czyli indukcyjnych, zajmowali się badacze od zarania dziejów. Jednakże aż do schyłku średniowiecza za niepodważalną metodę badawczą uważano dedukcję w formie wprowadzonej przez Arystotelesa. Dzisiejsze pojęcie indukcji jest znacznie precyzyjniejsze niemniej jednak arystotelesowskie podejście też wymagało przyjęcia założeń i prowadzenia rozumowania w sposób, który ich nie podważa. Arystoteles rozważał wprawdzie metodę rozumowania indukcyjnego, ale tylko w formie prymitywnej indukcji enumeracyjnej zupełnej. Pierwsze znaczące wątpliwości co do tej metody badawczej przedstawił Francis Bacon ( ) jednocześnie proponując zasadę indukcji eliminacyjnej. Zasada indukcji eliminacyjnej została dokładniej sformułowana przez Johna Stuarta Milla w Systemie logiki dedukcyjnej i indukcyjnej (1843) w formie tzw. kanonów Milla. Indukcję niezupełną eliminacyjną poddał krytycznej analizie David Hume (1748). Swoje trzy grosze dorzucił też Immanuel Kant. W swoich dziełach filozoficznych, zajmujących się przede wszystkim zagadnieniami poznania i kwestiami przyczynowości, Hume zaproponował nowe spojrzenie na indukcję i przeprowadził jej krytyczną analizę. Jego postulaty stały się początkiem współczesnego rozumienia zagadnienia indukcji - w ujęciu Hume a stanowi ono alternatywę głoszącą, że albo wiedza jest pewna i dotyczy idei (abstraktów, np. obiektów matematycznych), albo jest niepewna i dotyczy faktów z rzeczywistości. Współcześnie pogląd, że wiedza o faktach świata materialnego nie jest pewna jest przyjęty powszechnie, w czasach Hume a stanowił jednak szokujący paradoks, głównie ze względu na rozwój fizyki newtonowskiej. Współczesne rozumienie wnioskowań indukcyjnych odeszło od idei Kanta i Hume a w stronę logik indukcyjnych, które na zamiast na pytanie co uzasadnia prawdziwość? starają się odpowiadać na pytanie dlaczego stwierdzenie jest prawdopodobne/możliwe?. Tego typu podejście reprezentował

55 4.2. TYPY ROZUMOWAŃ INDUKCYJNYCH 55 m.in. Rudolf Carnap. Obecnie rozumowania indukcyjne są istotną częścią wielu systemów rzeczywistych. Elementy wnioskowania w oparciu o indukcję stanowią między innymi podstawę dla takich działów jak systemy uczące się (ang. Machine Learning) czy odkrywanie wiedzy z danych (ang. KDD Knowledge Discovery in Databases). 4.2 Typy rozumowań indukcyjnych Indukcja zupełna Indukcja zupełna (indukcja enumeracyjna zupełna, indukcja wyczerpująca) to wnioskowanie, w którym jakąś ogólną prawidłowość uznaje się za prawdziwą na podstawie zdań stwierdzających wszystkie możliwe przypadki wystąpienia tej prawidłowości. Indukcja zupełna jest w rzeczywistości rozumowaniem dedukcyjnym i pewnym, gdyż wyklucza sprzeczność przez wyliczenie (enumerację) wszystkich pozytywnych przypadków. Jest też w większości nietrywialnych przypadków całkowicie nieefektywną metodą prowadzenia praktycznego rozumowania. Szczególnym przypadkiem indukcji zupełnej jest indukcja matematyczna powszechnie stosowana do dowodzenia twierdzeń. Niejako wbrew swojej nazwie, jest to metoda dedukcyjna Indukcja eliminacyjna...when you have eliminated all which is impossible, then whatever remains, however improbable, must be the truth. Sherlock Holmes Źródło: Arthur Conan Doyle, The Blanched Soldier Prosta indukcja eliminacyjna (Bacon) polega na sformułowaniu listy hipotez, które wzajemnie się wykluczają, a następnie dokonaniu eliminacji z użyciem narzędzia jakim jest eksperyment. J.S. Mill rozwinął indukcję eliminacyjną poprzez dodanie pięciu reguł eliminacji hipotez (kanonów Milla) które pozwalają częściowo sformalizować

56 56 ROZDZIAŁ 4. WNIOSKOWANIE INDUKCYJNE proces wnioskowania. Kanony Milla pozwalają ustalać związki przyczynowoskutkowe typu przyczyna A powoduje skutek a, na podstawie serii obserwacji. Na przykład metoda zgodności (kanon pierwszy) pozwala przeprowadzić wnioskowanie: Metoda zgodności - 1 kanon Milla Sytuacja 1: Obserwujemy przyczyny A, B, C i skutki a, b, c. Sytuacja 2: Obserwujemy przyczyny A, D, E i skutki a, d, e. Wniosek: Eliminujemy niepowtarzające się (niezgodne) obserwacje i mamy przyczyna A powoduje skutek a. Indukcja niezupełna (indukcja enumeracyjna niezupełna), polega na uznaniu jakiejś ogólnej prawidłowości na podstawie skończonej liczby zdań stwierdzających niektóre wystąpienia tej prawidłowości. Wnioskujemy zatem na podstawie próbki o prawidłowościach ogólnych. Niezupełność tego rozumowania jest naturalną manifestacją rzeczywistości którą próbujemy opisać. Prawie nigdy nie mamy możliwości obserwowania dostatecznie wielu (wszystkich możliwych) przypadków. Niezupełność oznacza także, że raz zbudowane teorie nie są zamknięte i mogą być uzupełniane w miarę napływania nowych przypadków (obserwacji), które nie dają sie dobrze wyjaśnić za pomocą dotychczasowej wiedzy. Tak, na przykład, teoria względności Einsteina uzupełniła mechanikę Newtona. Indukcja niezupełna jest jednym z podstawowych narzędzi nauk doświadczalnych. Na potrzeby jej stosowania zostały opracowane liczne metodologie badawcze (np. rachunek błędów, ewaluacja statystyczna, etc.), które pozwalają eliminować negatywne skutki niezupełności. 4.3 Niezupełne wnioskowanie indukcyjne Problem indukcji niezupełnej był rozważany i poddawany krytycznej analizie od wieków. Zasadność, wiarygodność i konieczność stosowania tego podejścia do formułowania stwierdzeń opisujących świat dyskutował już Sextus Empiricus (3-2 wiek p.n.e.). Na przestrzeni wieków wielu najwybitniejszych uczonych odnosiło się do tego zagadnienia, np. Bacon, Kartezjusz, Kant, Newton,

57 4.3. NIEZUPEŁNE WNIOSKOWANIE INDUKCYJNE 57 Mill, Hume. Współcześnie własną wersję tego podejścia przedstawiali eminentni filozofowie nauki, m.in. Karl Popper, Wesley C. Salmon i David Miller. W konstrukcji systemu opartego na indukcji niezupełnej napotykamy na zasadniczy problem. Logika taka powinna rozszerzać systemy dedukcyjne o mechanizm do wyprowadzania niekoniecznie całkowicie prawdziwych twierdzeń. Chcielibyśmy, aby taki system pozwalał w jak największym stopniu odzwierciedlić podstawową własność systemów dedukcyjnych, tj. Prawdziwość przesłanek gwarantuje prawdziwość wniosków Kryterium zgodności Aby logika indukcyjna zachowywała pożądaną spójność zazwyczaj wymaga się od niej, aby możliwe było ustalenie stopnia wsparcia dla prawdziwości sformułowanych w niej wniosków. Mierzy on siłę wpływu prawdziwości przesłanek na prawdziwość wniosku. Od takiej miary wymaga się spełniania CoA (Criterion of Adequacy - kryterium zgodności). CoA - Criterion of Adequacy As evidence accumulates, the degree to which the collection of true evidence statements comes to support a hypothesis, as measured by the logic, should tend to indicate that false hypotheses are probably false and that true hypotheses are probably true. CoA - Kryterium zgodności W miarę rozszerzania zbioru faktów stopień w jakim zawarte w nim przesłanki pozytywne (prawdziwe) wspierają wniosek powinien wskazywać na wzrastające prawdopodobieństwo prawdziwości dla wniosków prawdziwych i spadające prawdopodobieństwo prawdziwości dla fałszywych. Aby z powodzeniem stosować systemy wnioskowania indukcyjnego (logiki indukcyjne) należy się zabezpieczać przed pułapkami, które mogą prowadzić do powstawania paradoksów lub dowodzenia sofizmatów. Na przykład:

58 58 ROZDZIAŁ 4. WNIOSKOWANIE INDUKCYJNE Indukcyjny dowód nieśmiertelności Fakty 1 n Wiele razy (n 1) słyszałem, że ktoś umarł. Fakt n + 1 Za każdym razem gdy słyszałem, że ktoś umarł, nie byłem to ja. Konkluzja Nic nie wskazuje na to, że mogę umrzeć, więc jestem nieśmiertelny. Oczywiście powyższe wnioskowanie jest błędne, bo nie uwzględnia przesłanek negatywnych i nie spełnia choćby podstawowych kryteriów przyzwoitości dla kompletności zbioru przesłanek. Niemniej jednak, w rzeczywistych systemach indukcyjnych musimy bardzo uważać na zabezpieczanie się przed nonsensownymi wnioskami Rodzaje wnioskowań indukcyjnych W praktyce codziennego (formalnego) wnioskowania indukcyjnego stosuje się wiele schematów (metod), często pochodzących z innych dziedzin nauki. Są wśród nich: 1. Uogólnienie indukcyjne (ang. inductive generalisation). 2. Sylogizm statystyczny (ang. statistical syllogism). 3. Indukcja prosta/bezpośrednia (ang. simple/direct induction). 4. Wnioskowanie przez analogię (ang. argument from analogy). 5. Predykcja (ang. prediction). 6. Wnioskowanie przyczynowe lub przyczynowo-skutkowe (ang. causal inference). Etiologia. UWAGA: wnioskowanie przez analogię może być rozpatrywane jako bardzo szczególny przypadek prostej indukcji.

59 4.3. NIEZUPEŁNE WNIOSKOWANIE INDUKCYJNE 59 Uogólnienie indukcyjne Uogólnienie indukcyjne to metoda, która rozszerza przesłankę prawdziwą dla próbki na wniosek dla całej populacji. Reguła Przesłanka: W próbce p wybranej z populacji P odsetek q przypadków w spełnia warunek A. Wniosek: W populacji P odsetek q przypadków w spełnia warunek A. Zauważmy, że na razie nie zajmujemy się kwestią tego jak duża jest próbka, jak jest reprezentatywna, jak duży jest odsetek q, etc. Wpływ tych czynników nie może być jednak w ogólności zaniedbany, gdyż może to doprowadzić do błędnych wniosków. Sylogizm statystyczny Sylogizm to technika wnioskowania o dwóch przesłankach, przy czym obie przesłanki zawierają wspólny element, a każdy element wniosku zawarty jest w dokładnie jednej z nich. Sylogizm statystyczny to wnioskowanie o pojedynczym przypadku na podstawie przesłanek mówiących o całej populacji. Reguła Przesłanki: W populacji P odsetek q przypadków w spełnia warunek A. Nowy przypadek s jest w P. Wniosek: Z prawdopodobieństwem będącym w (jakimś) związku z q przypadek s spełnia warunek A. Wnioskowanie przez sylogizm statystyczny jest narażone na błędy typu secundum quid typowe dla sylogizmów.

60 60 ROZDZIAŁ 4. WNIOSKOWANIE INDUKCYJNE Fallacia dicto simpliciter Błędy (fallacia) typu secundum quid pojawiają się przy niewłaściwym stosowaniu sylogizmów, takich jak np. sylogizm Arystotelesa: Jeżeli każdy A jest B oraz każdy B jest C, to każdy A jest B. W przypadku sylogizmu statystycznego możemy napotkać dwie odmiany takich błędów. 1. Błąd akcydentacji Fallacia a dicto simpliciter ad dictum secundum quid wyprowadzenie zdania szczegółowego ze zdania ogólnego przy pominięciu koniecznych domyślnych ograniczeń, np. Skoro jest tak wielu leniwych studentów, to niektórzy studenci w tej grupie są leniwi. 2. Błąd odwróconej akcydentacji Fallacia a dicto secundum quid ad dictum simpliciter wyprowadzenie zdania ogólnego ze zdania szczegółowego przez opuszczenie niezbędnego dookreślenia występującego w tym zdaniu ogólnym, np. Skoro można zabijać w obronie koniecznej, to zabijanie jest dozwolone. Indukcja prosta Indukcja bezpośrednia (prosta) działa przez zastosowanie przesłanki prawdziwej dla części znanych wcześniej przykładów (populacji) do nowego przykładu. Reguła Przesłanki: W populacji P odsetek q przypadków spełnia warunek A. Nowy przypadek s jest w P. Wniosek: s spełnia A z prawdopodobieństwem proporcjonalnym do q W tym konkretnym przykładzie prosta indukcja jest wynikiem złożenia uogólnienia i sylogizmu statystycznego. Wniosek z uogólnienia staje się pierwszą przesłanką sylogizmu. Wnioskowanie przez analogię Podobieństwo w jednych aspektach przesądza o podobieństwie w innych.

61 4.3. NIEZUPEŁNE WNIOSKOWANIE INDUKCYJNE 61 Reguła Przesłanki: Przypadki (obiekty) s i t są zgodne ze względu na warunki A, B, C. Przypadek (obiekt) s spełnia też warunek D. Wniosek: t z dużym prawdopodobieństwem spełnia D. Analogię stosuje się bardzo często w rozumowaniach zdroworozsądkowych, naukowych (ścisłych i humanistycznych), prawniczych i filozoficznych. Doprecyzowana i uregulowana wersja tego rozumowania stanowi dział informatyki (poddział Sztucznej Inteligencji) znany jako CBR (od ang. Case Based Reasoning). Predykcja Predykcja to wyciąganie wniosków o nowych obiektach (obserwowanych w przyszłości) na podstawie obserwacji zebranych z posiadanej próbki obiektów (w przeszłości/teraźniejszości). Reguła Przesłanka: W dotychczas zaobserwowanej populacji P odsetek q przypadków spełnia warunek A. Wniosek: Nowo zaobserwowany przypadek s spełnia A z prawdopodobieństwem proporcjonalnym do q Predykcja jest jednym z najczęściej wykorzystywanych schematów rozumowania indukcyjnego. Po uzbrojeniu w ścisły aparat matematyczny stanowi punkt wyjściowy współczesnych metod odkrywania wiedzy z danych w wielu dziedzinach zastosowań informatyki. Etiologia przyczynowość Etiologia (αιτ ιoλoγια - aitiología) to dział nauki badający przyczyny zjawisk, procesów, faktów, zwłaszcza przyczyny przestępczości i chorób.

62 62 ROZDZIAŁ 4. WNIOSKOWANIE INDUKCYJNE W sensie rozumowania indukcyjnego, szczególnie w wydaniu informatycznym, badanie związków przyczynowo-skutkowych najczęściej sprowadza się do rozstrzygania następującej kwestii. Szukanie przyczynowości w danych W najprostszym przypadku w danych obserwujemy dwa fakty (dwie zmienne) X i Y. Zwykle przyjmujemy, że te fakty nie zależą od czasu. Sprawdzamy na podstawie zgromadzonych danych która z zależności X Y czy Y X ma więcej przesłanek wspierających (większe wsparcie) jako hipoteza (potencjalny wniosek). Sposób ustalania wsparcia dla każdej z hipotez na podstawie danych odróżnia metody badania przyczynowości W stronę logiki indukcyjnej Rozważmy, jakie wymagania dla logiki indukcyjnej chcielibyśmy postawić. Od systemu (semi-)formalnego, który odważymy się nazwać logiką indukcyjną powinniśmy wymagać: 1. Spełniania kryterium zgodności (CoA). 2. Zapewnienia, aby stopień pewności, z jakim przyjmujemy wniosek nie przewyższał stopnia pewności z którym uznajemy przesłanki oraz stopnia ufności w stosowane reguły inferencji (quasi-monotoniczność). 3. Możliwości wskazania jednoznacznej granicy między prawidłowymi a nonsensownymi wnioskami (patrz dowód nieśmiertelności). Dodatkowym wymogiem jest intuicyjność, choć z tym bywa różnie (patrz przykład poniżej). Problem (paradoks) Monty Halla nazwany tak na cześć wieloletniego gospodarza teleturnieju Let s Make a Deal. Jest nie tyle paradoksem, co demonstracją, że nasza intuicja statystyczna / probabilistyczna jest czasem bardzo płytka i zawodna.

63 4.3. NIEZUPEŁNE WNIOSKOWANIE INDUKCYJNE 63 Problem (paradoks) Monty Halla Gracz ma przed sobą troje drzwi za którymi są odpowiednio nagroda i dwie kozy. Wybiera jedne z drzwi. Gospodarz programu, który wie za którymi drzwiami jest nagroda, otwiera jedne spośród dwóch nie wybranych przez gracza drzwi. Za tymi drzwiami jest koza. Gospodarz pyta gracza, czy chciałby zmienić wybór? Co powinien zrobić gracz by zmaksymalizować swoje szanse na nagrodę, zmienić wybór czy pozostać przy dotychczasowym? Odpowiedź jest na tyle nieintuicyjna, że nawet Paul Erdős nie uwierzył dopóki nie pokazano mu w 1995 roku dowodu za pomocą drzewa decyzyjnego i potwierdzenia za pomocą symulacji komputerowej. Indukcyjne = statystyczne? Bardzo często i (przy zachowaniu odpowiedniej ostrożności) przeważnie z sukcesem do realizacji praktycznych systemów indukcyjnych wykorzystuje się elementy probabilistyczne i statystyczne. Były to pierwsze historycznie, uporządkowane podejścia do zagadnienia ustalania wsparcia dla stwierdzeń. Jednym z najczęściej wykorzystywanych podejść są wnioskowania bayesowskie (probabilistyczne). Mówi się nawet, nieco na wyrost, o logice bayesowskiej (BLOG Bayesian LOGic). Wykorzystanie prawdopodobieństwa, w tym warunkowego, jako miary wsparcia, pewności czy wiarygodności pozwala nam skorzystać z osiągnięć rachunku prawdopodobieństwa i dokonać formalizacji rozumowania. Trzeba jednak być ostrożnym, bo złożone wywody probabilistyczne mają tendencję do wymykania się naturalnej intuicji. Wnioskowania niepewne Jak już wcześniej zaznaczyliśmy, wszelkie wnioskowania związane z indukcją niezupełną są wnioskowaniami niepewnymi (ang. uncertain reasoning). W większości przypadków są to także wnioskowania niemonotoniczne, tzn. przy pojawieniu się nowych przykładów (nowych przesłanek) może dojść do wykluczenia (zaprzeczenia) wniosków uważanych dotąd za wysoce prawdopodobne. Wnioskowania w obecności niepewności były i są szeroko badane w wielu dziedzinach nauki. Kilka najważniejszych podejść:

64 64 ROZDZIAŁ 4. WNIOSKOWANIE INDUKCYJNE Relacje wiarygodności plausibility relations Funkcje przekonań Dempstera-Shafera Dempster-Shafer belief functions Jakościowe relacje prawdopodobieństwa qualitative probability relations Funkcje probabilistyczne probability functions Funkcje possybilistyczne (rozmyte) possibility functions in Fuzzy Logic Funkcje rankujące (sic!) ranking functions Poniższy rysunek (Rys. 4.1) pokazuje zależności między podejściami do wnioskowań niepewnych. Strzałki prowadzą od podejść bardziej do mniej ogólnych. Jakościowe relacje prawdopodobieństwa Relacje wiarygodności Funkcje przekonań Dempstera-Shafera Funkcje probabilistyczne Funkcje possybilistyczne (rozmyte) Funcje rankujące Rysunek 4.1: Zależności między typami wnioskowań niepewnych.

65 4.4. INDUKCYJNE WNIOSKOWANIA BAYESOWSKIE Indukcyjne wnioskowania bayesowskie Niezorientowani w ogólnej teorii nieprawdopodobieństwa po dziś dzień zapytują, czemu właściwie Trurl uprawdopodobnił smoka, a nie elfa czy krasnala, a czynią tak z ignorancji, nie wiedzą bowiem, że smok jest po prostu bardziej od krasnala prawdopodobny (...) Stanisław Lem Cyberiada: Wyprawa trzecia, czyli smoki prawdopodobieństwa Przypomnijmy, że aby indukcyjny system wnioskowania zachowywał pożądaną spójność zazwyczaj wymaga się od niego, aby możliwe było ustalenie stopnia wsparcia dla prawdziwości sformułowanych w nim wniosków. Mierzy on siłę wpływu prawdziwości przesłanek na prawdziwość wniosku. Jak poprzednio, od systemu (semi-)formalnego i miary prawdziwości będziemy wymagać: 1. Spełniania kryterium zgodności (CoA). 2. Zapewnienia, aby stopień pewności, z jakim przyjmujemy wniosek nie przewyższał stopnia pewności z którym uznajemy przesłanki oraz stopnia ufności w stosowane reguły inferencji (quasi-monotoniczność). 3. Możliwości wskazania granicy między pożądanymi, a nonsensownymi wnioskami. 4. Możliwie wysokiej intuicyjności. Już pierwsze próby uporządkowania rozumowań indukcyjnych zmierzały w stronę wykorzystania prawdopodobieństwa i statystyki, często rozumianych w sposób płytki i nieścisły. Z czasem rozumowania oparte o metody probabilistyczne, szczególnie o wnioskowanie bayesowskie, znalazły się w centrum zainteresowania filozofów i logików dążących do uporządkowania i sformalizowania wnioskowania przez indukcję (logiki indukcyjnej). Elementy wnioskowań probabilistycznych można znaleźć u Pascala, Fermata i wielu innych. Współczesne podejście formalne do logiki indukcyjnej opartej na prawdopodobieństwie zainaugurował John Maynard Keynes w Treatise on Probability (1921). Rudolf Carnap rozwinął te idee w Logical Foundations of Probability (1950) i wielu kolejnych pracach. Po uporządkowaniu teorii prawdopodobieństwa przez Kołmogorowa wnioskowania probabilistyczne uzyskały też przyzwoitą podstawę teoretyczną.

66 66 ROZDZIAŁ 4. WNIOSKOWANIE INDUKCYJNE Probabilistyczna logika indukcyjna W przypadku logik indukcyjnych (w tym probabilistycznych) nie ma większego sensu rozważać relacji i jej związku z relacją =. Natomiast dla relacji = zamiast mówić o wynikaniu logicznym w ścisłym sensie, mówimy o funkcji wsparcia (prawdopodobieństwie) prawdziwości. Funkcja wsparcia Definicja 71. Funkcja P : L [0, 1], gdzie L jest zbiorem wyrażeń (językiem), jest funkcją wsparcia, jeżeli dla A, B, C będących wyrażeniami w L: 1. Istnieje co najmniej jedna para wyrażeń D, E L dla której P (D E) < Jeżeli B = A, to P (A B) = Jeżeli = (B C), to P (A B) = P (A C). 4. Jeżeli C = (A B), to albo P (A B C) = P (A C) + P (B C) albo D L P (D C) = P ((A B) C) = P (A (B C)) P (B C) Łatwo zauważyć, że warunki dla funkcji wsparcia P, są niczym innym jak warunkami dla miary prawdopodobieństwa. W warunkach dla funkcji P operator odpowiada koncepcyjnie wynikaniu (logical entailment), czyli podstawowemu krokowi wnioskowania. Łatwo zauważyć, że dla ustalonego systemu formalnego funkcja P nie musi być wyznaczona jednoznacznie. Zauważmy, że warunki na P zgadzają sie w podstawowych punktach z warunkami dla prawdopodobieństwa (bezwarunkowego), wystarczy położyć P (A) = P (A (D D)) dla jakiegoś D. Jednakże te warunki pozwalają też ustalić wartość P (A C) w sytuacji gdy prawdopodobieństwo przesłanki C jest równe 0 (czyli P (C) = P (C (D D)) = 0). Warunek 1 (nietrywialność) można wyrazić też jako: A L P ((A A) (A A)) < 1.

67 4.4. INDUKCYJNE WNIOSKOWANIA BAYESOWSKIE Wnioskowanie bayesowskie Prawdopodobieństwo Zanim przejdziemy dalej musimy ustalić (uproszczone) aksjomaty i podstawowe własności dla miary (prawdopodobieństwa), którą będziemy się posługiwać. Dla odróżnienia od poprzednich oznaczeń, będziemy używać Pr na oznaczenie miary prawdopodobieństwa. Aksjomaty prawdopodobieństwa dyskretnego (Kołmogorow) 1. Dla każdego zdarzenia A Ω wartość Pr(A) [0, 1]. 2. Prawdopodobieństwo całkowite Pr(Ω) = Addytywność jeśli A 1,..., A n są wzajemnie wykluczające, to n n Pr(A i ) = 1 Pr(B) = Pr(B A i ) Pr(A i ). i=1 i=1 Z aksjomatem 2 możemy mieć trudności. Z powodów, które staną sie jasne w następnej sekcji, będziemy używać następujących oznaczeń: T X - zbiór przesłanek (evidence set) pochodzących z jakiejś (ogromnej) przestrzeni. h H - wniosek (hipoteza) pochodząca z (ogromnej) przestrzeni hipotez. V S H,T - przestrzeń wersji, podzbiór tych hipotez z H, które są zgodne z T. Reguła wnioskowania (Bayes a) Dla dowolnej hipotezy h H i zbioru danych T X zachodzi: Pr(h T ) = Pr(T h) Pr(h) Pr(T )

68 68 ROZDZIAŁ 4. WNIOSKOWANIE INDUKCYJNE Czyli prawdopodobieństwo (stopień wiarygodności) wniosku h ustalamy na podstawie prawdopodobieństwa przesłanek i stopnia w jakim hipoteza uprawdopodobnia przesłanki. Bayesowska reguła wnioskowania wymaga kilku komentarzy: Pr(h T ) - prawdopodobieństwo a posteriori hipotezy h przy posiadaniu przesłanek (danych) T - tego szukamy. Pr(T ) - prawdopodobieństwo zbioru przesłanek (danych). Nie musimy go znać (na szczęście), żeby porównywać prawdopodobieństwa a posteriori hipotez. Jeżeli jednak musimy je wyznaczyć explicite, to możemy mieć kłopot. Potrzebujemy wyznaczyć Pr(h) i Pr(T h). Na razie zakładamy, że potrafimy je wyznaczyć, a także, że mamy ustalone H. Pr(T h) określa stopień w jakim wybór hipotezy h uprawdopodobnia wystąpienie (prawdziwość) przesłanek ze zbioru T Bayesowska predykcja i wspomaganie decyzji Zadanie klasyfikacji Prawdziwą przydatność wnioskowania bayesowskiego można ocenić w zastosowaniach, z których najpopularniejszym jest wspomaganie decyzji (klasyfikacji). Wspomaganie decyzji (klasyfikacji) jest szczególnym przykładem wykorzystania metod wnioskowań indukcyjnych takich jak predykcja, wnioskowanie przez analogię i indukcja eliminacyjna. Będziemy konstruować klasyfikatory bayesowskie, to jest algorytmy (procedury), które na podstawie próbki nauczą się wyznaczać prawdopodobieństwo wartości decyzji (klasyfikacji) dla nowych przykładów. Ograniczenie wnioskowania do zadania klasyfikacji pozwala na uzyskanie efektywnych obliczeniowo metod jego automatyzacji. Wprowadzimy teraz zestaw podstawowych pojęć związanych z zadaniem klasyfikacji (predykcji wartości decyzji). Dziedzina (przestrzeń, uniwersum) to pewien zbiór X, z którego pochodzą (którego elementami są) nasze przykłady.

69 4.4. INDUKCYJNE WNIOSKOWANIA BAYESOWSKIE 69 Element x X nazywamy przykładem (instancją, przypadkiem, rekordem, entką, wektorem, obiektem, wierszem). Atrybut (cecha, zmienna, pomiar, kolumna) to pewna funkcja a : X A. Zbiór A jest nazywany dziedziną wartości atrybutu, lub prościej dziedziną atrybutu. Zakładamy, że każdy przykład x X jest całkowicie reprezentowany przez wektor gdzie a 1 (x),..., a n (x), a i : X A i dla i = 1,..., n. n nazywamy czasem rozmiarem (długością) przykładu. W naszych zastosowaniach wyróżniamy specjalny atrybut nazywany decyzją (klasą) lub atrybutem decyzyjnym, tradycyjnie oznaczany dec lub d. Najczęściej w zadaniach związanych z predykcją decyzji mamy do czynienia ze zbiorem przykładów (pomiarów) zebranych wcześnie i stablicowanych. Na przykład, dla zadania podjęcia decyzji czy przy danej pogodzie będziemy uprawiać nasz ulubiony sport, może to być tabela taka, jak Tabela 4.1. Przy konstrukcji klasyfikatorów, to jest metod i algorytmów wspomagających podejmowanie decyzji i/lub klasyfikację, często posługujemy się następującymi pojęciami: Zbiór treningowy (próbka treningowa/ucząca) to podzbiór T X. To odpowiednik zbioru przesłanek. T d - podzbiór danych treningowych o decyzji d. To odpowiednik zbioru przesłanek wspierających konkretną hipotezę. T d a i =v - podzbiór danych treningowych o wartości atrybutu a i równej v i decyzji d. To odpowiednik zbioru przesłanek konkretnego rodzaju, wspierających konkretną hipotezę. Zbiór hipotez H to teraz zbiór możliwych warunków na decyzję postaci (dec = d), gdzie d V dec.

70 70 ROZDZIAŁ 4. WNIOSKOWANIE INDUKCYJNE Zadanie klasyfikacji Mając daną próbkę treningową T wyznaczyć jak najlepiej (najbardziej wiarygodnie) wartość dec(x) dla nowego przykładu x X (tj. x / T ). Pytanie: Jak wybrać najlepszą wartość decyzji? Tabela 4.1: Przykład danych tablicowych, tzw. tablica decyzyjna. Outlook Temp Humid Wind EnjoySpt sunny hot high FALSE no sunny hot high TRUE no overcast hot high FALSE yes rainy mild high FALSE yes rainy cool normal FALSE yes rainy cool normal TRUE no overcast cool normal TRUE yes sunny mild high FALSE no sunny cool normal FALSE yes rainy mild normal FALSE yes sunny mild normal TRUE yes overcast mild high TRUE yes overcast hot normal FALSE yes rainy mild high TRUE no Wybór hipotezy - MAP i ML W zadaniu klasyfikacji bayesowskiej chodzi o to, by znając przykłady z przeszłości (treningowe) i wartości atrybutów (poza decyzją) dla nowego przykładu x wyznaczyć dla niego najprawdopodobniejszą wartość decyzji. Trzeba zatem wyznaczyć za pomocą wzoru Bayesa taką hipotezę h, która maksymalizuje wsparcie.

71 4.4. INDUKCYJNE WNIOSKOWANIA BAYESOWSKIE 71 Hipoteza MAP - Maximum A Posteriori Mając dany zbiór T, klasyfikujemy nowy przykład x X wykorzystując hipotezę h MAP H czyli przypisujemy obiektowi x wartość decyzji zwróconą przez h MAP (x), gdzie: h MAP = arg max h H Pr(h T ) = arg max Pr(T h) Pr(h) h H W typ podejściu wybieramy hipotezę która jest najbardziej prawdopodobna wśród dostępnych. Hipoteza ML - Maximum Likelihood Mając dany zbiór T, klasyfikujemy nowy przykład x X wykorzystując hipotezę h ML H czyli przypisujemy obiektowi x wartość decyzji zwróconą przez h ML (x), gdzie: h ML = arg max Pr(T h). h H W typ podejściu wybieramy hipotezę która najlepiej uzasadnia (uprawdopodobnia) zbiór przykładów treningowych. Zwróćmy uwagę, że sama hipoteza h może w tym podejściu być bardzo mało prawdopodobna, za to bardzo dobrze dopasowana do danych. Przy korzystaniu z ML i MAP trzeba mieć na względzie następujące kwestie: Obie metody wymagają znajomości Pr(T h). W przypadku MAP musimy też znać Pr(h), aby wykorzystać wzór Bayesa. MAP jest dość naturalny, ale ma pewne istotne słabości. W szczególności, promuje dominujące wartości decyzji. Obie metody zakładają, że zbiór treningowy nie zawiera błędów i że poszukiwana hipoteza występuje w H.

72 72 ROZDZIAŁ 4. WNIOSKOWANIE INDUKCYJNE ML jest bliski intuicyjnemu rozumieniu uczenia w oparciu o przykłady. Jest to proces wyboru hipotezy, która podaje najlepszy powód dla istnienia posiadanego przez nas zbioru danych. Reguła MAP wybiera najbardziej prawdopodobną hipotezę, podczas gdy nas tak naprawdę interesuje wybranie najbardziej prawdopodobnej wartości decyzji dla konkretnego przykładu. Przyjmijmy V dec = {0, 1}, H = {h MAP, h 1,..., h m }, 1 i m h(x) = 0, h MAP (x) = 1 oraz m Pr(h MAP T ) Pr(h i T ) Aby wyznaczyć ostateczną odpowiedź musimy znać Pr(h) i Pr(T h). Wyznaczanie prawdopodobieństw: Pr(h) - prostszy kawałek. To prawdopodobieństwo może wynikać ze stosowanej metody konstruowania hipotez, lub (najczęściej) wszystkie hipotezy są jednakowo prawdopodobne. W tym drugim przypadku: i=1 Pr(h) = 1 H Problem stanowi rozmiar H. To może być ogromna przestrzeń. Ponadto, w wielu rzeczywistych zastosowaniach nie znamy całego H. Pr(T h) - trudniejszy kawałek. Zauważmy, że nas interesuje tylko podejmowanie decyzji. Chcemy tylko wiedzieć, jakie jest prawdopodobieństwo, że zbiór przykładów T będzie zgodny (będzie miał tą samą decyzję) z hipotezą h. To daje nam: { 1 gdy h V SH,T Pr(T h) = 0 gdy h / V S H,T Niestety, pozostaje stary problem z rozmiarem i znajomością H. MAP i/lub ML mogą, pomimo wad, znaleźć zastosowanie w pewnych szczególnych sytuacjach, na przykład gdy: Przestrzeń hipotez jest bardzo ściśle ograniczona (i mała). Wykorzystujemy MAP i/lub ML do porównania (kilku) konkurujących hipotez skonstruowanych wcześniej innymi metodami. To wiąże się z zagadnieniami tzw. uczenia warstwowego (ang. layered learning).

73 4.4. INDUKCYJNE WNIOSKOWANIA BAYESOWSKIE 73 Optymalny klasyfikator bayesowski Optymalny klasyfikator bayesowski (Bayesian Optimal Classifier BOC) zawsze zwraca najbardziej prawdopodobną wartość decyzji dla danego przykładu i próbki uczącej. Nie może zatem być pokonany przez żaden algorytm uczący, jeśli porównujemy błędy rzeczywiste (globalne). Niestety, BOC jest niezbyt dobrze stosowalny w praktyce, gdyż wykorzystuje pełną przestrzeń hipotez. Niech c(.) będzie przybliżaną decyzją, T próbką treningową. h BOC = arg max d V dec Pr(c(x) = d T ) gdzie: Pr(c(x) = d T ) = h H Pr(c(x) = d h) Pr(h T ) Pr(c(x) = d h) = { 1 if h(x) = d 0 if h(x) d UWAGA: Hipoteza, którą zwraca BOC może nie należeć do H. Naiwny klasyfikator bayesowski Niech x będzie nowym przykładem, który mamy sklasyfikować. Powinniśmy wybrać taką hipotezę (decyzję) h, że: czyli, ze wzoru Bayesa n h(x ) = arg max Pr(c(x) = d a i (x) = a i (x )) d V dec i=1 arg max Pr(c(x) = d) Pr( n a i (x) = a i (x ) c(x) = d) d C i=1 Jeżeli przyjmiemy (naiwne) założenie, że poszczególne atrybuty (kolumny) są niezależne jako zmienne losowe, to: arg max Pr(c(x) = d) n Pr(a i (x) = a i (x ) c(x) = d) d C i=1 Rzeczy, które pozostaje nam wyliczyć (z danych) to Pr(c(x) = d) i Pr(a i (x) = v c(x) = d).

74 74 ROZDZIAŁ 4. WNIOSKOWANIE INDUKCYJNE Zwykle wykorzystujemy m-estymatę by otrzymać: Pr(a i (x) = v c(x) = d) = T d a i v + mp T + m Jeśli nie mamy dodatkowej wiedzy o rozkładzie wartości atrybutów to zwykle ustalamy jednakowe prawdopodobieństwo wszystkich wartości czyli p = 1, A i gdzie A i jest (skończonym) zbiorem możliwych wartości atrybutu a i. Najczęściej ustalamy m = A i. Złożoność NBC Dla każdego przykładu musimy zwiększać licznik wystąpień odpowiedniej klasy decyzyjnej i wartości odpowiednich atrybutów. To daje razem: O(n T ) Jest to najniższa złożoność (liczba kroków), jaką może osiągnąć rozsądny algorytm uczący się klasyfikacji. Ponadto, każdy pojedynczy krok w NBC jest bardzo prosty i szybki Wybór hipotezy w ogólności Przechodząc na nieco wyższy poziom abstrakcji, możemy postawić wymaganie, by wybierana hipoteza nie tylko dobrze pasowała do rzeczywistości, ale była także jak najprostsza. Jest to swoiste odwołanie do brzytwy Ockhama (lex parsimoniae). Przyjmujemy najprostsze z możliwych wyjaśnienie, przy czym w ujęciu Williama z Ockham za najprostszą powinniśmy przyjmować hipotezę, która wymaga poczynienia najsłabszych (najmniej licznych) założeń. W praktyce, szczególnie informatycznej, lex parsimoniae zastępuje się często zasadą najkrótszego (minimalnego) opisu (MDL - Minimum Description Length).

75 4.4. INDUKCYJNE WNIOSKOWANIA BAYESOWSKIE 75 MDL - zasada najkrótszego opisu Za najlepszą hipotezę uważamy taką, która prowadzi do najlepszej kompresji danych. To znaczy, ze przy przyjęcie tej hipotezy pozwala napisać możliwie najkrótszy/najprostszy algorytm odtwarzający dane. W przypadku klasyfikatorów, często oznacza to po prostu przyjęcie hipotezy o najkrótszym opisie. Klasyfikatory bayesowskie są ogólnie uważane za jedne z najlepszych producentów hipotez zgodnych z zasadą MDL. Dla porównywania długości opisów w najprostszym przykładzie przyjmiemy, że długość ta jest logarytmem (dwójkowym) opisu (prawdopodobieństwa). Logarytmując stronami wzór Bayesa dostajemy: log Pr(h T ) = log Pr(h) + log Pr(T h) log Pr(T ) Podstawiając L(.) za log Pr(.) otrzymujemy: L(h T ) = L(h) + L(T h) L(T ) gdzie L(h), L(T h) reprezentują długość opisu h i długość opisu danych T przy ustalonym h, przy założeniu znajomości odpowiednich optymalnych kodowań. Wybieramy zatem hipotezę minimalizującą długość opisu, czyli: h MDL = arg min h H L Enc H (h) + L EncD (T h) Przyjmując, że Enc H i Enc D są optymalnymi kodowaniami dla, odpowiednio, hipotezy i danych, dostajemy: h MDL = h MAP. Intuicyjnie, zasada najkrótszego opisu (MDL) pomaga znaleźć balans między jakością, a prostotą hipotezy. MDL jest może być praktycznie użyteczna w ocenie (rankingu) hipotez pochodzących z różnych źródeł, np. uzyskanych przez konkurujące rodzaje algorytmów klasyfikacji. Przydaje się także w metodach upraszczających hipotezy np. przy filtrowaniu reguł decyzyjnych czy przycinaniu drzew decyzyjnych. Często jest także wykorzystywana w roli warunku stopu dla algorytmów uczenia się reguł z danych.

76 76 ROZDZIAŁ 4. WNIOSKOWANIE INDUKCYJNE Złożoność Kołmogorowa MDL jest także silnie związana z pojęciem złożoności Kołmogorowa (Kolmogorov Complexity, descriptive complexity, Kolmogorov Chaitin complexity, algorithmic entropy). Złożoność Kołmogorowa dla łańcucha symboli (ciągu danych), skończonego lub nieskończonego, to długość najkrótszego programu, który generuje dany łańcuch. Oczywiście pojęcie długości programu jest dość skomplikowane i wymaga formalizacji, przeważnie z wykorzystaniem języków akceptowanych przez maszyny Turinga. Wyliczanie złożoności Kołmogorowa jest zwykle bardzo trudne, a czasami niewykonalne (nierozstrzygalne). Weźmy na przykład dwa ciągi: ma bardzo niską złożoność Kołmogorowa, ponieważ istnieje bardzo prosty program generujący cyfry rozwinięcia liczby π jako losowy ciąg liczb ma potencjalnie dużą złożoność Kołmogorowa. 4.5 Indukcja reguł Indukcyjne wyszukiwanie reguł na podstawie posiadanych danych jest jednym z najczęściej stosowanych podejść w takich dziedzinach jak systemy uczące się (Machine Learning) i eksploracja danych (Data Mining). Reguły są popularnym sposobem reprezentacji wiedzy wydobytej z danych ze względu na swoją czytelności bezpośrednie powiązanie z intuicjami. Niestety, wydobycie dobrej reguły lub zbioru reguł z danych nie jest proste, ze względu na duży koszt obliczeniowy i pamięciowy. Rozważane przez nas reguły będą postaci: IF warunki THEN wniosek co zwykle będziemy reprezentować jako: warunki wniosek Wśród reguł, jakie możemy wydobyć (wyuczyć) z danych, wyróżniamy kilka rodzajów. W dalszej części wykładu omówimy dwa przypadki szczególne, reguły decyzyjne i reguły asocjacyjne.

77 4.5. INDUKCJA REGUŁ Reguły decyzyjne W przypadku danych zadanych przez tablicę (system informacyjny) z wyróżnionym atrybutem decyzyjnym interesują nas reguły postaci: warunki decyzja Na przykład (patrz tabelka 4.1): (Temp = hot) & (Humid=high) (EnjoySpt=no) Zgodnie z postulatami Ryszarda Michalskiego, interesuje nas znajdowanie reguł, które są zgodne z danymi, kompletne, łatwe do wyliczenia (przy stosowaniu) i zrozumiałe. Procedura generowania reguł decyzyjnych dla zadanego zbioru treningowego T powinna zatem spełniać następujące warunki: 1. Generować reguły, które mają wysokie wsparcie (support). Liczba przykładów spełniających warunki w poprzedniku reguły powinna stanowić istotny odsetek całej znanej populacji (całego T ). 2. Generować reguły, które mają wysoki stopień ufności (confidence). Liczba przykładów w spełniających warunki w poprzedniku i następniku (zgodna decyzja) reguły powinna stanowić istotny odsetek przykładów spełniających warunki w poprzedniku. 3. Generować jak najprostsze i najogólniejsze reguły. Interesują nas krótkie, proste reguły (mało warunków w poprzedniku), które mają wysokie wsparcie i zaufanie. 4. Generować możliwie najmniejszy zbiór reguł, które wspólnie pokrywają wszystkie przypadki występujące w T. Najczęściej stosowanym podejściem do generowania reguł decyzyjnych jest metoda oddziel i rządź (ang. separate-and-conquer).

78 78 ROZDZIAŁ 4. WNIOSKOWANIE INDUKCYJNE Zarys metody zupełnej oddziel i rządź Dany jest zbiór przykładów treningowych T. 1. Znajdź jedną regułę, która dobrze (najlepiej) pasuje do aktualnych danych treningowych. 2. Usuń z T wszystkie przykłady pokrywane (pasujące do poprzednika) przez skonstruowaną regułę. 3. Jeżeli T, powtórz od początku. W praktyce warunek stopu w punkcie 3 jest często osłabiany, aby zapobiec generowaniu słabych szczątkowych reguł w ostatnich krokach procedury. Mówimy wtedy o pragmatycznej metodzie oddziel i rządź. Technikę opartą na podejściu oddziel i rządź nazywa się także metodą pokryciową generowania reguł decyzyjnych. W procedurze przedstawionej powyżej główna trudności leży we właściwym wykonaniu kroku 1 (generowanie reguły). Przez lata badacze dopracowali się wielu praktycznych i skutecznych algorytmów generowania reguł. Zagadnienie szukania najlepszej reguły jest zwykle przedstawiane jako zadnie przeszukiwania przestrzeni możliwych rozwiązań. Wyróżniamy tu kilka podejść: Metody od ogółu do szczegółu (general-to-specific search), np. algorytmy CN2 i PRISM. Metody od ogółu do szczegółu w zadanym kierunku (directional general-to-specific search), np. rodzina algorytmów AQ. Metody wyszukiwania z przycinaniem (pruned search), np. algorytm RIPPER. Metody redukcyjne (reduct based) rodem z teorii zbiorów przybliżonych - np. LEM2. Metody przeszukiwania ewolucyjnego takie jak algorytmy genetyczne, mrówkowe, rojowe et consortes.

79 4.5. INDUKCJA REGUŁ 79 Gdy przychodzi do stosowania reguł wyuczonych z danych dla nowych, wcześniej nie widzianych przypadków, możemy się spotkać z sytuacją, w której dwie reguła stosują sie do niego, ale wskazują na rożne (sprzeczne) decyzje. Mówimy wtedy o konflikcie. Najczęściej stosowane podejścia do zagadnienia konfliktów: Wprowadzenie preferencji. Niektóre reguły są preferowane ze względu na wskazywaną klasę decyzyjną, ogólność/sczegółowość, łatwość wyliczania, stosowalność, intuicyjność, itp. Część algorytmów znajdujących reguły jest zdolna nadawać preferencje regułom w trakcie ich konstruowania. Głosowanie. Reguły stosujące się do danego przypadku oddają głosy na poszczególne wartości decyzji. Głosowanie może być proste (jedna reguła jeden głos) lub ważone za pomocą wartości różnych numerycznych charakterystyk dla poszczególnych reguł. Modyfikacja zbioru reguł. Przeważnie kosztowna i skomplikowana. Polega na badaniu podzbiorów reguł w celu eliminacji potencjalnych konfliktów Reguły asocjacyjne Dziedzina eksploracji danych (Data Mining), szczególnie w swoich początkach, często była utożsamiana z wyliczaniem reguł asocjacyjnych (skojarzeniowych). Tym razem nie mamy wyróżnionego atrybutu decyzyjnego. Dla uproszczenia przyjmiemy, że wszystkie atrybuty (cechy, kolumny) w danych są binarne, tzn. reprezentują występowanie jakiejś cechy (lub jej brak) w badanym obiekcie. Często używa się terminologii rodem z analizy koszykowej, w której występowanie poszczególnych cech (wartość pojedynczego atrybutu) utożsamia się z występowaniem produktu (item).

80 80 ROZDZIAŁ 4. WNIOSKOWANIE INDUKCYJNE Reguły asocjacyjne Reguła asocjacyjna to wyrażenie typu p q, gdzie p, q są zbiorami (występujących) atrybutów (itemsets) tj. koniunkcjami warunków (literałów) odpowiadających atrybutom. Na przykład: (Status Open = Y es) (Gender Male = Y es) (Age Y oung = Y es) (Active = Y es) (ClientT ype N = Y es) Częste wzorce i reguły W praktycznych zastosowaniach nie możemy sobie pozwolić na żadne skomplikowane metody znajdowania reguł. Zgrubne oszacowanie pokazuje, że dla n atrybutów może teoretycznie istnieć O(3 n ) reguł. Trochę bardziej zgodne z rzeczywistością oszacowanie O(n 2 n 1 ) też niewiele pomaga, bo z założenia chcemy się zajmować dużymi zbiorami danych. W większości praktycznych algorytmów znajdowania reguł asocjacyjnych proces ten składa się z dwóch kroków: 1. Znajdź zbiór częstych wzorców (frequent itemsets) dla tablicy danych (transakcji). 2. Na podstawie zbioru częstych wzorców wyznacz zbiór dobrych reguł asocjacyjnych. Częsty wzorzec (frequent itemset) można rozumieć jako regułę asocjacyjną bez następnika, tj. koniunkcję warunków na występowanie atrybutów (items). Interesuje nas znalezienie rodziny częstych wzorców, czyli takich które mają wsparcie (support) powyżej ustalonego progu min supp. Ponieważ chcemy minimalizować liczbę kroków i częstość sięgania do danych które mogą być olbrzymie, staramy się jak najoszczędniej gospodarować zasobami. Najbardziej znany algorytm znajdowania wzorców Apriori wykorzystuje w tym celu tzw. podejście kaskadowe. Apriori bazuje na pewnej bardzo ważnej obserwacji: Każdy podwzorzec częstego wzorca jest częsty.

81 4.5. INDUKCJA REGUŁ 81 W algorytmie Apriori najpierw wyznacza się bezpośrednio z danych zbiór częstych 1-wzorców i 2-wzorców, a następnie sprytnie wykorzystując powyższą własność tworzy się kandydatów na dłuższe częste wzorce z wcześniej wyznaczonych krótszych. Na koniec sumuje się zbiory uzyskane w kolejnych krokach otrzymując ostateczny wynik. W generowaniu częstych wzorców chcemy, by poziom wsparcia był powyżej założonego min supp. W generowaniu reguł będziemy wymagali by poziom zaufania (confidence) dla tworzonej reguły był powyżej założonego progu min conf. Poziom zaufania dla reguły jest wyznaczony przez stosunek liczby obiektów w danych, które spełniają regułę do liczby obiektów, które spełniają poprzednik. Czyli dla reguły p q liczymy ile obiektów pasuje do wzorca p q i dzielimy przez liczbę spełniających p. Mając dany częsty wzorzec s możemy z niego uzyskać 2 s 1 rożnych reguł, ale nie wszystkie warto badać. Dla efektywnego wyznaczania reguł ponownie posłużymy się podejściem kaskadowym (Apriori). Tym razem jednak skorzystamy z następującej własności. Każda podreguła reguły akceptowalnej o tym samym poprzedniku, a krótszym następniku jest akceptowalna. Oznacza to, że jeśli reguła która ma taki sam poprzednik a krótszy (ale tożsamy) następnik nie przekracza progu min conf, to dłuższa reguła nie może być akceptowalna. Ponieważ wyznaczanie reguł asocjacyjnych jest bardzo istotną częścią współczesnej analizy danych (Data Science) rozwinięto wiele algorytmów, które pozwalają je efektywnie wyliczać. Oryginalny algorytm Apriori Agrawala został rozszerzony na na bardziej skomplikowane (niebinarne) typy atrybutów, a także uzupełniony o metody radzenia sobie z danymi rzadkimi, wielkimi (np. AprioriTID) i niekompletnymi. Wiele współcześnie stosowanych algorytmów wyznaczania wzorców i reguł, aby ograniczyć przebiegi przez całe dane, tworzy zaawansowane pomocnicze struktury danych takie jak grafy, TRIE, rozszerzone BST itp. Należą do nich np. często stosowane w praktyce metody FP-Tree i ECLAT. Istnieje także wiele metod opartych na innych podejściach do zagadnienia szukania reguł, np. oparte o zbiory przybliżone. Co najmniej jeden algorytm do generowania reguł asocjacyjnych można znaleźć w każdym szanującym się systemie oprogramowania do analizy danych.

82 82 ROZDZIAŁ 4. WNIOSKOWANIE INDUKCYJNE ILP - Inductive Logic Programming Techniki uczenia maszynowego i eksploracji danych tradycyjnie wykorzystują reprezentację obiekt-atrybut-wartość. To zapewnia nam: Prostotę reprezentacji. Efektywność i (względną) łatwość przetwarzania. Możliwość wykorzystania wielu metod uwzględniania niedoskonałości danych. Możliwość wykorzystania wielu metod i algorytmów uczenia się. Niestety, ta reprezentacja ma ograniczenia: Ubogi język reprezentacji. Brak możliwości wyrażenia relacji między obiektami i/lub ich częściami. Bardzo ograniczona możliwość uwzględniania wiedzy dziedzinowej (background/domain knowledge). Przypuśćmy że chcemy się nauczyć co powoduje, że pociąg podąża na wschód, jak w klasycznym przykładzie Ryszarda Michalskiego (Rys. 4.2). Rysunek 4.2: Przykład zadania dla ILP

83 4.5. INDUKCJA REGUŁ 83 Rysunek 4.3: Przykład alternatywnego zadania dla ILP - Za: M. Craven & J. Kumlien (1999). Constructing Biological Knowledge Bases by Extracting Information from Text Sources. ISMB 99. Inny przykład, przypuśćmy że chcemy się nauczyć na podstawie tekstów naukowych z dziedziny biologii komórkowej (Rys. 4.3), tego gdzie występują (na poziomie komórki), określone białka. W szczególności dla tekstu przedstawionego na Rys. 4.3 chcielibyśmy umieć wyekstrahować relację: subcellullar-localization(collagen, endoplasmic-reticulum) Dla wzbogacenia języka i zwiększenia ekspresywności dokonano rozszerzania paradygmatu programowania w logice na zadanie uczenia się (wnioskowania indukcyjnego). W ten sposób powstała dziedzina znana jako Indukcyjne Programowanie w Logice (ILP). Podstawą reprezentacji w ILP jest logika predykatów. Dzięki tej reprezentacji możemy używać zmiennych. Uczenie się w wersji ILP polega na znajdowaniu formuły (formuł) logicznej opisującej pojęcie docelowe w oparciu o inne (zdefiniowane) relacje w dziedzinie. Najczęściej tak pojęcie docelowe jak i wiedza dziedzinowa są opisane zbiorami klauzul. Dzięki wykorzystaniu języka logiki predykatów zyskujemy wyrażalność i regularność. Dzięki wykorzystaniu silnika (Prolog et consortes) programowania w logice zyskujemy narzędzia do praktycznego wnioskowania indukcyjnego z danych. Trzeba jednak pamiętać, że ILP ma liczne ograniczenia. Zadanie ILP Zadanie jakie stawiamy przed systemem uczącym się z danych za pomocą ILP możemy scharakteryzować następująco: