Autor: mgr Jan G. Bazan. Promotor: Prof. dr hab. Andrzej Skowron. Warszawa, 1998 r.

Transkrypt

1 UNIWERSYTET WARSZAWSKI Wydzia l Matematyki, Informatyki i Mechaniki Instytut Matematyki METODY WNIOSKOWAŃ APROKSYMACYJNYCH DLA SYNTEZY ALGORYTMÓW DECYZYJNYCH PRACA DOKTORSKA Autor: mgr Jan G. Bazan Promotor: Prof. dr hab. Andrzej Skowron Warszawa, 1998 r.

2 ii

3 Spis treści 1 Podstawy teorii zbiorów przybliżonych Wprowadzenie Wiedza i baza wiedzy Reprezentacja wiedzy Definiowalność pojeć Charakterystyka nieostrości pojeć Macierz i funkcja odróżnialności Tablice decyzyjne Uogólnienie relacji nierozróżnialności Relacja nierozróżnialności wzgledem ustalonego obiektu Relacja nierozróżnialności wzgledem decyzji Relacja nierozróżnialności wzgledem decyzji i obiektu Uogólniona relacja nierozróżnialności Relacja rozróżnialności Redukcja zbioru atrybutów Oszacowanie liczby reduktów systemu informacyjnego Metoda wyznaczania wszystkich reduktów Metoda wyznaczenia minimalnego reduktu Inne algorytmy aproksymacyjne wyznaczania reduktów Typy reduktów Zależności w systemach informacyjnych Dynamiczna redukcja wiedzy Geneza dynamicznej redukcji wiedzy Redukty dynamiczne Uogólnione redukty dynamiczne W lasności statystyczne reduktów dynamicznych Statystyka matematyczna a redukty dynamiczne Podstawowe twierdzenie o reduktach dynamicznych Problem minimalnej liczebności rodziny podtablic Problem wyboru optymalnej rodziny podtablic Obliczanie reduktów dynamicznych Informacja o zastosowaniach reduktów dynamicznych Algorytmy decyzyjne Systemy decyzyjne Modelowanie procesu podejmowania decyzji Klasyfikowanie obiektu do klasy decyzyjnej Wnioskowanie na podstawie przyk ladów iii

4 3.5 Jezyk logiki decyzyjnej Regu ly decyzyjne Regu ly decyzyjne a problem klasyfikacji obiektów Waga rodziny regu l decyzyjnych wzgledem testowanego obiektu Generowanie regu l decyzyjnych Zastosowanie reduktów wzgledem decyzji do generowania regu l decyzyjnych Optymalne regu ly decyzyjne Zwiazek regu l optymalnych z reduktami wzglednymi Skracanie optymalnych regu l decyzyjnych Zastosowanie reduktów dynamicznych do generowania regu l decyzyjnych Regu ly dynamiczne Wagi rodzin regu l decyzyjnych wykorzystujace wspó lczynnik stabilności Typy opisów klas decyzyjnych za pomoca regu l decyzyjnych Algorytmy decyzyjne wykorzystujace regu ly decyzyjne Wagi regu l decyzyjnych Problem wyd lużania regu l decyzyjnych Zastosowanie reduktów dynamicznych do dyskretyzacji wartości atrybutów Algorytmy decyzyjne bez wstepnego obliczenia regu l dla ca lej tablicy decyzyjnej Adaptacyjne systemy decyzyjne Adaptacja bazy wiedzy Adaptacja algorytmów decyzyjnych wymagajacych obliczenia regu l decyzyjnych Adaptacja progów wagi regu l decyzyjnych Adaptacja algorytmów decyzyjnych nie wymagajacych wstepnego obliczenia regu l decyzyjnych Sterowanie adaptacja systemów decyzyjnych Eksperymenty z danymi Wprowadzenie Informacja o innych systemach klasyfikujacych Wstepne przygotowanie danych eksperymentalnych Dyskretyzacja tablic decyzyjnych Filtracja tablic decyzyjnych Dekompozycja tablic decyzyjnych Metodologia eksperymentów Mierzenie efektywności algorytmów decyzyjnych Motywacja mierzenia efektywności algorytmów w klasach decyzyjnych Motywacja testowania danych treningowych Oznaczenia algorytmów decyzyjnych Plan eksperymentów Metody wizualizacji wyników eksperymentów Eksperymenty z problemami Mnicha Opis danych zwiazanych z problemami Mnicha Opis eksperymentów z problemami Mnicha Porównanie z wynikami innych systemów klasyfikujacych Eksperymenty z danymi medycznymi iv

5 4.6.1 Opis danych medycznych Opis eksperymentów z danymi medycznymi Porównanie z wynikami innych systemów klasyfikujacych Eksperymenty z danymi projektu StatLog Opis danych pochodzacych z projektu StatLog Opis eksperymentów z danymi dotyczacymi cukrzycy i kart kredytowych Opis eksperymentów z danymi dotyczacymi zdjeć satelitarnych Porównanie z wynikami innych systemów klasyfikujacych Eksperymenty z progiem wagi regu l decyzyjnych Podsumowanie eksperymentów Zakończenie 149 A Wnioskowanie boolowskie 153 A.1 Algebra Boole a A.2 Funkcje boolowskie A.3 Minimalizacja funkcji boolowskich A.4 Monotoniczne funkcje boolowskie A.5 Schemat wnioskowania boolowskiego B Skorowidz oznaczeń 165 Literatura 171 Spis tablic 180 Spis rysunków 183 v

6 vi

7 Przedmowa Od zarania dziejów dzia lalność ludzka wymaga ciag lego podejmowania decyzji. Decyzje takie podejmowane sa zwykle w oparciu o analize bieżacej sytuacji i dlatego do podejmowania decyzji potrzebna jest wiedza o otaczajacej cz lowieka rzeczywistości. G lówna trudność przy podejmowaniu decyzji wiaże sie z niepewnościa posiadanej wiedzy, która prowadzi do braku wzajemnie jednoznacznej odpowiedniości miedzy zbiorem faktów charakteryzujacych stan aktualny a decyzja (tzn. wartościa decyzji), która należy podjać w danej sytuacji. Problem wykorzystywania wiedzy niepewnej (ang. vague knowledge) od dawana interesowa l logików i filozofów (patrz np. [15], [34], [36], [56], [102]), lecz dopiero w bieżacym stuleciu zrozumiano (patrz np. [102]), że chociaż wiedza uzyskana wed lug zasad wnioskowania ze szczegó lowych faktów jest niepewna, to wiedza ta może stać sie wiedza w dostatecznym stopniu pewna, jeżeli np. wyrazimy ilościowo odpowiadajacy jej stopień niepewności. Zatem, podejmujac decyzje w warunkach niepewności, w d luższym okresie nie ustrzeżemy sie b l edów. Jeśli nie można uniknać b l edów, to dobrze by by lo wiedzieć jak czesto bed a one pope lniane. Informacja ta może być wykorzystana do poszukiwania takiej regu ly podejmowania decyzji, która nie zawiedzie nas zbyt czesto, czyli takiej, która minimalizuje czestość z lych decyzji lub strate wskutek z lych decyzji. Taka regu l e nazywamy regu l a aproksymacyjna i rozumiemy ja jako pewien mechanizm umożliwiajacy podejmowanie decyzji na podstawie posiadanej wiedzy. Jednakże wnioskowanie opierajace sie na regu lach aproksymacyjnych nie zawsze doprowadza do prawdziwych wniosków i dlatego nazywamy je wnioskowaniem aproksymacyjnymi, czyli przybliżonym. W niniejszej pracy zajmujemy sie problemem konstrukcji wnioskowań aproksymacyjnych na podstawie wiedzy (w tym wiedzy niepe lnej i niedok ladnej), zebranej w wyniku doświadczeń, testów, pomiarów, wywiadów z ekspertami z różnych dziedzin itd. Szczególnie interesować nas bed a takie wnioskowania aproksymacyjne, które można wykorzystać do wspomagania procesu podejmowania decyzji. W życiu codziennym, oprócz wiedzy o otaczajacym świecie, wykorzystujemy pewne metody wnioskowania z tej wiedzy, które czesto nazywamy rozumowaniami zdroworozsad- kowymi (ang. commonsence reasoning - patrz np. [108]). Prawie każdy typ inteligentnej aktywności (np. używanie jezyka, planowanie, uczenie, widzenie, s lyszenie) w pewnym stopniu wymaga rozumowań zdroworozsadkowych. Dlatego zrozumienie i formalne opisanie rozumowań zdroworozsadkowych uważane jest za jedno z istotnych zadań na drodze do skonstruowania inteligentnych systemów informacyjnych (patrz np. [108]). Jednakże formalny opis tego typu rozumowań jest bardzo trudny, gdyż obejmuja one wiele subtelnych sposobów rozumowania, a śledzenie ich wymaga znajomości z lożonych zależności wystepuj acych w posiadanej wiedzy. Podejmowane sa jednak liczne próby formalizacji rozumowań zdroworozsadkowych. Szczególnie na gruncie logicznym, który wydaje sie być predysponowany do tego typu poczynań, powsta lo wiele tzw. symbolicznych podejść do tego problemu. Jest to na przyk lad logika domniemań (ang. default logic), modelujaca wnioskowanie przez domniemanie (ang. default reasoning - patrz np. [108]), bed aca

8 szczególnym przypadkiem wiekszej klasy logik niemonotonicznych wiaż acych sie z tzw. rozumowaniami niemonotonicznymi (ang. nonmonotonic reasoning - patrz np. [108]). Istota wnioskowań niemonotonicznych jest to, że można za ich pomoca wyprowadzać nie tylko fakty wynikajace z posiadanej wiedzy, ale również inne fakty nie bed ace w sprzeczności z posiadana wiedza. Wynika stad, że w miare poszerzania bazy wiedzy, fakty poprzednio uznawane za prawdziwe, moga okazać sie fa lszywymi. Istnieja także tzw. numeryczne podejścia do problemu formalizacji rozumowań zdroworozsadkowych. Sa one oparte na różnego rodzaju wnioskowaniach probabilistycznych (ang. probabilistic reasoning - patrz np. [108]). Podejścia te różnia sie tym od podejść symbolicznych, że w przeciwieństwie do tych ostatnich daja wieksze możliwości numerycznego określenia mechanizmu propagacji niepewności w procesie wnioskowania. Z punktu widzenia problemu podejmowania decyzji w warunkach niepewności, można stwierdzić, że celem wspomnianych wyżej podejść jest zaproponowanie takiej decyzji, która jest ca lkowicie zgodna, w pewnym stopniu zgodna lub przynajmniej niesprzeczna z aktualnie posiadana wiedza. Oprócz rozumowań zdroworozsadkowych można wykorzystywać do podejmowania decyzji jeszcze inne typy rozumowań. Już w starożytności filozofowie greccy wprowadzili wnioskowanie dedukcyjne (patrz np. [2], [100]). We wnioskowaniu dedukcyjnym mamy dane przes lanki lub aksjomaty, z których każdy przyjmuje sie jako prawdziwy sam w sobie. Możemy udowodnić badana teze poprzez skonstruowanie jej dowodu formalnego w rozważanym systemie dedukcyjnym. Wnioskowanie dedukcyjne jest bez watpienia bardzo użytecznym narzedziem, które znajduje wiele zastosowań wiaż acych sie miedzy innymi ze strategiami automatycznego dowodzenia twierdzeń (patrz np. [123]). Jednakże, jeśli jakiś problem jest algorytmicznie rozwiazywalny za pomoca wnioskowania dedukcyjnego (np. problem odpowiedzi na pytanie czy dowolne zdanie sformu lowane poprawnie w jezyku danej teorii rozstrzygalnej T jest twierdzeniem tej teorii), to z lożoność obliczeniowa algorytmu rozwiazuj acego ten problem może być bardzo duża. Ponadto wyniki badań Kurta Gödela wskaza ly na istotne ograniczenia teorii dedukcyjnych (patrz [44]). Innym stosowanym od dawna typem rozumowania jest wnioskowanie indukcyjne (patrz np. [2], [100]). We wnioskowaniu indukcyjnym jako prawdziwe uznajemy zdanie stwierdzajace jakaś ogólna prawid lowość, przy czym czynimy to na podstawie uznania zdań stwierdzajacych poszczególne przypadki tej prawid lowości (patrz np. [2]). Jest to rozumowanie, wed lug którego czesto podejmuje sie decyzje w świecie rzeczywistym, opierajac sie na niepe lnych a nawet wadliwych informacjach. Ma to miejsce w przypadkach odpowiedzi na pytania zwiazane z prognozowaniem, sprawdzaniem hipotez czy też w laśnie podejmowaniem decyzji w niepowtarzalnej sytuacji. Niestety, indukcja nie jest wnioskowaniem niezawodnym (patrz np. [2]), tzn. wnioskujac przez indukcje można przejść od przes lanek prawdziwych do fa lszywego wniosku. Jeśli bowiem istnieja przypadki spe lniajace pewna prawid lowość, to nie oznacza wcale, że prawid lowość ta bedzie zawsze spe lniona. W teorii uczenia sie maszyn (ang. machine learning) wnioskowanie indukcyjne pojawia sie przy okazji problemu uczenia sie pojeć w oparciu o przyk lady (ang. concept learning by examples - patrz [63]). Problem ten polega na tym, że na podstawie znanych przyk ladów badanego pojecia, rozumianego jako podzbiór zbioru obiektów należacych do rozpatrywanego środowiska, trzeba utworzyć opis tego pojecia. Przez utworzenie opisu pojecia rozumiemy wykrycie takich w lasności przyk ladów obiektów należacych do pojecia, które umożliwia późniejsze badanie przyk ladów z punktu widzenia ich przynależności do badanego pojecia. Naturalnym podejściem do rozwiazania problemu uczenia sie pojeć na podstawie przyk ladów jest wnioskowanie indukcyjne, polegajace na tym, że otrzymujac kolejne przyk lady obiektów należace do pojecia i obiektów nie należacych do niego, próbuje sie znaleźć taki jego opis, który bedzie pasowa l do wszystkich lub prawie wszystkich viii

9 przyk ladów badanego pojecia. Chodzi wiec o nauczenie sie pojecia z żadan a dok ladnościa, przy użyciu tylko cześci przyk ladów tego pojecia. Od strony teoretycznej problemem uczeniu sie pojeć na podstawie przyk ladów zajmuje sie teoria COLT (ang. computional learning theory - patrz np. [5]). Szereg wyników teoretycznych tej teorii koncentruje sie wokó l nastepuj acych trzech zagadnień: 1) jak duża powinna być próbka zawierajaca przyk lady do uczenia, aby można by lo z żadan a dok ladnościa nauczyć sie badanego pojecia, 2) co można powiedzieć o czasie potrzebnym do wyuczenia sie pojecia z żadan a dok ladnościa, 3) jak wiele b l edów (tzn. b l ednie sklasyfikowanych przyk ladów) trzeba pope lnić przy uczeniu sie pojecia, aby wyuczyć sie pojecia z żadan a dok ladnościa. Rozwiazanie problemu uczenia sie pojeć w oparciu o przyk lady (pozytywne i negatywne) może być wykorzystane do konstrukcji rozumowań pozwalajacych na podejmowanie decyzji na podstawie posiadanej wiedzy. Zamiast bowiem mówić o uczeniu sie pojeć na podstawie przyk ladów, można rozpatrywać bardziej ogólne uczenie sie klasyfikacji na podstawie przyk ladów. Jeśli wyznaczona klasyfikacja bedzie podzia lem zbioru wszystkich przyk ladów na klasy obiektów zwane klasami decyzyjnymi, wymagajacymi podjecia określonych decyzji, to opis takiej klasyfikacji umożliwi rozpoznanie decyzji jaka należy podjać w nieznanych dotychczas przyk ladach, czyli da odpowiedź jaka powinna być podjeta decyzja również dla tych przyk ladów, które nie by ly prezentowane w trakcie uczenia klasyfikacji. Podsumowujac, można stwierdzić, że g lównym problem zwiazanym z uczeniem sie pojeć w oparciu o przyk lady, jest pytanie w jaki sposób konstruować algorytmy, które potrafia wyuczyć sie badanego pojecia, korzystajac ze zbioru treningowego przyk ladów (czyli zbioru znanych od poczatku przyk ladów pozytywnych i negatywnych pojecia). Przy czym algorytmy te maja tak nauczyć sie badanego pojecia, aby z duża szansa ma lo myli ly sie przy klasyfikowaniu przyk ladów także ze zbioru testowego przyk ladów pojecia (czyli przyk ladów nieprezentowanych algorytmowi w trakcie uczenia sie pojecia). Gwa ltowny rozwój cywilizacyjny spowodowa l we wspó lczesnym świecie zjawisko gromadzenia bardzo dużej ilości informacji. Dlatego zaistnia la konieczność budowy systemów automatycznego wnioskowania, które zrealizowane na maszynach cyfrowych mog lyby wyreczyć cz lowieka przy gromadzeniu i analizowaniu informacji, potrzebnej do podejmowania decyzji. Systemy takie na użytek niniejszej pracy bedziemy nazywać systemami decyzyjnymi, a bed a nas interesować systemy decyzyjne, które opieraja sie na wnioskowaniach aproksymacyjnych. Znajduja one szerokie zastosowanie przy rozwiazywaniu wielu problemów pojawiajacych sie w takich dziedzinach jak rozpoznawanie obrazów (ang. pattern recognition - patrz np. [6], [29], [73], [74]), uczenie sie maszyn (ang. machine learning - patrz np. [6], [38], [63], [64]), systemy ekspertowe (ang. expert systems - patrz np. [38], [51]) itd. Dlatego obecnie realizowane jest bardzo wiele projektów badawczych i komercyjnych, zmierzajacych do wytworzenia systemów komputerowych, umożliwiajacych automatyczne podejmowanie decyzji. Powstawanie tych systemów jest w pewnym sensie wymuszone ogromna liczba ich potencjalnych zastosowań w wielu dziedzinach życia, jak choćby: biznes, przemys l, nauka, transport, telekomunikacja, medycyna itd. Zasadnicza cześci a systemów decyzyjnych sa algorytmy, umożliwiajace podejmowanie decyzji na podstawie dostepnej w systemie wiedzy, które bedziemy nazywać algorytmami decyzyjnymi. W literaturze algorytmy decyzyjne czesto sa także nazywane algorytmami klasyfikujacymi (patrz np. [67]) lub algorytmami uczacymi sie (patrz np. [131]). ix

10 W niniejszej pracy bed a nas interesować algorytmy decyzyjne oparte na wspomnianej wcześniej idei indukcyjnego uczenia sie pojeć lub klasyfikacji na podstawie przyk ladów. Przy konstrukcji algorytmów decyzyjnych pojawia sie wiele różnych problemów. Miedzy innymi sa to problemy zwiazane z nastepuj acymi operacjami na posiadanej wiedzy: 1) wyszukiwanie nowych, istotnych dla klasyfikacji obiektów cech, opisujacych w lasności przyk ladów, należacych do rozpatrywanego zbioru obiektów, 2) wyszukiwanie istotnych cech w istniejacym zbiorze cech, 3) aproksymacyjny opis klas decyzyjnych, umożliwiajacy klasyfikowanie przyk ladów obiektów do odpowiednich klas decyzyjnych, 4) eliminacja zak lóceń jakie moga pojawić sie w rozpatrywanych danych, 5) adaptacja algorytmów decyzyjnych. W literaturze można znaleźć opisy wielu podejść do rozwiazania problemów zwiazanych z powyższymi operacjami, które opieraja sie na takich paradygmatach teorii uczenia sie maszyn, jak choćby: klasyczne i nowoczesne metody statystyczne (patrz np. [67], [39]), sieci neuronowe (patrz np. [67], [33]), drzewa decyzyjne (patrz np. [26], [96], [127], [129], [25], [67], [98], [43]), regu ly decyzyjne (patrz np. [81], [27], [65], [128], [18], [66], [132], [45], [117], [68], [79]), programowanie w logice (patrz np. [30]) itd. Wiele z powyższych podejść zaowocowa lo systemami decyzyjnymi przeznaczonymi do komputerowego wspomagania podejmowania decyzji (patrz np. [67]). Jednak w przypadku analizy rzeczywistych danych, każdy z tych systemów okazuje sie przy podejmowaniu decyzji w wiekszym lub mniejszym stopniu nieskuteczny (patrz [67]). Dlatego wciaż podejmuje sie nowe próby konstrukcji systemów decyzyjnych, a zagadnienie ilościowego mierzenia niepewności przy prowadzeniu wnioskowań aproksymacyjnych ciagle wzbudza wiele zainteresowania. W niniejszej pracy zajmujemy sie zagadnieniem konstrukcji algorytmów decyzyjnych wykorzystujac podejście oparte na zainicjowanej przez Pawlaka (patrz np. [82], [83]) teorii zbiorów przybliżonych. Teoria zbiorów przybliżonych dostarcza narzedzi matematycznych do formalnego opisu wiedzy, w tym wiedzy niepe lnej i niedok ladnej. Wiedza jest rozumiana w teorii zbiorów przybliżonych jako zdolność klasyfikowania obiektów badanego świata, a do jej reprezentacji proponuje sie systemy informacyjne (patrz np. [83]). Algorytmy decyzyjne w teorii zbiorów przybliżonych budowane sa w oparciu o wspomniane wyżej systemy informacyjne, a dok ladniej, w oparciu o szczególny rodzaj systemów informacyjnych, zwany tablicami decyzyjnymi (patrz np. [83]). Konstrukcja algorytmów decyzyjnych w teorii zbiorów przybliżonych, wiaże sie g lównie z problemami redukcji wiedzy i wyszukiwaniem zależności w systemach informacyjnych (patrz np. [83]). Problem redukcji wiedzy polega na badaniu minimalnych zbiorów niezależnych atrybutów, dajacych pe lna klasyfikacje obiektów (patrz np. [83]), a jego algorytmiczne rozwiazanie (patrz [110]), wykorzystujace teorie wnioskowania boolowskiego (patrz [23]), jest przydatne przy wyszukiwaniu zależności w systemach informacyjnych (patrz np. [83]). Zależności wystepuj ace w bazie wiedzy można traktować w teorii zbiorów przybliżonych jako drugi po systemach informacyjnych sposób reprezentowania wiedzy, stad ich wykrycie jest ważne z punktu widzenia konstrukcji algorytmów decyzyjnych (patrz [83]). W pracy przedstawione sa wyniki badań autora nad szeregiem zagadnień zwiazanych ze wspomnianymi wcześniej problemami, pojawiajacymi sie przy konstrukcji algorytmów decyzyjnych. Uzyskane wyniki można podzielić na kilka grup, które obecnie zostana scharakteryzowane. x

11 1. Ujednolicono podejście do konstrukcji algorytmów decyzyjnych w oparciu miedzy innymi o nastepuj ace pojecia: uogólniona relacja nierozróżnialności (patrz podrozdzia l 1.8), uogólniony redukt zbioru atrybutów (patrz podrozdzia l 1.15), uogólniony rdzeń zbioru atrybutów (patrz podrozdzia l 1.15), uniwersalna tablica decyzyjna (patrz podrozdzia l 3.2), waga rodzin regu l decyzyjnych wzgl edem testowanego obiektu (patrz podrozdzia l 3.8). 2. Zaadoptowano oraz rozwinieto wiele istotnych wyników, pochodzacych z innych prac, dotyczacych konstrukcji algorytmów decyzyjnych. Chodzi tu miedzy innymi o takie zagadnienia, jak: wykorzystanie metod redukcji wiedzy do generowania regu l decyzyjnych (patrz podrozdzia ly i 3.9.2), generowanie aproksymacyjnych regu l decyzyjnych (patrz podrozdzia l 3.9.4), użycie wagi podstawowej rodzin regu l decyzyjnych (patrz podrozdzia l 3.8), użycie maksymalnej wagi rodzin regu l decyzyjnych wykorzystujacej regu l e o najwiekszej liczbie obiektów wspierajacych (patrz podrozdzia l 3.8), użycie wagi globalnej rodzin regu l decyzyjnych wykorzystujacej wszystkie obiekty wspierajace poszczególne regu ly rodziny (patrz podrozdzia l 3.8). 3. Wprowadzono szereg nowych metod konstrukcji efektywnych algorytmów decyzyjnych. Dotycza one miedzy innymi nastepuj acych pojeć: redukt dynamiczny oraz jego wspó lczynnik stabilności (patrz rozdzia l 2), regu la dynamiczna oraz jej wspó lczynnik stabilności (patrz podrozdzia l 3.10), obiekt jednoznacznie i niejednoznacznie klasyfikujacy obiekt testowy (patrz podrozdzia l 3.17). Sformu lowano i udowodniono szereg w lasności wprowadzonych poj eć, z których pi eć wysuwa si e na plan pierwszy: podstawowe twierdzenie o reduktach dynamicznych, mówiace o tym, że wspó lczynnik stabilności reduktu dynamicznego jest estymatorem najwiekszej wiarygodności pewnego prawdopodobieństwa, dotyczacego zachowania w lasności reduktu dla tablic decyzyjnych rozszerzonych o nowe obiekty testowe (patrz twierdzenie 2.1), twierdzenie podajace formalny zwiazek pomiedzy regu lami decyzyjnymi optymalnymi (tzn. regu lami z minimalna liczba deskryptorów) a reduktami wzgle- dem atrybutu decyzyjnego i ustalonego obiektu (patrz twierdzenie 3.1), twierdzenie podajace wzór kombinatoryczny, pozwalajacy na szybkie algorytmiczne obliczanie wspó lczynnika stabilności regu ly decyzyjnej (patrz twierdzenie 3.2), xi

12 stwierdzenie mówiace o równoważności pomiedzy znanym algorytmem decyzyjnym opartym na niesprzecznych regu lach decyzyjnych i globalnej wadze rodzin regu l decyzyjnych, a wprowadzonym w pracy algorytmem decyzyjnym nie wymagajacym poczatkowego obliczenia regu l decyzyjnych i wykorzystujacym liczbe obiektów jednoznacznie klasyfikujacych obiekt testowy (patrz stwierdzenie 3.4), stwierdzenie mówiace o równoważności pomiedzy znanym algorytmem decyzyjnym opartym na aproksymacyjnych regu lach decyzyjnych (ale ze wspó lczynnikiem dok ladności nie mniejszym od ustalonego progu) i globalnej wadze rodzin regu l decyzyjnych, a wprowadzonym w pracy algorytmem decyzyjnym nie wymagajacym poczatkowego obliczenia regu l decyzyjnych i wykorzystujacym liczbe obiektów niejednoznacznie klasyfikujacych obiekt testowy (ale ze wspó lczynnikiem klasyfikacji nie mniejszym od ustalonego progu) (patrz stwierdzenie 3.5). Na bazie wprowadzonych pojeć i w lasności podano unikalne metody użyteczne do konstrukcji algorytmów decyzyjnych. Sa to: selekcja istotnych atrybutów za pomoca reduktów dynamicznych (patrz rozdzia l 2), generowanie regu l decyzyjnych za pomoca reduktów dynamicznych (patrz podrozdzia l 3.9.5), optymalizacja metody dyskretyzacji wartości atrybutów za pomoca reduktów dynamicznych (patrz podrozdzia l 3.16), obliczanie regu l dynamicznych bed acych regu lami decyzyjnymi o wysokim wspó lczynniku stabilności (patrz podrozdzia l 3.10), rozstrzyganie konfliktu miedzy regu lami w oparciu o wagi rodzin regu l decyzyjnych wykorzystujace wspó lczynnik stabilności regu l decyzyjnych (patrz podrozdzia l 3.11), selekcjonowanie silnych regu l decyzyjnych w oparciu o ustalony próg wspó lczynnika stabilności regu l (patrz podrozdzia l 3.16), generowanie wartości decyzji bez potrzeby wcześniejszego obliczania regu l decyzyjnych dla ca lej tablicy decyzyjnej (patrz podrozdzia l 3.17). 4. Zaprezentowano szereg mechanizmów, umożliwiajacych adaptacje algorytmów decyzyjnych, w tym podano przyk lad strategii wyboru optymalnego algorytmu decyzyjnego dla posiadanych danych (patrz podrozdzia l 3.18). 5. Przeprowadzono wiele eksperymentów komputerowych na danych rzeczywistych, porównujac efektywność i jakość przedstawionych w pracy metod z istniejacymi wcześniej na gruncie teorii zbiorów przybliżonych oraz z metodami opartymi na innych podejściach niż teoria zbiorów przybliżonych (patrz rozdzia l 4). Poniżej podajemy bardziej szczegó lowy komentarz dotyczacy uzyskanych w pracy wyników. Wprowadzone w pracy pojecie uogólnionej relacji nierozróżnialności pozwala na jednolite spojrzenie na problem nierozróżnialności obiektów oraz prowadzi do pojeć uogólnionego reduktu i uogólnionego rdzenia zbioru atrybutów, wprowadzonych w celu jednolitego podejścia do problemu redukcji wiedzy. xii

13 Natomiast uniwersalna tablica decyzyjna jest hipotetyczna tablica zawierajac a znane i nieznane obiekty opisujace aktualnie rozpatrywany aspekt rzeczywistości. Pojecie to jest bardzo pomocne przy tworzeniu przejrzystego opisu dzia lania algorytmów decyzyjnych oraz definiowania kryteriów oceny algorytmów decyzyjnych. Pojecie wagi rodzin regu l decyzyjnych wzgledem testowanych obiektów jest próba wprowadzenia ogólnego mechanizmu, pozwalajacego rozstrzygać konflikty pomiedzy rodzinami regu l decyzyjnych, rozpoznajacych testowany obiekt i klasyfikujacych go do różnych klas decyzyjnych. Redukcja wiedzy w teorii zbiorów przybliżonych odbywa sie na podstawie informacji o znanych obiektach badanego świata i stad mechanizmy umożliwiajace podejmowanie decyzji oparte na redukcji moga nie sprawdzić sie przy klasyfikacji nowych (nieznanych wcześniej) obiektów. Dlatego w pracy wprowadzamy pojecia zwiazane z tzw. dynamiczna redukcja wiedzy. Podajemy także pewne statystyczne argumenty świadczace o tym, że algorytmy decyzyjne zbudowane z udzia lem dynamiczne redukcji wiedzy, pozwalaja osiagn ać lepsze rezultaty przy podejmowaniu decyzji dla nowych obiektów od algorytmów nie wykorzystujacych dynamicznej analizy wiedzy. Przy konstrukcji algorytmów decyzyjnych w pracy wykorzystujemy zależności lokalne w bazie wiedzy, które reprezentujemy w jezyku logiki decyzyjnej za pomoca regu l decyzyjnych. Sa to tzw. proste regu ly decyzyjne, czyli regu ly decyzyjne, których poprzednik sk lada sie z koniunkcji warunków dotyczacych wartości wybranych atrybutów warunkowych a nastepnik podaje wartość atrybutu decyzyjnego. Do konstrukcji regu l decyzyjnych stosujemy zarówno pojecia zwiazane z redukcja wiedzy (tzn. redukty wzgledem decyzji i ustalonego obiektu) jak i pojecia zwiazane z dynamiczna redukcja wiedzy (tzn. redukty dynamiczne i regu ly dynamiczne). Wyznaczone regu ly decyzyjne umożliwiaja podejmowanie decyzji, przy czym, jak już wspominaliśmy, do rozstrzygania konfliktów pomiedzy rodzinami regu l klasyfikujacych obiekty do różnych klas decyzyjnych, proponujemy użycie wag rodzin regu l decyzyjnych. Oprócz tradycyjnych metod konstrukcji wagi rodzin regu l decyzyjnych zwiazanych z liczba obiektów wspierajacych regu ly (patrz np. [45], [47], [65], [126]), wykorzystujemy w pracy proste strategie wiekszościowe oraz wagi rodzin regu l wykorzystujace wspó lczynniki stabilności regu l decyzyjnych. Jednym z problemów pojawiajacych sie przy zastosowaniu opisywanych w pracy algorytmów decyzyjnych jest duża liczba regu l jaka pojawia sie dla nietrywialnie prostych tablic decyzyjnych. Aby temu zaradzić w pracy proponujemy metode selekcji regu l, pozwalajac a na odrzucenie regu l nadmiarowych. Metoda ta jest oparta na pojeciu progu wagi regu l decyzyjnych i jak wykaza ly eksperymenty, oprócz zmniejszenia liczby regu l decyzyjnych, pozwala polepszyć efektywność algorytmów przy klasyfikacji obiektów testowych. Czasami metody teorii zbiorów przybliżonych nie pozwalaja uzyskać wprost regu l decyzyjnych, użytecznych do konstrukcji algorytmów decyzyjnych. Taka sytuacja zachodzi na przyk lad, gdy obliczone regu ly maja zbyt ma lo wspierajacych je obiektów. Wtedy stosujemy aproksymacyjne regu ly decyzyjne. W pracy wykorzystujemy jedna z metod generowania aproksymacyjnych regu l decyzyjnych, choć w literaturze można znaleźć opisy innych tego typu metod (patrz np. [1], [69], [88], [136]). W badaniach eksperymentalnych czesto otrzymujemy tablice decyzyjne, których atrybuty maja bardzo dużo wartości, a nawet sa to wartości ciag le. O takich atrybutach mówimy, że sa to atrybuty o wartościach rzeczywistych. Jeśli chociaż cześć atrybutów warunkowych danej tablicy decyzyjnej jest atrybutami o wartościach rzeczywistych, to jest ma la szansa, że nowy obiekt testowy (spoza danej tablicy decyzyjnej) może zostać sklasyfikowany przez regu ly decyzyjne wygenerowane dla danej tablicy decyzyjnej. Wyxiii

14 nika to stad, że ze wzgledu na duża liczbe wartości atrybutów warunkowych danej tablicy, wartości atrybutów warunkowych obiektu testowego, czesto nie bed a pasowa ly do żadnej regu ly decyzyjnej. Dlatego dla tablic decyzyjnych z atrybutami rzeczywistymi konstruowane sa metody dyskretyzacji, czyli skalowania wartości atrybutów. Skalowania wartości atrybutów polega na tym, że z zakresu zmienności analizowanych atrybutów wybierane sa pewne szczególne wartości (zwane cieciami), dzielace zbiory wartości atrybutów na przedzia ly, z których każdy (po dodaniu mu etykiety) jest nowa wartościa atrybutu. Po zastosowaniu takiej operacji liczba wartości atrybutów gwa ltownie maleje. W pracy interesuje nas metoda dyskretyzacji opisana w [75], [76] i [77]. Jest ona oparta na teorii zbiorów przybliżonych i wnioskowaniu boolowskim. Przedstawiamy pewna optymalizacje tej metody, polegajac a na zastosowaniu reduktów dynamicznych do dynamicznej selekcji optymalnego zbioru cieć. W przypadku analizy dużych tablic decyzyjnych wyznaczanie efektywnych regu l decyzyjnych może być bardzo utrudnione, szczególnie wtedy, gdy wymaga zastosowania algorytmu obliczania wszystkich reduktów (patrz np. [110]). Dlatego czesto w praktycznych zastosowaniach do obliczania reduktów używamy algorytmów aproksymacyjnych (patrz np. [77], [133]). Innym sposobem przezwycieżenia trudności obliczeniowych jest zastosowanie algorytmów decyzyjnych nie wymagajacych wcześniejszego obliczenia regu l decyzyjnych dla ca lej tablicy decyzyjnej. Metody takie opieraja sie na za lożeniu, że podczas testowania nowych obiektów mamy swobodny dostep do danej tablicy decyzyjnej, gdyż przy testowaniu nowych obiektów używana jest informacja o poszczególnych obiektach danej tablicy, a nie o obliczonych regu lach decyzyjnych. Algorytmy decyzyjne nie wymagajace wcześniejszego obliczania regu l decyzyjnych, klasyfikuja obiekty testowe przez porównanie z obiektami treningowymi. Porównanie to ma na celu wyszukanie obiektów treningowych, które wydaja sie być istotne w kontekście klasyfikowania konkretnego obiektu testowego. Dok ladnie chodzi tutaj o wskazanie takich obiektów treningowych, których wartości wybranych atrybutów warunkowych dla tych obiektów sa istotnie zwiazane z wartościami atrybutów dla analizowanego obiektu testowego. Zatem opisywane algorytmy decyzyjne wprawdzie nie wymagaja wcześniejszego obliczania regu l decyzyjnych, ale podczas klasyfikowania każdego obiektu testowego, w pewnym sensie wyszukiwane sa odpowiadajace mu regu ly decyzyjne. W kontekście rozwoju wspó lczesnej informatyki, a szczególnie metod syntezy inteligentnych systemów informacyjnych, nasuwa sie pytanie jakie warunki musi spe lnić system decyzyjny, aby można go by lo nazwać adaptacyjnym. Okazuje sie, że algorytmy decyzyjne można wyposażyć w pewne mechanizmy adaptacji. Dzieki temu algorytmy te moga być użyte do konstrukcji tzw. adaptacyjnych systemów decyzyjnych. W pracy opisujemy szereg mechanizmów umożliwiajacych adaptacje algorytmów decyzyjnych. Podajemy także przyk lad strategii wyboru optymalnego algorytmu decyzyjnego dla posiadanych danych. Nasze eksperymenty zosta ly przeprowadzone na nastepuj acych danych: 1) zbiory danych zwiazane z trzema problemami, sformu lowanymi podczas trwania miedzynarodowej szko ly letniej z teorii uczenia sie maszyn, która odbywa la sie w 1991 roku w Priory Corsendonk w Belgii (ang. Monk s problems) (patrz [66], [125]), 2) zbiory danych medycznych (patrz [65]), 3) zbiory danych z projektu ESPRIT StatLog (patrz [67]). Eksperymenty mia ly na celu weryfikacj e efektywności i jakości prezentowanych w pracy algorytmów decyzyjnych. Wyniki eksperymentów z udzia lem opisywanych w pracy algoxiv

15 rytmów porównaliśmy także z wynikami algorytmów decyzyjnych opisywanych w literaturze i opartych na innych podejściach niż teoria zbiorów przybliżonych. Przeprowadzone eksperymenty pokaza ly, że przedstawione w niniejszej pracy algorytmy decyzyjne z powodzeniem moga być zastosowane do analizy rzeczywistych danych. Metody te daja na tych danych wyniki porównywalne lub nawet lepsze od wyników uzyskanych przez wiele algorytmów decyzyjnych opartych na innych podejściach z teorii uczenia sie maszyn. Obserwujac wyniki eksperymentów, można zauważyć, że tak dobre rezultaty opisywanych metod, by ly możliwe do uzyskania zwykle dzieki modyfikacjom już istniejacych metod analizy danych (np. metoda skracania regu l decyzyjnych, metody określania wag rodzin regu l decyzyjnych itd.) lub dzieki wprowadzeniu ca lkiem nowych metod przydatnych przy konstrukcji algorytmów decyzyjnych (np. redukty i regu ly dynamiczne, dynamiczna dyskretyzacja atrybutów, algorytmy decyzyjne nie wymagajace wstepnego obliczania regu l decyzyjnych itd.). Algorytmy decyzyjne używane w eksperymentach, których wyniki opisane sa w tej pracy, zosta ly zrealizowane w bibliotece oprogramowania RSES-lib (patrz [122]), która tworzy jadro obliczeniowe systemów RSES (patrz [120]) i ROSETTA (patrz np. [79], [80]). Biblioteka RSES-lib oraz system RSES zosta ly wykonane w Zak ladzie Logiki Matematycznej Uniwersytetu Warszawskiego pod opieka naukowa prof. dr-a hab. Andrzeja Skowrona. Autor niniejszej pracy kierowa l zespo lem ludzi tworzacych oprogramowanie oraz zaprogramowa l wiele istotnych jego modu lów. Osobiście wykona l także wszystkie eksperymenty z danymi. Zaleta prezentowanych w pracy metod jest z jednej strony ich prostota, która wynika z zastosowania podejścia opartego na teorii zbiorów przybliżonych. Teoria zbiorów przybliżonych wykorzystuje g lównie środki teorio-mnogościowe, co umożliwia latwe, a zarazem ścis le formu lowanie rozumowań o charakterze jakościowym. Rozumowania te sa jak wiadomo podstawa rozumowań zdroworozsadkowych, których zrozumienie i formalne opisanie, jak wspominaliśmy wcześniej, uważane jest za jedno z istotnych zadań dotyczacych konstrukcji inteligentnych systemów informacyjnych (patrz [83], [85]). Z drugiej strony efektywność i jakość opisywanych w pracy metod jest porównywalna, a w wielu przypadkach danych nawet lepsza od efektywności i jakości innych metod opartych na bardziej skomplikowanych podejściach. Algorytmy decyzyjne prezentowane w pracy można wprost użyć do analizy tablic decyzyjnych liczacych nie wiecej niż kilka tysiecy obiektów. Wieksze tablice zwykle nie moga być nimi analizowane ze wzgledu na z lożoność obliczeniowa opisywanych w pracy algorytmów. Dla wiekszych tablic trzeba stosować specjalne metody dekompozycji tablic, które polegaja na podziale przy użyciu różnych technik (np. w pracach [78], [121] sa to tzw. wzorce ) dużej tablicy na mniejsze fragmenty, a nast epnie na syntezie informacji pochodzacych od poszczególnych fragmentów dekomponowanej tablicy. Warto zauważyć, że analiza powstajacych w trakcie dekompozycji dużej tablicy jej fragmentów, może już być w zasiegu możliwości opisywanych w pracy algorytmów decyzyjnych. W ten sposób algorytmy decyzyjne opisane w niniejszej pracy można stosować przy konstrukcji systemów decyzyjnych opartych na dekompozycji, a wiec do analizy dużych danych. Poważnym utrudnieniem zwiazanym z zastosowaniem prezentowanych w pracy algorytmów decyzyjnych jest to, że mimo możliwości latwego zrównoleglenia tych algorytmów, brak jest odpowiedniego sprzetu, który dostarcza lby technicznie takich możliwości. Chodzi tutaj np. o komputery charakteryzujace sie bardzo duża liczba procesorów. Dlatego obecnie, z udzia lem autora, tocza sie prace nad systemem komputerowym, który pozwoli za pośrednictwem po l aczeń sieciowych rozpraszać obliczenia realizowane w systemach decyzyjnych konstruowanych w oparciu o teorie zbiorów przybliżonych. Obliczenia takie bed a xv

16 mog ly być wykonywane na wielu maszynach, co czestokroć powinno przyspieszyć uzyskanie wyników, umożliwiajac jednocześnie analize danych o znacznie wiekszych rozmiarach. Struktura niniejszej pracy przedstawia sie nastepuj aco. O zagadnieniach dotyczacych wiedzy, reprezentacji wiedzy, redukcji wiedzy oraz wykrywania zależności w systemach informacyjnych piszemy w rozdziale 1. Rozdzia l 2 zawiera opis idei zwiazanych z dynamiczna redukcja wiedzy. Zasadniczym rozdzia lem tej pracy jest rozdzia l 3, który poświeciliśmy metodom konstrukcji algorytmów decyzyjnych. Opisujemy w nim jak konstruować algorytmy decyzyjne, wymagajace obliczania regu l decyzyjnych dla ca lej tablicy decyzyjnej oraz algorytmy decyzyjne obliczajace regu ly decyzyjne dopiero na etapie klasyfikowania obiektów testowych. Piszemy także jak można wykorzystać idee dynamicznej redukcji wiedzy do optymalizacji procesu dyskretyzacji wartości atrybutów oraz do generowania regu l decyzyjnych. W rozdziale 3 opisujemy również zagadnienia zwiazane z adaptacja algorytmów decyzyjnych. Rozdzia l 4 zawiera wyniki eksperymentów jakie zosta ly przeprowadzone na rzeczywistych zbiorach danych. Na koniec, w dodatku A opisujemy podstawy teorii wnioskowania boolowskiego, które pe lni duża role przy rozwiazywaniu wielu problemów w teorii zbiorów przybliżonych. Badania naukowe, których wyniki zosta ly zaprezentowane w tej pracy, by ly cześciowo wspierane przez nastepuj ace projekty badawcze: 1) projekt nr 8 S Komitetu Badań Naukowych ( ), 2) projekt wspó lpracy polsko-norweskiej ( ), 3) projekt nr 8 T110C01011 Komitetu Badań Naukowych ( ), 4) projekt nr (ESPRIT-CRIT2) Wspólnoty Europejskiej ( ). PODZI EKOWANIA Pragne goraco podziekować mojemu opiekunowi naukowemu Profesorowi Andrzejowi Skowronowi za inspiracje, wszechstronna pomoc i opieke podczas powstawania tej pracy. Jest dla mnie rzecza oczywista, że bez Jego ogromnego zaangażowania w dzia lalność naukowo-badawcza oraz twórczego wp lywu jaki wywiera na rozwój naukowy kierowanego przezeń Zak ladu Logiki Matematycznej UW, praca ta nigdy nie mog laby powstać. Chcia lbym także wyrazić wdzieczność Profesorowi Leszkowi Polkowskiemu a także wszystkim Koleżankom i Kolegom, którzy brali udzia l w realizowanych w Zak ladzie Logiki projektach badawczych, za bardzo wiele cennych dyskusji, które znaczaco wp lyne ly na mój punkt widzenia prezentowany w niniejszej pracy. Dziekuj e także wszystkim, którzy wraz ze mna przez kilka lat pracowali przy konstrukcji systemu komputerowego RSES i biblioteki oprogramowania RSES-lib. W szczególności, bardzo dziekuj e Piotrowi Synakowi za olbrzymi wk lad jaki w loży l od samego poczatku w prace przy projektowaniu, implementacji, testowaniu, konserwacji i tworzeniu dokumentacji systemu RSES oraz biblioteki RSES-lib. Adamowi Cykierowi dziekuj e za zaimplementowanie wielu istotnych modu lów zarówno systemu RSES, jak i biblioteki RSES-lib. Jakubowi Wróblewskiemu dziekuj e za wyposażenie systemu RSES i biblioteki RSES-lib w narzedzia wykorzystujace programowanie ewolucyjne. Natomiast, za do l aczenie do biblioteki RSES-lib możliwości dyskretyzacji wartości atrybutów rzeczywistych, dziekuj e Doktorowi Nguyen Hung Son oraz Nguyen Sinh Hoa. Specjalne podziekowania należa sie także Marcinowi Szczuce, który od samego poczatku prac zwiazanych z powstaniem systemu RSES i biblioteki RSES-lib w loży l bardzo dużo xvi

17 pracy w konfigurowanie i administrowanie systemami komputerowymi, używanymi podczas prac implementacyjnych. Dziekuj e także Aleksandrowi Øhrnowi za bardzo solidne przetestowanie biblioteki RSES-lib oraz Agnieszce Chadzyńskiej, która testowa la system RSES. Bez wspólnego wysi lku wszystkich wymienionych wyżej osób nie powsta lby system komputerowy oraz biblioteka oprogramowania, która wykorzysta lem do przeprowadzenia opisanych w pracy eksperymentów. Chcia lbym także podziekować mojej siostrze Stanis lawie Bazan-Socha za merytoryczne wsparcie podczas pisania tych podrozdzia lów niniejszej pracy, w których opisa lem użyte do eksperymentów dane medyczne. Dziekuj e też mojej żonie Annie, której cierpliwość i zrozumienie bez watpienia pomog ly mi przy pisaniu tej pracy. Na koniec chcia lbym serdecznie podziekować tym wszystkim, których wyżej nie wymieni lem, a którzy także w ten czy inny sposób przyczynili sie do powstania niniejszej pracy. Autor xvii

18 xviii

19 Rozdzia l 1 Podstawy teorii zbiorów przybliżonych 1.1 Wprowadzenie Na poczatku lat 80-tych Profesor Zdzis law Pawlak zaproponowa l nowe podejście do problemu formalnego opisu wiedzy, w tym wiedzy niepe lnej i niedok ladnej, zebranej np. w wyniku doświadczeń, testów, wywiadów z ekspertami z różnych dziedzin itd. By la to teoria zbiorów przybliżonych (patrz [82]). Teoria ta zosta la szczegó lowo omówiona w licznych pracach, a obecny jej stan zosta l podsumowany w ksiażce (patrz [83]). Wydaje sie, że zaproponowane podejście stanowi dobra podstawe teoretyczna do rozwiazywania wielu problemów dotyczacych inteligentnych systemów informacyjnych, szczególnie w takich dziedzinach jak: rozpoznawanie obrazów (ang. pattern recognition - patrz np. [6], [29], [73], [74] ), uczenie sie maszyn (ang. machine learning - patrz np. [6], [38], [63], [64]), systemy ekspertowe (ang. expert systems - patrz np. [38], [51]) itd. Jak wykaza ly dotychczasowe badania teoria zbiorów przybliżonych pozwala czesto uzyskać dobre rezultaty praktyczne, nawet w przypadkach, gdy inne metody okaza ly sie mniej przydatne (patrz np. [7], [8], [9], [11], [45], [47], [69], [75], [76], [77], [86], [90], [116], [126], [135], [136]). Wiaże sie to z faktem, że proponowane podejście nie ogranicza sie do numerycznego charakteryzowania nieprecyzyjności pojeć a używa do tego celu środków teoriomnogościowych. W konsekwencji umożliwia to ścis le sformu lowanie aproksymacyjnych rozumowań o charakterze jakościowym, które stanowia podstawe rozumowań potocznych (patrz np. [85]). W niniejszym rozdziale krótko przedstawimy podstawy teorii zbiorów przybliżonych, ze szczególnym uwzglednieniem środków jakie teoria ta używa do rozwiazywania problemów reprezentacji i redukcji wiedzy oraz wykrywania zależności istniejacych w bazie wiedzy. 1.2 Wiedza i baza wiedzy Problematyka wiedzy od dawna zajmowali sie logicy i filozofowie (patrz np. [48], [49], [91], [103]). Jednakże wiekszość z tych prac wydaje sie być dla informatyki ma lo przydatna, choć niewatpliwie ma duże znaczenie metodologiczne. Od roku 1980 zintensyfikowano badania nad możliwościa zastosowania logiki do celów reprezentacji wiedzy i dzisiaj logika jest jednym z g lównych narzedzi reprezentacji wiedzy (patrz np. [108]). Wielka zaleta logiki jest jej ścis lość oraz bogactwo środków formalnych, które moga być przydatne w problematyce reprezentacji wiedzy. Dok ladnie chodzi tutaj nie tylko o klasyczny rachunek predykatów, ale o ca l a klase logik zbudowanych zarówno przez logików dla celów ściśle

20 2 1. Podstawy teorii zbiorów przybliżonych logicznych (patrz np. [58]), jak i logik zaproponowanych przez informatyków specjalnie dla celów sztucznej inteligencji (patrz np. [61], [40]). Jednakże metody logiczne reprezentacji wiedzy, mimo swych niewatpliwych zalet, posiadaja również wady. Jedna z nich jest fakt, że podejścia logiczne czesto nie odzwierciedlaja mechanizmów rozumowań stosowanych we wnioskowaniach potocznych, które sa niewatpliwie najciekawsze z punktu widzenia problemów, jakie pojawiaja sie przy konstrukcji inteligentnych systemów informacyjnych (patrz np. [108]). Ogranicza to znacznie możliwości systemów budowanych w oparciu o środki logiczne. Dlatego rozwijane sa inne podejścia do problemu reprezentowania wiedzy, umożliwiajace sformu lowanie rozumowań potocznych jak choćby teoria zbiorów rozmytych (patrz [134]), czy omawiana tutaj teoria zbiorów przybliżonych (patrz [82]). Punktem wyjścia teorii zbiorów przybliżonych jest nowe spojrzenie na wiedze i jej reprezentacje. Intuicyjnie wiadomo, że wiedza jest silnie zwiazana ze zdolnościa klasyfikacji. Przez klasyfikacje rozumiemy tutaj umiejetność rozróżnienia elementów otaczajacej rzeczywistości. Można wiec stwierdzić, iż wiedza opiera sie na zdolności do klasyfikacji obiektów, przy czym przez obiekt rozumiemy wszystko co można sobie wyobrazić, np: rzeczy, organizmy żywe, stany umys lu, pojecia abstrakcyjne, momenty czasu itd. Tak wiec dla zdefiniowania wiedzy musimy mieć pewien zbiór obiektów, którymi jesteśmy zainteresowani. Zbiór takich obiektów nazwijmy przez uniwersum. Majac wiec ustalone uniwersum możemy wybrać rodzine pojeć (czyli rodzine podzbiorów uniwersum) dla wyrażenia znanych nam w lasności ca lego zbioru obiektów. Na przyk lad w zbiorze wszystkich samochodów możemy określić pojecie zielonego samochodu. Ponieważ pojecie jest podzbiorem ustalonego uniwersum, w ten sposób, każde pojecie wprowadza podzia l obiektów na dwie klasy: tych obiektów, które do rozważanego pojecia należa i tych, które do niego nie należa. Oznacza to, że z punktu widzenia danej w lasności obiektów (w oparciu o która budujemy pojecie) nie jesteśmy w stanie odróżnić miedzy soba obiektów należacych do pojecia, jak również nie jesteśmy w stanie odróżnić miedzy soba obiektów nie należacych do pojecia. Wygodniej jest przyjać troche ogólniejsze za lożenie, a mianowicie, że zamiast pojecia używamy klasyfikacji, która może być podzia lem na wiecej niż dwie klasy. Rodzina takich klasyfikacji odzwierciedla ca l a znana w danej chwili informacje o w lasnościach obiektów naszego uniwersum. Poniżej podamy ścis le, matematyczne sformu lowanie powyższych rozważań. Definicja 1.1 Wiedza i baza wiedzy w uj eciu klasyfikacyjnym (patrz [83]) Niech U b edzie skończonym, niepustym zbiorem, zwanym uniwersum. Elementy zbioru U b edziemy nazywać obiektami. Każdy podzbiór X U b edziemy nazywać poj eciem w U. Dowolna rodzine podzbiorów (pojeć) zbioru U nazywamy wiedza o U. Każda rodzine roz l acznych i niepustych podzbiorów U taka, że ich suma równa jest ca lemu zbiorowi U, nazywamy podzia lem (lub inaczej klasyfikacja) zbioru U. Pare K = (U, C), gdzie C = {C 1,..., C n } jest dowolna rodzina podzia lów zbioru U, nazywamy baza wiedzy o U. Baza wiedzy jest para sk ladajac a sie ze świata (uniwersum), którym jesteśmy zainteresowani oraz rodziny podzia lów (klasyfikacji), którymi chcemy ten świat opisywać. Ze wzgledów matematycznych czesto wygodniej jest używać zamiast podzia lów, relacji równoważności, gdyż oba te pojecia sa równoważne (tj. każdy podzia l wyznacza pewna

21 1.3 Reprezentacja wiedzy 3 relacje równoważności i odwrotnie każda relacja równoważności wyznacza pewien podzia l) (patrz [101], [85]). Dlatego też wyżej podana definicje bazy wiedzy możemy sformu lować także w ujeciu relacyjnym. Definicja 1.2 Baza wiedzy w ujeciu relacyjnym (patrz [83]) Jeśli U jest uniwersum, to pare K = (U, R), gdzie R = {R 1,..., R n } jest dowolna rodzina relacji równoważności określonych na U, nazywamy baza wiedzy o U. Tak wiec baza wiedzy w nowym ujeciu jest to system relacyjny sk ladajacy sie ze zbioru obiektów, którymi jesteśmy zainteresowani oraz rodziny relacji równoważności określonych w tym zbiorze. Oczywiście każdy podzia l U/R i (gdzie i = 1,..., n) zbioru U na klasy abstrakcji relacji R i jest zgodnie z przyjet a definicja (definicja 1.1) wiedza o U. W dalszych rozważaniach bedziemy pos lugiwać sie relacyjna definicja bazy wiedzy. Wprowadzimy obecnie dwa ważne rodzaje pojeć, a mianowicie pojecia podstawowe i pojecia elementarne. Definicja 1.3 Pojecie podstawowe w bazie wiedzy (patrz [83]) Jeśli U jest uniwersum i K = (U, R) jest baza wiedzy o U, to każda klase abstrakcji dowolnej relacji R R nazywamy pojeciem podstawowym w bazie wiedzy K. Pojecia podstawowe niosa ca l a znana w danej chwili informacje o w lasnościach obiektów naszego uniwersum tzn. w lasnościach uwzglednionych przy wcześniejszej konstrukcji rodziny klasyfikacji C, jak również rodziny relacji R. Ponieważ iloczyn teoriomnogościowy relacji równoważności jest również relacja równoważności (patrz [101]), a wiec każda rodzina R relacji równoważności wyznacza nowa relacje równoważności, a tym samym nowy podzia l na klasy abstrakcji. Definicja 1.4 Pojecie elementarne (atomowe) w bazie wiedzy (patrz [83]) Jeśli U jest uniwersum, K = (U, R) jest baza wiedzy o U oraz R jest relacja R 1... R n, gdzie R i R dla i {1,..., n}, to każda klase abstrakcji relacji R nazywamy pojeciem elementarnym lub inaczej pojeciem atomowym w bazie wiedzy K. Pojecia elementarne sa wiec najmniejszymi pojeciami, których możemy używać do opisu naszego świata (uniwersum). Rodzina wszystkich pojeć elementarnych U/ R jest zgodnie z przyjet a definicja (patrz definicja 1.1) wiedza o U. Bedziemy ja nazywać wiedza elementarna. Wiedza elementarna ma w teorii zbiorów przybliżonych kluczowe znaczenie dla definiowalności badanych pojeć w rozpatrywanej bazie wiedzy. Zawiera ona najbardziej szczegó lowe informacje jakie posiadamy w danej chwili o w lasnościach obiektów naszego uniwersum, przy czym w wyniku utworzenia relacji R informacje dotyczace wszystkich w lasności z osobna zosta ly po l aczone i uszczegó lowione, tzn. klasy abstrakcji (zawierajace nierozróżnialne obiekty) sa możliwie najmniejsze. W zwiazku z tym relacje R moglibyśmy nazwać relacja nierozróżnialności obiektów w bazie wiedzy K, gdyż jedynie obiekty pozostajace w tej relacji sa nierozróżnialne od siebie w danej bazie wiedzy K. 1.3 Reprezentacja wiedzy Ponieważ w proponowanym ujeciu wiedza jest z formalnego punktu widzenia systemem relacyjnym (patrz definicja 1.2), powstaje pytanie jak taki zbiór można wygodnie reprezentować w pamieci komputera. Teoria zbiorów przybliżonych do reprezentowania relacji równoważności proponuje tablice, której wiersze sa indeksowane obiektami z uniwersum,