Przybliżone redukty decyzyjne. Autor: mgr Dominik Śl. Promotor: Prof. dr hab. Andrzej Skowron. Warszawa, 2001 r.

Transkrypt

1 UNIWERSYTET WARSZAWSKI Wydzia l Matematyki, Informatyki i Mechaniki Instytut Matematyki Przybliżone redukty decyzyjne PRACA DOKTORSKA Autor: mgr Dominik Śl ezak Promotor: Prof. dr hab. Andrzej Skowron Warszawa, 2001 r.

2 2

3 Spis treści 1 Wstep Wprowadzenie w tematyke Uk lad rozprawy G lówne wyniki rozprawy Zagadnienia wprowadzajace Odkrywanie zależności w danych Jezyk danych Zasada redukcji Selekcja i ekstrakcja cech Metody oparte na czestościach Modele probabilistyczne Redukty jako brzegi Markowa Zagadnienia zwiazane z entropia Metody zbiorów przybliżonych Podstawowe pojecia i w lasności Miary aproksymacyjne Przybliżone redukty decyzyjne Zasada redukcji przybliżonej Miary jakości modeli Dok ladność i przejrzystość W lasności miar dok ladności Z lożoność obliczeniowa przybliżonej redukcji Formalizacja redukcji przybliżonej Twierdzenia o NP-trudności Probabilistyczne funkcje decyzyjne Interpretacja informacji czestościowej Przetwarzanie informacji czestościowej Oczekiwana wartość dok ladności Funkcje zgodne Podstawowe pojecia i przyk lady W lasności funkcyjnych miar decyzyjnych Zastosowania w klasyfikacji danych Algorytmiczne aspekty redukcji przybliżonej Synteza regu lowych modeli x-decyzyjnych Wyniki dla przyk ladowych danych

4 5 Kryteria rozróżnialności Podstawowe zagadnienia Rozróżnialność a wnioskowanie boolowskie Rozróżnialność przybliżona Rozróżnialność a zachowanie informacji Miary odchylenia i rozróżnialności Odleg lości miedzy rozk ladami czestości Rodziny odleg lości Redukty oparte na miarach odleg lościowych Niezależność przybliżona Podstawy niezależności warunkowej Przybliżone modele niezależności Podejścia bayesowskie Przybliżone sieci bayesowskie Zagadnienia podstawowe Bayesowskie sieci entropijne Podsumowanie Wnioski i rezultaty Kierunki dalszych badań Oznaczenia 145 Literatura 147 4

5 Rozdzia l 1 Wst ep 1.1 Wprowadzenie w tematyk e Od dawna w logice i filozofii interesowano sie pojeciami nie wyrażalnymi w precyzyjny sposób, czy to na skutek ich natury (pojecia nieostre ang.: vague concepts), czy też braku pe lnej informacji o nich samych, badź o obiektach je spe lniajacych ([1, 24, 40, 71]). Ostatnie dziesieciolecia to ciag ly wzrost zainteresowania narzedziami efektywnego aproksymacyjnego opisu pojeć, zwiazany z takimi dziedzinami jak systemy uczace sie (ang.: machine learning), rozpoznawanie wzorców (ang.: pattern recognition), czy też eksploracja danych i odkrywanie wiedzy (ang.: data mining & knowledge discovery) ([14, 42, 43, 51]). Da lo to podstawy do rozwoju nowych metodologii, takich jak zbiory rozmyte (ang.: fuzzy sets), zbiory przybliżone (ang.: rough sets), czy też ogólna metodologia obliczeń nieostrych (ang.: soft computing), obejmujaca wymienione oraz jeszcze inne dziedziny ([19, 52, 61, 107]). W pracy rozważamy zagadnienia zwiazane z aproksymacyjnym opisem pojeć zadanych jedynie poprzez obiekty bed ace ich przyk ladami i kontrprzyk ladami. Koncentrujemy sie na metodologii zbiorów przybliżonych, rozszerzajac ja o elementy prostych operacji na probabilistycznych rozk ladach czestości. Jest to tematyka zwiazana z wykrywaniem na podstawie informacji empirycznej zależności pomiedzy parametrami cechujacymi zjawiska rzeczywiste. Dlatego porównujemy omawiane metody z elementami statystyki oraz teorii systemów uczacych sie dziedzin szczególnie zwiazanych z modelowaniem i wyznaczaniem zależności z danych. Dla tworzenia opisów aproksymacyjnych konieczne jest wnioskowanie indukcyjne w oparciu o znane przypadki. Efektywność procesu indukcyjnego wymaga pos lugiwania sie odpowiednim jezykiem, zarówno na p laszczyźnie algorytmicznej jak i analitycznej. Dla różnych zastosowań używa sie różnych reprezentacji jezyka. W przypadku zjawisk fizycznych, cechy opisujace pojecia odpowiadaja zmiennym ciag lym, których wartości wiazane sa zależnościami funkcyjnymi, w wielowymiarowej przestrzeni rzeczywistej. Zjawiska, dla których nie jest znany dok ladny opis analityczny, można modelować poprzez zastosowanie, np., sztucznych sieci neuronowych ([84]), zapewniajacych wyuczenie sie aproksymacji rozwiazań na podstawie danych treningowych. Metody uczenia sie zależności funkcyjnych obejmuja także, np., analize regresji ([7]) oraz oparty na statystyce aparat maszyn wektorowych ([101]). W przypadku ogólnej wiedzy o problemie, wyrażonej, np., w formie tak zwanych regu l lingwistycznych, można też stosować algorytmy logiki rozmytej, dostrajajace kszta lty zbiorów rozmytych w oparciu o dane treningowe, w celu prze lożenia wiedzy eksperckiej na zależności numeryczne ([19]). Istotnym problemem powyższych metod jest bardzo na ogó l duża z lożoność przestrzeni możliwych opisów (rozwiazań, hipotez, ustawień parametrów). Przyjety jezyk powinien 5

6 być tymczasem jak najprostszy, tak by z lożoność procesu indukcyjnego nie stanowi la przeszkody dla praktycznych zastosowań. Algorytmy oparte na zbiorach przybliżonych operuja jezykiem tak zwanych deskryptorów, tworzonych przez cechy i ich wartości na badanych przyk ladach. Deskryptory rozumiane sa jako predykaty jednoargumentowe, które l aczyć można za pomoca standardowych operacji logicznych, zgodnie z terminologia klasycznego rachunku zdań. Pozwala to na efektywne aproksymowanie pojeć poprzez szybkie operacje na danych (patrz np. [49, 63, 64]). Z lożoność przestrzeni rozwiazań odnosi sie w przypadku algorytmów zbiorów przybliżonych do liczby i rodzaju cech wykorzystywanych w obliczeniach. Dobór cech przydatnych dla opisu zadanych pojeć dokonywany jest w procesie ekstrakcji i selekcji cech (ang.: feature extraction & selection). W literaturze znaleźć można bardzo wiele realizujacych te procesy technik, dla różnych zastosowań ([38, 39]). W szczególności, znane sa metody ekstrakcji nowych cech i wzorców, jako potencjalnie najkorzystniejszych dla budowy klasyfikatorów ([45, 48, 83, 97, 103]). Zak ladamy, iż w procesie ekstrakcji i selekcji może być dostepna dodatkowa wiedza, pochodzaca od eksperta. Jest to jednak wiedza zwiazana tylko i wy l acznie z poziomem specyfikacji pojedynczych cech, a nie tak jak w przypadku wyżej wspomnianej logiki rozmytej z określeniem regu l lingwistycznych wiaż acych te cechy. Rozwijana w rozprawie metodologia odnosi sie do sytuacji, w której regu ly rzadz ace poddawanym analizie zjawiskom nie sa znane. Algorytmiczne wyznaczanie tego typu regu l z danych eksperymentalnych jest wrecz jednym z podstawowych jej zadań. Kluczowym aspektem wnioskowania indukcyjnego jest generalizacja wiedzy. W przypadku zbiorów przybliżonych zwiazana jest ona z redukcja d lugości (zwiekszeniem przejrzystości) logicznego opisu pojeć, przy zachowaniu jego jakości (zgodności z danymi empirycznymi). Najlepiej w naszym przekonaniu oddaje sens generalizacji zasada Brzytwy Ockhama, stosowana przez jej twórce w naukach filozoficznych i przyrodniczych, zgodnie z która zjawiska należy wyjaśniać możliwie najprościej, nie mnożac bytów i nie postulujac ich tam, gdzie wyjaśnienie zjawisk do tego nie zmusza. Obserwacje te formalizuje zasada Minimalnej D lugości Opisu (ang.: Minimum Description Length Principle), rozwinieta w naukach statystycznych ([68, 69]), w oparciu o elementy teorii informacji oraz algorytmicznej z lożoności Ko lmogorowa ([37]). Kryteria optymalizacji jakości opisu, wypracowane w różnych dziedzinach na przestrzeni kilkudziesieciu lat, nie sa jednak jednoznaczne, zaś wybór najw laściwszego z nich powinien być każdorazowo uzależniony od specyfiki konkretnych zbiorów danych. G lównym tematem rozprawy jest optymalizacja aproksymacyjnego opisu pojeć w oparciu o zasade Redukcji Przybliżonej, uogólniajac a techniki używane do tej pory w zastosowaniach teorii zbiorów przybliżonych ([49, 55, 62, 76]). Przybliżone redukty decyzyjne wyznaczane w myśl tej zasady określaja zbiory cech wystarczajacych do opisania zadowalajaco dok ladnie pojeć wyrażanych przez wyróżniona ceche, zwana decyzyjna. Opis zależności pomiedzy stanami cechy decyzyjnej a wartościami cech pozosta lych zwanych warunkowymi pozwala przewidywać fakty bezpośrednio nieobserwowane (ukryte, nieznane, przysz le, docelowe) na podstawie faktów obserwowanych (danych, znanych, poczatkowych, do tej pory odczytanych). Przybliżone redukty decyzyjne zawieraja te cechy obserwowalne, które pozwalaja na skuteczne i wystarczajaco dok ladne podejmowanie decyzji. Proces redukcji przybliżonej nie jest prosty, co potwierdzaja udowodnione w pracy wyniki dotyczace NP-trudności zwiazanych z nim problemów optymalizacyjnych. Jednak, mimo konieczności stosowania w praktyce bardzo różnorodnych odmian kryteriów, redukcje przybliżona można realizować w oparciu o jednolite podejście logiczno-algorytmicz- 6

7 ne, odnoszace sie do wnioskowania boolowskiego ([11, 75]) oraz ogólnie znanych algorytmów losowych i heurystyk ([41]), w szczególności do algorytmów genetycznych wykorzystywanych przy znajdowaniu reduktów klasycznych ([50, 102, 105]). Pozwala to na efektywna implementacje algorytmów aproksymujacych rozwiazania problemów znajdowania optymalnych reduktów przybliżonych, a także na przeprowadzenie eksperymentów zwiazanych z budowa modeli decyzyjnych i klasyfikacyjnych w oparciu o redukty przybliżone. Poszukiwanie możliwie ma lo licznych reduktów decyzyjnych pozostaje w analogii z g lównym zadaniem statystyki, jakim jest przybliżenie rzeczywistych zależności za pomoca modeli weryfikowanych w stosunku do danych empirycznych. G lównym wyzwaniem jest w obu podejściach określenie, w jaki sposób wyrażać jakość zaobserwowanych w danych w lasności i jak odróżniać w lasności znaczace od przypadkowych. W podejściu statystycznym chodzi o zależności probabilistyczne, pomiedzy cechami interpretowanymi jako zmienne losowe ([69]). Redukt decyzyjny odpowiada w jezyku teorii rachunku prawdopodobieństwa brzegowi Markowa nieredukowalnemu podzbiorowi zmiennych, które uniezależniaja rozk lad prawdopodobieństwa wartości zmiennej decyzyjnej od informacji o wartościach pozosta lych zmiennych warunkowych. Analiza statystyczna opiera sie na silnych za lożeniach dotyczacych reprezentatywności danych, traktowanych jako próbki treningowe. Tymczasem w zastosowaniach wiedza o reprezentatywności jest czesto niedostepna, co powoduje, iż do oceny dopasowania hipotetycznych zależności rzeczywistych do danych należy podchodzić bardzo ostrożnie. Podobnie jak w przypadku istnienia modeli różniczkowych dla klasycznych zjawisk fizycznych, aparat statystyczny pozwala na wypracowanie parametrycznych modeli probabilistycznych dla wielu zastosowań. Jednak problemy dotyczace danych niepe lnych, z lożonych z cech o różnych typach, nie dajacych sie opisać za pomoca jakichkolwiek standardowych modeli matematycznych, nie spe lniajacych wymogów reprezentatywności statystycznej, wymagaja technik opartych na jak najprostszej reprezentacji zależności, bazujacej bezpośrednio na czestościach pojawiania sie w danych kombinacji wartości i regularności, bez dodatkowych za lożeń o źródle pochodzenia i probabilistycznej naturze danych. Z tego wzgledu, analogii z podejściami statystycznymi szukamy raczej na p laszczyźnie reprezentacji wiedzy nieprecyzyjnej w terminach dyskretnych prawdopodobieństw otrzymywanych z danych. Oprócz aparatu teorii zbiorów przybliżonych, wykorzystujemy także elementy statystyki nieparametrycznej, uczenia sie systemów oraz podstawy logik probabilistycznych. Metody wyrażania zależności nieprecyzyjnych rozwijane w zakresie teorii zbiorów przybliżonych nie sa inwazyjne, tzn. nie wymagaja dodatkowych silnych za lożeń statystycznych i probabilistycznych. Dane sa w ich przypadku postrzegane przez pryzmat relacji dzielacej uniwersum znanych przypadków na klasy nierozróżnialności. Relacja ta stanowi jedyne źród lo informacji wykorzystywane do aproksymacji pojeć. Po cześci, metodologia zbiorów przybliżonych odnosi sie do elementarnych technik statystyki nieparametrycznej. W niniejszej rozprawie systematyzujemy i rozwijamy te analogie, k ladac szczególny nacisk na sposoby przetwarzania i interpretacji informacji zapewnianej przez czestości wyznaczane z danych, a także na zalety wynikajace z po l aczenia aparatu statystycznego i probabilistycznego z algorytmicznymi metodami zbiorów przybliżonych opartymi na wnioskowaniu boolowskim ([75, 78, 79]). Zwracamy też uwage na zwiazki zbiorów przybliżonych z teoria funkcji przekonań Dempstera-Shafera (patrz np. [17, 72, 77]), informacyjnymi miarami entropii (patrz np. [21, 32, 73]) oraz wnioskowaniem bayesowskim (patrz np. [10, 56]). 7

8 1.2 Uk lad rozprawy Rozdzia l pt. Zagadnienia wprowadzajace W Sekcji 2.1 opisujemy rachunek deskryptorów, który pozwala wyrażać regu ly oraz z lożone z regu l modele decyzyjne. Wskazujemy na wage zagadnienia redukcji cech dla generalizacji wiedzy wydobywanej z danych. Rozpatrujemy kryteria redukcji i selekcji, zwiazane ze stopniem, w jakim zbiory cech pozwalaja rozróżniać obiekty należace do różnych klas decyzyjnych. Weryfikujemy użyteczność tych kryteriów w procesie ekstrakcji cech s lużacych budowie klasyfikatorów nowych przypadków w oparciu o dane treningowe. W Sekcji 2.2 omawiamy logiczno-probabilistyczne podstawy eksploracji danych. Analizujemy warunkowe rozk lady prawdopodobieństwa odzwierciedlajace czestości uderzania regu l w poszczególne klasy decyzyjne. Wprowadzamy redukty µ-decyzyjne wyrażane w terminach funkcji przybliżonego należenia znanej z teorii zbiorów przybliżonych. Porównujemy je z brzegami Markowa znanymi z teorii probabilistycznej niezależności warunkowej. Badamy możliwości stosowania miar entropijnych dla oceny jakości, z jaka podzia ly indukowane na zbiorze obiektów przez wybrane cechy przybliżaja podzia l na klasy decyzyjne. Sekcja 2.3 tyczy teorii zbiorów przybliżonych, a także jej zwiazków z czestościow a analiza danych oraz z innymi podejściami. Kryteria przybliżania klas decyzyjnych za pomoca dolnych i górnych aproksymacji sa wykorzystywane do definiowania alternatywnych, w stosunku do probabilistycznych, miar oceny zbiorów cech warunkowych w tablicach decyzyjnych. Miary te umożliwiaja sformu lowanie przyk ladowych definicji reduktów decyzyjnych zachowujacych w przybliżeniu średnia jakość wyznaczania wartości decyzyjnych przez wartości warunkowe. Prezentujemy przyk ladowe problemy optymalizacyjne uogólniajace klasyczny problem wyznaczania z danych minimalnych reduktów decyzyjnych. Rozdzia l pt. Zasada redukcji przybliżonej W Sekcji 3.1 definiujemy uniwersalna przestrzeń decyzyjnych modeli probabilistycznych FREQ. Pokazujemy, na jakiej zasadzie można uważać za jej elementy modele zależności warunkowo-decyzyjnych tworzone w oparciu o dane. Omawiamy w lasności miar dok ladności i przejrzystości, przyjmujacych FREQ za swa dziedzine. Koncentrujemy sie na miarach dok ladności, których w lasności sa kluczowe dla określenia kryteriów dzia lania procesu redukcji przybliżonej. Definicje i twierdzenia formu lowane na gruncie przestrzeni FREQ sa odnoszone do analizy tablic decyzyjnych oraz do miar badanych w Rozdziale 2. W Sekcji 3.2 formalizujemy Zasade Redukcji Przybliżonej, precyzujac uniwersalne dla niej problemy optymalizacyjne. Wykazujemy ich NP-trudność dla ogólnej klasy miar dok ladności i przejrzystości. Fakty dotyczace z lożoności problemów znajdowania optymalnych ze wzgledu na liczbe cech, liczbe generowanych regu l, czy średnie wsparcie regu l reduktów zachowujacych, w ustalonym przybliżeniu, entropie warunkowa, czy podstawowe miary dok ladności wywodzace sie z teorii zbiorów przybliżonych, można traktować jako przyk ladowe wnioski z udowodnionych twierdzeń. Rozdzia l pt. Probabilistyczne funkcje decyzyjne W Sekcji 4.1 wprowadzamy pojecie funkcji probabilistycznej. Pokazujemy, jak różne metody analizy tablic decyzyjnych moga być modelowane poprzez dobór odpowiednich funkcji. Wprowadzamy redukty φ-decyzyjne, których zadaniem jest zachowanie informacji warunkowo-decyzyjnej reprezentowanej przez wartości funkcji probabilistycznych φ : 1 1 przekszta lcajacych czestościowe rozk lady przybliżonego należenia indukowane bezpośrednio z danych. Definiujemy miary (A, φ)-dok ladności, które odzwier- 8

9 ciedlaja prawdopodobieństwo poprawnej klasyfikacji obiektów na podstawie rozk ladów φ-przybliżonego należenia. Zwiazane z miarami (A, φ)-dok ladności pojecie φ-decyzyjnego reduktu (E, ε)-przybliżonego odnosi sie do metodologii opisanej w Rozdziale 3. W Sekcji 4.2 wprowadzamy aksjomaty tak zwanej zgodności, określajace rodzine tych funkcji probabilistycznych, które dzia laja na czestościach w sposób nie prowadzacy do wniosków sprzecznych z informacja zawarta w danych. Pokazujemy w lasności wynikajace z tych aksjomatów dla miar (A, φ)-dok ladności, ze szczególnym uwzglednieniem w lasności funkcji nazywanych x-rozk ladami, tworzacych przyk ladowa sparametryzowana rodzine zgodnych funkcji probabilistycznych. W Sekcji 4.3 przedstawiamy algorytmiczne aspekty konstrukcji klasyfikatorów w oparciu o rodziny (E, ε)-przybliżonych reduktów φ-decyzyjnych, gdzie ε [0, 1) odpowiada stopniowi utraty informacji decyzyjnej, na która decydujemy sie podczas eliminacji cech, zaś funkcja probabilistyczna φ : 1 1 odpowiada za sposób wykorzystywania tej informacji we wnioskowaniu o nowych przypadkach. Wskazujemy na możliwość parametryzacji doboru funkcji probabilistycznych φ : 1 1 oraz progów przybliżenia ε [0, 1), stosowanych podczas procesu (E, ε)-przybliżonej redukcji φ-decyzyjnej. Ilustrujemy wp lyw ustawień rozważanych parametrów na skuteczność klasyfikacji dla różnych znanych z literatury zbiorów danych. Rozdzia l pt. Kryteria rozróżnialności Sekcje 5.1 rozpoczynamy od usystematyzowania powiazań pomiedzy metodami wyznaczania klasycznych reduktów decyzyjnych a technikami wnioskowania boolowskiego. Rozszerzamy te powiazania na inne pojecia reduktów decyzyjnych, wskazujac na przyk lad możliwość zastosowania technik boolowskich w wyznaczaniu z danych minimalnych brzegów Markowa. Analizujemy aproksymacje omawianych kryteriów redukcji poprzez wprowadzenie warunku rozróżniania prawie wszystkich par odmiennych stanów. Badamy możliwości uogólnienia kryteriów opartych na rozróżnialności stanów na jak najszersza rodzine reduktów φ-decyzyjnych, odpowiadajacych wprowadzonym w Rozdziale 4 funkcjom probabilistycznym φ : 1 1. W Sekcji 5.2 zajmujemy sie aproksymacyjnymi kryteriami µ-zachowania decyzji w terminach odleg lości pomiedzy rozk ladami przybliżonego należenia pojmowanymi jako elementy wielowymiarowej przestrzeni rzeczywistej. Badamy stopnie odchylenia rozk ladów generowanych przez zredukowane podzbiory atrybutów w stosunku do rozk ladów generowanych przed rozpoczeciem redukcji. Pokazujemy także analogie pomiedzy kryteriami dotyczacymi ograniczeń na takie odchylenia a warunkami na rozróżnialność par obiektów o zbyt odleg lych, w terminach ustalonej odleg lości ϱ : 1 1 [0, 1], rozk ladach poczatkowych. Wprowadzamy średnie miary ϱ-odchylenia oraz ϱ-rozróżnialności oraz oparte o ich wartości kryteria redukcji cech. Rozdzia l pt. Niezależność przybliżona W Sekcji 6.1 rozpatrujemy w lasności klasycznego pojecia warunkowej niezależności probabilistycznej. Pokazujemy, w jaki sposób można mówić o tych w lasnościach dla innych, niestandardowych modeli niezależności, takich jak przybliżona niezależność entropijna, czy tak zwana O-niezależność, odpowiadajaca pojeciu reduktu -decyzyjnego na tej samej zasadzie, na jakiej warunkowa niezależność probabilistyczna odpowiada pojeciu brzegu Markowa. Wprowadzamy podstawy opartego na warunkowej niezależności probabilistycznej wnioskowania bayesowskiego, opisujac znane oraz proponujac nowe podejścia do bayesowskiej klasyfikacji nowych przypadków. 9

10 W Sekcji 6.2 wprowadzamy i odnosimy do operacji na zbiorach danych podstawowe pojecia dotyczace sieci bayesowskich. Wskazujemy na możliwość klasyfikacji nowych przypadków w oparciu o strukture sieci bayesowskiej i zwiazan a z tym konieczność wyznaczania z danych jak najprostszych klasyfikatorów sieciowych, o dużej zdolności generalizacji. Definiujemy nastepnie pojecie acyklicznego grafu skierowanego w przybliżeniu zgodnego w sensie miary entropii z obserwowanymi danymi. Dowodzimy, w jakim sensie możemy mówić o takich grafach jako o przybliżonych sieciach bayesowskich, kodujacych informacje o stwierdzeniach dotyczacych przybliżonej warunkowej niezależności entropijnej pomiedzy atrybutami. 1.3 G lówne wyniki rozprawy Rozdzia l pt. Zagadnienia wprowadzajace W Sekcji 2.1 najbardziej autorski charakter ma Podsekcja 2.1.3, gdzie wprowadzamy miary jakości cech numerycznych oparte na rozróżnialności klas decyzyjnych. Szczególnie interesujace jest Twierdzenie 2.4, które pozwala, dla każdej danej tablicy decyzyjnej A = (U, A {d}), powiazać wartość oczekiwana jakości cieć (a, c) stawianych w obrebie dziedziny cech numerycznych a A, gdzie c (min(a), max(a)], ze średnia wartościa różnic a(u) a(u ) pomiedzy wartościami przyjmowanymi na a przez pary obiektów u, u U należacych do różnych klas decyzyjnych. Tego typu miary wykorzystujemy w Paragrafie 2.1.3(c) w procesie ekstrakcji nowych cech numerycznych jako kombinacji liniowych atrybutów oryginalnych. W formie ilustracji przytaczamy eksperyment opisany w pracy [97], którego celem by lo sprawdzenie, na ile otrzymywane w ten sposób cechy poprawiaja dzia lanie algorytmów klasyfikujacych dane testowe. W Sekcji 2.2 nakreślamy analogie pomiedzy pojeciem warunkowej niezależności probabilistycznej oraz kryterium zachowania rozk ladów przybliżonego należenia podczas redukcji cech. Szczególnie istotny jest Wniosek 2.3, wed lug którego pojecie reduktu µ- decyzyjnego jest równoważne pojeciu brzegu Markowa. Wprowadzamy także pojecia czestościowych wspó lczynników wsparcia i dok ladności, które zapewniaja proste interpretacje miar entropii w kontekście analizy tablic decyzyjnych (Stwierdzenia 2.13 oraz 2.14). W Sekcji 2.3 na szczególna uwage zas luguje natomiast Twierdzenie 2.8, które pozwala powiazać kryteria zachowania podczas redukcji cech wartości funkcji decyzji uogólnionej oraz brzegów zbiorów przybliżonych aproksymujacych klasy decyzyjne. Jako ca lość, rozdzia l ten s luży adaptacji i rozwinieciu miar znanych z teorii kodowania i informacji, rachunku prawdopodobieństwa i statystyki, teorii funkcji przekonań Dempstera- Shafera oraz teorii zbiorów przybliżonych, dla celów selekcji, ekstrakcji i redukcji cech. Zawiera także analize porównawcza pomiedzy różnymi kryteriami zachowania informacji warunkowo-decyzyjnej podczas redukcji cech. Rozdzia l pt. Zasada redukcji przybliżonej G lównym wynikiem rozdzia lu jest sformu lowanie w oparciu o miary dok ladności i przejrzystości Zasady Redukcji Przybliżonej paradygmatu optymalizacji modeli decyzyjnych konstruowanych na podstawie zależności warunkowo-decyzyjnych wyznaczanych z danych. Sekcja 3.1 zawiera przyk lady oraz dowody w lasności miar dok ladności i przejrzystości, definiowanych jako funkcje Acc, Sim : FREQ R wartościujace elementy uniwersalnej przestrzeni modeli probabilistycznych FREQ. Szczególnie istotnym wynikiem teoretycznym jest Stwierdzenie 3.12, które charakteryzuje monotoniczne miary A-dok ladności Acc A (d/ ) : P(A) R generowane dla każdej danej tablicy decyzyjnej A = (U, A {d}) 10

11 przez lokalne miary dok ladności acc : 1 R wartościujace elementy przestrzeni skończonych rozk ladów prawdopodobieństwa, zdefiniowanej jako 1 = + r=1 r 1. W Sekcji 3.2 formalizujemy rodzine podstawowych problemów optymalizacyjnych zwia- zanych z Zasada Redukcji Przybliżonej. Szczególnie ważne sa Twierdzenia 3.1, 3.2, 3.6, 3.7, które prowadza do udowodnienia NP-trudności tych problemów. Rozdzia l zawiera szereg przyk ladów zarówno miar dok ladności i przejrzystości, jak i sformu lowań problemów znajdowania optymalnych reduktów przybliżonych. W lasności miar jak również z lożoność problemów opartych np. na entropii sa przedstawiane jako wnioski z powyższych ogólnych rezultatów teoretycznych. Przyk ladowo, Twierdzenie 3.8 dotyczy NP-trudności Problemu ε-przybliżonej Redukcji Entropijnej wprowadzonego w Definicji 2.73 (Rozdzia l 2), bed acego alternatywa wobec najbardziej znanej, entropijnej wersji Zasady Minimalnej D lugości Opisu. Rozdzia l pt. Probabilistyczne funkcje decyzyjne G lównym celem rozdzia lu jest zapewnienie matematycznych podstaw dla stosowania pojecia funkcji probabilistycznej w modelowaniu przybliżonych zależności warunkowodecyzyjnych. Wszystkie rezultaty teoretyczne dotyczace funkcji φ : 1 1 oraz miar φ-dok ladności sa autorskie (por. [92, 94]). W Sekcji 4.1, Stwierdzenie 4.6 zapewnia naturalna interpretacje wartości generowanych przez funkcje probabilistyczne φ : 1 1 miar (A, φ)-dok ladności. Stwierdzenie 4.10 mówi o monotoniczności miary A-dok ladności E A (d/ ) : P(A) (0, 1] bed acej średnia arytmetyczna wspó lczynników µ-dok ladności indukowanych przez poszczególne obiekty. Pokazujemy też inne przyk lady oraz kontrprzyk lady na monotoniczność miar indukowanych przez różne funkcje probabilistyczne. Sekcja 4.2 dotyczy wprowadzonych w Definicji 4.17 aksjomatów zgodności funkcji probabilistycznych z danymi. Wynikajace z tych aksjomatów w lasności miar (A, φ)-dok ladności prowadza do Twierdzeń 4.2 oraz 4.3 o NP-trudności problemów optymalizacyjnych zwiaza- nych z wyznaczaniem z danych (E, ε)-przybliżonych reduktów φ-decyzyjnych, dla zgod- nych funkcji φ : 1 1. Udowodnione w lasności sparametryzowanej rodziny funkcji probabilistycznych zwanych x-rozk ladami ukazuja znaczenie czynnika x (0, + ) w procesie przybliżonej redukcji atrybutów warunkowych. W Sekcji 4.3 przedstawiamy metodologie wyznaczania z danych z lożonych schematów wnioskowania, bazujacych na (E, ε)-przybliżonych reduktach x-decyzyjnych. Redukty te, bed ac krótszymi od klasycznych reduktów decyzyjnych, umożliwiaja zwiekszenie stopnia rozpoznawania nowych przypadków. Eksperymenty przeprowadzone na danych rzeczywistych pokazuja, iż parametryzacja sposobu wyrażania zależności pomiedzy pojeciami warunkowymi i decyzyjnymi pozwala dostrajać wprowadzony schemat klasyfikacyjny do danych. Platforma eksperymentalna zosta la rozwinieta i opisana po raz pierwszy w [98]. Rozdzia l pt. Kryteria rozróżnialności W Sekcji 5.1 uogólniamy paradygmat redukcji cech poprzez znajdowanie implikantów pierwszych dla funkcji boolowskich odpowiadajacych tak zwanym macierzom rozróżnialności. Stwierdzenia 5.5 oraz 5.9 otwieraja droge do stosowania algorytmów aproksymacyjnych rozwinietych na gruncie teorii wnioskowania boolowskiego w procesie wyznaczania z danych reduktów µ-decyzyjnych, a także reduktów φ-decyzyjnych, dla pewnej klasy funkcji probabilistycznych φ : 1 1. Twierdzenie 5.1 mówi o NP-trudności problemu wyznaczania z danych minimalnych podzbiorów atrybutów warunkowych rozróżniajacych prawie wszystkie pary obiektów o różnych wartościach decyzyjnych. 11

12 W Sekcji 5.2 wprowadzamy pojecia (ϱ, ε)-przybliżonych reduktów µ-rozróżniajacych oraz µ-decyzyjnych, odpowiadajacych pewnym warunkom na odleg lości miedzy rozk ladami przybliżonego należenia. Rozwijamy matematyczne podstawy dla porównywania kryteriów redukcyjnych opartych na rozróżnialności oraz zachowaniu dok ladności. Stwierdzenie 5.15 określa rodzine odleg lości ϱ : 1 1 [0, 1], dla których warunki te sa ściśle ze soba zwiazane. Przedstawiamy także miary średniego ϱ-odchylenia oraz ϱ- rozróżnialności, analizujac ich w lasności dla różnych odleg lości. W przypadku odleg lości Euklidesowej, wartości tych miar sa zgodnie ze Stwierdzeniem 5.24 ściśle zwiazane z miara A-dok ladności E A badana w Rozdzia lach 2 oraz 3. Wszystkie rezultaty teoretyczne dotyczace rozróżnialności w oparciu o funkcje probabilistyczne, rozróżnialności przybliżonej w oparciu o odleg lości pomiedzy rozk ladami przybliżonego należenia, a także miar odchylenia i rozróżnialności, sa autorskie (por. [86, 89, 90, 92]). Pojecia i rezultaty dotyczace kryterium rozróżnialności prawie wszystkich par obiektów opieraja sie cześciowo na pracy [46]. Platforma algorytmiczna s lużaca ekstrakcji list rozróżnialności przedstawiona zosta la w pracy [8]. Rozdzia l pt. Niezależność przybliżona W Sekcji 6.1 porównujemy w lasności różnych pojeć warunkowej niezależności. Dowodzimy w Stwierdzeniu 6.4, iż (H, ε)-przybliżona niezależność warunkowa posiada analogiczne w lasności, jak w przypadku klasycznego pojecia warunkowej niezależności probabilistycznej. W Paragrafie 6.1.2(b) pokazujemy w Stwierdzeniu 6.10, na jakiej zasadzie można mówić o zdolności do generalizacji wiedzy w przypadku bayesowskich klasyfikatorów nowych przypadków. W Paragrafie 6.1.2(c) dowodzimy możliwości oparcia na pojeciu - niezależności warunkowej procesu dekompozycji i syntezy tablic decyzyjnych. Sekcja 6.2 poświecona jest uogólnieniu pojecia sieci bayesowskiej na potrzeby wnioskowania w oparciu o warunkowe niezależności przybliżone. Metodologia wnioskowania aproksymacyjnego w oparciu o sieci bayesowskie jest dobrze ugruntowana i znalaz la wiele zastosowań ([58]). Efektywna ekstrakcja sieci z danych empirycznych jest jednak niemożliwa w przypadku, gdy zak lócenia nie pozwalaja na wykrycie istotnych warunkowych niezależności probabilistycznych pomiedzy cechami. Opierajac konstrukcje sieci na entropijnych reduktach przybliżonych, uzyskiwać można struktury prostsze, bardziej odporne na szumy, zachowujace przy tym fundamentalne w lasności klasycznych sieci bayesowskich. Umożliwia to Twierdzenie 6.3, które otwiera droge do konstrukcji stabilnych sieci przybliżonych w oparciu o ekstrakcje z danych (H, ε)-przybliżonych reduktów µ-decyzyjnych, stanowiacych jedna z możliwości zdefiniowania przybliżonego brzegu Markowa. Rozdzia l ma charakter czysto teoretyczny. Rezultaty zwiazane z pojeciami (H, ε)- przybliżonej niezależności oraz (H, ε)-przybliżonej sieci bayesowskiej sa autorskie (por. [93, 95, 96]). Paragraf 6.1.2(c), poświecony modelowi niezależności uogólnionej, stanowi krótkie streszczenie metodologii wprowadzonej od podstaw w [91]. Podzi ekowania Chcia lbym bardzo serdeczne podziekować Profesorowi Andrzejowi Skowronowi za wielka pomoc, bez której rozprawa ta zapewne w ogóle by nie powsta la, a także Koleżankom i Kolegom z Zak ladu Logiki Matematycznej oraz z PJWSTK za owocna wspó lprace. Badania zwiazane z rozprawa wspierane by ly grantem promotorskim KBN 8T11C Cześć badań prowadzona by la w grantach KBN 8T11C02519, 8T11C02417, 8T11C01011, a także w grancie Unii Europejskiej ESPRIT CRIT 2 nr

13 Rozdzia l 2 Zagadnienia wprowadzajace Przyjmujemy, że semantyka jezyka opisu pojeć reprezentowanych przez zbiory ich przyk ladów i kontrprzyk ladów, gromadzonych w tablicach danych, powinna być oparta na cechach przypisujacych obiektom pewne wartości. Każde pojecie można przybliżać poprzez warunki wyrażane w prostym rachunku zdań opartym na wartościach cech, selekcjonujace jak najbliższy mu podzbiór obiektów. Powstaja dwa pytania: Jak dobierać cechy, w jezyku których wybrane pojecia sa najlepiej przybliżane? Jak rozumieć jakość przybliżania poj eć w j ezyku opartym na ustalonych już cechach? Przez jezyk cech rozumiemy rachunek predykatów jednoargumentowych, odpowiadajacych parom (cecha,wartość), zwanym deskryptorami. L acz ac je za pomoca klasycznych zdaniowych spójników logicznych, można wyrażać zależności pomiedzy faktami wystepowania w danych wartości na poszczególnych cechach. W szczególności, można w ten sposób konstruować tak zwane regu ly decyzyjne, prawdziwe dla obserwowanych danych, przydatne w przypisywaniu nowym obiektom nieznanych wartości decyzyjnych. Jezyk oparty na deskryptorach daje zatem podstawy do wnioskowania indukcyjnego procesu odkrywania i opisywania regularności (wzorców, regu l, zależności) wystepuj acych w rzeczywistości, opierajacego sie na analizie dostepnych danych empirycznych. Wyrażalność jezyka jest zależna od doboru cech, których używamy w konstrukcji deskryptorów. Intuicyjnie, im wiecej cech w l aczamy do analizy, tym latwiej i dok ladniej potrafimy przybliżać interesujace nas pojecia. Z drugiej strony, używanie nadmiernej liczby cech obniża przejrzystość zapisu regu l decyzyjnych. Cechy niosace informacje redundantna okazuja sie niekorzystne dla procesu klasyfikacji nowych przypadków na podstawie regu l decyzyjnych wyuczonych na próbce treningowej. Dlatego ważne jest opracowanie metod selekcji oraz eliminacji cech warunkowych w celu otrzymania zbioru (zbiorów) potencjalnie najbardziej przydatnego dla opisu wyróżnionej cechy decyzyjnej. Ponieważ w praktyce trudno jest spodziewać sie zależności idealnie pokrywajacych sie z obserwowanymi danymi empirycznymi tym bardziej, że dane te moga zawierać wiersze niosace sprzeczne ze soba informacje należy przyjać pewien sposób reprezentacji zależności przybliżonych (nieprecyzyjnych, nieścis lych, niedeterministycznych). Omawiamy i porównujemy dwie metodologie takiej reprezentacji, oparte na analizie czestościowej oraz na teorii zbiorów przybliżonych ([55]). 13

14 Niniejszy rozdzia l należy traktować jako wprowadzajacy podstawowe pojecia niezbedne dla sformu lowania g lównych wyników zawartych w dalszych cześciach rozprawy. Nacisk po lożony zosta l na nastepuj ace zagadnienia: Przybliżanie klas decyzyjnych przez deskryptory oparte na cechach warunkowych: Kryteria zwiazane z rozróżnianiem obiektów z różnych klas, aproksymowaniem klas, jak również badaniem warunkowych rozk ladów przynależenia obiektów do klas decyzyjnych, bed a rozwijane w dalszych rozdzia lach. Redukcja cech warunkowych przy zachowaniu stopnia przybliżania klas decyzyjnych: Kryteria redukcji bed a opracowywane dla każdej z omawianych w rozprawie metod reprezentacji informacji o nieprecyzyjnych zależnościach warunkowo-decyzyjnych. Miary jakości (zbiorów) cech oraz zależności pomiedzy cechami: Zasada Redukcji Przybliżonej, wprowadzona w nastepnym rozdziale jako paradygmat optymalizacji modeli zależności warunkowo-decyzyjnych w procesie indukcyjnym, pozwala operować w bardzo elastyczny sposób różnymi miarami przejrzystości i dok ladności modeli zależności. Aby w pe lni wykorzystać te możliwość w praktyce, dla dostrajania parametrów miar do specyfiki problemów stawianych dla poszczególnych zbiorów danych, przedstawiamy miary jakości wywodzace sie z różnych podejść do analizy danych. 2.1 Odkrywanie zależności w danych J ezyk danych Paragraf 2.1.1(a): Systemy informacyjne Dane empiryczne rozumiemy jako zbiór obiektów oznaczonych wektorami wartości dla wyszczególnionego zbioru cech. Poniższe pojecie stanowi przyk ladowa formalizacje sposobu przechowywania informacji, porównywalna z metodologia używana w przypadku baz danych, teorii informacji, czy sposobem reprezentacji próbek treningowych w statystyce. Definicja 2.1. ([53, 54, 55]) Systemem informacyjnym nazwiemy pare A = (U, A), gdzie U to uniwersum obiektów, zaś A to zbiór atrybutów. Każde a A identyfikowane jest z funkcja a : U V a przypisujac a poszczególnym obiektom u U wartości a(u) należace do V a bed acego zbiorem wszystkich możliwych wartości dla a. Dostepne w systemie informacyjnym obiekty odpowiadaja zaobserwowanym konfiguracjom wartości cech. Możemy je rozumieć jako realizacje kombinacji cech opisujacych sytuacje dla danego zjawiska. Obiekty definiuja przybliżony opis otaczajacego nas świata, zapisany w formie wyszczególnionych atrybutów i ich wartości. Opis ten cześciowo odzwierciedla hipotetyczne prawa rzadz ace rzeczywistościa, które chcemy sformu lować w ustalonym jezyku, dysponujac niepe lna informacja. Definicja 2.2. Deskryptorem prostym w systemie A = (U, A) jest każda para postaci (a, v), gdzie a A, v V a. Mówimy, że obiekt u U wspiera (spe lnia, realizuje) deskryptor (a, v), jeśli a(u) = v. Uwaga 2.1. Definicja wspierania może ulec zmianie dla atrybutów o wartościach numerycznych, lub ogólniej o dziedzinie wartości, na której określony jest pewien rodzaj odleg lości, porzadku, czy podobieństwa. Można przyk ladowo ustalić, że u spe lnia (a, v), jeśli a(u) jest wystarczajaco bliskie v. Prowadzi to do rachunku deskryptorów opartego na 14

15 relacji tolerancji ([82]). Innym przyk ladowym podejściem jest zastosowanie teorii zbiorów rozmytych ([19]) badź mereologii przybliżonej ([60]) dla wyrażenia wspierania deskryptorów w stopniu pomiedzy 0 i 1. Podstawowa operacja na deskryptorach prostych jest l aczenie ich w koniunkcje czynników odpowiadajacych różnym atrybutom. Wprowadźmy nastepuj acy zapis: Definicja 2.3. Niech dane bed a A = (U, A), A = a 1,..., a n, n = A, oraz B A przedstawiony jako B = a i1,..., a im, m = B, zgodnie z numeracja elementów A. Dla każdego j = 1,..., m, ustalmy v ij bed ace wartościa atrybutu a ij B. Rozpatrzmy wektor w = v i1,..., v im (2.1) wartości na B. Mówimy, że u U wspiera (spe lnia, realizuje) deskryptor B-informacyjny (B, w), jeśli wspiera każdy z prostych deskryptorów postaci (a ij, v ij ), j = 1,..., m. Definicja 2.4. Niech dane bed a A = (U, A) oraz B A, B = a i1,..., a im. Funkcja B-informacyjna nazywamy przyporzadkowanie każdemu elementowi u U wektora jego wartości na atrybutach należacych do B, zapisanego w postaci B(u) = a i1 (u),..., a im (u) (2.2) Uwaga 2.2. W literaturze (np. [54]) sygnatury informacyjne obiektów oznacza sie czesto nastepuj aco: Inf B (u) = {(a, a(u)) : a B} (2.3) Zapis B(u) wprowadzony w Definicji 2.4 jest pewnym uproszczeniem, szczególnie wygodnym przy za lożeniu porzadku liniowego A = a 1,..., a n na zbiorze atrybutów. Funkcja B-informacyjna pozwala zapisać wystepuj ace w danych wektory w formie V U B = {B(u) : u U} (2.4) Każda para (B, u) P(A) U odpowiada pewnemu wektorowi wartości w V U B na B. Definicja 2.5. Niech dane bed a A = (U, A), B A oraz u U. Mówimy, że u generuje na B deskryptor obiektowy (B, u), rozumiany jako (B, w), gdzie w = B(u). Paragraf 2.1.1(b): Rachunek deskryptorów Definicja 2.3 przedstawia przyk lad l aczenia deskryptorów prostych w bardziej z lożone formu ly, za pomoca operacji koniunkcji. Poprzez zastosowanie klasycznych operatorów logicznych można zbudować jezyk zdań modelujacy zależności w systemie informacyjnym. Deskryptory proste wyrażalne w terminach danego systemu można interpretować jako nadajace semantyczny sens atomowym zmiennym zdaniowym jezyka. Definicja 2.6. Niech dany bedzie system informacyjny A = (U, A). Jezykiem τ A nazywamy najmniejsza rodzine zawierajac a wszystkie deskryptory (a, v), a A, v V a, oraz domkniet a na klasyczne operacje logiczne, zgodnie z nastepuj ac a regu l a: Jeśli α τ A, β τ A to (α β) τ A, ( α) τ A (2.5) gdzie oraz to oznaczenia operatorów koniunkcji oraz negacji. Każdemu zdaniu α τ A przyporzadkowujemy wsparcie α A U w nastepuj acy, rekurencyjny sposób: 15

16 Jeśli α jest deskryptorem prostym, postaci (a, v), to Jeśli α jest postaci β γ dla pewnych β, γ τ A, to Jeśli α jest postaci β dla pewnego β τ A, to α A = {u U : (a(u) = v)} (2.6) α A = β A γ A (2.7) α A = U \ β A (2.8) Mówimy, że α τ A jest w pe lni wspierane (spe lnione, prawdziwe) w A, jeśli α A = U. Uwaga 2.3. Można też w standardowy sposób wyprowadzić z oraz operacje alternatywy oraz implikacji. Dla danych β, γ τ A, ich wsparcia zapisujemy jako β γ A = ( β γ) A = β A γ A (2.9) β γ A = β γ A = (U \ β A ) γ A (2.10) Uwaga 2.4. Dla danego A = (U, A), przedstawmy uniwersum jako U = u 1,..., u N, N = U. System A można utożsamiać ze zdaniem α A (A, u 1 ) (A, u N ) (2.11) gdzie każdy deskryptor obiektowy (A, u i ), i = 1,..., N, rozumiany jest jako koniunkcja prostych deskryptorów opartych na poszczególnych atrybutach a A i ich wartościach a(u i ) V a. Zdanie α A to aproksymacyjny model dla rzeczywistej teorii, której istnienie zak ladamy i o której chcemy sie jak najwiecej dowiedzieć. Pojecia modelu nie należy jednak ograniczać do sensu logicznego. Chcac opisywać rzeczywiste zjawiska, musimy wpierw ustalić jezyk ich pojmowania. Modelowanie można zatem określić jako proces tworzenia semantyki jezyka danych, sprzeżony z operacjami logicznymi w otrzymanym jezyku. Powinniśmy dażyć do jak najdalej idacych uproszczeń zapisu α A, które nie powoduja zbyt dużej utraty informacji o danych. Jest to zgodne z Zasada Brzytwy Ockham a, opartej na postulacie ekonomii myślenia i niemnożenia bytów ponad potrzebe, sformalizowanej w terminach teorii z lożoności Ko lmogorowa ([37]), stanowiacej ważne odniesienie dla Zasady Minimalnej D lugości Opisu ([68]) w statystyce oraz Zasady Redukcji ([55]) w teorii zbiorów przybliżonych. Paragraf 2.1.1(c): Tablice decyzyjne Informacje kodowana przez dany model można rozumieć na wiele sposobów. W przypadku tak zwanych problemów decyzyjnych, dotyczy ona zależności pomiedzy atrybutami warunkowymi oraz decyzyjnymi. Celem jest wtedy stworzenie modelu odpowiadajacego znanej próbce danych, na podstawie którego można, np., wnioskować o wartościach decyzyjnych dla nowych przypadków, znajac ich wartości na atrybutach warunkowych. Definicja 2.7. Tablica decyzyjna nazwiemy system informacyjny A = (U, A {d}), gdzie d / A jest wyróżnionym atrybutem decyzyjnym. Wartości d reprezentujemy jako V d = {1,..., r}, gdzie r = V d jest rzedem decyzji d. Każdej wartości k = 1,..., r odpowiada klasa decyzyjna class(k) U określona jako class(k) = {u U : d(u) = k} (2.12) 16

17 W zastosowaniach, atrybut decyzyjny ma czesto wielowymiarowa, z lożona strukture. Jednak w przypadku gdy wiedza o problemie sprowadzona jest do specyfikacji poszczególnych klas decyzyjnych, interesujace nas zależności ogranicza sie zazwyczaj do regu l decyzyjnych postaci (α, k). Zdanie α τ A, nazywane poprzednikiem regu ly, wskazuje wtedy na klase decyzyjna oznaczona numerem k = 1,..., r. Definicja 2.8. Niech dana b edzie tablica decyzyjna A = (U, A {d}). Decyzyjnym modelem regu lowym dla A nazwiemy par e Mod = (P red, Rule) (2.13) gdzie zbiór poprzedników P red τ A pokrywa uniwersum, tzn.: u U α P red (u α A ) (2.14) zaś funkcja decyzyjna Rule : P red {1,..., r}, r = V d, przyporzadkowuje poprzednikom wskazywane przez nie na podstawie danych klasy decyzyjne, wed lug formu ly α P red [ α A class(rule(α))] (2.15) Pary (α, k), gdzie α P red, k = Rule(α), nazywamy regu lami decyzyjnymi modelu Mod. Mówimy, że regu la (α, k) rozpoznaje obiekt u U, jeśli u α A. Wsparciem regu ly (α, k) nazywamy zbiór α A. Uwaga 2.5. Każda regu la (α, k) wchodzaca w sk lad modelu Mod może być interpretowana jako implikacja postaci α (d, k), gdzie (d, k) to deskryptor prosty dla rozszerzonego jezyka τ A {d}. Istotnie, warunek (2.15) pociaga dla każdego α P red równość α (d, k) A = U (2.16) Wsparcie implikacji rozumiane zgodnie z formu l a (2.10) nie jest jednak równe wsparciu jej lewej strony, co pozostaje w sprzeczności z przyjetym rozumieniem wsparcia regu ly. Ponadto, w dalszej cześci pracy rozpatrywać bedziemy wiele rodzajów przybliżeń regu l decyzyjnych, o których cieżko by loby mówić jako o przybliżeniach klasycznie rozumianej implikacji. Regu ly otrzymane podczas analizy tablicy gromadzacej tak zwane obiekty treningowe moga być używane do klasyfikacji nowych przypadków poprzez analogie: Jeśli nieznany wcześniej obiekt u new / U spe lnia poprzednik α τ A regu ly (α, k), to jesteśmy sk lonni twierdzić, iż winien on należeć do k-tej klasy decyzyjnej. W zastosowaniach proces klasyfikacji jest oczywiście znacznie bardziej z lożony, wymaga specyfikacji mierzenia stopnia dopasowania nowych obiektów do poprzedników poszczególnych regu l decyzyjnych, a także syntezy (g losowania) sprzecznych czesto informacji o wskazywanych przez regu ly klasach decyzyjnych. Różne metody g losowania pomiedzy regu lami i reduktami decyzyjnymi zosta ly wprowadzone np. w pracach ([4, 84, 105]). Do tego tematu powrócimy jeszcze w Sekcji 4.3. Efektywnemu przebiegowi klasyfikacji sprzyja oczywiście proces możliwego upraszczania poprzedników regu l, tak aby nowe obiekty mia ly jak najwieksz a szanse ich spe lniania. Jest to zgodne z postulatem generalizacji wiedzy podczas procesu wnioskowania indukcyjnego. Upraszczanie pociaga za soba zazwyczaj konieczność modyfikacji pojecia regu ly decyzyjnej, poprzez przybliżenie pojecia relacji zawierania wystepuj acej w warunku (2.15). Wiaże sie to z zastosowaniem teorii przestrzeni aproksymacyjnych oraz mereologii przybliżonej, gdzie wprowadza sie relacje aproksymacyjnego zawierania ([60]). 17

18 Inne możliwości aproksymacji pojecia modelu decyzyjnego leża w os labianiu kwantyfikatorów uniwersalnych wystepuj acych w warunkach (2.14), (2.15). Pierwszy z nich odpowiada rozumieniu modelu jako zbioru regu l pokrywajacych wszystkie przypadki. W zastosowaniach tymczasem (patrz [105]), warto koncentrować sie na pokryciu prawie wszystkich obiektów, jeśli doprowadza to do relatywnie prostszego modelu M od, opartego na istotnie mniej licznym zbiorze P red τ A. Na tej samej zasadzie, os labiajac znaczenie kwantyfikatora w (2.15), dochodzimy do wymogu, aby prawie wszystkie regu ly by ly precyzyjne lub też wystarczajaco precyzyjne Zasada redukcji Paragraf 2.1.2(a): Zachowanie rozróżnialności Definicja 2.9. Niech dane bed a A = (U, A) oraz B A. Relacja B-nierozróżnialności nazwiemy relacje równoważności zdefiniowana jako IND A (B) = {(u, u ) U U : B(u) = B(u )} (2.17) Każdy obiekt u U wyznacza klase B-nierozróżnialności przyjmujac a postać [u] B = (B, u) A = {u U : (u, u ) IND A (B)} (2.18) Uwaga 2.6. Jeśli wspieranie deskryptora przez obiekt jest rozumiane zgodnie z Definicja 2.2, to można stwierdzić, że obiekt u jest B-nierozróżnialny z u U, wtw spe lnia B- informacyjny deskryptor obiektowy (B, u). Oczywiście w przypadku, gdy pojecie spe lniania deskryptora uleg loby zmianie (por. Uwaga 2.1), moglibyśmy otrzymać nierozróżnialność w terminach relacji nieprzechodniej a nawet niesymetrycznej ([82]). Poniższy fakt podkreśla znaczenie poj ecia B-nierozróżnialności dla opisu danych przy użyciu wprowadzonego w Definicji 2.6 j ezyka zależności. Stwierdzenie 2.1. Niech dane bed a A = (U, A) oraz B A. Rozpatrzmy podsystem B = (U, B) zbudowany poprzez obciecie informacji o obiektach u U do wartości na atrybutach a B. Rozpatrzmy jezyk τ B zdefiniowany dla B zgodnie z Definicja 2.6. Dla dowolnych u, u U zachodzi wtedy nastepuj aca równoważność: ( (u, u ) IND A (B) ) ( α τb u α A u ) α A (2.19) Dowód Rozpatrzmy B A oraz u, u U. Zgodnie z Definicja 2.9, u oraz u sa B-nierozróżnialne, wtw B(u) = B(u ). W przypadku zachodzenia takiej równości, dowolny deskryptor typu (a, v), gdzie a B, v V a, jest wspierany przez u, wtw jest wspierany przez u. Zgodnie z Definicja 2.6, dowolne zdanie α τ B jest zatem wspierane przez u, wtw jest wspierane przez u. Jeśli natomiast (u, u ) / IND A (B), to istnieje takie a B, dla którego a(u) a(u ). Wtedy k ladac α równe (a, u) otrzymujemy, że u α A, zaś u / α A. Wniosek 2.1. Niech dane bed a A = (U, A), B A oraz α τ B. Zbiór α A U da sie zapisać jako suma pewnych klas równoważności relacji IND A (B). Relacja nierozróżnialności może być też używana do wyrażania zależności pomiedzy atrybutami jako kolumnami, zgodnie z terminologia obowiazuj ac a w bazach danych. 18

19 Definicja Niech dane bed a A = (U, A), B A oraz a A. Mówimy, że a jest zależne od B, jeśli IND A (B) IND A ({a}) (2.20) Stwierdzenie 2.2. Niech dane bed a A = (U, A), B A oraz a A. a jest zależne od B, wtw dla każdego u U prawdziwa jest w A implikacja postaci (B, u) (a, u). Stwierdzenie 2.3. Niech dane bed a A = (U, A {d}) oraz B A. Atrybut decyzyjny d jest zależny od B, wtw para Mod d/b = ( ) P red B, Rule d/b (2.21) gdzie P red B = {(B, u) τ A : u U} u U [ Ruled/B ((B, u)) = d(u) ] (2.22) jest regu lowym modelem decyzyjnym, spe lniajacym warunki Definicji 2.8. Podzia l indukowany na uniwersum przez relacje B-nierozróżnialności jest zwiazany ze stopniem informacji, jaka zbiór atrybutów B A zapewnia o danych zebranych w systemie A = (U, A), badź tablicy A = (U, A {d}). Chcac zachować si l e wyrażalności jezyka przy jednoczesnym uproszczeniu struktury jego formu l atomowych, należy opierać sie na podzbiorach cech, które zachowuja relacje IND A w (prawie) nie zmienionym stanie. Definicja Niech dane bed a A = (U, A) oraz B A. Mówimy, że B definiuje A, jeśli IND A (B) = IND A (A) (2.23) Mówimy, że B jest reduktem informacyjnym dla A, jeśli spe lnia on (2.23), zaś żaden z jego w laściwych podzbiorów już tego nie czyni. W przypadku tablic decyzyjnych, pojecie reduktu można przeformu lować zgodnie z za lożeniem, że interesuje nas wy l acznie zachowanie informacji o podziale uniwersum na klasy decyzyjne, a zatem stopień uzależnienia od B A jedynie atrybutu d / A. Definicja Mówimy, że tablica decyzyjna A = (U, A {d}) jest niesprzeczna, jeśli A definiuje d. W przeciwnym razie tablice A nazywamy sprzeczna. Definicja Niech dana b edzie niesprzeczna tablica decyzyjna A = (U, A {d}). Mówimy, że dany podzbiór B A definiuje d w A, jeśli d jest zależne od B w terminach Definicji 2.10, tzn.: IND A (B) IND A ({d}) (2.24) Mówimy, że B jest reduktem decyzyjnym, jeśli spe lnia (2.24), zaś żaden z jego podzbiorów w laściwych tego nie czyni. Znaczenie powyższego pojecia pokazuje już Stwierdzenie 2.3, w myśl którego redukt decyzyjny to podzbiór atrybutów warunkowych wystarczajacy na stworzenie regu lowego modelu decyzyjnego. Co wiecej, redukt decyzyjny jest to podzbiór minimalny w sensie zawierania, który na stworzenie takiego modelu pozwala. Stwierdzenie 2.4. Niech dane bed a A = (U, A {d}) oraz B A. Jeśli B nie spe lnia warunku (2.24), to nie istnieje regu lowy model decyzyjny M od = (P red, Rule), dla którego zachodzi loby zawieranie P red τ B. 19

20 Paragraf 2.1.2(b): Z lożoność redukcji cech Powyższe fakty ukazuja, jak ważne jest dla zastosowań wyznaczanie stosunkowo ma lo licznego reduktu (kilku reduktów) ze zbioru, przyk ladowo, kilkudziesieciu badź kilkuset cech. Pozwala to nieraz skoncentrować uwage na kilkunastu atrybutach niosacych (prawie) te sama informacje co wszystkie, rozumiana w terminach relacji nierozróżnialności oraz ściśle z nia zwiazanej wyrażalności jezyka danych. Definicja Problemem Minimalnego Reduktu Decyzyjnego nazywamy zadanie znajdowania dla każdej danej na wejściu tablicy decyzyjnej A = (U, A {d}) minimalnego w sensie liczności elementów zbioru B A definiujacego d. Uwaga 2.7. Analogiczny problem można też rozpatrywać dla reduktów informacyjnych. W istocie, poniższy wynik jest wtedy również prawdziwy, a jego dowód przebiega podobnie. Twierdzenie 2.1. ([78]) Problem Minimalnego Reduktu Decyzyjnego jest NP-trudny. Reszte niniejszego paragrafu poświecamy dowodowi powyższego twierdzenia, opartemu na pracy [78]. Przytaczamy go na potrzeby dowodzenia późniejszych faktów dotyczacych NP-trudności różnych ujeć problemów redukcyjnych. Jako punkt wyjścia przyjmijmy problem znajdowania dla grafów nieskierowanych minimalnych zbiorów dominujacych ([27]). Graf nieskierowany to para G = (A, E), gdzie A jest zbiorem wierzcho lków, zaś E A A jest symetryczna relacja dwuargumentowa. Definicja Niech dane bed a G = (A, E) oraz B A. Mówimy, że B jest dominujacy, jeśli Cov G (B) = A, gdzie Cov G (B) = B {a A : b B ((a, b) E)} (2.25) stanowi zbiór wierzcho lków należacych do B lub po l aczonych krawedzi a należac a do E z przynajmniej jednym elementem B. Definicja Problem Minimalnego Zbioru Dominujacego to zadanie znajdowania dla każdego danego na wejściu grafu G = (A, E) minimalnego w sensie liczby elementów podzbioru B A spe lniajacego równość Cov G (B) = A. Twierdzenie 2.2. ([27]) Problem Minimalnego Zbioru Dominujacego jest NP-trudny. Twierdzenie 2.1 można udowodnić poprzez wielomianowe sprowadzenie powyższego Problemu Minimalnego Zbioru Dominujacego do Problemu Minimalnego Reduktu Decyzyjnego. W tym celu, dla każdego danego na wejściu grafu G = (A, E), skonstruujmy (w czasie wielomianowym ze wzgledu na rozmiar G) tablice decyzyjna A G = (U G, A {d G }), U G = {u 1,..., u n+1 }, n = A, dla której wartości obiektów określone sa nastepuj aco: 1. Dla d G oraz u i U G, i = 1,..., n, k ladziemy d G (u i ) = Dla u n+1 U G oraz a i A, i = 1,..., n, k ladziemy a i (u n+1 ) = d G (u n+1 ) = Dla i, j = 1,..., n, k ladziemy 1 jeśli i = j (a i, a j ) E a i (u j ) = 0 w p.p. (2.26) 20