NIEDERMINISTYCZNE REGUŁY DECYZYJNE

Zeszyty Naukowe WSFiP Nr 1/2015 Piotr PASZEK * NIEDERMINISTYCZNE REGUŁY DECYZYJNE Streszczenie Klasyfikatory regułowe pełni istotn rol wród systemów decyzynych. W artykule opisuemy wykorzystanie reguł niedeterministycznych w klasyfikatorach regułowych. Proponuemy algorytm klasyfikaci wykorzystucy reguły niedeterministyczne oraz reguły minimalne w sensie zbiorów przyblionych. Klasyfikator ten porównano z klasyfikatorem wykorzystucym tylko reguły deterministyczne na danych z UCI Machine Learning Repository. Przedstawione wyniki bada wskazu, e wykorzystanie reguł niedeterministycznych dae moliwo poprawy akoci klasyfikaci, ale wymaga dostroenia do danych. Słowa kluczowe: reguły niedeterministyczne, klasyfikatory regułowe, zbiory przyblione Wprowadzenie Klasyfikatory regułowe u od wielu lat zamu istotne miesce w uczeniu maszynowym [8], [17]. Mog by budowane w oparciu o róne metody np. drzewa decyzyne [4], zbiory przyblione [3], [7], [13], [14], [18], czy z wykorzystaniem rozkładów prawdopodobiestwa [6]. Istotn cech, któr powinny si one charakteryzowa est ich efektywno. Efektywno klasyfikatorów oceniamy poprzez zdolno do klasyfikaci nowych przypadków, tzw. predykci. Okazue si, e konstruowanie klasyfikatorów regułowych ako hybrydy paru metod, w wielu przypadkach przynosi popraw ich akoci. Oczywicie przy wyborze metod naley zawsze uwzgldnia specyfik danych, dla których konstruowany est klasyfikator. W artykule pokazano, e istniee moliwo rozbudowania klasyfikatorów regułowych o reguły niedeterministyczne. Wskazówk do takiego podecia stanowiły prace Skowrona i Suraa [15], [16], w których wykazano, e istnie systemy decyzyne nie dace si * Dr Piotr Paszek, Wysza Szkoła Finansów i Prawa, Katedry Informatyki i Metod Ilociowych. 75

Piotr Paszek w pełni opisa z wykorzystaniem reguł deterministycznych. Natomiast w pracy [9] udowodniono, e dowolny system decyzyny (zbiór ego obiektów) moe by opisany z wykorzystaniem reguł niedeterministycznych. Miar oceny przydatnoci reguł niedeterministycznych dla danego modelu klasyfikaci, wyraac ako klasyfikaci tego modelu, bd standardowe współczynniki dokładnoci i pokrycia klasyfikatora. Sam problem klasyfikaci w pracy est rozumiany w nastpucy sposób: dla danego systemu decyzynego i nowego obiektu, na podstawie atrybutów warunkowych opisucych ten obiekt, naley okreli właciw mu klas decyzyn. 1. Reguły w systemach decyzynych Niech T = ( U, A,{ d}) bdzie systemem decyzynym (tablic decyzyn), gdzie U = { u1, u2,, un} to skoczony, niepusty zbiór obiektów, A = { a 1, a 2,, a m} to niepusty, skoczony zbiór atrybutów warunkowych, d A to atrybut decyzyny [11]. Dla danego T przez Vd oznaczamy zbiór wartoci atrybutu decyzynego, przez VA zbiór wartoci wszystkich atrybutów warunkowych w systemie decyzynym a przez Va zbiór wartoci dla poedynczego atrybutu ze zbioru A. Deskryptor (formuła elementarna) to wyraenie postaci ( a = v), gdzie a A, v Va. Uogólniony deskryptor to formuła postaci ( a V ), gdzie a A, V Va. Zwykle klasyfikatory regułowe wykorzystu reguły deterministyczne. Reguł deterministyczn dla systemu decyzynego T mona przedstawi ako: gdzie a i A i V i ( a c 1 1 t = t V ) ( a V ) ( d ) (1), dla i = 1,, t. VA W czci warunkowe reguły deterministyczne mamy koniunkc skoczone liczby deskryptorów uogólnionych, natomiast w czci decyzyne deskryptor oparty na atrybucie decyzynym. Poniewa wiemy ([15], [16]), e nie wszystkie systemy decyzyne udae si opisa z wykorzystaniem reguł deterministycznych wprowadza 76

Niedeterministyczne reguły decyzyne si w celu poprawy tego opisu reguły niedeterministyczne. W sposób ak nabardzie ogólny, reguł niedeterministyczn [15] dla T moemy przedstawi, ako: gdzie a i (a V ) (a V ) (d {c1,,cs }), (2) A i 1 1 t t, dla i = 1,, t oraz c,, c s } V. V i VA { 1 d Ze wzgldów praktycznych reguły niedeterministyczne w niniesze pracy ograniczono do postaci, w które w czci warunkowe wystpu deskryptory a nie deskryptory uogólnione, tzn. do reguł postaci: gdzie ( 1 a = b1 ) ( a ) ( {,, }) 1 = bt d c c t s, (3), a A, bi V i i A dla i = 1,, t oraz { c 1,, c s } V d. Zgodnie z [5], przymuemy nastpuce oznaczenia. Jeli r est reguł niedeterministyczn postaci (3), to: L(r) R(r) oznacza cz warunkow reguły (lewa strona reguły), oznacza cz decyzyn reguły (prawa strona reguły), card(s) oznacza moc (liczb elementów) zbioru S, w oznacza zbiór wszystkich obiektów z tablicy decyzyne T pasucych do formuły w. Celem oceny akoci reguł niedeterministycznych uyemy nastpucych współczynników: zaufania (ang. confidence) reguły [1], wsparcia (ang. support) reguły, wsparcia w postaci znormalizowane [5]. Dla reguły decyzyne r i systemu decyzynego T, wsparcie definiowane est ako card( L(r) R(r) ) supp T (r) =, (4) card(u) zaufanie, ako card( L(r) R(r) ) conf T (r) =, (5), card( L( r) ) a znormalizowane wsparcie ako 77

Piotr Paszek supp (r) nsupp (r) T T =, (6), card(v ( r) gdzie V ( r) = { c1,, cs} to zbiór wartoci atrybutu decyzynego dla reguły r. 2. Skrócone reguły niedeterministyczne W dalsze czci pracy wykorzystywa bdziemy reguły niedeterministyczne nazwane przez nas skróconymi regułami niedeterministycznymi. Reguły te powsta poprzez usuwanie deskryptorów z czci warunkowe reguł deterministycznych, zgodnie z zasad minimalnego opisu (ang. minimum description length) [12]. W dalsze czci pracy zostan one uyte do poprawy akoci klasyfikatorów regułowych. Skrócone reguły niedeterministyczne TNDR (ang. Truncated Nondeterministic Decision Rules) lub króce reguły skrócone to zbiór reguł niedeterministycznych r (nad T) postaci takich, e: (a = b ) (a = b ) (d {c1,,cs }), 1 1 t 1. conf (r) α, gdzie α [0.5,1 ], tzn. zaufanie reguł est co namnie równe α, 2. V ( r) k < Vd ( T ), gdzie k (parametr), to górna granica liczby wartoci decyzi reguły r. 3. Algorytm tworzcy reguły niedeterministyczne W pracy [10] opisalimy algorytm zachłanny, który generue skrócone reguły niedeterministyczne dla danego systemu decyzynego. Jego czasowa złoono obliczeniowa była nie zadawalaca i mieciła si w klasie wykładnicze. Poniewa reguły niedeterministyczne powstawały poprzez eliminac pewne liczby deskryptorów z czci warunkowe reguł deterministycznych a dokładnie reguł minimalnych tworzonych z uyciem systemu RSES [1], postanowiono ten warunek zmodyfikowa, tak aby algorytm mógł by przypisany do wielomianowe klasy złoonoci. Modyfikaca była moliwa dziki zastpieniu reguł t 78

Niedeterministyczne reguły decyzyne minimalnych regułami pełnymi tzn. całymi wierszami opisucymi obiekty z systemu decyzynego. Przylimy nastpuce załoenie: algorytm tworzy reguły niedeterministyczne o duym wsparciu oraz małe liczbie wartoci, w stosunku do liczby wszystkich wartoci atrybutu decyzynego w czci decyzyne reguły. Parametrem algorytmu est współczynnik α, który oznacza minimalne zaufanie dla reguł niedeterministycznych. Główne kroki algorytmu Trunder w postaci pseudokodu przedstawione s ponie w tabeli 1. Liczba operaci w algorytmie (czasowa złoono obliczeniowa algorytmu) est wielomianowa. Zaley od liczby obiektów i liczby atrybutów i est rzdu O(kn 2 ), gdzie k to liczba atrybutów a n to liczba obiektów w tablicy decyzyne T. Tabela 1. Pseudokod algorytmu wyznaczania skróconych reguł niedeterministycznych Trunder algorytm wyznaczania reguł niedeterministycznych Wecie: T system decyzyny, α [0.5, 1] parametr minimalnego zaufania; Wycie: Zbiór reguł niedeterministycznych NDR(T, α) 1. NDR(T, α) = ; 2. Dla kadego obiektu x z T : 3. r = x; //potraktu x ak reguł decyzyn 4. Usu atrybut z r (deskryptor z reguły), który maksymalizue nonik czci warunkowe; 5. Dobierz (zachłannie) klasy decyzyne (do czci warunkowe reguły), tak aby utworzona reguła miała zaufanie nie mniesze ni α; 6. r = utworzona w punkcie 5. reguła; 7. Jeli nsuppt(r ) >= nsuppt(r), to r = r i wró do 4. 8. w przeciwnym wypadku doda r do NDR(T, α). 79

Piotr Paszek 4. Klasyfikator wykorzystucy reguły niedeterministyczne Wygenerowane algorytmem Trunder, reguły skrócone uyemy do budowy klasyfikatora. Klasyfikator wykorzystue reguły deterministyczne (DR) oraz skrócone reguły niedeterministyczne (TNDR). Sam proces klasyfikaci dla nowego obiektu v i systemu decyzynego T moe by przeprowadzony w nastpucy sposób: 1. Wyznacz DR (zbiór reguł deterministycznych) dla T. 2. Wyznacz TNDR (zbiór reguł niedeterministycznych) dla T. 3. Wybierz wartoci atrybutu decyzynego dla v na podstawie zbiorów reguł wyznaczonych w punkcie 1 i 2 w nastpucy sposób: a. Korzystac z standardowego głosowania [3] dla obiektu v i reguł DR, wybierz poedyncz warto decyzi. c V d b. Korzystac z głosowania na wzorce [7] dla obiektu v i reguł TNDR, wybierz zbiór wartoci atrybutu decyzynego. V V d c. Rozstrzygni konflikty midzy wyborem decyzi dla reguł deterministycznych i reguł niedeterministycznych za pomoc strategii wykluczace. W strategii wykluczace dla obiektu v, decyzi c Vd (T ) (wyznaczone przez standardowe głosowanie na reguły deterministyczne DT) oraz zbioru decyzi V( r) Vd ( T) (wyznaczonych przez głosowanie na skrócone reguły niedeterministyczne TNDR) wybór warto atrybutu decyzynego dla v dobywa si w nastpucy sposób: 1. Jeeli c V (r) (brak konfliktu), wtedy ako wynik klasyfikaci wybierz decyz c. 2. Jeeli c V(r) (konflikt), wtedy eli nonik dla decyzi c est wikszy ni nonik dla reguły niedeterministyczne r, wybierz decyz c; w przeciwnym wypadku wybierz, z reguły niedeterministyczne r, poedyncz decyz o maksymalnym noniku. 3. Jeli V ( r) =, wtedy ako wynik klasyfikaci wybierz decyz c. 4. Jeli V ( r), wtedy ako wynik klasyfikaci wybierz, z reguły niedeterministyczne r, poedyncz decyz o maksymalnym noniku. 5. W pozostałym przypadku obiekt v nie est sklasyfikowany. 80

5. Porównanie klasyfikatorów regułowych Niedeterministyczne reguły decyzyne Opisany w poprzednim punkcie klasyfikator regułowy wykorzystucy reguły niedeterministyczne i deterministyczne porównalimy z klasyfikatorem regułowym wykorzystucym reguły deterministyczne. Ocenialimy ako klasyfikaci, rozumian ako procent poprawnie zaklasyfikowanych obiektów. Badanie akoci klasyfikatorów przeprowadzilimy na danych z UCI Machine Learning Repository [2]. Do bada eksperymentów wykorzystalimy nastpuce bazy: Balance scale, Dermatology, Ecoli, Iris, Lymphography, Post operative oraz Primary tumor. Badania miały potwierdzi nastpuc hipotez: wzbogacenie klasyfikatora dodatkow wiedz w postaci reguł niedeterministycznych przyczynia si do poprawy akoci klasyfikaci tak skonstruowanego modelu. Zbudowalimy 2 klasyfikatory, wykorzystuce te same podziały na zbiory uczce i testowe. Pierwszy klasyfikator, oznaczony ako ADT, wykorzystywał tylko reguły deterministyczne, dokładnie reguły minimalne, w sensie zbiorów przyblionych, tworzone z wykorzystaniem biblioteki RSESlib (Rough Set Exploration System library) [3]. Klasyfikator wykorzystue standardow procedur głosowania reguł. Drugi algorytm klasyfikaci ANDT wykorzystue skrócone reguły niedeterministyczne, generowane przez algorytm Trunder oraz reguły minimalne. Do rozstrzygania konfliktów uywana est strategia wykluczaca. Porównywalimy ako klasyfikaci ADT oraz ANDT, metod krzyowe walidaci, dla n=5. Dla algorytmu ANDT uywalimy rónych wartoci parametru α. W trakcie klasyfikaci wyznaczalimy dokładno klasyfikaci (acc) i pokrycie (cover) oraz iloczyn tych wartoci (acc cover), czyli procent poprawnie sklasyfikowanych obiektów ako klasyfikaci. Wyniki przeprowadzonych eksperymentów zostały zawarte w tabeli 2. W wierszach oznaczonych ako acc cover zapisana est rednia arytmetyczna akoci klasyfikaci z 20 uruchomie 5-krotne krzyowe walidaci (procentowo). W wierszach oznaczonych ako mrd zapisano maksymalne odchylenie wzgldne. Mona t warto interpretowa ako stabilno klasyfikatora. W kadym wierszu pogrubiono wynik nalepszego klasyfikatora. 81

Piotr Paszek W kolumnie oznaczone ako ADT wyniki dotycz klasyfikatora wykorzystucego reguły minimalne. W kolumnach oznaczonych ako ANDT wpisane s wyniki dotyczce klasyfikatora wykorzystucego reguły niedeterministyczne. Dla piciu sporód siedmiu tablic decyzynych, t. Balance Scale, Dermatology, Ecoli, Post operative oraz Primary tumor, klasyfikator ANDT, wykorzystucy skrócone reguły niedeterministyczne, był lepszy (w sensie akoci klasyfikaci) ni klasyfikator DR, wykorzystucy reguły deterministyczne. Dla edne tablicy decyzyne Lymphography wyniki obu klasyfikatorów były identyczne. Dla tablicy decyzyne Iris zastosowanie skróconych reguł niedeterministycznych nie polepszyło akoci klasyfikatora. Klasyfikator deterministyczny był lepszy, ale edynie o 0,3%. Maksymalne odchylenie wzgldne obu klasyfikatorów było bardzo zblione. Tabela 2. Jako klasyfikaci dwóch algorytmów klasyfikaci metoda krzyowe walidaci Dane (T) Balance Scale Dermatology Ecoli Lymphography Post- Operative Primary Tumor Iris Algorytm klasyfikaci współ. ANDT, = klasyf. ADT 1.0 0.9 0.8 0.7 0.6 0.5 acc cover 78.30 80.74 81.86 81.83 80.79 79.78 76.83 mrd 0.020 0.032 0.024 0.024 0.023 0.026 0.024 acc cover 84.62 85.04 84.97 85.27 85.21 84.62 84.59 mrd 0.012 0.008 0.014 0.011 0.014 0.012 0.009 acc cover 54.76 55.45 56.01 54.52 54.40 50.63 50.63 mrd 0.036 0.040 0.033 0.026 0.027 0.020 0.020 acc cover 37.47 37.47 37.47 37.47 37.50 37.47 37.47 mrd 0.038 0.038 0.038 0.038 0.037 0.038 0.038 acc cover 65.00 65.00 65.00 64.72 66.39 68.28 68.83 mrd 0.061 0.061 0.061 0.058 0.064 0.072 0.033 acc cover 59.71 60.09 60.09 60.09 60.09 60.09 60.09 mrd 0.016 0.020 0.020 0.020 0.020 0.020 0.020 acc cover 90.47 90.10 89.93 88.87 87.16 87.17 86.17 mrd 0.018 0.028 0.026 0.031 0.048 0.078 0.058 82

Niedeterministyczne reguły decyzyne Wnioski Przeprowadzac badania porównawcze na bazach z UCI Machine Learning Repository wykazalimy, e dodanie do klasyfikatora regułowego, wykorzystucego reguły deterministyczne, dodatkowe wiedzy w postaci skróconych reguł niedeterministycznych (TNDR) poprawia ako klasyfikatora. Aby otrzyma popraw akoci klasyfikaci, naley zawsze dobra parametr α, okrelacy pokrycie klas decyzynych (zaufanie reguły), do danych. Literatura [1]. Agrawal R., Imielinski T., Swami A., Mining Association Rules Between Sets of Items in Large Databases, [w:] Proceedings of the 1993 ACM SIGMOD International Conference on Management of Data, (red.) Buneman P., Jaodia S., Washington, D.C., ACM Press, New York 1993, s. 207-216. [2]. Asuncion A., Newman D. J., UCI Machine Learning Repository. University of California, Irvine, School of Information and Computer Sciences, 2007, http:// www.ics.uci.edu/~mlearn/mlrepository.html [3]. Bazan J. G., Szczuka M. S., Wona A., Wonarski M., On the Evolution of Rough Set Exploration System, LNAI, vol. 3066, Springer, Heidelberg 2004, s. 592-601. [4]. Cichosz P., Systemy uczce si, WNT, Warszawa 2000. [5]. Delimata P., Marszał-Paszek B., Moshkov M., Paszek P., Skowron A., Sura Z., Comparison of Some Classification Algorithms Based on Deterministic and Nondeterministic Decision Rules, Transactions on Rough Sets XII, LNCS 6190, Springer, Heidelberg 2010, s. 90-105. [6]. Koronacki J., wik J., Statystyczne systemy uczce si, EXIT, Warszawa 2008. [7]. Marszał-Paszek B, Paszek P., Minimal Templates and Knowledge Discovery, LNAI, vol. 4585, Springer, Heidelberg 2007, s. 411-416. [8]. Michalski R., http://www.mli.gmu.edu/michalski/ [9]. Moshkov M., Skowron A., Sura Z., Maximal consistent extensions of information systems relative to their theories, Information Sciences 178 (12)/2008, s. 2600-2620. 83

Piotr Paszek [10]. Paszek P., Marszał-Paszek B., Niedeterministyczne reguły skrócone, [w:] Systemy Wspomagania Decyzi, (red.) Wakulicz- Dea A., Katowice 2010, s. 67-72, ISBN 978-83-62462-01-8. [11]. Pawlak Z., Rough Sets: Theoretical aspects of reasoning about data, Kluwer Academic Publishers, Boston 1991. [12]. Rissanen J., Modeling by Shortest Data Description, Automatica 14/1978, 465-471. [13]. Rosetta: http://www.lcb.uu.se/tools/rosetta/ [14]. Rough Set Exploration System: http://logic.mimuw.edu.pl/ rses [15]. Skowron A., Sura Z., Rough sets and concurrency, [w:] Bulletin of the Polish Academy of Sciences, 41 (3)/1993, s. 237-254. [16]. Sura Z., Some Remarks on Extensions and Restrictions of Information Systems, LNCS, vol. 2005, Springer, Heidelberg 2001, s. 204-211. [17]. Triantaphyllou E., Felici G., Data Mining and Knowledge Discovery Approaches Based on Rule Induction Techniques, Springer Science and Business Media, LLC, New York 2006. [18]. Tsumoto S., Modelling Medical Diagnostic Rules Based on Rough Sets. LNCS, vol. 1424, Springer-Verlag, Berlin 1998, s. 475-482. NONDETERMINISTIC DECISION RULES Summary In the paper the authors discuss classifiers based on deterministic decision rules and non-deterministic decision rules and prove that non-deterministic decision rules can be used for improving the quality of classification. The authors propose classifications algorithms based on non-deterministic rules and minimal rules in the sense of rough sets. The classifiers in question are tested on the group of decision tables from the UCI Machine Learning Repository and the results are compared. The reported results of experiments show that proposed classifiers based on non-deterministic rules give the possibility to improve the classification quality but with the requirement of tuning to the data. Key words: non-deterministic decision rules, rule-based classifiers, rough sets 84