REGUŁY NIEDETERMINISTYCZNE W SYSTEMACH DECYZYJNYCH

Transkrypt

1 STUDIA INFORMATICA 2012 Volume 33 Number 2A (105) Barbara MARSZAŁ-PASZEK, Potr PASZEK Unwersytet Śląsk, Instytut Informatyk REGUŁY NIEDETERMINISTYCZNE W SYSTEMACH DECYZYJNYCH Streszczene W artykule przedstawono problem generowana skróconych reguł nedetermnstycznych w systemach decyzynych Tego typu reguły wykorzystano do budowy klasyfkatorów regułowych W pracy położono szczególny nacsk na sposób tworzena skróconych reguł nedetermnstycznych Przedstawono porównane zaproponowanych metod tworzena reguł nedetermnstycznych pod względem akośc uzyskanych klasyfkatorów Słowa kluczowe: systemy decyzyne, klasyfkatory regułowe, nedetermnstyczne reguły decyzyne, zbory przyblżone NON-DETERMINISTIC RULES IN DECISION SYSTEMS Summary The short non-determnstc rules were descrbed n the paper Ths type of rules s used to buld up rule-based classfers Specal emphass s put on the way of extracton ths knd of rules The proposed methods of such rules generaton were compeered n terms of the classfers qualty Keywords: decson systems, rule-based classfers, non-determnstc decson rules, rough sets 1 Wstęp W artykule przedstawono sposób wykorzystana reguł nedetermnstycznych w procese klasyfkac obektów Reguły nedetermnstyczne powstaą podczas skracana reguł determnstycznych, np reguł mnmalnych [4, 11] lub reguł pełnych werszy z tablcy decyzyne Algorytm wyznaczana skróconych reguł nedetermnstycznych est algorytmem zachłannym W pracy zadane klasyfkac rozumane est w następuący sposób: dla dane

2 408 B Marszał-Paszek, P Paszek tablcy decyzyne (systemu decyzynego) T [7] nowego obektu v, na podstawe wartośc ego atrybutów warunkowych, należy określć wartość atrybutu decyzynego czyl sklasyfkować obekt v W pracach [14, 15] Skowron Sura wykazal, że reguły determnstyczne mogą być newystarczaące, aby w pełn opsać obekty w systeme nformacynym W pracy [9] Moshkov współpracowncy udowodnl, że dla dowolnego systemu nformacynego zbór obektów może być opsany za pomocą reguł wzbranaących [6], które są szczególnym przypadkem reguł nedetermnstycznych Wynk te były zachętą do posługwana sę regułam nedetermnstycznym w procese klasyfkac W pracach [8, 10] pokazano, że wykorzystane reguł nedetermnstycznych razem z regułam determnstycznym prowadz do zwększena akośc klasyfkac wyrażane przez współczynnk pokryca dokładnośc [1] Nneszy artykuł est próbą odpowedz na następuące pytane: czy wybór typu reguł determnstycznych, które będą skracane podczas generowana skróconych reguł nedetermnstycznych, wpływa na akość zbudowanych klasyfkatorów? Artykuł składa sę z 7 częśc W częśc 2 wprowadzono podstawowe poęca dotyczące tablc decyzynych W częśc 3 opsano nedetermnstyczne reguły decyzyne Część 4 zawera ops algorytmu tworzącego skrócone reguły nedetermnstyczne dla tablcy decyzyne Następne został opsany klasyfkator wykorzystuący reguły nedetermnstyczne Wynk badań zostały omówone w częśc 6 Na konec przedstawono wnosk wynkaące z artykułu 2 Tablce decyzyne W dalsze częsc przedstawono podstawowe poęca z teor zborów przyblżonych [7, 11] wykorzystywane w pracy Nech T ( U,A, { d}) będze tablcą decyzyną (systemem decyzynym), gdze: U { u1, u2,,un} to skończony, nepusty zbór obektów, A a,a,, } to nepusty, skończony zbór atrybutów warunkowych, { 1 2 am d A to atrybut decyzyny V d (T ) oznacza zbór wartośc atrybutu decyzynego, a V A (T ) zbór wartośc atrybutów warunkowych Deskryptor (formuła elementarna) to wyrażene o postac ( a v), gdze a A, v Va Uogólnony deskryptor to formuła postac a V, gdze a A, V Va Wzorzec w tablcy decyzyne rozumany est ako konunkca pewne lczby deskryptorów atrybutów warunkowych [8] Dla tablcy decyzyne T wzorzec można dokładne przedstawć ako:

3 Reguły nedetermnstyczne w systemach decyzynych 409 (a 1 b ) (a b ), 1 t t gdze: a A, b V, 1,, t A Powemy, że obekt x pasue do danego wzorca, eżel { 1,, t} a (x ) b dla (1), gdze 3 Reguły nedetermnstyczne W klasyfkatorach regułowych zwykle wykorzystywane są reguły determnstyczne W sposób ak nabardze ogólny regułę determnstyczną dla tablcy decyzyne T możemy zapsać ako: gdze: ( a V ) ( a V ) ( c), 1 d (2) a 1 t A, V V, 1,, t, c V A t d Jednak naczęśce w systemach z bazą wedzy w postac regułowe, z uwag na łatwość mplementac algorytmów wnoskowana, wykorzystywane są reguły w postac klauzul Horna, tzn reguły, w których w częśc warunkowe występue konunkca pewne lczby deskryptorów Reguły te można zapsać ako: gdze: (a b1 ) (a bt ) (d c), (3) a 1 A, b V, 1,, t, c V A t d Jednak ne dla wszystkch systemów decyzynych reguły determnstyczne są wystarczaące [14, 15] Wówczas można zastosować reguły nedetermnstyczne [6, 8] W sposób ak nabardze ogólny reguły nedetermnstyczne [5] dla tablcy decyzyne T możemy przedstawć ako: gdze: (a a 1 V ) 1 (a V ) (d c ) (d c ), (4) 1 t t s A, V V, 1,, t, { c1,, c } V A s Z uwag na użyce reguł nedetermnstycznych w systemach decyzynych, ogranczono sę do reguł, w których w częśc warunkowe występuą deskryptory, tzn do reguł o postac: (a 1 b 1) t 1 s d (a b ) (d c ) (d c ), (5) t gdze: a A, b V, {1,, t} oraz { c1,, c s } Vd A Jak wdać, część warunkowa reguły nedetermnstyczne to wzorzec Teraz wprowadzmy pewne oznaczena dotyczące reguł nedetermnstycznych, zgodne z [5] Jeśl r est regułą nedetermnstyczną o postac (5), to lh ( oznacza część warunkową

4 410 B Marszał-Paszek, P Paszek reguły (lewa strona reguły), a rh ( e część decyzyną (prawa strona reguły) S oznacza moc (lczbę elementów) zboru S Jeśl w est konunkcą deskryptorów (wzorcem), to oznacza zbór wszystkch obektów z tablcy decyzyne T, pasuących do w W dalszych rozważanach, dla uproszczena, zamast w będzemy psal w T Aby ocenć akość reguł, użyto współczynnków zwanych wsparcem (ang support) zaufanem (ang confdence) reguły [1] oraz wsparce w postac znormalzowane [5] Dla reguły decyzyne r tablcy decyzyne T wsparce est defnowane ako: zaufane ako: w T supp( lh( rh(, (6) lh( rh( conf (, (7) lh( a znormalzowane wsparce ako: supp( norm_ suppt ( = (8) V ( 4 Algorytm wylczana skróconych reguł nedetermnstycznych W nnesze częśc opsano algorytm tworzena reguł nedetermnstycznych Reguły te powstaą podczas skracana reguł determnstycznych, stąd ch nazwa skrócone reguły nedetermnstyczne (SNR, ang shortened nondetermnstc rules), zgodne z zasadą mnmalnego opsu (ang mnmum descrpton length) [12] SNR powstaą przez usuwane (skracane) pewnych deskryptorów z częśc warunkowe reguł determnstycznych, np: reguł mnmalnych tworzonych z użycem systemu RSES [13], reguł powstaących z reduktów lokalnych lub globalnych, z wykorzystanem bblotek RSESlb [3] lub Debellor [17], lub reguł pełnych - werszy z tablcy decyzyne Algorytm tworzy reguły o dużym wsparcu oraz małe lczbe wartośc w stosunku do lczby wszystkch wartośc atrybutu decyzynego w częśc decyzyne reguły Parametrem algorytmu est, które oznacza mnmalne zaufane skróconych reguł nedetermnstycznych Algorytm tworzena zboru reguł SNR przedstawony est w dalsze częśc artykułu

5 Reguły nedetermnstyczne w systemach decyzynych 411 Algorytm zachłanny do wyznaczana reguł skróconych Weśce: T tablca decyzyna, Rule D reguły determnstyczne dla T, [05,1] parametr mnmalnego zaufana reguł Wyśce: begn zbór skróconych reguł nedetermnstycznych Rule SNR Rule SNR dla T Rule SNR ; for R Rule D // R : W ( d v), W D1 D2 Dm, v Vd Stop false; R supp(r); repeat for W D W // dla każdego deskryptora (atrybutu warunkowego) w W D D D D m Vd : x W, d( x) }; { v v Posortować ; ; // ze względu na lcznośc klas decyzynych Wybór tak, aby conf ( W ) ; // wybór zachłanny W norm_supp ( W ); endfor; max{ R f max max max W { W max }; }; R max ; R max then R R ; else Stop true; endf; untl Stop; Rule endfor; end; SNR Rule SNR {R}; Korzystaąc z tego algorytmu, dla tablcy decyzyne T można wyznaczyć zbór skróconych reguł nedetermnstycznych (Rule SNR ) oraz, po zdefnowanu metody klasyfkac wykorzystuące reguły nedetermnstyczne, można eksperymentalne określć akość take klasyfkac

6 412 B Marszał-Paszek, P Paszek 5 Klasyfkator wykorzystuący reguły determnstyczne nedetermnstyczne Klasyfkator regułowy zbudowano na podstawe zboru reguł determnstycznych (Rule D ) oraz zboru skróconych reguł nedetermnstycznych (Rule SNR ) Proces klasyfkac dla nowego obektu v tablcy decyzyne T przeprowadzony est następuąco: 1 Wyznaczene zboru reguł determnstycznych Rule D dla tablcy T 2 Wyznaczene zboru skróconych reguł nedetermnstycznych Rule SNR dla T Rule D 3 Wybór wartośc atrybutu decyzynego dla v na podstawe Rule D oraz Rule SNR : a Wybór poedyncze wartość decyz c Vd (T ) przy wykorzystanu standardowego głosowana [4] dla obektu v reguł determnstycznych Rule D b Wybór zboru wartośc atrybutu decyzynego V ( Vd ( T) przy wykorzystanu głosowana na wzorce [8] dla obektu v reguł skróconych Rule SNR c Rozstrzygnęce konflktów mędzy wyborem dla reguł skróconych reguł nedetermnstycznych (określene poedyncze wartośc atrybutu decyzynego dla v), dokonane na podstawe strateg wykluczaące [8] W strateg wykluczaące dla obektu v, decyz c Vd (T ) (wyznaczone przez standardowe głosowane na reguły determnstyczne Rule D ) oraz zboru decyz V ( Vd ( T) (wyznaczone przez głosowane na skrócone reguły nedetermnstyczne Rule SNR ) wybór wartośc atrybutu decyzynego dla v odbywa sę w następuący sposób: 1 Jeżel c V ( (brak konflktu), wtedy ako wynk klasyfkac wyberz decyzę c 2 Jeżel c V ( (konflkt), wtedy, eśl nośnk dla decyz c est wększy nż nośnk dla reguły nedetermnstyczne r, to wyberz decyzę c; w przecwnym wypadku wyberz poedynczą decyzę z reguły nedetermnstyczne e V ( o maksymalnym nośnku 3 Jeśl V ( r ), wtedy ako wynk klasyfkac wyberz decyzę c 4 Jeśl V ( r ), wtedy ako wynk klasyfkac wyberamy poedynczą wartość atrybutu decyzynego e V ( o maksymalnym nośnku 5 W nnym przypadku obekt v ne est sklasyfkowany W ten sposób zdefnowano klasyfkator regułowy wykorzystuący reguły nedetermnstyczne Używaąc zdefnowanego wcześne klasyfkatora razem z algorytmem generowana skróconych reguł nedetermnstycznych, dla tablcy decyzyne T oraz nowego obektu v można sklasyfkować obekt v

7 Reguły nedetermnstyczne w systemach decyzynych Eksperymenty z danym Algorytm wyznaczana skróconych reguł nedetermnstycznych ma welomanową złożoność oblczenową ze względu na lczbę obektów lczbę atrybutów w tablcy decyzyne Algorytm, tworzena reguł mnmalnych z bblotek RSESlb, ma wykładnczą złożoność oblczenową ze względu na lczbę atrybutów Aby zmneszyć czasową złożoność oblczenową całego procesu tworzena reguł nedetermnstycznych, łączne z generowanem reguł determnstycznych, które są wymagane na weścu algorytmu tworzena reguł skróconych, należałoby użyć reguł determnstycznych nnych nż mnmalne W zwązku z tym trzeba wybrać algorytm tworzena reguł determnstycznych z tablcy decyzyne o złożonośc co nawyże welomanowe Jako zboru reguł determnstycznych można użyć reguł pełnych, to znaczy werszy z tablcy decyzyne W algorytme tworzena reguł skróconych zastąpene reguł mnmalnych regułam pełnym powodue natychmastowe obnżene złożonośc oblczenowe do pozomu welomanowego dla całego procesu generowana skróconych reguł nedetermnstycznych We wcześneszych badanach (patrz praca [10]) przeprowadzono eksperymenty porównuące akość zaproponowanych klasyfkatorów regułowych opartych na regułach nedetermnstycznych na danych z repozytorum uczena maszynowego UCI [2] Wykazano, że wykorzystane reguł nedetermnstycznych do budowy modelu klasyfkac przyczyna sę do zwększena akośc takego klasyfkatora Poawa sę ednak następuące pytane: czy wybór typu reguł determnstycznych, które będą skracane podczas generowana skróconych reguł nedetermnstycznych, wpływa na akość zbudowanych klasyfkatorów? A dokładne, czy zastąpene reguł mnmalnych pełnym wpłyne na akość klasyfkatora wykorzystuącego reguły nedetermnstyczne? Aby otrzymać odpowedź na te pytana, przeprowadzono eksperymenty na danych z repozytorum uczena maszynowego UCI, porównuąc akość klasyfkac dwóch klasyfkatorów regułowych W perwszym klasyfkatorze, oznaczonym w tabel 1, w kolumne NDR ako (a), reguły nedetermnstyczne powstawały przez skracane reguł mnmalnych Drug klasyfkator, oznaczony w tabel 1, w kolumne NDR ako (b), używał reguł nedetermnstycznych utworzonych przez skracane reguł pełnych W trakce klasyfkac wyznaczano dokładność klasyfkac (ang accuracy) pokryce (ang coverage) [16] Jakość klasyfkac była wyznaczana ako loczyn dokładnośc oraz pokryca (oznaczene w tabel 1 ako acc*cov) Jest to stosunek lczby poprawne sklasyfkowanych obektów do lczby wszystkch klasyfkowanych obektów

8 414 B Marszał-Paszek, P Paszek Porównane akośc klasyfkac dla reguł SNR tworzonych z reguł mnmalnych reguł pełnych Tabela 1 Tablca decyzyna NDR mernk (pokryce) Nazwa #dec klasowy 1,0 0,9 0,8 0,7 0,6 0,5 Balance 3 (a) acc*cov 80,00 82,13 82,10 80,91 79,97 77,09 Scale mrd 1,44 2,13 2,10 2,35 2,37 1,79 (b) acc*cov 79,46 82,18 82,16 80,96 79,84 77,10 mrd 1,82 2,34 2,32 2,56 2,56 1,90 Irs 3 (a) acc*cov 87,07 86,33 83,87 81,60 80,80 80,80 mrd 7,07 11,67 10,53 9,07 9,87 11,47 (b) acc*cov 88,73 87,87 87,00 85,53 85,33 85,20 mrd 7,40 10,53 9,67 9,53 9,33 10,53 Irs 3 (a) acc*cov 94,13 93,20 92,40 88,53 87,87 86,33 (dysk mrd 4,80 5,47 12,40 11,20 10,53 10,33 (b) acc*cov 94,20 94,00 93,40 88,87 88,20 87,80 mrd 4,87 4,67 10,73 11,53 10,87 9,13 Lympho- 8 (a) acc*cov 37,47 37,47 37,47 37,47 37,47 37,47 graphy mrd 3,8 3,8 3,8 3,8 3,8 3,8 (b) acc*cov 37,47 37,47 37,47 37,47 37,47 37,47 mrd 3,8 3,8 3,8 3,8 3,8 3,8 Post- 3 (a) acc*cov 65,67 65,67 65,67 67,67 68,78 69,22 operatve mrd 3,44 3,44 3,44 5,44 3,22 2,56 (b) acc*cov 65,67 65,67 65,67 66,89 69,11 69,11 mrd 3,44 3,44 3,44 4,67 2,44 2,44 Zoo 7 (a) acc*cov 83,07 83,07 84,26 85,45 86,34 86,44 mrd 3,07 4,06 2,87 2,67 3,17 3,27 (b) acc*cov 83,07 83,37 84,36 85,64 86,34 86,53 mrd 3,07 3,76 2,77 2,48 3,17 3,37 (a) reguły skracane z reguł mnmalnych (b) reguły skracane z reguł pełnych W tabel 1 zawarto wynk otrzymane metodą 5-krotne krzyżowe waldac dla dwóch klasyfkatorów: (a) (b) Podczas generowana reguł skróconych używano różnych wartośc parametru Ponadto wyznaczano maksymalne odchylene względne (mrd - ang maxmal relatve devaton), czyl maksymalne procentowe odchylene od średne W werszach oznaczonych ako acc*cov zapsana est (procentowo) średna arytmetyczna wartość z 20 uruchomeń 5-krotne krzyżowe waldac W werszach oznaczonych ako mrd zapsano (procentowo) maksymalne odchylene względne Jakość klasyfkac obu klasyfkatorów, rozumana ako procent poprawne sklasyfkowanych obektów, est porównywalna Różnce ne przekraczaą dzesątych procenta Dla czterech spośród sześcu baz (Balance Scale, Irs x 2, Zoo) klasyfkator wykorzystuący reguły nedetermnstyczne, tworzone z reguł pełnych, był mnmalne lepszy Dla edne

9 Reguły nedetermnstyczne w systemach decyzynych 415 tablcy decyzyne Lymphography wynk obu klasyfkatorów były dentyczne Dla tablcy decyzyne Post-operatve zastosowane reguł nedetermnstycznych, skracanych z reguł mnmalnych, dało newele lepszy rezultat (0,1%) nż wykorzystane reguł nedetermnstycznych tworzonych z reguł pełnych Maksymalne odchylene względne obu klasyfkatorów było bardzo zblżone 7 Wnosk W artykule opsano algorytm ndukc skróconych reguł nedetermnstycznych z tablcy decyzyne Ponadto przedstawono klasyfkator regułowy metodę wykluczaącą wykorzystuący reguły nedetermnstyczne Opsany algorytm est algorytmem zachłannym o złożonośc welomanowe, ednak wymaga on reguł determnstycznych, które następne są skracane Do te pory używano reguł mnmalnych ako zestawu reguł determnstycznych Nestety algorytm tworzena reguł mnmalnych z tablcy decyzyne ma wykładnczą czasową złożoność oblczenową W artykule wykazano eksperymentalne, że zastąpene reguł mnmalnych regułam pełnym w algorytme generac skróconych reguł nedetermnstycznych ne obnża (a nekedy neznaczne polepsza) akość klasyfkac klasyfkatora, wykorzystuącego reguły nedetermnstyczne BIBLIOGRAFIA 1 Agrawal R, Imelnsk T, Swam A: Mnng Assocaton Rules Between Sets of Items n Large Databases Proceedngs of the 1993 ACM SIGMOD Internatonal Conference on Management of Data, ACM Press, Washngton, DC, New York 1993, s Asuncon A, Newman D J: UCI Machne Learnng Repostory Unversty of Calforna, Irvne, School of Informaton and Computer Scences, Bazan J G, Szczuka M S: RSES and RSESlb A Collecton of Tools for Rough Set Computatons Rough Sets and Current Trends n Computng, Sprnger-Verlag, London 2000, s Bazan J G, Szczuka M S, Wona A, Wonarsk M: On the Evoluton of Rough Set Exploraton System LNAI, Vol 3066, Sprnger, Hedelberg 2004, s

10 416 B Marszał-Paszek, P Paszek 5 Delmata P, Marszał-Paszek B, Moshkov M, Paszek P, Skowron A, Sura Z: Comparson of Some Classfcaton Algorthms Based on Determnstc and Nondetermnstc Decson Rules Transactons on Rough Sets XII, LNCS, Vol 6190, Sprnger, Hedelberg 2010, s Delmata P, Moshkov M, Skowron A, Sura Z: Inhbtory Rules n Data Analyss: A Rough Set Approach Studes n Computatonal Intellgence, Vol 163, Sprnger, Hedelberg Komorowsk J, Pawlak Z, Polkowsk L, Skowron A: Rough sets: A tutoral Rough- Fuzzy Hybrdzaton: A New Trend n Decson-Makng Sprnger-Verlag, Sngapore 1999, s Marszał-Paszek B, Paszek P, Wakulcz-Dea A: Classfcaton Algorthms Based on Template's Decson Rules Advances n Intellgent and Soft Computng, Vol 59, Sprnger-Verlag 2009, s Moshkov M, Skowron A, Sura Z: Maxmal consstent extensons of nformaton systems relatve to ther theores Informaton Scences, Vol 178 (12), 2008, s Paszek P, Marszał-Paszek B: Determnstc and Nondetermnstc Decson Rules n Classfcaton Process Journal of Medcal Informatcs and Technologes, Vol 15, 2010, s Pawlak Z: Rough Sets: Theoretcal aspects of reasonng about data Kluwer Academc Publshers, Boston Rssanen J: Modelng by Shortest Data Descrpton Automatca, Vol 14, 1978, s Rough Set Exploraton System: 14 Skowron A, Sura Z: Rough sets and concurrency Bulletn of the Polsh Academy of Scences, Vol 41 (3), 1993, s Sura Z: Some Remarks on Extensons and Restrctons of Informaton Systems Sprnger, LNCS, Vol 2005, Hedelberg 2001, s Tsumoto S: Accuracy and Coverage n Rough Set Rule Inducton LNAI, Vol 2475, Sprnger-Verlag, Berln-Hedelberg 2002, s Wonarsk M: Debellor: a data mnng platform wth stream archtecture Transactons on Rough Sets IX, Sprnger-Verlag, Berln-Hedelberg 2008, s Wpłynęło do Redakc 8 styczna 2012 r

11 Reguły nedetermnstyczne w systemach decyzynych 417 Abstract The nspraton to address the non-determnstc rules was the publcatons of Skowron and Sura [14, 15] They showed that there exst such decson systems, that the set of obects can t be descrbed by determnstc rules Moshkov et al [9] showed that for any nformaton system, the set of obects can be descrbed by non-determnstc rules These results nspred us to use the non-determnstc rules n the classfcaton process Hence, short non-determnstc decson rules are of the form (5) Thus, the algorthm searchng for these knd of non-determnstc rules wth suffcently large support (6) and relatvely small sets of decsons defned by the rght hand sdes of such rules was proposed by Paszek and Marszał-Paszek n [10] Now, n ths paper the followng queston has been ponted out: does the choce of the type of determnstc rules, whch wll be shortened when generatng short non-determnstc rules, affect the qualty of bult classfers? Thus, the smple classfer was constructed, whch uses the set of short non-determnstc rules Two methods of generaton such rules have been used n expermental studes One s based on shortng mnmal rules n a sense of RSES system [4] Second s based on shortng the whole rows form the decson table These two methods were compeered n a sense of mprovng the classfcaton qualty We have performed experments on decson tables from UCI Machne Learnng Repostory [2] usng proposed classfcaton algorthms In evaluaton of the accuracy of classfcaton algorthms on a decson tables, the 5 fold cross-valdaton method was used On testng sets the accuracy and the coverage factor were calculated [1] The results of the experments are ncluded n Table 1 For all decson tables the classfcaton qualty was better for the proposed classfcaton algorthm, whch based on the whole rows So, the use of mnmal rules s not necessary for the constructon of short nondetermnstc rules Ths s very mportant for the algorthm tme complexty, and gves us possblty to use our method for large data sets Adresy Barbara MARSZAŁ-PASZEK: Unwersytet Śląsk, Instytut Informatyk, ul Będzńska 39, Sosnowec, Polska, barbabramarszal-paszek@usesupl Potr PASZEK: Unwersytet Śląsk, Instytut Informatyk, ul Będzńska 39, Sosnowec, Polska, potrpaszek@usesupl