Synteza logiczna w eksploracji danych

Transkrypt

1 Synteza logiczna w eksploracji danych Metody syntezy logicznej są wykorzystywane głównie do optymalizacji systemów cyfrowych przetwarzających sygnały binarne. Ich podstawowym zadaniem jest poprawa implementacji oraz możliwości odwzorowania systemów w różnych technologiach. Można jednak wykazać, że wiele metod syntezy logicznej, a w szczególności te wykorzystywane do optymalizacji kombinacyjnych układów logicznych, może być z powodzeniem zastosowanych w typowych zadaniach przetwarzania i wyszukiwania informacji, a nawet w Eksploracji danych

2 Eksploracja danych (Data Mining) jest dynamicznie rozwijającą się dziedziną informatyki o coraz szerszych zastosowaniach w nauce i technice niemal w każdej dziedzinie życia

3 Eksploracja danych. Przez eksplorację danych rozumie się proces automatycznego odkrywania znaczących i dotychczas nieznanych informacji z dużych baz danych, czyli informacji ujawniających ukrytą wiedzę o badanym przedmiocie. Potrafi przeprowadzić sondaż Potrafi wykryć anomalie w sieci Eksploracja danych Potrafi zdiagnozować pacjenta Potrafi podjąć decyzję o przyznaniu kredytu klientowi banku Nazywa się również odkrywaniem wiedzy w bazach danych (ang. knowledge discovery in databases). 3

4 Pozyskiwanie wiedzy z baz danych na abstrakcyjnym poziomie algorytmów polega na Redukcji atrybutów Uogólnianiu reguł decyzyjnych i wielu innych procedurach Jaki jest związek tych algorytmów z algorytmami syntezy logicznej? 4

5 Eksploracja danych a synteza logiczna Eksploracja danych Synteza logiczna Redukcja atrybutów Redukcja argumentów Indukcja reguł decyzyjnych Minimalizacja funkcji boolowskich Hierarchiczne podejmowanie decyzji Dekompozycja funkcjonalna Są to algorytmy przetwarzające ogromne bazy danych 5

6 Komputerowe systemy eksploracji danych ROSETTA BiomedicalCentre (BMC), Uppsala, Sweden. Politechnika Poznańska 6

7 Znaczenie eksploracji danych Wiele rzeczywistych zjawisk opisuje się tablicami danych O b i e k t y a b c d Atrybuty 3 Klasyfikacja (Decyzja) W tablicach takich obiekty reprezentowane w poszczególnych wierszach opisywane są wartościami atrybutów a, b, c. Jednocześnie obiekty są klasyfikowane, kolumna d. 7

8 Tablice i reguły decyzyjne Tablice takie można również reprezentować za pomocą wyrażeń logicznych zwanych regułami decyzyjnymi: U: (a,) (b,) (c,) (d,) U5: (a,) (b,) (c,) (d,) a b c d redukcja atrybutów Indukcja (generacja) reguł decyzyjnych 8

9 Uogólnianie reguł Wyrażenia takie można upraszczać za pomocą metod stosowanych w syntezie logicznej. Np. metodą analogiczną do ekspansji można uogólniać (minimalizować) reguły decyzyjne. Metoda uogólniania reguł decyzyjnych: Tworzy się macierz porównań M, Wyznacza minimalne pokrycie M, Atrybutami reguły minimalnej są atrybuty należące do minimalnego pokrycia M. 9

10 Przykład indukcji reguł Tablica decyzyjna U a b c d e Tablica reguł minimalnych a b c d e

11 Przykład: uogólniamy U U a b c d e a b c d M = Macierz M powstaje przez porównanie obiektów: (u, u 3 ), (u, u 4 ),...,(u, u 7 ). Wynikiem porównania są wiersze M. Dla takich samych wartości atrybutów odpowiedni m=, dla różnych m=.

12 Przykład: uogólniamy U a M = b c d a, d b b, d a, b, d Minimalne pokrycia są: {a,b} oraz {b,d}, U a b c d e a, b, c, d Wyznaczone na ich podstawie minimalne reguły: (a,)&(b,) (e,) (b,)&(d,) (e,) U a b c d e - -

13 Przykład uogólniania reguł cd. Pouogólnieniuobiektuu u. U a b c d e - - u można usunąć U a b c d e

14 Przykład uogólniania reguł c.d. U a b c d e Dla obiektu u3 Dla obiektu u4 a b c d a b c d (a,) (e,) (b,) & (d,) (e,) Niestety po uogólnieniu ani u 3 nie pokrywa u 4, ani u 4 nie pokrywa u 3 4

15 Przykład uogólniania reguł c.d. U a b c d e Dla obiektu u5 a b c d (d,) (e,) u 6, u 7 5

16 Reguły minimalne Uogólnione reguły decyzyjne: (a,)&(b,) (e,) a b c d e (a,) (e,) (b,)&(d,) (e,) (d,) (e,) w innym zapisie: (a,)&(b,) (e,) (a,) (b,) &(d,) (e,) (d,) (e,) 6

17 Interpretacja reguł uogólnionych Takie metody stosuje się w przypadkach, gdy dysponuje się zbiorem obiektów, których przynależność do odpowiedniej klasy jest znana, a celem jest klasyfikacja nowych danych. Pierwotna tablica decyzyjna: zapisane Ale pojawia się nowy zestaw danych są w niej dane zebrane do tej pory i już sklasyfikowane a=,b=, c=, d= U a b c d e Na uogólnionych 6 regułach jest to 7 oczywiste! Jaka decyzja? a b c d e e = 7

18 Zastosowania Sytuacja ta występuje np. przy wnioskach kredytowych składanych w bankach. Ponieważ część z nich jest akceptowana, a część odrzucana, można dane zebrane w dłuższym okresie czasu zapisać w tablicy decyzyjnej, uogólnić i dalej stosować w uproszczonej formie do podejmowania decyzji. Klientów charakteryzuje się za pomocą następujących cech jakościowych i ilościowych: Przykładowo: - Sytuacja zawodowa: B (bezrobotny), P (pracujący) -przeznaczenie kredytu: komputer (K), sprzęt audio (A), biżuteria (B) -wiek w latach -stan konta 8

19 Przykładowa tablica danych... Sytuacja Przeznaczenie: zawodowa Komp., sam. wiek Stan konta Staż pracy w danym zakładzie pracy C C C3 C4 C5 C6 C7 C8 C9 C Klasa P K K S nie 8 5 tak P K K S nie tak B K K R tak nie P S M R nie tak P S M S nie 5 5 tak P S M R nie 38 5 tak 9

20 Zastosowania Po uogólnieniu reguł decyzyjnych [wiek > 5] & [stan konta > 7] & [staż pracy > ] tak. [płeć = kobieta] & [wiek < 5] nie Proces uogólniania takich reguł to jedno głównych zagadnień Eksploracji Danych Do wykonywania takich obliczeń opracowano wiele narzędzi komputerowych. Do najbardziej znanych należą: RSES, JMAF, WEKA, ROSETTA, LERS LERS

21 Redukcja atrybutów Poszukuje się takich podzbiorów atrybutów, które zachowują podział obiektów na klasy decyzyjne taki sam, jak wszystkie atrybuty a a a 3 a 4 a 5 a 6 d a a 4 a 6 d {a, a 4, a 6 },{a, a, a 3, a 5, a 6 }

22 Redukcja atrybutów Jak obliczać minimalne zbiory atrybutów? Tak samo jak minimalne zbiory argumentów Metoda obliczania reduktów: Obliczyć: atrybuty niezbędne, iloczyn podziałów indukowanych atrybutami niezbędnymi (P N), podział ilorazowy P N P D (podział ilorazowy wskazuje na wszystkie pary obiektów, których porównanie utworzy tablicę porównań) z tablicy porównań utworzyć funkcje wyróżniającą (typu CNF) przekształcić CNF na DNF DNF reprezentuje wszystkie redukty!

23 Przykład redukcji atrybutów a atrybuty niezbędne: a 6 a 4 a 5 d a 6 a 3 a a ponieważ wiersze 6 i różnią się na pozycji a skoro wiersze i 8 różnią się na pozycji a

24 Przykład redukcji atrybutów a 4 a 5 d a 6 a 3 a a ) ; 9;3,6,7 P =(,,4,5,8, 3 = P 6 =(,,6,9,;3,4,5,7,8) = P =(,,7;3,4,6;5,8;9,) P D =(,,7;3,4,6;5,8;9,) (,)(9);(4)(5,8);(6);(3)(7);() P P P = 4 (,)(9);(4)(5,8);(6);(3)(7);() P P P D 6 =

25 Przykład redukcji atrybutów a a a 3 a 4 a 5 a 6 d P P P = 3 6 D = (,)(9);(4)(5,8);(6);(3)(7);() a, a 4, a 5,9,9 4, , Redukty: ,7 Wyrażenie CNF a, a 3, a 4, a 5 a 3, a 4 a, a 4 a 4, a 5 DNF (a 4 + a ) (a 4 + a 3 ) (a 4 + a 5 ) = a 4 + a a 3 a 5 {a, a 4, a 6 } {a, a, a 3, a 5, a 6 } 5

26 Plik danych RSES TABLE EXPLOR ATTRIBUTES 7 x numeric x numeric x3 numeric x4 numeric x5 numeric x6 numeric x7 numeric OBJECTS REDUCTS () { x, x4, x6 } { x, x, x3, x5, x6 } Jaki jest cel stosowania większych zbiorów atrybutów?

27 Przykładowa baza (tablica) danych Wyniki badań i diagnozy 7 pacjentów Badanie Badanie Badanie Badanie Badanie Badanie Badanie Badanie Pacjenci Diagnoza P D3 P D3 P3 D3 P4 D P5 D P6 D3 P7 D3 Wyniki badań i symptomy choroby zapisane są symbolicznymi wartościami atrybutów Reguły decyzyjne (Bad_=)&(Bad_=) &(Bad_5=) &(Bad_8=)=>(Diagnoza=D3) 7

28 Uogólnione reguły decyzyjne Badanie Badanie Badanie Badanie Badanie Badanie Badanie Badanie Pacjenci Diagnoza P D3 P D3 P3 D3 P4 D P5 D P6 D3 P7 D3 Reguły decyzyjne: (Bad_=)&(Bad_4=)=>(Diagnoza=D3) (Bad_4=)&(Bad_7=)=>(Diagnoza=D3) (Bad_=)&(Bad_3=)&(Bad_6=)=>(Diagnoza=D) ( (Bad_3=)&(Bad_5=)&(Bad_6=)=>(Diagnoza=D) (Bad_=)=>(Diagnoza=D) (Bad_=)&(Bad_4=)&(Bad_6=)&(Bad_8=)=>(Diagnoza=D) Reguły decyzyjne wygenerowane z pierwotnej bazy danych używane są do klasyfikowania nowych obiektów. 8

29 Uogólnione reguły decyzyjne mogą być zastosowane do zdiagnozowania nowego pacjenta. Bad Bad Bad3 Bad4 Bad5 Bad6 Bad7 Bad8 Diagnoza P D3 P D3 P3 D3 P4 D P5 D P6 D3 P7 D3 Nowy pacjent??? (Bad_=)&(Bad_4=)=>(Diagnoza=D3) Dla nowego pacjenta (Bad_4=)&(Bad_7=)=>(Diagnoza=D3) Diagnoza = D3 (Bad_=)&(Bad_3=)&(Bad_6=)=>(Diagnoza=D) (Bad_3=)&(Bad_5=)&(Bad_6=)=>(Diagnoza=D) (Bad_=)=>(Diagnoza=D) (Bad_=)&(Bad_4=)&(Bad_6=)&(Bad_8=)=>(Diagnoza=D) 9

30 Redukcja atrybutów Poszukiwanie takich podzbiorów atrybutów, które zachowują podział obiektów na klasy decyzyjne taki sam, jak wszystkie atrybuty Bad Bad Bad3 Bad4 Bad5 Bad6 Bad7 Bad8 Diagnoza P D3 P D3 P3 D3 P4 D P5 D P6 D3 P7 D3 { Bad_ Bad_4 Bad_6 Bad_8 } { Bad_ Bad_6 Bad_7 Bad_8 } { Bad_ Bad_3 Bad_6 } { Bad_ Bad_ Bad_6 Bad_8 } (Tomograf) Bad Bad6 Bad7 Bad8 Diagnoza P D3 P D3 P3 D3 P4 D P5 D P6 D3 P7 D3 3

31 Rosnące wymagania Wymagania na przetwarzanie coraz większych baz danych rosną, natomiast metody i narzędzia eksploracji danych stają się coraz mniej skuteczne UC Irvine Machine Learning Repository Breast Cancer Database Audiology Database Dermatology Database 3

32 Diagnostyka raka piersi Breast Cancer Database: Instancje (obiekty): 699 (dane poszczególnych pacjentów) Liczba atrybutów: Klasyfikacja( klasy). Ocena spoistości masy nowotworowej. Ocena jednolitości rozmiaru komórek 3. Ocena jednolitości kształtu komórek. Sources: Dr. WIlliam H. Wolberg (physician); University of Wisconsin Hospital ;Madison; Wisconsin; USA 9. Występowanie podziałów komórkowych (mitoza) 3

33 REDUCTS (7) { x, x, x3, x4, x6 } { x, x, x3, x5, x6 } { x, x3, x4, x6, x7 } { x, x3, x4, x6, x7 } { x, x, x4, x6, x7 }. { x3, x4, x5, x6, x7, x8 } { x3, x4, x6, x7, x8, x9 } { x4, x5, x6, x7, x8, x9 } RULE_SET breast_cancer RULES 35 (x9=)&(x8=)&(x=)&(x6=)=>(x=) (x9=)&(x=)&(x3=)&(x6=)=>(x=) (x9=)&(x8=)&(x4=)&(x3=)=>(x=) (x9=)&(x4=)&(x6=)&(x5=)=>(x=).. (x9=)&(x6=)&(x=)=>(x=4) (x9=)&(x6=)&(x5=4)=>(x=4) (x9=)&(x6=)&(x=8)=>(x=4)

34 Inne bazy danych z zakresu medycyny Audiology Database Dermatology Database Number of instances: Number of Instances: 366 training cases Number of attributes: 34 Number of attributes: 7 Classification(6 classes) Classification(4 classes) Sources: (a) Original Owner: Professor Jergen at Baylor College of Medicine (b) Donor: Bruce Porter (porter@fall.cs.utexas.edu) Source Information: Nilsel Ilter, M.D., Ph.D., Gazi University, School of Medicine 65 Ankara, Turkey Phone: +9 (3) 48 34

35 UC Irvine Machine Learning Repository Breast Cancer Database Audiology Database Dermatology Database Co jest przyczyną takiej sytuacji? 35

36 Klasyczna metoda redukcji atrybutów polega na transformacji wyrażenia boolowskiego CNF na DNF (Dysjunkcyjna Postać Normalna). Transformacja taka tradycyjnie jest obliczana metodami przekształceń boolowskich. Jak zwiększyć skuteczność obliczania reduktów? Można zastosować ten sam pomysł, jaki jest stosowany w redukcji argumentów, gdyż cały proces polega na: Transformacja CNF DNF Procedurę transformacji można zastąpić dużo szybszą procedurą uzupełniania funkcji boolowskiej. 36

37 Przykład redukcji atrybutów z pl a a a 3 a 4 a 5 a 6 d 3 Tablica rozróżnialności,9,9 4, , Redukty: ,7 Wyrażenie CNF a, a 4, a 5 a, a 3, a 4, a 5 a 3, a 4 a, a 4 a 4, a 5 DNF (a 4 + a ) (a 4 + a 3 ) (a 4 + a 5 ) = a 4 + a a 3 a 5 {a, a 4, a 6 } {a, a, a 3, a 5, a 6 } 37

38 Przykład z pl. 8 Transformacja CNF DNF (a 4 + a ) (a 4 + a 3 ) (a 4 + a 5 )= a 4 + a a 3 a 5 Zapisujemy tablicę rozróżnialności w postaci funkcji boolowskiej: a a 3 a 4 a 5 F nanosimy na tablicę K. a 4 a 5 a a 3 - -

39 Algorytm obliczania reduktów Oczywiście w praktyce nikt nie liczy uzupełnienia posługując się tablica Karnaugha Uzupełnienie oblicza się dla zero-jedynkowej macierzy M. Sprytna procedura uzupełniania polega na iteracyjnym rozkładzie zbioru kostek macierzy M na kofaktory. Kofaktory te są obliczane tak długo, aż odpowiadające im zbiory kostek staną się łatwe do obliczenia ich uzupełnienia. Proces kończy scalanie wyników cząstkowych. 39

40 Metoda Complement Pierwotnie była stosowana w systemie Espresso, ale wyłącznie do obliczania zbioru D (lub R) F,D Espresso Complement Expand Essential primes Irredundant-Cover Reduce Last-gasp F M (Rozdział 5.5 ) 4

41 Błyskawica vs RSES Nie potrafi policzyć reduktów dla Błyskawica liczy wszystkie Audiology Database reduktów: 9,57 s. Dermatology Database 4389 reduktów: 686,89 s. 4

42 Eksperymenty database breast-cancer -wisconsin attr. inst. RSES/ ROSETTA compl. method Number of reducts compl. method (least) Minimal reducts 699 s 83ms 7 86ms 4 (5 attr) urology out of memory s 74ms 3437 (h) s 499ms ( attr) audiology out of memory 7 4s 58ms (h 7min) 9ms (attr) dermatology out of memory m 3s 4393 (3h 7min) s 474ms 7 (6 attr) trains out of memory 33 (5h 38min) 6ms 689 ms ( attr) kaz 3 6min 34ms ms 35(5attr) 5 timesfaster! 4

43 Complementation method x j Matrix M xj cofactor cofactor complement cofactor.. complement complement Kilka tysięcy razy! Borowik G., Łuba T., Fast Algorithm of Attribute Reduction Based on the Complementation of Boolean Function, Ch., pp. 5-4, Springer International Publishing, 4, Cytowania Guilong Liu et al.: Attribute reduction approaches for general relation decision systems, pp. 8-87, Pattern Recognition Letters, Vol. 65, Nov. 5. Note that we use fast algorithm based on the complementation of Boolean function, proposed by Borowik and Luba (Borowik and Luba, 4), in calculation process of transforming CNF into DNF and finding a minimum set implicants. 43

44 Podsumowanie Metody syntezy logicznej wypracowane dla potrzeb projektowania układów cyfrowych są skuteczne również w eksploracji danych Dają rewelacyjne wyniki Są proste w implementacji Są źródłem ciekawych prac dyplomowych 44

45 Są źródłem ciekawych prac dyplomowych Konrad Królikowski Implementacja algorytmu obliczania reduktów metodą uzupełniania funkcji boolowskich, Cezary Jankowski Dyskretyzacja danych numerycznych metodami przekształceń boolowskich, WEiTI 4 Michał Andrzej Mańkowski Uogólnianie reguł decyzyjnych metodą uzupełniania funkcji boolowskich, WEiTI 4 45

46 Predykcja decyzji a a a 3 a 4 a 5 a 6 d Tak Tak Tak 4 Tak 5 3 Tak Tak Nie 8 Nie Nie Nie 3? Reguły (a=)&(a3=)&(a5=)&(a=)&(a6=)=>(d=tak) (a6=)&(a=)&(a=)=>(d=tak) (a=3)&(a=3)&(a3=)&(a4=)=>(d=tak) (a=)&(a3=)&(a=)&(a4=)&(a5=)&(a6=)=>(d=nie) (a=3)&(a3=)&(a=3)&(a4=3)=>(d=nie) (a4=4)&(a5=3)&(a6=)&(a=)=>(d=nie) Nieznana wartość decyzji (a=)&(a=)&(a3=)&(a4=3)&(a5=)&(a6=) Potrafimy sklasyfikować nowe dane 46

47 System z dwustopniowym procesem selekcji reguł 47

48 Bazy danych do eksperymentów UC Irvine Machine Learning Repository Pełna nazwa bazy Nazwa skrócona Liczba instancj i Liczba atrybutów warunkowych Liczba klas decyzyjnych Dermatology Data Set Dermatology Breast Cancer Wisconsin (Original) Data Set Indian Liver Patient Dataset Breast Cancer ILPD 583 House Data Set House ) 3 6 ) Głosy kongresmenów w sprawie 6 kluczowych problemów zebrane w roku 984 (tak lub nie). 48

49 Eksperymenty Program Baza Dokładność Pokrycie Algorytm RSES House 84,9% 89,6% LEM Reguły House 9,% % Complement+MinRow RSES Breast cancer 87,% 87,% LEM Reguły Breast cancer 87,9% 93,% Complement+MinRow Indian Liver RSES 8,84% 48,3% LEM Patient Dataset Indian Liver Reguły 66% 97% Complement+MinRow Patient Dataset Dermatology RSES 87,77% 9,% LEM Data Set Dermatology Reguły 78,% 99,8% Complement+MinRow Data Set

50 Indukcja reguł dla Bazy House Fragment bazy!, Decision table for house of reps.!, < D A A A A A A A A A A A A A A A A >!, [ CLASS-NAME HANDICAPPED-INFANTS WATER-PROJECT- COST-SHARING ADOPTION-OF-THE-BUDGET-RESOLUTION PHYSICIAN-FEE- FREEZE EL-SALVADOR-AID RELIGIOUS-GROUPS-IN-SCHOOLS ANTI-SATELLITE-TEST-BAN AID-TO-NICARAGUAN-CONTRAS MX-MISSILE IMMIGRATION SYNFUELS-CORPORATION-CUTBACK EDUCATION-SPENDING SUPERFUND-RIGHT-TO-SUE CRIME DUTY-FREE-EXPORTS EXPORT-ADMINISTRATION-ACT- SOUTH-AFRICA ]!, Now the data!, democrat n y y n y y n n n n n n y y y y republican n y n y y y n n n n n y y y n y democrat y y y n n n y y y n y n n n y y democrat y y y n n n y y y n n n n n y y democrat y n y n n n y y y y n n n n y y democrat y n y n n n y y y n y n n n y y democrat y y y n n n y y y n y n n n y y republican y n n y y n y y y n n y y y n y Zapis w standardzie RSES TABLE House ATTRIBUTES 7 x numeric x numeric x3 numeric... x7 numeric OBJECTS 3... democrat y y y n n n y y y n y n n n y y republican n y n y y y n n n n n y y y n n democrat y y y n n n y y y y n n y n y y 5

51 Wynik RSES RULES (x3=)&(x=)&(x5=)&(x4=)=>(x7=[98]) 98 (x3=)&(x3=)&(x=)&(x=)&(x6=)=>(x7=[56]) 56 (x3=)&(x3=)&(x=)&(x=)&(x8=)&(x9=)&(x4=)&(x=)&(x5=)&(x4=)&(x=)&(x6=)&(x6=)=>(x7=[45]) 45 (x3=)&(x3=)&(x=)&(x=)&(x8=)&(x9=)&(x4=)&(x=)&(x5=)&(x4=)&(x5=)=>(x7=[37]) 37 (x=)&(x3=)&(x=)&(x=)=>(x7=[3]) 3 (x3=)&(x3=)&(x5=)&(x5=)&(x8=)&(x=)&(x9=)&(x=)&(x4=)&(x=)&(x4=)&(x6=)=>(x7=[7]) 7 (x3=)&(x3=)&(x=)&(x5=)&(x7=)=>(x7=[]) (x4=)&(x=)&(x8=)&(x9=)&(x=)&(x=)&(x3=)&(x4=)&(x6=)&(x=)&(x5=)=>(x7=[9]) 9 (x4=)&(x=)&(x3=)&(x=)=>(x7=[7]) 7 (x3=)&(x3=)&(x=)&(x6=)&(x8=)&(x=)&(x=)&(x5=)&(x5=)=>(x7=[4]) 4 (x3=)&(x4=)&(x5=)&(x6=)&(x7=)&(x8=)&(x=)&(x=)&(x3=)&(x4=)&(x=)=>(x7=[4]) 4 (x=)&(x3=)&(x6=)&(x=)&(x=)&(x8=)&(x9=)&(x=)&(x4=)&(x6=)&(x7=)&(x3=)=>(x7=[3]) 3 (x=)&(x6=)&(x7=)&(x=)&(x4=)&(x=)=>(x7=[3]) 3 (x3=)&(x4=)&(x5=)&(x=)&(x=)&(x6=)&(x7=)&(x=)&(x4=)&(x=)=>(x7=[]) (x=)&(x3=)&(x5=)&(x4=)&(x=)&(x=)&(x=)&(x5=)&(x=)&(x6=)&(x3=)&(x4=)=>(x7=[]) (x6=)&(x=)&(x3=)&(x7=)&(x4=)&(x=)&(x4=)=>(x7=[]) (x=)&(x3=)&(x6=)&(x=)&(x=)&(x8=)&(x9=)&(x5=)&(x7=)&(x=)&(x3=)&(x=)&(x4=)&(x6=)&(x4=)=>(x7=[]) (x=)&(x6=)&(x=)&(x=)&(x3=)&(x4=)&(x8=)&(x9=)&(x=)&(x=)&(x3=)&(x6=)&(x5=)=>(x7=[]) (x=)&(x=)&(x3=)&(x4=)&(x5=)&(x6=)&(x7=)&(x8=)&(x9=)&(x=)&(x=)&(x=)&(x3=)&(x4=)&(x5=)&(x6=)=>(x7=[] ) (x3=)&(x4=)&(x=)&(x5=)&(x=)&(x5=)&(x7=)&(x8=)&(x9=)&(x=)&(x=)&(x3=)&(x4=)=>(x7=[]) (x3=)&(x4=)&(x=)&(x9=)&(x=)&(x=)&(x4=)&(x5=)&(x6=)=>(x7=[]) (x=)&(x=)&(x3=)&(x4=)&(x5=)&(x6=)&(x7=)&(x8=)&(x9=)&(x=)&(x=)&(x=)&(x3=)&(x4=)&(x5=)&(x6=)=> (x7=[]) 5

52 Porównanie Wynik RSES Wynik systemu Reguły Reguły systemu Reguły są ogólniejsze 5

53 Dyskretyzacja danych na przykładzie bazy danych do klasyfikacji poczty elektronicznej. On the testing of network cyber threat detection methodson spam example, R. Filasiak M. Grzenda M. Luckner, P. Zawistowski. Annals of Telecommunications. (4) 69: Baza zawiera 584 rekordy, Rekordy są reprezentowane 64 atrybutami, Klasyfikacja: y_spam, n_spam, rejected, outgoing, other 53

54 Fragment SpamBase z danymi numerycznymi,, 64,, 64, 64, 39, 46, 584,,, e-5, , , , , , , 5, 4849, , , 5, 5,, 6, 5, 356,, 89,,, 9, 633,,, 93, 5766, 6, 6, 649, 46, 579,, relay, , , , , , , , 8, 53, 7, 39, 4, 7,, 44, 4, 4,,,, 4,, 9,,,,,,, 4, 4, 4,,, , , , , , , , 6, 7, 779, , 4, 78,, 44,, 8,,,,, 3, 576,,, 384, 4576, 64, 64, 354, 584, 584,, dnsbl, e-5, , , , , , , 3, 46, 3485, , 5, 5,, 6,, 655,, 5,,, 9, 79,,, 53,, 53, 53, 5753, 53679, 579,,, e-5, , , , , , , 6, 39, 6555, , 5, 5,, 6, 4, 864,, 89,,,, 67,,, 664, 6496, 64, 64, 756, 448, 579,, y_spam, , , , , , , , 9, 47,, 353, 4, 8,, 48, 3, 4,, 4,, 8,, 69,,, 7,, 7, 7, 5887,, 65535,,, , , , , , , , 7, 55, 578, , 4, 48,, 48,, 8,, 4,,, 3, 384,,, 448, 867, 64, 64, 488, 584, 584,, dnsbl, , , , , , , , 8, 5, 73, 53595, 4, 8,, 44, 4, 4,,,, 4,, 88,,,,,,, 4, 4, 4,,, ,

55 Fragment SpamBase z danymi dyskretnymi, 4, 5, 4, 4, 4, 4, 39,, 4, 3,,,,,,,,,,,,,,,, 3,, 5,,, 6,,,,, 5, 7, 3, 5, 5,, 5,, 3, 37, 3, 37,,,,,, 6,,, 4, 9,,,,,,, 6,,,, relay, 43, 4, 4, 3, 4, 4, 5,,, 8, 5,, 6,,,,,,,,,, 6,,, 6,, 5, 9, 5,,,,, 6, 37,,, 5, 5,,, 9,,,,,,,,,,,,,, 5,,,,,,, 36, 5,,, dnsbl,,,,,, 4,, 5, 5, 8, 6,,,,, 7, 9,,,,,, 6,,,,,,, 4, 7, 8,,,, 3,,,, 5,, 6,, 3, 38, 3, 37,,,,,, 6,,, 4, 9,,,,,,, 7,,,, y_spam, 5, 33, 4, 7, 3, 4, 7,,,,,,,,,,,,,,,,,,, 5,, 6,, 3,, 3,,, 4, 4, 4, 8, 3, 5,,, 9, 5, 5,,,,,,,,,,,,,,,,,,, 45, 5,,, dnsbl, 5, 39, 5, 9, 4, 4, 7,,, 8, 3,, 7,,,,,,,,,, 5,,,,,, 6, 5,,,,, 7, 5, 4, 8, 4, 6,,, 9, 7,,, 6,,,,,,,,,, 3,,,,,,, 36, 5,,, dnsbl,, 3, 4, 7, 3, 4, 3,,,,,,,,,,,,,,,,,,, 5,, 6,, 3,, 3,,,, 9, 5, 7,, 5,, 4, 4, 5, 9,,,,,,,,,,,,,,,,,,, 65, 5,,, dnsbl, 5, 8, 4, 5,, 4,,, 5, 4,,,,,,,,,,,,,,,, 7,, 8, 3,, 7,,,, 7, 8,,,, 6,, 6,,,,, 7,,,,,,,,, 4, 8,,,,,,, 7, 5, 9,, y_spam, 7, 38, 4, 9, 4, 4, 5,,, 8, 6,,,,,,,,,,,, 7,,,,,, 7, 5,,,,, 6, 6,, 8, 4, 4,,,, 6, 3,, 37,,,,,,,,,,,,,,,,, 36, 5,,, dnsbl, 64, 5,, 38, 4, 4, 34,,,,,, 4,,,,,,,,,, 5,,, 4,, 5,, 6,, 3,,, 3, 5, 6,, 5, 5,,,,, 4,, 7,,,,,,,,,, 3,,,,,,, 45, 5,,, dnsbl, 7, 3, 4, 7, 3, 4, 38, 5, 8, 4,,,,,, 6,,,,,,, 8,,, 4,, 4, 9, 5,,,,, 67, 9, 6, 8,, 5,, 5,, 3, 37,, 9,,,,,,,,,, 8,,,,,,, 7, 5, 6,, y_spam, 43, 4, 5, 3, 4, 4,,,,,,,,,,,,,,,,,,,, 5,, 6,, 4,, 3,,, 4, 36, 5,, 5, 5,,, 9, 5, 5,,,,,,,,,,,,,,,,,,, 36, 5,,, dnsbl, 99, 3, 9, 9,, 4,,,, 3,,,,,,,,,,,,, 7,,,,,, 7, 5,,,,, 7,,,,, 4,