Optymalizacja reguł decyzyjnych względem pokrycia

Transkrypt

1 Zakład Systemów Informatycznych Instytut Informatyki, Uniwersytet Śląski Chorzów, 9 grudzień 2014

2 Wprowadzenie

3 Wprowadzenie problem skalowalności dla optymalizacji reguł decyzjnych na podstawie podejścia opartego na dynamicznym programowaniu konstruowanie reguł decyzyjnych, które pokrywają wiele obiektów γ-reguły decyzyjne: G(T ) γ

4 Wprowadzenie modyfikacje algorytmu dynamicznego programowania najczęstsza wartość atrybutu, atrybut o minimalnej liczbie wartości i najczęstsza wartość dla pozostałych atrybutów; wyniki eksperymentalne dla zbiorów danych z UCI Machine Learning Repository porównanie wartości pokrycia reguł decyzyjnych, porównanie liczby węzłów i krawędzi w skierowanym grafie acyklicznym.

5 Tablica decyzyjna T N(T ) liczba wierszy w tabeli T Najbardziej wspólna decyzja dla T N(T ) mcd liczba wierszy w tabeli T które mają przypisaną najbardziej wspólną decyzję dla T G(T ) = (N(T ) N(T ) mcd )/N(T ) Tabela zdegenerowana tabela nie posiada żadnych wierszy lub wszystkie wiersze mają taką samą decyzję.

6 Podtabela tabeli T Separowalna podtabela tabeli T Niech f i1,..., f im {f 1,... f n} i a 1,..., a m to nieujemne liczby całkowite. Separowalna podtabela Θ = T (f i1, a 1)... (f im, a m) tabeli T zawiera wiersze, które na przecięciu z kolumnami f i1,..., f im posiadają wartości a 1,..., a m.

7 Reguła decyzyjna zrealizowana dla wiersza r i prawdziwa dla tabeli T Niech r = (b 1,..., b n) będzie wierszem tabeli T. Reguła decyzyjna f i1 = a 1... f im = a m d jest zrealizowana dla wiersza r jeśli a 1 = b i1,..., a m = b im. γ jest nieujemną liczbą rzeczywistą, 0 γ < 1 Reguła decyzyjna f i1 = a 1... f im = a m d jest γ-prawdziwa dla tabeli T d jest najbardziej wspólną decyzją dla T = T (f i1, a 1)... (f im, a m) i G(T ) γ Jeśli reguła jest γ-prawdziwa dla tabeli T i zrealizowana dla wiersza r to jest to γ-reguła decyzyjna dla T i r.

8 Pokrycie reguł decyzyjnych Niech τ będzie regułą decyzyjną dla T. Pokrycie reguły decyzyjnej c(τ) to liczba wierszy z tabeli T dla których τ jest zrealizowana i które mają przypisaną decyzję d.

9 konstrukcja skierowanego grafu acyklicznego γ(t ); opis γ-reguł decyzjnych; optymalizacja γ-reguł decyzjnych względem pokrycia. Węzłami grafu są separowalne podtabele tabeli T. Węzeł grafu jest nazywany końcowym jeśli nie wychodzą z niego żadne krawędzie (G(Θ) γ).

10 Konstrukcja skierowanego grafu acyklicznego wybierz jeden atrybut o minimalnej liczbie wartości; dla pozostałych atrybutów wybierz jedną, najczęstszą wartość; jeśli istnieją dwie lub więcej takich wartości, wybierz wartość atrybutu, która istnieje dla maksymalnej liczby wierszy o tej samej decyzji; jeśli istnieją dwie lub więcej takich wartości, wybierz pierwszą napotkaną.

11 Konstrukcja skierowanego grafu acyklicznego Θ podtabela tabeli T, E(Θ) zbiór atrybutów, które posiadają przynajmniej dwie różne wartości, E(Θ, f i ) zbiór wartości atrybutu f i. E(Θ) = {f im }, E(Θ, f im ) = {a m}

12 Konstrukcja skierowanego grafu acyklicznego G γ (T 0 ) E(T 0) = {f 1, f 2, f 3} E(T 0, f 1) = {0, 1}, E(T 0, f 2) = {0}, E(T 0, f 3) = {1} G(T 0) = 0.3, γ = 0.4 G(Θ) γ

13 Konstrukcja skierowanego grafu acyklicznego G 0.4 (T 0 )

14 Konstrukcja skierowanego grafu acyklicznego G 0.4 (T 0 )

15 Konstrukcja skierowanego grafu acyklicznego G 0.4 (T 0 )

16 Opis γ-reguł decyzyjnych Rul G (Θ, r) jest zbiorem reguł decyzyjnych dla każdego węzła Θ grafu G i dla każdego wiersza r tabeli Θ Niech Θ będzie węzłem końcowym w grafie G G(Θ) γ Rul G (Θ, r) = { d}.

17 Opis γ-reguł decyzyjnych Rul G (Θ 1, r 1) = Rul G (Θ 1, r 2) = Rul G (Θ 1, r 4) = { 3};

18 Opis γ-reguł decyzyjnych Rul G (Θ 1, r 1) = Rul G (Θ 1, r 2) = Rul G (Θ 1, r 4) = { 3}; Rul G (Θ 2, r 3) = { 1};

19 Opis γ-reguł decyzyjnych Rul G (Θ 1, r 1) = Rul G (Θ 1, r 2) = Rul G (Θ 1, r 4) = { 3}; Rul G (Θ 2, r 3) = { 1}; Rul G (Θ 3, r 1) = Rul G (Θ 3, r 4) = { 3};

20 Opis γ-reguł decyzyjnych Rul G (Θ 1, r 1) = Rul G (Θ 1, r 2) = Rul G (Θ 1, r 4) = { 3}; Rul G (Θ 2, r 3) = { 1}; Rul G (Θ 3, r 1) = Rul G (Θ 3, r 4) = { 3}; Rul G (Θ 4, r 2) = Rul G (Θ 4, r 3) = Rul G (Θ 4, r 4) = { 3};

21 Opis γ-reguł decyzyjnych Niech Θ będzie niekońcowym węzłem w grafie G, takim, że dla każdej podtabeli Θ tabeli Θ i dla każdego wiersza r tabeli Θ zbiór reguł Rul(Θ, r ) został zdefiniowany. Niech r = (b 1,..., b n) będzie wierszem tabeli Θ. Dla każdego atrybutu f i E G (Θ, r), definiujemy zbiór reguł Rul G (Θ, r, f i ) następująco: Rul G (Θ, r, f i ) = {f i = b i σ s : σ s Rul G (Θ(f i, b i ), r)}. Wówczas Rul G (Θ, r) = Rul G (Θ, r, f i ). f i E G (Θ,r)

22 Opis γ-reguł decyzyjnych Rul G (T 0, r 1) = {f 1 = 0 3, f 2 = 0 3};

23 Opis γ-reguł decyzyjnych Rul G (T 0, r 1) = {f 1 = 0 3, f 2 = 0 3}; Rul G (T 0, r 2) = {f 1 = 0 3, f 3 = 1 3};

24 Opis γ-reguł decyzyjnych Rul G (T 0, r 1) = {f 1 = 0 3, f 2 = 0 3}; Rul G (T 0, r 2) = {f 1 = 0 3, f 3 = 1 3}; Rul G (T 0, r 3) = {f 1 = 1 1, f 3 = 1 3};

25 Opis γ-reguł decyzyjnych Rul G (T 0, r 1) = {f 1 = 0 3, f 2 = 0 3}; Rul G (T 0, r 2) = {f 1 = 0 3, f 3 = 1 3}; Rul G (T 0, r 3) = {f 1 = 1 1, f 3 = 1 3}; Rul G (T 0, r 4) = {f 1 = 0 3, f 2 = 0 3, f 3 = 1 3};

26 Procedura optymalizacji względem pokrycia Dla każdego węzła Θ w grafie G procedura: przypisuje do każdego wiersza r tabeli Θ zbiór Rul c G (Θ, r) γ-reguł decyzyjnych o maksymalnym pokryciu ze zbioru Rul G (Θ, r), przypisuje do każdego wiersza r tabeli Θ liczbę Opt c G (Θ, r) maksymalne pokrycie γ-reguły decyzyjnej ze zbioru Rul G (Θ, r), zmienia zbiór E G (Θ, r) przypisany do wiersza r w niekońcowym węźle Θ. Uzyskany graf oznaczamy jako G c.

27 Rul G (T 0, r 1) = {f 1 = 0 3}, Opt c G (T 0, r 1) = 3; Rul G (T 0, r 2) = {f 1 = 0 3}, Opt c G (T 0, r 2) = 3; Rul G (T 0, r 3) = {f 3 = 1 3}, Opt c G (T 0, r 3) = 2; Rul G (T 0, r 4) = {f 1 = 0 3}, Opt c G (T 0, r 4) = 3.

28 Dane wejściowe: Tablica decyzyjna T z atrybutami warunkowymi f 1,..., f n, wiersz r = (b 1,..., b n) tabeli T i liczba rzeczywista γ, 0 γ < 1. Dane wyjściowe: γ-reguła decyzyjna dla T i r. 1. Q ; 2. T T ; 3. Dopóki G(T ) > γ wybierz atrybut f i {f 1,..., f n} o minimalnym indeksie i taki, że G(T (f i, b i )) jest minimalne; T T (f i, b i ); Q Q {f i }; 4. f i Q (f i = b i ) d gdzie d jest najbardziej wspólną decyzją dla T.

29 zbiory danych z UCI Machine Learning Repository; usuniecie unikalnych wartości atrybutów warunkowych; zastąpienie grupy równych wierszy o różnych decyzjach jednym wierszem do którego została przypisana najbardziej wspólna decyzja dla grupy ; zastąpienie brakujących wartości atrybutów przez najbardziej wspólną wartość danego atrybutu.

30 Pokrycie γ-reguł decyzyjnych dla każdego wiersza tablicy decyzyjnej T została znaleziona maksymalna wartość pokrycia reguły decyzyjnej dla T i r; wyznaczenie wartości średniej pokrycia dla wierszy tabeli T ; wyznaczenie relatywnej różnicy średniej wartości pokrycia; porównanie liczby węzłów i krawędzi w skierowanym grafie acyklicznym.

31 Porównanie średniej wartości pokrycia reguł decyzyjnych γ = G(T ) γ = G(T ) 0.01 Decision table attr rows avg-mod avg-dp avg-greedy diff mod diff greedyavg-mod avg-dp avg-greedy diff mod diff greedy adult-stretch ,25 7,00 6,25 0,11 0,11 6,25 7,00 6,25 0,11 0,11 balance-scale ,07 4,21 3,71 0,27 0,12 3,07 4,21 3,71 0,27 0,12 breast-cancer ,15 9,53 4,26 0,35 0,55 6,15 9,53 4,26 0,35 0,55 cars ,58 332,76 331,41 0,02 0,00 325,58 332,76 331,41 0,02 0,00 lymphography ,69 21,54 9,55 0,04 0,56 20,69 21,54 9,55 0,04 0,56 monks-1-test ,50 45,00 36,00 0,26 0,20 33,50 45,00 36,00 0,26 0,20 monks-2-train ,32 6,38 3,89 0,32 0,39 4,32 6,38 3,89 0,32 0,39 nursery , , ,20 0,03 0, , , ,20 0,03 0,01 shuttle-landingl ,80 2,13 1,87 0,15 0,12 1,80 2,13 1,87 0,15 0,12 soybean-small ,53 12,53 8,89 0,00 0,29 12,53 12,53 8,89 0,00 0,29 teeth ,00 1,00 1,00 0,00 0,00 1,00 1,00 1,00 0,00 0,00 Average 0,14 0,21 0,14 0,21 diff = (Optimum Coverage Coverage)/Optimum Coverage

32 Porównanie średniej wartości pokrycia reguł decyzyjnych γ = G(T ) 0.1 γ = G(T ) 0.2 Decision table attr rows avg-mod avg-dp avg-greedy diff mod diff greedyavg-mod avg-dp avg-greedy diff mod diff greedy adult-stretch ,25 7,00 6,25 0,11 0,11 6,25 7,00 6,25 0,11 0,11 balance-scale ,07 10,94 3,71 0,72 0,66 10,43 13,85 3,71 0,25 0,73 breast-cancer ,15 9,53 4,26 0,35 0,55 7,56 12,27 4,26 0,38 0,65 cars ,58 332,76 331,41 0,02 0,00 325,58 332,82 331,41 0,02 0,00 lymphography ,69 24,38 9,55 0,15 0,61 35,84 36,84 9,55 0,03 0,74 monks-1-test ,50 45,00 36,00 0,26 0,20 33,50 45,00 36,00 0,26 0,20 monks-2-train ,32 6,38 3,89 0,32 0,39 4,87 7,30 3,89 0,33 0,47 nursery , , ,20 0,07 0, , , ,20 0,11 0,09 shuttle-landing ,80 2,13 1,87 0,15 0,12 1,80 2,13 1,87 0,15 0,12 soybean-small ,53 12,83 8,89 0,02 0,31 12,53 12,83 8,89 0,02 0,31 teeth ,00 1,00 1,00 0,00 0,00 1,00 1,00 1,00 0,00 0,00 Average 0,20 0,27 0,15 0,31 diff = (Optimum Coverage Coverage)/Optimum Coverage

33 Porównanie średniej wartości pokrycia reguł decyzyjnych - relatywna różnica

34 Porównanie liczby węzłów i krawędzi w grafie γ (T ) G(T ) G(T ) 0.01 Decision table nd edg nd-dp edg-dp nd edg nd-dp edg-dp adult-stretch balance-scale breast-cancer cars lymphography monks-1-test monks-2-train nursery shuttle-landing soybean-small teeth

35 Porównanie liczby węzłów i krawędzi w grafie γ (T ) G(T ) 0.1 G(T ) 0.2 Decision table nd edg nd-dp edg-dp nd edg nd-dp edg-dp adult-stretch balance-scale breast-cancer cars lymphography monks-1-test monks-2-train nursery shuttle-landing soybean-small teeth

36 Porównanie liczby węzłów i krawędzi w grafie γ (T ) G(T ) G(T ) 0.01 G(T ) 0.1 G(T ) 0.2 Decision table nd edg nd edg nd edg nd edg adult-stretch 2,00 2,92 2,00 2,92 2,00 2,92 2,00 2,92 balance-scale 1,85 4,23 1,85 4,23 1,93 4,54 1,93 4,54 breast-cancer 2,42 6,55 2,42 6,55 2,42 6,55 2,42 6,54 cars 8,77 17,55 8,77 17,55 8,77 17,55 8,82 17,69 lymphography 1,52 3,89 1,52 3,89 1,53 3,90 1,55 3,92 monks-1-test 4,88 11,35 4,88 11,35 4,88 11,35 4,88 11,35 monks-2-train 2,40 5,32 2,40 5,32 2,40 5,32 2,40 5,32 nursery 6,19 15,61 6,19 15,61 6,20 15,54 6,27 15,29 shuttle-landing 1,09 2,00 1,09 2,00 1,09 2,00 1,09 2,00 soybean-small 1,19 2,69 1,19 2,69 1,19 2,69 1,19 2,70 teeth 1,14 2,41 1,14 2,41 1,14 2,41 1,14 2,41 Average 3,04 6,78 3,04 6,78 3,05 6,80 3,06 6,79 nodes=nodes-dp/nodes-mod, edges=edges-dp/edges-mod

37 Pokrycie dokładnych reguł decyzyjnych γ = G(T ) 0.0 Decision table avg avg-mod avg-dp adult-stretch balance-scale breast-cancer cars house-votes lymphography nursery soybean-small teeth zoo

38 modyfikacja algorytmu dynamicznego programowania dla optymalizacji γ-reguł decyzyjnych względem pokrycia; implementacja algorytmu dynamicznego programowania z wykorzystaniem języka SQL; konstrukcja klasyfikatorów wykorzystujących proponowane algorytmy.