Generowanie zbioru reguł asocjacyjnych i decyzyjnych ze statystycznie reprezentatywnym wsparciem i anty-wsparciem

Transkrypt

1 Generowanie zbioru reguł asocjacyjnych i decyzyjnych ze statystycznie reprezentatywnym wsparciem i anty-wsparciem Opiekun naukowy: prof. dr hab. inż. Roman Słowiński Poznań, 30 października 2012

2 Spis treści 1 Wprowadzenie reguły i ich ewaluacja 2 3 4

3 Plan prezentacji 1 Wprowadzenie reguły i ich ewaluacja 2 3 4

4 Podstawowe definicje Zbiór danych S = (U, A) Reguła asocjacyjna Para formuł (φ, ψ) połączonych relacją konsekwencji : φ ψ [Pieluszki = tak i Czas = popołudnie] [Piwo > 2] Reguła decyzyjna Reguła asocjacyjna, gdzie ψ = const. [Temperatura = gorąco i Wiatr = nie] [Golf? = tak]

5 Podstawowe definicje Miara atrakcyjności Funkcja F określona na zbiorze R S reguł φ ψ wyindukowanych z S: Przykłady: sup(φ ψ), anti-sup(φ ψ), conf(φ ψ) = sup(φ ψ) sup(φ), F : R S R f(φ ψ) = conf(ψ φ) conf( ψ φ) conf(ψ φ)+conf( ψ φ).

6 Podstawowe definicje Notacja Większość miar atrakcyjności może być wyrażona za pomocą: a = sup(φ ψ), b = sup( φ ψ), c = sup(φ ψ) = anti-sup(φ ψ), d = sup( φ ψ). Przykłady sup(φ ψ) = a, anti-sup(φ ψ) = c, conf(φ ψ) = a a+c.

7 Własność miary atrakcyjności Warunki nałożone na funkcję F (miarę atrakcyjności). Własność konfirmacji Bayesa > 0 dla conf(φ ψ) > sup(ψ) U F(φ ψ) = 0 dla conf(φ ψ) = sup(ψ) U < 0 dla conf(φ ψ) < sup(ψ) U (P(ψ φ) > P(ψ)), (P(ψ φ) = P(ψ)), (P(ψ φ) < P(ψ)). Własności symetrii evidence symmetry (ES): commutativity symmetry (CS): hypothesis symmetry (HS): total symmetry (TS): F(φ ψ) = F( φ ψ), F(φ ψ) = F(ψ φ), F(φ ψ) = F(φ ψ), F(φ ψ) = F( φ ψ).

8 Podstawowe definicje Własność M Miary o charakterze zysku: niemalejąca ze wzgl. na a = sup(φ ψ), nierosnąca ze wzgl. na b = sup( φ ψ), nierosnąca ze wzgl. na c = sup(φ ψ), niemalejąca ze wzgl. na d = sup( φ ψ). Miary o charakterze kosztu: nierosnąca ze wzgl. na a = sup(φ ψ), niemalejąca ze wzgl. na b = sup( φ ψ), niemalejąca ze wzgl. na c = sup(φ ψ), nierosnąca ze wzgl. na d = sup( φ ψ).

9 Płaszczyzny ewaluacji Wsparcie pewność [AIS93] Zbiór Pareto-optymalny zawiera reguły optymalne ze względu na wiele innych miar. Wsparcie f [Szc09] Zbiór Pareto-optymalny zawiera te same reguły co zbiór Pareto-optymalny w poprzednim przypadku. Wsparcie anty-wsparcie [BGS07] Zbiór Pareto-optymalny zawiera wszystkie reguły ze zbioru Pareto-optymalnego w przypadku pierwszym oraz reguły optymalizujące dowolną miarę z własnością M.

10 Statystyczna reprezentatywność Testowanie wielokrotne κ poziom istotności pojedynczego testu, n liczba testów 1 (1 κ) n prawdopodobieństwo popełnienia błędu typu I Pojedyncze test statystyczne korelacja (niezależność χ 2, test Fishera), minimalne wsparcie (test dwumianowy).

11 Plan prezentacji 1 Wprowadzenie reguły i ich ewaluacja 2 3 4

12 Założenia i cele 1 Płaszczyzna wsparcie anty-wsparcie. 2 Statystyczna ocena parametrów. 3 Automatyczne dobieranie progów.

13 Wsparcie anty-wsparcie i dziedzina Q Minimum support threshold Anti-support related to the universe U Q Positive confirmation values Pareto-optimal border Maximum anti-support threshold Support related to the universe U

14 Postać dziedziny Na pojedynczej płaszczyźnie wsparcie anty-wsparcie rozpatrywane są reguły o stałym następniku (ψ = const.). Ograniczenia: sup(φ ψ) + sup( φ ψ) + sup(φ ψ) + sup( φ ψ) = U = const. sup(ψ) = sup(φ ψ) + sup( φ ψ) = const. Parametr q opisujący klasę decyzyjną q = U sup(ψ) sup(ψ)

15 Dziedziny dla różnych wartości parametru q Anti-support related to the universe U: anti-sup(φ ψ) U q=4 sup(φ ψ) U + anti-sup(φ ψ) U = 1 No rules beyond this line q=1 q= Support related to the universe U: sup(φ ψ) U

16 Motywacja Jak zmiany w progach na wsparcie i anty-wsparcie wpływają na wartość miary f? Obszary dużej wrażliwości f = 0, duże klasy decyzyjne, małe wartości wsparcia i anty-wsparcia.

17 anti-sup(φ ψ) U Isoquants of f anti-sup(φ ψ) U Isoquants of f sup(φ ψ) U sup(φ ψ) U -1 Rysunek: q = U sup(ψ) sup(ψ) = 0.25 Rysunek: q = U sup(ψ) sup(ψ) = 1

18 Interpretacja statystyczna Rozpatrzmy dowolną regułę asocjacyjną φ ψ: zbiór danych S = (U, A) stanowi próbę losową, każdy rekord w S zawiera formułę φ ψ lub nie, każdy rekord w S to realizacja zero-jedynkowej zmiennej losowej z parametrem p ( U prób Bernoulliego), obserwowana wartość wsparcia sup(φ ψ), to realizacja zmiennej o rozkładzie dwumianowym z parametrami U i p, parametr p, to prawdziwa (nieobserwowana) wartość wsparcia wynikająca z rozkładu, z którego S jest próbką.

19 Estymacja punktowa wsparcia ˆp = Przedział ufności dla wsparcia p 1 = ˆp Z p 2 = ˆp + Z sup(φ ψ) U ˆp(1 ˆp) U ˆp(1 ˆp) U P(p 1 p p 2 ) = 1 α

20 Przedział ufności 1 p p p Upper bound of the confidence interval Width W of the confidence interval Lower bound of the confidence interval Observed value of the parameter p (sup min / U ) Rysunek: Szerokość przedziału ufności dla wsparcia dla różnych obserwowanych wartości sup(φ ψ) U.

21 Błąd względny e r = Wˆp = 2Z 1 ˆp U ˆp W szerokość przedziału ufności (W = p 2 p 1 ) Miara maksymalnego odchylenia prawdziwej wartości wsparcia od wartości obserwowanej.

22 Maksymalny błąd względny e max e max maksymalny akceptowalny błąd względny e r e r jest ściśle malejącą funkcją obserwowanego wsparcia sup(φ ψ) U Minimalne wsparcie sup min = 4Z 2 e 2 max U +4Z2 = ˆp.

23 Błąd względny jako funkcja zaobserwowanego wsparcia Relative error: e r U = 1000 U = U = Minimal support for e r =0.1 and universe U of size : 0.026* U 2594 objects Minimal support for e r =0.1 and universe U of size 10000: 0.21* U 2103 objects Minimal support for e r =0.1 and universe U of size 1000: 0.73* U 727 objects Maximal relative error: e r = Minimal support: sup min / U

24 Dolne i górne ograniczenia prawdziwej wartości parametru Lower and upper bounds of the confidence interval: p 1, p U =10 4, lower U =10 4, upper U =10 5, lower U =10 5, upper U =10 6, lower U =10 6, upper Relative error: e r

25 Błąd względny 1e+009 1e+008 support/ U = 1/3 support/ U = 1/100 support/ U =1/10000 Minimal universe size needed: U 1e+007 1e Relative error: e r Rysunek: Minimalny rozmiar zbioru danych potrzebny do sklasyfikowania reguły z danym wsparciem jako istotną.

26 Interpretacja statystyczna Rozpatrzmy dowolną regułę asocjacyjną φ ψ: zbiór danych S = (U, A) stanowi próbę losową, każdy rekord w S zawiera formułę φ ψ lub nie, każdy rekord w S to realizacja zero-jedynkowej zmiennej losowej z parametrem p ( U prób Bernoulliego), obserwowana wartość wsparcia anti-sup(φ ψ), to realizacja zmiennej o rozkładzie dwumianowym z parametrami U i p, parametr p, to prawdziwa (nieobserwowana) wartość anty-wsparcia wynikająca z rozkładu, z którego S jest próbką.

27 Estymacja punktowa anty-wsparcia ˆp = anti-sup(φ ψ) U Przedział ufności dla anty-wsparcia ˆp(1 ˆp) p 1 = ˆp Z U p 2 = ˆp + Z ˆp(1 ˆp) U P(p 1 p p 2 ) = 1 α

28 Błąd względny e r = W 1 ˆp = 2Z ˆp U 1 ˆp W szerokość przedziału ufności (W = p 2 p 1 ) Miara maksymalnego odchylenia prawdziwej wartości 1 anti-sup(φ ψ) U od wartości obserwowanej.

29 Maksymalny błąd względny e max e max maksymalny akceptowalny błąd względny e r e r jest ściśle rosnącą funkcją obserwowanego anty-wsparcia anti-sup(φ ψ) U = ˆp. Maksymalne anty-wsparcie anti-sup max = e2 max U e 2 max U +4Z2

30 Błąd względny jako funkcja obs. anty-wsparcia Relative error: e r Maximal anti-support for e r =0.1 and universe U of size : 0.974* U objects Maximal anti-support for e r =0.1 and universe U of size 10000: 0.79* U 7897 objects Maximal anti-support for e r =0.1 and universe U of size 1000: 0.27* U 273 objects Maximal relative error: e r = 0.1 U = 1000 U = U = Maximal anti-support: anti-sup max / U

31 Zalety Wprowadzenie reguły i ich ewaluacja 1 Interpretacja e r w porównaniu z progiem we wsparciu (anty-wsparciu). 2 Statystyczna reprezentatywność. 3 Monotoniczna zależność od wsparcia (anty-wsparcia).

32 Plan prezentacji 1 Wprowadzenie reguły i ich ewaluacja 2 3 4

33 Cele Wprowadzenie reguły i ich ewaluacja 1 Czy statystyczna reprezentatywność zwiększa wartość predykcyjną? 2 Czy istnieje uniwersalna (domyślna) wartość błędu względnego?

34 Organizacja eksperymentu generowanie zbiorów częstych i reguł asocjacyjnych (FP-growth), zbiory trenujący i testowy w stosunku 3 : 1, 10-krotny sub-sampling Rysunek: Zbiory danych. Zbiór Rozmiar ( U ) Rozmiar zbioru trenującego ( 2 3 U ) Census Chess Mushroom Retail

35 Organizacja eksperymentu Średni błąd predykcyjny err = 1 Act (φ ψ) Act P( ψ φ) = 1 Act (φ ψ) Act sup(φ ψ) sup(φ) Accuracy gain 1 (φ ψ) Act P( ψ) Act gain = 1 Act (φ ψ) Act P( ψ φ) = (φ ψ) Act sup( ψ) U test (φ ψ) Act sup(φ ψ) sup(φ)

36 Wyniki eksperymentu błąd predykcyjny emax in support [sup max ] 0.09 [0.13] [0.14] 0.08 [0.16] [0.18] 0.07 [0.20] [0.22] 0.06 [0.25] [0.29] 0.05 [0.33] [0.37] 0.04 [0.43] [0.50] 0.03 [0.58] [0.66] 0.02 [0.75] 0.02 [0.25] [0.33] 0.03 [0.42] Value of prediction error err (Census) [0.5] 0.04 [0.57] [0.62] 0.05 [0.67] [0.71] 0.06 [0.75] [0.78] 0.07 [0.8] [0.82] 0.08 [0.84] emax in anti-support [anti-sup max ] [0.86] 0.09 [0.87] emax in support [sup max ] 0.12 [0.03] [0.03] 0.11 [0.04] [0.04] 0.1 [0.04] [0.05] 0.09 [0.05] [0.06] 0.08 [0.07] [0.07] 0.07 [0.08] [0.10] 0.06 [0.11] [0.13] 0.05 [0.15] [0.18] 0.04 [0.21] 0.01 [0.18] [0.33] Value of prediction error err (Retail) 0.02 [0.47] [0.58] 0.03 [0.67] [0.73] 0.04 [0.78] [0.82] emax in anti-support [anti-sup max ] 0.05 [0.85] Value of prediction error err (Chess) Value of prediction error err (Mushroom) emax in support [sup max ] 0.05 [0.83] [0.86] 0.04 [0.89] [0.91] 0.03 [0.93] [0.95] 0.02 [0.97] [0.98] 0.01 [0.99] 0.01 [0.99] [0.98] 0.02 [0.97] [0.95] 0.03 [0.93] [0.91] 0.04 [0.89] [0.86] 0.05 [0.83] emax in support [sup max ] 0.11 [0.29] [0.31] 0.1 [0.33] [0.35] 0.09 [0.38] [0.40] 0.08 [0.43] [0.47] 0.07 [0.50] [0.54] 0.06 [0.58] [0.62] 0.05 [0.66] [0.71] 0.04 [0.75] [0.80] 0.03 [0.84] [0.89] 0.02 [0.92] 0.02 [0.08] [0.11] 0.03 [0.16] [0.2] 0.04 [0.25] [0.29] 0.05 [0.34] [0.38] 0.06 [0.42] [0.46] 0.07 [0.5] [0.53] 0.08 [0.57] [0.6] 0.09 [0.62] [0.65] 0.1 [0.67] [0.69] 0.11 [0.71] emax in anti-support [anti-sup max] emax in anti-support [anti-sup max]

37 Wyniki eksperymentu Accuracy gain emax in support [sup max ] 0.09 [0.13] [0.14] 0.08 [0.16] [0.18] 0.07 [0.20] [0.22] 0.06 [0.25] [0.29] 0.05 [0.33] [0.37] 0.04 [0.43] [0.50] 0.03 [0.58] [0.66] 0.02 [0.75] 0.02 [0.25] [0.33] Value of prediction accuracy gain gain (Census) 0.03 [0.42] [0.5] 0.04 [0.57] [0.62] 0.05 [0.67] [0.71] 0.06 [0.75] [0.78] 0.07 [0.8] [0.82] 0.08 [0.84] emax in anti-support [anti-sup max ] [0.86] 0.09 [0.87] emax in support [sup max ] 0.12 [0.03] [0.03] 0.11 [0.04] [0.04] 0.1 [0.04] [0.05] 0.09 [0.05] [0.06] 0.08 [0.07] [0.07] 0.07 [0.08] [0.10] 0.06 [0.11] [0.13] 0.05 [0.15] [0.18] 0.04 [0.21] 0.01 [0.18] Value of prediction accuracy gain gain (Retail) [0.33] 0.02 [0.47] [0.58] 0.03 [0.67] [0.73] 0.04 [0.78] [0.82] emax in anti-support [anti-sup max ] 0.05 [0.85] Value of prediction accuracy gain gain (Chess) Value of prediction accuracy gain gain (Mushroom) emax in support [sup max ] 0.05 [0.83] [0.86] 0.04 [0.89] [0.91] 0.03 [0.93] [0.95] 0.02 [0.97] [0.98] 0.01 [0.99] 0.01 [0.99] [0.98] 0.02 [0.97] [0.95] 0.03 [0.93] [0.91] 0.04 [0.89] [0.86] 0.05 [0.83] emax in support [sup max ] 0.11 [0.29] [0.31] 0.1 [0.33] [0.35] 0.09 [0.38] [0.40] 0.08 [0.43] [0.47] 0.07 [0.50] [0.54] 0.06 [0.58] [0.62] 0.05 [0.66] [0.71] 0.04 [0.75] [0.80] 0.03 [0.84] [0.89] 0.02 [0.92] 0.02 [0.08] [0.11] 0.03 [0.16] [0.2] 0.04 [0.25] [0.29] 0.05 [0.34] [0.38] 0.06 [0.42] [0.46] 0.07 [0.5] [0.53] 0.08 [0.57] [0.6] 0.09 [0.62] [0.65] 0.1 [0.67] [0.69] 0.11 [0.71] emax in anti-support [anti-sup max] emax in anti-support [anti-sup max]

38 Wyniki eksperymentu 0.05 Value of average prediction error err Value of average prediction accuracy gain gain emax in support emax in support emax in anti-support emax in anti-support Rysunek: Uśredniona wartość średniego błędu predykcyjnego. Rysunek: Uśredniona wartość wzrostu trafności klasyfikacji.

39 Plan prezentacji 1 Wprowadzenie reguły i ich ewaluacja 2 3 4

40 Wnioski 1 Błąd względny jest kryterium kosztowym. 2 Wzrost statystycznej reprezentatywności skutkuje mniejszym błędem predykcyjnym. 3 Próg w błędzie względnym jest bardziej intuicyjny i uniwersalny niż we wsparciu (anty-wsparciu).

41 Co dalej? 1 Statystyczna istotność konfirmacji. 2 Odniesienie miar korelacji / statystycznej istotności konfirmacji do własności M / symetrii.

42 Dziękuję za uwagę.

43 Wybrana bibliografia Rakesh Agrawal, Tomasz Imieliński, and Arun Swami. Mining association rules between sets of items in large databases. SIGMOD Rec., 22: , June Izabela Brzezińska, Salvatore Greco, and Roman Słowiński. Mining pareto-optimal rules with respect to support and confirmation or support and anti-support. Eng. Appl. Artif. Intell., 20: , August Izabela Szczęch. Multicriteria attractiveness evaluation of decision and association rules. T. Rough Sets, 10: , 2009.