Multiklasyfikatory z funkcją kompetencji

Wielkość: px

Rozpocząć pokaz od strony:

Download "Multiklasyfikatory z funkcją kompetencji"

Maksymilian Zając
6 lat temu
Przeglądów:

1 3 stycznia 2011

2 Problem klasyfikacji Polega na przewidzeniu dyskretnej klasy na podstawie cech obiektu. Obiekt jest reprezentowany przez wektor cech Zbiór etykiet jest skończony x X Ω = {ω 1, ω 2,..., ω l } Klasyfikator to funkcja przyporządkowująca obiektowi jego klasę D : X Ω Funkcje decyzyjne d i : X R, i = 1,..., c (1)

3 Drzewa decyzyjne Użyte klasyfikatory bazowe Metody multiklasyfikacyjne X 1 > 2 Tak Nie ω 1 X 2 > 3 Tak Nie ω 1 ω 2 Rysunek: Schemat struktury prostego drzewa decyzyjnego.

4 Użyte klasyfikatory bazowe Metody multiklasyfikacyjne Algorytm tworzenia drzewa decyzyjnego. [6] Utwórz korzeń drzewa. Zwiąż z nim cały zbiór uczący Dopóki są w drzewie istnieją węzły nieoznaczone: rozdziel dowolny nieoznaczony węzeł tak, by zmaksymalizować zysk informacyjny. Należy wybrać cechę oraz jej wartość tak, aby suma entropii zbiorów rozdzielonych tym warunkiem była jak najmniejsza. Oznacz węzły spełniające warunek stopu.

5 Użyte klasyfikatory bazowe Metody multiklasyfikacyjne Algorytm tworzenia drzewa decyzyjnego. [6] Utwórz korzeń drzewa. Zwiąż z nim cały zbiór uczący Dopóki są w drzewie istnieją węzły nieoznaczone: rozdziel dowolny nieoznaczony węzeł tak, by zmaksymalizować zysk informacyjny. Należy wybrać cechę oraz jej wartość tak, aby suma entropii zbiorów rozdzielonych tym warunkiem była jak najmniejsza. Oznacz węzły spełniające warunek stopu.

6 Użyte klasyfikatory bazowe Metody multiklasyfikacyjne Algorytm tworzenia drzewa decyzyjnego. [6] Utwórz korzeń drzewa. Zwiąż z nim cały zbiór uczący Dopóki są w drzewie istnieją węzły nieoznaczone: rozdziel dowolny nieoznaczony węzeł tak, by zmaksymalizować zysk informacyjny. Należy wybrać cechę oraz jej wartość tak, aby suma entropii zbiorów rozdzielonych tym warunkiem była jak najmniejsza. Oznacz węzły spełniające warunek stopu.

7 Metody fuzji Użyte klasyfikatory bazowe Metody multiklasyfikacyjne Fuzja etykiet Wyjściami klasyfikatorów z puli bazowej są etykiety klasowe. Na ich podstawie tworzona jest decyzja systemu. Głosowanie większościowe[1]. Głosowanie z większością kwalifikowaną[6]. Głosowanie ważone[6]. Fuzja wsparć Klasyfikatory z puli bazowej zwracają wektor wsparć. Metody nietrenowalne, np. średnia arytmetyczna wsparć µ j (x) = 1 L Li=1 d i,j (x) Metody trenowalne, m. in. metody szablonów decyzyjnych (decision templates)

8 Metody selekcji Użyte klasyfikatory bazowe Metody multiklasyfikacyjne Metody a priori Dynamic Classifier Selection Local Accuracy[9]. Metoda funkcji potencjału [7] Metody a posteriori Dynamic Classifier Selection Local Class Accuracy[9] Algorytm a posteriori [3]

9 Użyte klasyfikatory bazowe Metody multiklasyfikacyjne Metody dynamicznego wyboru zespołu. DES[5] selekcja podzbioru kompetentnych klasyfikatorów z puli fuzja wyjść klasyfikatorów z podzbioru

10 Funkcje kompetencji Projekt i implementacja Multiklasyfikator z funkcją kompetencji jest złożony z puli klasyfikatorów bazowych zbioru walidacyjnego, stanowiącego bazę wiedzy metody wyznaczania funkcji kompetencji metody rozprowadzania funkcji kompetencji po całej przestrzeni cech nadrzędnej reguły decyzyjnej wykorzystującej powyższe

11 Funkcje kompetencji Projekt i implementacja Multiklasyfikator z funkcją kompetencji jest złożony z puli klasyfikatorów bazowych zbioru walidacyjnego, stanowiącego bazę wiedzy metody wyznaczania funkcji kompetencji metody rozprowadzania funkcji kompetencji po całej przestrzeni cech nadrzędnej reguły decyzyjnej wykorzystującej powyższe

12 Funkcje kompetencji Projekt i implementacja Multiklasyfikator z funkcją kompetencji jest złożony z puli klasyfikatorów bazowych zbioru walidacyjnego, stanowiącego bazę wiedzy metody wyznaczania funkcji kompetencji metody rozprowadzania funkcji kompetencji po całej przestrzeni cech nadrzędnej reguły decyzyjnej wykorzystującej powyższe

13 Funkcje kompetencji Projekt i implementacja Multiklasyfikator z funkcją kompetencji jest złożony z puli klasyfikatorów bazowych zbioru walidacyjnego, stanowiącego bazę wiedzy metody wyznaczania funkcji kompetencji metody rozprowadzania funkcji kompetencji po całej przestrzeni cech nadrzędnej reguły decyzyjnej wykorzystującej powyższe

14 Funkcje kompetencji Projekt i implementacja Multiklasyfikator z funkcją kompetencji jest złożony z puli klasyfikatorów bazowych zbioru walidacyjnego, stanowiącego bazę wiedzy metody wyznaczania funkcji kompetencji metody rozprowadzania funkcji kompetencji po całej przestrzeni cech nadrzędnej reguły decyzyjnej wykorzystującej powyższe

15 Funkcje kompetencji Projekt i implementacja Propozycje funkcji kompetencji MINDIFF FC FC2 ENT C src (D x) = min j l(x) d l((x)) d j (2) C FC src (D x) = 2d l(x) max i d i min i d i max i d i min i d i (3) C FC2 src (D x) = 2d l(x) max Csrc ENT (D x) = Csrc FC (D x)(1 + i d i min i d i (4) c d i log l d i ) (5) i=1

16 Funkcje kompetencji Projekt i implementacja Metody rozprowadzania funkcji kompetencji uśrednianie po k najbliższych sąsiadach uśrednianie po k najbliższych sąsiadach opatrzonych odpowiednią etykietą uśrednianie z wagą zależną od odległości poszczególnych sąsiadów metody funkcji potencjału

17 Założenia techniczne Funkcje kompetencji Projekt i implementacja platforma Java/Weka multiklasyfikator oraz funkcje kompetencji zaprojektowane jako osobne klasy. Wykorzystano wzorzec projektowy Strategii. testy przeprowadzone przy wykorzystaniu modułu Weka/Experimenter

18 Diagram klas Funkcje kompetencji Projekt i implementacja

19 Użyte bazy benchmarkowe W pracy korzystano z repozytorium UCI Machine Learning Repository[2] Baza Il. obiektów Il. cech Il. klas Breast C.W Glass Wine Vowel Iris Segmentation Tabela: Opis użytych baz benchmarkowych

20 Parametry porównywanych systemów Stałe parametry wszystkich multiklasyfikatorów to: Wielkośc frakcji zbioru uczącego dla pojedynczego klasyfikatora z puli bazowej ustalono na 80%. Wielkość frakcji zbioru walidacyjnego ustalono na 60%. W każdym przypadku pula klasyfikatorów bazowych składała się z dziesięciu drzew decyzyjnych.

21 Wyniki. Drzewa BFTree[8], [4] Tabela: Eksperymentalne porównanie multiklasyfikatorów działających w oparciu o różne funkcji kompetencji. Pula klasyfikatorów bazowych złożona jest z drzew BFTree Zbiory BAGG DEG ENT OT OT1 MIN EXP APR DCS-LA SB RRC2 RRC breast C.W * * 93.61* glass * iris segment * vowel v 86.51v 86.56v 86.71v 86.92v v 85.42v 74.06* wine średnia

22 Wyniki. Drzewa REPTree3CV[4] Tabela: Eksperymentalne porównanie multiklasyfikatorów działających w oparciu o różne funkcji kompetencji. Pula klasyfikatorów bazowych złożona jest z drzew REPTree3CV Zbiory SB DEG ENT OT OT1 MIN EXP APR DCS-LA RRC1 RRC2 breast C.W glass v iris segment v 96.34v 96.35v 96.35v 96.42v 95.83v 96.14v 95.94v v vowel v 85.92v 86.02v 86.14v 86.44v 80.16v 83.33v 82.45v 79.43v 80.00v wine średnia

23 Wyniki. Drzewa REPTreeUP[4] Tabela: Eksperymentalne porównanie multiklasyfikatorów działających w oparciu o różne funkcji kompetencji. Pula klasyfikatorów bazowych złożona jest z drzew REPTreeUP Zbiory SB DEG ENT OT OT1 MIN EXP APR DCS-LA RRC1 RRC2 breast C.W glass iris segment v 96.80v 96.79v 96.78v 96.77v 96.65v 96.71v 96.65v 96.65v 96.61v vowel v 88.31v 88.23v 88.37v 88.36v 87.33v 87.96v 87.83v 87.04v 87.38v wine średnia

24 Dywersyfikacja puli znacznie poprawia działanie multiklasyfikatora Zastosowanie funkcji kompetencji zwiększa dokładność multiklasyfikatora Poprawnienie działania przez zastosowanie funkcji kompetencji jest zależne od: zastosowanych klasyfikatorów bazowych zbioru danych

25 Do dalszej lektury I Leo Breiman. Bagging predictors. Machine Learning, 24(2): , A. Frank, A. Asuncion. UCI machine learning repository, Giorgio Giacinto, Fabio Roli. Methods for Dynamic Classifier Selection. Lecture, Mark Hall, Eibe Frank. The weka data mining software: An update. SIGKDD Explorations, 2009.

26 Do dalszej lektury II Albert H.R. Ko, Robert Sabourina, Alceu Souza Britto Jr. From dynamic classifier selection to dynamic ensemble selection. Pattern Recognition, Ludmila I. Kuncheva. Combining Pattern Classifiers Methods and Algorithms. John Wiley & Sons, Inc., Hoboken, New Jersey, wydanie 1st L. A. Rastrigin, R. H. Erenstein. Method of Collective Recognition. Energoizdat, Moscow, 1981.

27 Do dalszej lektury III Haijian Shi. Best-first decision tree learning. Praca magisterska, Department of Computer Science, University of Waikato, Kevin Woods, Philip W. Kegelmeyer, Kevin W. Bowyer. Combination of multiple classifiers using local accuracy estimates. IEEE Trans. Pattern Anal. Mach. Intell., 19(4): , 1997.

Podobne dokumenty

Regresyjne metody łączenia klasyfikatorów

Regresyjne metody łączenia klasyfikatorów Tomasz Górecki, Mirosław Krzyśko Wydział Matematyki i Informatyki Uniwersytet im. Adama Mickiewicza XXXV Konferencja Statystyka Matematyczna Wisła 7-11.12.2009