Rozszerzenia klasyfikatorów złożonych dla danych niezrównoważonych

Transkrypt

1 klasyfikatorów złożonych dla danych niezrównoważonych Marcin Szajek Politechnika Poznańska, Instytut Informatyki Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 1 / 30

2 Plan prezentacji Wstęp 1 Wstęp 2 3 Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 2 / 30

3 Uczenie nadzorowane Wstęp Klasyfiaktor: dane uczące + algorytm uczący Zbiór par (x i, y i ) Cel: stworzenie funkcji f: f (x) = y y Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 3 / 30

4 Dane niezrównoważone Wstęp Nierówne liczności klas Klasyfikatory zwykle opierają się o globalną trafność poprawna miara? Przykładowe zastosowania: Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 4 / 30

5 Dane niezrównoważone Wstęp Nierówne liczności klas Klasyfikatory zwykle opierają się o globalną trafność poprawna miara? Przykładowe zastosowania: wykrywanie awarii wykrywanie rzadkich chorób wykrywanie plam oleju Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 4 / 30

6 yeast-me Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 5 / 30

7 HSV Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 6 / 30

8 Klasyfikatory złożone Wstęp Zwane też rodzinami klasyfikatorów Wzorowane na ludzkich zachowaniach Decyzje podejmuje komitet ekspertów, a nie jeden ekspert Eksperci muszą się różnić (weak learners) Uzgadnianie decyzji różne podejścia: Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 7 / 30

9 Klasyfikatory złożone Wstęp Zwane też rodzinami klasyfikatorów Wzorowane na ludzkich zachowaniach Decyzje podejmuje komitet ekspertów, a nie jeden ekspert Eksperci muszą się różnić (weak learners) Uzgadnianie decyzji różne podejścia: proste głosowanie ważenie decyzji metaklasyfikator Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 7 / 30

10 Klasyfikatory złożone Wstęp Zwane też rodzinami klasyfikatorów Wzorowane na ludzkich zachowaniach Decyzje podejmuje komitet ekspertów, a nie jeden ekspert Eksperci muszą się różnić (weak learners) Uzgadnianie decyzji różne podejścia: proste głosowanie ważenie decyzji metaklasyfikator Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 7 / 30

11 Klasyfikatory złożone - rodzaje Heterogeniczne różne klasyfikatory bazowe Homogeniczne różne zbiory uczące Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 8 / 30

12 Klasyfikatory złożone - rodzaje Heterogeniczne różne klasyfikatory bazowe Homogeniczne różne zbiory uczące Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 8 / 30

13 Klasyfikatory złożone - rodzaje Heterogeniczne różne klasyfikatory bazowe Homogeniczne różne zbiory uczące Główne rodziny: bagging boosting Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 8 / 30

14 Bagging (L.Breiman, 1996) Bootstrap aggregating próbki uczące oparte o losowanie ze zwracaniem wielu całkowicie niezależnych ekspertów Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 9 / 30

15 Boosting (Schapire 1990) Budowany sekwencyjnie Losowanie z wagami Tworzenie ekspertów dla trudnych danych Najbardziej znany AdaBoost Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 10 / 30

16 Podział metod wg M.Galar i in. Galar, M., Fernandez, A., Barrenechea, E.; Bustince, H., Herrera, F.: A Review on Ensembles for Class Imbalance Problem: Bagging, Boosting and Hybrid Based Approaches. IEEE Transactions on Systems, Man, and Cybernetics Part C, vol. 42 (4), (2011). Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 11 / 30

17 Exactly Balanced Bagging (Tao) Wielkość próbki ustalana na 2*liczność klasy mniejszościowej Cała klasa mniejszościowa w próbce Obiekty z klasy większościowej losowane Efekt: każdy klasyfikator bazowy umie rozpoznawać klasę mniejszościową Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 12 / 30

18 Roughly Balanced Bagging (S Hido, H Kashima) Zmienna wielkość próbki bootstrapowej dla każdej z klas Klasa losowana z ujemnego rozkładu dwumianowego (negative binominal) Obiekty z wylosowanej klasy losowane z rozkładu jednorodnego Bliżej oryginalnego zamysłu baggingu Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 13 / 30

19 Porównanie (G-mean) Wstęp Data set RBB RBB w/r EBB Bagging C4.5 Diabetes Breast German E-Coli Satimage Flag Glass Letter-A RealF Hido, S., Kashima, H.: Roughly Balanced Bagging for Imbalanced Data. Statistical Analysis and Data Mining vol. 2 (5-6), (2009). Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 14 / 30

20 Local-and-Over-All Balanced Bagging (Błaszczyński, Stefanowski, Idkowiak) Rozszerzenie RBBag Modyfikacja prawdopodobieństwa wylosowania przykładu Lokalne sąsiedztwo zamiast globalnego niezrównoważenia Wyniki porównywalne (a czasem lepsze) od RBB Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 15 / 30

21 Porównanie (G-mean) Wstęp data set RBBag L-O-ABBag abdominal pain acl-m breast-w bupa german credit ecoli flags haberman hepatitis ionosphere scrotal pain vehicle yeast-m Stefanowski, J., Błaszczyński, J., Idkowiak, Ł.: Extending Bagging for Imbalanced Data. Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 16 / 30

22 OverBagging Wstęp Zmiana na poziomie zbioru danych wejściowych nadlosowywanie (oversampling) + bagging Wada łatwo dochodzi do przeuczenia Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 17 / 30

23 SMOTEBagging (Wang, Yao) Odpowiedź na wadę OverBaggingu SMOTE zamiast nadlosowywania Czy tworzenie syntetycznych przykładów jest dobre? Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 18 / 30

24 Porównanie Wstęp Glass G-mean Overall Q-statistics Over SMOTE Yeast G-mean Overall Q-statistics Over SMOTE Wang, S., Yao, T.: Diversity analysis on imbalanced data sets by using ensemble models. In Proc. IEEE Symp. Comput. Intell. Data Mining, (2009). Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 19 / 30

25 AdaCost (Fan, Stolfo, Zhang, Chan) Rozszerzenie AdaBoost Inna funkcja zmiany wag dla klasy mniejszościowej niż dla większościowej Większy wzrost wag i mniejszy spadek dla klasy mniejszościowej Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 20 / 30

26 Porównanie (Percentage Cumulative Loss) Data set cripper AdaBoost AdaCost hypothyroid boolean dis crx breast cancer wpbc Fan, W., Stolfo, S., Zhang, J., Chan, P.: AdaCost: Misclassification Cost-sensitive Boosting. In Proc. 16th International Conf. on Machine Learning, (1999). Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 21 / 30

27 SMOTEBoost (Chavla) Wstęp Rozszerzenie AdaBoost W każdej rundzie Boosting syntetyczne nadlosowywanie Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 22 / 30

28 SMOTEBoost (Chavla) Wstęp Rozszerzenie AdaBoost W każdej rundzie Boosting syntetyczne nadlosowywanie Wady: duża złożoność i syntetyczne dane Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 22 / 30

29 Porównanie (miara F) Wstęp Data set RIPPER SMOTE Boosting SMOTEBoost KDDCup mammography Satimage phoneme Chawla, N., Lazarevic, A., Hall, L., Bowyer, K.: SMOTEBoost: Improving Prediction of the Minority Class in Boosting. In Proc. Principles of Knowledge Discovery in Databases, PKDD-2003, (2002). Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 23 / 30

30 RUSBoost (Seiffert, Khoshgoftaar) Random UnderSampling Boosting Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 24 / 30

31 RUSBoost (Seiffert, Khoshgoftaar) Random UnderSampling Boosting Odpowiedź na SMOTEBoost Mniejsza złożoność, podobna jakość rozwiązań Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 24 / 30

32 DataBoost-IM (Guo, Viktor) DataBoost for IMbalanced Wyszkuwanie trudnych przykładów Synteza obiektów na podstawie trudnych przykładów (z obu klas) Zacieranie różnic przez zwiększanie zbioru Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 25 / 30

33 Porównanie (G-mean) Wstęp Data set C4.5 AdaBoost SMOTEBoost DataBoost-IM glass satimage vowel sick abalone yeast primary-tumor oil Guo, H., Viktor, H.: Learning from Imbalanced Data Sets with Boosting and Data Generation: The DataBoost-IM Approach. SIGKDD Explorations (2004). Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 26 / 30

34 Imbalanced Ivotes (Błaszczyński, Deckert, Stefanowski, Wilk) Ivotes + SPIDER Modyfikacja ( czyszczenie ) próbki uczącej: Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 27 / 30

35 Imbalanced Ivotes (Błaszczyński, Deckert, Stefanowski, Wilk) Ivotes + SPIDER Modyfikacja ( czyszczenie ) próbki uczącej: nadlosowywanie trudnych przykładów z klasy mniejszościowej usuwanie/przeetykietowanie trudnych przykładów z klasy większościowej Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 27 / 30

36 Wyniki eksperymentów Wstęp Błaszczyński, J., Deckert, M., Stefanowski, J., Wilk, S.: IIvotes ensemble for imbalanced data. Intell. Data Anal. 16(5): (2012). Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 28 / 30

37 Wnioski z eksperymentów SMOTEBagging i RUSBoost zachowują się najlepiej dla danych niezrównoważonych Prostsze metody nie tracą w stosunku do metod bardziej złożonych Bagging > Boosting Liczba klasyfikatorów bazowych zależna od metody Galar, M., Fernandez, A., Barrenechea, E.; Bustince, H., Herrera, F.: A Review on Ensembles for Class Imbalance Problem: Bagging, Boosting and Hybrid Based Approaches. IEEE Transactions on Systems, Man, and Cybernetics Part C, vol. 42 (4), (2011). Khoshgoftaar T., Van Hulse J., Napolitano A.: Comparing boosting and bagging techniques with noisy and imbalanced data. IEEE Transactions on Systems, Man, and Cybernetics Part A, 41 (3), (2011). Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 29 / 30

38 Wstęp Dane niezrównoważone ważny problem Wykorzystanie klasyfikatorów złożonych Wiele rozszerzeń (wady i zalety) Dalsze prace bagging (lepsze wyniki) Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 30 / 30