Łączenie indukcji reguł i uczenia z przykładów dla niezrównoważonych klas. Krystyna Napierała Jerzy Stefanowski

Wielkość: px
Rozpocząć pokaz od strony:

Download "Łączenie indukcji reguł i uczenia z przykładów dla niezrównoważonych klas. Krystyna Napierała Jerzy Stefanowski"

Transkrypt

1 Łączenie indukcji reguł i uczenia z przykładów dla niezrównoważonych klas Krystyna Napierała Jerzy Stefanowski

2 Plan prezentacji Źródła trudności w uczeniu z danych niezrównoważonych (przypomnienie) Indukcja reguł z danych niezrównoważonych Problemy standardowych algorytmów uczących Przegląd istniejących rozwiązań BRACID Bottom-up induction of Rules And Cases from Imbalanced Data

3 Dane niezrównoważone

4 Źródła trudności Samo niezrównoważenie nie jest źródłem trudności Problem separowalny Nakładanie się klas Łatwy mimo małej liczby przykładów Trudniejsze niż w klasach w klasie mniejszościowej zrównoważonych

5 Źródła trudności Szum Strefa brzegowa Small disjuncts

6 Dane niezrównoważone Wizualizacja przy pomocy PCA Newthyroid Haberm an

7 Klasyfikatory a dane niezrównoważone Różna wrażliwość na dane niezrównoważone: ML P C5. 0 SVM N. Japkowicz and S. Stephen The class imbalance problem: A systematic study. Intell. Data Anal. 6, 5 (2002) J. Van Hulse J et al., 2007 Experimental perspectives on learning from imbalanced data. In: Proc. of the 24th

8 Reguły a dane niezrównoważone Klasyfikatory regułowe są wrażliwe na nierówny rozkład: Data Modlem C4.5 Acl Breast Bupa Cleveland Ecoli Haberman Hepatitis New-thyr Pima J.Stefanowski, Sz.Wilk. Selective pre-processing of imbalanced data for improving classification performance. DAWAK 2007

9 Klasyfikatory regułowe Źródła trudności: Greedy sequential covering powoduje fragmentację danych Usunięcie pokrytych przykładów

10 Klasyfikatory regułowe Źródła trudności: Greedy sequential covering powoduje fragmentację danych Techniki niezachłanne

11 Klasyfikatory regułowe Źródła trudności: Budowanie reguł top-down i miary oceny reguł reprezentują Maximum Generality Bias i utrudniają znalezienie reguł dla small disjuncts I F THE N I F & THE N I F & & THE N

12 Klasyfikatory regułowe Źródła trudności: Strategie klasyfikacyjne oparte o głosowanie reguł ważonych według wsparcia (support) dyskryminuje klasę mniejszościową

13 Przegląd rozwiązań reguły + niezrównoważenie Podejścia mniej zachłanne : RLSD [J. Zhang, E. Bloedorn, L. Rosen, and D. Venese 2004] BRUTE [P. Riddle, R. Segal and O. Etzioni 1994] Modyfikacja EXPLORE [J.Stefanowski, Sz.Wilk 2004] Zmiana w fazie upraszczania reguł Przycinanie tylko w klasie mniejszościowej [A. An, N. Cercone and X. Huang 2001] IDL [C.H. Nguyen, T.B. Ho 2005] Zmiana strategii klasyfikacyjnej Mnożnik dla siły reguł mniejszościowych [J. Grzymala-Busse, L. Goodwin, W. Grzymala-Busse, X.Zheng 2000] ABMODLEM [K.Napierała, J.Stefanowski 2009]

14 Przegląd rozwiązań reguły + niezrównoważenie Zmiana maximum generality bias w CN2 dla small disjuncts [R. C. Holte, L. E. Acker, and B. W. Porter 1989] PN-Rule: niezależna optymalizacja precision i recall w dwóch fazach [M. Joshi, R. Agarwal, V. Kumar 2001] SHRINK: etykietowanie mieszanych obszarów jako mniejszościowych [M. Kubat, R. Holte, S. Matwin 1997] Fuzzy Rough Set Approximations [Y. Liu, B. Feng and G. Bai 2008] Tworzenie klasyfikatorów złożonych [J. Blaszczynski, M. Deckert, J. Stefanowski, S. Wilk 2010] Ewoluowanie genetyczne zbioru reguł [A. Orriols-Puig, F. Bernad-Mansilla 2007][C. Milar, G. Batista, A. Carvalho 2011]

15 BRACID Bottom-up induction of Rules And Cases from Imbalanced Data Założenia i motywacje: Integracja uczenia reguł i przypadków: Instance-based Learning: Maximum Specificity Bias złożone granice klas z małej liczby przykładów Lokalność: mniejsza wrażliwość na niezrównoważenie klas Rule-based Learning: Maximum Generality Bias generalizacja spójnych obszarów (large disjucts) czytelna reprezentacja wiedzy

16 BRACID Bottom-up induction of Rules And Cases from Imbalanced Data Założenia i motywacje: Wykorzystanie uczenia bottom-up Odejście od schematu greedy sequential covering Strategia klasyfikacyjna nearest rules Inspirowany algorytmem RISE [P.Domingos 1996] Wykorzystuje do indukcji informację o lokalnym sąsiedztwie (naturze przykładów) Do wyboru sąsiadów stosuje miarę odległości HVDM Wykorzystanie miar oceny ukierunkowanych na klasę mniejszościową (F-miara)

17 BRACID Bottom-up induction of Rules And Cases from Imbalanced Data Bottom-up Non-sequential covering Globalna ocena reguł za pomocą F-miary BRACID(Examples ES) 1 RS = ES 2 Ready_rules = empty_set 3 Labels = Calculate labels for minority class examples 4 Iteration=0 5 Repeat 6 For each rule R in RS not belonging to Ready_rules 7 If R s class is minority class 8 Find Ek=k nearest examples to R not already covered b and of R s 9 If Labels[R s seed]=safe 10 Improved = AddBestRule(Ek, R,RS) 11 Else 12 Improved = AddAllGoodRules(Ek,R,RS) 13 If Improved=false and not Iteration=0 14 Extend (R) 15 Add R to Ready_rules 16 Else #R s class is majority class 17 Find Ek=k nearest examples to R not already covered by and of R s 18 Improved = AddBestRule(Ek, R,RS, Label[R s seed]) 19 If Improved=false 20 If Iteration=0 #Treat as noise 21 Remove R from RS and R s seed from ES 22 Else 23 Add R to Ready_rules 24 Until any rule improved the overall classification 25 Return RS

18 BRACID Bottom-up induction of Rules And Cases from Imbalanced Data Bottom-up Non-sequential covering Globalna ocena reguł za pomocą F-miary BRACID(Examples ES) 1 RS = ES 2 Ready_rules = empty_set 3 Labels = Calculate labels for minority class examples 4 Iteration=0 5 Repeat 6 For each rule R in RS not belonging to Ready_rules 7 If R s class is minority class 8 Find Ek=k nearest examples to R not already covered b and of R s 9 If Labels[R s seed]=safe 10 Improved = AddBestRule(Ek, R,RS) 11 Else 12 Improved = AddAllGoodRules(Ek,R,RS) 13 If Improved=false and not Iteration=0 14 Extend (R) 15 Add R to Ready_rules 16 Else #R s class is majority class 17 Find Ek=k nearest examples to R not already covered by and of R s 18 Improved = AddBestRule(Ek, R,RS, Label[R s seed]) 19 If Improved=false 20 If Iteration=0 #Treat as noise 21 Remove R from RS and R s seed from ES 22 Else 23 Add R to Ready_rules 24 Until any rule improved the overall classification 25 Return RS

19 BRACID Bottom-up induction of Rules And Cases from Imbalanced Data Wykorzystanie informacji o lokalnym sąsiedztwie BRACID(Examples ES) 1 RS = ES 2 Ready_rules = empty_set 3 Labels = Calculate labels for minority class examples 4 Iteration=0 5 Repeat 6 For each rule R in RS not belonging to Ready_rules 7 If R s class is minority class 8 Find Ek=k nearest examples to R not already covered by and of R s 9 If Labels[R s seed]=safe 10 Improved = AddBestRule(Ek, R,RS) 11 Else 12 Improved = AddAllGoodRules(Ek,R,RS) 13 If Improved=false and not Iteration=0 14 Extend (R) 15 Add R to Ready_rules 16 Else #R s class is majority class 17 Find Ek=k nearest examples to R not already covered by i and of R s 18 Improved = AddBestRule(Ek, R,RS, Label[R s seed]) 19 If Improved=false 20 If Iteration=0 #Treat as noise 21 Remove R from RS and R s seed from ES 22 Else 23 Add R to Ready_rules 24 Until any rule improved the overall classification 25 Return RS

20 BRACID Bottom-up induction of Rules And Cases from Imbalanced Data Usuwanie szumu klasy większościowej BRACID(Examples ES) 1 RS = ES 2 Ready_rules = empty_set 3 Labels = Calculate labels for minority class examples 4 Iteration=0 5 Repeat 6 For each rule R in RS not belonging to Ready_rules 7 If R s class is minority class 8 Find Ek=k nearest examples to R not already covered by and of R s 9 If Labels[R s seed]=safe 10 Improved = AddBestRule(Ek, R,RS) 11 Else 12 Improved = AddAllGoodRules(Ek,R,RS) 13 If Improved=false and not Iteration=0 14 Extend (R) 15 Add R to Ready_rules 16 Else #R s class is majority class 17 Find Ek=k nearest examples to R not already covered by i and of R s 18 Improved = AddBestRule(Ek, R,RS, Label[R s seed]) 19 If Improved=false 20 If Iteration=0 #Treat as noise 21 Remove R from RS and R s seed from ES 22 Else 23 Add R to Ready_rules 24 Until any rule improved the overall classification 25 Return RS

21 BRACID Bottom-up induction of Rules And Cases from Imbalanced Data Poszerzanie granic klasy mniejszościowej BRACID(Examples ES) 1 RS = ES 2 Ready_rules = empty_set 3 Labels = Calculate labels for minority class examples 4 Iteration=0 5 Repeat 6 For each rule R in RS not belonging to Ready_rules 7 If R s class is minority class 8 Find Ek=k nearest examples to R not already covered by and of R s 9 If Labels[R s seed]=safe 10 Improved = AddBestRule(Ek, R,RS) 11 Else 12 Improved = AddAllGoodRules(Ek,R,RS) 13 If Improved=false and not Iteration=0 14 Extend (R) 15 Add R to Ready_rules 16 Else #R s class is majority class 17 Find Ek=k nearest examples to R not already covered by i and of R s 18 Improved = AddBestRule(Ek, R,RS, Label[R s seed]) 19 If Improved=false 20 If Iteration=0 #Treat as noise 21 Remove R from RS and R s seed from ES 22 Else 23 Add R to Ready_rules 24 Until any rule improved the overall classification 25 Return RS

22 BRACID Bottom-up induction of Rules And Cases from Imbalanced Data Strategia klasyfikacyjna: Decyduje najbliższa reguła Co gdy wiele reguł o tej samej odległości?

23 BRACID Bottom-up induction of Rules And Cases from Imbalanced Data Strategia klasyfikacyjna - wiele reguł o tej samej odległości:? RISE: decyduje reguła o największej liczbie wygranych przykładów uczących BRACID: decyduje koalicja o większym sumarycznym wsparciu reguł

24 BRACID ocena eksperymentalna Cele eksperymentów: Porównanie na zbiorach o różnej charakterystyce Porównanie ze znanymi klasyfikatorami regułowymi: CN2 MODLEM C4.5 Rules RIPPER MODLEM-C ze zmodyfikowaną strategią klasyfikacyjną Porównanie z rodzicami hybrydowego algorytmu BRACID Klasyfikatory regułowe + knn + RISE

25 BRACID ocena eksperymentalna Plan eksperymentów: 14 zbiorów o różnym rozmiarze, stopniu niezrównoważenia i typie atrybutów 10-fold cross-validation Środowisko: WEKA

26 BRACID ocena eksperymentalna Plan eksperymentów: Miary oceny: Ocena trafności w klasach: Sensitivity, Specificity Miary zbiorcze: F-miara, G-mean Średnia liczba reguł, długość i siła reguł Stosunek przykładów do reguł w klasyfikatorze BRACID

27 BRACID ocena eksperymentalna Charakterystyka zbiorów Zbiór Rozmiar Kl.mniejsz. St.niezrówn. [%] L. attr (num) abalone ,02 8 (7) breast-cancer ,72 9 (0) car ,99 6 (0) cleveland ,55 13 (6) cmc ,61 9 (2) credit-g ,00 20 (7) ecoli ,42 7 (7) haberman ,47 3 (3) hepatitis ,65 19 (6) new-thyroid ,28 5 (5) solar-flaref ,03 12 (0) transfusion ,80 4 (4) vehicle ,52 18 (18) yeast-me ,44 8 (8)

28 BRACID ocena eksperymentalna Porównanie klasyfikatorów - sensitivity Zbiór BRACID RISE knn C45.rules CN2 PART RIPPER Modlem Modlem-C abalone 0,47 0,13 0,14 0,34 0,16 0,19 0,18 0,25 0,27 b-cancer 0,57 0,36 0,26 0,33 0,28 0,41 0,29 0,32 0,41 car 0,78 0,60 0,03 0,75 0,54 0,90 0,53 0,79 0,79 cleveland 0,48 0,15 0,04 0,18 0,00 0,25 0,16 0,08 0,14 cmc 0,63 0,29 0,31 0,40 0,10 0,38 0,07 0,26 0,36 credit-g 0,80 0,36 0,37 0,37 0,26 0,48 0,21 0,36 0,55 ecoli 0,79 0,50 0,58 0,60 0,18 0,42 0,45 0,40 0,46 haberman 0,67 0,22 0,18 0,24 0,18 0,33 0,18 0,24 0,41 hepatitis 0,76 0,49 0,47 0,36 0,05 0,46 0,42 0,38 0,55 new-thyroid 0,98 0,93 0,87 0,85 0,87 0,93 0,86 0,81 0,84 solar-flaref 0,52 0,07 0,00 0,15 0,00 0,19 0,01 0,07 0,19 transfusion 0,74 0,30 0,32 0,39 0,15 0,43 0,09 0,37 0,50 vehicle 0,96 0,83 0,87 0,87 0,33 0,88 0,87 0,86 0,92 yeast-me2 0,55 0,24 0,19 0,32 0,00 0,27 0,26 0,19 0,21

29 BRACID ocena eksperymentalna Porównanie klasyfikatorów - G-mean Zbiór BRACID RISE knn C45.rules CN2 PART RIPPER Modlem Modlem-C abalone 0,65 0,34 0,36 0,57 0,40 0,42 0,42 0,48 0,51 b-cancer 0,56 0,54 0,47 0,49 0,46 0,53 0,48 0,49 0,53 car 0,87 0,75 0,08 0,86 0,71 0,94 0,71 0,88 0,88 cleveland 0,57 0,23 0,08 0,26 0,00 0,38 0,26 0,15 0,23 cmc 0,64 0,51 0,52 0,59 0,26 0,54 0,25 0,47 0,54 credit-g 0,61 0,54 0,57 0,55 0,47 0,60 0,44 0,56 0,65 ecoli 0,83 0,64 0,70 0,72 0,28 0,55 0,59 0,57 0,63 haberman 0,58 0,38 0,33 0,43 0,35 0,47 0,36 0,40 0,53 hepatitis 0,75 0,60 0,62 0,51 0,05 0,55 0,50 0,50 0,64 new-thyroid 0,98 0,95 0,92 0,90 0,92 0,95 0,91 0,88 0,90 solar-flaref 0,64 0,14 0,00 0,27 0,00 0,32 0,02 0,13 0,32 transfusion 0,64 0,51 0,53 0,58 0,34 0,60 0,27 0,53 0,58 vehicle 0,94 0,90 0,91 0,91 0,51 0,92 0,92 0,92 0,94 yeast-me2 0,71 0,44 0,34 0,51 0,00 0,42 0,45 0,34 0,37

30 BRACID ocena eksperymentalna Porównanie klasyfikatorów - F-miara Zbiór BRACID RISE knn C45.rules CN2 PART RIPPER Modlem Modlem-C abalone 0,37 0,19 0,21 0,39 0,25 0,27 0,28 0,33 0,35 b-cancer 0,44 0,43 0,36 0,37 0,33 0,39 0,37 0,35 0,39 car 0,73 0,67 0,05 0,77 0,68 0,90 0,60 0,87 0,86 cleveland 0,33 0,17 0,06 0,18 0,00 0,23 0,17 0,10 0,16 cmc 0,44 0,35 0,36 0,43 0,14 0,36 0,12 0,31 0,37 credit-g 0,53 0,40 0,45 0,43 0,35 0,47 0,31 0,44 0,52 ecoli 0,60 0,52 0,59 0,59 0,24 0,45 0,47 0,46 0,51 haberman 0,44 0,24 0,21 0,30 0,23 0,35 0,23 0,26 0,37 hepatitis 0,60 0,49 0,54 0,41 0,10 0,45 0,41 0,42 0,54 new-thyroid 0,97 0,95 0,89 0,84 0,91 0,92 0,88 0,85 0,87 solar-flaref 0,28 0,09 0,00 0,17 0,00 0,18 0,01 0,08 0,19 transfusion 0,47 0,35 0,38 0,44 0,21 0,46 0,15 0,35 0,40 vehicle 0,86 0,86 0,88 0,87 0,43 0,88 0,88 0,89 0,90 yeast-me2 0,42 0,31 0,24 0,35 0,00 0,29 0,29 0,24 0,26

31 BRACID ocena eksperymentalna Porównanie klasyfikatorów - statystyki reguł Zbiór klasyfikator l. reguł (MIN) l. reguł (MAJ) l. przyp. siła (MIN) Siła (MAJ) b-cancer CN2 22,60 34,88 2,77 6,09 Modlem 32,46 36,94 3,04 7,20 RISE 52,68 73,12 2,45 7,99 BRACID 64,60 61,54 18,10 4,76 5,78 hepatitis CN2 3,66 4,14 4,00 15,68 Modlem 4,88 5,42 7,78 30,17 RISE 22,18 47,60 5,12 16,58 BRACID 60,88 46,54 1,38 7,03 19,57 new-thyroid CN2 2,70 3,20 17,71 140,63 Modlem 2,76 2,54 19,10 133,17 RISE 9,72 20,98 13,23 112,15 BRACID 19,18 20,70 0,04 23,18 116,76 transfusion CN2 23,00 37,24 9,86 17,85 Modlem 59,02 63,36 6,32 14,59 RISE 101,08 110,66 7,86 14,62 BRACID 146,02 109,06 21,00 11,90 11,06

32 BRACID ocena eksperymentalna Porównanie klasyfikatorów - statystyki reguł Zbiór klasyfikator l. reguł (MIN) l. reguł (MAJ) l. przyp. siła (MIN) Siła (MAJ) solar-flaref CN2 11,30 29,02 30,49 59,39 Modlem 20,24 18,18 5,55 107,20 RISE 32,64 48,42 4,10 58,20 BRACID 34,50 64,08 11,70 7,55 37,14 cleveland CN2 9,76 13,02 10,64 44,71 Modlem 11,82 14,20 2,91 37,33 RISE 19,10 83,66 4,22 16,02 BRACID 84,52 81,20 2,50 5,71 17,05 car CN2 30,34 16,00 2,21 215,76 Modlem 14,02 12,00 5,07 270,31 RISE 45,38 328,92 1,85 17,54 BRACID 35,74 164,14 12,28 2,95 32,29

33 BRACID ocena eksperymentalna Porównanie opcji BRACID - sensitivity 1 0,9 0,8 0,7 BRACID BRACID-C BRACID-N-C BRACID-N-E-C 0,6 0,5 0,4 0,3 0,2 0,1

34 BRACID ocena eksperymentalna Porównanie opcji BRACID - G-mean 1 0,9 0,8 0,7 BRACID BRACID-C BRACID-N-C BRACID-N-E-C 0,6 0,5 0,4 0,3 0,2

35 BRACID ocena eksperymentalna Porównanie opcji BRACID - siła reguł mniejszościowych BRACID BRACID-N-E

36 BRACID podsumowanie BRACID poprawia rozpoznanie klasy mniejszościowej Wygrywa z innymi klasyfikatorami regułowymi oraz knn Poprawia miary globalne Tworzy większe zbiory reguł (szczególnie dla klasy mniejszościowej) Tworzy średnio silniejsze reguły

37 BRACID podsumowanie BRACID stara się na wielu płaszczyznach dostosować do problematyki danych niezrównoważonych: integracja RBL i IBL aby wykorzystać zalety obu podejść odejście od indukcji top-down aby zapobiec maximumgenerality bias zmiana miar oceny reguł aby zapobiec majority bias odejście od sequential covering aby zapobiec fragmentacji danych tworzenie większej liczby reguł dla klasy mniejszościowej w trudnych regionach (reguły wyłącznie z danych, inaczej niż nadlosowanie przykładów w preprocessingu i sztuczne podnoszenie siły reguł w strategii klasyfikacyjnej) poszerzanie granic klasy mniejszościowej i wybór z większej liczby reguł w spójnych regionach klasy mniejszościowej w odpowiedzi na problem niedoreprezentowania klasy mniejszościowej obsługa szumu większościowego aby zapobiec fragmentacji obszaru klasy mniejszościowej zastosowanie bardziej lokalnych strategii klasyfikacyjnych

38 BRACID podsumowanie Kierunki dalszych prac: Porównanie z innymi dedykowanymi klasyfikatorami regułowymi poza Modlem-C Obsługa większej liczby klas mniejszościowych (problemów wieloklasowych) Kontrolowane eksperymenty na sztucznych danych aby ocenić skuteczność BRACID na różnych rodzajach zaszumienia danych

39 Plan doktoratu K. Napierała, J.Stefanowski. Argument Based Generalization of MODLEM Rule Induction Algorithm. RSCTC'2010. K. Napierała, J. Stefanowski. Addressing imbalanced data with argument based rule learning. W recenzji w Computational Intelligence Journal ABMODLEM Wykorzystanie wiedzy eksperckiej SPIDER Preprocessing przykładów K. Napierala, J. Stefanowski, S. Wilk. Learning from Imbalanced Data in Presence of Noisy and Borderline Examples. RSCTC'2010. W przygotowaniu artykuł BRACID Algorytm uczenia reguł z danych niezrównoważonych W przygotowaniu artykuł

Rozszerzenia klasyfikatorów złożonych dla danych niezrównoważonych

Rozszerzenia klasyfikatorów złożonych dla danych niezrównoważonych klasyfikatorów złożonych dla danych niezrównoważonych Marcin Szajek Politechnika Poznańska, Instytut Informatyki 23.04.2013 Marcin Szajek Rozsz. klas. złoż. dla danych niezrównoważonych 1 / 30 Plan prezentacji

Bardziej szczegółowo

RILL - przyrostowy klasyfikator regułowy uczący się ze zmiennych środowisk

RILL - przyrostowy klasyfikator regułowy uczący się ze zmiennych środowisk Wprowadzenie RILL - przyrostowy klasyfikator regułowy uczący się ze zmiennych środowisk Magdalena Deckert Politechnika Poznańska, Instytut Informatyki Seminarium ISWD, 21.05.2013 M. Deckert Przyrostowy

Bardziej szczegółowo

Badania w zakresie systemów uczących się w Zakładzie ISWD. Politechnika Poznańska Instytut Informatyki

Badania w zakresie systemów uczących się w Zakładzie ISWD. Politechnika Poznańska Instytut Informatyki Badania w zakresie systemów uczących się w Zakładzie ISWD Politechnika Poznańska Instytut Informatyki Seminarium ML - Poznań, 3 04 2013 Informacje ogólne Politechnika Poznańska Wydział Informatyki, Instytut

Bardziej szczegółowo

Odkrywanie wiedzy klasyfikacyjnej z niezrównoważonych danych

Odkrywanie wiedzy klasyfikacyjnej z niezrównoważonych danych Odkrywanie wiedzy klasyfikacyjnej z niezrównoważonych danych Learning classifiers from imbalanced data Wpływ niezrównoważenia klas na klasyfikator Wykład ZED dla specjal. TPD JERZY STEFANOWSKI Instytut

Bardziej szczegółowo

LEMRG algorytm generowania pokoleń reguł decyzji dla baz danych z dużą liczbą atrybutów

LEMRG algorytm generowania pokoleń reguł decyzji dla baz danych z dużą liczbą atrybutów LEMRG algorytm generowania pokoleń reguł decyzji dla baz danych z dużą liczbą atrybutów Łukasz Piątek, Jerzy W. Grzymała-Busse Katedra Systemów Ekspertowych i Sztucznej Inteligencji, Wydział Informatyki

Bardziej szczegółowo

Zastosowanie sieci neuronowych w problemie klasyfikacji wielokategorialnej. Adam Żychowski

Zastosowanie sieci neuronowych w problemie klasyfikacji wielokategorialnej. Adam Żychowski Zastosowanie sieci neuronowych w problemie klasyfikacji wielokategorialnej Adam Żychowski Definicja problemu Każdy z obiektów może należeć do więcej niż jednej kategorii. Alternatywna definicja Zastosowania

Bardziej szczegółowo

mgr inż. Magdalena Deckert Poznań, r. Metody przyrostowego uczenia się ze strumieni danych.

mgr inż. Magdalena Deckert Poznań, r. Metody przyrostowego uczenia się ze strumieni danych. mgr inż. Magdalena Deckert Poznań, 30.11.2010r. Metody przyrostowego uczenia się ze strumieni danych. Plan prezentacji Wstęp Concept drift i typy zmian Algorytmy przyrostowego uczenia się ze strumieni

Bardziej szczegółowo

Przykład eksploracji danych Case 1.X

Przykład eksploracji danych Case 1.X Przykład eksploracji danych Case 1.X JERZY STEFANOWSKI TPD Zaawansowana eksploracja danych edycja 2009/2010 Plan 1. Przykładowe studium przypadki 2. Analiza opisu przypadku 3. Ustalenie celu analizy i

Bardziej szczegółowo

Odkrywanie wiedzy klasyfikacyjnej inne metody oraz metodyka oceny

Odkrywanie wiedzy klasyfikacyjnej inne metody oraz metodyka oceny Odkrywanie wiedzy klasyfikacyjnej inne metody oraz metodyka oceny Wykład HiED dla specjal. TWO JERZY STEFANOWSKI Instytut Informatyki Politechnika Poznańska Poznań Poznań, grudzien 2010 Wiedza o klasyfikacji

Bardziej szczegółowo

4.1. Wprowadzenie...70 4.2. Podstawowe definicje...71 4.3. Algorytm określania wartości parametrów w regresji logistycznej...74

4.1. Wprowadzenie...70 4.2. Podstawowe definicje...71 4.3. Algorytm określania wartości parametrów w regresji logistycznej...74 3 Wykaz najważniejszych skrótów...8 Przedmowa... 10 1. Podstawowe pojęcia data mining...11 1.1. Wprowadzenie...12 1.2. Podstawowe zadania eksploracji danych...13 1.3. Główne etapy eksploracji danych...15

Bardziej szczegółowo

Metody klasyfikacji danych - część 1 p.1/24

Metody klasyfikacji danych - część 1 p.1/24 Metody klasyfikacji danych - część 1 Inteligentne Usługi Informacyjne Jerzy Dembski Metody klasyfikacji danych - część 1 p.1/24 Plan wykładu - Zadanie klasyfikacji danych - Przeglad problemów klasyfikacji

Bardziej szczegółowo

Metody tworzenia efektywnych komitetów klasyfikatorów jednoklasowych Bartosz Krawczyk Katedra Systemów i Sieci Komputerowych Politechnika Wrocławska

Metody tworzenia efektywnych komitetów klasyfikatorów jednoklasowych Bartosz Krawczyk Katedra Systemów i Sieci Komputerowych Politechnika Wrocławska Metody tworzenia efektywnych komitetów klasyfikatorów jednoklasowych Bartosz Krawczyk Katedra Systemów i Sieci Komputerowych Politechnika Wrocławska e-mail: bartosz.krawczyk@pwr.wroc.pl Czym jest klasyfikacja

Bardziej szczegółowo

WYKŁAD 6. Reguły decyzyjne

WYKŁAD 6. Reguły decyzyjne Wrocław University of Technology WYKŁAD 6 Reguły decyzyjne autor: Maciej Zięba Politechnika Wrocławska Reprezentacje wiedzy Wiedza w postaci reguł decyzyjnych Wiedza reprezentowania jest w postaci reguł

Bardziej szczegółowo

Problem eliminacji nieprzystających elementów w zadaniu rozpoznania wzorca Marcin Luckner

Problem eliminacji nieprzystających elementów w zadaniu rozpoznania wzorca Marcin Luckner Problem eliminacji nieprzystających elementów w zadaniu rozpoznania wzorca Marcin Luckner Wydział Matematyki i Nauk Informacyjnych Politechnika Warszawska Elementy nieprzystające Definicja odrzucania Klasyfikacja

Bardziej szczegółowo

Budowa modeli klasyfikacyjnych o skośnych warunkach

Budowa modeli klasyfikacyjnych o skośnych warunkach Budowa modeli klasyfikacyjnych o skośnych warunkach Marcin Michalak (Marcin.Michalak@polsl.pl) III spotkanie Polskiej Grupy Badawczej Systemów Uczących Się Wrocław, 17 18.03.2014 Outline 1 Dwa podejścia

Bardziej szczegółowo

KDD and DM 1 W8: REGUŁY DECYZYJNE. Nguyen Hung Son

KDD and DM 1 W8: REGUŁY DECYZYJNE. Nguyen Hung Son DM 1 W8: REGUŁY DECYZYJNE Nguyen Hung Son Tematy DM 2 Reguły decyzyjne: prosty opis klas decyzyjnych Problem wyszukiwania reguł decyzyjnych Algorytmy generowania reguł decyzyjnych Sekwencyjne pokrywanie

Bardziej szczegółowo

Michał Kozielski Łukasz Warchał. Instytut Informatyki, Politechnika Śląska

Michał Kozielski Łukasz Warchał. Instytut Informatyki, Politechnika Śląska Michał Kozielski Łukasz Warchał Instytut Informatyki, Politechnika Śląska Algorytm DBSCAN Algorytm OPTICS Analiza gęstego sąsiedztwa w grafie Wstępne eksperymenty Podsumowanie Algorytm DBSCAN Analiza gęstości

Bardziej szczegółowo

Optimizing Programs with Intended Semantics

Optimizing Programs with Intended Semantics Interaktywna optymalizacja programów 26 kwietnia 2010 Spis treści Spis treści Wstęp Omówienie zaproponowanego algorytmu na przykładzie Wewnętrzna reprezentacja reguł dotyczących optymalizacji Wybrane szczegóły

Bardziej szczegółowo

Wybrane zagadnienia uczenia maszynowego. Zastosowania Informatyki w Informatyce W2 Krzysztof Krawiec

Wybrane zagadnienia uczenia maszynowego. Zastosowania Informatyki w Informatyce W2 Krzysztof Krawiec Wybrane zagadnienia uczenia maszynowego Zastosowania Informatyki w Informatyce W2 Krzysztof Krawiec Przygotowane na podstawie T. Mitchell, Machine Learning S.J. Russel, P. Norvig, Artificial Intelligence

Bardziej szczegółowo

Adrian Horzyk

Adrian Horzyk Metody Inteligencji Obliczeniowej Metoda K Najbliższych Sąsiadów (KNN) Adrian Horzyk horzyk@agh.edu.pl AGH Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej

Bardziej szczegółowo

Komitety sieci konwolucyjnych w zagadnieniu klasyfikacji przy jednoczesnym zaszumieniu danych wejściowych oraz etykiet klas. Stanisław Kaźmierczak

Komitety sieci konwolucyjnych w zagadnieniu klasyfikacji przy jednoczesnym zaszumieniu danych wejściowych oraz etykiet klas. Stanisław Kaźmierczak Komitety sieci konwolucyjnych w zagadnieniu klasyfikacji przy jednoczesnym zaszumieniu danych wejściowych oraz etykiet klas Stanisław Kaźmierczak Szum i jego rodzaje Źródła szumu Model Architektura sieci

Bardziej szczegółowo

mgr inż. Magdalena Deckert Poznań, r. Uczenie się klasyfikatorów przy zmieniającej się definicji klas.

mgr inż. Magdalena Deckert Poznań, r. Uczenie się klasyfikatorów przy zmieniającej się definicji klas. mgr inż. Magdalena Deckert Poznań, 01.06.2010r. Uczenie się klasyfikatorów przy zmieniającej się definicji klas. Plan prezentacji Wstęp Concept drift Typy zmian Podział algorytmów stosowanych w uczeniu

Bardziej szczegółowo

Metody oceny wiedzy klasyfikacyjnej odkrytej z danych Jerzy Stefanowski Instytut Informatyki Politechnika Poznańska

Metody oceny wiedzy klasyfikacyjnej odkrytej z danych Jerzy Stefanowski Instytut Informatyki Politechnika Poznańska Metody oceny wiedzy klasyfikacyjnej odkrytej z danych Jerzy Stefanowski Instytut Informatyki Politechnika Poznańska Wykład dla spec. Mgr TWO Poznań 2010 dodatek 1 Ocena wiedzy klasyfikacyjnej wykład dla

Bardziej szczegółowo

Elementy modelowania matematycznego

Elementy modelowania matematycznego Elementy modelowania matematycznego Modelowanie algorytmów klasyfikujących. Podejście probabilistyczne. Naiwny klasyfikator bayesowski. Modelowanie danych metodą najbliższych sąsiadów. Jakub Wróblewski

Bardziej szczegółowo

Hard-Margin Support Vector Machines

Hard-Margin Support Vector Machines Hard-Margin Support Vector Machines aaacaxicbzdlssnafiyn9vbjlepk3ay2gicupasvu4iblxuaw2hjmuwn7ddjjmxm1bkcg1/fjqsvt76fo9/gazqfvn8y+pjpozw5vx8zkpvtfxmlhcwl5zxyqrm2vrg5zw3vxmsoezi4ogkr6phieky5crvvjhriqvdom9l2xxftevuwcekj3lktmhghgniauiyutvrwxtvme34a77kbvg73gtygpjsrfati1+xc8c84bvraowbf+uwnipyehcvmkjrdx46vlykhkgykm3ujjdhcyzqkxy0chur6ax5cbg+1m4bbjptjcubuz4kuhvjoql93hkin5hxtav5x6yyqopnsyuneey5ni4keqrxbar5wqaxbik00icyo/iveiyqqvjo1u4fgzj/8f9x67bzmxnurjzmijtlybwfgcdjgfdtajwgcf2dwaj7ac3g1ho1n4814n7wwjgjmf/ys8fenfycuzq==

Bardziej szczegółowo

SYSTEMY UCZĄCE SIĘ WYKŁAD 10. PRZEKSZTAŁCANIE ATRYBUTÓW. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska.

SYSTEMY UCZĄCE SIĘ WYKŁAD 10. PRZEKSZTAŁCANIE ATRYBUTÓW. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska. SYSTEMY UCZĄCE SIĘ WYKŁAD 10. PRZEKSZTAŁCANIE ATRYBUTÓW Częstochowa 2014 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska INFORMACJE WSTĘPNE Hipotezy do uczenia się lub tworzenia

Bardziej szczegółowo

METODY INŻYNIERII WIEDZY

METODY INŻYNIERII WIEDZY METODY INŻYNIERII WIEDZY WALIDACJA KRZYŻOWA dla ZAAWANSOWANEGO KLASYFIKATORA KNN ĆWICZENIA Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej

Bardziej szczegółowo

Optymalizacja reguł decyzyjnych względem pokrycia

Optymalizacja reguł decyzyjnych względem pokrycia Zakład Systemów Informatycznych Instytut Informatyki, Uniwersytet Śląski Chorzów, 9 grudzień 2014 Wprowadzenie Wprowadzenie problem skalowalności dla optymalizacji reguł decyzjnych na podstawie podejścia

Bardziej szczegółowo

Wyk lad 8: Leniwe metody klasyfikacji

Wyk lad 8: Leniwe metody klasyfikacji Wyk lad 8: Leniwe metody Wydzia l MIM, Uniwersytet Warszawski Outline 1 2 lazy vs. eager learning lazy vs. eager learning Kiedy stosować leniwe techniki? Eager learning: Buduje globalna hipoteze Zaleta:

Bardziej szczegółowo

Automatyczne wyodrębnianie reguł

Automatyczne wyodrębnianie reguł Automatyczne wyodrębnianie reguł Jedną z form reprezentacji wiedzy jest jej zapis w postaci zestawu reguł. Ta forma ma szereg korzyści: daje się łatwo interpretować, można zrozumieć sposób działania zbudowanego

Bardziej szczegółowo

Data Mining Wykład 4. Plan wykładu

Data Mining Wykład 4. Plan wykładu Data Mining Wykład 4 Klasyfikacja danych Klasyfikacja poprzez indukcje drzew decyzyjnych Plan wykładu Sformułowanie problemu Kryteria oceny metod klasyfikacji Metody klasyfikacji Klasyfikacja poprzez indukcje

Bardziej szczegółowo

Kraków, 14 marca 2013 r.

Kraków, 14 marca 2013 r. Scenariusze i trendy rozwojowe wybranych technologii społeczeństwa informacyjnego do roku 2025 Antoni Ligęza Perspektywy rozwoju systemów eksperckich do roku 2025 Kraków, 14 marca 2013 r. Dane informacja

Bardziej szczegółowo

KLASYFIKACJA. Słownik języka polskiego

KLASYFIKACJA. Słownik języka polskiego KLASYFIKACJA KLASYFIKACJA Słownik języka polskiego Klasyfikacja systematyczny podział przedmiotów lub zjawisk na klasy, działy, poddziały, wykonywany według określonej zasady Klasyfikacja polega na przyporządkowaniu

Bardziej szczegółowo

Analiza stanów gry na potrzeby UCT w DVRP

Analiza stanów gry na potrzeby UCT w DVRP Analiza stanów gry na potrzeby UCT w DVRP Seminarium IO na MiNI 04.11.2014 Michał Okulewicz based on the decision DEC-2012/07/B/ST6/01527 Plan prezentacji Definicja problemu DVRP DVRP na potrzeby UCB Analiza

Bardziej szczegółowo

SYSTEMY UCZĄCE SIĘ WYKŁAD 4. DRZEWA REGRESYJNE, INDUKCJA REGUŁ. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska

SYSTEMY UCZĄCE SIĘ WYKŁAD 4. DRZEWA REGRESYJNE, INDUKCJA REGUŁ. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska SYSTEMY UCZĄCE SIĘ WYKŁAD 4. DRZEWA REGRESYJNE, INDUKCJA REGUŁ Częstochowa 2014 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska DRZEWO REGRESYJNE Sposób konstrukcji i przycinania

Bardziej szczegółowo

PROGRAM DO INDUKCJI I OCENY REGUŁ KLASYFIKACYJNYCH, ZINTEGROWANY Z PAKIETEM R

PROGRAM DO INDUKCJI I OCENY REGUŁ KLASYFIKACYJNYCH, ZINTEGROWANY Z PAKIETEM R STUDIA INFORMATICA 2013 Volume 34 Number 2B (112) Wojciech MALARA, Marek SIKORA, Łukasz WRÓBEL Politechnika Śląska, Instytut Informatyki PROGRAM DO INDUKCJI I OCENY REGUŁ KLASYFIKACYJNYCH, ZINTEGROWANY

Bardziej szczegółowo

Laboratorium 11. Regresja SVM.

Laboratorium 11. Regresja SVM. Laboratorium 11 Regresja SVM. 1. Uruchom narzędzie Oracle Data Miner i połącz się z serwerem bazy danych. 2. Z menu głównego wybierz Activity Build. Na ekranie powitalnym kliknij przycisk Dalej>. 3. Z

Bardziej szczegółowo

Wybrane zagadnienia uczenia maszynowego

Wybrane zagadnienia uczenia maszynowego Przygotowane na podstawie Wybrane zagadnienia uczenia maszynowego Zastosowania Informatyki w Informatyce W2 Krzysztof Krawiec 1. T. Mitchell, Machine Learning 2. S.J. Russel, P. Norvig, Artificial Intelligence

Bardziej szczegółowo

Eksploracja danych OCENA KLASYFIKATORÓW. Wojciech Waloszek. Teresa Zawadzka.

Eksploracja danych OCENA KLASYFIKATORÓW. Wojciech Waloszek. Teresa Zawadzka. Eksploracja danych OCENA KLASYFIKATORÓW Wojciech Waloszek wowal@eti.pg.gda.pl Teresa Zawadzka tegra@eti.pg.gda.pl Katedra Inżynierii Oprogramowania Wydział Elektroniki, Telekomunikacji i Informatyki Politechnika

Bardziej szczegółowo

data mining machine learning data science

data mining machine learning data science data mining machine learning data science deep learning, AI, statistics, IoT, operations research, applied mathematics KISIM, WIMiIP, AGH 1 Machine Learning / Data mining / Data science Uczenie maszynowe

Bardziej szczegółowo

Eksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18

Eksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18 Eksploracja Danych wykład 4 Sebastian Zając WMP.SNŚ UKSW 10 maja 2017 Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja 2017 1 / 18 Klasyfikacja danych Klasyfikacja Najczęściej stosowana (najstarsza)

Bardziej szczegółowo

ZeroR. Odpowiada zawsze tak samo Decyzja to klasa większościowa ze zbioru uczącego A B X 1 5 T 1 7 T 1 5 T 1 5 F 2 7 F

ZeroR. Odpowiada zawsze tak samo Decyzja to klasa większościowa ze zbioru uczącego A B X 1 5 T 1 7 T 1 5 T 1 5 F 2 7 F ZeroR Odpowiada zawsze tak samo Decyzja to klasa większościowa ze zbioru uczącego A B X 5 T 7 T 5 T 5 F 2 7 F Tutaj jest więcej obiektów klasy T, więc klasyfikator ZeroR będzie zawsze odpowiadał T niezależnie

Bardziej szczegółowo

Wprowadzenie do programu RapidMiner, część 4 Michał Bereta

Wprowadzenie do programu RapidMiner, część 4 Michał Bereta Wprowadzenie do programu RapidMiner, część 4 Michał Bereta www.michalbereta.pl 1. Wybór atrybutów (ang. attribute selection, feature selection). Jedną z podstawowych metod analizy współoddziaływania /

Bardziej szczegółowo

ń Ż Ż Ż ź Ś ź ń ŚĆ ć ń Ę ć Ć ń Ę ć ń ć ć Ż Ę Ę Ś ń Ó ć Ę Ć ć ć Ę Ę Ż ń ć ć Ś ń Ę ć ń Ś Ś ć ź Ś ŹĆ Ż Ś Ż ć ć ć ć ć ć ń ć ć ń ć ć Ś Ć ń Ś Ą ć ć ć ć ć ć ń ć ń ć Ć ć ń ć Ą ń ć ć Ę Ś ć ń ź ń Ć Ć ń ć ć ć Ś ć

Bardziej szczegółowo

Algorytmy klasteryzacji jako metoda dyskretyzacji w algorytmach eksploracji danych. Łukasz Przybyłek, Jakub Niwa Studenckie Koło Naukowe BRAINS

Algorytmy klasteryzacji jako metoda dyskretyzacji w algorytmach eksploracji danych. Łukasz Przybyłek, Jakub Niwa Studenckie Koło Naukowe BRAINS Algorytmy klasteryzacji jako metoda dyskretyzacji w algorytmach eksploracji danych Łukasz Przybyłek, Jakub Niwa Studenckie Koło Naukowe BRAINS Dyskretyzacja - definicja Dyskretyzacja - zamiana atrybutów

Bardziej szczegółowo

Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym

Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym Jan Karwowski Wydział Matematyki i Nauk Informacyjnych PW 17 XII 2013 Jan Karwowski

Bardziej szczegółowo

SZTUCZNA INTELIGENCJA

SZTUCZNA INTELIGENCJA SZTUCZNA INTELIGENCJA SYSTEMY ROZMYTE Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej Katedra Automatyki i Inżynierii Biomedycznej Laboratorium

Bardziej szczegółowo

Systemy ekspertowe. Wnioskowanie w systemach regułowych. Część piąta. Autor Roman Simiński.

Systemy ekspertowe. Wnioskowanie w systemach regułowych. Część piąta.  Autor Roman Simiński. Część piąta Autor Roman Simiński Kontakt siminski@us.edu.pl www.us.edu.pl/~siminski Niniejsze opracowanie zawiera skrót treści wykładu, lektura tych materiałów nie zastąpi uważnego w nim uczestnictwa.

Bardziej szczegółowo

Identyfikacja istotnych atrybutów za pomocą Baysowskich miar konfirmacji

Identyfikacja istotnych atrybutów za pomocą Baysowskich miar konfirmacji Identyfikacja istotnych atrybutów za pomocą Baysowskich miar konfirmacji Jacek Szcześniak Jerzy Błaszczyński Roman Słowiński Poznań, 5.XI.2013r. Konspekt Wstęp Wprowadzenie Metody typu wrapper Nowe metody

Bardziej szczegółowo

Wprowadzenie do klasyfikacji

Wprowadzenie do klasyfikacji Wprowadzenie do klasyfikacji ZeroR Odpowiada zawsze tak samo Decyzja to klasa większościowa ze zbioru uczącego A B X 1 5 T 1 7 T 1 5 T 1 5 F 2 7 F Tutaj jest więcej obiektów klasy T, więc klasyfikator

Bardziej szczegółowo

S O M SELF-ORGANIZING MAPS. Przemysław Szczepańczyk Łukasz Myszor

S O M SELF-ORGANIZING MAPS. Przemysław Szczepańczyk Łukasz Myszor S O M SELF-ORGANIZING MAPS Przemysław Szczepańczyk Łukasz Myszor Podstawy teoretyczne Map Samoorganizujących się stworzył prof. Teuvo Kohonen (1982 r.). SOM wywodzi się ze sztucznych sieci neuronowych.

Bardziej szczegółowo

Ontogeniczne sieci neuronowe. O sieciach zmieniających swoją strukturę

Ontogeniczne sieci neuronowe. O sieciach zmieniających swoją strukturę Norbert Jankowski Ontogeniczne sieci neuronowe O sieciach zmieniających swoją strukturę Warszawa 2003 Opracowanie książki było wspierane stypendium Uniwersytetu Mikołaja Kopernika Spis treści Wprowadzenie

Bardziej szczegółowo

ń Ę Ę Ę Ę ń ń Ś ź Ę ś ś Ę Ś Ą Ę Ę Ę Ę Ż Ę Ę ść Ą Ł Ę Ć ć Ś Ę Ę ś Ę Ż Ś Ę Ę ń Ż Ę Ć ź ć Ł ś Ę ś Ż ś Ś ś Ę ć Ł ś Ż ŚĆ Ę ń ŚĆ ść ś ś ń ś Ś ś ś Ęś Ę ć ś ść ń ń Ć ś Ą ń ć Ą Ś ń ś ś ć ć ś źć ć ź ś ń Ę ś Ę ć

Bardziej szczegółowo

OPTYMALIZACJA CZĘŚCIOWYCH REGUŁ ASOCJACYJNYCH WZGLĘDEM LICZBY POMYŁEK

OPTYMALIZACJA CZĘŚCIOWYCH REGUŁ ASOCJACYJNYCH WZGLĘDEM LICZBY POMYŁEK STUDIA INFORMATICA 2016 Volume 37 Number 1 (123) Beata ZIELOSKO Uniwersytet Śląski, Instytut Informatyki Marek ROBASZKIEWICZ EL-PLUS Sp. z o.o. OPTYMALIZACJA CZĘŚCIOWYCH REGUŁ ASOCJACYJNYCH WZGLĘDEM LICZBY

Bardziej szczegółowo

Elementy inteligencji obliczeniowej

Elementy inteligencji obliczeniowej Elementy inteligencji obliczeniowej Paweł Liskowski Institute of Computing Science, Poznań University of Technology 9 October 2018 1 / 19 Perceptron Perceptron (Rosenblatt, 1957) to najprostsza forma sztucznego

Bardziej szczegółowo

Uczenie ze wzmocnieniem

Uczenie ze wzmocnieniem Uczenie ze wzmocnieniem Maria Ganzha Wydział Matematyki i Nauk Informatycznych 2018-2019 Przypomnienia (1) Do tych czas: stan X t u, gdzie u cel aktualizacji: MC : X t G t TD(0) : X y R t+1 + γˆv(x t,

Bardziej szczegółowo

Kombinacja jądrowych estymatorów gęstości w klasyfikacji wstępne wyniki

Kombinacja jądrowych estymatorów gęstości w klasyfikacji wstępne wyniki Kombinacja jądrowych estymatorów gęstości w klasyfikacji wstępne wyniki Mateusz Kobos, 10.12.2008 Seminarium Metody Inteligencji Obliczeniowej 1/46 Spis treści Działanie algorytmu Uczenie Odtwarzanie/klasyfikacja

Bardziej szczegółowo

Drzewa decyzyjne i lasy losowe

Drzewa decyzyjne i lasy losowe Drzewa decyzyjne i lasy losowe Im dalej w las tym więcej drzew! ML Gdańsk http://www.mlgdansk.pl/ Marcin Zadroga https://www.linkedin.com/in/mzadroga/ 20 Czerwca 2017 WPROWADZENIE DO MACHINE LEARNING CZYM

Bardziej szczegółowo

Drzewa decyzyjne. Inteligentne Obliczenia. Wydział Mechatroniki Politechniki Warszawskiej. Anna Sztyber

Drzewa decyzyjne. Inteligentne Obliczenia. Wydział Mechatroniki Politechniki Warszawskiej. Anna Sztyber Drzewa decyzyjne Inteligentne Obliczenia Wydział Mechatroniki Politechniki Warszawskiej Anna Sztyber INO (IAiR PW) Drzewa decyzyjne Anna Sztyber / Drzewa decyzyjne w podstawowej wersji algorytm klasyfikacji

Bardziej szczegółowo

WYKŁAD 4. Podejmowanie decyzji dla modeli probabilistycznych Modelowanie Gaussowskie. autor: Maciej Zięba. Politechnika Wrocławska

WYKŁAD 4. Podejmowanie decyzji dla modeli probabilistycznych Modelowanie Gaussowskie. autor: Maciej Zięba. Politechnika Wrocławska Wrocław University of Technology WYKŁAD 4 Podejmowanie decyzji dla modeli probabilistycznych Modelowanie Gaussowskie autor: Maciej Zięba Politechnika Wrocławska Klasyfikacja Klasyfikacja (ang. Classification):

Bardziej szczegółowo

Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym, kontynuacja badań

Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym, kontynuacja badań Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym, kontynuacja badań Jan Karwowski Wydział Matematyki i Nauk Informacyjnych PW

Bardziej szczegółowo

A Zadanie

A Zadanie where a, b, and c are binary (boolean) attributes. A Zadanie 1 2 3 4 5 6 7 8 9 10 Punkty a (maks) (2) (2) (2) (2) (4) F(6) (8) T (8) (12) (12) (40) Nazwisko i Imiȩ: c Uwaga: ta część zostanie wypełniona

Bardziej szczegółowo

Rozpoznawanie obrazów

Rozpoznawanie obrazów Rozpoznawanie obrazów Laboratorium Python Zadanie nr 2 κ-nn i Naive Bayes autorzy: M. Zięba, J.M. Tomczak, A. Gonczarek, S. Zaręba, J. Kaczmar Cel zadania Celem zadania jest implementacja klasyfikatorów

Bardziej szczegółowo

Sztuczna Inteligencja w medycynie projekt (instrukcja) Bożena Kostek

Sztuczna Inteligencja w medycynie projekt (instrukcja) Bożena Kostek Sztuczna Inteligencja w medycynie projekt (instrukcja) Bożena Kostek Cel projektu Celem projektu jest przygotowanie systemu wnioskowania, wykorzystującego wybrane algorytmy sztucznej inteligencji; Nabycie

Bardziej szczegółowo

Grupowanie Witold Andrzejewski, Politechnika Poznańska, Wydział Informatyki 201/633

Grupowanie Witold Andrzejewski, Politechnika Poznańska, Wydział Informatyki 201/633 Grupowanie Grupowanie 7 6 5 4 y 3 2 1 0-3 -2-1 0 1 2 3 4 5-1 -2-3 -4 x Witold Andrzejewski, Politechnika Poznańska, Wydział Informatyki 201/633 Wprowadzenie Celem procesu grupowania jest podział zbioru

Bardziej szczegółowo

Metody zbiorów przybliżonych w uczeniu się podobieństwa z wielowymiarowych zbiorów danych

Metody zbiorów przybliżonych w uczeniu się podobieństwa z wielowymiarowych zbiorów danych Metody zbiorów przybliżonych w uczeniu się podobieństwa z wielowymiarowych zbiorów danych WMIM, Uniwersytet Warszawski ul. Banacha 2, 02-097 Warszawa, Polska andrzejanusz@gmail.com 13.06.2013 Dlaczego

Bardziej szczegółowo

Metody klasyfikacji danych zaszumionych. Stanisław Kaźmierczak

Metody klasyfikacji danych zaszumionych. Stanisław Kaźmierczak Metody klasyfikacji danych zaszumionych Stanisław Kaźmierczak Agenda Szum Źródła szumu Zaszumianie i odszumianie Nauka i testowanie Architektura sieci Wyniki Wnioski oraz kierunki dalszych badań 2 3 Definicja

Bardziej szczegółowo

Kombinacja jądrowych estymatorów gęstości w klasyfikacji kontynuacja prac

Kombinacja jądrowych estymatorów gęstości w klasyfikacji kontynuacja prac Kombinacja jądrowych estymatorów gęstości w klasyfikacji kontynuacja prac Mateusz Kobos, 25.03.2009 Seminarium Metody Inteligencji Obliczeniowej 1/26 Spis treści Opis algorytmu Testy wersji z optymalizacją

Bardziej szczegółowo

1.7. Eksploracja danych: pogłębianie, przeszukiwanie i wyławianie

1.7. Eksploracja danych: pogłębianie, przeszukiwanie i wyławianie Wykaz tabel Wykaz rysunków Przedmowa 1. Wprowadzenie 1.1. Wprowadzenie do eksploracji danych 1.2. Natura zbiorów danych 1.3. Rodzaje struktur: modele i wzorce 1.4. Zadania eksploracji danych 1.5. Komponenty

Bardziej szczegółowo

Konstruowanie klasykatorów reguªowych z niezrównowa»onych danych

Konstruowanie klasykatorów reguªowych z niezrównowa»onych danych Konstruowanie klasykatorów reguªowych z niezrównowa»onych danych Streszczenie rozprawy doktorskiej 1 Wst p 1.1 Kontekst pracy Rozprawa dotyczy problemu klasykacji, w którym celem jest przypisanie obiektu

Bardziej szczegółowo

Klasyfikacja naiwny Bayes

Klasyfikacja naiwny Bayes Klasyfikacja naiwny Bayes LABORKA Piotr Ciskowski NAIWNY KLASYFIKATOR BAYESA wyjaśnienie Naiwny klasyfikator Bayesa żródło: Internetowy Podręcznik Statystyki Statsoft dane uczące 2 klasy - prawdopodobieństwo

Bardziej szczegółowo

Kombinacja jądrowych estymatorów gęstości w klasyfikacji - zastosowanie na sztucznym zbiorze danych

Kombinacja jądrowych estymatorów gęstości w klasyfikacji - zastosowanie na sztucznym zbiorze danych Kombinacja jądrowych estymatorów gęstości w klasyfikacji - zastosowanie na sztucznym zbiorze danych Mateusz Kobos, 07.04.2010 Seminarium Metody Inteligencji Obliczeniowej Spis treści Opis algorytmu i zbioru

Bardziej szczegółowo

Deep Learning na przykładzie Deep Belief Networks

Deep Learning na przykładzie Deep Belief Networks Deep Learning na przykładzie Deep Belief Networks Jan Karwowski Zakład Sztucznej Inteligencji i Metod Obliczeniowych Wydział Matematyki i Nauk Informacyjnych PW 20 V 2014 Jan Karwowski (MiNI) Deep Learning

Bardziej szczegółowo

Metody statyczne selekcji i konstruowania cech dla wizualizacji danych wielowymiarowych

Metody statyczne selekcji i konstruowania cech dla wizualizacji danych wielowymiarowych Metody statyczne selekcji i konstruowania cech dla wizualizacji danych wielowymiarowych Jerzy Stefanowski (PCA Robert Susmaga) Instytut Informatyki Politechniki Poznańskiej Wykład InfoVis dla TWO 205 Agregacje

Bardziej szczegółowo

Algorytm do rozpoznawania człowieka na podstawie dynamiki użycia klawiatury. Paweł Kobojek, prof. dr hab. inż. Khalid Saeed

Algorytm do rozpoznawania człowieka na podstawie dynamiki użycia klawiatury. Paweł Kobojek, prof. dr hab. inż. Khalid Saeed Algorytm do rozpoznawania człowieka na podstawie dynamiki użycia klawiatury Paweł Kobojek, prof. dr hab. inż. Khalid Saeed Zakres pracy Przegląd stanu wiedzy w dziedzinie biometrii, ze szczególnym naciskiem

Bardziej szczegółowo

METODY INŻYNIERII WIEDZY

METODY INŻYNIERII WIEDZY METODY INŻYNIERII WIEDZY Metoda K Najbliższych Sąsiadów K-Nearest Neighbours (KNN) ĆWICZENIA Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej

Bardziej szczegółowo

Machine Learning for Data Science (CS4786) Lecture 24. Differential Privacy and Re-useable Holdout

Machine Learning for Data Science (CS4786) Lecture 24. Differential Privacy and Re-useable Holdout Machine Learning for Data Science (CS4786) Lecture 24 Differential Privacy and Re-useable Holdout Defining Privacy Defining Privacy Dataset + Defining Privacy Dataset + Learning Algorithm Distribution

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-11 1 Modelowanie funkcji logicznych

Bardziej szczegółowo

Seminarium IO. Zastosowanie wielorojowej metody PSO w Dynamic Vehicle Routing Problem. Michał Okulewicz

Seminarium IO. Zastosowanie wielorojowej metody PSO w Dynamic Vehicle Routing Problem. Michał Okulewicz Seminarium IO Zastosowanie wielorojowej metody PSO w Dynamic Vehicle Routing Problem Michał Okulewicz 26.02.2013 Plan prezentacji Przypomnienie Problem DVRP Algorytm PSO Podejścia DAPSO, MAPSO 2PSO, 2MPSO

Bardziej szczegółowo

mgr inż. Mariusza Podsiadło temat: Forecasting Financial Time Series Movements with Rough Sets and Fuzzy Rough Sets

mgr inż. Mariusza Podsiadło temat: Forecasting Financial Time Series Movements with Rough Sets and Fuzzy Rough Sets Politechnika Warszawska Wydział Elektroniki i Technik Informacyjnych Warszawa, 3 stycznia 2017 r. D z i e k a n a t Uprzejmie informuję, że na Wydziale Elektroniki i Technik Informacyjnych Politechniki

Bardziej szczegółowo

UCZENIE MASZYNOWE III - SVM. mgr inż. Adam Kupryjanow

UCZENIE MASZYNOWE III - SVM. mgr inż. Adam Kupryjanow UCZENIE MASZYNOWE III - SVM mgr inż. Adam Kupryjanow Plan wykładu Wprowadzenie LSVM dane separowalne liniowo SVM dane nieseparowalne liniowo Nieliniowy SVM Kernel trick Przykłady zastosowań Historia 1992

Bardziej szczegółowo

Ćwiczenie 5. Metody eksploracji danych

Ćwiczenie 5. Metody eksploracji danych Ćwiczenie 5. Metody eksploracji danych Reguły asocjacyjne (association rules) Badaniem atrybutów lub cech, które są powiązane ze sobą, zajmuje się analiza podobieństw (ang. affinity analysis). Metody analizy

Bardziej szczegółowo

SID Wykład 10 Systemy uczace się

SID Wykład 10 Systemy uczace się SID Wykład 10 Systemy uczace się Wydział Matematyki, Informatyki i Mechaniki UW slezak@mimuw.edu.pl Uczenie indukcyjne Obiekty: Decyzja: dane reprezentujace rzeczywisty stan lub obiekt, tworza przestrzeń

Bardziej szczegółowo

Modelowanie hierarchicznych struktur w relacyjnych bazach danych

Modelowanie hierarchicznych struktur w relacyjnych bazach danych Modelowanie hierarchicznych struktur w relacyjnych bazach danych Wiktor Warmus (wiktorwarmus@gmail.com) Kamil Witecki (kamil@witecki.net.pl) 5 maja 2010 Motywacje Teoria relacyjnych baz danych Do czego

Bardziej szczegółowo

WYKORZYSTANIE SYSTEMU EKSPERTOWEGO DO DIAGNOZOWANIA OKRĘTOWEGO SILNIKA SPALINOWEGO

WYKORZYSTANIE SYSTEMU EKSPERTOWEGO DO DIAGNOZOWANIA OKRĘTOWEGO SILNIKA SPALINOWEGO Rafał Pawletko Akademia Morska w Gdyni WYKORZYSTANIE SYSTEMU EKSPERTOWEGO DO DIAGNOZOWANIA OKRĘTOWEGO SILNIKA SPALINOWEGO W artykule przedstawiono koncepcję systemu diagnostycznego okrętowego silnika tłokowego

Bardziej szczegółowo

Przestrzeń algorytmów klastrowania

Przestrzeń algorytmów klastrowania 20 listopada 2008 Plan prezentacji 1 Podstawowe pojęcia Przykłady algorytmów klastrowania 2 Odległość algorytmów klastrowania Odległość podziałów 3 Dane wejściowe Eksperymenty Praca źródłowa Podstawowe

Bardziej szczegółowo

Kombinacja jądrowych estymatorów gęstości w klasyfikacji - testy na sztucznych danych

Kombinacja jądrowych estymatorów gęstości w klasyfikacji - testy na sztucznych danych Kombinacja jądrowych estymatorów gęstości w klasyfikacji - testy na sztucznych danych Mateusz Kobos, 25.11.2009 Seminarium Metody Inteligencji Obliczeniowej 1/25 Spis treści Dolne ograniczenie na wsp.

Bardziej szczegółowo

JAKOŚĆ DANYCH Z PERSPEKTYWY SYSTEMÓW WSPOMAGANIA DECYZJI KLINICZNYCH. Dr hab. inż. Szymon Wilk Politechnika Poznańska Instytut Informatyki

JAKOŚĆ DANYCH Z PERSPEKTYWY SYSTEMÓW WSPOMAGANIA DECYZJI KLINICZNYCH. Dr hab. inż. Szymon Wilk Politechnika Poznańska Instytut Informatyki JAKOŚĆ DANYCH Z PERSPEKTYWY SYSTEMÓW WSPOMAGANIA DECYZJI KLINICZNYCH Dr hab. inż. Szymon Wilk Politechnika Poznańska Instytut Informatyki Warszawa, 28.11.2011 Konferencja ekspercka dotycząca e-zdrowia

Bardziej szczegółowo

Systemy uczące się Lab 4

Systemy uczące się Lab 4 Systemy uczące się Lab 4 dr Przemysław Juszczuk Katedra Inżynierii Wiedzy, Uniwersytet Ekonomiczny 26 X 2018 Projekt zaliczeniowy Podstawą zaliczenia ćwiczeń jest indywidualne wykonanie projektu uwzględniającego

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 2 κ-nn i Naive Bayes autorzy: M. Zięba, J.M. Tomczak, A. Gonczarek, S. Zaręba Cel zadania Celem zadania jest implementacja klasyfikatorów

Bardziej szczegółowo

Budowa optymalnych modeli uczenia na podstawie wtórnych źródeł wiedzy

Budowa optymalnych modeli uczenia na podstawie wtórnych źródeł wiedzy AKADEMIA GÓRNICZO-HUTNICZA IM. STANISŁAWA STASZICA W KRAKOWIE WYDZIAŁ ELEKTROTECHNIKI, AUTOMATYKI, INFORMATYKI I ELEKTRONIKI ROZPRAWA DOKTORSKA Budowa optymalnych modeli uczenia na podstawie wtórnych źródeł

Bardziej szczegółowo

MATLAB Neural Network Toolbox przegląd

MATLAB Neural Network Toolbox przegląd MATLAB Neural Network Toolbox przegląd WYKŁAD Piotr Ciskowski Neural Network Toolbox: Neural Network Toolbox - zastosowania: przykłady zastosowań sieci neuronowych: The 1988 DARPA Neural Network Study

Bardziej szczegółowo

Naiwny klasyfikator Bayesa brał pod uwagę jedynie najbliższe otoczenie. Lecz czym jest otoczenie? Jak je zdefiniować?

Naiwny klasyfikator Bayesa brał pod uwagę jedynie najbliższe otoczenie. Lecz czym jest otoczenie? Jak je zdefiniować? Algorytm k-nn Naiwny klasyfikator Bayesa brał pod uwagę jedynie najbliższe otoczenie. Lecz czym jest otoczenie? Jak je zdefiniować? Jak daleko są położone obiekty od siebie? knn k nearest neighbours jest

Bardziej szczegółowo

Interaktywne wyszukiwanie informacji w repozytoriach danych tekstowych

Interaktywne wyszukiwanie informacji w repozytoriach danych tekstowych Interaktywne wyszukiwanie informacji w repozytoriach danych tekstowych Marcin Deptuła Julian Szymański, Henryk Krawczyk Politechnika Gdańska Wydział Elektroniki, Telekomunikacji i Informatyki Katedra Architektury

Bardziej szczegółowo

Wybór / ocena atrybutów na podstawie oceny jakości działania wybranego klasyfikatora.

Wybór / ocena atrybutów na podstawie oceny jakości działania wybranego klasyfikatora. Wprowadzenie do programu RapidMiner Studio 7.6, część 7 Podstawy metod wyboru atrybutów w problemach klasyfikacyjnych, c.d. Michał Bereta www.michalbereta.pl Wybór / ocena atrybutów na podstawie oceny

Bardziej szczegółowo

Klasyfikator liniowy Wstęp Klasyfikator liniowy jest najprostszym możliwym klasyfikatorem. Zakłada on liniową separację liniowy podział dwóch klas między sobą. Przedstawia to poniższy rysunek: 5 4 3 2

Bardziej szczegółowo

Systemy pomiarowo-diagnostyczne. Metody uczenia maszynowego wykład I dr inż. 2015/2016

Systemy pomiarowo-diagnostyczne. Metody uczenia maszynowego wykład I dr inż. 2015/2016 Systemy pomiarowo-diagnostyczne Metody uczenia maszynowego wykład I dr inż. Bogumil.Konopka@pwr.edu.pl 2015/2016 1 Wykład I - plan Sprawy organizacyjne Uczenie maszynowe podstawowe pojęcia Proces modelowania

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-10-10 Projekt pn. Wzmocnienie

Bardziej szczegółowo

Zaawansowana eksploracja danych: Metody oceny wiedzy klasyfikacyjnej odkrytej z danych Jerzy Stefanowski Instytut Informatyki Politechnika Poznańska

Zaawansowana eksploracja danych: Metody oceny wiedzy klasyfikacyjnej odkrytej z danych Jerzy Stefanowski Instytut Informatyki Politechnika Poznańska Zaawansowana eksploracja danych: Metody oceny wiedzy klasyfikacyjnej odkrytej z danych Jerzy Stefanowski Instytut Informatyki Politechnika Poznańska Wykład dla spec. Mgr TPD Poznań 2008 popr. 2010 1 Ocena

Bardziej szczegółowo

B jest globalnym pokryciem zbioru {d} wtedy i tylko wtedy, gdy {d} zależy od B i nie istnieje B T takie, że {d} zależy od B ;

B jest globalnym pokryciem zbioru {d} wtedy i tylko wtedy, gdy {d} zależy od B i nie istnieje B T takie, że {d} zależy od B ; Algorytm LEM1 Oznaczenia i definicje: U - uniwersum, tj. zbiór obiektów; A - zbiór atrybutów warunkowych; d - atrybut decyzyjny; IND(B) = {(x, y) U U : a B a(x) = a(y)} - relacja nierozróżnialności, tj.

Bardziej szczegółowo