Drzewa decyzyjne. Inteligentne Obliczenia. Wydział Mechatroniki Politechniki Warszawskiej. Anna Sztyber

Wielkość: px

Rozpocząć pokaz od strony:

Download "Drzewa decyzyjne. Inteligentne Obliczenia. Wydział Mechatroniki Politechniki Warszawskiej. Anna Sztyber"

Justyna Górska
4 lat temu
Przeglądów:

1 Drzewa decyzyjne Inteligentne Obliczenia Wydział Mechatroniki Politechniki Warszawskiej Anna Sztyber INO (IAiR PW) Drzewa decyzyjne Anna Sztyber /

2 Drzewa decyzyjne w podstawowej wersji algorytm klasyfikacji proste łatwo interpretowalne Przykładowe zastosowania ocena kredytów aplikacje medyczne INO (IAiR PW) Drzewa decyzyjne Anna Sztyber /

3 Drzewa decyzyjne Predykcja przejście przez drzewo od korzenia aż do liścia zgodnie z warunkami w węzłach predykcja na podstawie większości przykładów uczących w danym węźle Czy papaja jest smaczna? [6] Color? other pale green to pale yellow not-tasty Softness? other gives slightly to palm pressure not-tasty tasty INO (IAiR PW) Drzewa decyzyjne Anna Sztyber /

4 Przykład: czas trwania pierwszego okresu porodu Istotne czynniki Liczba porodów siłami natury X[5] Waga X[] Wiek X[] Wzrost X[] Drzewa decyzyjne - model czytelny i łatwy w interpretacji INO (IAiR PW) Drzewa decyzyjne Anna Sztyber /

5 Przykład - czas trwania pierwszego okresu porodu predykcja ciągłej zmiennej w węzłach wykorzystywane ciągłe zmienne INO (IAiR PW) Drzewa decyzyjne Anna Sztyber 5 /

6 Granice decyzyjne INO (IAiR PW) Drzewa decyzyjne Anna Sztyber 6 /

7 Algorytmy uczenia rozważenie wszystkich możliwych drzew - problem NP trudny wykorzystywane są heurystyki Algorytm zachłanny, ID - [] Rozpocznij z pustego drzewa Wybierz cechę do podziału (sprawdź warunek stopu) Podziel dane uczące Kontynuuj z każdego pod-węzła INO (IAiR PW) Drzewa decyzyjne Anna Sztyber 7 /

8 Wybór cechy do podziału Dochód Wkład własny Kredyt mały < % ryzykowny średni % bezpieczny duży < % bezpieczny Wkład własny < % % Dochód mały średni 5 duży 8 INO (IAiR PW) Drzewa decyzyjne Anna Sztyber 8 /

9 Wybór cechy do podziału minimalizacja kosztu a = P(y = ) (przy założeniu rozkładu jednostajnego) Funkcje kosztu Błąd klasyfikacji C(a) = min(a, a) Entropia (ID, C.5 - [5]) C(a) = a log(a) ( a) log( a) Współczynnik Gini ego (CART - []) C(a) = a( a) INO (IAiR PW) Drzewa decyzyjne Anna Sztyber 9 /

10 Warunek stopu wszystkie przykłady w węźle są tej samej klasy brak dalszych cech do podziału żaden podział nie poprawia klasyfikacji (bardziej niż o ɛ) uwaga: XOR osiągnięto założoną głębokość drzewa minimalny rozmiar węzła INO (IAiR PW) Drzewa decyzyjne Anna Sztyber /

11 Cechy ciągłe Podział na podstawie wartości granicznej x < 5 Można dzielić wielokrotnie na podstawie tej samej cechy 5 6 x.5 Wybór wartości granicznej nieskończona liczba możliwości ale wystarczy rozważyć punkty podziału pomiędzy danymi ze zbioru treningowego minimalizacja wybranej funkcji kosztu INO (IAiR PW) Drzewa decyzyjne Anna Sztyber /

12 Zapobieganie przeuczeniu Istotny problem dla drzew decyzyjnych max depth = max depth = max depth = max depth = 5 acc =.9 acc = acc = acc = Możliwe rozwiązania: Wcześniejsze przerywanie algorytmu Pruning INO (IAiR PW) Drzewa decyzyjne Anna Sztyber /

13 Pruning Upraszczanie drzewa decyzyjnego po zakończeniu uczenia Liczba węzłów - miara złożoności drzewa koszt = błąd klasyfikacji + λ liczba węzłów Pruning Rozważ podział w węźle (zaczynamy od liści) Wyznacz koszt z podziałem bez podziału Wycofaj podział - jeżeli podział nie poprawia kosztu, węzeł zastępowany jest przez liść Kontynuuj dla pozostałych węzłów INO (IAiR PW) Drzewa decyzyjne Anna Sztyber /

14 Literatura Leo Breiman, Jerome H. Friedman, Richard A. Olshen, and Charles J. Stone. Classification and Regression Trees. Routledge, New York, 98. Emily Fox Carlos Guestrin. Decision trees. Machine Learning: Classification, University of Washington. Emily Fox Carlos Guestrin. Preventing overfitting in decision trees. Machine Learning: Classification, University of Washington. J. R. Quinlan. Induction of decision trees. Machine Learning, ():8 6, Mar 986. J. ROSS QUINLAN. Chapter - constructing decision trees. In J. ROSS QUINLAN, editor, C.5, pages 7 6. Morgan Kaufmann, San Francisco (CA), 99. Shai Shalev-Shwartz and Shai Ben-David. Understanding Machine Learning: From Theory to Algorithms. Cambridge University Press.,. INO (IAiR PW) Drzewa decyzyjne Anna Sztyber /

Podobne dokumenty

Drzewa decyzyjne i lasy losowe

Drzewa decyzyjne i lasy losowe Im dalej w las tym więcej drzew! ML Gdańsk http://www.mlgdansk.pl/ Marcin Zadroga https://www.linkedin.com/in/mzadroga/ 20 Czerwca 2017 WPROWADZENIE DO MACHINE LEARNING CZYM