8. Drzewa decyzyjne, bagging, boosting i lasy losowe

Podobne dokumenty
7. Maszyny wektorów podpierajacych SVMs

Algorytmy rozpoznawania obrazów. 11. Analiza skupień. dr inż. Urszula Libal. Politechnika Wrocławska

9. Praktyczna ocena jakości klasyfikacji

Drzewa decyzyjne i lasy losowe

Algorytmy klasyfikacji

5. Analiza dyskryminacyjna: FLD, LDA, QDA

10. Redukcja wymiaru - metoda PCA

Drzewa klasyfikacyjne Lasy losowe. Wprowadzenie

2. Empiryczna wersja klasyfikatora bayesowskiego

Problem eliminacji nieprzystających elementów w zadaniu rozpoznania wzorca Marcin Luckner

SYSTEMY UCZĄCE SIĘ WYKŁAD 4. DRZEWA REGRESYJNE, INDUKCJA REGUŁ. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska

ALGORYTM RANDOM FOREST

Kompresja danych Streszczenie Studia Dzienne Wykład 10,

Wysokość drzewa Głębokość węzła

Testowanie modeli predykcyjnych

Algorytmy klasyfikacji

Drzewa decyzyjne. Inteligentne Obliczenia. Wydział Mechatroniki Politechniki Warszawskiej. Anna Sztyber

Metody klasyfikacji danych - część 1 p.1/24

Analiza danych. TEMATYKA PRZEDMIOTU

Pattern Classification

Algorytmy decyzyjne będące alternatywą dla sieci neuronowych

Co to są drzewa decyzji

Drzewa klasyfikacyjne algorytm podstawowy

Klasyfikatory: k-nn oraz naiwny Bayesa. Agnieszka Nowak Brzezińska Wykład IV

Metody konstrukcji oraz symulacyjne badanie właściwości jednorodnych i niejednorodnych komitetów klasyfikatorów

PODSTAWY STATYSTYCZNEGO MODELOWANIA DANYCH. Wykład 6 Drzewa klasyfikacyjne - wprowadzenie. Reguły podziału i reguły przycinania drzew.

Algorytmy i Struktury Danych

Podstawy Informatyki. Metody dostępu do danych

WYDZIAŁ MATEMATYKI KARTA PRZEDMIOTU

Drzewa klasyfikacyjne Lasy losowe. Wprowadzenie

DRZEWA REGRESYJNE I LASY LOSOWE JAKO

Eksploracja Danych. wykład 4. Sebastian Zając. 10 maja 2017 WMP.SNŚ UKSW. Sebastian Zając (WMP.SNŚ UKSW) Eksploracja Danych 10 maja / 18

SYSTEMY UCZĄCE SIĘ WYKŁAD 1. INFORMACJE WSTĘPNE. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska.

Regresyjne metody łączenia klasyfikatorów

ALGORYTMY I STRUKTURY DANYCH

Drzewa czerwono-czarne.

SYSTEMY UCZĄCE SIĘ WYKŁAD 3. DRZEWA DECYZYJNE. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska.

Wstęp. Cechy: Spis treści

SYSTEMY UCZĄCE SIĘ WYKŁAD 10. PRZEKSZTAŁCANIE ATRYBUTÓW. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska.

ZASTOSOWANIE TECHNIK DATA MINING W BADANIACH NAUKOWYCH

Listy, kolejki, stosy

Drzewo. Drzewo uporządkowane ma ponumerowanych (oznaczonych) następników. Drzewo uporządkowane składa się z węzłów, które zawierają następujące pola:

Klasyfikacja. Sformułowanie problemu Metody klasyfikacji Kryteria oceny metod klasyfikacji. Eksploracja danych. Klasyfikacja wykład 1

Agnieszka Nowak Brzezińska Wykład III

Wprowadzenie. Data Science Uczenie się pod nadzorem

Klasyfikator. ˆp(k x) = 1 K. I(ρ(x,x i ) ρ(x,x (K) ))I(y i =k),k =1,...,L,

SAS wybrane elementy. DATA MINING Część III. Seweryn Kowalski 2006

WYKŁAD: DRZEWA KLASYFIKACYJNE I REGRESYJNE. METODA CART. Zaawansowane Metody Uczenia Maszynowego

Metody klasyfikacji i rozpoznawania wzorców. Najważniejsze rodzaje klasyfikatorów

Wykład 2. Drzewa zbalansowane AVL i 2-3-4

Co to jest grupowanie

WYKŁAD: DRZEWA KLASYFIKACYJNE I REGRESYJNE. Metoda CART. MiNI PW

ZASADY PROGRAMOWANIA KOMPUTERÓW ZAP zima 2014/2015. Drzewa BST c.d., równoważenie drzew, kopce.

PLAN WYKŁADU BAZY DANYCH INDEKSY - DEFINICJE. Indeksy jednopoziomowe Indeksy wielopoziomowe Indeksy z użyciem B-drzew i B + -drzew

Podstawy programowania 2. Temat: Drzewa binarne. Przygotował: mgr inż. Tomasz Michno

Wprowadzenie. Metody bayesowskie Drzewa klasyfikacyjne i lasy losowe Sieci neuronowe SVM. Klasyfikacja. Wstęp

METODY INŻYNIERII WIEDZY

Multiklasyfikatory z funkcją kompetencji

Wybrane zagadnienia uczenia maszynowego. Zastosowania Informatyki w Informatyce W2 Krzysztof Krawiec

Agnieszka Nowak Brzezińska Wykład III

Optymalizacja systemów

KLASYFIKACJA. Słownik języka polskiego

CO WIE SMARTFON? ROZPOZNAWANIE AKTYWNOŚCI CZŁOWIEKA METODAMI KLASYFIKACYJNYMI STATISTICA DATA MINER

Agnieszka Nowak Brzezińska

Każdy węzeł w drzewie posiada 3 pola: klucz, adres prawego potomka i adres lewego potomka. Pola zawierające adresy mogą być puste.

Python : podstawy nauki o danych / Alberto Boschetti, Luca Massaron. Gliwice, cop Spis treści

Algorytmy i struktury danych. Drzewa: BST, kopce. Letnie Warsztaty Matematyczno-Informatyczne

Jakość uczenia i generalizacja

Przykład eksploracji danych o naturze statystycznej Próba 1 wartości zmiennej losowej odległość

Rozmyte drzewa decyzyjne. Łukasz Ryniewicz Metody inteligencji obliczeniowej

Definicja pliku kratowego

Struktury Danych i Złożoność Obliczeniowa

Klasyfikacja obiektów Drzewa decyzyjne (drzewa klasyfikacyjne)

Tadeusz Pankowski

WYKŁAD 4. Podejmowanie decyzji dla modeli probabilistycznych Modelowanie Gaussowskie. autor: Maciej Zięba. Politechnika Wrocławska

Metody systemowe i decyzyjne w informatyce

INDUKCJA DRZEW DECYZYJNYCH

Archipelag Sztucznej Inteligencji

Wstęp do sieci neuronowych, wykład 07 Uczenie nienadzorowane.

Uczenie maszyn. Projekt: Porównanie algorytmów tworzenia drzew decyzyjnych. Politechnika Wrocławska. Michał Płodowski Michał Suszko

< K (2) = ( Adams, John ), P (2) = adres bloku 2 > < K (1) = ( Aaron, Ed ), P (1) = adres bloku 1 >

Machine learning Lecture 2

Drzewa BST i AVL. Drzewa poszukiwań binarnych (BST)

Konkurs z przedmiotu eksploracja i analiza danych: problem regresji i klasyfikacji

Klasyfikacja. Obcinanie drzewa Naiwny klasyfikator Bayes a knn Dokładność klasyfikacji. Eksploracja danych. Klasyfikacja wykład 3

SZTUCZNA INTELIGENCJA

Data Mining Wykład 9. Analiza skupień (grupowanie) Grupowanie hierarchiczne O-Cluster. Plan wykładu. Sformułowanie problemu

Metody Eksploracji Danych. Klasyfikacja

Metody tworzenia efektywnych komitetów klasyfikatorów jednoklasowych Bartosz Krawczyk Katedra Systemów i Sieci Komputerowych Politechnika Wrocławska

WSTĘP DO INFORMATYKI. Drzewa i struktury drzewiaste

WSPOMAGANIE PROJEKTOWANIA PROCESU TECHNOLOGICZNEGO PRZY UŻYCIU DRZEW KLASYFIKACYJNYCH

WYKŁAD 3. Klasyfikacja: modele probabilistyczne

mgr inż. Magdalena Deckert Poznań, r. Metody przyrostowego uczenia się ze strumieni danych.

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.

DRZEWA KLASYFIKACYJNE W BADANIACH SATYSFAKCJI

Metody Sztucznej Inteligencji II

Eksploracja danych. Eksploracja danych 1 / 61

Klasyfikacja LDA + walidacja

Widzenie komputerowe (computer vision)

1.7. Eksploracja danych: pogłębianie, przeszukiwanie i wyławianie

Transkrypt:

Algorytmy rozpoznawania obrazów 8. Drzewa decyzyjne, bagging, boosting i lasy losowe dr inż. Urszula Libal Politechnika Wrocławska 2015 1

1. Drzewa decyzyjne Drzewa decyzyjne (ang. decision trees), zwane również drzewami klasyfikacyjnymi (ang. classification trees), opierają się o drzewiastą strukturę. Klasyfikacja zaczyna się w korzeniu drzewa, a kończy po osiągnięciu jednej z klas terminalnych, czyli liścia. Sposób konstrukcji drzew zależy od metody podziału klas w węzłach. Do znanych metod klasyfikacji w oparciu o drzewa decyzyjne należą CHAID, CART, C4.5 Rysunek 1. Drzewo decyzyjne - zaznaczono korzeń i liście. Źródło: [1] i QUEST. 2

Rysunek 2. Drzewo decyzyjne generuje podział przestrzeni cech na obszary decyzyjne. Źródło: [1] 3

2. Binarne drzewa decyzyjne - podział w węźle Rodzaje binarnych drzew decyzyjnych (wektor cech to x = (x 1, x 2,..., x D )): drzewa zwykłe - podział w węźle na podstawie jednej cechy: x i α drzewa BSP - podział binarny przestrzeni: a 1 x 1 +... + a D x D α drzewa sferyczne: x m α W najprostszym przypadku podziały w węzłach drzewa mogą być podziałami jednowymiarowymi, czyli zależeć jedynie od jednej cechy (drzewa zwykłe). Jednak w przypadku wielowymiarowych problemów takie podejście może prowadzić do wielu podziałów i tym samym wielu węzłów. Rozwiązanie może stanowić użycie wielowymiarowych podziałów klas w węzłach (drzewa BSP, drzewa sferyczne). 4

Rysunek 3. Zwykłe drzewo decyzyjne oraz podział przestrzeni cech na obszary decyzyjne. Źródło: [1] a) b) Rysunek 4. Podział przestrzeni cech za pomocą (a) drzewa BSP, (b) drzewa sferycznego. Źródło: [1] 5

3. Transformacje drzew decyzyjnych Transformacje drzew niebinarnych w drzewa binarne: drzewo binarne typu najstarsze dziecko - kolejne dziecko (rys. 5) drzewo binarne oparte o makroklasy (zbiory klas) (rys. 6) 6

The oldest-child / next-sibling binary tree Rysunek 5. Transformacja niebinarnego drzewa decyzyjnego w drzewo binarne. Źródło: [1] 7

Łaczenie klas w makroklasy Rysunek 6. Transformacja niebinarnego drzewa decyzyjnego w drzewo binarne. Źródło: opracowanie własne 8

4. Przycinanie drzew decyzyjnych Aby zapobiec przeuczeniu klasyfikatora, czyli nadmiernemu dopasowaniu drzewa do danych z ciągu uczącego, stosuje się przycinanie (pruning). Zastępujemy poddrzewo liściem (patrz rys. 1). Skracamy drzewo, jednocześnie zmniejszając dokładność. Testujemy zastąpienie poddrzewa liściem na dodatkowym zbiorze danych - zbiorze przycinania. 9

5. Procedury wzmacniajace klasyfikatory Procedury agregujące rodziny klasyfikatorów (ensemble method) służą wzmacnianiu klasyfikatorów. Do tych metod zaliczamy: algorytm bagging - grupy klasyfikatorów (niekoniecznie drzew) algorytm boosting - grupy klasyfikatorów (niekoniecznie drzew) lasy losowe - grupy drzew decyzyjnych 10

6. Algorytm bagging Bagging (Bootstrap Aggregation) należy do procedur agregujących rodzinę klasyfikatorów w jeden zbiorczy klasyfikator, który wynik klasyfikacji opiera na głosowaniu większościowym. Rodzina L klasyfikatorów {Ψ 1, Ψ 2,..., Ψ L } jest generowana na podstawie L ciągów uczących, utworzonych przez N-krotne losowanie ze zwracaniem (tzw. próba bootstrapowa) elementów ciągu uczącego {(x 1,c 1 ), (x 2,c 2 ),...,, (x N,c N )} o długości N. Wyuczone na ich podstawie klasyfikatory Ψ 1, Ψ 2,..., Ψ L podejmują wspólną decyzję o klasyfikacji obrazu do jednej z klas, gdy dana klasa uzyska najwięcej wskazań. 11

7. Algorytm boosting Boosting (po ang. boosting oznacza wzmocnienie) działa na podobnej zasadzie do baggingu, również generując rodzinę klasyfikatorów na podstawie N-elementowej pseudopróby (próby bootstrapowej) z ciągu uczącego {(x 1,c 1 ), (x 2,c 2 ),..., (x N,c N )}. Podstawową procedują wzmacniającą klasyfikatory jest algorytm AdaBoost (od Adaptive Boosting). Polega on na sekwencyjnym losowaniu (ze zwracaniem) nowych ciągów uczących, które służą do wytrenowania kolejnych wersji klasyfikatorów. Procedura w każdym kroku konstruuje nowy klasyfikator w oparciu o wylosowany ciąg uczący, a następne przypisuje wagi wszystkim obrazom z oryginalnego ciągu uczącego {(x 1,c 1 ), (x 2,c 2 ),..., (x N,c N )}. 12

Wagi te wpływają na prawdopodobieństwo wylosowania danego obrazu do kolejnej wersji ciągu uczącego. W pierwszym kroku wagi wszystkich elementów ciągu uczącego są równe. W kolejnych krokach są zmieniane adaptacyjnie, w zależności od poprawności klasyfikacji elementów ciągu uczącego. Jeżeli dany obraz został błędnie zaklasyfikowany, to jego waga wzrasta, a w przeciwnym wypadku maleje. Dzięki takiemu działaniu obrazy błędnie zaklasyfikowane częściej ulegają wylosowaniu, co jest pożądane, ponieważ możliwe jest, że te elementy ciągu uczącego znajdują się najbliżej granicy między obszarami decyzyjnymi klas. Użycie klasyfikatorów zbiorczych bagging i boosting wymaga znacznych nakładów obliczeniowych praktycznie wykluczających ich użycie w trybie on-line, tj. w przypadku ciągle napływających, nowych obrazów do klasyfikacji. 13

8. Lasy losowe Lasy losowe (random forests) będące uogólnieniem idei drzew decyzyjnych zalicza się do procedur agregujących (ensemble method). Działanie lasów losowych polega na klasyfikacji za pomocą grupy drzew decyzyjnych. Końcowa decyzja jest podejmowana w wyniku głosowania większościowego nad klasami wskazanymi przez poszczególne drzewa decyzyjne. Natomiast każde z drzew jest konstruowane w oparciu o próbę bootstrapowa, powstałą przez wylosowanie ze zwracaniem N obiektów z ciągu uczącego o liczności N. W każdym węźle podział jest dokonywany jedynie na podstawie k losowo wybranych cech. Ich liczba jest znacznie mniejsza od p, czyli liczby wszystkich cech (k p). Dzięki tej własności lasy losowe mogą być stosowane w problemach o olbrzymiej liczbie cech. 14

Literatura [1] L. Devroye, L. Györfi, G. Lugosi, A Probabilistic Theory of Pattern Recognition, Springer-Verlag, New York (1996) [2] A.R. Webb, K.D. Copsey, Statistical Pattern Recognition, 3rd ed., Wiley, (2011) [3] M. Krzyśko, W. Wołyński, T. Górecki, M. Skorzybut, Systemy uczace się. Rozpoznawanie wzorców, analiza skupień i redukcja wymiarowości. WNT, Warszawa (2008) 15