9. Praktyczna ocena jakości klasyfikacji

HTML
DOWNLOAD

Wielkość: px

Rozpocząć pokaz od strony:

Download "9. Praktyczna ocena jakości klasyfikacji"

Gabriela Przybysz
6 lat temu
Przeglądów:

1 Algorytmy rozpoznawania obrazów 9. Praktyczna ocena jakości klasyfikacji dr inż. Urszula Libal Politechnika Wrocławska

2 1. Zbiór uczacy i zbiór testowy 1. Zbiór uczacy służy do konstrukcji (treningu) klasyfikatora w procesie uczenia 2. Zbiór testowy służy do weryfikacji jakości klasyfikatora Podział zbioru danych na zbiór uczący i testowy zależy od liczności tego zbioru. Zbiory uczący i testowy są rozłączne (zawierają inne obrazy). Częsty podział dla dużych zbiorów danych to: 2/3 (zbiór uczący), 1/3 (zbiór testowy). 2

3 2. Metody oceny jakości klasyfikatora Ocena klasyfikacji na podstawie zbioru testowego: 1. Macierz pomyłek (confusion matrix) 2. Miary oceny jakości klasyfikacji: ryzyko, błąd klasyfikacji, trafność klasyfikacji, współczynniki TP, TN, FP, FN, Krzywa ROC 4. Kroswalidacja (cross-validation) 3

4 3. Macierz pomyłek Przypadek klasyfikacji do wielu klas M = {1, 2,,..., m}: klasa wskazana przez klasyfikator klasa pochodzenia obrazu C 1 C 2 C m C 1 r 11 r 12 r 1m C 2 r 21 r 22 r 2m C m r m1 r m2 r mm r i j - liczba obrazów testowych z klasy C i, przypisana do klasy C j, N i - liczność obrazów z klasy C i (zbiór testowy) 4

5 Liczność zbioru testowego: #test = m N i i=1 Łączna liczba poprawnie zaklasyfikowanych obrazów testowych: #correct = m r ii i=1 Łączna liczba błędnie zaklasyfikowanych obrazów testowych: #error = #test #correct 5

6 Przypadek klasyfikatora binarnego: klasa wskazana przez klasyfikator klasa pochodzenia obrazu C 1 (+) C 2 (-) C 1 (+) r 11 (TP) r 12 (FN) C 2 (-) r 21 (FP) r 22 (TN) TP (true positive) - liczba poprawnie zaklasyfikowanych obrazów z klasy C 1 FP (false positive) - liczba błędnie zaklasyfikowanych obrazów z klasy C 2 do klasy C 1 FN (false negative) - liczba błędnie zaklasyfikowanych obrazów z klasy C 1 do klasy C 2 TN (true negative) - liczba poprawnie zaklasyfikowanych obrazów z klasy C 2 6

7 Rysunek 1. Współczynniki TP, FP, FN i TN dla klasyfikacji binarnej. Źródło: [4] 7

8 4. Miary oceny jakości klasyfikacji Miary uniwersalne (dla dowolnej liczby klas): trafność (accuracy) #correct #test bład klasyfikacji (error rate) #error #test = 1 #correct #test 8

9 Miary w przypadku klasyfikacji binarnej: trafność bład klasyfikacji T P + T N T P + T N = N 1 + N 2 T P + FN + FP + T N FP + FN FP + FN = N 1 + N 2 T P + FN + FP + T N Ryzyko klasyfikatora szacujemy za pomoca błędu klasyfikacji (patrz rys. 1) 9

10 współczynnik TP (TP rate, czułość) T PR = T P T P = N 1 T P + FN współczynnik TN (TN rate, specyficzność) T NR = T N N 2 = T N FP + T N współczynnik FP (FP rate) FPR = FP FP = N 2 FP + T N 10

11 5. Krzywa ROC Rysunek 2. Krzywa ROC. Źródło: [1] 11

12 6. K-krotna kroswalidacja Dzielimy dane na k możliwie równych, wzajemnie rozłącznych, części. Do uczenia wykorzystujemy k 1 części, do testowania pozostałą jedną część. Procedurę powtarzamy k razy, za każdym razem zmieniając zbiór testowy na kolejną niewykorzystaną dotychczas część. Rysunek 3. K-krotna kroswalidacja: U-uczenie, T-testowanie. Źródło: opracowanie własne 12

13 Sumaryczna liczba poprawnych klasyfikacji podzielona przez liczność zbioru danych N stanowi oszacowanie trafności klasyfikacji. Szczególny przypadek: N-krotna kroswalidacja (leave-one-out cross-validation), gdzie N to liczność zbioru danych przed podziałem na zbiór uczący i testowy. 13

14 Literatura [1] T. Morzy, Eksploracja danych. Metody i algorytmy, Wydawnictwo Naukowe PWN, Warszawa (2013) [2] M. Krzyśko, W. Wołyński, T. Górecki, M. Skorzybut, Systemy uczace się. Rozpoznawanie wzorców, analiza skupień i redukcja wymiarowości. WNT, Warszawa (2008) [3] R.O. Duda, P.E. Hart, D.G. Stork, Pattern Classification, 2nd ed., Wiley, (2000) [4] 14

Podobne dokumenty

Algorytmy rozpoznawania obrazów. 11. Analiza skupień. dr inż. Urszula Libal. Politechnika Wrocławska

Algorytmy rozpoznawania obrazów 11. Analiza skupień dr inż. Urszula Libal Politechnika Wrocławska 2015 1 1. Analiza skupień Określenia: analiza skupień (cluster analysis), klasteryzacja (clustering), klasyfikacja