Stan dotychczasowy. OCENA KLASYFIKACJI w diagnostyce. Metody 6/10/2013. Weryfikacja. Testowanie skuteczności metody uczenia Weryfikacja prosta

Wielkość: px

Rozpocząć pokaz od strony:

Download "Stan dotychczasowy. OCENA KLASYFIKACJI w diagnostyce. Metody 6/10/2013. Weryfikacja. Testowanie skuteczności metody uczenia Weryfikacja prosta"

Irena Wawrzyniak
5 lat temu
Przeglądów:

1 Stan dotychczasowy OCENA KLASYFIKACJI w diagnostyce Wybraliśmy metodę uczenia maszynowego (np. sieć neuronowa lub drzewo decyzyjne), która będzie klasyfikować nieznane przypadki Na podzbiorze dostępnych danych, które były w pełni scharakteryzowane, przeprowadziliśmy uczenie maszynowe, tzn. dobraliśmy właściwa metodą wszystkie parametry naszej metody klasyfikacji Weryfikacja Metody Pytanie: Jak przewidzieć jak skuteczna będzie nasza metoda uczenia maszynowego dla danych które dopiero nadejdą i których klasyfikacji nie będzie można zweryfikować. Odpowiedź: Należy ją ocenić na danych innych niż te, na podstawie których ją opracowaliśmy. Weryfikacja prosta Uczenie na pewnym zbiorze uczącym, test na zupełnie innym (równie licznym) zbiorze testowym. Metodakrzyżowak-razy(cross-validation). Ze zbioru danych przeznaczonego do uczenia losujemy k podzbiorów, z których jeden nie zostanie wykorzystany w uczeniu. Uczymy klasyfikator na danych bez zbioru testowego (walidującego) i oceniamy jego skuteczność na wyodrębnionym zbiorze testowym. Procedurę uczenie-testowanie powtarzamy na wszystkich podzbiorach, wynik oceny uśredniamy. Tym więcej powtórzeń im mniejszy zbiór testujacy w stosunku do uczącego (przypadek skrajny leave one-out ). Jeżeli zbiór został podzielony na k podzbiorów, z których k-1 użyte do uczenia -> k powtórzeń 1

2 Metoda krzyżowa kx2-razy Miary Zbiór danych losowo dzielimy na 2 równoliczne zbiory: uczący i testujący. Procedurę losowania-uczenia-testowania powtarzamy k-razy. Typowo k5. Przykładowe miary dopasowania Regresja-ocena różnicy: błąd średniokwadratowy, RMSD (root mean square deviation), mediana wartości bezwzględnej odchylenia Klasyfikacja - krzywa ROC, macierz pomyłek. W przypadku klasyfikacji binarnej (2 klas). Ocena wyniku uczenia W uczeniu z nadzorem mierzona za pomocą funkcji straty L(.): L(y,ŷ)(y-ŷ) 2 y-odpowiedź prawdziwa (wykorzystujemy zbiór uczący lub zbiór walidujący) ŷ odpowiedź predyktora (modelu uzyskanego z uczenia) W uczeniu bez nadzoru nie ma bezpośredniej miary sukcesu Krzywa ROC w klasyfikacji binarnej (Receiver Operating Characteristic; Krzywa operacyjna odbiornika) Badając skuteczność metody klasyfikacji poddajemy testowaniu specjalny zbiór testowy (walidacyjny), który był wykorzystany w uczeniu klasyfikatora. W zbiorze walidacyjnym znamy przynależność do klas poszczególnych elementów. Poddajemy go klasyfikacji naszą metodą i dzielimy otrzymane wyniki na 4 przypadki: True Positives Przypadki prawidłowo przypisane do badanej klasy FP False Positives Przypadki nieprawidłowo przypisane do badanej klasy True Negatives Przypadki prawidłowo nie przypisane do badanej klasy FN FalseNegatives Przypadki nieprawidłowo nie przypisane do badanej klasy 100% + FN + + FP SN + FN SP + FP Czułość (sensitivity) swoistość(specificity), skuteczność(accuracy) RzeczywiscieNegatywne + Acc + + FP + FN czułość swoistość skuteczność 2

3 Krzywa ROC Stosowana do oceny metody klasyfikacji czy metoda jest dobra i przy jakich parametrach jest najlepsza. Przykład - wykreślanie ROC Rozpoznawanie pacjentów z niedoczynnością tarczycy (hypothyroid) i oddzielenie od zdrowych (euthyroid) na podstawie badania poziomu hormonu tarczycy T4. Jako przypadek pozytywny traktujemy obecność schorzenia, brak-negatywny. SN + FN SP + FP RzeczywiscieNegatywne 1-SP Pytania: -Czy klasyfikator, który ocenia pacjenta tylko na podstawie jego poziomu T4, w taki sposób że dzieli pacjentów na 2 grupy: poniżej pewnego progu T4/ powyżej progu) jest dobrym klasyfikatorem? -Dla jakiej wartości odcinającej T4, która dzieli chorych od zdrowych jest optymalny? Odpowiedzią jest ROC wykreślony dla tej metody. Przykład 5 orless or more 3 39 Goldstein and Mushlin (J. Gen. Intern. Med ). Załóżmy, że badana metoda klasyfikacji pacjentów z poziomem odcięcia: T4<5 ( wszyscy pacjenci z T4<5 klasyfikowani jako hypothyroid (pozytywni), pozostali jako zdrowi-euthyroid, negatywni). W tabeli dane rzeczywiste zbioru walidujacego metodę. 5 or less 18 1 > ?; FN?;?; FP? SN + FN SP + FP Załóżmy, że badana metoda klasyfikacji pacjentów z poziomem odcięcia: T4<5 ( wszyscy pacjenci z T4<5 klasyfikowani jako hypothyroid (pozytywni), pozostali jako zdrowi-euthyroid, negatywni). W tabeli dane rzeczywiste zbioru walidujacego metodę. 5 or less 18 1 > SN FN SP FP ; FN14; 92; FP1 Załóżmy, że badana metoda klasyfikacji pacjentów z poziomem odcięcia: T4<7 < > Suma: SN FN SP FP

cd Zadanie: Obliczyć kolejny punkt dla ROC przy poziomie odcięcia T4<9 < 9 29 54 >9 3 39 Suma: 32 93 Wykreślenie krzywej ROC Punkt odcięcia

591 Wzrost jednego parametru powoduje spadek drugiego.

losowy klasyfikator bezwartościowy. Miarą jakości metody jest pole pod krzywą ROC (AUC-area under curve). Im bliższe AUC1 tym lepsza metoda 0.

4 cd Zadanie: Obliczyć kolejny punkt dla ROC przy poziomie odcięcia T4<9 < > Suma: Wykreślenie krzywej ROC Punkt odcięcia Czułość Specyficzność Specyficzność Wzrost jednego parametru powoduje spadek drugiego. Wybieramy często kompromis, czyli na przekątnej (punkt odcięcia 7) Poprawienie metody ROC procent populacji Krzywa na przekątnej oznacza wynik losowy klasyfikator bezwartościowy. Miarą jakości metody jest pole pod krzywą ROC (AUC-area under curve). Im bliższe AUC1 tym lepsza metoda bardzo dobra dobra dostateczna słaba do niczego F-statystyka Oprócz AUC (pola pod krzywą ROC), miarą dobroci klasyfikatora jest też F-statystyka(harmoniczna średnia): Dokładność Precision Kompletność Recall PozytywnieZaklasyfikowane + FP + FN 4

5 Macierz pomyłek 5

Podobne dokumenty

Systemy pomiarowo-diagnostyczne. Metody uczenia maszynowego wykład III 2016/2017

Systemy pomiarowo-diagnostyczne Metody uczenia maszynowego wykład III bogumil.konopka@pwr.edu.pl 2016/2017 Wykład III - plan Regresja logistyczna Ocena skuteczności klasyfikacji Macierze pomyłek Krzywe