Rozpoznawanie obiektów na podstawie zredukowanego zbioru cech. Piotr Porwik Uniwersytet Śląski w Katowicach

Transkrypt

1 Rozpoznawanie obiektów na podstawie zredukowanego zbioru cech Piotr Porwik Uniwersytet Śląski w Katowicach

2 ?? It is obvious that more does not mean better, especially in the case of classifiers!! *) *) XIAO-HUA ZHOU et al..statistical Methods in Diagnostic Medicine. Wiley-Interscience, 2002, 2

3 Cechy podpisu s() t t 1,..., z 3 F { f1, f2,..., f u } t t t s( t) [ f1, f2,..., f u ]

4 Czy klasyfikacja jest zawsze możliwa? NIE! Podpis kapitana Bonaparte w roku 1793 (ma 24 lata) Generał dywizji (1796) (ma 27 lat) Napoleon jak cesarz Francji 1804 (ma 35 lat) Dowódca Francuzów pod Austerlitz 1805 (ma 36 lat) Dowódca Francuzów pod Moskwą 1812 (ma 43 lata) Przed śmiercią na wyspie Św. Heleny 1821 (ma 52 lata) Korsyka 1821 Św. Helena

5 Cech obiektu tutaj podpis (1) 5

6 Cechy obiektu tutaj podpis (2) 6

7 Miary podobieństwa (1) 1 Euclidean 12 Jaccard 2 Gower 13 Fidelity 3 Minkowski 14 Bhattacharyya 4 City Block 15 Hellinger 5 Cosine 16 Matusita 6 Kulczynski 17 Pearson 7 Canberra 18 Neyman χ2 8 Czekanowski 19 Squared χ2 9 Intersection 20 Symmetric χ2 10 Clark 21 Kullback Leibler 7 11 Lorentzian 22 Kumar-Hassebrook

8 Miary podobieństwa (2) s ER 2 ( f ) z ( p p )( q q ) i i i i i 1 i z z 2 2 ( pi pi ) ( qi qi ) i 1 i 1 i i i 1 Jac( fi ) z z z 2 2 pi qi piqi i 1 i 1 i 1 z pq 2 d ( f ) p q Euc i i i i z 2 1/ 2 8 Sung-Hyug Cha (2007) Comprehensive survey on distance/similarity measures between probability density functions. Int. J. of Mathematical Models and Methods in Applied Sciences, vol. 1, pp

9 Nowa koncepcja podobieństwa (1) Zbiór cech: fm F m 1,..., u Zbiór metod : (sposoby wyznaczania podobieństwa) j M j 1,..., k Zbiór wszystkich kombinacji cecha-metoda : Niech nowy współczynnik nazywa się Sim 9

10 Nowa koncepcja podobieństwa (2) Podpisy oryginalne: 1 { S1, S2,..., S c } Podpisy fałszywe: 2 { S1, S2,..., S d } X S S,..., S S,..., S S [ x,..., x ] c c 1 c c ( uk) 1 c 2 2 Y S S,..., S S,..., S S [ y,..., y ] d c d 1 c d ( u k ) ( c d ) 10 c liczba podpisów oryginalnych, d liczba podpisów fałszywych, u liczba zarejestrowanych cech, k liczba użytych miar podobieństwa (metod pomiaru)

11 Nowa koncepcja podobieństwa (3) Współczynnik Sim pomiędzy podpisami oryginalnymi: X x Sim( S, S ) 1 2. Sim( S, S ) 1 2 [ S S ]. Sim( S, S ) 1 2. Sim( S, S ) ( f, ) ( f, ) 1 k 1k ( f, ) u 1 u1 ( fu, k ) u k 1 2 ( uk) 1 11

12 Nowa koncepcja podobieństwa (4) Współczynnik Sim pomiędzy podpisami prawdziwymi i fałszywymi: Y y Sim( S, S ) 1 1. Sim( S, S ) 1 1 [ S S ]. Sim( S, S ) 1 1. Sim( S, S ) ( f, ) ( f, ) 1 k 1k ( f, ) u 1 1u ( fu, k ) u k 1 1 ( uk) 1 12

13 Nowa koncepcja podobieństwa (5) Macierze X oraz Y mogą być jednak bardzo duże! ( uk) c 2 ( u k) ( c d) Rozwiązanie: redukcja rozmiarów macierzy. Na przykład: -PCA -SVD -Metoda Hotellinga 13 Dwie pierwsze metod są dobrze znane i opisane w literaturze. Metoda Hotellinga jest mniej znana ale tutaj daje najlepsze rezultaty.

14 Szkic metody Hotellinga (1) x x. x n x21 x22. x2n X x1, x2,..., x.... x x. x p1 p2 pn n 14 y y. y m y21 y22. y2m Y y1, y2,..., y.... y y. y p1 p2 pm m

15 Szkic metody Hotellinga (2) Elementy macierzy X oraz Y są próbkami dwóch populacji: x i ~ N (, 1 1 x X j x n n p Rozkład jest normalny, a parametry tego rozkładu są nieznane. Można je jednak estymować: y n i 1 i x x x. 1 2 p y i ~ N (, 1 1 y Y g y m m p m i 1 i y y. 1 2 p 15 n 1 T S1 ( xi x)( xi x) S2 n 1 i 1 1 m 1 m i 1 ( y y)( y y) i i T

16 Szkic metody Hotellinga (3) Jeśli kowariancje S1 oraz S2 są homogeniczne *, to: V 1 S ( n 1) S ( m 1) n m w przeciwnym przypadku: (wariancja wspólna) S1 S2 V 2 + (wariancje oddzielnie) n m Statystyka Hotellinga: 2 T 1 i T ( x y) V ( x y) i {1,2} Test Hotellinga można sprowadzić do testu F: * - test Bartletta Poziom istotności 16

17 Szkic metody Hotellinga (4) 17

18 Czy nowe dane są prawidłowe? Tak, bo: 18

19 Bazy danych SVC 2004 MCYT SigComp2011 4NSigComp SigWiComp Baza własna 19 Bazy zawierają podpisy oryginalne i sfałszowane. W eksperymencie badano 1600 podpisów z podziałem na podpisy uczące i testowe

20 Testy praktyczne, (k-nn), Hotelling 20 Prawidłowe rozpoznanie

21 Testy praktyczne, PCA 21

22 Testy praktyczne, PCA 22

23 Testy praktyczne (k-nn), PCA 23 Nieprawidłowe rozpoznanie!

24 Jakie klasyfikatory stosować? Pytania dodatkowe. Dla nowego typu danych: czy jakość klasyfikacji jest podobna kiedy klasyfikator pracuje na: -danych zredukowanych, -danych nie zredukowanych, (to może być duży zbiór!) -danych surowych (pierwotne cechy, bez przetworzenia) Aby odpowiedzieć na te pytania trzeba przeprowadzić odpowiednie eksperymenty! Accuracy liczba poprawnie klasyfikowanych liczba wszystkich prób 24

25 Zastosowane klasyfikatory 25

26 Wyniki klasyfikacji 26

27 Wyniki klasyfikacji 27

28 Wyniki klasyfikacji Użyte narzędzia Matlab, R, KNIME 28

29 Wyniki klasyfikacji 29

30 Porównanie z innymi (przybliżona ocena) 30 1) D. Impedovo, G. Pirlo, Automatic signature verification: the state of the art. IEEE Trans. on Syst. Man. and Cybernetics. Part C: Applications and Reviews, vol. 38v no. 5, 2013, pp

31 PNN+PSO G( Jc, ) exp T [( J c) ( J c)] 2 2 1/2 31

32 Accuracy [%] Accuracy [%] Trening sieci PSO epoch PSO epoch 100 (2.21, 99.34)

33 Dziękuję za uwagę 33