System biometryczny bazujący na rozpoznawaniu ust

Transkrypt

1 Uniwersytet Śląski / Politechnika Warszawska Krzyszto Wróbel, Raał Doroz, Piotr Porwik {krzyszto.wrobel, piotr.porwik, raal.doroz}@us.edu.pl Jacek Naruniec, Marek Kowalski {j.naruniec, m.kowalski}@ire.pw.edu.pl System biometryczny bazujący na rozpoznawaniu ust

2 System biometryczny bazujący na rozpoznawaniu ust Plan reereatu: Identyikacjai i weryikacja osób na podstawie czerwieni wargowej - cheiloskopia. Schemat prezentowanego systemu biometrycznego. Ekstrakcja twarzy z obrazu oraz danych opisujących usta. Analizowane cechy ust. Przygotowanie danych do badań. Przebieg i wyniki badań. Wnioski i dalsze prace.

3 Cheiloskopia Cheiloskopia jest jedną z techniki kryminalistycznych wykorzystującą wzór czerwieni wargowej (ślad ust) do identyikacji osób Francuski kryminolog Edmond Locard po raz pierwszy zaproponował wykorzystanie śladu ust do kryminalistycznej identyikacji Japońscy naukowcy Yasuo Tsachihasi i Kazao Suzuki, przeprowadzili badania dotyczące identyikacji osób na podstawie obrazów ust Pro. Jerzy Kasprzak zaproponował praktyczną klasyikację odcisków czerwieni wargowej. Kasprzak J., Łęczyńska B., "Cheiloskopia. Identyikacja człowieka na podstawie śladu czerwieni wargowej, Wydawnictwo KGP, 2001.

4 Cheiloskopia Do otrzymania obrazu ust wykorzystywane są specjalne narzędzia: Proszek magnetyczny Aplikator proszku Wałek magnetycznego Przykładowy odcisk ust pobrany za pomocą powyższych narzędzi.

5 Identyikacjai i weryikacja osób na podstawie kształtu ust Do identyikacji i weryikacji osób, można również wykorzystać kształt ust pozyskany z otograii. Jin Ok Kim, Woongjae Lee, Jun Hwang, Kyong Seok Baik, Chin Hyun Chung, Lip print recognition or security systems by multi-resolution architecture, Future Generation Computer System, vol. 20, pp , M. Choras, The lip as a biometric, Pattern Analysis and Applications, vol. 13, pp , C.M. Travieso, J. Zhang, P. Miller, J.B. Alonso, Using a discrete Hidden Markov Model Kernel or lip-based biometric identiication, Image and Vision Computing, vol. 32 (12) pp , 2014.

6 Schemat prezentowanego systemu biometrycznego

7 Ekstrakcja twarzy z obrazu oraz danych opisujących usta Do ekstrakcji danych opisujących usta została użyta metoda wykorzystywana w procesie detekcji twarzy. Idea metody jest taka, że na obraz nakładana jest maska złożona z 68 punktów.

8 Ekstrakcja twarzy z obrazu oraz danych opisujących usta Następnie wykorzystane są dwa zbiory cech wraz z dwoma rodzajami klasyikatorów: rozszerzony zbiór cech Haara, wraz z prostą klasyikacją probabilistyczną, R. Lienhart, J. Maydt, An extended set o haar like eatures or rapid object detection, Proceedings o International Conerence on Image Processing, vol. 1, pp , cechy HOG (ang. Histogram o Oriented Gradient) klasyikowane metodą regresji logistycznej. N. Dalal, B. Triggs, Histograms o oriented gradients or human detection, IEEE Int. Conerence o Computer Vision and Pattern Recognition (CVPR), pp , 2005.

9 Ekstrakcja twarzy z obrazu oraz danych opisujących usta W kolejnych iteracjach metody punkty maski poddawane są transormacjom, tak aby jak najdokładniej pokrywały się z punktami konturu twarzy (wcześniej wykrytymi zbiorami cech). J. Naruniec, Discrete area ilters in accurate detection o aces and acial eatures, Image and Vision Computing 32 (12), pp , 2014.

10 Ekstrakcja twarzy z obrazu oraz danych opisujących usta Algorytm rozpoznawania twarzy pozwala nam uzyskać punkty oraz ich współrzędne, które opisują kształt poszczególnych elementów twarzy, np. oczu, nosa czy ust. W dalszej analizowaliśmy tylko punkty opisujące kształt ust.

11 Analizowane cechy ust Podczas badań przeanalizowaliśmy 11 cech ust. Każda cecha opisana została za pomocą wektora. Analizowane cechy: 1. Długość konturu ust oraz górnej i dolnej wargi. 2. Szerokość ust w trzech punktach. 3. Wysokość warg w wybranych punktach. 4. Odległości punktów od lewego kącika ust. l, l, l w, w, w h,..., h d,..., d

12 Analizowane cechy ust 5. Odległości punktów od prawego kącika ust. 6. Odległości punktów od środka ust. 7. Pole powierzchni ust oraz górnej i dolnej wargi Współrzędne punktów górnej i dolnej wargi. Punkty krzywizny górnej i dolnej wargi. d,..., d d,..., d a, a, a x, y,..., x, y u u u u x, y,..., x, y l l l l u u ,..., l l,..., Wszystkie obliczone odległości były odległościami Euklidesowymi. Krzywiznę punktów obliczono za pomocą algorytmu IPAN99.

13 Przygotowanie danych do badań Wyznaczenie cech ust, umożliwiło nam opis obrazu O za pomocą zbioru wektorów: O {,,..., } Mając n obrazów od każdego użytkownika, konstruowane były macierze X oraz Y. Macierze te są w dalszej części metody wykorzystane jako dane uczące dla sieci PNN.

14 Przygotowanie danych do badań Macierz podobieństw X jest wyznaczana pomiędzy obrazami tego samego użytkownika: X O O O O O O 1 2,..., 1 n,..., n1 n, Sim( O, O ) Sim( O1, O2) [ O1 O2], 11 Sim( O1, O2) gdzie: Sim( Oa, O ) b i jest podobieństwem pomiędzy wektorami i wyznaczonymi na obrazach O a oraz O b tego samego użytkownika.

15 Przygotowanie danych do badań Macierz podobieństw Y jest wyznaczana pomiędzy obrazami danego użytkownika, a obrazami innych (losowo) wybranych użytkowników: Y O1 O 1,..., O1 O d,..., On O d, 1 Sim( O1, O1 ) 2 Sim( O1, O1 ) [ O1 O 1], 11 Sim( O1, O1 ) gdzie: Sim( Oa, O b ) jest podobieństwem pomiędzy wektorami i wyznaczonymi na obrazaie O a danego użytkownika oraz obrazie O b innego użytkownika, d liczba obrazów od innych użytkowników.

16 Przygotowanie danych do badań Do wyznaczenia podobieństwa Sim wykorzystano współczynnik korelacji Pearsona, który dany jest następującym wzorem: ( p p)( w w) Sim( O, O ). i i i / 2 1/ 2 m m 2 2 ( pi p) ( wi w) i1 i1 gdzie: m liczba elementów wektora, 1 = [p 1,,p m ] wartości cechy dla obrazu O 1, 2 = [w 1,,w m ] wartości cechy dla obrazu O 2. m

17 Przebieg i wyniki badań Podczas badań wykorzystano 3 bazy danych: Multi PIE database zawiera kolorowe obrazy twarzy 337 osób (po 5 obrazów od osoby). Obrazy są w rozdzielczości 3072x2035 i były rejestrowane na przestrzeni 5 miesięcy. PUT ace database zawiera kolorowych obrazów od 100 osób, zapisanych w rozdzielczości 2048x1536. W badaniach wykorzystano 5 obrazów od każdej ze 100 osób. A. Kasiński, A. Florek, A. Schmidt, The put ace database, Image Processing & Communications, vol. 13, no. 3-4, pp , Baza danych przygotowana przez nasz Zespół zawiera obrazy 50 osób, po 5 osób od każdej. W sumie 250 obrazów kolorowych oraz w odcieniach szarości. Rozdzielczości obrazów są od 3096x3456 do 4128x4608.

18 Przebieg i wyniki badań Przetestowano wszystkie kombinacje cech, co pozwoliło na wyodrębnienie zestawu cech dających największą skuteczność klasyikacji. Wyniki badań dla wektorów uczących utworzonych ze współczynników Sim: Cechy Skuteczność klasyikacji [%] x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x FAR [%] FRR [%] x x x

19 Przebieg i wyniki badań Wyniki badań dla wektorów uczących utworzonych z surowych danych (RAW): Cechy Skuteczność klasyikacji [%] x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x FAR [%] FRR [%] x x x x x x x x

20 Przebieg i wyniki badań Uzyskane porównano z wynikami otrzymanymi dla innych popularnych klasyikatorów (dostępnych w środowiskach Matlab, R czy WEKA). Klasyikator Skuteczność klasyikacji [%] FAR [%] FRR [%] Prezentowana metoda Bayes NET Hoeding Tree k-nn J Random Forest Random Tree RIDOR

21 Wnioski i dalsze prace Proponowana metoda charakteryzuje się skutecznością klasyikacji na poziomie 86-87% w zależności od testowanej bazy danych. Wskazuje to, że uzyskane wyniki są w bardzo małym stopniu zależne od użytej bazy danych. Przeprowadzenie klasyikacji w oparciu o wektory zawierające podobieństwa pomiędzy cechami, pozwoliło na zwiększenie skuteczności klasyikacji o ok. 20% w porównaniu do klasyikacji opartej o dane surowe. Wykorzystanie PNN w procesie klasyikacji pozwoliło na uzyskanie większej skuteczności niż w przypadku użycia innych klasyikatorów. Planowane jest poprawienie skuteczności klasyikacji przez zastosowanie zespołu klasyikatorów (ang. ensemble classiier).

22 Dziękuję za uwagę