Wykład 6: Biometria podpisu odręcznego. Joanna Putz-Leszczyńska. Semestr letni 2014

Transkrypt

1 c JoannaPutz-Leszczyńska IAiISPW 1stycznia,2014 1/49 Joanna Putz-Leszczyńska Wykład na Wydziale Elektroniki i Technik Informacyjnych Politechniki Warszawskiej Semestr letni 2014

2 c JoannaPutz-Leszczyńska IAiISPW 1stycznia,2014 2/49 Przedmiot obserwacji Pozyskiwanie danych Przetwarzanie wstępne Wyznaczanie cech Rozpoznawanie podpisów Ocena niezawodności Własności biometrii podpisu

3 c JoannaPutz-Leszczyńska IAiISPW 1stycznia,2014 3/49 Przedmiot obserwacji Przedmiot obserwacji Pozyskiwanie danych Przetwarzanie wstępne Wyznaczanie cech Rozpoznawanie podpisów Ocena niezawodności Własności biometrii podpisu

4 c JoannaPutz-Leszczyńska IAiISPW 1stycznia,2014 4/49 Przedmiot obserwacji Rodzaje biometrii podpisu 1. Metody off-line obraz na papierze kolejność występowania elementów podpisu nie ma znaczenia(nie jest rejestrowany) 2. Metody on-line obraz procesu podpisywania się wyjście układu dynamicznego kolejność występowania elementów podpisu jest rejestrowana i ma znaczenie typowe kombinacje składników podpisu 2D: położenie 3D:położenie+nacisk 5D:położenie+nacisk+kątyorientacjipióra

5 c JoannaPutz-Leszczyńska IAiISPW 1stycznia,2014 5/49 Przedmiot obserwacji Przedmiot obserwacji

6 c JoannaPutz-Leszczyńska IAiISPW 1stycznia,2014 6/49 Przedmiot obserwacji Obraz podpisu a podpis 1. Obraz podpisu: pojedyncza realizacja podpisu przykład: przy wykorzystaniu pięciu składników podpisu krzywawr 6 2. Podpis: klasa wszystkich możliwych obrazów podpisu tego samego typu dla danej osoby różne typy podpisów osoby(np. imię i nazwisko, tylko nazwisko, inicjały, itp.) traktujemy jak różne podpisy 3. Wykres podpisu: dowolny rzut obrazu podpisu na podprzestrzeń składników podpisu przykład:wykresxypodpisu rzutobrazupodpisuna podprzestrzeń składników położenia(płaszczyzna xy)

7 c JoannaPutz-Leszczyńska IAiISPW 1stycznia,2014 7/49 Przedmiot obserwacji Obraz podpisu a podpis

8 c JoannaPutz-Leszczyńska IAiISPW 1stycznia,2014 8/49 Przedmiot obserwacji Rodzaje fałszerstwa podpisów A osobaautentyczna,b fałszerz 1. Podpisy obce(ang. random forgeries) BniemażadnychinformacjiopodpisieA w praktyce podpisy innych osób wykorzystywane są jako próby fałszerstwa

9 c JoannaPutz-Leszczyńska IAiISPW 1stycznia,2014 9/49 Przedmiot obserwacji Rodzaje fałszerstwa podpisów A osobaautentyczna,b fałszerz 2. Fałszerstwa proste(ang. simple forgeries) B zna elementy podpisu A(np. imię, nazwisko, inicjały)

10 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Przedmiot obserwacji Rodzaje fałszerstwa podpisów A osobaautentyczna,b fałszerz 3. Fałszerstwa zaawansowane(ang. skilled forgeries) BmożeobserwowaćjakAsiępodpisuje BmadostępdoobrazówpodpisuAwceluwytrenowaniafałszerstwa B ma możliwość obserwacji obrazu podpisu A podczas fałszowania B ma możliwość skopiowania(przekalkowania) podpisu A

11 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Przedmiot obserwacji Rodzaje fałszerstwa podpisów off-line vs. on-line Signature 1 Signature 2 Signature 3

12 Przedmiot obserwacji Rodzaje fałszerstwa podpisów off-line vs. on-line Signature 1 Signature 2 Signature Signature Signature 1 (blue) & Signature 2 (red) 700 Signature 1 (blue) & Signature3 (green) X -coordinate X -coordinate X -coordinate time time time Y -coordinate Y -coordinate Y -coordinate time time time pressure 500 pressure pressure time time time c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49

13 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Pozyskiwanie danych Przedmiot obserwacji Pozyskiwanie danych Przetwarzanie wstępne Wyznaczanie cech Rozpoznawanie podpisów Ocena niezawodności Własności biometrii podpisu

14 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Pozyskiwanie danych Metody off-line Skanowanie(wrażliwość dokładności identyfikacji na rozdzielczość skanowania)

15 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Pozyskiwanie danych Metody on-line 1. Wykorzystanie tabletów graficznych elementy obrazu podpisu uporządkowane w czasie (typowe próbkowanie 100Hz) poza położeniem pióra zwykle umożliwiają pomiar dodatkowych składników pomiar również po oderwaniu pióra od podłoża (dook.2cm) 2. Specjalizowane tablety dla biometrii podpisu dodatkowe elementy konstrukcyjne(np. wbudowane ekrany LCD) zapewnione bezpieczeństwo przesyłanych danych(szyfrowanie) wielkość dostosowana do zastosowań w biometrii narzędzia deweloperskie

16 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Pozyskiwanie danych Metody on-line

17 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Pozyskiwanie danych Metody on-line

18 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Przetwarzanie wstępne Przedmiot obserwacji Pozyskiwanie danych Przetwarzanie wstępne Wyznaczanie cech Rozpoznawanie podpisów Ocena niezawodności Własności biometrii podpisu

19 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Przetwarzanie wstępne Metody off-line 1. Wyodrębnianie z tła lokalizacja położenia podpisu(a) usuniecietłaizakłóceń(b) progowanie(c) i tworzenie obrazu szkieletowego(d)

20 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Przetwarzanie wstępne Metody off-line 2. Segmentacja(podział na segmenty) jednorodna np. podział prostokątny, radialny niejednorodna(poszukiwanie spójnych część podpisu w sensie wybranego wskaźnika jakości) np. odrębne pociągnięcia pióra(ang. strokes), spójne części z niezerowym naciskiem

21 Przetwarzanie wstępne Metody off-line 2. Segmentacja(podział na segmenty) jednorodna np. podział prostokątny, radialny niejednorodna(poszukiwanie spójnych część podpisu w sensie wybranego wskaźnika jakości) np. odrębne pociągnięcia pióra(ang. strokes), spójne części z niezerowym naciskiem c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49

22 2. Segmentacja wykorzystanie informacji czasowych: ekstrema współrzędnych, ich prędkości czy przyspieszenia wykorzystanie informacji o nacisku pióra: lokalizacja chwil oderwania pióra od kartki c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Przetwarzanie wstępne Metody on-line 1. Redukcja liczby punktów(ang. resampling) jednorodna(b) niejednorodna(c)(z wykorzystaniem analizy zmienności wykresu podpisu)

23 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Przetwarzanie wstępne Metody on-line Przykład segmentacji z wykorzystaniem informacji o nacisku pióra realizacja pochodzi z bazy SVC 2004

24 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Wyznaczanie cech Przedmiot obserwacji Pozyskiwanie danych Przetwarzanie wstępne Wyznaczanie cech Rozpoznawanie podpisów Ocena niezawodności Własności biometrii podpisu

25 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Wyznaczanie cech Metody off-line 1. Cechy globalne wielkość podpisu liczba pętli liczba przecięć linii nachylenia linii wartości średnie i odchylenia standardowe elementów podpisu (dla różnych skal obrazu) 2. Cechy globalne liczone dla segmentów 3. Deskryptory tekstury obrazu podpisu

26 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Wyznaczanie cech Metody off-line Przykład wielokrotnie zastosowanej dylatacji

27 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Wyznaczanie cech Metody off-line Przykład zastosowania erozji do rozpoznawania nachylenia podpisów

28 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Wyznaczanie cech Metody off-line Przykład zastosowania erozji do rozpoznawania nachylenia podpisów

29 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Wyznaczanie cech Metody on-line Cechy globalne(pacut, Czajka, 2001) 1. Czas trwania realizacji podpisu (bardzo istotne) 2. Współczynniki trendów liniowych 3. Średnie i odchylenia standardowe składników 5. Trzecie momenty empiryczne wybranych współrzędnych 6. Prędkość i przyspieszenie prowadzenia pióra 7. Cechy po wstępnej filtracji(np. falkowej) 8. Miejsca przejść przez zero(cechy dla metod zero-crossing)

30 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Wyznaczanie cech Dobór cech globalnych (Pacut, Czajka, 2001) 1. Eliminacja cech skorelowanych 2. Dobór cech najbardziej rozróżniających(np. analiza Fishera) Z prawej: przykładowa analiza korelacyjna cech(s- średnie, σ odch. standardowe, α współczynniki trendu liniowego, β trzecie momenty, λ wart. wł. macierzy kowariancji, N długość podpisu)

31 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Rozpoznawanie podpisów Przedmiot obserwacji Pozyskiwanie danych Przetwarzanie wstępne Wyznaczanie cech Rozpoznawanie podpisów Ocena niezawodności Własności biometrii podpisu

32 Rozpoznawanie podpisów Grupowanie cech globalnych (Pacut, Czajka, 2001) 1. Cechy widoczne łatwe do oszacowania przez fałszerza na podstawie wykresu xy podpisu przykład: średnie i odchylenia standardowe współrzędnych położenia 2. Cechy ukryte trudne lub niemożliwe do oszacowania na podstawie wykresu xy podpisu przykład: prędkość i przyspieszenie prowadzenia pióra, siła nacisku, cechy związane z orientacją pióra podczas pisania 3. Rozpoznawanie w podprzestrzeni cech ukrytych wcześniejsze grupowanie podpisów podobnych w sensie odległości w podprzestrzeni cech widocznych pozwala na budowę dokładniejszych klasyfikatorów, bardziej odpornych na fałszerstwa zaawansowane c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49

33 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Rozpoznawanie podpisów Klasyfikacja cech 1. Klasyfikatory neuronowe perceptron wielowarstwowy sieci radialne decyzja określana na bazie wyjścia zwycięskiego neuronu ( winner takes all ) uwzględnienie wartości wyjść pozostałych neuronów(np. z wykorzystaniem nierówności Czybyszewa) 2. Maszyna wektorów podpierających(svm) 3. Warianty klasyfikacji odrębne klasyfikatory dla każdego podpisu(typowy dla weryfikacji) wspólna funkcja klasyfikująca dla wszystkich podpisów (typowy dla identyfikacji)

34 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Rozpoznawanie podpisów Dynamiczne marszczenie czasu ang. Dynamic Time Warping(DTW) 1. Liniowe(bezpośrednie) przyporządkowanie elementów dwóch sekwencji

35 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Rozpoznawanie podpisów Dynamiczne marszczenie czasu ang. Dynamic Time Warping(DTW) 2. Nieliniowe przyporządkowanie elementów dwóch sekwencji, wyznaczone np. przy pomocy DTW

36 Rozpoznawanie podpisów Dynamiczne marszczenie czasu Przypadek z czasem ciągłym 1. Technikaporównywaniafunkcjir={r(t),t [1,T r]} i g={g(τ),τ [1,T g]}: r(w t (l));g(w τ (l)), dla l [0,L w] gdziew t,w τ Wsątzw.funkcjamimarszczącymi,aWjestrodziną funkcjimarszczących;l w=max(t r,t g) 2. Przykładowa miara podobieństwa funkcji inf w t,w τ W Lw 0 r(w t (l)) g(w τ (l)) 2 dl lub, gdy czas indywidualny wzorca t jest tożsamy z czasem idealnym l (przyjmowane często dla wygody) 3. Dodatkowe wymagania inf w W Tr 0 r(t) g(w(t)) 2 dt w(t) t, ẇ(t) 1 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49

37 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Rozpoznawanie podpisów Dynamiczne marszczenie czasu Przypadek z czasem dyskretnym 1. Dyskretnadziedzinaizbiórwartościr={r(t), t=1,2,..,m r}i g={g(τ), τ=1,2,..,m g} 2. Funkcje marszczące reprezentowane przez tzw. ścieżki marszczenia w(l)=[w t (l) w τ (l)] T ; l=1,..,l w wherew t (l) {1,..,M r} (1) w τ (l) {1,..,M g} łącząpunkt(0,0)z(m r,m g) przejście diagonalne odpowiada zgodnemu przebiegowi czasu przejścia poziome lub pionowe odpowiadają jednostkowemu wydłużeniu lub 1 Mr Mg g r r g Mg 1 g Mg 1 1 r Mr t skróceniu czasu 1 Mr t

38 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Rozpoznawanie podpisów Dynamiczne marszczenie czasu Przypadek z czasem dyskretnym r Mg g Mg g 1 Mr Mg g 1 1 r 1 r Mr t 1 Mr t 3. Ścieżki marszczenia spełniają warunki: brzegowe:w t (1)=w τ (1)=1; w t (L w)=m r; w τ (L w)=m g monotoniczności:w t (l+1) w t (l); w τ (l+1) w τ (l) długościścieżkimarszczenia:max(m r,m g) L w M r+m g 1

39 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Rozpoznawanie podpisów Dynamiczne marszczenie czasu Przypadek z czasem dyskretnym 4. Lokalna odległość między punktami, np. kwadratowa: d ( r(t),g(τ) ) = r(t) g(τ) 2 5. Wartość niepodobieństwa dla ścieżki w: D(r,g,w)= L w l=1 d ( r(w t (l)),g(w τ (l)) ) 6. Optymalna ścieżka i najmniejsza wartość niepodobieństwa: ŵ(r,g)=arg min w W r,g D(r,g,w) i ˆD(r,g)=D(r,g,ŵ(r,g))

40 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Rozpoznawanie podpisów Dynamiczne marszczenie czasu Przypadek z czasem dyskretnym

41 Rozpoznawanie podpisów Dynamiczne marszczenie czasu Przypadek z czasem dyskretnym 7. Techniki programowania dynamicznego(do wyznaczenia optymalnej ścieżki marszczenia) z użyciem globalnej macierzy kosztu D: (1) Pierwszyrząd:D(1,j)= j d(r(1),g(k)); j={1,..,mr} k=1 (2) Pierwszakolumna:D(i,1)= i d(r(k),g(1)); i={1,..,mr} k=1 (3) Pozostałe elementy: D(i, j) = min{d(i 1; j 1), D(i 1; j), D(i; j 1)}+d(r(i), g(j)); i={2,..,m r},j={2,..,m g} Ostatni element jest najmniejszą wartością niedopasowania: ˆD(r,g)=D(M r,m g). 8. Ograniczenia(podstawowe) przyspieszające obliczenia r g r g Sakoe-Chiba Band Itakura Parallelogram c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49

42 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Rozpoznawanie podpisów Ukryte Modele Markowa (ang. Hidden Markov Models) 1. Technika modelowania procesów stochastycznych o własnościach Markowa obserwacja zmiennych zależnych od stanów(brak możliwości obserwacji stanów) typowa architektura HMM dla biometrii podpisu: model typu left-right(brak powrotu do stanów poprzednich, możliwość pozostania w stanie aktualnym) 2. Alfabet elementów podpisu wspólny dla wszystkich podpisów indywidualny dla każdego podpisu indywidualny dla każdego segmentu podpisu

43 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Rozpoznawanie podpisów Ukryte Modele Markowa (ang. Hidden Markov Models) 3. Projektowanie systemu trening HMM na bazie próby: wyznaczenie parametrów łańcucha(najbardziej prawdopodobny łańcuch przejść pomiędzy stanami oraz prawdopodobieństwa obserwacji); algorytm Bauma-Welcha rozpoznanie podpisu: najbardziej prawdopodobny łańcuch przejść pomiędzy stanami dla danej obserwacji(dla obrazu podpisu); algorytm Viterbiego(ścieżka Viterbiego) 4. Trudności w określeniu: składników alfabetu właściwej liczby stanów niezbędnej liczby obrazów trenujących

44 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Ocena niezawodności Przedmiot obserwacji Pozyskiwanie danych Przetwarzanie wstępne Wyznaczanie cech Rozpoznawanie podpisów Ocena niezawodności Własności biometrii podpisu

45 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Ocena niezawodności Wyniki dla rozpoznawania off-line FAR FRR EER Liczba (%) (%) (%) podpisów Baltzakis 2001(PO) 9,81 3, Deng 1997(FP) 0,00 5,70 10 Deng 1997(FZ) 21,00 5,70 10 Fang 2003(FZ) 18,00 55 Justino 2002(PO) 1,44 2,83 60 Edson 2002(FP) 2,50 2,83 30 Edson 2002(FZ) 22,67 2,83 30 Aguilar 2004(PO) 1,14 75 Aguilar 2004(FZ) 9,29 75 Putz-Leszczyńska 2007(FZ) 12,53 13,60 12,27 75 Różne protokoły testowania i różne bazy danych. Wzajemne porównanie metod nie jest w takim przypadku możliwe.

46 Ocena niezawodności Wyniki dla rozpoznawania on-line FAR FRR EER Liczba (%) (%) (%) podpisów Parizeau ,00 30 Nalwa , Munich ,90 56 Pacut, Czajka ,00 11,00 48 Sakamoto ,00 8 Shafiei ,00 12,00 11,50 69 Muramatsu ,60 14 Feng ,00 30 Pippin ,30 4,70 19 Nakanishi ,35 4 Mahmud ,00 5,00 30 Pacut ,23 3, Wan ,70 25 Muramatsu ,86 0,80 0, Putz-Leszczyńska, Pacut ,04 1, Różne protokoły testowania i różne bazy danych. Wzajemne porównanie metod nie jest w takim przypadku możliwe. c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49

47 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Ocena niezawodności Wyniki dla rozpoznawania on-line FAR FRR ERR Liczba (%) (%) (%) podpisów Quan Miguel-Hurtado Garcia-Salicetti, Dorizzi Guru, Prakash Galbally, Ortega-Garcia Faundez-Zanuy Nanni and Lumini Putz-Leszczyńska, Pacut Putz-Leszczyńska, Pacut Pascual-Gaspar Putz-Leszczyńska, Pacut Wszystkie wyniki dla baz MCYT(podstawowej lub rozszerzonej).

48 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Własności biometrii podpisu Przedmiot obserwacji Pozyskiwanie danych Przetwarzanie wstępne Wyznaczanie cech Rozpoznawanie podpisów Ocena niezawodności Własności biometrii podpisu

49 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Własności biometrii podpisu Zalety(+)iwady( ) biometrii podpisu odręcznego Zawartość informacyjna + niska penetracja genetyczna + (teoretyczna) możliwość zmiany własnego podpisu obserwowalność/ powtarzalność Akceptacja użytkowników + metoda stosowana od lat Odporność na fałszerstwa + trudności w kopiowaniu podpisów on-line fałszerstwa zaawansowane podpisów off-line Możliwość realizacji technicznej + niski koszt i duża dostępność urządzeń Inwazyjność pomiaru + pomiar niekłopotliwy + brak wymagania treningu wielokrotny pomiar przy rejestracji

50 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Co powinniśmy zapamiętać 1. Czym różni się rozpoznawanie podpisu off-line od rozpoznawania on-line?

51 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Co powinniśmy zapamiętać 1. Czym różni się rozpoznawanie podpisu off-line od rozpoznawania on-line? 2. Jakie cechy globalne podpisu off-line/on-line wykorzystuje się w biometrii?

52 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Co powinniśmy zapamiętać 1. Czym różni się rozpoznawanie podpisu off-line od rozpoznawania on-line? 2. Jakie cechy globalne podpisu off-line/on-line wykorzystuje się w biometrii? 3. Na czym polega dynamiczne marszczenie czasu?

53 c JoannaPutz-Leszczyńska IAiISPW 1stycznia, /49 Co powinniśmy zapamiętać 1. Czym różni się rozpoznawanie podpisu off-line od rozpoznawania on-line? 2. Jakie cechy globalne podpisu off-line/on-line wykorzystuje się w biometrii? 3. Na czym polega dynamiczne marszczenie czasu? 4...?