Biometryczna Identyfikacja Tożsamości

Transkrypt

1 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 1/47 Adam Czajka Wykład na Wydziale Elektroniki i Technik Informacyjnych Politechniki Warszawskiej Semestr letni 2015

2 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 2/47 Przedmiot obserwacji Przedmiot obserwacji Pozyskiwanie danych Przetwarzanie wstępne Wyznaczanie cech Rozpoznawanie podpisów

3 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 3/47 Przedmiot obserwacji Rodzaje biometrii podpisu 1. Metody off-line obraz na papierze, zbiór punktów na płaszczyźnie: S = {(x, y) : x = x(t), y = y(t), t T } kolejność występowania elementów podpisu nie jest rejestrowana

4 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 4/47 Przedmiot obserwacji Rodzaje biometrii podpisu 2. Metody on-line rejestracja procesu podpisywania się obserwacja wyjścia złożonego układu dynamicznego w czasie T składania podpisu s = s(t), t T możliwość wykorzystania różnych składników podpisu (ma to wpływ na wymiarowość s) w zależności od możliwości urządzeń pomiarowych; typowe kombinacje: 2D: pozycja na płaszczyźnie 3D: pozycja na płaszczyźnie + nacisk końcówki pióra 5D: pozycja na płaszczyźnie + nacisk końcówki pióra + kąty orientacji pióra

5 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 5/47 Przedmiot obserwacji Przedmiot obserwacji

6 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 6/47 Przedmiot obserwacji Obraz podpisu a podpis 1. Obraz podpisu (ang. signature token): pojedyncza realizacja podpisu przykład: przy wykorzystaniu pięciu składników podpisu krzywa w R 6 2. Podpis: klasa wszystkich możliwych obrazów podpisu tego samego typu dla danej osoby różne typy podpisów osoby (np. imię i nazwisko, tylko nazwisko, inicjały, itp.) traktujemy jak różne podpisy 3. Wykres podpisu: dowolny rzut obrazu podpisu na podprzestrzeń składników podpisu przykład: wykres xy podpisu (ang. x-y token) rzut obrazu podpisu na podprzestrzeń składników położenia

7 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 7/47 Przedmiot obserwacji Obraz podpisu a podpis

8 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 8/47 Przedmiot obserwacji Rodzaje fałszerstwa podpisów A osoba autentyczna, B fałszerz 1. Podpisy obce (ang. random forgeries) B nie ma żadnych informacji o podpisie A w praktyce podpisy innych osób wykorzystywane są jako próby fałszerstwa

9 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 9/47 Przedmiot obserwacji Rodzaje fałszerstwa podpisów A osoba autentyczna, B fałszerz 2. Fałszerstwa proste (ang. simple forgeries) B zna elementy podpisu A (np. imię, nazwisko, inicjały)

10 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 10/47 Przedmiot obserwacji Rodzaje fałszerstwa podpisów A osoba autentyczna, B fałszerz 3. Fałszerstwa zaawansowane (ang. skilled forgeries) B może obserwowaæ jak A się podpisuje B ma dostęp do obrazów podpisu A w celu wytrenowania fałszerstwa B ma możliwość obserwacji obrazu podpisu A podczas fałszowania B ma możliwość skopiowania (przekalkowania) podpisu A

11 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 11/47 Przedmiot obserwacji Rodzaje fałszerstwa podpisów Co widzimy w realizacjach off-line i on-line?

12 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 12/47 Przedmiot obserwacji Rodzaje fałszerstwa podpisów Co widzimy w realizacjach off-line i on-line?

13 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 13/47 Pozyskiwanie danych Przedmiot obserwacji Pozyskiwanie danych Przetwarzanie wstępne Wyznaczanie cech Rozpoznawanie podpisów

14 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 14/47 Pozyskiwanie danych Metody off-line: skanowanie Wrażliwość dokładności identyfikacji na rozdzielczość skanowania.

15 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 15/47 Pozyskiwanie danych Metody on-line: wykorzystanie tabletów graficznych

16 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 16/47 Pozyskiwanie danych Metody on-line: wykorzystanie tabletów graficznych 1. Tablety do zastosowań ogólnych elementy obrazu podpisu uporządkowane w czasie (typowe próbkowanie Hz) poza położeniem pióra zwykle umożliwiają pomiar dodatkowych składników (np poziomów nacisku pióra) pomiar również po oderwaniu pióra od podłoża (do ok. 2 cm)

17 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 17/47 Pozyskiwanie danych Metody on-line: wykorzystanie tabletów graficznych 2. Specjalizowane tablety dla biometrii podpisu dodatkowe elementy konstrukcyjne (np. wbudowane kolorowe i monochromatyczne ekrany LCD, przyciski funkcyjne) zapewnione bezpieczeństwo przesyłanych danych (szyfrowanie) wielkość dostosowana do zastosowań w biometrii narzędzia deweloperskie

18 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 18/47 Przetwarzanie wstępne Przedmiot obserwacji Pozyskiwanie danych Przetwarzanie wstępne Wyznaczanie cech Rozpoznawanie podpisów

19 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 19/47 Przetwarzanie wstępne Segmentacja Metody off-line 1. Wyodrębnianie z tła lokalizacja położenia podpisu (a) usuniecie tła i zakłóceń (b) progowanie (c) i tworzenie obrazu szkieletowego (d)

20 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 20/47 Przetwarzanie wstępne Segmentacja Metody off-line 2. Podział na segmenty jednorodny: wykorzystanie ustalonej siatki (np. prostokątnej) prosty ale wrażliwy na deformacje podpisu wymaga bardzo dobrego wyrównania położenia podpisów

21 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 21/47 Przetwarzanie wstępne Segmentacja Metody off-line 2. Podział na segmenty niejednorodny: poszukiwanie spójnych części podpisu w sensie wybranego wskaźnika jakości, np. odrębne pociągnięcia pióra (ang. strokes), elementy podpisu tworzące spójne figury

22 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 22/47 Przetwarzanie wstępne Segmentacja Metody on-line 1. Redukcja liczby punktów (ang. resampling) jednorodna: odrzucenie co k-tego punktu (b) niejednorodna: odrzucenie punktów w segmentach o niskiej krzywiźnie (c)

23 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 23/47 Przetwarzanie wstępne Segmentacja Metody on-line 2. Podział na segmenty wykorzystanie informacji statycznej: podniesienia pióra, ekstrema składników (popularne dla nacisku) wykorzystanie informacji dynamicznej: ekstrema prędkości i przyspieszenia Przykład segmentacji z wykorzystaniem informacji o nacisku pióra. Realizacja pochodzi z bazy SVC 2004.

24 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 24/47 Wyznaczanie cech Przedmiot obserwacji Pozyskiwanie danych Przetwarzanie wstępne Wyznaczanie cech Rozpoznawanie podpisów

25 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 25/47 Wyznaczanie cech Metody off-line 1. Cechy globalne własności geometryczne obrysu podpisu liczba pętli liczba przecięć linii nachylenia linii grubość linii wartości średnie i odchylenia standardowe elementów podpisu (dla różnych skal obrazu) własności obrazów po przekształceniach morfologicznych, np. pole powierzchni, orientacja 2. Cechy lokalne wybrane cechy globalne liczone w segmentach lokalne deskryptory obrazu, np. LBP, cechy Gabora, itp.

26 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 26/47 Wyznaczanie cech Metody off-line Przykład wielokrotnie zastosowanej dylatacji morfologicznej

27 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 27/47 Wyznaczanie cech Metody off-line Przykład zastosowania erozji do rozpoznawania nachylenia podpisów

28 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 28/47 Wyznaczanie cech Metody on-line Cechy globalne 1. Momenty statystyczne Dla pojedynczych składników: średnia, wariancja, skośność, kurtoza Dla mieszanin składników: momenty mieszane, np. wartości własne macierzy kowariancji dla wybranych składników

29 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 29/47 Wyznaczanie cech Metody on-line Cechy globalne 2. Czas trwania realizacji podpisu (bardzo istotne!) 3. Współczynniki trendów liniowych 4. Prędkość i przyspieszenie prowadzenia pióra 5. Cechy po wstępnej filtracji (np. falkowej) 6. Miejsca przejść przez zero (cechy dla metod zero-crossing)

30 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 30/47 Wyznaczanie cech Metody on-line Dobór cech globalnych 1. Eliminacja cech skorelowanych 2. Dobór cech najbardziej rozróżniających (np. analiza Fishera, informacja wzajemna, itp.) Z prawej: przykładowa analiza korelacyjna cech (s - średnie, σ odch. standardowe, α współczynniki trendu liniowego, β trzecie momenty, λ wart. wł. macierzy kowariancji, N długość podpisu) Dodatkowa literatura: A. Pacut, A. Czajka, Recognition of Human Signatures, IEEE-INNS-ENNS International Joint Conference on Neural Networks IJCNN 2001, Washington, D.C., USA, Vol 2, pp , IEEE, 2001

31 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 31/47 Rozpoznawanie podpisów Przedmiot obserwacji Pozyskiwanie danych Przetwarzanie wstępne Wyznaczanie cech Rozpoznawanie podpisów

32 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 32/47 Rozpoznawanie podpisów Grupowanie cech globalnych 1. Cechy widoczne łatwe do oszacowania przez fałszerza na podstawie wykresu xy podpisu przykład: średnie i odchylenia standardowe współrzędnych położenia 2. Cechy ukryte trudne lub niemożliwe do oszacowania na podstawie wykresu xy podpisu przykład: prędkość i przyspieszenie prowadzenia pióra, siła nacisku, cechy związane z orientacją pióra podczas pisania

33 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 33/47 Rozpoznawanie podpisów Rozpoznawanie w podprzestrzeni cech ukrytych 3. Grupowanie podpisów podobnych w sensie odległości w podprzestrzeni cech widocznych pozwala na grupowanie podpisów podobnych na papierze 4. Klasyfikacja w podprzestrzeni cech ukrytych pozwala na budowę dokładniejszych klasyfikatorów, bardziej wrażliwych na fałszerstwa zaawansowane

34 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 34/47 Rozpoznawanie podpisów Klasyfikacja cech Popularne podejścia 1. Klasyfikatory neuronowe perceptron wielowarstwowy sieci radialne decyzja określana na bazie wyjścia zwycięskiego neuronu ( winner takes all ) uwzględnienie wartości wyjść pozostałych neuronów (np. z wykorzystaniem nierówności Czybyszewa) 2. Maszyna wektorów podpierających (SVM) 3. Warianty klasyfikacji odrębne klasyfikatory dla każdego podpisu (typowy dla weryfikacji) wspólna funkcja klasyfikująca dla wszystkich podpisów (typowy dla identyfikacji)

35 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 35/47 Rozpoznawanie podpisów Dynamiczne marszczenie czasu ang. Dynamic Time Warping (DTW) 1. Liniowe (bezpośrednie) przyporządkowanie elementów dwóch realizacji

36 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 36/47 Rozpoznawanie podpisów Dynamiczne marszczenie czasu ang. Dynamic Time Warping (DTW) 2. Nieliniowe przyporządkowanie elementów dwóch realizacji, wyznaczone np. przy pomocy DTW

37 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 37/47 Rozpoznawanie podpisów Dynamiczne marszczenie czasu Przypadek z czasem ciągłym 1. DTW to technika porównywania funkcji r i g: r = {r(t), t 1, T r } r(w t (l)), l 1, L w g = {g(τ), τ 1, T g } g(w τ (l)), l 1, L w gdzie w t, w τ W są tzw. funkcjami marszczącymi, W jest rodziną funkcji marszczących natomiast L w = max(t r, T g ) 2. W ogólności, r oraz g są krzywymi wielowymiarowymi, czyli mogą reprezentować realizacje złożone z jednego lub wielu składników podpisu

38 Rozpoznawanie podpisów Dynamiczne marszczenie czasu Przypadek z czasem ciągłym 3. Przykładowa miara podobieństwa funkcji inf w t,w τ W Lw 1 r(w t (l)) g(w τ (l)) 2 dl 4. Często zakładamy (dla wygody), że czas t jest tożsamy z czasem idealnym l, tzn. inf w W Tr 1 r(t) g(w(t)) 2 dt czyli czas realizacji r nie jest marszczony, natomiast czas realizacji g jest marszczony funkcją w 5. Czas nie powinien być znacznie marszczony, tzn. w(t) t, ẇ(t) 1 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 38/47

39 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 39/47 Rozpoznawanie podpisów Dynamiczne marszczenie czasu Przypadek z czasem dyskretnym 1. Dyskretna dziedzina porównywanych funkcji r = {r(t), t = 1, 2,.., M r } g = {g(τ), τ = 1, 2,.., M g } 2. Funkcje marszczące reprezentowane przez tzw. ścieżki marszczenia w(l) = [w t (l) w τ (l)] T ; l = 1,.., L w gdzie w t (l) {1,.., M r } w τ (l) {1,.., M g }

40 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 40/47 Rozpoznawanie podpisów Dynamiczne marszczenie czasu Przypadek z czasem dyskretnym r Mg g Mg g 1 Mr Mg g 1 1 r 1 r Mr t 1 t Mr Źródło: Joanna Putz-Leszczynska, Signature Verification A Comprehensive Study Of The Hidden, International Journal of Applied Mathematics in Computer Science (to be published in 2014)

41 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 41/47 Rozpoznawanie podpisów Dynamiczne marszczenie czasu Przypadek z czasem dyskretnym 2a. Przejście diagonalne odpowiada zgodnemu przebiegowi czasu w obu realizacjach 2b. Przejścia poziome lub pionowe odpowiadają jednostkowemu wydłużeniu lub skróceniu czasu 2c. Ścieżki marszczenia spełniają warunki: brzegowe: w t (1) = w τ (1) = 0, w t (L w ) = M r, w τ (L w ) = M g tzn. ścieżka łączy punkt (1,1) z (M r, M g ) monotoniczności: w t (l + 1) w t (l), w τ (l + 1) w τ (l) tzn. nie cofamy się w czasie długości ścieżki marszczenia: max(m r, M g ) L w M r + M g 1

42 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 42/47 Rozpoznawanie podpisów Dynamiczne marszczenie czasu Przypadek z czasem dyskretnym 3. Lokalna odległość (niepodobieństwo) między punktami, np. kwadratowa: d ( r(t), g(τ) ) = r(t) g(τ) 2 4. Wartość niepodobieństwa wzdłuż całej ścieżki marszczenia w: D(r, g, w) = L w l=1 d ( r(w t (l)), g(w τ (l)) )

43 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 43/47 Rozpoznawanie podpisów Dynamiczne marszczenie czasu Przypadek z czasem dyskretnym 5. Optymalna ścieżka marszczenia ŵ(r, g) = arg min D(r, g,w) w W r,g (dostarcza rozwiązania, tzn. w jaki sposób zmodyfikować czas aby dwie realizacje były najbardziej podobne w sensie D(r, g,w) 6. Minimalne niepodobieństwo ˆD(r, g) = D(r, g, ŵ(r, g)) (dostarcza informacji o jakości optymalnego rozwiązania, tzn. jak bardzo należało zmodyfikować czas)

44 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 44/47 Rozpoznawanie podpisów Dynamiczne marszczenie czasu Przypadek z czasem dyskretnym Źródło: Joanna Putz-Leszczynska, Signature Verification A Comprehensive Study Of The Hidden, International Journal of Applied Mathematics in Computer Science (to be published in 2014)

45 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 45/47 Rozpoznawanie podpisów Dynamiczne marszczenie czasu Przypadek z czasem dyskretnym 7. Programowanie dynamiczne wyznacza optymalną ścieżkę marszczenia oraz minimalne globalne niepodobieństwo wyznaczenie macierzy kosztu D a) pierwszy rząd: D(1, j) = j k=1 d(r(1), g(k)); j = {1,.., Mr} b) pierwsza kol.: D(i, 1) = i k=1 d(r(k), g(1)); i = {1,.., Mr} c) pozostałe elementy: D(i, j) = min{d(i 1; j 1), D(i 1; j), D(i; j 1)}+d(r(i), g(j)) gdzie i = {1,.., M r}, j = {1,.., M g} ostatni element wskazuje minimalne niepodobieństwo, tzn. ˆD(r, g) = D(M r, M g ) poruszając się w kierunku przeciwnym od punktu (M r, M g ) znajdujemy optymalną ścieżkę marszczenia ŵ(r, g)

46 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 46/47 Rozpoznawanie podpisów Dynamiczne marszczenie czasu Przypadek z czasem dyskretnym 8. Wynik porównania podpisów minimalne niepodobieństwo ˆD(r, g) = D(M r, M g ), i/lub odległość między realizacjami po marszczeniu czasu 9. Dodatkowe ograniczenia przyspieszające obliczenia

47 c Adam Czajka, IAiIS PW, wersja: 23 maja 2015, 47/47 Przykładowe pytanie egzaminacyjne Na rysunku przedstawiono przyporządkowanie dwóch różnych podpisów w przestrzeni jednego ze składników. A. Narysuj odpowiadającą temu przyporządkowaniu ścieżkę marszczenia. B. Narysuj dowolną ścieżkę marszczenia, dla której koszt przyporządkowania podpisów będzie większy niż dla ścieżki z punktu A.