Technologia dynamicznego podpisu biometrycznego Prof. Andrzej Czyżewski, Politechnika Gdańska VI Konferencja i Narodowy Test Interoperacyjności Podpisu Elektronicznego CommonSign 2016, 26 27. X. 2016 r.
2
IDENT Multimodalny biometryczny y system weryfikacji klienta bankowego Rozwój technologii biometrycznych. Opracowywanie algorytmów i metod weryfikacji biometrycznej i dostosowywanie ich do pracy w warunkach bankowych. Budowa eksperymentalnego stanowiska bankowego. Wewnętrzne testowanie technologii. Montaż 100 multimodalnych stanowisk w 60 oddziałach bankowych i testowanie opracowanej technologii z udziałem 10 000 klientów. Opracowywanie technologii biometrycznych Budowa multimodalnego stanowiska bankowego Testowanie technologii w oddziałach bankowych Projekt finansowany przez Narodowe Centrum Badań i Rozwoju w ramach Programu Badań Stosowanych. 3
Multimodalne stanowisko bankowe Integracja wielu metod biometrycznej weryfikacji tożsamości w zakresie sprzętowym i programowym Możliwość zmniejszenia ryzyka błędnej weryfikacji tożsamości Budowa eksperymentalnego multimodalnego stanowiska bankowego na Politechnice Gdańskiej Serwer biometryczny Komputer doradcy Hub Biometryczny Pióro biometryczne Skaner dokumentów Mikrofon Kamera Time of Flight Skaner naczyń ń krwionośnych dłoni 4
Pióro biometryczne Weryfikacja tożsamości podczas najbardziej naturalnej czynności składania podpisu p Rejestracja cech osobniczych z wykorzystaniem oczujnikowanego bezprzewodowego pióra Czujniki ścisku i nacisku biometrycznego Ekstrakcja cech osobniczych w sposobie składania i wyglądzie podpisu Minimalizacja ryzyka fałszerstwa poprzez stosowanie miar dynamicznych y i statycznych\ y sensor ruchu Wbudowany akumulator Transmisja bezprzewodowa 5
Weryfikacja głosowa Stosowane metody i algorytmy ywykorzystują y unikatowość głosu wynikającą z budowy anatomicznej traktu głosowego Skuteczna weryfikacja mówcy z wykorzystaniem 8 sekundowych fragmentów mowy w sposób niezależny od wypowiadanych słów Dostosowanie algorytmów weryfikacji mówców do akustycznych warunków panujących w oddziałach ł bankowych Wytrenowanie akustycznych modeli na podstawie 80 mówców zarejestrowanych w 3 oddziałachbankowych 6
Wizerunek twarzy klienta Weryfikacja tożsamości w oparciu o profil boczny twarzy Rejestracja wizerunku w postaci struktury trójwymiarowej z wykorzystaniem kamery Time of Flight Możliwość skutecznej rejestracji i cech osobniczych przy warunkach oświetleniowych oddziałów bankowych Weryfikacja tożsamości w oparciu o wizerunek twarzy Nie wymaga specjalnego zachowania od weryfikowanej osoby Automatyczna detekcja twarzy i porównanie do wzorca znajdującego j się w bazie Potwierdzona skuteczność wykrycia i weryfikacji twarzy w warunkach rzeczywistej pracy w oddziałach bankowych 7
8
9
ident.mp4
Pióro biometryczne Bezprzewodowe pióro biometryczne wyposażone w czujniki 2 akcelerometry 3 osiowe 2 żyroskopy 3 czujniki ścisku czujnik nacisku Rezystancyjna powierzchnia dotykowa 7 zainstalowana na ekranie LCD Bluetooth 4.0 + LE Czujniki ścisku i nacisku Wbudowany akumulator sensory ruchu Transmisja bezprzewodowa 10/21/2016
System weryfikacji autentyczności podpisu System analizuje: statyczne cechy biometryczne (wizerunek podpisu) dynamiczne cechy biometryczne (tempo składania podpisu w jego poszczególnych fazach) Wyłoniono i badano różne kombinacje 144 miar oceny autentyczności podpisu: p 4 miary określające cechy statyczne 140 miar określających cechy dynamiczne 10/21/2016
Metoda weryfikacji autentyczności podpisu cechy statyczne (1) 4 miary oceny statycznej: stosunek szerokości do wysokości prostokąta opisanego na podpisie liczba próbek tworzących trajektorię podpisu liczbaprzejść podpis tło w płaszczyźnie pionowej i poziomej 10/21/2016
Metoda weryfikacji autentyczności podpisu cechy statyczne (2) 2 sposoby zliczania liczby przejść podpis tło: ł zliczanie wszystkich pikseli na drodze pionowej lub poziomej linii wyznaczającej przejścia podpis tło zliczanie pikseli na drodze pionowej bądź poziomej linii wyznaczającej przejścia podpis tło, które nie sąsiadują idj w pionie i bądź poziomie z innym pikselem linii podpisu (dla linii podpisu pokrywającej się z pionową bądź poziomą linią wyznaczającą przejścia, zliczane jest tylko jedno wystąpienie przejścia linia podpis). 10/21/2016
Metoda weryfikacji autentyczności podpisu cechy dynamiczne (1) Dla sygnałów z każdego z czujników oraz sygnałów uzyskanych na powierzchni rezystancyjnej utworzono proste miary oparte na wartościach średnich oraz miary wynikające z zastosowania metody dynamicznego marszczenia czasu (DTW) i metody korelacji wzajemnej Pearsona Weryfikacja dynamiczna oparta głównie na kombinacji standardowej metody DTW i jej modyfikacji 10/21/2016
Metoda weryfikacji autentyczności podpisu cechy dynamiczne (2) Założenie: funkcje opisujące przebieg parametrów dwóch podpisów autentycznych wymagają mniejszego ij marszczenia i w czasie niż funkcje opisujące przebieg parametrów podpisu autentycznego i fałszywego Przykładowa macierz DTW dla parametru v(t) autentycznego podpisu Przykładowa macierz DTW dla parametru v(t) podrobionego podpisu 10/21/2016
Metoda weryfikacji autentyczności podpisu cechy dynamiczne (3) Miary dla metody DTW to stopień zgodności optymalnej ścieżki kosztów z przekątną macierzy dla ścieżki wyznaczanej w standardowy sposób metodą ą śledzenia wstecznego stopień zgodności optymalnej ścieżki kosztów z przekątną macierzy dla ścieżki wyznaczanej od lewegogórnego górnego rogu macierzy do prawego dolnego koszt całkowity w macierzy kosztów Zgodność wyznaczona metodą śledzenia wstecznego (ciemny czerwony) i metodą zmodyfikowaną (różowy) dla podpisu autentycznego 10/21/2016
Metoda weryfikacji autentyczności podpisu cechy dynamiczne (4) Badano różne metryki stosowane przy wyznaczaniu funkcji kosztu i jako optymalną wybrano wartość bezwzględną różnicy wartości funkcji opisujących podpis wzorcowy i bieżący F f1, f 2,..., f i,..., f n G g1, g2,..., g j,..., g m d fi, g j fi g j d f g min ; i, j i, j i 1, j 1 i 1, j ; i, j 1 10/21/2016
Metoda weryfikacji autentyczności podpisu proces decyzyjny (1) Proces weryfikacji autentyczności polega na porównaniu wzorcowych podpisów przechowywanych hw plikach XML z danymi otrzymanymi w bieżącej sesji uwierzytelniania. Ocena stopnia autentyczności podpisu, zawierająca się w przedziale [0; 1], w oparciu o parametry z metody DTW polega na porównaniu ich wartości p s z wartościami progowymi p THR, zgodnie z zależnością: 1 p p ps Wartości progów zostały wyznaczone empirycznie THR p p s s p p THR THR 10/21/2016
Metoda weryfikacji autentyczności podpisu proces decyzyjny (2) proces decyzyjny (2) Ocena stopnia autentyczności podpisu w oparciu o metodę wzajemnej korelacji jest tożsama z wartością bezwzględną współczynnika Pearsona 1 1, G F g f g G f F P n i m j j i j i 2 1 2 2 1 2 1 1 G g g P G F f f F P r m j j j n i i i i j xy 1 1 j i 10/21/2016
Metoda weryfikacji autentyczności podpisu proces decyzyjny (3) Wartości wzorcowe w m miar statycznych i 5 miar dynamicznych, nie związanych z metodą DTW, są porównywane z wartościami w c z bieżącej sesji uwierzytelniania w w p w c m m w c w w c c w w m m w w c c 0, w 0, w Otrzymywana jest wartość p z przedziału [0; 1], podobnie jak dla metody DTW m, m Wartość wynikowa jest średnią ze wszystkich wartości p 0 0 10/21/2016
Wstępna ocena miar FRR i FAR (1) Badania wykonano na eksperymentalnym stanowisku bankowym W eksperymentach wzięło udział 7 osób Ocena miary FRR (ang. False Rejection Rate) ) (liczba autentycznych y podpisów odrzuconych przez system / liczba wszystkich podpisów) Ocena miary FAR (ang. False Acceptance Rate) (liczba fałszywych podpisów zaakceptowanych przez system / liczba wszystkich podpisów) Fałszerstwa szkolone osoby ćwiczyły wcześniej podrabianie podpisów
Wstępna ocena miar FRR i FAR (2) Weryfikacja w oparciu o 3 modele (podpisy wzorcowe) Próg akceptacji podpisu jako autentycznego ustawiono na 82.3% FRR = 0,029 (= 2/70) 2 podpisy autentyczne zostały nieprawidłowo odrzucone przez system FAR = 0 system odrzucił wszystkie podpisy fałszywe
Serwer Centralna część systemu, łącząca rolę elementu decyzyjnego i serwera bazodanowego. Serwer przechowuje wzorcowe próbki danych (fotogrametria, podpisy, zdjęcia, głos). Klasyfikator określa stopień podobieństwa osoby weryfikowanej i wzorca z bazy. Serwer przechowuje dane biometryczne, dane alfanumeryczne dotyczące klientów i ich wizerunki. 24
Wersje rozwojowe 25
Stanowisko samoobsługowe 26
Mobilne pióro biometryczne Możliwość uwierzytelnienia operacji bankowych z wykorzystaniem y podpisu składanego na powierzchni urządzenia mobilnego. Proces weryfikacji podpisu odbywa się z uwzględnieniem metod opracowanych w projekcie IDENT wykorzystujących wygląd i sposób składania podpisu. Podpis jest składany z wykorzystaniem oczujnikowanego pióra biometrycznego, zapewniającego rejestrację dodatkowych parametrów podpisu. p 27
Dziękuję za uwagę Praca została zrealizowana w ramach projektu PBS3/B3/26/2015, zatytułowanego p j / / /, y g Multimodalny biometryczny system weryfikacji tożsamości klienta bankowego, który jest dofinansowywany przez Narodowe Centrum Badań i Rozwoju.