BIOMETRIA WYKŁAD 3 CECHY BIOMETRYCZNE: TWARZ

Transkrypt

1 BIOMETRIA WYKŁAD 3 CECHY BIOMETRYCZNE: TWARZ

2 Twarz jako cecha biometryczna Metoda bezinwazyjna, bezkontaktowa i szybka Wysoka akceptowalność społeczna Możliwość akwizycji pasywnej Niskie koszty

3 Twarz jako cecha biometryczna najbardziej naturalna wizytówka tożsamości, używana na co dzień.jednocześnie nastręczająca ogromne trudności w automatyzacji rozpoznawania mimika, mowa, stan emocjonalny, zmęczenie, choroba proces starzenia broda, wąsy, okulary, makijaż warunki obserwacji (np. oświetlenie) twarz jest trójwymiarowa (skąd wziąć wzorce przestrzenne?) CELOWA CHARAKTERYZACJA

4 Wyzwania (I)

5 Wyzwania (II)

6 Wyzwania (III)

7 Wymagania Odporność na zmiany zachodzące w twarzy (wiek, mimika, okulary) Odporność na warunki oświetlenia Odporność na zmianę pozycji Odporność na ewolucję w czasie (???)

8 Rozpoznawanie twarzy

9 Metody detekcji twarzy Oparte o wiedzę ekspercką (Knowledge based topdown methods) Bazujące na cechach twarzy (Bottom-up featuresbased methods) Dopasowania wzorców (Template matching methods) Appearance-based methods

10 Rozpoznawanie twarzy Holistyczne (globalne) twarz traktowana całościowo): kompozycja, wygląd, wzajemny układ komponentów postrzeganie przez niemowlęta aspekty psychologiczne INDYWIDUALNOŚĆ TWARZY ZALEZY OD SZEREGU CZYNNIKÓW, NIEJEDNOKROTNIE TRUDNYCH DO NAZWANIA (PROBABLISTYKA, STATYSTYKA) Możliwe rozpoznawanie w oparciu o 1 lub grupę wzorców Szczegółowe (antropometryczne, modeli geometrycznych) analiza położenia elementów charakterystycznych (nosa, warg itd.) i zależności między nimi (odległości, kąty) metody matematyczne (modelowanie strukturalne) i metody sztucznej inteligencji

11 Rozpoznawanie szczegółowe

12 Modelowanie strukturalne Ilościowy opis cech Reguły tworzenia grafów (dopasowań) Sposób podejmowania ostatecznej decyzji

13

14 Cechy biometryczne twarzy - antropometryczne Wysokość głowy (7* szerokość oka) Szerokość głowy (5*szerokość oka) Linia oczu (połowa odległości między górną częścią głowy a podbródkiem) Brwi (1/3 odległości między górną częścią głowy a podbródkiem) Dolna część nosa (2/3 odległości między górną częścią głowy a podbródkiem) Linia ust (3/5 odległości między linią oczu a podbródkiem) Odległość między kącikiem ust a szczęką (o szerokości oka) Odległość między zewnętrznymi i wewnętrznymi kącikami oczu Szerokość nosa (o szerokości oka) Wysokość oka (nieco więcej niż 1/3 szerokości oka)

15 Cechy biometryczne twarzy - geometryczne owal twarzy, szerokość twarzy, kształt ust, kształt nosa, kształt czoła, kształt brwi, kształt podbródka, kształt uszu

16 Modelowanie strukturalne Rozpoznawanie to porównanie grafu obrazu testowego z grafem wzorcowym porównanie zarówno deskryptorów węzłów grafów jak i ich struktury po uprzednim dopasowaniu grafów Dopasowanie to kompensacja niezgodności położeń odpowiadających sobie węzłów Wynik: miara podobieństwa położenia wszystkich węzłów jak i deformacji grafów przy ich dopasowaniu (dla FERET 90%)

17 Modelowanie strukturalne Wady podejścia: 1. Założenie że opis twarzy opiera się o właściwe z punktu widzenia rozpoznawania deskryptory 2. Arbitralna ocena znaczenia poszczególnych węzłów cech (współczynniki wagowe) 3. Czy duża zgodność położenia węzłów przy dużej deformacji grafu to dalej ta sama twarz?

18 Rozpoznawanie holistyczne NIE WIEMY A PRIORI CO DECYDUJE JAK OCENIAĆ PRZYNALEŻNOŚĆ OBIEKTU DO KLASY Wiedza zawarta jest w przykładach Twarz to wielowymiarowy wektor (elementami są wszystkie piksele w obrazie) Dokonaj automatycznej ekstrakcji cech istotnych dla rozpoznania (w oparciu o pełen opis twarzy) Określ sposób podziału przestrzeni cech (zaprojektuj klasyfikator)

19 Rozpoznawanie holistyczne Ekstrakcja: redukcja wymiarowości przestrzeni, znalezienia takiej przestrzeni w której punkty należące do twarzy reprezentującej różne twarze będą łatwo separowane PCA (Principal Component Analysis) LDA (Linear Discriminant Analysis) ICA (Independent Component Analysis) LFA (Local Features Analysis) Klasyfikacja: SVM Sieci neuronowe Modele Markova Metody minimalno-odległościowe

20 Rozpoznawanie holistyczne (bezkontekstowe)

21 Jak oszukać człowieka?

22

23 Dlaczego więc warto? Monitorowanie miejsc publicznych ATAK NA WORLD TRADE CENTER (2001) Skuteczność najbardziej powszechnie stosowanych algorytmów dla bazy FERET wynosi 98% Jeśli rozpoznanie nie jest krytyczne to jest to tani i wygodny sposób weryfikacji tożsamości

24 ZASTOSOWANIA KOMERCYJNE

25 DeepFace Skuteczność DeepFace przy porównaniu dwóch zdjęć: 97,25% (prześciga nawet systemy stosowanego przez FBI (np. Next Generation Identification). Skuteczność ludzkiego mózgu: 97,53 % Wykorzystuje 120 milionów różnych parametrów (testy bazie obejmującej 4 miliony zdjęć należących do ponad 4 tysięcy użytkowników.

26 DeepFace

27 jednak Facebookowi to nie wystarczy

28 Facebook Moments

29 Zdjęcia Google (Google+) Usługa pozwala na znalezienie osób widniejących na fotografiach. 3 kategorie wyszukiwania: ludzie, miejsca i przedmioty. Po kliknięciu przycisku Więcej w zakładce Ludzie wyświetla zdjęcie każdej osoby, której kiedykolwiek pstryknęliśmy fotkę i porządkuje zdjęcia według popularności osób usługa wyświetli nie tylko obrazy, na których twarz danej osoby jest wyraźnie widoczna, lecz także zdjęcia, na których można ją ledwo dostrzec (ale w przeciwieństwie do Facebooka twarze MUSZĄ być choć częściowo widoczne) Google nie wiąże zdjęć z danymi osobowymi

30 GoogleGlass a rozpoznawanie twarzy 2013 Google nie wprowadzi do Glass żadnych takich mechanizmów, chyba że uda się stworzyć odpowiednio skuteczne systemy ochrony prywatności 2015 Wykrywanie (i rozpoznawanie!) emocji w czasie (niemal) rzeczywistym (Lambda Labs)

31 Jak się bronić?

32 Weryfikacja preferencji zakupowych (tracking) W USA zgoda klienta na skan twarzy w miejscu nie jest potrzebna FaceDeals (by RedPepper).czyli jak dostać zniżkę za tożsamość? (ale tylko w Tennessee)

33 Kryminalistyka 1. Sporządzenie portretu pamięciowego osoby poszukiwanej przez rysownika (duża rola szczegółów) 2. Szkic jest skanowany i filtrowany dolnoprzepustowo (rozmycie: portret na pewno odbiega w szczegółach od oryginału) 3. Ekstrakcja cech (współczynniki falkowe, twarze własne) ->wektor cech reprezentujący obraz 4. Porównanie wektora cech z wektorami obrazów w bazie 5. Wytypowanie przez system małego podzbioru potencjalnie winnych

34 Logowanie do Windowsa Rohos Face Logon Luxand Blink!

35 Inteligentny dom Domofon (informowanie o gościach wraz z podaniem personaliów) Włączanie światła Blokowanie kanałów (identyfikacja dziecka) Rejestracja godzin wejścia/wyjścia domowników Dostosowanie prędkości prezentacji danych w systemach komputerowych

36 Zastosowania niekomercyjne raczej metoda wspomagająca inne biometryki 12% wszystkich obecnie stosowanych systemów (2-gie miejsce po systemach analizy odcisków palców) robotyka kontrola dostępu i monitorowanie obecności monitorowanie miejsc publicznych (?) identyfikacja tożsamości (paszporty biometryczne) Biometryczność: skala, oświetlenie, frontem do obiektywu, brak silnego makijażu i nakrycie głowy, neutralny wyraz twarzy (zamknięte usta!) FAR 0,1% jeśli warunki są spełnione

37 Przyszłość Modele trójwymiarowe Wykorzystanie dwóch kamer Mapy głębokościowe Algorytmy rekonstrukcji 2D do 3D Informacja z sekwencji obrazów Analiza twarzy w podczerwieni (brak jednoznacznych badań) Zastosowanie kamer termowizyjnych (temperatura w różnych obszarach twarzy uzależniona jest od rozkładu naczyń krwionośnych praktycznie nie do podrobienia)

38 Ciąg dalszy jutro.