BIOMETRIA WYKŁAD 2 CECHY BIOMETRYCZNE: TWARZ

Transkrypt

1 BIOMETRIA WYKŁAD 2 CECHY BIOMETRYCZNE: TWARZ

2 Twarz jako cecha biometryczna Metoda bezinwazyjna, bezkontaktowa i szybka Wysoka akceptowalnośd społeczna Możliwośd akwizycji pasywnej Niskie koszty

3 Twarz jako cecha biometryczna najbardziej naturalna wizytówka tożsamości, używana na co dzieo.jednocześnie nastręczająca ogromne trudności w automatyzacji rozpoznawania mimika, mowa, stan emocjonalny, zmęczenie, choroba proces starzenia broda, wąsy, okulary, makijaż warunki obserwacji (np. oświetlenie) twarz jest trójwymiarowa (skąd wziąd wzorce przestrzenne?) CELOWA CHARAKTERYZACJA

4

5 Wyzwania (I)

6 Wyzwania (II)

7 Wyzwania (III)

8 Wymagania Odpornośd na zmiany zachodzące w twarzy (wiek, mimika, okulary) Odpornośd na warunki oświetlenia Odpornośd na zmianę pozycji Odpornośd na ewolucję w czasie (???)

9 Rozpoznawanie twarzy

10 Metody detekcji twarzy Oparte o wiedzę ekspercką (Knowledge based topdown methods) Bazujące na cechach twarzy (Bottom-up featuresbased methods) Dopasowania wzorców (Template matching methods) Appearance-based methods

11 Rozpoznawanie twarzy Holistyczne (globalne) twarz traktowana całościowo): kompozycja, wygląd, wzajemny układ komponentów postrzeganie przez niemowlęta aspekty psychologiczne INDYWIDUALNOŚD TWARZY ZALEZY OD SZEREGU CZYNNIKÓW, NIEJEDNOKROTNIE TRUDNYCH DO NAZWANIA (PROBABLISTYKA, STATYSTYKA) Możliwe rozpoznawanie w oparciu o 1 lub grupę wzorców Szczegółowe (antropometryczne, modeli geometrycznych) analiza położenia elementów charakterystycznych (nosa, warg itd.) i zależności między nimi (odległości, kąty) metody matematyczne (modelowanie strukturalne) i metody sztucznej inteligencji

12 Rozpoznawanie szczegółowe

13 Modelowanie strukturalne (EBGM) Ilościowy opis cech Reguły tworzenia grafów (dopasowao) Sposób podejmowania ostatecznej decyzji

14

15 Cechy biometryczne twarzy - antropometryczne Wysokośd głowy (7* szerokośd oka) Szerokośd głowy (5*szerokośd oka) Linia oczu (połowa odległości między górną częścią głowy a podbródkiem) Brwi (1/3 odległości między górną częścią głowy a podbródkiem) Dolna częśd nosa (2/3 odległości między górną częścią głowy a podbródkiem) Linia ust (3/5 odległości między linią oczu a podbródkiem) Odległośd między kącikiem ust a szczęką (o szerokości oka) Odległośd między zewnętrznymi i wewnętrznymi kącikami oczu Szerokośd nosa (o szerokości oka) Wysokośd oka (nieco więcej niż 1/3 szerokości oka)

16 Cechy biometryczne twarzy - geometryczne owal twarzy, szerokośd twarzy, kształt ust, kształt nosa, kształt czoła, kształt brwi, kształt podbródka, kształt uszu

17 Modelowanie strukturalne Rozpoznawanie to porównanie grafu obrazu testowego z grafem wzorcowym porównanie zarówno deskryptorów węzłów grafów jak i ich struktury po uprzednim dopasowaniu grafów Dopasowanie to kompensacja niezgodności położeo odpowiadających sobie węzłów Wynik: miara podobieostwa położenia wszystkich węzłów jak i deformacji grafów przy ich dopasowaniu (dla FERET 90%)

18 Modelowanie strukturalne Wady podejścia: 1. Założenie że opis twarzy opiera się o właściwe z punktu widzenia rozpoznawania deskryptory 2. Arbitralna ocena znaczenia poszczególnych węzłów cech (współczynniki wagowe) 3. Czy duża zgodnośd położenia węzłów przy dużej deformacji grafu to dalej ta sama twarz?

19 Rozpoznawanie holistyczne NIE WIEMY A PRIORI CO DECYDUJE JAK OCENIAD PRZYNALEŻNOŚD OBIEKTU DO KLASY Wiedza zawarta jest w przykładach Twarz to wielowymiarowy wektor (elementami są wszystkie piksele w obrazie) Dokonaj automatycznej ekstrakcji cech istotnych dla rozpoznania (w oparciu o pełen opis twarzy) Określ sposób podziału przestrzeni cech (zaprojektuj klasyfikator)

20 Rozpoznawanie holistyczne Ekstrakcja: redukcja wymiarowości przestrzeni, znalezienia takiej przestrzeni w której punkty należące do twarzy reprezentującej różne twarze będą łatwo separowane PCA (Principal Component Analysis) LDA (Linear Discriminant Analysis) ICA (Independent Component Analysis) LFA (Local Features Analysis) Klasyfikacja: SVM Sieci neuronowe Modele Markova Metody minimalno-odległościowe

21 PCA (Principal Component Analysis) obrazy twarzy tego samego rozmiaru, w pozycji frontalnej, pozbawione tła oraz wyrównane do linii oczu i ust. kompresja zbioru danych wejściowych zapisanych w postaci macierzy korelacji lub kowariancji, redukcji cech nieistotnych dla twarzy, pozostawiając zmienne o największej wariancji (zmniejszenie wymiaru danych i stworzenie najbardziej wydajnej niskowymiarowej reprezentacji wzorców twarzy). Powstałe w ten sposób ortogonalne wektory (eigenvectors) przekształca się do postaci zwanej eigenfaces Każdy obraz twarzy ze zbioru może byd przedstawiony jako suma ważona poszczególnych eigenfaces zawartych w 1D tablicy. Aby rozpoznad twarz obraz wejściowy porównywany jest z obrazami w bazie poprzez wyliczenie odległości między ich odpowiednimi wektorami. Główną zaletą tego algorytmu jest ogromna redukcja danych nawet w skali 1/1000. Wadą mogą byd sztywne reguły danych wejściowych.

22 PCA (Principal Component Analysis)

23 LDA (ang. Linear Discriminant Analysis) Metoda statystyczna, uogólnienie dla liniowego dyskryminatora Fischera (Fisher's linear discriminant, FLD) polega na znalezieniu liniowych kombinacji cech, które charakteryzują klasy obiektów Wynikowe kombinacje służą do redukcji wymiarów zbioru, a następnie wykorzystywane są do klasyfikacji. Technika ta opiera się na maksymalnej wariancji pomiędzy klasami i minimalnej wariancji w klasie. Tego rodzaju obrazy twarzy przedstawione za pomocą liniowych kombinacji cech określane są jako Fisher faces

24 LDA (ang. Linear Discriminant Analysis)

25 Rozpoznawanie holistyczne (bezkontekstowe)

26 Jak oszukad człowieka?

27

28 Dlaczego więc warto? Monitorowanie miejsc publicznych ATAK NA WORLD TRADE CENTER (2001) Skutecznośd najbardziej powszechnie stosowanych algorytmów dla bazy FERET wynosi 98% Jeśli rozpoznanie nie jest krytyczne to jest to tani i wygodny sposób weryfikacji tożsamości

29 ZASTOSOWANIA KOMERCYJNE

30 DeepFace Skutecznośd DeepFace przy porównaniu dwóch zdjęd: 97,25% (prześciga nawet systemy stosowanego przez FBI (np. Next Generation Identification). Skutecznośd ludzkiego mózgu: 97,53 % Wykorzystuje 120 milionów różnych parametrów (testy bazie obejmującej 4 miliony zdjęd należących do ponad 4 tysięcy użytkowników.

31 DeepFace

32 Zdjęcia Google (Google+) Usługa pozwala na znalezienie osób widniejących na fotografiach. 3 kategorie wyszukiwania: ludzie, miejsca i przedmioty. Po kliknięciu przycisku Więcej w zakładce Ludzie wyświetla zdjęcie każdej osoby, której kiedykolwiek pstryknęliśmy fotkę i porządkuje zdjęcia według popularności osób usługa wyświetli nie tylko obrazy, na których twarz danej osoby jest wyraźnie widoczna, lecz także zdjęcia, na których można ją ledwo dostrzec (ale w przeciwieostwie do Facebooka twarze MUSZĄ byd chod częściowo widoczne) Google nie wiąże zdjęd z danymi osobowymi

33 GoogleGlass a rozpoznawanie twarzy 2013 Google nie wprowadzi do Glass żadnych takich mechanizmów, chyba że uda się stworzyć odpowiednio skuteczne systemy ochrony prywatności 2015 Wykrywanie (i rozpoznawanie!) emocji w czasie (niemal) rzeczywistym (Lambda Labs)

34 Instytut Fraunhofera (Niemcy)

35 Jak się bronid?

36 Weryfikacja preferencji zakupowych (tracking) W USA zgoda klienta na skan twarzy w miejscu nie jest potrzebna FaceDeals (by RedPepper).czyli jak dostad zniżkę za tożsamośd? (ale tylko w Tennessee)

37 Kryminalistyka 1. Sporządzenie portretu pamięciowego osoby poszukiwanej przez rysownika (duża rola szczegółów) 2. Szkic jest skanowany i filtrowany dolnoprzepustowo (rozmycie: portret na pewno odbiega w szczegółach od oryginału) 3. Ekstrakcja cech (współczynniki falkowe, twarze własne) ->wektor cech reprezentujący obraz 4. Porównanie wektora cech z wektorami obrazów w bazie 5. Wytypowanie przez system małego podzbioru potencjalnie winnych

38 Logowanie do Windowsa Rohos Face Logon Luxand Blink!

39 Inteligentny dom Domofon (informowanie o gościach wraz z podaniem personaliów) Włączanie światła Blokowanie kanałów (identyfikacja dziecka) Rejestracja godzin wejścia/wyjścia domowników Dostosowanie prędkości prezentacji danych w systemach komputerowych

40 Zastosowania niekomercyjne raczej metoda wspomagająca inne biometryki 12% wszystkich obecnie stosowanych systemów (2-gie miejsce po systemach analizy odcisków palców) robotyka kontrola dostępu i monitorowanie obecności monitorowanie miejsc publicznych (?) identyfikacja tożsamości (paszporty biometryczne) Biometrycznośd: skala, oświetlenie, frontem do obiektywu, brak silnego makijażu i nakrycie głowy, neutralny wyraz twarzy (zamknięte usta!) FAR 0,1% jeśli warunki są spełnione

41 Przyszłośd Modele trójwymiarowe Wykorzystanie dwóch kamer Mapy głębokościowe Algorytmy rekonstrukcji 2D do 3D Informacja z sekwencji obrazów Analiza twarzy w podczerwieni (brak jednoznacznych badao) Zastosowanie kamer termowizyjnych (temperatura w różnych obszarach twarzy uzależniona jest od rozkładu naczyo krwionośnych praktycznie nie do podrobienia)

42 Ciąg dalszy jutro.

43 CZĘŚĆ PRAKTYCZNA

44

45

46

47