Biometryczna Identyfikacja Tożsamości

Transkrypt

1 c Adam Czajka IAiIS PW 20 maja /39 Adam Czajka Wykład na Wydziale Elektroniki i Technik Informacyjnych Politechniki Warszawskiej Semestr letni 2014

2 c Adam Czajka IAiIS PW 20 maja /39 Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Wstępne przetwarzanie sygnałów mowy Klasyfikacja cech mowy

3 c Adam Czajka IAiIS PW 20 maja /39 Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Wstępne przetwarzanie sygnałów mowy Klasyfikacja cech mowy

4 c Adam Czajka IAiIS PW 20 maja /39 Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Przetwarzanie mowy

5 c Adam Czajka IAiIS PW 20 maja /39 Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Przetwarzanie mowy

6 c Adam Czajka IAiIS PW 20 maja /39 Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Krótka historia , Gunnar Fant, Szwecja pierwszy model procesu wytwarzania mowy (na bazie zdjęć rentgenowskich w trakcie mówienia) , Joseph Perkell, MIT, USA uszczegółowienie modeli ruchome zdjęcia rentgenowskie , IBM Research Laboratory, San Jose, USA TASS-II/III ( / ) dwudźwięki TASS-IV ( ) synteza mowy

7 c Adam Czajka IAiIS PW 20 maja /39 Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Krótka historia , Texas Instruments, MITRE, US Air Force, USA prototyp pierwszego systemu rozpoznawania mówiącego testy na bazie pomiarów od 209 osób , Matsimi Suzuki, Fuji Xerox, Japonia pierwszy opis (i patent) automatycznego systemu rozpoznawania mówiącego

8 c Adam Czajka IAiIS PW 20 maja /39 Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Warianty metody 1. Ustalonej treści (ang. fixed-text) rejestracja i uwierzytelnianie na podstawie tego samego, ustalonego tekstu (hasła) tekst może być jednocześnie hasłem łatwość oszustwa po nagraniu/skopiowaniu tekstu 2. Zależne od treści (ang. text-dependent, lub fixed-phrase) uwierzytelnianie na podstawie tekstu podanego przez system (np. odczytanie cyfr w zadanej kolejności) łatwość oszustwa po nagraniu/skopiowaniu części tekstu wystarczających do złożenia całej wypowiedzi

9 c Adam Czajka IAiIS PW 20 maja /39 Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Warianty metody 3. Niezależne od treści (ang. text-independent, lub unconstrained-phrase) wybór tekstu pozostawiany użytkownikowi oszustwo wymaga konstrukcji syntezatora mowy dla danego użytkownika 4. Konwersacyjne (ang. conversational) ukrywanie tajnej treści w wypowiedziach analiza semantyczna treści łączenie rozpoznawania mówiącego z rozpoznawaniem mowy oszustwo wymaga konstrukcji syntezatora mowy dla danego użytkownika oraz znajomości tajnych treści

10 c Adam Czajka IAiIS PW 20 maja /39 Wstępne przetwarzanie sygnałów mowy Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Wstępne przetwarzanie sygnałów mowy Klasyfikacja cech mowy

11 c Adam Czajka IAiIS PW 20 maja /39 Wstępne przetwarzanie sygnałów mowy Przetwarzanie wstępne 1. Filtr preemfazy filtry o skończonej odpowiedzi impulsowej (ang. Finite Impulse Response, FIR) s n= N 1 k=0 a k s n k, n=0,...,n 1 najczęściej FIR pierwszego rzędu:a 0 =1,a 1 1, 0.9, a n =0 dlan>1 2. Podział sygnału nalbloków o długościk (z możliwością nakładania się bloków) s k;l=s k+m(l 1), k=0,...,k 1, l=0,...,l 1

12 c Adam Czajka IAiIS PW 20 maja /39 Wstępne przetwarzanie sygnałów mowy Przetwarzanie wstępne 3. Minimalizacja nieciągłości sygnału na granicy bloków s k;l=s k;lw k, l=0,...,l 1 gdzie w k =α (1 α)cos ( ) 2πk K jest rodziną funkcji okna oraz α (0,1) α=0.5: okno Hanna α=0.54: okno Hamminga

13 c Adam Czajka IAiIS PW 20 maja /39 Wstępne przetwarzanie sygnałów mowy Przetwarzanie wstępne 4. Detekcja mowy detekcja granic cisza-mowa-cisza rozpoznanie części dźwięcznych i bezdźwięcznych 5. Segmentacja słów 6. Reprezentacja sygnału w dziedzinie czasu (wykres sygnału lub energii sygnału) w dziedzinie częstotliwości (widmo częstotliwościowe) w dziedzinie czasu i częstotliwości (spektrogram)

14 c Adam Czajka IAiIS PW 20 maja /39 Wstępne przetwarzanie sygnałów mowy Przetwarzanie wstępne

15 c Adam Czajka IAiIS PW 20 maja /39 Wstępne przetwarzanie sygnałów mowy Cechy mówiącego Formanty: częstotliwości charakteryzujące tor akustyczny Uproszczony schemat aparatu mowy człowieka

16 c Adam Czajka IAiIS PW 20 maja /39 Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Wstępne przetwarzanie sygnałów mowy Klasyfikacja cech mowy

17 c Adam Czajka IAiIS PW 20 maja /39 Alvin Lucier, I am sitting in a room, 1970 I am sitting in a room different from the one you are in now. I am recording the sound of my speaking voice and I am going to play it back into the room again and again until the resonant frequencies of the room reinforce themselves so that any semblance of my speech, with perhaps the exception of rhythm, is destroyed. What you will hear, then, are the natural resonant frequencies of the room articulated by speech. I regard this activity not so much as a demonstration of a physical fact, but more as a way to smooth out any irregularities my speech might have.

18 c Adam Czajka IAiIS PW 20 maja /39 Estymacja cech w dziedzinie czasu 1. Predykcja liniowa (LP) modelowanie: wyrażenie próbki dźwięku jako liniowej kombinacji próbek poprzednich (modele autoregresyjne) ŝ n = M a m s n m +e n m=1 gdziem rząd modelu,e szum o stałej wariancji; w rozpoznawaniu mowyereprezentuje sygnał pobudzenia (dźwięk strun głosowych) cechy sygnału: współczynnikia m (charakterystyka formantów) wyznaczanie cech: minimalizacja błędu średniokwadratowego odległości pomiędzysiŝ(wykorzystanie odległości Itakura-Saito)

19 c Adam Czajka IAiIS PW 20 maja /39 Estymacja cech w dziedzinie czasu 2. Analiza składowych niezależnych (ang. Independent Component Analysis, ICA) założenie: mowa jest liniową superpozycją niezależnych statystycznie źródeł sygnału zadanie: znaleźć źródła oraz sposób superpozycji źródeł

20 c Adam Czajka IAiIS PW 20 maja /39 Analiza składowych niezależnych Przykład superpozycji obrazów

21 c Adam Czajka IAiIS PW 20 maja /39 Analiza składowych niezależnych Przykład superpozycji obrazów

22 c Adam Czajka IAiIS PW 20 maja /39 Analiza składowych niezależnych Przykład superpozycji obrazów

23 c Adam Czajka IAiIS PW 20 maja /39 Analiza składowych niezależnych Przykład superpozycji obrazów

24 Analiza składowych niezależnych Przykład superpozycji i separacji dźwięku (tzw. cocktail party problem) Źródło przykładu: Politechnika w Helsinkach, c Adam Czajka IAiIS PW 20 maja /39

25 c Adam Czajka IAiIS PW 20 maja /39 Analiza składowych niezależnych Model ICA gdzie y(t)=as(t)+e(t) s(t)=[s 1 (t),...,s m (t)] T wektormniezależnych statystycznie i nieznanych źródeł, y(t)=[y 1 (t),...,y n (t)] T wektornobserwacjiy (liniowa mikstura źródełs), natomiast e(t) jest gaussowskim szumem (w modelu uproszczonym rezygnuje się z szumu)

26 c Adam Czajka IAiIS PW 20 maja /39 Analiza składowych niezależnych Zadanie znaleźćs(oraza) mając dane jedyniey im Założenia ICA niegaussowskie źródła, lub co najwyżej jedno gaussowskie w modelu uproszczonym zwyklen m (liczba niezależnych obserwacji nie mniejsza niż liczba niezależnych źródeł) zadana wariancja źródeł, np. jednostkowa (niejednoznaczność: poszukiwane zarównosjak ia)

27 c Adam Czajka IAiIS PW 20 maja /39 Analiza składowych niezależnych Założenia i interpretacja w rozpoznawaniu mówiącego dana (zakładana) jest liczba źródeł obserwacje stanowią różne próbki głosu danego mówiącego dopuszczamy rozkład normalny co najwyżej jednego źródła (dla modelu uproszczonego) cechy mówiącego (toru głosowego): współczynniki liniowej superpozycji źródeł (macierza)

28 c Adam Czajka IAiIS PW 20 maja /39 Estymacja cech w dziedzinie częstotliwości 1. Współczynniki mocy na bazie widma Fouriera 2. Współczynniki Fouriera wyrażone w tzw. mel-skali 3. Selekcja częstotliwości (czyli współczynników Fouriera) za pomocą filtrów trójkątnych

29 c Adam Czajka IAiIS PW 20 maja /39 Mel-skala: prosty ekesperyment

30 c Adam Czajka IAiIS PW 20 maja /39 Mel-skala 1. Nieliniowa zmiana częstotliwości, najczęściej: f mel =2595log(1+f/700) 2. Subiektywna ocena odległości pomiędzy dźwiękami poparta doświadczeniami ( mel od słowa melodia ) 3. Uważa się, iż mel-skala lepiej niż skala liniowa odzwierciedla charakterystykę słuchu ludzkiego

31 c Adam Czajka IAiIS PW 20 maja /39 Przykładowa zależność między skalą liniową i mel-skalą

32 c Adam Czajka IAiIS PW 20 maja /39 Estymacja cech w dziedzinie cepstralnej 1. Rozplot homomorficzny zakładamy, że obserwowany sygnał mowyy jest splotem pobudzeniaxiodpowiedzi impulsowejhtoru głosowego y(n)= x(k)h(n k) k= lub w dziedzinie częstotliwości Y(ω)=X(ω)H(ω) logarytmowanie i wyznaczenie odwrotnej dyskretnej transformaty Fouriera dla obu stron powyższego równania DFT 1( log 10 ( Y(ω) ) ) = DFT 1( log 10 ( X(ω) ) ) +DFT 1( log 10 ( H(ω) ) )

33 c Adam Czajka IAiIS PW 20 maja /39 Estymacja cech w dziedzinie cepstralnej 2. Cepstrum (anagram słowa spectrum ) cepstrum rzeczywiste (widma mocy) cepstrum zespolone mel-cepstrum zespolone CC(y)=DFT 1( log 10 DFT(y) ) CC(y)=DFT 1( log 10 ( DFT(y) ) ) MFCC(y)=DFT 1 ( log 10 ( MFC ( DFT(y) ))) gdziemfc oznacza operację przekształcającą częstotliwości do mel-skali

34 c Adam Czajka IAiIS PW 20 maja /39 Estymacja cech w dziedzinie cepstralnej 3. Wyznaczanie cech mówiącego okienkowanie (najczęściej filtrami trójkątnymi): cepstrum zespolone odpowiedzi toru głosowego skupione jest w początkowych elementach reprezentacji typowe cechy: współczynniki cepstralne (ang. Cepstral Coefficients, CC) lub współczynniki mel-cepstralne (ang. Mel Frequency Cepstral Coefficients, MFCC) odpowiedzi toru głosowego 4. Porównanie cech ważona odległość euklidesowa 5. Dodatkowe przetwarzanie reprezentacji cepstralnych wyznaczanie widma (typowo DFT) oraz wykonanie operacji odwrotnej do logarytmowania osobno dla pobudzenia i dla odpowiedzi toru głosowego otrzymujemy widmo pobudzenia oraz widmo toru głosowego

35 c Adam Czajka IAiIS PW 20 maja /39 Estymacja w dziedzinie cepstralnej Schemat działania

36 c Adam Czajka IAiIS PW 20 maja /39 Klasyfikacja cech mowy Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Wstępne przetwarzanie sygnałów mowy Klasyfikacja cech mowy

37 c Adam Czajka IAiIS PW 20 maja /39 Klasyfikacja cech mowy Modelowanie 1. Rozpoznawanie zależne od treści dynamiczne marszczenie czasu ukryte modele Markowa (łańcuchy typu left-right) EER od 0.1% do 2% 2. Rozpoznawanie niezależne od treści kwantyzacja wektorowa (ang. vector quantization, VQ) ukryte modele Markowa (łańcuchy ergodyczne i autoregresyjne) liniowa kombinacja funkcji gaussowskich (ang. Gaussian Mixture Models, GMM) EER od 1% do 20%

38 c Adam Czajka IAiIS PW 20 maja /39 Klasyfikacja cech mowy Problemy 1. Możliwości oszustwa naśladowanie głosu nagrywanie/kopiowanie głosu 2. Możliwości/umiejętności użytkowników problemy z wymową (źle wypowiedziane lub niewłaściwe słowa) stany emocjonalne, zmęczenie, pragnienie choroby górnych dróg oddechowych, alergie starzenia się aparatu mowy 3. Aspekty techniczne niejednorodne systemy pomiarowe podczas rejestracji i weryfikacji inna akustyka środowiska podczas rejestracji i weryfikacji niejednorodne cyfrowe przetwarzanie sygnałów (np. kompresja) zakłócenia zewnętrzne

39 c Adam Czajka IAiIS PW 20 maja /39 Co powinniśmy zapamiętać 1. Czy możemy używać wymiennie sformułowania rozpoznawanie mowy i rozpoznawanie mówiącego? 2. Jakie własności człowieka wykorzystuje biometria głosu? 3. Co daje nam rozplot homomorficzny? 4. Z jakiego powodu w biometrii głosu wykorzystuje się mel-skalę?