Biometryczna Identyfikacja Tożsamości

Biometryczna Identyfikacja Tożsamości Wykład 9: Rozpoznawanie mówiącego Adam Czajka Wykład na Wydziale Elektroniki i Technik Informacyjnych Politechniki Warszawskiej Semestr letni 2015 c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 1/40

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 2/40 Rozpoznawanie mówiącego jako technika przetwarzania mowy Rozpoznawanie mówiącego jako technika przetwarzania mowy Wstępne przetwarzanie sygnałów mowy

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 3/40 Rozpoznawanie mówiącego jako technika przetwarzania mowy Przetwarzanie mowy

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 4/40 Rozpoznawanie mówiącego jako technika przetwarzania mowy Przetwarzanie mowy

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 5/40 Rozpoznawanie mówiącego jako technika przetwarzania mowy Krótka historia 1. 1960, Gunnar Fant, Szwecja pierwszy model procesu wytwarzania mowy (na bazie zdjęć rentgenowskich w trakcie mówienia) 2. 1970, Joseph Perkell, MIT, USA uszczegółowienie modeli ruchome zdjęcia rentgenowskie 3. 1967 1985, IBM Research Laboratory, San Jose, USA TASS-II/III (1961-67/1967 70) dwudźwięki TASS-IV (1980 1985) synteza mowy

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 6/40 Rozpoznawanie mówiącego jako technika przetwarzania mowy Krótka historia 4. 1977, Texas Instruments, MITRE, US Air Force, USA prototyp pierwszego systemu rozpoznawania mówiącego testy na bazie pomiarów od 209 osób 5. 1977, Matsimi Suzuki, Fuji Xerox, Japonia pierwszy opis (i patent) automatycznego systemu rozpoznawania mówiącego

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 7/40 Rozpoznawanie mówiącego jako technika przetwarzania mowy Warianty metody 1. Ustalonej treści (ang. fixed-text) rejestracja i uwierzytelnianie na podstawie tego samego, ustalonego tekstu (hasła) tekst może być jednocześnie hasłem łatwość oszustwa po nagraniu/skopiowaniu tekstu 2. Zależne od treści (ang. text-dependent, lub fixed-phrase) uwierzytelnianie na podstawie tekstu podanego przez system (np. odczytanie cyfr w zadanej kolejności) łatwość oszustwa po nagraniu/skopiowaniu części tekstu wystarczających do złożenia całej wypowiedzi

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 8/40 Rozpoznawanie mówiącego jako technika przetwarzania mowy Warianty metody 3. Niezależne od treści (ang. text-independent, lub unconstrained-phrase) wybór tekstu pozostawiany użytkownikowi oszustwo wymaga konstrukcji syntezatora mowy dla danego użytkownika 4. Konwersacyjne (ang. conversational) ukrywanie tajnej treści w wypowiedziach analiza semantyczna treści łączenie rozpoznawania mówiącego z rozpoznawaniem mowy oszustwo wymaga konstrukcji syntezatora mowy dla danego użytkownika oraz znajomości tajnych treści

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 9/40 Wstępne przetwarzanie sygnałów mowy Rozpoznawanie mówiącego jako technika przetwarzania mowy Wstępne przetwarzanie sygnałów mowy

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 10/40 Wstępne przetwarzanie sygnałów mowy 1. Filtracja 1. Filtr preemfazy filtry o skończonej odpowiedzi impulsowej (ang. Finite Impulse Response, FIR) s n = N 1 k=0 a k s n k, n = 0,..., N 1 2. Najczęściej FIR pierwszego rzędu: a 0 = 1, a 1 1, 0.9, a n = 0 dla n > 1

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 11/40 Wstępne przetwarzanie sygnałów mowy 2. Detekcja głosu i podział na segmenty 1. Detekcja granic cisza-mowa-cisza, detekcja części dźwięcznych i bezdźwięcznych 2. Podział sygnału na L bloków o długości K (z możliwością nakładania się bloków) s k;l = s k+ml, k = 0,..., K 1, l = 0,..., L 1 gdzie M = K gdy bloki nie nakładają się, lub M K w pozostałych przypadkach.

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 12/40 Wstępne przetwarzanie sygnałów mowy 3. Minimalizacja nieciągłości na granicy bloków Okienkowanie sygnału: s k;l = s k;l w k, l = 0,..., L 1 gdzie w k = α (1 α) cos ( ) 2πk K jest rodziną funkcji okna oraz α (0, 1) α = 0.5: okno Hanna α = 0.54: okno Hamminga

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 13/40 Wstępne przetwarzanie sygnałów mowy 4. Reprezentacja sygnału 1. W dziedzinie czasu: wykres sygnału lub energii sygnału 2. W dziedzinie częstotliwości (widmo częstotliwościowe) 3. Jednocześnie w dziedzinie czasu i częstotliwości: spektrogram (ang. voiceprint, voicegram, spectral waterfall,...)

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 14/40 Rozpoznawanie mówiącego jako technika przetwarzania mowy Wstępne przetwarzanie sygnałów mowy

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 15/40 Cechy mówiącego Formanty: częstotliwości charakteryzujące tor akustyczny Uproszczony schemat aparatu mowy człowieka

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 16/40 Ciekawy eksperyment Alvin Lucier, I am sitting in a room, 1970 I am sitting in a room different from the one you are in now. I am recording the sound of my speaking voice and I am going to play it back into the room again and again until the resonant frequencies of the room reinforce themselves so that any semblance of my speech, with perhaps the exception of rhythm, is destroyed. What you will hear, then, are the natural resonant frequencies of the room articulated by speech. I regard this activity not so much as a demonstration of a physical fact, but more as a way to smooth out any irregularities my speech might have.

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 17/40 Estymacja cech w dziedzinie czasu 1. Predykcja liniowa (LP) modelowanie: wyrażenie próbki dźwięku jako liniowej kombinacji próbek poprzednich (modele autoregresyjne) ŝ n = M a m s n m + e n m=1 gdzie M rząd modelu, e szum o stałej wariancji; w rozpoznawaniu mowy e reprezentuje sygnał pobudzenia (dźwięk strun głosowych) cechy sygnału: współczynniki a m (charakterystyka formantów) wyznaczanie cech: minimalizacja błędu średniokwadratowego odległości pomiędzy s i ŝ (wykorzystanie odległości Itakura-Saito)

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 18/40 Estymacja cech w dziedzinie czasu 2. Analiza składowych niezależnych (ang. Independent Component Analysis, ICA) założenie: mowa jest liniową superpozycją niezależnych statystycznie źródeł sygnału zadanie: znaleźć źródła oraz sposób superpozycji źródeł

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 19/40 Analiza składowych niezależnych Przykład superpozycji obrazów

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 23/40 Analiza składowych niezależnych Przykład superpozycji i separacji dźwięku (tzw. cocktail party problem) Źródło przykładu: Politechnika w Helsinkach, http://research.ics.tkk.fi

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 24/40 Analiza składowych niezależnych 1. Model ICA gdzie y(t) = As(t) + e(t) s(t) = [s 1 (t),..., s m (t)] T wektor m niezależnych statystycznie i nieznanych źródeł, y(t) = [y 1 (t),..., y n (t)] T wektor n obserwacji y (liniowa mikstura źródeł s), natomiast e(t) jest gaussowskim szumem (w modelu uproszczonym rezygnuje się z szumu)

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 25/40 Analiza składowych niezależnych 2. Zadanie znaleźć s (oraz A) mając dane jedynie y i m 3. Założenia ICA niegaussowskie źródła, lub co najwyżej jedno gaussowskie w modelu uproszczonym zwykle n m (liczba niezależnych obserwacji nie mniejsza niż liczba niezależnych źródeł) zadana wariancja źródeł, np. jednostkowa (niejednoznaczność: poszukiwane zarówno s jak i A)

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 26/40 Analiza składowych niezależnych Założenia i interpretacja w rozpoznawaniu mówiącego 1. Dana (zakładana) jest liczba źródeł 2. Różne próbki głosu osoby dostarczają różnych obserwacji 3. Dopuszczamy rozkład normalny co najwyżej jednego źródła (dla modelu uproszczonego) 4. Cechy mówiącego (toru głosowego): współczynniki liniowej superpozycji źródeł (macierz A)

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 27/40 Estymacja cech w dziedzinie częstotliwości 1. Współczynniki mocy na bazie widma Fouriera 2. Współczynniki Fouriera wyrażone w tzw. mel-skali 3. Selekcja częstotliwości (czyli współczynników Fouriera) za pomocą filtrów trójkątnych

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 28/40 Mel-skala: prosty ekesperyment

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 29/40 Mel-skala 1. Nieliniowa zmiana częstotliwości, np.: f mel = 2595 log(1 + f/700) 2. Subiektywna ocena odległości pomiędzy dźwiękami poparta doświadczeniami ( mel od słowa melodia ) 3. Uważa się, iż mel-skala lepiej niż skala liniowa odzwierciedla charakterystykę słuchu ludzkiego

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 30/40 Przykładowa zależność między skalą liniową i mel-skalą

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 31/40 Estymacja cech w dziedzinie cepstralnej Rozplot homomorficzny 1. Załóżmy, że obserwowany sygnał mowy y jest splotem pobudzenia x i odpowiedzi impulsowej h toru głosowego y(n) = k= lub w dziedzinie częstotliwości x(k)h(n k) Y (ω) = X(ω)H(ω)

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 32/40 Estymacja cech w dziedzinie cepstralnej Rozplot homomorficzny 2. Obliczając logarytm obu stron poprzedniego równania oraz wyznaczając odwrotną transformatę Fouriera otrzymujemy tzw. reprezentację cepstralną sygnału (lub krótko: cepstrum, anagram słowa spectrum ): DFT 1( log 10 ( Y (ω) ) ) = DFT 1( log 10 ( X(ω)H(ω) ) ) = DFT 1( log 10 ( X(ω) ) + log10 ( H(ω) ) ) DFT 1( log 10 ( X(ω) ) ) + DFT 1( log 10 ( H(ω) ) )

gdzie MFC oznacza operację przekształcającą częstotliwości do mel-skali c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 33/40 Estymacja cech w dziedzinie cepstralnej Rozplot homomorficzny 3. Rodzaje cepstrum cepstrum rzeczywiste (widma mocy): cepstrum zespolone: mel-cepstrum zespolone: RC(y) = DFT 1( log 10 DFT(y) ) CC(y) = DFT 1( log 10 ( DFT(y) ) ) MF CC(y) = DFT 1 ( log 10 ( MF ( DFT(y) )))

Estymacja cech w dziedzinie cepstralnej Wyznaczanie porównywanie cech 4. Wyznaczanie cech mówiącego okienkowanie (najczęściej filtrami trójkątnymi): cepstrum zespolone odpowiedzi toru głosowego skupione jest w początkowych elementach reprezentacji typowe cechy: współczynniki cepstralne (ang. Cepstral Coefficients, CC) lub współczynniki mel-cepstralne (ang. Mel Frequency Cepstral Coefficients, MFCC) odpowiedzi toru głosowego 5. Porównanie cech: najczęściej ważona odległość euklidesowa 6. Dodatkowe przetwarzanie reprezentacji cepstralnych (jeśli zasadne) wyznaczanie widma (typowo DFT) oraz wykonanie operacji odwrotnej do logarytmowania osobno dla pobudzenia i dla odpowiedzi toru głosowego otrzymujemy widmo pobudzenia oraz widmo toru głosowego c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 34/40

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 35/40 Estymacja cech w dziedzinie cepstralnej Przykład 0.4 0.2 0-0.2-0.4-0.6 0 1 2 3 4 5 6 7 8 9 10 Czas (s)

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 36/40 Estymacja cech w dziedzinie cepstralnej Przykład 300 Widmo amplitudowe 250 200 150 100 50 0 0 0.5 1 1.5 2 2.5 10 5

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 37/40 Estymacja cech w dziedzinie cepstralnej Przykład 3 Logarytm widma amplitudowego 2 1 0-1 -2-3 -4-5 0 0.5 1 1.5 2 2.5 10 5

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 38/40 Estymacja cech w dziedzinie cepstralnej Przykład 0.03 Reprezentacja cepstralna 0.02 0.01 0-0.01-0.02-0.03 0 0.5 1 1.5 2 Próbki 10 5

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 39/40 Estymacja w dziedzinie cepstralnej Schemat działania

c Adam Czajka, IAiIS PW, wersja: 26 maja 2015, 40/40 Przykładowe pytanie egzaminacyjne Załóżmy, że funkcję f przekształcamy zgodnie z zależnością ( f = FFT 1 ln ( FFT(f) )) gdzie FFT oznacza operację szybkiej transformaty Fouriera. W jakim celu wykorzystuje się takie przekształcenie w biometrii i jak należy interpretowaæ wynikową funkcję f?