c Adam Czajka IAiIS PW 20 maja 2014 1/39 Adam Czajka Wykład na Wydziale Elektroniki i Technik Informacyjnych Politechniki Warszawskiej Semestr letni 2014
c Adam Czajka IAiIS PW 20 maja 2014 2/39 Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Wstępne przetwarzanie sygnałów mowy Klasyfikacja cech mowy
c Adam Czajka IAiIS PW 20 maja 2014 3/39 Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Wstępne przetwarzanie sygnałów mowy Klasyfikacja cech mowy
c Adam Czajka IAiIS PW 20 maja 2014 4/39 Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Przetwarzanie mowy
c Adam Czajka IAiIS PW 20 maja 2014 5/39 Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Przetwarzanie mowy
c Adam Czajka IAiIS PW 20 maja 2014 6/39 Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Krótka historia 1. 1960, Gunnar Fant, Szwecja pierwszy model procesu wytwarzania mowy (na bazie zdjęć rentgenowskich w trakcie mówienia) 2. 1970, Joseph Perkell, MIT, USA uszczegółowienie modeli ruchome zdjęcia rentgenowskie 3. 1967 1985, IBM Research Laboratory, San Jose, USA TASS-II/III (1961-67/1967 70) dwudźwięki TASS-IV (1980 1985) synteza mowy
c Adam Czajka IAiIS PW 20 maja 2014 7/39 Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Krótka historia 4. 1977, Texas Instruments, MITRE, US Air Force, USA prototyp pierwszego systemu rozpoznawania mówiącego testy na bazie pomiarów od 209 osób 5. 1977, Matsimi Suzuki, Fuji Xerox, Japonia pierwszy opis (i patent) automatycznego systemu rozpoznawania mówiącego
c Adam Czajka IAiIS PW 20 maja 2014 8/39 Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Warianty metody 1. Ustalonej treści (ang. fixed-text) rejestracja i uwierzytelnianie na podstawie tego samego, ustalonego tekstu (hasła) tekst może być jednocześnie hasłem łatwość oszustwa po nagraniu/skopiowaniu tekstu 2. Zależne od treści (ang. text-dependent, lub fixed-phrase) uwierzytelnianie na podstawie tekstu podanego przez system (np. odczytanie cyfr w zadanej kolejności) łatwość oszustwa po nagraniu/skopiowaniu części tekstu wystarczających do złożenia całej wypowiedzi
c Adam Czajka IAiIS PW 20 maja 2014 9/39 Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Warianty metody 3. Niezależne od treści (ang. text-independent, lub unconstrained-phrase) wybór tekstu pozostawiany użytkownikowi oszustwo wymaga konstrukcji syntezatora mowy dla danego użytkownika 4. Konwersacyjne (ang. conversational) ukrywanie tajnej treści w wypowiedziach analiza semantyczna treści łączenie rozpoznawania mówiącego z rozpoznawaniem mowy oszustwo wymaga konstrukcji syntezatora mowy dla danego użytkownika oraz znajomości tajnych treści
c Adam Czajka IAiIS PW 20 maja 2014 10/39 Wstępne przetwarzanie sygnałów mowy Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Wstępne przetwarzanie sygnałów mowy Klasyfikacja cech mowy
c Adam Czajka IAiIS PW 20 maja 2014 11/39 Wstępne przetwarzanie sygnałów mowy Przetwarzanie wstępne 1. Filtr preemfazy filtry o skończonej odpowiedzi impulsowej (ang. Finite Impulse Response, FIR) s n= N 1 k=0 a k s n k, n=0,...,n 1 najczęściej FIR pierwszego rzędu:a 0 =1,a 1 1, 0.9, a n =0 dlan>1 2. Podział sygnału nalbloków o długościk (z możliwością nakładania się bloków) s k;l=s k+m(l 1), k=0,...,k 1, l=0,...,l 1
c Adam Czajka IAiIS PW 20 maja 2014 12/39 Wstępne przetwarzanie sygnałów mowy Przetwarzanie wstępne 3. Minimalizacja nieciągłości sygnału na granicy bloków s k;l=s k;lw k, l=0,...,l 1 gdzie w k =α (1 α)cos ( ) 2πk K jest rodziną funkcji okna oraz α (0,1) α=0.5: okno Hanna α=0.54: okno Hamminga
c Adam Czajka IAiIS PW 20 maja 2014 13/39 Wstępne przetwarzanie sygnałów mowy Przetwarzanie wstępne 4. Detekcja mowy detekcja granic cisza-mowa-cisza rozpoznanie części dźwięcznych i bezdźwięcznych 5. Segmentacja słów 6. Reprezentacja sygnału w dziedzinie czasu (wykres sygnału lub energii sygnału) w dziedzinie częstotliwości (widmo częstotliwościowe) w dziedzinie czasu i częstotliwości (spektrogram)
c Adam Czajka IAiIS PW 20 maja 2014 14/39 Wstępne przetwarzanie sygnałów mowy Przetwarzanie wstępne
c Adam Czajka IAiIS PW 20 maja 2014 15/39 Wstępne przetwarzanie sygnałów mowy Cechy mówiącego Formanty: częstotliwości charakteryzujące tor akustyczny Uproszczony schemat aparatu mowy człowieka
c Adam Czajka IAiIS PW 20 maja 2014 16/39 Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Wstępne przetwarzanie sygnałów mowy Klasyfikacja cech mowy
c Adam Czajka IAiIS PW 20 maja 2014 17/39 Alvin Lucier, I am sitting in a room, 1970 I am sitting in a room different from the one you are in now. I am recording the sound of my speaking voice and I am going to play it back into the room again and again until the resonant frequencies of the room reinforce themselves so that any semblance of my speech, with perhaps the exception of rhythm, is destroyed. What you will hear, then, are the natural resonant frequencies of the room articulated by speech. I regard this activity not so much as a demonstration of a physical fact, but more as a way to smooth out any irregularities my speech might have.
c Adam Czajka IAiIS PW 20 maja 2014 18/39 Estymacja cech w dziedzinie czasu 1. Predykcja liniowa (LP) modelowanie: wyrażenie próbki dźwięku jako liniowej kombinacji próbek poprzednich (modele autoregresyjne) ŝ n = M a m s n m +e n m=1 gdziem rząd modelu,e szum o stałej wariancji; w rozpoznawaniu mowyereprezentuje sygnał pobudzenia (dźwięk strun głosowych) cechy sygnału: współczynnikia m (charakterystyka formantów) wyznaczanie cech: minimalizacja błędu średniokwadratowego odległości pomiędzysiŝ(wykorzystanie odległości Itakura-Saito)
c Adam Czajka IAiIS PW 20 maja 2014 19/39 Estymacja cech w dziedzinie czasu 2. Analiza składowych niezależnych (ang. Independent Component Analysis, ICA) założenie: mowa jest liniową superpozycją niezależnych statystycznie źródeł sygnału zadanie: znaleźć źródła oraz sposób superpozycji źródeł
c Adam Czajka IAiIS PW 20 maja 2014 20/39 Analiza składowych niezależnych Przykład superpozycji obrazów
c Adam Czajka IAiIS PW 20 maja 2014 21/39 Analiza składowych niezależnych Przykład superpozycji obrazów
c Adam Czajka IAiIS PW 20 maja 2014 22/39 Analiza składowych niezależnych Przykład superpozycji obrazów
c Adam Czajka IAiIS PW 20 maja 2014 23/39 Analiza składowych niezależnych Przykład superpozycji obrazów
Analiza składowych niezależnych Przykład superpozycji i separacji dźwięku (tzw. cocktail party problem) Źródło przykładu: Politechnika w Helsinkach, http://research.ics.tkk.fi c Adam Czajka IAiIS PW 20 maja 2014 24/39
c Adam Czajka IAiIS PW 20 maja 2014 25/39 Analiza składowych niezależnych Model ICA gdzie y(t)=as(t)+e(t) s(t)=[s 1 (t),...,s m (t)] T wektormniezależnych statystycznie i nieznanych źródeł, y(t)=[y 1 (t),...,y n (t)] T wektornobserwacjiy (liniowa mikstura źródełs), natomiast e(t) jest gaussowskim szumem (w modelu uproszczonym rezygnuje się z szumu)
c Adam Czajka IAiIS PW 20 maja 2014 26/39 Analiza składowych niezależnych Zadanie znaleźćs(oraza) mając dane jedyniey im Założenia ICA niegaussowskie źródła, lub co najwyżej jedno gaussowskie w modelu uproszczonym zwyklen m (liczba niezależnych obserwacji nie mniejsza niż liczba niezależnych źródeł) zadana wariancja źródeł, np. jednostkowa (niejednoznaczność: poszukiwane zarównosjak ia)
c Adam Czajka IAiIS PW 20 maja 2014 27/39 Analiza składowych niezależnych Założenia i interpretacja w rozpoznawaniu mówiącego dana (zakładana) jest liczba źródeł obserwacje stanowią różne próbki głosu danego mówiącego dopuszczamy rozkład normalny co najwyżej jednego źródła (dla modelu uproszczonego) cechy mówiącego (toru głosowego): współczynniki liniowej superpozycji źródeł (macierza)
c Adam Czajka IAiIS PW 20 maja 2014 28/39 Estymacja cech w dziedzinie częstotliwości 1. Współczynniki mocy na bazie widma Fouriera 2. Współczynniki Fouriera wyrażone w tzw. mel-skali 3. Selekcja częstotliwości (czyli współczynników Fouriera) za pomocą filtrów trójkątnych
c Adam Czajka IAiIS PW 20 maja 2014 29/39 Mel-skala: prosty ekesperyment
c Adam Czajka IAiIS PW 20 maja 2014 30/39 Mel-skala 1. Nieliniowa zmiana częstotliwości, najczęściej: f mel =2595log(1+f/700) 2. Subiektywna ocena odległości pomiędzy dźwiękami poparta doświadczeniami ( mel od słowa melodia ) 3. Uważa się, iż mel-skala lepiej niż skala liniowa odzwierciedla charakterystykę słuchu ludzkiego
c Adam Czajka IAiIS PW 20 maja 2014 31/39 Przykładowa zależność między skalą liniową i mel-skalą
c Adam Czajka IAiIS PW 20 maja 2014 32/39 Estymacja cech w dziedzinie cepstralnej 1. Rozplot homomorficzny zakładamy, że obserwowany sygnał mowyy jest splotem pobudzeniaxiodpowiedzi impulsowejhtoru głosowego y(n)= x(k)h(n k) k= lub w dziedzinie częstotliwości Y(ω)=X(ω)H(ω) logarytmowanie i wyznaczenie odwrotnej dyskretnej transformaty Fouriera dla obu stron powyższego równania DFT 1( log 10 ( Y(ω) ) ) = DFT 1( log 10 ( X(ω) ) ) +DFT 1( log 10 ( H(ω) ) )
c Adam Czajka IAiIS PW 20 maja 2014 33/39 Estymacja cech w dziedzinie cepstralnej 2. Cepstrum (anagram słowa spectrum ) cepstrum rzeczywiste (widma mocy) cepstrum zespolone mel-cepstrum zespolone CC(y)=DFT 1( log 10 DFT(y) ) CC(y)=DFT 1( log 10 ( DFT(y) ) ) MFCC(y)=DFT 1 ( log 10 ( MFC ( DFT(y) ))) gdziemfc oznacza operację przekształcającą częstotliwości do mel-skali
c Adam Czajka IAiIS PW 20 maja 2014 34/39 Estymacja cech w dziedzinie cepstralnej 3. Wyznaczanie cech mówiącego okienkowanie (najczęściej filtrami trójkątnymi): cepstrum zespolone odpowiedzi toru głosowego skupione jest w początkowych elementach reprezentacji typowe cechy: współczynniki cepstralne (ang. Cepstral Coefficients, CC) lub współczynniki mel-cepstralne (ang. Mel Frequency Cepstral Coefficients, MFCC) odpowiedzi toru głosowego 4. Porównanie cech ważona odległość euklidesowa 5. Dodatkowe przetwarzanie reprezentacji cepstralnych wyznaczanie widma (typowo DFT) oraz wykonanie operacji odwrotnej do logarytmowania osobno dla pobudzenia i dla odpowiedzi toru głosowego otrzymujemy widmo pobudzenia oraz widmo toru głosowego
c Adam Czajka IAiIS PW 20 maja 2014 35/39 Estymacja w dziedzinie cepstralnej Schemat działania
c Adam Czajka IAiIS PW 20 maja 2014 36/39 Klasyfikacja cech mowy Rozpoznawanie mówiącego jako jedna z technik przetwarzania mowy Wstępne przetwarzanie sygnałów mowy Klasyfikacja cech mowy
c Adam Czajka IAiIS PW 20 maja 2014 37/39 Klasyfikacja cech mowy Modelowanie 1. Rozpoznawanie zależne od treści dynamiczne marszczenie czasu ukryte modele Markowa (łańcuchy typu left-right) EER od 0.1% do 2% 2. Rozpoznawanie niezależne od treści kwantyzacja wektorowa (ang. vector quantization, VQ) ukryte modele Markowa (łańcuchy ergodyczne i autoregresyjne) liniowa kombinacja funkcji gaussowskich (ang. Gaussian Mixture Models, GMM) EER od 1% do 20%
c Adam Czajka IAiIS PW 20 maja 2014 38/39 Klasyfikacja cech mowy Problemy 1. Możliwości oszustwa naśladowanie głosu nagrywanie/kopiowanie głosu 2. Możliwości/umiejętności użytkowników problemy z wymową (źle wypowiedziane lub niewłaściwe słowa) stany emocjonalne, zmęczenie, pragnienie choroby górnych dróg oddechowych, alergie starzenia się aparatu mowy 3. Aspekty techniczne niejednorodne systemy pomiarowe podczas rejestracji i weryfikacji inna akustyka środowiska podczas rejestracji i weryfikacji niejednorodne cyfrowe przetwarzanie sygnałów (np. kompresja) zakłócenia zewnętrzne
c Adam Czajka IAiIS PW 20 maja 2014 39/39 Co powinniśmy zapamiętać 1. Czy możemy używać wymiennie sformułowania rozpoznawanie mowy i rozpoznawanie mówiącego? 2. Jakie własności człowieka wykorzystuje biometria głosu? 3. Co daje nam rozplot homomorficzny? 4. Z jakiego powodu w biometrii głosu wykorzystuje się mel-skalę?