Automatyczne rozpoznawanie mowy - wybrane zagadnienia / Ryszard Makowski. Wrocław, Spis treści

Transkrypt

1 Automatyczne rozpoznawanie mowy - wybrane zagadnienia / Ryszard Makowski. Wrocław, 2011 Spis treści Przedmowa 11 Rozdział 1. WPROWADZENIE Czym jest automatyczne rozpoznawanie mowy Poziomy rozpoznawania Warianty automatycznego rozpoznawania mowy Organizacja ksiąŝki 21 Rozdział 2. MOWA I SYGNAŁ MOWY Generowanie sygnału mowy Sygnał mowy i jego losowy charakter Budowa i właściwości organu słuchu człowieka Poziom głośności dźwięku, krzywe jednakowej głośności Poziom głośności a głośność Wysokość dźwięku, skala melowa Pasma krytyczne, skala barkowa Maskowanie częstotliwościowe i czasowe Podsumowanie Jednostki fonetyczne Fonemy mowy polskiej Podział fonemów Inne jednostki fonetyczne Podsumowanie Nauka rozumienia mowy przez człowieka i mówienia Uczenie systemu ARM i automatyczne rozpoznawanie 57 Rozdział 3. PARAMETRYZACJA SYGNAŁU MOWY Rejestracja sygnału Warunki akustyczne rejestracji Warunki techniczne rejestracji Wybór częstotliwości próbkowania Wstępne przetwarzanie Usuwanie wartości średniej Skalowanie Preemfaza Prosty algorytm detekcji aktywności mówcy Podział sygnału na ramki i okienkowanie Cele parametryzacji sygnału mowy 77

2 3.6. Melowe współczynniki cepstralne (MFCC) Melowe współczynniki cepstralne - moŝliwe warianty Parametry estymacji widma Parametry filtrów melowych Szerokości filtrów motywowane skalą ERB Operacja nieliniowa na wartościach widma Spłaszczanie widma i maskowanie czasowe Wpływ okresowości pobudzenia na widmo sygnału mowy Inne metody parametryzacji Cepstrum z widma liniowego Współczynniki prognozy liniowej Współczynniki odbicia i logarytm stosunku współczynników odbicia Współczynniki cepstralne określone ze współczynników prognozy Współczynniki prognozy liniowej z psychoakustyczną modyfikacją widma Trasformacja falkowa Wskaźniki głośności Parametry dynamiczne Wektor obserwacji Podsumowanie 105 Rozdział 4. UCZENIE ROZPOZNAWANIA I ROZPOZNAWANIE JEDNOSTEK FONETYCZNYCH Czynniki wpływające na sygnał mowy RóŜnice międzyosobnicze RóŜnice wewnątrzosobnicze RóŜnice regionalne Kontekst fonetyczny Warunki środowiskowe Zaplanowanie i realizacja nagrań Segmentacja i etykietyzacja sygnału mowy Losowy charakter współczynników parametryzacji Rozkłady prawdopodobieństwa i histogramy Kwantyzacja wektora obserwacji Aproksymacja histogramów, estymatory rozkładów prawdopodobieństwa Metodyka rozpoznawania wypowiedzi na poziomie ramek Porównywanie skuteczności metod parametryzacji Skuteczność kompletnych systemów ARM Zdolności klasyfikacyjne modeli fonemów Rozpoznawanie pojedynczych ramek Podział fonemów na trifony Podsumowanie 146 Rozdział 5. USTALANIE CIĄGU JEDNOSTEK FONETYCZNYCH 147

3 5.1. Dopasowywanie czasowe Nieliniowe dopasowanie czasowe Ograniczenia w metodzie dopasowania czasowego Podsumowanie Dyskretne procesy Markowa Ukryte modele Markowa Zagadnienia do rozwiązania związane z HMM Rozwiązanie problemu oceny Rozwiązanie problemu detekcji Algorytm Viterbiego Klasyczne rozwiązanie problemu estymacji Algorytm Baum-Walcha Właściwości algorytmu Baum-Walcha Modyfikacja algorytmu Baum-Walcha dla licznego zbioru uczącego Nieergodyczne ukryte modele Markowa Ukryte modele Markowa z ciągłymi rozkładami prawdopodobieństwa Czasy trwania stanów w modelach Markowa Dyskretna postać czasów trwania stanów Ciągła postać czasów trwania stanów ZaleŜne od czasu modelowanie przejść Uwagi dotyczące implementacji Skalowanie wartości prawdopodobieństw częściowych Warunki początkowe Uczenie z ograniczeniami Szeregi Markowa a detekcja aktywności mówcy Wybór modelu IIMM Inne podejścia do problemu uczenia Przykładowe wyniki 2. etapu rozpoznania Podsumowanie 200 Rozdział 6. KOŃCOWY ETAP ROZPOZNAWANIA Rozpoznawanie bazujące na dopasowaniu modelu Rozpoznawanie bazujące na sylabach Definicja pseudosylaby Ogólny schemat postępowania Odległość pomiędzy fonemami Odległości pomiędzy pseudosylabami Rozpoznawanie komend Obliczanie odległości i rozpoznanie Uczenie algorytmu końcowego rozpoznawania komend Rozpoznawanie numerów Definicja dwu-cyfr Algorytm rozpoznawania numerów Uczenie algorytmu końcowego rozpoznawania numerów Podsumowanie 220

4 Rozdział 7. ALGORYTMY WSPOMAGAJĄCE ROZPOZNAWANIE Rozpoznawanie w warunkach występowania szumu Odszumianie sygnału mowy Estymacja widmowej gęstości mocy szumu Realizacja odszumiania Modyfikacje opisanego algorytmu Implementacja algorytmu w systemie rozpoznawania komend Modyfikacja sygnału lub modelu związana z obecnością szumu Detekcja aktywności mówcy Statystyczny VAD bazujący na pojedynczej ramce Statystyczny VAD bazujący na uśrednieniu widm ramek Statystyczny VAD bazujący na SNR Automatyczna segmentacja sygnału mowy Metoda filtracji parametrycznej Detekcja zmian sygnału bazująca na prognozie liniowej Metody segmentacji wykorzystujące rozpoznawanie Podział wypowiedzi na sylaby Podsumowanie Estymacja tempa wypowiedzi Estymacja i wykorzystanie częstotliwości tonu krtaniowego Algorytm cepstralny estymacji Algorytm bazujący na błędzie prognozy Algorytm korelacyjny z funkcjami grzebieniowymi Algorytm korelacyjny estymacji Histogramy częstotliwości tonu krtaniowego Podsumowanie 263 Rozdział 8. KOMPENSACJA CECH OSOBNICZYCH I WPŁYWÓW ŚRODOWISKOWYCH Kompensacja wpływu zmian środowiskowych i zmienności osobniczych na jakość rozpoznawania Wpływ zniekształceń i zakłóceń na współczynniki cepstralne Klasy metod kompensacji cech osobniczych i wpływów środowiskowych Odporna parametryzacja Parametryzacja bazująca na estymatorze minimalnej wariancji Parametryzacja z optymalnymi filtrami modelującymi słuch Grupowanie mówców Częstotliwość tonu krtaniowego jako wskaźnik wielkości kanału głosowego Grupowanie bazujące na parametrach kanału głosowego Grupowanie na bazie szybkości mówienia Grupowanie na bazie współczynników parametryzacji Normalizacja wektora obserwacji 291

5 Usuwanie wartości średniej cepstrum Usuwanie wolnych i szybkich zmian z sekwencji widm Standaryzacja cepstrum Nieliniowa normalizacja cepstrum Korygowanie rozkładów prawdopodobieństwa Normalizacja opierająca się na aproksymacji funkcji zniekształceń Normalizacja a długość kanału głosowego Metoda banków transformacji widma Adaptacja parametrów modelu statystycznego Metoda regresji liniowej i maksymalizacji prawdopodobieństwa Adaptacja w przestrzeni wektorów własnych Podsumowanie 316 Dodatek A. Wykaz waŝniejszych oznaczeń i skrótów 319 A.1. Oznaczenia 319 A.2. Skróty 322 Dodatek B. PROBABILISTYCZNY MODEL SYGNAŁU, WEKTOROWA ZMIENNA LOSOWA 325 B.1. Losowy charakter sygnału mowy, konstrukcja modelu probabilistycznego 325 B.2. Statystyki procesu 327 B.3. Stacjonarność procesu 330 B.4. Statystyki i parametry procesu stacjonarnego 331 B.5. Ergodyczność procesu 333 B.6. Procesy normalne 333 B.7. Statystyki wzajemne 334 B.8. Lokalna stacjonarność 335 B.9. Wektorowa zmienna losowa 336 Dodatek C. ELEMENTY TEORII ESTYMACJI 339 C.1. Definicje błędów estymacji 340 C.2. Klasy estymatorów 342 C.3. Estymatory statystyk procesu 345 C.4. Estymatory widmowej gęstości mocy procesu 348 C.5. Spektrogram 353 Dodatek D. ELEMENTY TEORII DETEKCJI 355 D.1. Detekcja składowej o stałej wartości 356 D.2. Miary jakości detekcji 358 D.3. Twierdzenie Neymana-Pearsona 360 D.4. Detekcja Bayesa 361 D.5. Ryzyko Bayesa 363 D.6. Podsumowanie 364

6 Bibliografia 365 Skorowidz 379 oprac. BPK