Rozpoznawanie mowy dla języków semickich. HMM - HTK, CMU SPHINX-4, Simon

Wielkość: px

Rozpocząć pokaz od strony:

Download "Rozpoznawanie mowy dla języków semickich. HMM - HTK, CMU SPHINX-4, Simon"

Władysław Niewiadomski
6 lat temu
Przeglądów:

1 Rozpoznawanie mowy dla języków semickich HMM - HTK, CMU SPHINX-4, Simon

2 Charakterystyka języków semickich Przykłady: arabski, hebrajski, amharski, tigrinia, maltański (280 mln użytkowników). Budowa spółgłoskowo rdzeniowa. Spółgłoskowe pisma alfabetyczne pisane od prawej do lewej. Duża liczba spółgłosek gardłowych.

3 Lokalizacja geograficzna

4 Budowa języka Słowa formowane wokół spółgłosek, które przenoszą znaczenie. Fleksyjna funkcja samogłosek. Pomijanie samogłosek w zapisie.

5 Cechy specyficzne Rozróżnienie na samogłoski długie i krótkie. Samogłoski realizowane w zapisie przez spółgłoski. Wiele wariantów tego samego fonemu.

6 Podstawowa struktura języka Język arabski Język hebrajski 36 fonemów: 28 spółgłosek, 6 samogłosek, 2 dyftongi /a, e, i, a:, e:, i:/ oraz /aj, aw/ 22 spółgłosek 5 podstawowych samogłosek + zanikające odmiany /a, e, o, u, i/

7 Alfabet hebrajski

8 Rodzaje samogłosek hebrajskich

9 Alfabet arabski

10 Problemy 1. Diakrytyzacja teksty nie są w pełni diakrytyzowane wiele podobnych form zanikające różnice między samogłoskami 2. Wiele dialektów hebrajski jako język diaspory (naleciałości) Starohebrajski a ivrit hadash MSA (Model Standard Arabic) Qur an based 3. Skomplikowana fonologia zmienna długość samogłosek (HMM temporal variation)

13 Arabic Automatic Speech Recognition

14 Analizowane systemy rozpoznawania mowy HMM + HTK for Arabic Language CMU SPHINX 4 Simon Testing Simon blog:

15 Zadanie

16 Przegląd badań i projektów I Iqbal, et. al. [2008] Bazuje na pryncypiach recytacji Koranu System wykazuje 90 % trafności na plikach mowy ciągłej zawierającej ponad 1000 samogłosek Razak, et.al. [2008] Bazuje na recytacji Koranu Wykorzystuje algorytm MFCC Rozpoznanie i rozróżnienie arabskiej wymowy i akcentowania poprzez wyodrębnienie samogłosek

17 Przegląd badań i projektów II Tolba, et. al. [2005] Segmentacja spółgłosek/samogłosek przy użyciu transformacji falkowej Projekt nowego algorytmu nie wykorzystującego informacji lingwistycznej Transformacja falkowa i analiza transjentów pomiędzy samogłoskami i spółgłoskami na konkretnych poziomach dekompozycji pakietowej Trafność: 88,3 %

18 Przegląd badań i projektów III - 1 Alotaibi, Hussain [2010] Wyodrębnienie samogłosek (MSA) 1. HMM 2. Analiza formantowa System parameters: fs = 10 khz, 16 bit, framing/window Hamming 25 ms, lap 10 ms MFCC Coefficients: 22 length of cepstral filtering, 26 filter bank chanels, 12 MFCC coefficients preemphasis

19 Przegląd badań i projektów III - 2 Alotaibi, Hussain [2010] Baza danych: nagrania wymowy 10 mężczyzn, wiek lat (Arabia Saudyjska, Egipt) 5 różnych prób dla 8 samogłosek x 10 = 4000 próbek 60% trening, 40% testy SRS 91,6 % Fatha kasrah 99%, short fatha 77,5 % 5 samogłosek osiągnęło poziom 90%

20 Podobieństwo między długimi i krótkimi samogłoskami

21 CMU Sphinx Satori, Hiyassat, Chenfour [2007] Bazuje na HMM Informacja lingwistyczna: Budowa sylab: CV, CVV, CVC, CVVC, CVCC, CVVCC (zawsze rozpoczyna się od C, nigdy od dwóch C) Parametry systemu (optymalizacja): 5 state left-to-right architecture (speech unit) 16 Gaussians (state model) Best results at: filler insertion probability 0.1, word insertion probability = 0.123, language weight = 6

22 CMU Sphinx Baza nagrań: 60 Marokańczyków (25 F, 35 M), 10 przykładów, 5 powtórzeń = 3000 próbek fs = 16 khz, 16 bit, trening: 3000 próbek Test: M/F x N prób

23 CMU Sphinx Arabic Automatic Speech Recognition htm - Sphinx, dokumentacja + próbki

24 Simon

25 Simon Ralf s Arabic Speech Model, Ralf s Hebrew Speech Model for Simon - słowniki - software

26 Prezentacja w oparciu o poniższe artykuły: Comaparative Analysis of Arabic Vowels using Formants and an Automatic Speech Recognition System Yousef Ajami Alotaibi, Amir Hussain (International Journal of Signal Processing, King Saud University, Stirling University) Investigation Arabic Speech Recognition Using CMU Sphinx System Hassan Satori, Hussein Hiyassat, Mostafa Harti, Noureddine Chenfour (Dar Mehraz Fes, Maroko)

27 Oraz źródła:

Podobne dokumenty

Omówienie różnych metod rozpoznawania mowy

Omówienie różnych metod rozpoznawania mowy Na podstawie artykułu: Comparative study of automatic speech recognition techniques Beniamin Sawicki Wydział Inżynierii Mechanicznej i Robotyki Inżynieria Akustyczna