Ewaluacja mowy syntetycznej za pomocą systemu rozpoznawania mowy

Transkrypt

1 za pomocą systemu rozpoznawania mowy Jolanta Bachan Tomasz Kuczmarski Piotr Francuzik Rozpoznawanie mowy i mówców września 2012 Poznań

2 Cel Eksperymentalna ocena mowy syntetycznej za pomocą systemu rozpoznawania mowy Odpowiedź na pytanie, czy w sytuacjach komunikacyjnych można zastąpić mowę ludzką mową syntetyczną, a ucho ludzkie automatycznym systemem rozpoznawania mowy 2

3 Systemy syntezy mowy Synteza ACCS z MBROLĄ Automatic Close Copy Speech (ACCS) synthesis konkatenacja difonów HTS HMM-based Speech Synthesis System korpus mowy oraz analizator tekstu BOSSa BOSS Bonn Open Speech Synthesis system unit-selection Ivona unit-selection, komercyjny system 3

4 System rozpoznawania mowy Poznański system rozpoznawania mowy dyktowanej dedykowany dla sądownictwa, policji, straży granicznej oraz innych służb bezpieczeństwa publicznego działa na 7 poziomach dokładności rozpoznawania ca. 91% poprawności rozpoznawania ca. 93% poprawności rozpoznawania po adaptacji mówcy 4

5 Materiał 1 raport policyjny podzielony na 44 części 277 wyrazów Mowa nagranie głosu naturalnego ACCS z Mbrolą głos żeński PL1 ACCS z Mbrolą głos męski PL2 BOSS męski głos BOSS HTS męski głos BOSS Ivona - męski głos Jan 5

6 Eksperyment 6

7 Wyniki statystyczne 7

8 Wyniki statystyczne word correctness (Corr) error rates for: word substitutions (Sub) deletions (Del) insertions (Ins) total error rate (Err) sentences with errors (S.Err) 8

9 Analiza semantyczna 4 wyrazy nie były rozpoznane wcale zabiję Hajdukowie Hajduków Majka 9

10 Analiza semantyczna Wyrazy, z którymi system miał problemy a na, k, h, adam broń broni, brak, brali, grunt nastawiane nastawione, nastawiony niej danieli, jakiej, mnie opryskliwe opryskliwie, opryskliwy się misie, niż, wisi państwa państwach państwo państwa zajść zaś, znaleźć zakupię zakupie, kupił żądam żądamy, Ewaluacja żądał, zarządem mowynierządem, syntetycznej 10

11 Analiza semantyczna Frazy rozpoznane poprawnie przecinek oświadczam przecinek mieszkam wraz z żoną oraz dziećmi nie słyszałem tego przecinek ostatni raz doszło do tego siódmego czerwca dwa tysiące ósmego roku 11

12 Analiza semantyczna Frazy błędnie rozpoznawane przebywa ich córka Majka Nowak praktycznie codziennie u Państwa Hajduków w którym zamieszkują Państwo Hajdukowie moje córki przez Nowak mówiąc jej przecinek że ją zabiję i że zakupię broń w tym celu 12

13 Podsumowanie Mowa HTS została najpoprawniej rozpoznana Ivona dobrze rozpoznana, ale najdłuższy czas Mowa syntetyczna ACCS najgorzej rozpoznana Mowa naturalna rozpoznana w 90% (poziom 3-7) 13

14 Pytanie? Jak bardzo poprawiłoby się rozpoznawanie mowy, gdybyśmy przeprowadzili adaptację mówcy używając mowy syntetycznej 14

15 Badanie zostało wykonane w ramach projektu rozwojowego Nr O R Pozyskiwanie i przetwarzanie informacji słownych w militarnych systemach zapobiegania oraz zwalczania przestępczości i terroryzmu (POP) Dziękujemy za uwagę! 15