Korpusy i Narzędzia do Analizy Mowy w Clarin-PL

Transkrypt

1 1 / 21 Korpusy i w Clarin-PL Danijel Koržinek i Łukasz Brocki Polsko-Japońska Akademia Technik Komputerowych 3 lutego 2017 r., Łódź

2 2 / 21

3 3 / 21 Motywacja Brak darmowych ogólnodostępnych korpusów komercyjne: CSLU, Speecon, GlobalPhone i Babel dziedzinowe: Pelcra corpus of spontaneous speech i Spelling and NUmbers Voice database Koszt produkcji własnego korpusu jest wysoki Środowisko NLP ma sporo dostępnych zasobów Stworzenie darmowego ogólnodostępnego korpusu umożliwiłoby szybszy rozwój technologii mowy

4 4 / 21 Tworzenie korpusów Wybór tekstów zdania o określonej długości, brak trudnych lub obcych wyrazów, brak liczb i skrótów, pokrycie fonetyczne wymowy każda sesja ma 20 zdań z powszechnego korpusu współczesnej polszczyzny oraz 10 słów zawierających rzadkie fonemy Mówcy wielu różnych mówców (ponad 500) czytających niewielką liczbę zdań Środowisko do nagrywania studio - pojemnościowy mikrofon studyjny i przyustny mikrofon USB mobilne - telefon komórkowy w cichym pokoju nagrywany przez centralę telefoniczną Nagrywanie korpusu Weryfikacja

5 5 / 21 Korpus EMU EMU - baza danych zasobów fonetycznych migracja do nowego interfejsu opartego na WWW jest w trakcie: umożliwia przeszukiwanie akustycznych zbiorów danych na poziomie wyrazów i fonemów integracja z językiem R do robienia zestawień statystycznych Rysunek: Offline. Rysunek: Web.

6 6 / 21 Kaldi Baseline Baza danych przygotowana do wytrenowania systemu ASR Kaldi Zawiera nieprzetworzone dane w postaci plików WAV+TXT Posiada skrypt wykonujący cały proces trenowania Wyniki (model języka wytrenowany tylko z transkrypcji): Tablica: Wyniki oparte o GMM. WER % experiment mono tri tri2a tri2b tri3b tri3b-sp tri3b-20k tri3b-mmi wide beam large LM rescoring 3.23 oracle of wide beam Tablica: Wynikik oparte o ANN. WER % experiment 9.25 TDNN large LM rescoring 2.83 oracle 8.91 LSTM large LM rescoring 2.61 oracle

7 7 / 21 Dystrybucja Wszystkie dane są dostępne na stronie: System baseline dostępny na: Wybrano licencję: CLARIN PUB+BY+INF+NORED Szczegółowe informacje na temat licencji:

8 8 / 21 Plany Przeniesienie zasobów do wyszukiwarki Spokes: Dodanie kolejnych zbiorów danych rzeczywistych : mowa spontaniczna Kroniki RP Sejm i Senat RP

9 9 / 21

10 10 / 21 Technologie mowy

11 11 / 21 Transkrypcja fonetyczna Zamiana tekstu z zapisu ortograficznego na fonetyczny Alfabet fonetyczny SAMPA System regułowy Uwzględnia warianty wymowy f S ts e b Z e S I ni e x S on S ts b Z m i f t S tsi i ni e i S ts e b Z e S I n s t e g o s w I ni e v u w g o p I t a p a ni e x S on S ts u p o ts u S p a n t a g b Z en ts I v g on S ts u

12 12 / 21 Detekcja mowy Naiwne metody detekcji mowy można łatwo oszukać progowanie, energia, 0-cross, średnia krocząca,... Model akustyczny do odrzucenia ewidentnych wydarzeń niebędących mową stuków, hałasów, muzyki,... Problem ze zjawiskami paralingwistycznymi Zbudowano system oparty o SSN rozpoznającą mowę (na poziomie poszczególnych ramek) Recall jest wysoki (>99%), ale preczyzja jest nadal problematyczna (wiele innych klas łatwo pomylić z mową) Dokonano też próbę identyfikacji zjawisk nie-mowy

13 13 / 21 Rozpoznawanie mówców Kilka poziomów rozpoznawania mówców: detekcja zmiany mówców diaryzacja mówców identyfikacja mówców Zadanie niezależne od języka i treści Oparto o system LIUM Wynik jest zwracany w postaci TextGrid

14 14 / 21 Dopasowanie czasowe Mając nagranie i jego transkrypcję można stworzyć dokładną annotację czasową wyrazów/fonemów Obsługujemy stosunkowo długie nagrania (do ok. 30 minut)

15 15 / 21 Detekcja słów kluczowych Do wielu zastosowań nie potrzebujemy dokładnej transliteracji nagrania Podajemy nagranie i listę słów kluczowych, a otrzymujemy ich prawdopodobną lokalizację czasową Format: <słowo> <początek> <długość> <wiarygodność> że że że że że że że że listopada listopada polityki

16 16 / 21 Transliteracja mowy Rozpoznawanie mowy jest zazwyczaj rozwiązywane domenowo np. Google ASR działa bardzo skutecznie do dyktowania i i SMSów, ale słabo na Youtube Wykorzystujemy system rozpoznawania mowy Kaldi Obecnie używany model został zaadaptowany do dziedziny wiadomości telewizyjnych i reportaży Przykłady: Senat TV1 TV2

17 17 / 21 Plany Adaptacja narzędzi do innych dziedzin: np. wspomniane wcześniej Kroniki RP albo Sejm i Senat RP Integracja z narzędziami webowymi do wizualizacji i edycji Dodanie innych formatów danych wyjściowych Przetwarzanie większych ilości danych w sposób zautomatyzowany

18 18 / 21 Portal internetowy Wszystkie usługi udostępniono na portalu Stworzono prosty (naszym zdaniem) interfejs obsługi narzędzi Ze względu na czasochłonność pracy narzędzi wybrano model zleceń Każde zlecenie ma wygenerowany sekwencyjnie numer identyfikacyjny Policzone zlecenia są przechowywane na serwerze przez długi czas Większość narzędzi generuje pliki w formacie dla programu Praat Oprócz prostego interfejsu HTML, wszystkie strony zawierają opis XML umożliwiający automatyzację z zewnętrznego programu w wybranym języku programowania

19 19 / 21 Współpraca Zapraszamy do bezpośredniego kontaktu w celu uzyskania wsparcia w przetwarzaniu większych ilości albo nietypowych rodzajów danych

20 20 / 21 Pytania Krzysztof Marasek - kmarasek@pja.edu.pl Danijel Koržinek - danijel@pja.edu.pl Łukasz Brocki - lucas@pja.edu.pl Krzysztof Wołk - kwolk@pja.edu.pl

21 21 / 21 Część praktyczna edu.pl/warsztaty-clarin/