Rozpoznawanie i synteza mowy w systemach multimedialnych. Analiza i synteza mowy - wprowadzenie. Spektrogram wyrażenia: computer speech

Transkrypt

1 Slajd 1 Analiza i synteza mowy - wprowadzenie Spektrogram wyrażenia: computer speech Slide 1 Slajd 2 Analiza i synteza mowy - wprowadzenie Slide 2

2 Slajd 3 Analiza i synteza mowy - wprowadzenie Slide 3 Slajd 4 Pierwsze próby syntezy mowy Maszyna wymawiająca samogłoski z 1769 roku zbudowana przez Wolfganga Rittera von Kempelen (rekonstrukcja) Slide 4

3 Slajd 5 Pierwsze próby syntezy mowy Urządzenia do wymawiania spółgłosek plozyjnych : b i d (Wolfgang Ritter) Slide 5 Slajd 6 Pierwsze próby syntezy mowy Rezonatory (wibrujące piszczałki) Kratzensteina Slide 6

4 Slajd 7 Pierwsze próby syntezy mowy Przekroje kanału głosowego przy wymawianiu samogłosek i oraz u i odpowiadające im formanty (rezonanse) Slide 7 Slajd 8 Pierwsze próby syntezy mowy Najprostszy model kanału głosowego Slide 8

5 Slajd 9 Rozpoznawanie mowy oraz identyfikacja głosu Pomiar parametrów fizycznych kanału głosowego Slide 9 Slajd 10 Rozpoznawanie mowy oraz identyfikacja głosu Pomiar parametrów geometrycznych kanału głosowego Slide 10

6 Slajd 11 Rozpoznawanie mowy oraz identyfikacja głosu Poprawa jakości głosu metodą modulacji częstotliwościowej Slide 11 Slajd 12 Rozpoznawanie mowy oraz identyfikacja głosu Spektrogram wyrażenia two of five Spektrogram po modulacji częstotliwości (2-8 Hz) Slide 12

7 Slajd 13 Rozpoznawanie mowy oraz identyfikacja głosu Spektrogram w obecności szumu średniego natężenia Spektrogram po modulacji częstotliwości Slide 13 Slajd 14 Rozpoznawanie mowy oraz identyfikacja głosu Spektrogram w obecności silnego szumu Spektrogram po modulacji częstotliwości Slide 14

8 Slajd 15 Rozpoznawanie mowy oraz identyfikacja głosu Spektrogram w pomieszczeniu odbijającym głos Spektrogram po modulacji częstotliwości Slide 15 Slajd 16 Rozpoznawanie mowy oraz identyfikacja głosu Spektrogram w pomieszczeniu odbijającym głos (b. silny pogłos) Spektrogram po modulacji częstotliwości Slide 16

9 Slajd 17 Rozpoznawanie mowy Reguły Bayes,a: wyznaczanie prawdopodobieństw a posteriori w funkcji prawdopodobieństw a priori p ( W A) = p( AW ) p( W ) p( A) Slide 17 Slajd 18 Kompresja mowy Predykcja liniowa s + e n = a1sn 1 a2sn 2 L a psn p n (1) E N N p 2 = en = k n= 1 n= 1 k = 0 a s n k 2 a 0 = 1 Slide 18

10 Slajd 19 Rozpoznawanie mowy E a m = E = N n= 1 2s p n m k = 0 a s k n k = 0 Odwracając porządek sumowania p r mk k = 0 a k = 0 gdzie r mk = N n= 1 s n m s n k Slide 19 Slajd 20 Rozpoznawanie mowy Pamiętając, że a 0 =1 p r mk k = 1 a k = r m0 lub w postaci macierzowej R a = r czyli a = R 1 0 r 0 Slide 20

11 Slajd 21 Rozpoznawanie mowy oraz identyfikacja głosu Slide 21 Slajd 22 Rozpoznawanie mowy Filtr predykcyjny Filtr FIR (Finite Impulse Response): H N ( z) = k = 0 a k z k Odpowiedź impulsowa filtru FIR:, a, a, L a p Slide 22

12 Slajd 23 Rozpoznawanie mowy s n s( z) e( z) Przyjmując: A e n ( z p ) a z 1 a z 2 a z = L + p Z równania (1): e n n 1 = s + a s L 2 1 n 1 + a2sn a s p n p czyli: ( z) A( z) = e( z) s( z) s = ( z) ( z) e A Slide 23 Slajd 24 Rozpoznawanie mowy A z z z z 2 ( z) = z, z L L 1 2 zera A(z) 1 H p ( z) = A ( z) all-pole filter Slide 24

13 Slajd 25 Rozpoznawanie mowy oraz identyfikacja głosu Głoska dźwięczna i jej widmo oraz obwiednia zdefiniowana przez filtr 1/A(z) Slide 25 Slajd 26 Rozpoznawanie mowy oraz identyfikacja głosu Głoska bezdźwięczna i jej widmo oraz obwiednia zdefiniowana przez filtr 1/A(z) Slide 26

14 Slajd 27 Rozpoznawanie mowy oraz identyfikacja głosu Kształtowanie widma szumu: szum słyszalny i prawie niesłyszalny Slide 27 Slajd 28 Analiza kanału głosowego Slide 28

15 Slajd 29 Analiza kanału głosowego Slide 29 Slajd 30 Kanał głosowy Slide 30

16 Slajd 31 Kanał głosowy Równanie Webster a, czyli równanie natężenia (ciśnienia) fali dźwiękowej p(x,t) wzdłuż kanału: 2 p x A da dx p 1 = 2 x c 2 p 2 t A(x) jest przekrojem kanału głosowego między głośnią (x=0) a wargami x=l ~= 170 mm) Slide 31 Slajd 32 Lokalizacja położenia źródła dźwięku = 0 α 180 c t d Prawo pierwszej fali frontowej (Joseph Henry) i efekt Haas a Slide 32

17 Slajd 33 Lokalizacja położenia źródła dźwięku u 1 (t) t u 2 (t) t Continuity effect Slide 33 Slajd 34 Lokalizacja położenia źródła dźwięku 8kHz 300Hz, 3kHz 1kHz, 10kHz Slide 34

18 Slajd 35 Rozpoznawanie mowy Slide 35 Slajd 36 Rozpoznawanie mowy Slide 36

19 Slajd 37 Rozpoznawanie mowy Slide 37 Slajd 38 Rozpoznawanie mowy Slide 38

20 Slajd 39 Rozpoznawanie mowy Slide 39 Slajd 40 Rozpoznawanie mowy Przebieg funkcji cepstrum z zaznaczonym torem głosowym (1) oraz pobudzeniem krtaniowym (2) Slide 40

21 Slajd 41 Formaty dźwiękowe LPCM (Linear Pulse Code Modulation): udoskonalony PCM Częstotliwość próbkowania 48 khz 48 khz 48 khz 96 khz 96 khz 96 khz Rozdzielczość 16 bitów 20 bitów 24 bity 16 bitów 20 bitów 24 bity Ilość kanałów Strumień max. 6,144 Mb/s 5,76 Mb/s 5,76 Mb/s 6,144 Mb/s 5,76 Mb/s 4,608 Mb/s Slide 41 Slajd 42 MPEG AUDIO A. MPEG-1 audio, opisuje trzy warstwy kodowania dźwięku o następujących właściwościach: 1 lub 2 kanały dźwiękowe Częstotliwość próbkowania 32kHz, 44.1kHz lub 48kHz Przepustowość od 32kbps do 448kbps Slide 42

22 Slajd 43 B. MPEG-2 audio występuje w dwóch odmianach MPEG-2/LSF 1 lub 2 kanały dźwiękowe Dwa razy mniejszą częstotliwość próbkowania Przepustowość od 8 do 256 kbs MPEG-2/Multichannel Do 5 pełno-zakresowych kanałów dźwiękowych Częstotliwość próbkowania taką samą jak w MPEG-1 Rozdzielczość 16 bitów Większe przepustowości dochodzące do około 1 Mb/s do systemu 5+1 kanałów Slide 43 Slajd 44 Schemat blokowy układu kodera standardu MPEG-1 Slide 44

23 Slajd 45 Struktura zakodowanego strumienia danych MPEG-1 Slide 45 Slajd 46 Dolby Surround Slide 46

24 Slajd 47 Kodowanie Slide 47 Slajd 48 Dekodowanie Slide 48

25 Slajd 49 Dolby Pro Logic Slide 49 Slajd 50 Kodek Slide 50

26 Slajd 51 Dekodowanie Slide 51 Slajd 52 Dolby Digital Slide 52

27 Slajd 53 Rozpoznawanie mowy Kompatybilne miksowanie w dół Slide 53 Slajd 54 DTS firmy Digital Theater Systems DTS EX Slide 54

28 Slajd 55 DC DVD Slide 55 Slajd 56 Standard: Pojemność: Rodzaj płyty: DVD 5 DVD 9 DVD 10 DVD GB 8.5 GB 9.4 GB 17 GB jednostronna jednowarstwowa jednostronna dwuwarstwowa dwuwarstwowa jednostronna dwuwarstwowa dwustronna Slide 56

29 Slajd 57 Struktura warstw płyty DVD w zależności od standardu Slide 57