Nowy eliptyczny model traktu głosowego

Transkrypt

1 Nowy eliptyczny model traktu głosowego Adam Kobus, Wiesława Kuniszyk-Jóźkowiak, Elżbieta Smołka, Ireneusz Codello Institute of Computer Science, Marie Curie-Skłodowska University, Pl. M. Curie-Skłodowskiej 1, Lublin, Poland Abstrakt W artykule zaproponowano nowy model toru głosowego oparty na cylindrach eliptycznych. Korzysta on z modelu toru głosowego, uzyskanego ze współczynników PARCOR oraz pomiarów śródstrzałkowych szerokości traktu głosowego. Współczynniki PARCOR zostały wyliczone na podstawie współczynników liniowej predykcji, które zostały uzyskane metodą Levinsona-Durbina. Szerokości śródstrzałkowe, rozumiane jako wysokość rzeczywistego traktu głosowego, uzyskano ze zdjęć rentgenowskich i uśredniono z traktów kilku osób wypowiadających te same głoski. Artykuł bazuje na samogłoskach polskich: a,e,o,u,i,y. 1. Wprowadzenie Sygnał mowy jest to sygnał powstający poprzez przejście strumienia powietrza przez trakt głosowy. Na trakt składają się płuca, które dostarczają strumień powietrza, później oskrzela i tchawica, które prowadzą go do krtani, w której drgają struny głosowe, będące źródłem dźwięku dla dżwięcznych fragmentów mowy. Jest on następnie modulowany we wnękach rezonansowych tworzonych przez język, podniebienie, zęby i wargi. Dużą rolę odgrywają także ruchy żuchwy i policzków. Całość wnęk rezonansowych nazywa się rezonatorem. Przy głoskach nosowych jama ustna staje się bocznikiem akustycznym, zaś fala dźwiękowa emitowana jest - dzięki odpowiedniemu ustawieniu języczka - przez jamę nosową i nozdrza. Otwór ust i/lub nozdrza stanowią ostatni fragment traktu głosowego, który pełni rolę obciążenia, mającego swoją impedancję [14]. Przepływ powietrza po przejściu przez struny głosowe powoduje powstanie dźwięku zwanego tonem podstawowym lub krtaniowym. Cechuje się on bogatym widmem. Dla głosek szumowych dźwięcznych obok tonu podstawowego pojawia się generowany szum, zaś w głoskach szumowych bezdźwięcznych szum zastępuje całkowicie ów ton. Widmo wynikowe głoski powstaje poprzez nałożenie na ton krtaniowy i/lub szum charakterystyki traktu głosowego, w której rezonanse to maksima charakterystyki częstotliwościowej, zwane formantami, co powoduje powstanie widma o kształcie zależnym od konfiguracji narządów mowy w czasie wypowiadania danej głoski. Każda głoska ma inną konfigurację, co pozwala na jej identyfikację[7, 15, 10]. Aby wygenerować głoskę, fragment mowy, należy wyznaczyć związany z nią ton podstawowy i/lub szum oraz obliczyć parametry toru, które jej odpowiadają. Celem modelowania traktu głosowego jest znalezienie analogii pomiędzy mierzalnymi cechami akustycznymi sygnału mowy, w tym przypadku współczynników liniowej Corresponding author: address: kobus.adam@gmail.com

2 predykcji[1, 8, 9], a konfiguracją traktu głosowego w procesie wytwarzania mowy. Analogia ta może być pomocna w wykrywaniu nieprawidłowości w ustawieniu artykulatorów przy mowie zdeformowanej[12,?]. Dotychczasowy model w postaci cylindrów o stałym przekroju kołowym nie odpowiada rzeczywistym przekrojom traktu głosowego. W związku z tym, w oparciu o dotychczasowe doświadczenia, zaproponowano model złożony z cylindrów o przekrojach eliptycznych. Pomiary rzeczywistych przekrojów traktu głosowego prowadzono przy pomocy zdjęć rentgenowskich i w związku z tym nie mogą być podstawą do badań zaburzeń mowy. W diagnostyce mowy patologicznej jest nie tylko możliwe ustalenie istnienia zaburzenia, ale również powiązanie go z aktualną konfiguracją traktu głosowego. Autorzy zamierzają rozpoznawać niepłynności w mowie osób jąkających się przy wykorzystaniu współczynników liniowej predykcji i sztucznych sieci neuronowych. Sztuczne sieci neuronowe znajdują obecnie zastosowanie w wielu dziedzinach badań [3, 4, 5, 13]. Będą one również elementem rozpoznawania niepłynności mowy, przy czym planowane jest łączenie informacji akustycznej z informacjami pochodzącymi z modelu. 2. Podstawy teoretyczne Bazą do rozważań o modelowaniu traktu głosowego jest spostrzeżenie, że istnieje podobieństwo traktu głosowego do szeregu cylindrów o różnym przekroju. Fala głosowa, która przechodzi przez ten szereg cylindrów, ulega częściowemu odbiciu na połączeniach cylindrów i interferuje z nadchodzącą falą. Fig. 1: Schemat styku dwóch bezstratnych cylindrów traktu głosowego Na granicy dwóch cylindrów falę biegnącą i odbitą przedstawia rys. 1[11]. Przechodzenie dźwięku na granicy dwóch cylindrów można zapisać równaniami: u + i+1(t) = (1 + r i ) ( u + i (t l/c) ) + r i ( u i+1 (t) ) u i (t + l/c) = r i ( u + i (t l/c) ) + (1 r i )u i+1(t), (1) 2

3 gdzie współczynnik odbicia fali dźwiękowej r i wyraża się wzorem: r i = A i+1 A i A i+1 + A i (2) Trakt głosowy może być przedstawiony w postaci filtru cyfrowego. Transmitancja takiego (przykładowego) filtru w notacji Z-transformaty wyraża się wzorem: H(z) = N k=1 (1 + r i )z N/2 D(z), (3) gdzie D(z) odpowiada rekursji wielomianowej: D 0 (z) = 1 D i (z) = D i 1 (z) + r i z i D i 1 (z 1 ) D(z) = D N (z). (4) Fig. 2: Model nieskończonej bezstratnej tuby traktu głosowego Współczynniki odbicia w i-tej rurze przedstawione wzorem 2 pozwalają na połączenie tego układu z przekrojami traktu głosowego. Na tej podstawie po i-tej sekcji funkcja przekroju wyraża się wzorem: p A(z) = 1 α i z i, (5) i=1 która obliczana w wyniku analizy metodą liniowej predykcji, może być uzyskana przez rekursję[11]: A (0) (z) = 1 A (i) (z) = A (i 1) (z) k i z i A (i 1) (z 1 ), (6) A(z) = A (p) (z) zaś k i są nazywane współczynnikami PARCOR i ich relacja względem współczynników odbicia, to r i = k i. Mamy zatem zdefiniowany współczynnik częściowej korelacji (PARCOR 2 ) wyrażony wzorem: ( ) 1 ki A i+1 = A i, 1 i p, (7) 1 + k i 2 Partial Correlation 3

4 gdzie A i to pola sąsiadujących ze sobą członów modelu bezstratnej tuby traktu głosowego, a k i to współczynniki PARCOR. Średnica każdego z członów wyznaczana jest ze wzoru na pole podstawy cylindra, będącego członem takiego modelu. 3. Model cylindryczny o przekrojach eliptycznych Przekrój traktu głosowego w dowolnym miejscu bardziej przypomina elipsę, dlatego też w pracy zaproponowano model składający się z cylindrów o przekrojach eliptycznych. Dla takiego modelu pole powierzchni przekroju i-tego segmentu wyraża się wzorem: A i = πa i b i, (8) gdzie a i i b i to osie elipsy. Osi a i i b i zostały wyznaczone z poprzecznych przekrojów traktu głosowego przy artykulacji samogłosek polskich a,e,i,o,u,y. Przekroje A i kolejnych sekcji obliczano drogą analizy predykcyjnej plików dźwiękowych zawierających wypowiedź poszczególnych samogłosek. Zastosowany algorytm Levinsona-Durbina pozwolił na bezpośrednie wyznaczenie współczynników PARCOR. Zaproponowano model traktu głosowego składający się z cylindrów o przekrojach eliptycznych. Otrzymane ze współczynników PARCOR przekroje A i znormalizowano biorąc za równy 1 przekrój przy ustach A p. A p = πa pb p = 1. (9) Każdy i-ty przekrój jest więc równy A i = A i /A p. Następnie dokonano pomiarów a p i b p z labiogramów[6] i znormalizowano przekroje. Ponieważ A p = πa p ωb p ω = 1, więc ω = 1 πap b p, (10) czyli a i = a i ω. Kolejne szerokości traktu głosowego obliczono według zależności: a i = A i. (11) πb i Wartości b i uzyskano z pomiarów rzeczywistej wysokości toru głosowego, zaś pola A i z modelu toru głosowego bazującego na współczynnikach PARCOR. 4. Wyniki badań W eksperymencie analizowane były modelowe samogłoski a,e,i,o,u,y wypowiedziane przez dwie kobiety i mężczyznę. Dla plików dźwiękowych w formacie wave zostały wykonane wyliczenia metodą Levinsona- Durbina współczynników PARCOR przy rzędach predykcji 15, 30 i 80 na oknie 512 próbek przemnożonym przez okno Hanna, a na ich podstawie został zbudowany model traktu głosowego. Złożony on jest odpowiednio z 15, 30 i 80 sekcji dla każdego z 15, 30 i 80 współczynników. 4

5 Fig. 3: Model cylindryczny traktu głosowego o podstawie eliptycznej dla głoski a Pomiary rzeczywistego modelu zostały wykonane poprzez nakreślenie ścieżki środków przekrojów rzeczywistych, następnie wyznaczenie wzdłuż niej kolejnych kroków co 20 pikseli, by później zmierzyć szerokość przekroju traktu głosowego w danym miejscu pomiaru. Uzyskano w ten sposób ok. 80 pomiarów szerokości dla każdego rzeczywistego traktu głosowego. Taki pomiar umożliwił zniwelowanie różnic w długości traktu głosowego dla różnych ścian, spowodowanych zagięciem toru. Na rysunku 4 przedstawiono przekrój traktu głosowego przy artykulacji głoski u. Fig. 4: Przekrój poprzeczny traktu głosowego dla głoski a W celu znormalizowania wyników pomiarów do poziomu pól uzyskanych ze współczynników PARCOR wzięto stosunki wysokości do szerokości rozchylenia ust z labiogramów dla samogłosek. W literaturze znane są wzorcowe ustawienia ust przy arktykulacji pojedynczych samogłosek. W opracowanym modelu będzie to przekrój ostatniej sekcji. W opraciu o wzorcowe labiogramy [6] przy wypowiedziach samogłosek polskich a,e,i,o,u,y, porównano stosunki 5

6 Fig. 5: Labiogram dla głoski u osi przekrojów wyznaczone na podstawie opracowanego modelu ze zmierzonymi z obrazów ust. Głoska Wys./szer. wyznaczona z labiogramu a e i o u y Na kolejnych rysunkach przedstawiono względne pola, wysokości i szerokości traktu głosowego dla poszczególnych sekcji dla głoski a dla jednego mówcy. Na osi poziomej są numery kolejnych sekcji od krtani do ust. Fig. 6: Pole (górny wykres), wysokość (środkowy) i szerokość półosi (dolny) przekroju poprzecznego traktu głosowego dla głoski a dla 15 współczynników PARCOR. Podsumowanie Biorąc pod uwagę rzeczywisty kształt traktu głosowego można zauważyć, iż jest on bliższy kształtowi eliptycznemu niż kołowemu. Uproszczenie modelu traktu głosowego do zestawu cylindrów o podstawie kołowej jest słuszne, jednak model eliptyczny, który jest bliższy rzeczywistemu, jest dokładniejszy. Przyglądając się eliptycznym przekrojom głosek można zauważyć pojawianie się oczekiwanych, widocznych w ułożeniu języka, zmian w trakcie głosowym, tj. podobieństwo traktu głoski o do traktu o przekrojach kołowych, czy też dla głosek e, i zmniejszanie się stosunku wysokości do szerokości traktu głosowego. W szczególności przewężenie dla głoski i jest silnie zauważalne. 6

7 Fig. 7: Pole (górny wykres), wysokość (środkowy) i szerokość półosi (dolny) przekroju poprzecznego traktu głosowego dla głoski a dla 30 współczynników PARCOR. Fig. 8: Pole (górny wykres), wysokość (środkowy) i szerokość półosi (dolny) przekroju poprzecznego traktu głosowego dla głoski a dla 80 współczynników PARCOR. Oczekuje się, że przyszłe badania pozwolą na określenie dla tego modelu punktów kluczowych konfiguracji traktu głosowego, co pozwoli na lepsze wykrywanie niepłynności mowy u osób jąkających się. Podziękowania The scientific work co-financed from the means of the European Social Fund and national budget within the framework of the Human Capital Operational Programme. Measure 4.1. Strengthening and development of didactic potential of universities and increasing the number of graduates from faculties of key importance for knowledge-based economy. Submeasure 4.1.1: Strengthening and development of didactic potential of universities. Project Programmatic and structural teaching system reform on Faculty of Mathematics, Physics and Computer Science. The authors thank Natalia Fedak for language corrections. 7

8 Bibliografia [1] Codello I., Kuniszyk-Jóźkowiak W., Digital signals analysis with the LPC method. Annales UMCS Informatica, Vol. 5, pp. 315n, Lublin, [2] Izworski A., Tadeusiewicz R., Wszołek W.Artificial intelligence methods in diagnostics of the pathological speech signals. Lecture Notes in Computer Science, Volume 3215/2004, , DOI: / , [3] Izworski A., Tadeusiewicz R.System for intelligent processing and recognition of auditory brainstem response (ABR) signals. Lecture Notes in Computer Science, Volume 2690/2003, , DOI: / , [4] Horzyk A., Tadeusiewicz R., Self-optimizing neural networks. Lecture Notes in Computer Science, Volume 3173/2004, , DOI: / , [5] Karczmarczuk B.: Wymowa polska z ćwiczeniami. Wydawnictwo Polonia, Lublin, [6] Lyons R.G.: Wprowadzenie do cyfrowego przetwarzania sygnałów. WKŁ, Warszawa, [7] Makhoul J.: Stable and effitient lattice methods for linear prediction. Proceedings of IEEE, [8] Markel J.D., Gray A.H.: Linear Prediction of Speech. Springer Verlag, Berlin, [9] Proksa R., Visualization of stages of determining cepstral factors in speech recognition systems, Journal of Medical Informatics & Technologies. Vol. 13, pp. MIT-121 MIT ISSN , [10] Rabiner L. R., Schafer R.W., Digital Processing of Speech Signals. Prentice Hall, pp , New Jersey, [11] Szczurowska I., Kuniszyk-Jóźkowiak W., Smołka E., Speech nonfluency detection using Kohonen networks. Neural Computing & Applications, London, [12] Tadeusiewicz R., About usefulness of neural networks in electrical engineering problems. Electrical Review (Przegląd Elektrotechniczny), ISSN , Vol. 85, Nr. 2, pp , [13] Tadeusiewicz R., Sieci neuronowe. Akademicka Oficyna Wydawnicza RM,. Warszawa,

9 BIBLIOGRAFIA [14] Wiśniewski M., Kuniszyk-Jóźkowiak W., Smołka E., Suszyński W., Improved Approach to automatic detection of speech disorders based on the hidden Markov Models Approach, Journal of Medical Informatics & Technologies. Vol. 15, pp. MIT-145 MIT-152, [15] Zieliński A.: Teoria przetwarzania sygnałów. Wydział EAIiE AGH, Kraków,