PRACE FILOLOGICZNE, tom LXVI PF 2015 (LXVI): 133 145 DANIEL KRÓL Zakład Informatyki Państwowa Wyższa Szkoła Zawodowa w Tarnowie ul. Mickiewicza 8 33-100, Tarnów tel. (14) 631 65 93 e-mail: dankrol@gmail.com ANITA LORENC 1 Zakład Logopedii i Językoznawstwa Stosowanego Uniwersytet im. Marii Curie-Skłodowskiej w Lublinie ul. Sowińskiego 17 20-040 Lublin tel. (81) 537 54 15 e-mail: trochymiuk@gmail.com ROZKŁAD POLA AKUSTYCZNEGO W PROCESIE ARTYKULACJI BOCZNEJ, NOSOWEJ I ZNAZALIZOWANEJ W JĘZYKU POLSKIM 2 SŁOWA KLUCZOWE: macierz mikrofonowa, boczność, nosowość, trójwymiarowy rozkład pola akustycznego, kształtowanie wiązki KEY WORDS: microphone array, laterality, nasality, 3D acoustic field distribution, beamforming Wprowadzenie Badania fonetyczne dotyczące dźwięków nosowych, znazalizowanych i bocznych cieszą się znacznie większym zainteresowaniem naukowców, niż te poświęcone 1 Wcześniej Trochymiuk. 2 Artykuł powstał w ramach projektu naukowo-badawczego nr 2012/05/E/HS2/03770 pt. Współczesna wymowa polska. Badanie z wykorzystaniem trójwymiarowej artykulografii elektromagnetycznej realizowanego pod kierownictwem A. Lorenc. Projekt został sfinansowany ze środków Narodowego Centrum Nauki przyznanych na podstawie decyzji nr DEC-2012/05/E/HS2/03770.
134 Daniel Król, Anita Lorenc głoskom z centralnym przepływem powietrza przez jamę ustną. Badacze nosowości rozwinęli liczne metody analizy, wszystkie z nich mają jednak pewne wady (porównawczy przegląd technik i procedur badawczych stosowanych w pomiarach nosowości można znaleźć w: Krakow, Huffman 1993; Baken, Orlikoff 2000). I tak na przykład w rozmaitych studiach akustycznych wskazuje się na problemy związane z pomiarem, analizą i interpretacją danych odnoszących się do nosowości. Po dekadach badań nie ustalono jednego, stałego parametru nosowości w sygnale akustycznym, ani cechy widmowej, która wyraźnie wskazywałaby na obniżanie się podniebienia miękkiego i otwarcie przestrzeni welarno-faryngalnej, nie mówiąc już o stopniu tego otwarcia (Niu 2008). Wyraźny brak niezawodnych analiz akustycznych spowodował rozwój innych metod instrumentalnych służących ocenie nosowości. Wśród nich należy wymienić nasometrię 3, (stosowaną zwłaszcza w klinicznej ocenie niewydolności podniebienno-gardłowej, czy mowy rozszczepowej), opartą na analizie sygnału akustycznego rejestrowanego równolegle przez dwa mikrofony ustny i nosowy (por. Dalston i in. 1991), elektromiografię (por. Bell-Berti 1976; Freitas i in. 2014) z elektrodami rejestrującymi aktywność mięśni, fiberoskopię, w której drobny endoskop wprowadzany jest do jamy nosowej (Karnell i in. 1988), rentgenofluorografię (Moll, Daniloff 1971), obrazowanie metodą rezonansu magnetycznego MRI (Serrurier, Badin 2005), urządzenie velotrace pozwalające w sposób mechaniczny monitorować i pozyskiwać analogowy zapis pozycji podniebienia miękkiego (Horiguchi, Bell-Bertti 1987), artykulografię elektromagnetyczną (EMA) z możliwością przyklejenia sensora do podniebienia miękkiego (Perkell i in. 1992), rozmaite urządzenia wykorzystujące maski rejestrujące zmiany ciśnienia w czasie mówienia (np. Rothenberg 1977) oraz inne tego typu akcesoria. Podczas gdy badania nad nosowością oferują wiele rozmaitych technik instrumentalnych, to w przypadku oceny bocznych realizacji dźwięków jedynym znanym autorom niniejszego artykułu, wiarygodnym i względnie dostępnym, nieakustycznym sposobem oceny jest elektropalatografia (EPG). Technika ta jest jednak kosztowna z uwagi na to, że dla każdej nowo badanej osoby konieczne jest wykonanie indywidualnego, sztucznego podniebienia wypełnionego sensorami, ponadto jego obecność w jamie ustnej powoduje, że mowa jest lekko zniekształcona i nienaturalna. Jeżeli nie chcemy odwoływać się do spektrografii obie dyskutowane tutaj cechy artykulacji nosowość i boczność muszą być badane za pomocą osobnych narzędzi. Systemy analizy nosowości nie mają możliwości sprawdzenia, czy realizacja jest boczna, czy nie, podczas gdy elektropalatografia służąca ocenie kontaktu języka z podniebieniem nie daje możliwości określenia pozycji podniebienia 3 Metoda ta powstała w oparciu o TONAR, urządzenie opracowane w latach 70.XX wieku przez S. Fletchera (por. Fletcher, Bishop 1970).
Rozkład pola akustycznego w procesie artykulacji bocznej, nosowej i znazalizowanej 135 miękkiego. Zatem badania nad nosowymi lub bocznymi realizacjami dźwięków mowy wymagają zastosowania dwóch odrębnych narzędzi. Celem niniejszego artykułu jest zaprezentowanie rozwiązania, którego nie oferują żadne inne dostępne fonetykom narzędzia: pozwala ono na nieinwazyjne i równoczesne rozpoznawanie boczności i nosowości w mowie. Ogólny zarys badań Eksperyment przeprowadzono w ramach większego projektu naukowego poświęconego badaniu współczesnej wymowy polskiej. W badaniu wzięło udział 20 dorosłych użytkowników języka polskiego (10 kobiet i 10 mężczyzn), którzy w opinii zespołu ekspertów (fonetyków i logopedów) posługują się starannym stylem standardowej odmiany współczesnej polszczyzny, a dzięki zastosowaniu szczegółowych kryteriów kwalifikacji mówców (por. Lorenc 2013) językowych (fonetycznych, ortofonicznych i socjolingwistycznych) i biologicznych (anatomicznych, czynnościowych i percepcyjnych) wykluczono między innymi istnienie zaburzeń słuchu fizycznego i mownego, wad anatomicznych w obrębie aparatu artykulacyjnego, czy też zakłóceń sprawności motorycznej narządów mowy. Nagrania zarejestrowano za pomocą kilku urządzeń jednocześnie, synchronizując ich pracę. Były to: artykulograf AG 500, pozwalający badać ruchy artykulatorów w oparciu o zmienne pole elektromagnetyczne o niskim natężeniu, wykrywające położenie sensorów zamocowanych na obserwowanych narządach mowy (por. zdj. 1.), Zdj. 1. Fotografia a) artykulografu ektromagnetycznego AG500, b) sensora HQ220-L165-S. Źródło: opracowanie własne b) a)
136 Daniel Król, Anita Lorenc trzy szybkie kamery przemysłowe, model: Point Grey Gazelle GZL-CL- -22C5M-C, rejestrujące twarz (na której umieszczano w wybranych punktach 42 białe, fluoroscencyjne markery, por. zdj. 2.) z przodu i z dwóch profili bocznych, Zdj. 2. Widok z przodu a) rozmieszczenia markerów na twarzy badanego mówcy, b) markerów po ekstrakcji. Źródło: opracowanie własne a) b) 16-kanałowy rejestrator macierzowy wraz z kołową macierzą mikrofonową (por. zdj. 3. i opis poniżej). Metodologia Na potrzeby wielokanałowej akwizycji danych audio zaprojektowano i zbudowano 16-kanałowy rejestrator/procesor macierzowy (MARP 16) oraz kołową macierz mikrofonową (Król 2014) (por. zdj. 3.). Zdj. 3. 16-kanałowy rejestrator/procesor macierzowy i kołowa macierz mikrofonowa zbudowane na potrzeby badań. Źródło: opracowanie własne
Rozkład pola akustycznego w procesie artykulacji bocznej, nosowej i znazalizowanej 137 W odróżnieniu od podobnych produktów dostępnych na rynku urządzenie to cechuje bezkompromisowa konstrukcja. Obwody wejściowe zrealizowano z wykorzystaniem niskoszumnych, szerokopasmowych wzmacniaczy mikrofonowych oraz szybkich przetworników analogowo-cyfrowych, pracujących w technice SAR (successive approximation register), dedykowanych do aparatury pomiarowej. Wyższość techniki SAR nad standardowo stosowaną techniką sigma-delta przedstawiono w literaturze (por. Król 2007, 2008; Król i in. 2011). Akwizycją oraz wstępnym przetwarzaniem 16-kanałowego sygnału zajmuje się 32-bitowy, zmiennoprzecinkowy procesor sygnałowy z rdzeniem Cortex M4F. Dane audio zapisywane są na karcie pamięci SDHC w postaci 16-kanałowych plików WAV. Urządzenie sterowane jest z głównego komputera optoizolowanym interfejsem dla minimalizacji zakłóceń. Kołową macierz mikrofonową (por. zdj. 3.) zbudowano w oparciu o wkładki elektretowe firmy Panasonic WM-61, które cechuje liniowa charakterystyka częstotliwościowa. Sesje nagraniowe W nagraniach wykorzystano opracowaną specjalnie dla tego celu listę wyrazową składającą się z 328 jednostek. Skonstruowano ją w oparciu o szereg kryteriów: formalnych (podstawowa/hasłowa forma wyrazu, sposób prezentacji) i fonologicznych (kompletność inwentarza fonemów, długość wyrazu i jego struktura fonetyczna). Zadaniem mówców było zapamiętanie wyrazu zaprezentowanego na ekranie znajdującym się na wysokości wzroku, a następnie wymówienie go na umówiony sygnał świetlny (zielony ekran) w jak najbardziej naturalny sposób. W niektórych przypadkach wymówienie zapamiętanego wyrazu było poprzedzone wykonaniem prostej operacji matematycznej w zakresie odejmowania, zaprezentowanej na ekranie, której wynik należało podać na głos, a dopiero po pojawieniu się zielonego ekranu należało wymówić zapamiętany uprzednio wyraz. Zastosowany w nagraniach efekt opóźnionej odpowiedzi oraz dystraktory miały zapobiec wymowie doliterowej. Synchronizacja i przetwarzanie sygnału W eksperymentach przeprowadzono wielokanałową akwizycję danych audio z wykorzystaniem kołowej macierzy mikrofonowej. Zastosowanie 16 kanałowej macierzy mikrofonowej oraz metody cyfrowego kształtowania wiązki akustycznej (ang. beamforming) pozwoliło na renderowanie trójwymiarowego rozkładu
138 Daniel Król, Anita Lorenc pola akustycznego. Kształtowanie wiązki zrealizowano w oparciu o algorytm Delay-Sum (Brandstein, Ward 2001; Benesty i in. 2008; McCowan 2001; Król 2014) w polu bliskim. Ideę działania algorytmu przedstawiono na poniższym rysunku (por. rys. 1.). Nazwa wzięła się stąd, że sygnały z poszczególnych mikrofonów są opóźniane o τ k sekund a następnie sumowane. Rys. 1. Zasada działania algorytmu Delay-Sum Sygnał wyjściowy macierzy mikrofonowej, w dziedzinie czasu, ma następującą postać: natomiast sygnał dyskretny opisany jest równaniem: gdzie: jest opóźnieniem wyrażonym liczbą próbek przy częstotliwości próbkowania f pr. Podsumowując, działanie algorytmu Delay-Sum sprowadza się do wprowadzenia odpowiednich opóźnień d k w poszczególnych kanałach przed ich zsumowaniem.
Rozkład pola akustycznego w procesie artykulacji bocznej, nosowej i znazalizowanej 139 Ma to na celu kompensację przesunięcia w czasie sygnałów docierających do macierzy mikrofonowej z danego punktu na płaszczyźnie, która jest skanowana. Przesunięcie czasowe t k sygnału docierającego do poszczególnych mikrofonów M k w macierzy wynika z różnej odległości jaką pokonuje fala akustyczna. Przed właściwym kształtowaniem wiązki akustycznej sygnały z poszczególnych mikrofonów zostały poddane normalizacji oraz preemfazie (McCowan 2001; Loweimi i in. 2013). Wybór typu macierzy oraz jej przestrzeni roboczej, podyktowany był fizycznymi rozmiarami i konstrukcją artykulografu, gdyż zamontowano ją w przedniej ściance obudowy artykulografu, w odległości 150 200 mm od twarzy mówcy. Podczas pracy macierzy mikrofonowej w polu bliskim istotne jest precyzyjne określenie jej odległości od źródeł dźwięku. Informację o odległości oraz ruchach twarzy podczas mówienia ustalano na podstawie położenie sensorów artykulografu umieszczonych na twarzy. Dzięki temu na bieżąco wprowadzano niezbędne korekcje w parametrach algorytmu. W celu zwiększenia rozdzielczości kątowej sterowanej wiązki (Król 2014), w rejestratorze współpracującym z macierzą mikrofonową przyjęto, wyższą niż standardowo, częstotliwość próbkowania wynoszącą 96 khz. W przeprowadzonych eksperymentach cyfrowe kształtowanie wiązki akustycznej wykorzystano do skanowania płaszczyzny w kształcie kwadratu o wymiarach 500x500 mm z rozdzielczością 5mm. W rezultacie, w każdej chwili czasowej, otrzymywana jest macierz rozkładu pola akustycznego o wymiarze 100x100 punktów (por. rys. 2.). Ze względu na fakt, iż kierunkowość macierzy mikrofonowej w paśmie niskich częstotliwości słabnie (Król 2014), konieczne było ograniczenie pasma analizowanego rozkładu pola. Przy wymiarach zastosowanej macierzy mikrofonowej pasmo to wynosi 500 Hz 12 khz. W przyszłości planowane jest przebadanie możliwości wykorzystania algorytmów tzw. super-kierunkowego kształtowania wiązki w celu obniżenia dolnej częstotliwości granicznej. Rys. 2. Skanowanie rozkładu pola akustycznego (100x100 punktów) za pomocą kołowej macierzy mikrofonowej. Źródło: opracowanie własne
140 Daniel Król, Anita Lorenc Wyniki Wykorzystanie cyfrowego kształtowania wiązki akustycznej umożliwia renderowanie trójwymiarowego rozkładu pola akustycznego, który po nałożeniu na obraz z szybkiej kamery przemysłowej, wizualizuje aktywne źródła ciśnienia akustycznego (por. zdj. 4., 5.). Zdj. 4. Aktywne źródła ciśnienia akustycznego w jednej z faz artykulacji ustno-nosowej w wyrazie tobą. Źródło: opracowanie własne Zastosowana technika pokazuje, iż w ilustrowanej fazie realizacji (por. zdj. 4.) propagacja dźwięku zachodzi równocześnie z dwóch jam, ustnej i nosowej. Kolejna rycina (por. zdj. 5.) przedstawia aktywne źródła ciśnienia akustycznego o charakterze ustnym centralnym a) oraz c), ustnym bilateralnym b) i nosowym d). Dodatkowo możliwe jest generowanie poziomych i pionowych przekrojów rozkładu pola akustycznego w funkcji czasu (por. rys. 3., 4.), co ułatwia przestrzenną analizę rozkładu energii akustycznej dla pojedynczych dźwięków w wymówionych słowach.
Rozkład pola akustycznego w procesie artykulacji bocznej, nosowej i znazalizowanej 141 Zdj. 5. Aktywne źródła ciśnienia akustycznego w realizacjach a) spółgłoski /t/, b) spółgłoski /l/, c) samogłoski / ɛ /, d) spółgłoski /n/ w wyrazie tlen. Źródło: opracowanie własne a) b) c) d) Przekroje pionowe pozwalają oceniać obecność źródła energii ustnej (przesunięcia w dół) i/lub nosowej (przesunięcia w górę) oraz ich poziom w mowie. Na rysunku 3. energia nosowa widoczna jest począwszy od 300 ms i wiąże się z realizacją /n/ w wyrazie tlen. Z kolei na rysunku 4. segmenty odpowiadające realizacji ustno-nosowej w wyrazie pąsy są następujące: początkowo pojawia się energia ustna (utrzymująca się do 200 ms), w której trakcie (w 120 ms) dołącza się energia nosowa (utrzymująca się do 290 ms). Aktywność poszczególnych źródeł ciśnienia akustycznego odpowiada fazom artykulacji dźwięku: ustnej, ustno- -nosowej i nosowej. Na podobnej zasadzie, ale w przekroju poziomym, może być oceniany rozkład energii ustnej wyznaczony w płaszczyźnie znajdującej się na wysokości ust. Dominacja energii środkowej wynika z centralnego przepływu powietrza przez jamę ustną (na rysunku 3. widoczna na początku w związku z realizacją plozji /t/ i dalej od 150 ms. co wiąże się z realizacją / ɛ /, a następnie /n/ wyrazie tlen, a na rysunku 4. obecna, ze zmienną amplitudą, w całym przebiegu czasowym wyrazu pąsy). Energia boczna jest charakterystyczna dla dominacji przepływu powietrza wzdłuż boków jamy ustnej (uwidaczniająca się na rysunku 3. w segmencie pomiędzy 30 a 150 ms w postaci dwóch równoczesnych, lateralnych przepływów energii, odpowiadających realizacji segmentu szumowego następującego po plozji /t/ i dalej spółgłosce /l/).
142 Daniel Król, Anita Lorenc Rys. 3. Oscylogram i przestrzenny rozkład energii akustycznej w wyrazie tlen. Źródło: opracowanie własne Rys. 4. Oscylogram i przestrzenny rozkład energii akustycznej w wyrazie pąsy. Źródło: opracowanie własne
Rozkład pola akustycznego w procesie artykulacji bocznej, nosowej i znazalizowanej 143 Wnioski i dalsze badania W artykule zaprezentowano wstępne wyniki analiz dotyczących rozkładu pola akustycznego w badaniach wymowy. Pozyskane dane są bardzo obiecujące zwłaszcza jeżeli chodzi o ocenę procesu artykulacji bocznych, nosowych i znazalizowanych. Badania przeprowadzono w oparciu o algorytm Delay-Sum, który jest najprostszą metodą cyfrowego kształtowania wiązki akustycznej. W najbliższej przyszłości planowane jest sprawdzenie możliwości udoskonalenia uzyskanych wyników w oparciu o adaptacyjne algorytmy kształtowania wiązki. Zmieniane będą również inne elementy analizy, między innymi automatyczna normalizacja ruchów głowy mówców, która na potrzeby niniejszych badań była wykonana ręcznie. Procedura normalizacyjna będzie opierała się na śledzeniu trajektorii ruchu fluorescencyjnych markerów umieszczonych na twarzach mówców, rejestrowanych za pomocą szybkich kamer wideo. Niewątpliwie wstępne rezultaty przedstawionej tu metody, bazującej na analizie danych pozyskanych za pomocą 16-kanałowej macierzy mikrofonowej, pokazują, ze jest to nieinwazyjne oraz efektywne narzędzie służące obiektywizacji oceny artykulacji nosowych, znazalizowanych i bocznych. Bibliografia Baken, R.J., Orlikoff, R.F. (2000). Clinical measurement of speech and voice. New York: Taylor and Francis. Bell-Berti, F. (1976). An electromyographic study of velopharyngeal function in speech, Journal of Speech and Hearing Research, 19, 225 240. Benesty, J., Chen, J., Huang, Y. (2008). Microphone Array Signal Processing. Berlin: Springer. Brandstein, M., Ward, D. (2001). Microphone arrays: signal processing techniques and applications. Berlin: Springer. Dalston, R.M., Warren, D.W., Dalston, E.T. (1991). Use of Nasometry as a Diagnostic Tool for Identifying Patients with Velopharyngeal Impairment, The Cleft Palate-Craniofacial Journal, 28 (2), 184 189. Fletcher, S.G, Bishop, M.E. (1970). Measurement of nasality with TONAR, Cleft Palate Journal, 7, 610 621. Freitas, J., Teixeira, A., Silva, S., Oliveira, C., Dias, M.S. (2014). Velum Movement Detection based on Surface Electromyography for Speech Interface. Referat wygłoszony na konferencji International Conference on Bio-Inspired Systems and Signal Processing BIOSIGNALS 2014. Loire Valley. Horiguchi, S., Bell-Bertti, F. (1987). The Velotrace: a device for monitoring velar position, Cleft Palate Journal, 24 (2), 104 111.
144 Daniel Król, Anita Lorenc Karnell, M.P., Seaver, E.J., Dalston, R.M. (1988). A comparison of photodetector and endoscopic evaluations of velopharyngeal function, Journal of Speech and Hearing Research, 31, 503 510. Krakow, R., Huffman, M. (1993). Instruments and techniques for investigating nasalization and velopharyngeal function in the laboratory: An introduction. W: M. Huffman, R. Krakow (red.), Phonetics and Phonology: Nasals, Nasalization, and the Velum (3 59). San Diego: Academic Press. Król, D. (wrzesień 2007). Choice of analog-to-digital converters for audio measurements using MLS algorithm. Referat wygłoszony na konferencji 15 th European Signal Processing Conference, EUSIPCO. Poznań. Król, D. (wrzesień 2008). On superiority of Successive Approximation Register over Sigma Delta AD converter in standard audio measurements using Maximum Length Sequences. Referat wygłoszony na konferencji International Conference on Signals and Electronic Systems, ICSES. Kraków. Król, D. (2014). Macierze mikrofonowe i głośnikowe. W: T.P. Zieliński, P. Korohoda, R. Rumian (red.), Cyfrowe przetwarzanie sygnałów w telekomunikacji: Podstawy, multimedia, transmisja (665 695). Warszawa: PWN. Król, D., Wielgat, R., Potempa, T., Świętojański, P. (czerwiec lipiec 2011). Analysis of Ultrasonic Components in Voices of Chosen Bird Species. Referat wygłoszony na konferencji Forum Acusticum. Aalborg. Lorenc, A. (2013). Diagnozowanie normy wymawianiowej, Logopedia, 42, 63 87 (wersja angielska: http://www.logopedia.umcs.lublin.pl/images/1-278_logop_42_ang_ok.pdf). Loweimi, E. Ahadi, S. M., Drugman, T., Loveymi, S. (czerwiec 2013). On the Importance of Pre-emphasis and Window Shape in Phase-Based Speech Recognition. Referat wygłoszony na konferencji Nonlinear Speech Processing. Mons. McCowan, I. (2001). Microphone arrays: a tutorial. Pozyskano z http://www.idiap. ch/~mccowan/arrays/tutorial.pdf Moll, K.L., Daniloff, R.G. (1971). Investigation of timing of velar movement during speech, Journal of the Acoustical Society of America, 50, 678 684. Niu, X. (2008). Measurement, analysis, and detection of nasalization in speech, Student Scholar Archive, Paper 305. Perkell, K., Cohen, M., Svirsky, M., Matthies, M., Garabieta, I., Jackson, M. (1992). Electromagnetic midsagittal articulometer (EMMA) system for transducing speech articulatory movements, Journal of the Acoustical Society of America, 92, 3078 3096. Rothenberg, M. (1977). Measurements of air flow in speech, Journal of Speech & Hearing Research, 20, 155 176. Serrurier, A., Badin, P. (wrzesień 2005). A three-dimensional linear articulatory model of velum based on MRI data. Referat wygłoszony na konferencji 6 th Interspeech/Eurospeech. Lisbon.
Rozkład pola akustycznego w procesie artykulacji bocznej, nosowej i znazalizowanej 145 Acoustic field distribution in lateral, nasal and nasalised articulations in Polish summary Phonetic studies of nasal and lateral sounds pose numerous obstacles to researchers, there being no unequivocal parameters reflecting these types of articulation obtained by means of acoustic analysis. Conversely, systems dedicated to the investigation of nasality and electropalatography (EPG), which is the only accessible alternative to spectrographic analysis in studying lateral sound realizations, are costly, often invasive and do not examine naturally produced speech. The present article demonstrates how a multi-channel recorder may be used in detecting non-invasively both nasality and laterality in speech. The described system records multi-channel audio, and calculates spatial coordinates of sound propagation sources (3D acoustic field distribution), allowing the researcher to establish if the release of a segment is oral, nasal(ized) or lateral.