Badanie jakości sygnału mowy w telefonii internetowej z wykorzystaniem zdań nieprzewidywalnych semantycznie

Transkrypt

1 Artur Janicki Bartłomiej KsięŜak Jacek Kijewski Sławomir Kula Zakład Systemów Teletransmisyjnych Instytut Telekomunikacji Politechnika Warszawska Badanie jakości sygnału mowy w telefonii internetowej z wykorzystaniem zdań nieprzewidywalnych semantycznie Artykuł przedstawia propozycję badania jakości transmisji mowy przy pomocy zdań nieprzewidywalnych semantycznie (ang. SUS - Semantically Unpredictable Sentences). Badana była wyrazistość sygnału mowy na przykładzie przesyłania mowy przez sieć Internet w technologii VoIP. Wybrane systemy do testów to popularny Skype, softphone X-Lite z 2 koderami mowy oraz efon z koderem ilbc, które to systemy badano w sieci z kontrolowaną stratą pakietów. W artykule przedstawiono przegląd metod badania jakości mowy, zaprezentowano zaproponowaną metodę testów SUS. Opisano równieŝ eksperyment z udziałem 20 słuchaczy, w którym porównywano badane systemy telefonii internetowej, a takŝe eksperyment z udziałem 10 słuchaczy, w którym porównywano metodę zdań SUS z klasyczną metodą badania wyrazistości logatomowej. Badania wykazały przydatność metody zdań nieprzewidywalnych semantycznie, wykazano teŝ silną korelację wyników testów SUS z wynikami testów logatomowych. Wskazano na zalety metody zdań SUS, m.in. prostotę i łatwość interpretacji wyników. 1. Wstęp Niniejszy artykuł porusza kwestię badania jakości sygnału mowy, transmitowanej poprzez sieć Internet w technologii Voice over IP (VoIP). W badaniach jakości mowy w takich przypadkach stosuje się jedną z subiektywnych bądź obiektywnych metod badań. W niniejszej pracy zaproponowano zastosowanie testu subiektywnego z wykorzystaniem zdań nieprzewidywalnych semantycznie, ang. SUS - Semantically Unpredictable Sentences. Metoda ta dotychczas stosowana była głównie do badania mowy syntetycznej, tu natomiast podjęta zostanie próba jej wykorzystania do badania jakości transmisji sygnału mowy naturalnej, na przykładzie telefonii internetowej. Problem jakości w niniejszej pracy zawęŝono do jednego z jej najwaŝniejszych aspektów do wyrazistości. W artykule najpierw przedstawiono krótki przegląd stosowanych metod badania jakości mowy, następnie opisano szczegółowo zaproponowaną metodę zdań SUS. Następnie opisano przeprowadzone eksperymenty i przedstawiono ich rezultaty. 2. Przegląd metod badania jakości mowy ZróŜnicowanie cech mówców i słuchaczy, oraz zróŝnicowanie odczuć słuchacza w zaleŝności np. od aktualnej sytuacji, w jakiej się on znajduje, czy natęŝenia uwagi powodują, Ŝe nie moŝna w prosty sposób powiązać Ŝadnej z obiektywnych miar jakości mowy z indywidualnymi odczuciami

2 pojedynczych osób, lecz trzeba uśrednić odczucia dla reprezentatywnej grupy słuchaczy. Taką reprezentatywną, uśrednioną miarą odczuć słuchaczy miarą subiektywną jest np. średnia opinia słuchaczy MOS (Mean Opinion Score). Przeprowadzenie subiektywnych pomiarów oceny jakości mowy jest bardzo kłopotliwe, poniewaŝ wymaga zaangaŝowania wyspecjalizowanej grupy lektorów i słuchaczy, oraz powtarzania pomiarów dla kaŝdego wariantu testowanego systemu lub sieci (łańcucha telefonicznego). Metody obiektywne opierają się na pomiarze wybranych, charakterystycznych, fizycznych parametrów łańcucha telefonicznego i na tej podstawie określeniu jakości mowy, bez udziału słuchaczy i lektorów. Aby to uczynić konieczna byłaby znajomość związku analitycznego wiąŝącego wybrany zestaw parametrów fizycznych z oceną subiektywną. Znając fizyczne parametry testowanego systemu lub łańcucha telefonicznego moŝna byłoby określić jakość mowy. Takiego związku nie potrafimy jednak określić inaczej niŝ poprzez statystyczne uśrednienie wyników eksperymentów z udziałem lektorów i słuchaczy. Na Rys. 1 pokazano uproszczoną klasyfikację metod oceny jakości mowy. Ocena jakości metodami subiektywnymi w kaŝdym przypadku wymaga odsłuchu. Metody obiektywne moŝna podzielić na metody wykorzystujące modele parametryczne oraz metody oparte na parametryzacji sygnałów. W zaleŝności od tego, czy w analizie korzysta się z porównania sygnału badanego z sygnałem odniesienia, czy jedynie z sygnału badanego i subiektywnej oceny słuchaczy, dzieli się dodatkowo metody obiektywne na porównawcze i bezwzględne. Do grupy metod porównawczych zalicza się np. metody PSQM oraz MNB. Bez względu na wybór metody obiektywnej, zawsze w celu uzyskania bezwzględnej oceny jakości mowy konieczne jest zgromadzenie wyników z oceny metodami subiektywnymi i określenie krzywej odwzorowania wyników uzyskanych metodami obiektywnymi na wyniki subiektywne. OCENA JAKOŚCI MOWY METODY SUBIEKTYWNE Wyniki kalibracji METODY OBIEKTYWNE MODEL PARAMETRYCZNY PARAMETRY SYGNAŁU MODELE TRANSMISYJNE OCENA PORÓWNAWCZA OCENA BEZWZGLĘDNA Rys. 1. Klasyfikacja metod badania jakości mowy Metody subiektywne Subiektywne metody badania jakości mowy sprowadzają się do bezpośredniego wykorzystania w eksperymencie osób, których zadaniem jest - na podstawie wraŝeń słuchowych - określenie cech mowy pozwalających bezpośrednio lub pośrednio oszacować jej jakość. Na Rys. 2 pokazano schematycznie strukturę, w jakiej przeprowadza się testy subiektywne.

3 Rys. 2. Struktura, w której przeprowadza się testy subiektywne. Testy subiektywne moŝna przeprowadzać na kilka sposobów [6]. Na przykład w metodzie kategoryzacyjnej osoby biorące udział w ocenie jakości mowy mają za zadanie ocenić mowę w ramach przyjętej kategorii. W testach subiektywnych uŝywanych jest kilka typów kategorii: bezwzględna, porównawcza, degradacyjna. W kaŝdym przypadku osoba oceniająca jakość mowy przypisuje jej ocenę według przyjętej skali punktowej. Inaczej przebiega ocena w metodzie konwersacyjnej (test konwersacyjny). W teście tym, dwie osoby komunikujące się przez telefon znajdują się w odrębnych kabinach, umieszczonych w laboratorium badawczym. Parametry połączenia telefonicznego są modelowane. Zadaniem osób jest ocena jakości w skali 5-punktowej oraz udzielenie binarnej odpowiedzi na pytanie, czy występowały trudności w trakcie rozmowy. Dodatkowo mierzony jest poziom odbieranych sygnałów oraz czas trwania rozmowy. Na podstawie oceny rozmówców określa się wartość MOS. Do metod subiektywnych zalicza się teŝ testy odsłuchowe. Nie uwzględniają one wszystkich czynników występujących w trakcie korzystania z łączności telefonicznej. Niemniej są one wygodne na przykład w fazie opracowywania nowego systemu lub kodera mowy. Sygnał mowy jest wcześniej rejestrowany w pamięci komputera, a w czasie testu odczytywany i przesyłany przez badany system. W teście odsłuchowym mowa podlega ocenia według skali bezwzględnej przez grupę słuchaczy. Jedną z najczęściej uŝywanych w Polsce subiektywnych metod oceny jakości mowy jest badanie wyrazistości (zdaniowej, wyrazowej bądź logatomowej). Metoda ta nie daje pełnej informacji o jakości a jedynie uwzględnia aspekt rozumienia wypowiadanych jednostek akustycznych takich jak: logatomy, sylaby, wyrazy czy zdania. Najczęściej badania te dotyczą wyrazistości logatomowej. Logatomy to nic nie znaczące w danym języku wyrazy (jedno-, dwu- lub trzysylabowe). Rozpoznanie logatomu jest zatem wyłącznie wynikiem usłyszenia wszystkich wchodzących w jego skład fonemów, a nie skojarzenia ze znanym wyrazem lub analizy kontekstowej. Pomijając kwestie proceduralne moŝna powiedzieć, Ŝe badanie wyrazistości logatomowej polega na określeniu procentowym stosunku poprawnie rozpoznanych przez N słuchaczy logatomów z L do całkowitej liczby logatomów odczytanych. W = ( NL) N L 1 W n, l n= 1 l= 1 W podanym wzorze W n,l oznacza liczbę poprawnie rozpoznanych logatomów przez n-tego słuchacza z l-tej listy w stosunku do liczby logatomów odczytanych z tej listy. Szczegółowy opis metody podaje polska norma [8].

4 2.2. Metody obiektywne Cechą charakterystyczną obiektywnych metod oceny jakości mowy jest wyznaczanie odległości - według przyjętej miary - pomiędzy wybranym lub wybranymi parametrami sygnału mowy oryginalnej i sygnału przetworzonego (przesłanego), a następnie na podstawie krzywej odwzorowania, określanie oceny w mierze subiektywnej [6]. Na Rys. 3 pokazano ogólny schemat metody obiektywnej badania jakości mowy na podstawie analizy parametrów sygnału. Rys. 3. Schemat blokowy obiektywnej metody oceny jakości mowy opartej na analizie parametrów sygnałów. Uwzględniony na rys. 3 sygnał odniesienia występuje jedynie w metodach porównawczych. W przypadku metod korzystających z modeli parametrycznych tworzony jest matematyczny model uwzględniający wszystkie elementy wchodzące w skład testowanej sieci lub systemu. Na jego podstawie obliczany jest parametr łączny. Dla szeregu wartości tego parametru określana jest metodą subiektywną jakość mowy. Otrzymana w ten sposób krzywa odwzorowania jest wykorzystywana do określenia, w następnych testach, jakości mowy wyłącznie na podstawie parametru łącznego. Przykładem metody parametrycznej jest tak zwany E-model. 3. Proponowana metoda W niniejszej pracy do badania jakości sygnału mowy zaproponowano metodę zdań nieprzewidywalnych semantycznie, zwaną dalej metodą SUS. Metoda ta stanowi w pewnym sensie przeniesienie techniki stosowanej w metodzie logatomowej z poziomu pojedynczej sylaby bądź słowa na poziom pełnego zdania. O ile w metodzie logatomowej słuchaczom prezentuje się słowa niemające znaczenia, o tyle w metodzie SUS stosuje się sztucznie wygenerowane zdania, które mimo Ŝe składają się z poprawnych słów, to logicznego sensu nie mają, dlatego są semantycznie nieprzewidywalne. Zdania te są poprawne składniowo, słowa są uŝyte zgodnie z regułami gramatyki, natomiast semantyka zdania jest całkowicie zaburzona. Przykładem takiego zdania w języku polskim moŝe być np.: Umysł ugrzązł podczas marsowego wiadra.

5 które to zdanie jest poprawnym syntaktycznie zdaniem w języku polskim, natomiast jego składowe słowa nie pozostają z Ŝadnym związku znaczeniowym: umysł raczej nie grzęźnie, wiadro nie moŝe być marsowe, nie moŝna nic robić podczas wiadra, umysł nie łączy się znaczeniowo z wiadrem itd. Przykładem tego typu zdania w języku angielskim moŝe być: Colorless green ideas sleep furiously. pochodzące z pracy Chomsky ego z 1957 r. Stosowanie tego typu zdań do badania jakości mowy w sensie jej wyrazistości moŝe więc okazać się celowe, gdyŝ podobnie jak w przypadku metody logatomowej słuchacz nie będzie w stanie (na zasadzie asocjacji) przewidzieć i uzupełnić brakującej części wypowiedzi, o ile jej dobrze nie usłyszy. Metodę zdań SUS stosuje się szeroko do ewaluacji mowy syntetycznej. W literaturze [11] przedstawiono opis i analizę wyników testów dla języka angielskiego, francuskiego, niemieckiego, włoskiego, szwedzkiego i niderlandzkiego, wykorzystanie tej metody dla języka portugalskiego opisano w [1], studencki projekt [7] wykorzystywał testy SUS do badania jakości difonowej syntezy dla języka polskiego. Metodę tę zdefiniowano jako część standardowych testów do ewaluacji mowy syntetycznej w ramach wielojęzycznego projektu badań nad jakością syntezy i rozpoznawania mowy (ESPRIT SAM projekt nr 2589) [2]. Rzadziej wykorzystuje się tę metodę do badania mowy naturalnej. Na przykład [5] pokazuje jej zastosowanie do oceny poprawy jakości sygnału mowy po zastosowaniu redukcji szumów. Metodę zdań nieprzewidywalnych semantycznie wykorzystują teŝ fonetycy do analizy zjawisk psychoakustycznych [4]. Do tworzenia zdań SUS wykorzystuje się zazwyczaj 5 struktur syntaktycznych [2], które dla języka angielskiego, stosując anglojęzyczną nomenklaturę, wyglądają następująco: Subject - Verb - Adverbial Subject - Verb - Direct object Adverbial - Transitive verb - Direct object (imperative) Q-word - Transitive verb - Subject - Direct object Subject - Verb - Complex direct object Zdania SUS buduje się ze słów najczęściej uŝywanych w danym języku. W niniejszej pracy zaproponowano uŝycie zdań nieprzewidywalnych semantycznie do badania jakości transmisji mowy. W tym celu powyŝsze struktury syntaktyczne przeniesiono na grunt języka polskiego, tak Ŝe wyglądają one wraz z przykładami następująco: podmiot + orzeczenie + okolicznik, np.: Stół szedł przez niebieską prawdę, podmiot + orzeczenie + dopełnienie, np. Silna droga wypiła dzień, okolicznik + czasownik przechodni w trybie rozkazującym + dopełnienie, np. Nigdy nie rysuj domu i faktu, zaimek pytający + podmiot + czasownik przechodni + dopełnienie, np. Jak dzień kocha jasne słowo? podmiot + orzeczenie + dopełnienie + zdanie podrzędne, np. Miejsce zamknęło rybę, która spóźniała. Wygenerowano kilkadziesiąt zdań SUS, stosując najczęściej uŝywane słowa w języku polskim. Proponowana metoda badań zakłada nagranie wygenerowanych zdań, przesłanie ich przez kanał transmisyjny i nagranie sygnału odebranego. Tak zarejestrowane próbki zostaną zaprezentowane słuchaczom celem ich rozpoznania.

6 4. Opis eksperymentu Eksperymenty z wykorzystaniem zdań nieprzewidywalnych semantycznie przeprowadzono, badając jakość transmisji mowy przez Internet w oparciu o technologię VoIP (Voice over IP). Do badań uŝyto następujących rozwiązań: Skype stosujący własne implementacje kodera mowy i protokołów sygnalizacyjnych, X-Lite softphone obsługujący protokół sygnalizacyjny SIP2 oraz protokół transportowy RTP. Do przeprowadzenia badań uŝyto 2 z 5 dostępnych koderów mowy: G.711 (przepływność 64 kb/s) i GSM Full Rate (13 kb/s). efon ilbc - produkt firmy Elterix S.A., obsługujący protokoły sygnalizacyjne SIP, IAX2 oraz 5 róŝnych koderów mowy, z czego do testów wybrano koder ilbc (Internet Low Bitrate Codec) [3] darmowy produkt rozwijany przez firmę Global IP Sound, pracujący z 2 przepływnościami: 13,33 kb/s i 15,2 kb/s. Wygenerowane uprzednio zdania SUS nagrano w dobrej jakości, tworząc pliki w formacie WAV, 16 bitów na próbkę, z częstotliwością próbkowania 16 khz. Nagrania te odtwarzano i podawano na wejście karty dźwiękowej komputera nadawcy, natomiast z wyjścia karty komputera odbiorczego do pliku o tym samym formacie rejestrowano sygnał odebrany. Kontrolowano poziom wysterowania wejścia karty, a takŝe poziom nagrania. Sygnał mowy transmitowano w sieci lokalnej w oparciu o protokół IP. Sieć lokalna zapewniała bezbłędną transmisję oraz minimalne opóźnienia rzędu kilku ms, jednakŝe w sieci umieszczono element - router, zapewniający kontrolowaną utratę pakietów (patrz Rys. 4). Router zbudowano na maszynie typu PC z systemem operacyjnym Debian GNU/Linux. Utrata pakietów realizowana jest przy wykorzystaniu standardowego narzędzia systemu Linux - iptables oraz dodatkowych funkcji tego pakietu: -random (pozwalała na zatrzymywanie pakietów z Ŝądanym prawdopodobieństwem) oraz nth (zatrzymuje co n-ty pakiet). PoniewaŜ funkcje te nie są dostępne w standardowej wersji linuksowego firewalla, naleŝało wkompilować je do jądra systemu przy uŝyciu dodatku patch-o-matic. Testy transmisji mowy dokonywano dla strat pakietów: 0%, 10%, 20%, 30% i 40%. Poprawność działania symulatora sieci weryfikowano poprzez kontrolę liczby pakietów docierających do komputera odbiorcy, obserwowanych przy pomocy programu Ethereal. nadawca router odbiorca rec LAN utrata pakietów WAN Rys. 4. Środowisko do testów jakości transmisji mowy.

7 Zarejestrowany sygnał mowy prezentowano słuchaczom w trybie off-line. W badaniach wzięło udział 20 słuchaczy w wieku lata, kaŝdy z nich miał za zadanie wysłuchać 20 zdań SUS, z czego kaŝde z nich pochodziło z innego telefonu / kodera i zostało przesłane z róŝną stratą pakietów. Kolejność kombinacji była losowa, jednak kaŝda kombinacja została wysłuchana przez wszystkich 20 słuchaczy. Próbki mowy umieszczono na przygotowanej do tego celu stronie internetowej, odpowiedni skrypt php uniemoŝliwiał ponowne odtwarzanie danej próbki bądź cofanie się do poprzednich próbek. Słuchacze zostali poinformowani o rodzaju przeprowadzanego testu, o tym Ŝe usłyszą zdania bez znaczenia, ale składające się z istniejących słów. Test właściwy poprzedzała sekwencja treningowa, w trakcie której słuchacze zapoznawali się z przykładowymi zdaniami SUS. Rozpoznane zdania słuchacze notowali na odpowiednich formularzach. Formularze nie sugerowały liczby słów w danym zdaniu. Po testach 2 osoby odrzucono, gdyŝ ich wyniki znacznie odbiegały od reszty (znaczna liczba nie rozpoznanych słów), a w zamian zaproszono 2 inne osoby. Dokładne wyniki prezentuje następny rozdział. Oddzielny test miał za zadanie porównanie metody zdań nieprzewidywalnych znaczeniowo z metodą logatomową. Aby porównanie było jak najdokładniejsze, nie korzystano z gotowych list logatomowych, ale listy utworzono ze zdań SUS. Z 20 zdań SUS wyekstrahowano 5 list logatomowych, zawierających po 50 logatomów. Sygnał mowy zawierający nagrane listy logatomowe przesłano przez system wykorzystujący softphone X-Lite z koderem G.711 z wymuszoną utratą 10% pakietów, a takŝe, dla odniesienia, przez filtr symulujący pasmo telefoniczne 300 Hz 3400 Hz sieci PSTN (bez strat). Do testów obu konfiguracji zaproszono po 5-ciu słuchaczy, a testy przeprowadzono zgodnie z zasadami zawartymi w normie [8]. Wyniki podano w następnym rozdziale. 5. Wyniki doświadczeń Wynikiem sesji testowej był zbiór formularzy wypełnionych rozpoznanymi przez słuchaczy zdaniami. Część z nich została rozpoznana bezbłędnie, znaczna część jednak zawierała błędy, głównie ominięcia lub zniekształcenia słów. Wyniki otrzymane w testach przy pomocy zdań SUS moŝna oceniać na róŝne sposoby. Najczęściej stosowaną i najprostszą metodą oceniania jest zliczanie zdań całkowicie bezbłędnie zarejestrowanych przez słuchacza, czyli obliczanie wyrazistości zdaniowej. Według Benoit [2], wynik uzyskany w ten sposób jest mocno skorelowany z wynikiem opartym o zliczanie bezbłędnych słów. Właśnie te dwie metody oceniania zastosowano w niniejszych testach. Rys. 5 prezentuje wartości wyrazistości zdaniowej dla róŝnych koderów w funkcji stopy traconych pakietów w sieci, zaś Rys. 6 prezentuje udział poprawnie rozpoznanych słów. Jak widać, rzeczywiście oba wykresy są ze sobą mocno skorelowane. Dla zdań nieprzewidywalnych semantycznie wyrazistość zdaniowa jest niŝsza niŝ wyrazowa, a więc inaczej niŝ dla zdań naturalnych, gdzie dzięki semantyce często moŝna uzupełnić niedosłyszane słowo. Tu niedosłyszane słowo dyskwalifikuje całe zdanie, a więc testy z wykorzystaniem zdań SUS są na pewno bardziej wymagające. Dlatego teŝ krzywe wyrazistości zdaniowej szybko obniŝają się wraz ze wzrostem utraty pakietów. Wyrazistość wyrazowa pozwala oczywiście na precyzyjniejsze określenie róŝnic między badanymi systemami, ze względu na większą populację słów niŝ zdań. Jeśli chodzi o porównanie jakości sygnału mowy przesyłanej przez sieć IP przy pomocy testowanych systemów, to z obu wykresów moŝna wyciągnąć podobne wnioski. Wszystkie systemy zapewniają podobną, wysoką jakość transmisji przy braku strat pakietów ponad 90% wyrazistości wyrazowej i 70-80% wyrazistości zdaniowej. Jakość systematycznie spada wraz z rosnącą stratą pakietów.

8 X-Lite GSM Skype efon ilbc X-Lite G wyrazistość zdaniowa [%] utrata pakietów [%] Rys. 5. Wyrazistość zdaniowa dla testu zdań SUS dla róŝnych koderów w funkcji stopy utraty pakietów. X-Lite GSM Skype efon ilbc X-Lite G.711 wyrazistość wyrazowa [%] ,70 96,77 94,62 92,47 89,25 86,02 82,80 73,12 86,02 77,42 74,19 41,94 65,59 61,29 46,24 31,18 44,09 35,48 30, , utrata pakietów [%] Rys. 6. Wyrazistość wyrazowa dla testu zdań SUS dla róŝnych koderów w funkcji stopy utraty pakietów.

9 Przy umiarkowanej utracie pakietów (10-20%) uwidacznia się przewaga jakości mowy przesyłanej za pomocą programu Skype. Dla duŝej straty (40%) jedynie X-Lite z koderem G.711 i Skype zapewniły jakość, która umoŝliwiła bezbłędne rozpoznanie jakiegokolwiek zdania SUS. Koder GSM 13 kb/s okazał się być najmniej odporny na utratę pakietów przy starcie 20% zapewnia przy testach SUS wyrazistość wyrazową ledwie ponad 40%, a zdaniową 10%. efon z koderem ilbc plasuje się pomiędzy wymienionymi wcześniej koderami. Po odrzuceniu 2 słuchaczy (patrz rozdział 4), rozrzut wyników między pozostałymi słuchaczami był niewielki. Średni procent błędnie rozpoznanych słów to 34%, a wśród 20 słuchaczy wahał się w granicach 27%-42%. RóŜnice dla poszczególnych zdań były juŝ większe, najwięcej błędów (ponad 50%) pojawiło się w zdaniu, które składało się z krótkich słów. Zgodnie z wcześniejszym opisem wykonano równieŝ testy, które miały za zadanie porównać metodę zdań SUS z metodą logatomową. Wyniki prezentuje Rys. 7 dla wyrazistości zdaniowej i Rys. 8 dla wyrazowej. Zgodnie z oczekiwaniem głos przesyłany przy pomocy VoIP poprzez stratną sieć IP ma gorszą jakość (w znaczeniu wyrazistości) niŝ symulacja kanału PSTN. Na wykresach widać korelację między wyrazistością dla zdań SUS i ich słów składowych, a odpowiadającą im wyrazistością logatomową. Widać teŝ, Ŝe wyrazistość zdaniowa jest czułą miarą jakości: małemu spadkowi wyrazistości logatomowej odpowiada często znaczny spadek wyrazistości zdaniowej SUS. Zmiany wyrazistości zdaniowej byłyby zapewne płynniejsze przy większej liczbie zdań SUS. Korelacja między wyrazistością wyrazową a logatomową jest bardzo wyraźna, z tym Ŝe wartościowo ta pierwsza przewyŝsza wyrazistość logatomową, co jest zgodne z oczekiwaniem. 6. Podsumowanie Po wykonaniu testów na przykładowych rozwiązaniach telefonii internetowej potwierdzono, Ŝe metoda badania jakości sygnału mowy, w sensie jej wyrazistości, oparta o zdania nieprzewidywalne semantycznie moŝe być z powodzeniem stosowana do badania jakości transmisji sygnału mowy w technologii VoIP. Okazało się teŝ, Ŝe wyniki testów SUS są mocno skorelowane z wynikami wyrazistości logatomowej. Metoda zdań SUS ma jednak pewną przewagę: jest dość szybka, łatwa do oceniania, a sądząc po wypowiedziach słuchaczy jest mniej męcząca dla osób, biorących udział w testach. W porównaniu do testów na odseparowanych logatomach i słowach ma jeszcze tę zaletę, Ŝe w przypadku testów SUS mowa składa się ze zdań posiadającą naturalną strukturę, intonację, co odzwierciedla sytuację z naturalnej konwersacji w danym języku. Mimo tego test ten jest wymagający, gdyŝ zaburzona semantyka obnaŝa wyraźnie niedostatki transmisji. W przyszłych testach zaleca się jednak stosowanie większej liczby zdań SUS, np. 50, podobnie jak w [7], celem obniŝenia niepewności wyniku.

10 PSTN Hz X-Lite G.711, 10% utraty pakietów 100% 95% wyrazistość zdaniowa dla zdań SUS 90% 85% 80% 75% 70% 65% 60% 55% 50% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% wyrazistość logatomowa Rys. 7. Wyrazistość zdaniowa dla zdań SUS w funkcji wyrazistości logatomowej dla 2 systemów i 2 x 5 słuchaczy. PSTN Hz X-Lite G.711, 10% utraty pakietów 100% 95% 90% wyrazistość wyrazowa dla zdań SUS 85% 80% 75% 70% 65% 60% 55% 50% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% wyrazistość logatomowa Rys. 8. Wyrazistość wyrazowa dla zdań SUS w funkcji wyrazistości logatomowej.

11 7. Literatura 1. M.J. Barros, D. Braga, L. Coelho, D. Freitas, A. Moura, Synthetic Speech Evaluation: The SUS Approach and Implementation for Portuguese, Signal Processing, Pattern Recognition, and Applications - SPPRA 2003, Rodos, Grecja, C. Benoit, M. Grice, V. Hazan, The SUS test: A method for the assessment of text-to-speech synthesis intelligibility using Semantically Unpredictable Sentences, ss.: , Speech Communication 18, Elsevier Science B.V., Holandia, Global IP Sound ilbc Designed For The Future, white paper, 2004, 4. V. Hazan, A. Simpson, The effect of cue-enhancement on the intelligibility of nonsense word and sentence materials presented in noise, Speech Communication, 24 /3., Elsevier Science B.V., Holandia, M. Kotta, R. Preeti, Speech enhancement in nonstationary noise environments using noise properties, Speech Communication 48, ss , S. Kula, Obiektywne i subiektywne metody badania jakości mowy przesyłanej w sieciach telefonicznych. Pomiary w telekomunikacji, nr 20. CBR TP, Warszawa D. Oliver, Diphone synthesis of the Polish language, praca dyplomowa, University of Edinburgh, Department of Linguistics, PN-90-/T-05100, Analogowe łańcuchy telefoniczne. Wymagania i metody pomiaru wyrazistości logatomowej. Warszawa A. Schweitzer, N. Braunschweiler, G. Dogil, B. Moebius, Assessing the Acceptability of the SMARTKOM Speech Synthesis Voices, 5th ISCA Speech Synthesis Workshop, Pittsburgh, USA, 2004