Praca 10310076, 02310056, 09310036

Zakład Z-10 Opracowanie unikalnej oferty kompleksowych badań systemów telekomunikacyjnych zintegrowanych za pośrednictwem platformy IP, przeznaczonych na potrzeby służb ratowniczych i innych organizacji komercyjnych ETAP 1 Badania jakości usługi głosowej end-to-end Praca 10310076, 02310056, 09310036 Warszawa, grudzień 2006

Tytuł pracy: Opracowanie unikalnej oferty kompleksowych badań systemów telekomunikacyjnych zintegrowanych za pośrednictwem platformy IP, przeznaczonych na potrzeby służb ratowniczych i innych organizacji komercyjnych Badanie jakości usługi głosowej end-to-end Numer pracy: 10310076, 02310056, 09310036 Słowa kluczowe: VoIP, PESQ, MOS, jakość głosu, metody obiektywne, platforma integracyjna Kierownik pracy: dr inż. Maria J. Trzaskowska Wykonawcy pracy: dr inż. Maria J. Trzaskowska mgr inż. Ryszard Kobus mgr inż. Tomasz Sędek mgr inż. Mikołaj Waszkiewicz mgr inż. Bogdan Mucha mgr inż. Waldemar Latoszek inż. Marian Kania Piotr Karpeta Lech Jóźwik Kierownik Zakładu:Z-10: inż. Bogdan Chojnacki Copyright by Instytut Łączności, Warszawa 2006 2

Spis treści: 1 WSTĘP... 6 2 PLATFORMA INTEGRACYJNA VIDA... 8 2.1 RODZAJE USŁUG... 11 2.2 DZIAŁANIA W IŁ W ZAKRESIE ZDOBYCIA NOWYCH KOMPETENCJI... 12 3 PARAMETRY WPŁYWAJĄCE NA JAKOŚĆ PRZEKAZU GŁOSU... 18 3.1 OPÓŹNIENIE PRZEKAZU PAKIETÓW... 18 3.2 UTRATA PAKIETÓW... 18 3.3 FLUKTUACJA (JITTER)... 19 3.4 ECHO... 19 3.5 KODEKI... 20 4 METODY BADANIA JAKOŚCI MOWY TRANSMITOWANEJ... 20 4.1 METODY SUBIEKTYWNE I MIARY OCENY JAKOŚCI... 21 4.1.1 Metoda bezwzględnej oceny jakości mowy ACR... 22 4.1.2 Metoda określająca stopień degradacji jakości mowy DCR... 24 4.1.3 Metoda badania wyrazistości logatomowej... 26 4.1.4 Metoda Double Talk... 27 4.1.5 Ankietyzacja wg ITU-E.125... 28 4.2 METODY OBIEKTYWNE... 28 4.2.1 Metoda porównawcza PSQM... 29 4.2.2 Metoda porównawcza PSQM +... 31 4.2.3 Metoda porównawcza PAMS... 31 4.2.4 Metoda porównawcza PESQ... 33 4.2.5 Metoda bezwzględnej oceny jakości mowy INMD... 34 4.2.6 E - model... 35 4.3 - MIARY OCENY JAKOŚCI GŁOSU I ICH STANDARYZACJA... 44 5 NARZĘDZIA POMIAROWE DO BADAŃ PLATFORM INTEGRACYJNYCH IP... 49 5.1 ANALIZATOR JAKOŚCI I POZIOMU MOWY MULTI DSLA FIRMY MALDEN ELECTRONICS... 49 5.2 EMULATOR ZAKŁÓCEŃ SIECI IP PACKETSTORM 1800E FIRMY AM TECHNOLOGIES... 52 5.3 AGILENT N2620A FRAMESCOPE TM PRO FIRMY AGILENT TECHNOLOGIES... 54 6 PROCEDURY BADAWCZE PIP... 56 7 BADANIA PLATFORMY VIDA... 56 8 NOWA OFERTA BADAŃ IŁ-PIB... 56 9 PODSUMOWANIE... 57 10 DOKUMENTY ZWIĄZANE... 58 11 BIBLIOGRAFIA... 66 12 WYKAZ SKRÓTÓW... 67 13 ZAŁACZNIKI... 68 3

Spis rysunków: RYSUNEK 1 SYSTEM TESTOWY PLATFORMY VIDA 8 RYSUNEK 2 ARCHITEKTURA PLATFORMY INTEGRACYJNEJ VIDA 9 RYSUNEK 3 MODEL WARSTWOWY PLATFORMY VIDY 9 RYSUNEK 4 RODZAJE ZAKŁÓCEŃ JAKOŚCI GŁOSU W SIECIACH IP 11 RYSUNEK 5 WPŁYW OPÓŹNIENIA NA JAKOŚĆ TRANSMISJI MOWY 18 RYSUNEK 6 ECHO MÓWCY 19 RYSUNEK 7 ECHO SŁUCHACZA 19 RYSUNEK 8 KLASYFIKACJA METOD BADANIA JAKOŚCI MOWY 21 RYSUNEK 9 SCHEMAT KONFIGURACJI DO TESTÓW SUBIEKTYWNYCH 22 RYSUNEK 10 OCENA MOS W ZALEŻNOŚCI OD POZIOMU ZNIEKSZTAŁCEŃ TRANSMISJI 24 RYSUNEK 11 POW ORAZ GOB W ZALEŻNOŚCI OD POZIOMU ZNIEKSZTAŁCEŃ TRANSMISJI 24 RYSUNEK 12 OGÓLNA KONCEPCJA METODY BADANIA WYRAZISTOŚCI LOGATOMOWEJ 26 RYSUNEK 13 OGÓLNA KONCEPCJA METODY PORÓWNAWCZEJ SZACOWANIA JAKOŚCI MOWY 29 RYSUNEK 14 KONCEPCJA POMIARU JAKOŚCI TRANSMISJI SYGNAŁU MOWY METODĄ PSQM 29 RYSUNEK 15 SCHEMAT BLOKOWY ZASADY DZIAŁANIA METODY PSQM 30 RYSUNEK 16 SCHEMAT BLOKOWY POMIARU JAKOŚCI MOWY METODĄ PAMS 32 RYSUNEK 17 SCHEMAT BLOKOWY POMIARU JAKOŚCI MOWY ZA POMOCĄ METODY PESQ 33 RYSUNEK 18 KONCEPCJA E-MODELU 35 RYSUNEK 19 POWIĄZANIA E-MODELU Z SUBIEKTYWNYMI I OBIEKTYWNYMI METODAMI OCENY JAKOŚCI MOWY 36 RYSUNEK 20 SKALA JAKOŚCI E-MODELU DEFINIOWANA W ITU-T G.109 [6]. 37 RYSUNEK 21 MOS JAKO FUNKCJA WSPÓŁCZYNNIKA JAKOŚCI TRANSMISJI R 38 RYSUNEK 22 GOB ORAZ POW JAKO FUNKCJE WSPÓŁCZYNNIKA JAKOŚCI R 38 RYSUNEK 23 WPŁYW TŁUMIENIA ECHA NA WSKAŹNIK R 39 RYSUNEK 24 WPŁYW ECHA I OPÓŹNIENIA NA WSKAŹNIK R 39 RYSUNEK 25 WPŁYW CAŁKOWITEGO OPÓŹNIENIA (TA) NA WSKAŹNIK R 40 RYSUNEK 26 QOS Z PUNKTU WIDZENIA RÓŻNYCH GRUP UCZESTNICZĄCYCH W PROCESIE KOMUNIKACJI 44 RYSUNEK 27 MIARY JAKOŚCI METOD OBIEKTYWNYCH W ODNIESIENIU DO MOS 46 RYSUNEK 28 DOKUMENTY NORMALIZACYJNE ITU DOTYCZĄCE OCENY JAKOŚCI GŁOSU 48 RYSUNEK 29 SYSTEM MULTI DSLA FIRMY MALDEN ELECTRONICS 49 RYSUNEK 30 WIDOK FRONTU I TYLNEJ STRONY ANALIZATORA DSLA Z PORTAMI. 49 RYSUNEK 31 WSPÓŁPRACA DSLA Z RÓŻNYMI SIECIAMI ŁĄCZNOŚCI ELEKTRONICZNEJ. 50 RYSUNEK 32 WSPÓŁPRACA MULTI DSLA Z TERMINALAMI GŁOSOWYMI 50 RYSUNEK 33 OPCJE KONFIGURACJI POMIAROWYCH OD 1-PUNKTOWEJ, 2-PUNKTOWE DO WIELO-PUNKTOWEJ 51 RYSUNEK 34 WYNIKI POMIARU JAKOŚCI GŁOSU I INNE PARAMETRY DEGRADUJĄCE 52 RYSUNEK 35 WIDOK EMULATORA ZAKŁÓCEŃ PACKETSTORM 1800E (FRONT I TYŁ) 53 RYSUNEK 36 PACKETSTORM 1800E FIRMY AM ELECTRONICS 53 RYSUNEK 37. AGILENT N2620A FRAMESCOPE TM PRO FIRMY AGILENT TECHNOLOGIES 54 4

Spis tabel: TABELA 1: WYMAGANIA NA PARAMETRY I FUNKCJE URZĄDZENIA (SYSTEMU) DO POMIARU JAKOŚCI GŁOSU... 14 TABELA 2: WYMAGANIA NA PARAMETRY I FUNKCJE URZĄDZENIA DO EMULACJI ZAKŁÓCEŃ SIECI... 15 TABELA 3 OCENA MOS W ZALEŻNOŚCI OD KATEGORII... 23 TABELA 4. STOPIEŃ DEGRADACJI JAKOŚCI MOWY DMOS... 25 TABELA 5 PORÓWNANIE JAKOŚCI MOWY W SKALI CMOS... 25 TABELA 6 PRZYKŁADOWA LISTA 50 LOGATOMÓW... 27 TABELA 7 PARAMETRY ANALIZOWANE PODCZAS TESTU DOUBLE TALK... 28 TABELA 8 WARTOŚCI WSKAŹNIKA R DLA RÓŻNYCH TYPÓW KODEKÓW... 40 TABELA 9 WARTOŚCI MOS DLA RÓŻNYCH TYPÓW KODEKÓW... 42 TABELA 10 PRZYKŁADOWE WARTOŚCI WSPÓŁCZYNNIKA A... 43 TABELA 11 WARTOŚCI DOMYŚLNE ORAZ DOPUSZCZALNE ZAKRESY DLA PARAMETRÓW TRANSMISJI MOWY... 43 TABELA 12 PARAMETRY JAKOŚCI DLA REALIZACJI USŁUG TRANSMISJI GŁOSU I WIDEO WG [19]... 45 TABELA 13 MIARY JAKOŚCI MOS W ODNIESIENIU DO METOD SUBIEKTYWNYCH... 46 TABELA 14 WSPÓŁCZYNNIKI KORELACJI METOD OBIEKTYWNYCH Z SUBIEKTYWNĄ MIARĄ MOS... 47 5

1 Wstęp Praca stanowi pierwszy etap opracowywania oferty kompleksowych badań systemów telekomunikacyjnych zintegrowanych za pośrednictwem platformy IP. W niniejszym projekcie skoncentrowano się na badaniach jakości usługi głosowej end-to-end, a nie na badaniach parametrów technicznych poszczególnych styków i urządzeń. Przełom wieku XX i XXI to okres, w którym świat się bardzo skurczył. Nie tylko za sprawą coraz szybszych środków transportu, ale przede wszystkim ze względu na dostęp coraz szerszych grup społecznych do wszelkich informacji zawsze i wszędzie za pośrednictwem coraz doskonalszych narzędzi komunikacji elektronicznej. Żyjemy w erze globalizacji. Niestety bardzo złym produktem globalizacji jest poczucie zagrożenia społeczeństw z powodu coraz częstszych i ostrzejszych zawirowań politycznych, wojen, terroryzmu, katastrof naturalnych i tych związanych z industrializacją (katastrofy komunikacyjne, budowlane, ekologiczne). Tego rodzaju zagrożenia osłabiają poczucie bezpieczeństwa obywateli i są wyzwaniem dla odpowiednich służb (wojsko, obrona cywilna, policja, straż pożarna, pogotowie ratunkowe, straż graniczna itd.). To z kolei rodzi zapotrzebowanie na szybszą i efektywniejszą łączność- a więc skuteczną, pewną i szybką wymianę informacji. Na tą natychmiastową i dobrej jakości komunikację jest również zapotrzebowanie dla realizacji operacji w sektorze gospodarczym i bankowym, w nauce, w handlu towarami i usługami, w służbach monitorujących warunki atmosferyczne (pogoda, zapylenie, hałasy), stany sieci (energetyka, gazownictwo), w mediach szeroko pojętych, w rozrywce itp. Również zmiana charakteru i stylu nauki i pracy (zdalna edukacja, mobilne biura, praca w terenie) wymusza postęp w technologii dający możliwość natychmiastowego komunikowania się w czasie rzeczywistym. W zakresie szeroko pojętej łączności dąży się do modelu dla każdego wszystko, zawsze i wszędzie to znaczy jak największy zasób informacji dostępny dla każdego człowieka, w każdej chwili i w każdym miejscu na kuli ziemskiej. Aby sprostać coraz większym wyzwaniom współczesności i przyszłości potrzebne są efektywne narzędzia do komunikacji. Temu celowi służy rozwój nowych technologii kodowania i szyfrowania głosu, nowoczesnych technik transmisji głosu, danych i obrazu w czasie rzeczywistym. Celem projektu było wypracowanie nowych kompetencji w Instytucie Łączności-PIB polegających na badaniach jakości usługi głosowej end-to-end oraz testach funkcjonalnych i obciążeniowych platform IP integrujących różne systemy telekomunikacyjne tj. PSTN/ISDN,.GSM, UMTS, TETRA, WiMax. Na te nowe kompetencje składają się, procedury badawcze, projekty stanowisk pomiarowych na bazie nowych unikalnych i wysokospecjalizowanych narzędzi pomiarowych oraz kwalifikacje zespołu badawczego. W rezultacie tych działań Instytut Łączności - PIB rozszerzy swoją ofertę usługową o nowe badania QoS głosu transmitowanego za pośrednictwem różnych systemów telekomunikacyjnych, 6

w tym poprzez sieć z protokołem IP, zarówno na potrzeby służb ratowniczych, administracji państwowej jak i innych organizacji komercyjnych. Integracja różnych systemów telekomunikacyjnych (stacjonarnych i ruchomych) poprzez sieć z protokołem IP jest rozwiązaniem nowym i jeszcze słabo przetestowanym. Badania zainicjowane w IŁ pozwolą odpowiedzieć zleceniodawcy badań, a także decydentom odpowiadającym za realizację łączności elektronicznej w skali mikro i makro na kilka podstawowych pytań: o Czy sieć IP zapewni skuteczną komunikację głosową na wymaganym poziomie jakości, gdy będzie wykorzystana do integracji różnych systemów telekomunikacyjnych (konwencjonalnych, radiowych)? o Czy w związku z tym, jest zasadne budowanie wspólnej platformy integracji różnych systemów telekomunikacyjnych bazującej na protokole IP i standardowych elementach IT, dla zapewnienia współpracy systemów radiowych służb publicznego bezpieczeństwa i ratownictwa, na etapie przejściowym drogi migracji z obecnie wykorzystywanych do przyszłych systemów NGN? o Jak przedstawia się problem zapewnienia QoS głosu dla różnych stanów i obciążenia sieci? o Czy parametry jakościowe, funkcjonalne i wydajnościowe platformy IP deklarowane przez dostawcę odpowiadają stanowi faktycznemu? Do niedawna badania techniczne na zgodność z wymaganiami poszczególnych składników sieci tj. urządzeń telekomunikacyjnych (terminali, central, urządzeń dostępowych, urządzeń zasilających, łączy miedzianych i światłowodowych, urządzeń radiowych) wystarczyły, by z dużym prawdopodobieństwem stwierdzić, że sieć złożona z tych sprawdzonych i zgodnych z wymaganiami elementów gwarantuje realizację usługi głosowej, faksowej, transmisję danych, obrazu stacjonarnego i ruchomego. Takie badania były wykonywane w ramach tzw. homologacji urządzeń telekomunikacyjnych. Obecnie zmienia się filozofia badań jakości usług w sieciach łączności elektronicznej. Dużego znaczenia nabrały zagadnienia związane z poziomem jakości świadczonych usług oferowanych przez operatorów sieci telekomunikacyjnych i dostawców usług, w tym głównie podstawowej usługi w telekomunikacji tj. usługi głosowej. Zwykli użytkownicy, a przede wszystkim użytkownicy służb ratowniczych, administracji publicznej, jak i organizacji i firm komercyjnych, od sieci łączności elektronicznej wymagają przede wszystkim: niezawodności funkcjonalności bezpieczeństwa informacji jakości usług (głos, tekst, dane, obraz) na akceptowalnym poziomie. W ostatnich latach, w związku z wciąż rosnącą konkurencją oraz wprowadzeniem nowych technik przekazu, sama gwarancja dostarczenia przez sieć telekomunikacyjną sygnałów akustycznych z jednego punktu do drugiego stała się niewystarczająca. Zarówno zjawiska występujące w połączeniach pakietowych jak i komórkowych oddziałują na sygnał mowy w specyficzny sposób. Pojawiają się czynniki nieznane w tradycyjnych sieciach PSTN, mające 7

duży, niekorzystny wpływ na jakość odbioru usługi głosowej. Zagadnienia te będą szerzej przedstawione w rozdziale 3 niniejszej pracy. 2 Platforma integracyjna VIDA W lipcu bieżącego roku w Instytucie Łączności został zainstalowany model testowy amerykańskiej platformy integracyjnej VIDA (Voice Interoperability Data Access) pozwalającej na realizację m.in. usług głosowych za pośrednictwem terminali ruchomych standardu TETRA, P25, GSM pomiędzy sobą oraz w połączeniach grupowych ze stanowiskiem dyspozytora. Na rysunku 1 przedstawiono system testowy Platformy VIDA, a na rysunku 2 pokazano jej architekturę. Rysunek 1 System testowy Platformy VIDA 8

IP IP Gateway Hybrydowa sieć łączno cznościci System zarządzania Centrale IP Bramka GSM/UMTS Konsole dyspozytorskie IP Network Bramka VHF analog MPT 1327 Starsze systemy EDACS ProVoice Broadband Data /WiMAX P25 IPC P25 IPT TETRA IP Tetra EDACS 2005 M/A-COM Poland Sp. z o.o. Rysunek 2 Architektura platformy integracyjnej VIDA Platforma VIDA reprezentuje model warstwowy-rysunek 3. Rysunek 3 Model warstwowy Platformy VIDY Nową filozofią rozwiązania proponowanego przez firmę M/A COM jest sieć oparta o protokół IP z wyprowadzonymi interfejsami do różnych radiowych systemów telekomunikacyjnych tj. TETRA, P25, EDACS, GSM, UMTS, WiMax. Połączenia głosowe za pośrednictwem Platformy VIDA są realizowane według następującej procedury: 9

o Użytkownik terminala ruchomego rejestruje się w Komutatorze/Serwerze, o Realizowane są połączenia głosowe indywidualne i grupowe z atrybutami (priorytety, alarmowe, zasięg itp.), o Serwer/Switch kieruje strumienie VoIP do odpowiednich Stref/Access Points, o Kolizje w Strefach/Access Points są rozstrzygane na podstawie atrybutów. Zalety wprowadzenia tej koncepcji są następujące: o Sieć IP jest uniwersalną siecią komutowania i transmisji głosu i danych, o Standardowy sprzęt COST (Cisco, SUN, Dell), oprogramowanie (Software Switch) i system zarządzania, o Łatwość instalacji oraz implementacji aplikacji IT, o Protokół IP i technologia, która go wspomaga stanowią wspólną platformę transportową, o Protokół IP, kompresja oraz przesyłanie po IP dynamicznie się rozwijają, o Sprawna sieć szkieletowa IP jest niezbędna także dla innych usług niż PMR, o Klienci posiadają lub zamierzają budować sieci korporacyjne, o Relatywnie moc/pojemność produktów IT rośnie, a ceny maleją, o Sieci IP mają wbudowana naturalną nadmiarowość, o Sieć IP odporna na uszkodzenia, o Większa mobilność, o We właściwie wykonanej sieci IP problem opóźnień wydaje się być opanowany, gdyż stosuje się dedykowany routing, priorytety oraz kompresję 80%., o IP ma szerokie wsparcie kadrowe. Niestety technologie IP w zastosowaniu do transmisji głosu stanowią pewne ograniczenia. Wśród listy czynników mających największy wpływ na jakość przekazu głosu po stronie sieci z transmisją pakietów ma opóźnienie, straty pakietów oraz fluktuacje (jitter). -rys.4. Prace badawcze w tej tematyce pozwolą odpowiedzieć na pytanie na ile sieć IP zapewni skuteczną komunikację głosową na wymaganym poziomie jakości, gdy będzie wykorzystana do integracji różnych systemów telekomunikacyjnych (konwencjonalnych, radiowych)? 10

Rysunek 4 Rodzaje zakłóceń jakości głosu w sieciach IP Na końcową jakość przekazu głosu postrzeganą przez użytkownika końcowego mają również wpływ parametry terminali takie jak: straty pakietów, charakterystyki kodeka, echo, bufor fluktuacji, opóźnienie oraz jego parametry akustyczne (wskaźnik głośności, zniekształcenia nieliniowe, szumy odbiorcze). Ze względu na ich powiązania oraz wzajemny wpływ, ocena jakości głosu staje się jednym z ważniejszych zadań w nowoczesnych sieciach telekomunikacyjnych. Można zaryzykować stwierdzenie, że protokół IP i technologia, która go wspomaga staną się podstawą przyszłych sieci nowej generacji oferujących usługę VoIP. 2.1 Rodzaje usług Za pośrednictwem w pełni rozbudowanej i kompletnie oprogramowanej Platformy VIDA można realizować następujące podstawowe rodzaje usług: 11

1. Usługi głosowe, w tym: o Wywołania grupowe, o Wywołania okólnikowe, o Wywołania indywidualne, o Wywołania alarmowe. 2. Usługi transmisji danych, o Przesyłanie statusów, o Przesyłanie krótkich informacji tekstowych, o Pakietową transmisję danych. 3. Usługi dyspozytorskie. o Zarządzanie grupami, o Rejestrację historii połączeń, o Rejestrację treści korespondencji, o Sprawdzanie radiotelefonu, przesyłanie alertu i obsługa statusów z konsoli, o Podsłuchiwanie grup, połączeń indywidualnych z konsoli. Powyższa specyfikacja nie obejmuje szczegółowego opisu usług rozszerzających funkcjonalność platformy (usług platformy oraz współpracujących z nią systemów radiowych). Platforma obsługuje również styki do innych sieci radiowych w tym GSM, sieci telefonicznych PSTN/ISDN, sieci resortowych i wewnętrznych sieci telefonicznych. Funkcjonalność platformy zależy w dużej mierze od jej konfiguracji i może być rozszerzana w miarę rozwoju systemu. 2.2 Działania w IŁ w zakresie zdobycia nowych kompetencji Przed instalacją systemu testowego VIDA w Instytucie Łączności-PIB w dniu 14 czerwca 2006 przedstawiciele firmy M/A COM POLAND zawarli z Dyrektorem IŁ-PIB Umowę o współpracy w zakresie badań oraz Umowę o ujawnieniu i ochronie informacji poufnych. Dnia 8 sierpnia 2006 otwarto Zlecenie na Badania uniwersalnej platformy IP integracji systemów radiowych-makiety systemu testowego VIDA na kwotę 51 tys. zł +VAT. 29 czerwca 2006 firma M/A COM POLAND zainstalowała VIDĘ w klimatyzowanym pomieszczeniu w Zakładzie Z-10. 7 lipca 2006 przybyła do IŁ delegacja amerykańska z vice Prezesem firmy M/A COM z USA w związku z instalacją VIDY w IŁ. W związku z realizacją tego zlecenia w Zakładzie Z-10 podjęto następujące działania wywiązania się z tego poważnego zadania i zmierzające do zbudowania nowych, kompetencji w zakresie testów QoS głosu: o Firma M/A COM POLAND w ciągu kilku dni zainstalowała elementy Platformy VIDA, uruchomiła oraz skonfigurowała system i jego podstawowe funkcje tj. realizację usług głosowych za pośrednictwem terminali radiowych. o Przedstawiciele dostawcy instalacji testowej Platformy VIDA z firmy M/A COM POLAND przeprowadzili 3-dniowe szkolenie personelu Zakładu Z-10 12

o Po zapoznaniu się z możliwościami instalacji oraz przede wszystkim z życzeniami Zleceniodawcy wyselekcjonowano rodzaj i zakres badań. Zaproponowano badania jakości usługi głosowej oraz badania funkcjonalne i obciążeniowe. Dyrektor Generalny Firmy M/A COM POLAND zaakceptował zaproponowany program badań,modelu Platformy VIDA. o Skoncentrowano się na badaniach jakości usługi głosowej w realizowanych połączeniach grupowych i indywidualnych oraz na testach funkcjonalnych i obciążeniowych. o Przeanalizowano dokumenty normalizacyjne w zakresie QoS usługi głosowej i wybrano obiektywną metodę oceny jakości głosu. Uwzględniając rodzaje i specyfikę zakłóceń występujących w sieciach pakietowych oraz ze względu na najwyższy współczynnik korelacji badań obiektywnych z metodami subiektywnymi MOS (Mean Opinion Score) [12], wybrano metodę PESQ (Perceptual Evaluation Speech Quality) wg. ITU-T P.862 [14]. Więcej informacji na temat tej metody jest w rozdziale 3. o Metoda PESQ jest preferowana w obiektywnej ocenie głosu transmitowanego poprzez sieć z transmisją pakietów. o Dokonano przeglądu wysokospecjalizowanych narzędzi pomiarowych przeznaczonych do analizy jakości i poziomu głosu end-to-end metodą PESQ. o Kontakty z potencjalnymi dostawcami sprzętu polegały na zapoznawaniu się z możliwościami oferowanego sprzętu w zakresie obiektywnego pomiaru jakości głosu metodą PESQ. Podstawowym kryterium było, aby urządzenie do pomiaru jakości głosu realizowało testy zgodnie z Zaleceniem ITU-T P.862[14] oraz wyniki były też podawane w skali MOS-LQ (Mean Opinio Score-Listening Quality). Najlepiej, żeby współpracowało zarówno z terminalami ruchomymi różnych systemów, stacjonarnymi oraz z agentami SIP i H.323. Przegląd ofert niezbędnej do realizacji uzgodnionego programu badań aparatury dotyczył również emulatora zakłóceń sieci oraz generatora ruchu IP. Kilka spotkań z oferentami zostało uwieńczonych bezpłatnymi wypożyczeniami sprzętu pomiarowego na kilka tygodni. Ta żmudna i długotrwała praca (od lipca do października 2006) zaowocowała wykrystalizowaniem się już konkretnych wymagań, co do potrzebnego wyposażenia pomiarowego. Ustalono następujące wymagania na system pomiaru poziomu sygnału i jakości głosu w sieciach telekomunikacyjnych stałych i mobilnych: Urządzenie (system pomiarowy) powinno być przystosowane do pracy w laboratorium, jak również do pomiarów w terenie z synchronizacją urządzeń pomiarowych z sygnałem GPS pozwalającą mierzyć w sposób dokładny opóźnienie czasowe sygnału głosu oraz rejestrować położenie geograficzne, z którego wykonywane są pomiary. Urządzenie (system pomiarowy) powinno być również zdolne do wykonywania pomiarów w poruszającym się pojeździe. 13

Poniżej w tabeli 1 zestawiono szczegółowe wymagania na poszczególne parametry i funkcje urządzenia (systemu) do analizy jakości i poziomu głosu transmitowanego poprzez system telekomunikacyjny: Tabela 1: Wymagania na parametry i funkcje urządzenia (systemu) do pomiaru jakości głosu Parametr/Funkcja Wartość/Opis Interfejsy - POTS; pomiarowe - Handset; - 4-wire balanced; - ISDN BRI; - SIP/H.323. Pomiary Pomiary powinny być możliwe w obu kierunkach pomiędzy następującymi Interfejsami: - HANDSET-HANDSET; - POTS POTS; - POTS HANDSET; - POTS 4-wire BALANCED; - 4-wire BALANCED - 4-wire BALANCED; - HANDSET - 4-wire BALANCED; - POTS/HANDSET/4-wire BALANCED SIP/H.323; - SIP/H.323 SIP/H.323 z udziałem statycznego jitter buffor ; - POTS/HANDSET/4-wire BALANCED ISDN BRI; - ISDN BRI SIP/H.323; - ISDN BRI ISDN BRI. Zarządzanie - lokalne i zdalne poprzez port Ethernet lub RS232; urządzeniem - możliwość kontroli wielu urządzeń z jednego pomiarowym i interfejsu użytkownika (GUI); kontrola pomiarów - możliwość synchronizacji przebiegu testów korzystając z zegara GPS; - możliwość synchronizacji testów w kanale transmisyjnym Pomiar PESQ zgodnie z ITU-T P.862 Opcjonalnie PAMS, PSQM, PSQM+ pomiary Korelacja wyników zgodnie z PESQ LQ ITU-T P.862.1 i zgodnie z PESQ z MOS LQ ITU-T P.862.2 Generacja DTMF generacja pojedynczych znaków i ciągów DTMF Detekcja DTMF i zgodnie z ITU-T Q.24, EIA/TIA-464A pomiar jakości DTMF Pomiar poziomu kalibrowany pomiar poziomu głosu zgodny ITU-T głosu P.56 metoda B Pomiar poziomu dla interfejsu 2- i 4-wire sygnału echa 14

Parametr/Funkcja (ERL) Pomiar one-waydelay/round-tripdelay Prezentacja wyników Generacja sygnałów testowych Poziom szumów własnych Kalibrowany poziom sygnału głosu Zasilanie Wartość/Opis - dla portów handset, POTS i 4-wire z typową dokładnością 1-3 ms; - pomiar przy wykorzystaniu synchronizacji z GPS graficzna i tabularyczna prezentacja wyników dla całej próbki pomiaru, dla każdej części aktywnej sygnału głosu i dla każdej ramki PESQ w postaci plików.wav lub.pcm z ustawianym poziomem sygnałów głosu w dbm zgodnie z ITU-T P.56 metoda B w zakresie -70dBm +10dBm typowy poziom szumów własnych w paśmie akustycznym na poziomie -75dBm lub lepszy możliwość kalibracji urządzenia dla poziomu sygnału głosu zgodnie z ITU-T P.56 metoda B zasilanie 100-230Vac i 9-18Vdc Ustalono także wymagania na urządzenie do emulacji zakłóceń sieci, w tym sieci IP. Emulator zakłóceń powinien symulować rzeczywiste zjawiska charakterystyczne dla sieci IP w postaci zakłóceń takich: jak opóźnienie transmisji, strata pakietów, błędy w transmisji itd. Poniżej w tabeli 2 podano szczegółowe wymagania na poszczególne parametry i funkcje urządzenia do emulacji zakłóceń sieci: Tabela 2: Wymagania na parametry i funkcje urządzenia do emulacji zakłóceń sieci Parametr/Funkcja Interfejsy pomiarowe: Emulacja Filtrowanie Wartość/Opis - dwa interfejsy 10/100/1000 Ethernet - dwukierunkowa i jednokierunkowa emulacja w warstwie 2; - z szybkością 10/100/1000 Ethernet (wire speed); - jednoczesna emulacja, dla co najmniej 32 strumieni dwukierunkowych i 64 jednokierunkowych; - BER; - VLAN; - DiffServ; - IPv6; - IP; - TCP; 15

Statystyki Obsługa pakietów typu jumbo Symulacja - UDP; - tworzenie filtrów użytkownika; - filtowanie pakietów Ethernet - dla strumieni i kierunków emulacji; - detaliczne statystyki dla interfejsów; - rozszerzone buforowanie pakietów z możliwością emulacji pakietów typu jumbo ; - fragmentacja dla ramek typu jumbo rozkład symulacji opóźnienia i utraty pakietów konfigurowalny przez użytkownika Zarządzanie - poprzez dedykowany port Ethernet 10/100 - przy użyciu interfejsu WEB; - przy użyciu Command line interface (CLI) Obudowa: Zasilanie: - 19 do zamontowania w szafie telekomunikacyjnej typu RACK; - 110/220 VAC, 50/60Hz 16

Poniżej podano szczegółowe wymagania na poszczególne parametry i funkcje urządzenia symulującego generację ruchu IP. 1. Interfejsy pomiarowe: o 10/100/1000BASE-T copper, o SFT fiber, o 100BASE-FX 2. Protokoły: IP, IPX, NetBIOS 3. Generacja ruchu: 10/100/1000 Mbit/s Model testowy Platformy VIDA zainstalowany w Instytucie Łączności-PIB, co prawda posiada prawie wszystkie elementy, w jakie jest wyposażona rzeczywista instalacja, lecz zaimplementowana niepełna wersja oprogramowania SAN, stłumiona moc promieniowania stacji bazowej oraz ograniczona liczba terminali radiowych (4 cyfrowe i 2 analogowe pracujące w systemie P25 i 2 telefony systemu TETRA) powodują, że ruch, jaki można jednocześnie wygenerować jest prawie niezauważalny z punktu widzenia wydajności Platformy IP, a i liczba usług realizowanych przez badany model testowy jest znacznie mniejsza niż podane wyżej. Dlatego też, badania dostarczonej przez firmę M/A COM Platformy IP ograniczono do: 1. badań jakościowych grupowych połączeń głosowych, tj. pomiędzy stanowiskami dyspozytorskimi, a użytkownikami zdefiniowanymi w danej grupie, 2. badań jakościowych indywidualnych połączeń głosowych, tj. pomiędzy terminalami ruchomymi, 3. badań obciążeniowych Platformy, 4. badań funkcjonalnych. Udało się przekonać kierownictwo IŁ-PIB, co do celowości wypożyczenia lub kupienia potrzebnej wysokospecjalizowanej aparatury. 29 września zapadła decyzja o zakupie potrzebnych narzędzi tj. 2 analizatorów jakości i poziomu mowy wyposażonych w odbiornik GPS oraz emulatora zakłóceń sieci. W drodze przetargu wyłoniono firmy oferujące wymaganą aparaturę pomiarową. Były to: AVOTEL oferująca System Multi DSLA (2 sztuki wraz z oprogramowaniem) oraz AM Technologies, która oferowała Emulator zakłóceń PacketStorm 1800E. Możliwości pomiarowe tych urządzeń opisuje rozdział 5. Niestety urządzenie Agilent N2620A FrameScope TM Pro, wykorzystywany jako generator ruchu Ethernet, spełniający nasze wymagania był do badań jedynie wypożyczany. o Przeprowadzono szkolenia 5 osób w zakresie obsługi wyżej wymienionej aparatury pomiarowej. o Wykonano badania jakościowe połączeń grupowych i indywidualnych Platformy VIDA według Procedury PIP-J-001 oraz PIP-J-003 (Procedury Badawcze stanowią integralną całość niniejszego Raportu). Wyniki badań znajdują się w Raporcie z badań Platformy VIDA, który przekazano Zleceniodawcy w dniu 22 grudnia 2006.(wyniki badań są własnością Klienta). 17

3 Parametry wpływające na jakość przekazu głosu 3.1 Opóźnienie przekazu pakietów Opóźnienie przekazu pakietów, określane jako czas upływający pomiędzy wysłaniem pierwszego bitu pakietu, a odebraniem ostatniego bitu tego samego pakietu, ma niekorzystny wpływ na jakość połączenia głosowego. Na podstawie badań uznano, że opóźnienie w jednym kierunku (one-way delay), niezauważane przez rozmówców, nie powinno przekraczać 150 ms (zalecenie ITU - T G.114 [8]). Osiągnięcie wartości opóźnienia 250 ms znacząco utrudnia podtrzymywanie rozmowy i powoduje, że rozmowa zaczyna przypominać komunikację naprzemienną (ang. half-duplex). Przy opóźnieniach rzędu 500 ms jakość głosu jest już nie do przyjęcia. Rysunek 5 Wpływ opóźnienia na jakość transmisji mowy Zminimalizowanie opóźnienia jest bardzo istotnym elementem przy wdrażaniu technologii transmisji głosu, szczególnie w przypadku sieci IP, która ma ograniczone możliwości sterowania jakością transmisji. Najistotniejszy wpływ na wielkość opóźnienia mają następujące czynniki: o czas kodowania dźwięku, o czas transmisji (szczególnie w sieciach rozległych), o eliminacja zmienności opóźnienia, o serializacja. 3.2 Utrata pakietów Istotnym parametrem wpływającym na jakość połączenia głosowego w sieci pakietowej jest także zjawisko utraty pakietu. Parametr ten istnieje od początku technologii IP i oznacza niedostarczenie do odbiornika pakietu wysłanego przez nadajnik. Określany jest procentowo jako stosunek utraconych pakietów do pakietów wysłanych. Utrata pakietów podczas transmisji w sieci IP może być spowodowana takimi czynnikami jak: o znaczne obciążenie sieci (np. przepełnienie bufora w węźle pośredniczącym, celowe zniszczenie pakietów przez router w celu rozładowania stanu natłoku); o wystąpienie kolizji w węźle; o przekroczenie dopuszczalnego czasu opóźnienia (pakiet docierający do bufora wyrównującego traktowany jest jako zagubiony i odrzucony); Utrata pakietów staje się postrzegana przy poziomie od 1% do 3%. Gdy wartość utraconych pakietów przekracza 5% wysyłanej porcji informacji, to zauważa się pogorszenie 18

jakości. Szczególnie szkodliwa jest utrata grupowa znacznej ilości pakietów, spowodowana chwilowym przeciążeniem sieci. 3.3 Fluktuacja (jitter) Fluktuacja (jitter) jest parametrem, na który szczególnie wrażliwe są aplikacje czasu rzeczywistego, takie jak np. transmisja głosu, czy sygnału wideo. Parametr ten określany jest jako zakres, w którym zmienia się wartość opóźnienia mierzona dla pakietów należących do tego samego strumienia. Skutki fluktuacji można kompensować stosując tzw. "bufory fluktuacji". Jeśli jednak pakiet ma opóźnienie przekraczające opóźnienia generowane przez bufor fluktuacji, to zostanie on zgubiony. 3.4 Echo Ze względu na opóźnienia charakterystyczne dla sieci IP, występowanie echa jest zjawiskiem negatywnym, degradującym jakość przekazu głosu. Wyróżnia się dwa rodzaje echa: o echo mówcy; o echo słuchacza. Echo mówcy występuje wówczas, gdy część energii sygnału nadawanego w wyniku odbić występujących w sieci, powraca do odbiornika nadawcy. Jest zjawiskiem najczęściej występującym w sieci. Rysunek 6 Echo mówcy Echo słuchacza występuje wówczas, gdy część energii sygnału nadawanego powraca do nadawcy a następnie w wyniku odbić powraca z powrotem do odbiorcy dwukrotnie pokonując tę samą drogę. Jest zjawiskiem rzadziej występującym. Rysunek 7 Echo słuchacza 19

Występowanie w sieci IP echa o obustronnych czasach opóźnienia (round-trip delay) nie przekraczających ok. 30 ms (ITU-T P.800 [10]) jest zjawiskiem powodującym minimalne zakłócanie rozmowy, ponieważ osoba mówiąca nie jest w stanie odróżnić echa od efektu lokalnego. Twierdzi się nawet, że w tych przypadkach występowanie zjawiska echa jest pożądane, gdyż upewnia osobę mówiącą o dobrej słyszalności jego słów. Zjawisko echa o czasach opóźnienia powyżej 32 ms powoduje już dyskomfort w czasie rozmowy, możliwe staje się wówczas rozróżnienie informacji odbitej od informacji nadanej, jak również sygnał echa może nakładać się na informację nadaną z odległego końca. Ocenę subiektywną wpływu echa na jakość przekazu głosu warunkują dwa główne czynniki: amplituda odbitego sygnału oraz jego opóźnienie w stosunku do sygnału źródłowego. Im większy jest poziom echa oraz dłuższe opóźnienie, tym gorzej oceniana jest jakość dźwięku. 3.5 Kodeki Kodek to urządzenie lub program, służące do przekształcania strumienia danych. Umożliwia zarówno kodowanie, jak i dekodowanie danych. Parametrami określającymi właściwości kodeków z punktu widzenia jakości mowy są: o przepływność strumienia bitowego, o opóźnienie, o pasmo kodowanej mowy, o zrozumiałość (np. badana z wykorzystaniem list logatomowych), o jakość sygnału mowy wyrażona w skali MOS. 4 Metody badania jakości mowy transmitowanej Każdy z opisanych w poprzednim rozdziale parametrów wpływa indywidualnie na jakość całego połączenia, dlatego pomiar już jednego z nich jest w pewnym sensie metodą badania jego wpływu na jakość przesyłanej mowy. Ze względu jednak na wzajemne powiązania parametrów, które przedstawia, oraz na ich złożony wpływ na jakość przesyłanej mowy, pomiar tylko jednego z nich staje się niewystarczający. Wymagania stawiane metodom oceny jakości mowy, dotyczące spełnienia warunku uniwersalności (pomiar klasy end-to-end ) oraz ich powtarzalności powoduje, że metody te stały się skomplikowane. Zasadniczo metody badania jakości mowy dzielimy na: o metody subiektywne, o metody obiektywne. Na rysunku poniżej przedstawiono klasyfikację metod oceny jakości mowy 20

Rysunek 8 Klasyfikacja metod badania jakości mowy Ocena jakości mowy metodami subiektywnymi wymaga odsłuchu tej mowy przez słuchaczy w czasie rzeczywistym. Metody obiektywne podzielić można na metody wykorzystujące modele parametryczne (np. E-model) oraz metody wykorzystujące parametryzację sygnału mowy. W zależności od tego, czy w badaniach korzysta się z porównywania sygnałów odniesienia i zdegradowanego, czy jedynie z sygnału badanego i subiektywnej oceny słuchaczy, metody obiektywne dzieli się dodatkowo na metody porównawcze i bezwzględne. 4.1 Metody subiektywne i miary oceny jakości Podstawową miarą jakości połączenia wykorzystywaną w metodach subiektywnych jest opinia użytkowników sieci. Subiektywne pomiary jakości mowy przeprowadza się na reprezentatywnej i przeszkolonej grupie osób w określonych przez wymagania, kontrolowanych i powtarzalnych warunkach. Warunki te powinny być jak najbardziej zbliżone do warunków naturalnych. 21

Testy subiektywne przeprowadza się w następującej konfiguracji: Rysunek 9 Schemat konfiguracji do testów subiektywnych Do najczęściej stosowanych subiektywnych metod badania usługi głosowej należą: 1) ACR ( Absolute Category Rating) metoda bezwzględnej oceny jakości mowy; 2) DCR (Degradation Category Rating) metoda określająca stopień degradacji jakości mowy ; 3) CCR ( Comparision Category Rating) metoda porównawcza oceny jakości mowy; 4) metoda badania wyrazistości logatomowej; 5) metoda double-talk ( Double Talk Tests). 4.1.1 Metoda bezwzględnej oceny jakości mowy ACR Metoda ACR polega na wyznaczeniu bezwzględnej jakości prezentowanych próbek głosu bez zastosowania sygnału odniesienia i na wyznaczeniu parametru MOS (Mean Opinion Score) uśrednionej opinii słuchaczy, która charakteryzuje jakość dźwięku w badanym łańcuchu. Możliwe są dwa warianty metody: o testy konwersacyjne (obustronne połączenie), o testy słuchowe (jednostronne połączenie) Testy konwersacyjne odnoszą się do badań, w których uczestnicy testu prowadzą normalną rozmowę telefoniczną, po której oceniają oni jakość rozmowy w skali od 1 do 5. Badania takie mogą być przeprowadzone zarówno w laboratorium jak i w naturalnych warunkach. Aby badania te były wiarygodne, uczestniczący w badaniach powinni zostać odpowiednio przeszkoleni m. in. powinni zostać zapoznani z różnicami pomiędzy poszczególnymi poziomami jakości dźwięku, urządzeniami oraz kolejnością i przebiegiem badania. Poza tym uczestnicy nie powinni brać udziału w podobnych badaniach przez okres, co najmniej 6 miesięcy, aby nie ulegali żadnym sugestiom z poprzednich badań. W testach powinny brać udział osoby o dobrym słuchu i odpowiedniej dykcji, zarówno kobiety jak i mężczyźni. W celu przeprowadzenia wiarygodnych testów, wymagane jest przygotowanie dwóch odpowiedniej wielkości pomieszczeń przedzielonych ścianą, w których przebywać będą osoby prowadzące rozmowę. Hałas w tych pomieszczeniach nie powinien przekraczać poziomu 35dB(A). Dodatkowo można wprowadzać dźwięki symulujące różne warunki np. dźwięki towarzyszące podczas rozmowy na ruchliwej ulicy. Takie efekty zapewniają zainstalowane w pomieszczeniu głośniki. Drugim wariantem metody, wykorzystującej parametr MOS, są testy słuchowe. Podobnie jak poprzednio, testy te mogą być przeprowadzane zarówno w laboratorium jak i w warunkach rzeczywistych. W badaniu uczestnicy odsłuchują nagraną mowę, po czym oceniają ja w skali od 1 do 5. Nagranie jest rejestrowane i odtwarzane przez wysokiej klasy urządzenia rejestrujące. 22

Nagrania stanowią głosy mężczyzn oraz kobiet odznaczających się dobrą dykcją. Samo nagranie trwa około 20 s a jego treść to 5 krótkich zdań w formie twierdzącej lub pytającej. Warunki laboratoryjne powinny spełniać te same kryteria, co w przypadku testu konwersacji. Jednak w tym badaniu dopuszcza się jednoczesne odsłuchiwanie materiału testowego przez kilka osób. W takim wypadku oczywiście pomieszczenia muszą być odpowiednio większe, a uczestnicy nie powinni się wzajemnie kontaktować. Podczas badania również wprowadza się celowe zniekształcenia w celu porównania wrażeń słuchowych uczestniczących w teście. Metoda ta nie umożliwia oceny takich efektów jak echo, opóźnienia czy efekt lokalny. W obu wariantach uczestnicy korzystają z tej samej skali ocen oraz z tych samych kategorii dotyczących oceny jakości mowy transmitowanej. Tabela 3 Ocena MOS w zależności od kategorii Skala Ocena Bezwzględna ocena Kategoria Wysiłek słuchowy A 5 Doskonała Całkowity relaks Głośność Znacznie głośniej niż potrzeba B 4 Dobra Niewielka uwaga Głośniej niż potrzeba C 3 Dość dobra Umiarkowana uwaga Głośność taka jak potrzeba D 2 Słaba E 1 Zła Znaczny wysiłek słuchowy Brak zrozumienia, duża uwaga Ciszej niż potrzeba Znacznie ciszej niż potrzeba Wartością parametru MOS jest średnia arytmetyczna wszystkich ocen uczestników. Eksperymenty przeprowadza się dla konkretnej kategorii. Aby wyniki można było uznać za wiarygodne, niezbędna jest dostatecznie duża ilość osób biorących udział w badaniu. Jednocześnie często wyniki porównuje się z innymi wynikami przeprowadzanymi w innym laboratorium i przy takich samych warunkach połączenia. Metoda ACR może również posłużyć do określenia zależności pomiędzy uśrednioną opinią słuchaczy a wielkością zniekształceń w transmisji mowy. 23

Rysunek 10 Ocena MOS w zależności od poziomu zniekształceń transmisji Często również wyniki badań prezentuje się za pomocą metody GoB oraz PoW. Jest to udział procentowy użytkowników, którzy ocenili dane połączenie jako dobre lub bardzo dobre GoB (Good or Better) lub ocenili połączenie jako słabe lub złe PoW(Poor or Worse). Również w tym przypadku można zaprezentować zależność tych współczynników od wielkości zniekształceń. Rysunek 11 PoW oraz GoB w zależności od poziomu zniekształceń transmisji Zasadniczą wadą metody ACR jest jej nieczułość na niewielkie zmiany jakości mowy. Ze względu na niewielką skalę, uczestnicy testu nie są w stanie zauważyć niewielkim zmian w jakości. 4.1.2 Metoda określająca stopień degradacji jakości mowy DCR Alternatywą dla metody ACR, która nie dostarcza wystarczającej dokładności w pomiarach, jest metoda DCR. Metodę tę stosuje się do badania niewielkich zmian jakości mowy, tzw. stopnia degradacji mowy. 24

W metodzie tej wykorzystywany jest sygnał odniesienia oraz sygnał, którego jakość chcemy określić. Warunki dla przeprowadzanych testów są identyczne jak w przypadku metody ACR, jedynie w inny sposób prezentowane są próbki głosowe. W badaniu bierze udział przeszkolona grupa słuchaczy, którym prezentuje się próbki dźwięku pojedyncze (A - B) lub zdublowane (A - B A - B). Symbol A oznacza wzorcowa próbkę dźwięku o wysokiej jakości, natomiast symbol B to odpowiednio zdegradowany dźwięk A. Zadaniem słuchaczy jest określenie stopnia zniekształcenia dźwięku B w stosunku do dźwięku odniesienia A. W przypadku prezentacji dźwięków zdublowanych, odstęp pomiędzy nimi powinien wynosić około 1 1,5 s. W testach tych wskazane jest również, aby co jakiś czas nadać pary próbek wzorcowych (A A) w celu sprawdzenia czułości i dokładności odsłuchu. Każda próbka jest oceniana oddzielnie. Otrzymane wyniki pozwalają na wyznaczenie współczynnika DMOS (Degradation Mean Opinion Score) degradacyjnej, uśrednionej opinii słuchaczy. Tabela 4. Stopień degradacji jakości mowy DMOS Skala DMOS Stopień degradacji jakości mowy 5 Niesłyszalna oraz niezauważalna 4 Niesłyszalna, ale odczuwalna 3 Słabo odczuwalna 2 Odczuwalna 1 Wyraźnie odczuwalna Uczestnicy testu mają do dyspozycji 5-cio stopniową skalę DMOS, określającą stopień degradacji (tabela 4).i CMOS (Comparision Mean Opinion Score) poprzez porównawczą, uśrednioną opinię słuchaczy. Ponieważ nadawane próbki dźwięków mają charakter przypadkowy, to może się zdarzyć, że dźwięk badany będzie miał lepszą ocenę od dźwięku odniesienia. Użytkownicy mogą oceniać dźwięki w skali ocen -3 3. Opis skali CMOS przedstawia tabela 5. Tabela 5 Porównanie jakości mowy w skali CMOS Skala CMOS Porównanie jakości mowy 3 Znacznie lepsza 25

2 Lepsza 1 Nieznacznie lepsza 0 Prawie taka sama -1 Nieznacznie gorsza -2 Gorsza -3 Znacznie gorsza 4.1.3 Metoda badania wyrazistości logatomowej Metoda badania wyrazistości logatomowej polega na określeniu procentu prawidłowo odebranych logatomów przez grupę słuchaczy, w stosunku do całkowitej liczby nadanych logatomów przez jednego lektora [147]. Wykorzystuje się układ dwóch aparatów telefonicznych w dwóch odizolowanych względem siebie pomieszczeniach. Poziom hałasu w tych pomieszczeniach powinien wynosić około 35dB(A). Badania mogą być przeprowadzane zarówno w laboratorium jak i w warunkach naturalnych. Badanie to polega na określeniu procentu prawidłowo odczytanych logatomów w stosunku do całkowitej liczby nadanych. Rysunek 12 Ogólna koncepcja metody badania wyrazistości logatomowej Logatomami nazywamy sylaby, które w danym języku są pozbawione jakiegokolwiek sensu i znaczenia (patrz tabela 6). Pomiar polega na przesłaniu przez łącze odpowiedniej liczby logatomów oraz na ich odebraniu przez słuchaczy. Logatomy zebrane w listach (około 100 w jednej) odczytywane są przez lektora z częstotliwością, co 5 sekund jeden. Rolę osoby czytającej może pełnić wysokiej klasy komputer. Osoby słuchające notują odebrane logatomy na specjalnym kwestionariuszu. Zapisane kwestionariusze przekazywane są grupie ekspertów, którzy sprawdzają i określają liczbę prawidłowo odczytanych logatomów. Na tej podstawie określa się współczynnik średniej wyrazistości logatomowej ze wzoru: L W n, k NK n= 1 k = 1 gdzie: N - ilość słuchaczy biorących udział w badaniu; K - liczba odczytanych list logatomów; W = 1 N K 26

W n,k - wyrazistość logatomowa dla k-tej listy i n-tego słuchacza. Jest to wyrażony w procentach stosunek liczby prawidłowo zapisanych logatomów do liczby logatomów odebranych. Grupa uczestników testu musi przejść odpowiednie szkolenie oraz przed rozpoczęciem właściwych badań sesję treningową. Do sesji treningowej używa się co najmniej dwóch 100- logatomowych list. W badaniu powinny brać udział osoby o prawidłowym słuchu. Dla wiarygodności badania ważna jest zarówno ilość uczestników testu jak również ilość list logatomowych. Badanie przeprowadza się w kilku sesjach, a odstęp pomiędzy nimi powinien być nie krótszy niż 1 doba i nie dłuższy niż 3 dni. Wszystkie powyższe warunki sprawiają, że metoda ta jest wyjątkowo czaso- i -pracochłonna oraz wymaga wysokich nakładów pieniężnych. Ze względu na to, że wysoka zrozumiałość mowy transmitowanej nie musi świadczyć o jej wysokiej jakości, ta jest niewystarczająca do oceny jakości mowy w łączu telekomunikacyjnym. Tabela 6 Przykładowa lista 50 logatomów uso Zdeń paszen Sia tet wiołnko Źłeto Chu Szłeniek ruły sze Manc jeszty Wązmiś szy speszy Winildzip Ny Re stryżma Lo Reżga kade Pokram ofkat puta Nio Miu Zo mo znodyl Tol wynio Jał bifo Ną Resie zjuncza Wisa cnanie zeno Łi Ła Pe kia miocza Dziżo duskać Jontla bys 4.1.4 Metoda Double Talk Metoda ta pozwala na badanie jakości mowy transmitowanej podczas jednoczesnej rozmowy dwóch osób. Warunki, w których przeprowadza się testy, są identyczne jak w w/w. metodach. W metodzie double talk bierze udział grupa przeszkolonych osób, podzielona na dwuosobowe zespoły. W badaniu jedna osoba mówi w sposób ciągły, natomiast drugi rozmówca przerywa co jakiś czas. Takie testy pozwalają na ocenę poszczególnych parametrów transmisji mowy podczas rozmowy ciągłej dwóch osób. Ocena ta jest dokonywana zarówno przez osobę mówiącą w sposób ciągły jak i przez osobę przerywającą. Najważniejsze parametry, które można dzięki tej metodzie przeanalizować, zawiera Tabela 7. 27

Tabela 7 Parametry analizowane podczas testu Double Talk Rozmówca mówiący w sposób ciągły Rozmówca przerywający Zdolność do równoczesnego mówienia Zupełność transmisji mowy Głośność podczas równoczesnego mówienia Echo Zmiana echa, podczas gdy mówi jedna osoba oraz podczas równoczesnego mówienia Jakość dźwięku Zmiana głośności, podczas gdy mówi jedna osoba oraz podczas równoczesnego mówienia Jakość dźwięku, podczas gdy mówi jedna osoba oraz podczas równoczesnego mówienia 4.1.5 Ankietyzacja wg ITU-E.125 W Europie operatorzy telekomunikacyjni, aby uzyskać opinie użytkowników o jakości usług głosowych realizowanych przez ich sieci, proszą swoich klientów o wypełnienie anonimowych ankiet. Ankieta znajduje się w Zaleceniu ITU-E.125 [17]. 4.2 Metody obiektywne W przeciwieństwie do metod subiektywnych, metody obiektywne są tanie, a ich największą zaletą jest prostota. Przede wszystkim nie pochłaniają tyle czasu, ponieważ nie wymagają wcześniejszych przygotowań, szkoleń ani zaangażowania dużej liczby osób. Cechą charakterystyczną tych metod jest wyznaczenie różnicy, według przyjętych kryteriów, między wartością wybranego lub wybranych parametrów sygnału wzorcowego (odniesienia) i sygnału zdegradowanego (przesłanego przez system) oraz ocena tej różnicy w mierze subiektywnej. Ogólna koncepcja szacowania jakości mowy została zaproponowana przez Karjalainena [142] w 1985 roku. 28

Rysunek 13 Ogólna koncepcja metody porównawczej szacowania jakości mowy Do najczęściej wykorzystywanych obiektywnych metod porównawczych należą: 1) Metoda PSQM ( Psycho-Acoustic Speech Quality Measure) 2) Metoda PAMS ( Perceptual Analysis Measurement System) 3) Metoda PESQ ( Perceptual Evaluation of Speech Quality) 4.2.1 Metoda porównawcza PSQM W latach 1993-1996 organizacja ITU podjęła prace na oceną istniejących obiektywnych metod badania jakości mowy z punktu widzenia ich korelacji z subiektywną percepcją ludzką. Najwyższą ocenę uzyskała metoda PSQM (Perceptual Speech Quality Measure) opracowana przez zespól w składzie J. G. Beerend i J. A. Stemerdink z instytutu KPN Reserarch w Holandii [143]. W konsekwencji metoda ta została zatwierdzona przez ITU i opublikowana jako Zalecenie P.861 w 1996 r.[12] Metoda PSQM służy do badania jakości układów kodowania/dekodowania sygnałów mowy przeznaczonych do pracy w paśmie telefonicznym 300 3400 Hz. Opis metody zawarto w zaleceniu ITU-T P.861 [12]. W swej koncepcji polega na porównywaniu wzorcowego sygnału wejściowego x[t] z wyjściowym sygnałem y[t] zdegradowanym po przejściu przez badany układ- Rysunek 14. Sformatowano: Kolor czcionki: Czerwony Rysunek 14 Koncepcja pomiaru jakości transmisji sygnału mowy metodą PSQM W związku z tym, że percepcja sygnału mowy jest zróżnicowana w zależności od jego częstotliwości i mocy metoda ta zamienia, poprzez serię procesów przekształcających zdegradowany sygnał wyjściowy y[t] oraz wejściowy sygnał odniesienia x[t] na wewnętrzną reprezentację psychofizyczną w następujący sposób: - odwzorowanie czasowo-częstotliwościowe sygnału, - przeskalowanie częstotliwości, - przeskalowanie poziomu natężenia dźwięku 29

1. Odwzorowanie czasowo-częstotliwościowe sygnału Operacja ta jest realizowana za pomocą ramkowania sygnału oknem Hanninga o czasie trwania 32 ms (N=256 próbek przy częstotliwości sygnału 8 khz), z którego wyliczana jest N-punktowa porównawcza krótkookresowa dyskretna transformata Fouriera, a na jej podstawie krótkookresowa moc odwzorowywanego sygnału. 2. Przeskalowanie częstotliwości sygnału Przeskalowanie częstotliwości sygnału jest realizowane poprzez filtrację za pomocą filtrów barkowych. Do sygnału dodawany jest szum Hotha modelujący zakłócanie sygnału szumami z otoczenia docierającymi do mikrofonu słuchawki telefonu. 3. Przeskalowanie poziomu natężenia głosu W celu uwzględnienia subiektywnego odczucia głośności i jego nieliniowego charakteru w funkcji częstotliwości, następuje przeskalowanie poziomu natężenia głosu w decybelach na poziom głośności wyrażany w fonach, a następnie wyrażenie tej głośności w skali sonowej. 4. Określenie stopnia degradacji sygnału mowy Na podstawie różnic w wewnętrznej reprezentacji obu sygnałów określony jest stopień degradacji sygnału mowy, której miarą jakości jest wskaźnik PSQM, który przyjmuje wartości w skali od 0 (brak zniekształceń jakość doskonała) do 6,5 (jakość najgorsza). 5. Przekształcenie wskaźnika PSQM na subiektywną miarę MOS. Rysunek 15 przedstawia zasadę działania metody PSQM w postaci schematu blokowego. Rysunek 15 Schemat blokowy zasady działania metody PSQM Jako wejściowy sygnał odniesienia wykorzystywana jest sztuczna mowa opisana w zaleceniu ITU-T P.50[1]. Ze względu na to, iż metoda ta jest wrażliwa na używany język, testy należy przeprowadzić zarówno dla mowy męskiej jak i żeńskiej. Metoda PSQM jest wiarygodna przy badaniu próbek głosu przetworzonych przez następujące elementy sieci: o kodeki kształtu fali (kodeki typu G.711, G.726); o kodeki hybrydowe o przepływności powyżej 4 kbps (kodeki typu G.729a, G.723.1 o szybkości 5,3 i 6,3 oraz kodek G.728); o kodeki o zmiennych przepływnościach informacyjnych; 30

o transkodery (konwersja z jednej postaci cyfrowej na inną). Metody PSQM nie należy stosować przy określaniu wpływu następujących czynników sieci: o opóźnienia; o fluktuacji opóźnienia (jitter); o wzmocnienia/stłumienia sygnału; o jednoczesnego mówienia przez wiele osób; o niedopasowania szybkości bitowej pomiędzy koderem i dekoderem; o szum tła; o muzyki jako sygnału wejściowego; o kodeki hybrydowe o przepływności mniejszej niż 4 kbps; 4.2.2 Metoda porównawcza PSQM + W związku z dynamicznym rozwojem sieci NGN wzrosło zapotrzebowanie na tanie metody badania jakości mowy przesyłanej przez sieć. Metoda PSQM, jako łatwa i tania w realizacji, uzyskała akceptację. Stała się popularna nie tylko przy badaniach jakości mowy dla poszczególnych kodeków, ale nastąpiły również próby adaptacji tej metody do badania jakości mowy przesyłanej przez sieć, w tym również sieci IP. W tym przypadku główną wadą metody PSQM stało się nieuwzględnienie wpływu utraty pakietów na jakość przesyłanej mowy. Uwzględniając tę niedogodność, J.G. Beerend, E.J. Mejer i A.P. ekstra opracowali rozszerzony model PSQM. Model ten, po akceptacji ITU Study Group 12 został opublikowany w 1997 r. jako COM 12-24-E [13]. Model ten uzyskał nazwę PSQM+ i stał się preferowaną metodą badania jakości mowy w otoczeniu sieciowym. 4.2.3 Metoda porównawcza PAMS Metoda PAMS ( Perceptual Analysis Measurement System) opracowana została przez zespół PsyTechnics utworzony przez British Telecommunications. Metoda PAMS w wielu aspektach podobna jest do metody PSQM, proponuje jednak inną technikę przetwarzania sygnałów oraz inny model percepcyjny. Rysunek 16 przedstawia poszczególne bloki funkcjonalne, wchodzące w skład układu do pomiaru jakości mowy za pomocą metody PAMS. Wyniki otrzymane metodą PAMS zawierają się w przedziale od 0 do 5 i korelują ze skalą MOS. W szczególności metoda PAMS dostarcza wyniki jakości odsłuchu (Listening Quality Score) oraz wyniki wysiłku wkładanego w zrozumiałość (Listening Effort Score), które odpowiadają skali oceny, stosowanej w metodzie bezwzględnej oceny jakości mowy MOS. 31