Usługi i sieci teleinformatyczne następnej generacji aspekty techniczne, aplikacyjne i rynkowe C/D.5

Tytuł raportu: Implementacja narzędzi do subiektywnej oceny jakości sygnałów audio i wideo w systemie IP QoS - część I i II Numer Projektu Badawczego Zamawianego: -MNiSW-2-II/27 Tytuł projektu: Usługi i sieci teleinformatyczne następnej generacji aspekty techniczne, aplikacyjne i rynkowe Numer dokumentu: -MNiSW-2-II/27/WUT/A.2 Raport z realizacji zadania badawczego: C/D.5 audio i wideo w systemie IP QoS - część I i II Przewidywany termin dostarczenia raportu: 1/1/1 Rzeczywisty termin dostarczenia raportu: 14/1/1 Kierownik zadania: P. Dymarski, M. Golański, S. Kula, G. Szmyd, M. Go- Wykonawcy: ra, A.Sadowska Sławomir Kula Abstrakt: W pracy opisano narzędzia do subiektywnej i obiektywnej oceny jakości sygnałów audio i wideo. Opisano stanowisko pomiarowe do badania jakości wybranych aplikacji: Vo- IP, VoD i gry interaktywnej. Przedstawiono wstępne wyniki badań wykonanych metodą subiektywną, głównie dla strumieniowania wideo. Przetestowano równieŝ kilka metryk jakościowych o charakterze obiektywnym. Słowa kluczowe: metody subiektywne, metody obiektywne, audio, wideo, MOS, VoIP, VoD.

Streszczenie W raporcie przedstawiono narzędzia do badań obiektywnych i subiektywnych jakości sygnałów audio i wideo przesyłanych w sieci pakietowej. Podano konfigurację stanowiska badawczego, niezbędnego do przeprowadzenia testów jakościowych wybranych wybranych aplikacji: VoIP, VoD i gry interaktywnej. Wykonano eksperymenty sprawdzające poprawność przyjętych metod testowania. Przedstawiono równieŝ wstępne wyniki dla strumieniowania wideo. Zbadano wpływ kluczowych parametrów łącza telekomunikacyjnego, jak stopa błędów binarnych, stopa utraconych pakietów, jitter opóźnienia pakietów, przepływność binarna na jakość sekwencji wideo. Badano teŝ związek wybranych metryk, stosowanych w obiektywnej analizie jakości z wartością MOS, otrzymaną w wyniku badań subiektywnych. 2 Page 2 of 36

Spis treści STRESZCZENIE... 2 1 WPROWADZENIE... 5 1.1 WNIOSKI Z ETAPU B5... 5 1.2 PRACE PROWADZONE W RAMACH ETAPÓW C5 I D5... 5 2 ŚRODOWISKO POMIAROWE... 7 2.1 SERWER ZE STACJAMI KLIENCKIMI... 7 2.2 OPROGRAMOWANIE SERWERA... 8 Emulatory sieci... 8 Testowanie poprawności emulacji... 9 2.3 OPROGRAMOWANIE STACJI KLIENCKICH... 11 Voice over IP... 11 Videostreaming... 14 Gra interaktywna... 14 2.4 STANOWISKA DO BADAŃ SUBIEKTYWNYCH... 14 3 NARZĘDZIA DO BADANIA JAKOŚCI I WSTĘPNE TESTY... 16 3.1 STRUMIENIOWANIE WIDEO... 16 Metody obiektywne... 16 Metody subiektywne... 17 Testowane sekwencje wideo... 17 Wyniki przeprowadzonych badań... 2 Badania uzupełniające... 28 Ocena jakości w oparciu o analizę strumienia binarnego... 28 3.2 TELEFONIA INTERNETOWA VOIP... 29 4 PODSUMOWANIE... 33 LITERATURA... 35 3 Page 3 of 36

LISTA SKRÓTÓW... 36 4 Page 4 of 36

1 Wprowadzenie 1.1 Wnioski z etapu B5 Do oceny jakości sygnałów audio proponuje się stosowanie obiektywnych metod typu intruzyjnego, które opierają się na porównaniu sygnału przetworzonego z oryginałem. Tego typu metody cechuje większa dokładność niŝ metody nieintruzyjne, niewymagające znajomości oryginału. W zakresie badania jakości mowy telefonicznej (pasmo 34Hz i pasmo 7kHz) proponuje się uŝycie algorytmu PESQ, znormalizowanego przez ITU-T (P.862). W szczególnych przypadkach przewiduje się kalibrację tej metody z wykorzystaniem metod subiektywnych, opartych na badaniach odsłuchowych (metoda ACR). W przypadku szerokopasmowego sygnału audio (pasmo 16kHz lub 22kHz) do oszacowania jakości zaproponowano algorytm PEAQ, objęty zaleceniem ITU-R (BS.1387). W końcu 28r ITU-T opublikowała Zalecenie J.247 [9], w którym wskazano 4 algorytmy obiektywnej oceny jakości sygnału wideo. Oprogramowanie nie jest jednak powszechnie dostępne, a jego twórcy (NTT, Opticom, Psytechnics i Yonsei University), jeśli w ogóle je udostępniają, to za wysoką odpłatnością. Osobnym problemem jest synchronizacja strumienia wideo z towarzyszącym dźwiękiem. Utratę synchronizacji łatwiej jest stwierdzić metodami pośrednimi (śledzenie odpowiednich pakietów) niŝ drogą bezpośredniej obserwacji składowych audio i wideo przekazu multimedialnego. Z tego powodu, a takŝe z powodu niedostępności odpowiedniego oprogramowania, jako podstawową metodę oceny jakości sygnału wideo z dźwiękiem proponuje się przyjąć metodę subiektywną DCR, a metody obiektywne traktować jako uzupełniające. Do konstruowania i testowania systemu ewaluacji jakości aplikacji (VoIP, VoD, gra) niezbędny jest testbed, zapewniający moŝliwość implementacji w/w. aplikacji, a takŝe emulację sieci z transmisją pakietów. Dopiero w końcowych etapach pracy system będzie współpracował z siecią Diffserv. W etapie B5 projektu dokonano zakupu odpowiedniego serwera i 2 stacji roboczych, wchodzących w skład omawianego testbedu. Przetestowano szereg aplikacji typu VoIP (telefony internetowe, typu softphones) i VoD (streamery wideo) i dokonano wyboru odpowiednich produktów. Wstępnie zainstalowano prosty symulator sieci pakietowej (netem) na zakupionym w tym celu serwerze. 1.2 Prace prowadzone w ramach etapów C5 i D5 Prace rozpoczęto od stworzenia odpowiedniego środowiska dla przeprowadzenia badań sygnału audio i wideo metodami subiektywnymi i obiektywnymi. Zgromadzono sprzęt, przygotowano odpowiednie pomieszczenie i stanowiska niezbędne do przeprowadzenia badań subiektywnych. Na zakupionym serwerze zainstalowano symulator sieci (Netem, a takŝe bardziej przyjazną dla uŝytkownika jego wersję o nazwie WANem). Wybrano oprogra- 5 Page 5 of 36

mowanie stacji klienckich dla trzech wyselekcjonowanych aplikacji: VoIP, wideostreaming i gra interaktywna. Prace te opisano w części 2 niniejszego raportu. Zgromadzono oprogramowanie dla obiektywnego pomiaru jakości mowy i strumienia wideo oraz sprawdzono poprawność jego działania. Określono warunki przeprowadzania pomiarów obiektywnych. Przetestowano oprogramowanie aplikacji i jego współpracę z oprogramowaniem do badania jakości. Prace te opisano w części 3 raportu Celem dalszych prac było wstępne zbadanie wpływu takich parametrów sieci jak jitter opóźnienia pakietów, utrata pakietów, bitowa stopa błędów, czy wreszcie zmniejszenie przepustowości kanału transmisyjnego na postrzeganą przez widza jakość sekwencji wideo, tzw. jakość percepcyjną. Przeprowadzono badania subiektywne i obiektywne wykorzystując do tego kilka metryk. Wyniki badań (część 3 raportu) pozwoliły wstępnie określić wymagania, jakie powinny spełniać parametry sieci by odbierany sygnał wideo miał Ŝądaną przez odbiorcę jakość. 6 Page 6 of 36

2 Środowisko pomiarowe 2.1 Serwer ze stacjami klienckimi Urządzenia wykorzystane do budowy stanowiska pomiarowego to komputery z zainstalowanym oprogramowaniem do łączności typu VoIP i do strumieniowania wideo oraz serwer. Jako stacje klienckie wykorzystano komputery typu notebook wyposaŝone w interfejs sieciowy oraz kartę dźwiękową z moŝliwością podłączenia zestawu mikrofon/słuchawki. W celu zapewnienia jednorodności warunków pomiarowych wybrano dwa notebooki ASUS G1S o takiej samej konfiguracji sprzętowej. Rolę systemu emulującego działanie sieci TCP/IP pełni serwer HP klasy Entry Level rozbudowany dodatkowo o 5 interfejsów sieciowych, co pozwala na połączenie 5 podsieci IP z niezaleŝną symulacją warunków transmisji dla kaŝdej z nich. MoŜliwe jest równieŝ symulowanie łącza niesymetrycznego w przypadku komunikacji pomiędzy dwoma wybranymi podsieciami IP. Dzięki takiej architekturze serwer moŝe być skonfigurowany zarówno jako router, symulując zjawiska związane z przetwarzaniem pakietów w węźle sieci lub jako bridge, stając się tym samym elementem transparentnie spinającym stacje klienckie. NiezaleŜnie od trybu pracy moŝliwe jest symulowanie szeregu zjawisk typu opóźnienia, utrata pakietów czy ograniczone pasmo transmisji. W celu przeprowadzenia pomiarów zestawiono stanowisko pomiarowe przedstawione na rys. 2-1. Stacja robocza 1 Stacja robocza 2 Rysunek 2-1: Konfiguracja stanowiska pomiarowego 7 Page 7 of 36

Na rysunku przedstawione jest równieŝ rozłoŝenie interfejsów eth w tylnej części serwera, oraz ich numeracja (eth oraz eth1). Prawidłowe podłączenie jest konieczne w celu prawidłowej konfiguracji wykorzystywanego serwera jako routera strumienia danych od nadawcy do odbiorcy. NaleŜy zauwaŝyć, iŝ dowolna inna konfiguracja interfejsów eth oraz adresów IP jest moŝliwa. Ponadto moŝliwe jest odwrócenie ról nadawcy oraz odbiorcy (w aplikacji VLC). Zmiana adresów IP, bądź portów wymagałaby jednak zmian pliku konfiguracyjnego na serwerze. Obecnie ustawienia są następujące: ifconfig eth 1...1 netmask 255.255.255. ifconfig eth1 1..1.1 netmask 255.255.255. #route add net 1... netmask 255.255.255. dev eth #route add net 1..1. netmask 255.255.255. dev eth1 Zgodnie z rysunkiem 2-1 na stacji roboczej 1 naleŝy skonfigurować połączenie sieciowe o następujących parametrach: Adres IP: 1...2 Maska podsieci: 255.255.255. Brama domyślna: 1...1 Natomiast na stacji roboczej 2, parametry połączenia sieciowego naleŝy ustawić następująco: Adres IP: 1..1.2 Maska podsieci: 255.255.255. Brama domyślna: 1..1.1 2.2 Oprogramowanie serwera Emulatory sieci Centrum architektury stanowiska pomiarowego stanowi serwer z zainstalowanym pakietem symulacyjnym WANem (http://wanem.sourceforge.net). Aplikacja ta została przygotowana wraz z systemem operacyjnym Linux jako samodzielna dystrybucja w postaci płyty CD. Dzięki takiemu podejściu, wszystkie parametry konfiguracyjne systemu operacyjnego oraz oprogramowania zostały zoptymalizowane pod względem pełnienia funkcji symulatora. Za- 8 Page 8 of 36

rządzanie aplikacją odbywa się za pomocą przeglądarki internetowej. WANem umoŝliwia zmianę takich parametrów ruchu TCP/IP jak: (a) dostępne pasmo, (b) opóźnienia transmisji, (c) straty pakietów. Dodatkowo pozwala na symulowanie błędów grupowych. Ciekawymi funkcjami są moŝliwość wprowadzania duplikatów pakietów, zmiany kolejności ich transmisji oraz dodawania błędów na poziomie ramki. Szerszy opis algorytmów wykorzystanych w symulatorze wykracza poza zakres niniejszego raportu (patrz WANem 1.1, Wide Area Network Emulator, User Guide : http://easynews.dl.sourceforge.net/sourceforge/wanem/wanemv11-user-guide.pdf). Pakiet WANem wykorzystuje popularny emulator sieci Netem, obecnie włączany do oprogramowania systemu operacyjnego Linux (http://www.linuxfoundation.org/en/net:netem). Posługiwanie się systemem WANem jest łatwiejsze, jednak w zasadzie pakiet ten nie oferuje większych moŝliwości niŝ Netem. W chwili obecnej wykorzystywane są oba pakiety. Sieć pomiarowa w kształcie zaprezentowanym powyŝej stwarza warunki powtarzalności eksperymentu co gwarantuje moŝliwość precyzyjnego porównania kolejnych pomiarów w zmieniających warunkach pracy sieci TCP/IP. Metodologia przeprowadzania pomiarów cechuje się łatwością przygotowania gotowych scenariuszy. Dzięki moŝliwości zapisywania ustawień parametrów sieci w aplikacji WA- Nem, moŝna opracować poŝądane warunki doświadczenia. Kolejną właściwością jest proste przygotowywanie pomiarów seryjnych np. powtarzanie eksperymentu przy takiej samej wartości opóźnienia dla transmisji, badając za kaŝdym razem inny kodek protokołu VoIP. Cechą, o której warto takŝe wspomnieć jest sterowanie aplikacjami za pomocą wykonywalnych skryptów co pozwala na automatyzację pomiarów np. wystarczy zbadać jakość transmisji dla kolejno uzyskanych plików wynikowych (zawierających rezultaty) bez konieczności Ŝmudnego powtarzanie eksperymentu z ręcznie wprowadzanymi parametrami. Zaproponowana architektura stanowiska pomiarowego została przygotowana pod kątem moŝliwości łatwej rozbudowy lub/i wymiany serwera symulacyjnego (np. na ns-2). Jednak zgodnie z załoŝeniami projektu przewidywana jest zamiana serwera symulacyjnego na szkielet typu DiffServ z moŝliwością świadczenia usług z gwarancją jakości QoS. Testowanie poprawności emulacji Netem (a co za tym idzie, WANem) jest w stanie gubić pakiety (zadaje się wartość PLR oraz korelację zdarzeń polegających na utracie pakietu), uszkadzać ich zawartość (podaje się stopę uszkodzonych pakietów), opóźniać pakiety (podaje się wartość średnią opóźnienia, jitter, korelację wartości jittera), oraz je powielać. Poprawność emulacji moŝna w pewnym zakresie przetestować, wykorzystując komendę ping. Zakłócanie transmisji moŝe być jednokierunkowe lub dwukierunkowe (np. ustawienie niezerowej wartości PLR dla interfejsu eth1 oznacza utratę niektórych pakietów biegnących ze stacji roboczej 1 do stacji 2). 9 Page 9 of 36

Seria testów zasadniczo potwierdziła poprawność emulacji, pojawiły się jednak dwa problemy: Jitter opóźnienia jest przyczyną zmiany kolejności odbieranych pakietów, co nie powinno wystąpić w docelowej sieci DiffServ. W instrukcji emulatora [14] przewidziano moŝliwość odejścia od kolejki tfifo określonej w dziedzinie czasu do kolejki pfifo określonej w strumieniu pakietów. Innym rozwiązaniem jest zmniejszenie częstości zmian opóźnienia i utrzymywanie stałego opóźnienia w określonych szczelinach czasowych. W przypadku wprowadzenia niezerowej wartości korelacji utraconych pakietów, spada stopa utraty pakietów (PLR). Jak się okazało, jest to błąd oprogramowania pakietu Netem, przejęty zresztą przez WANem. Sterowanie procesem tracenia pakietów odbywa się poprzez badanie wartości zmiennej losowej X o rozkładzie równomiernym w przedziale [,1]. Gdy n-ta realizacja tej zmiennej, x n, spełnia warunek x n < PLR, wówczas n-ty pakiet jest tracony. W przypadku wprowadzenia korelacji utraty pakietów o wartości α, zamiast zmiennej X badana jest wartość zmiennej Y, obliczana wg wzoru: y = α y + (1 ) x Rów. 2-1 n n 1 α n Uzyskuje się w ten sposób Ŝądaną wartość autokorelacji procesu y n, równą α. Twórcy oprogramowania nie wzięli jednak pod uwagę, Ŝe gęstość prawdopodobieństwa p(y) nie jest równomierna, jak to było dla x. W tej sytuacji warunek y n < PLR jest spełniony ze znacznie mniejszym od PLR prawdopodobieństwem. Stąd spadek liczby utraconych pakietów dla α>. Aby naprawić ten błąd, naleŝy zmodyfikować warunek, przy spełnieniu którego pakiet byłby tracony. Miałby on teraz postać: y n < f ( α, PLR) Rów. 2-2 Wartość funkcji f dla α>, powinna być większa od PLR. MoŜna ją obliczyć, jeśli wyznaczy się gęstość prawdopodobieństwa dla y n. Ze wzoru 2-1 wynika, Ŝe y n 2 [ x + α x + α x + ] = ( 1 α) n n 1 n 2 Rów. 2-3 Zmienne x n są nieskorelowane, a więc gęstość prawdopodobieństwa dla y n jest splotem gęstości prawdopodobieństwa zmiennych (1-α)x n, (1-α)αx n-1, Do obliczeń wystarczy wziąć skończoną liczbę składników, gdyŝ ciąg gęstości prawdopodobieństwa zbliŝa się do impulsu Diraca. Na rys. 2-2 pokazano przykładową gęstość prawdopodobieństwa dla α=.6. Aby w emulatorze Netem (lub WANem) otrzymać PLR=.1, naleŝy w warunku 2-2 podstawić f=.35. Dla otrzymania PLR=.1, naleŝy podstawić f=.12. Wartości te zweryfikowano z wykorzystaniem instrukcji ping. 1 Page 1 of 36

Rysunek 2-2: Gęstość prawdopodobieństwa y n, gdy α=.6 (skala osi x rozciągnięta 1x) 2.3 Oprogramowanie stacji klienckich Stacje klienckie mogą pracować zarówno pod kontrolą systemu operacyjnego Linux jak i Microsoft Windowa Vista (w chwili obecnej wykorzystuje się tę drugą opcję). Voice over IP W skład środowiska testowego wykorzystywanego na PC (symulujacego odbiorcę bądź teŝ nadawcę) wchodzi aplikacja VoIP owa, którą jest Ekiga 3.2.6 (dla Windows), wirtualny kabel audio (Virtual Audio Cable 4.9) stworzony przez Eugene V. Muzychenko oraz urządzenie nagrywające i odtwarzające sygnały audio (np. Audacity v 1.2.6). W naszym przypadku sygnał odtwarzany w Audacity przesyłany jest przy pomocy wirtualnego kabla audio do aplikajci Ekiga, która to przekazuje go do karty dźwiękowej komputera. Ta po obróbce przesyła go do sieci, skąd trafia do karty dźwiękowej odbiorcy i dalej przekazywana jest do aplikacji Ekiga. Następnie aplikacja odebraną próbkę przekazuje poprzez wirtualny kabel do urządzenia nagrywającego Audacity. Drogę przebytą przez sygnał w uproszczeniu przedstawia poniŝszy schemat: 11 Page 11 of 36

NADAWCA ODBIORCA Rysunek 2-3: Uproszczony schemat przesyłania i rejestracji sygnału akustycznego Program Ekiga jest bogatym w funkcje programem VoIP, telefonii internetowej oraz wideokonferencji kompatybilnym z protokołami SIP oraz H.323. UmoŜliwia wykonywanie połączeń dźwiękowych i wideo do uŝytkowników z oprogramowaniem lub sprzętem zgodnym z SIP (np. Windows Messenger, Gizmo) lub H.323 (np. Microsoft NetMeeting). Aplikacja ta obsługuje wiele koderów mowy i wideo. Pierwotnie przeznaczona była dla środowiska Linux, dziś dostępna równieŝ w wersji dla Windows. Wcześniej znana była pod nazwą GnomeMeeting. Ekiga ma ogromne moŝliwości jeśli chodzi o zarządzania kontami, kontaktami oraz ksiąŝką adresową, ale głównym powodem wyboru tego urządzenia do badań nad QoS, była ilość oferowanych przez nią kodeków audio. Program Ekiga umoŝliwia wybór następujących konfiguracji kodeków: Tabela 2-1: Kodery audio obsługiwane przez softphone Ekiga Lp. Kodek Częstotliwość próbkowania [khz] Wspierane protokoły 1. PCMA 8 H.323, SIP 2. PCMU 8 H.323, SIP 3. Speex 8 H.323, SIP 4. Speex 16 H.323, SIP 5. ilbc 8 H.323, SIP 6. gsm 8 H.323, SIP 7. ms-gsm 8 H.323 8. G722 16 H.323, SIP 9. G726-16 8 H.323, SIP 1. G726-24 8 H.323, SIP 11. G726-32 8 H.323, SIP 12. G726-4 8 H.323, SIP 12 Page 12 of 36

Krótka charakterystyka kodeków: G.711 a dokładniej zalecenie ITU-T G.711, międzynarodowy standard modulacji sygnału mowy. Sygnał mowy próbkowany jest z częstotliwością 8kHz, dwa razy większą od maksymalnej częstotliwości sygnału kodowanego do 4kHz. Przy takiej częstotliwości próbkowania i kodowaniu kaŝdej próbki 8 bitami otrzymujemy sygnał wyjściowy o przepływności 64 kbit/s. Stosowane są dwie odmiany tego kodeka: Europejska (PCMA), stosująca algorytm A-law, i Amerykańska (PCMU), uŝywająca algorytmu µ-law. Speex darmowy koder mowy przeznaczony raczej do telefonii VoIP i zapisu do pliku, niŝ do telefonii komórkowej. Oparty jest na algorytmie CELP i przystosowany jest do pracy na przepływnościach od 2 do 44 kbit/s. Był projektowany z myślą o VoIP, dlatego teŝ posiada redukcję efektu utraty pakietów, nie koniecznie jednak odporny jest na pakiety zniszczone. W aplikacji Ekiga mamy moŝliwość korzystania z przepływności 16 i 8 khz. Speex wykorzystuje równieŝ zmienną przepływność (VBR) aby zachować stałą jakość - oznacza to, iŝ ilość danych wyjściowych uzaleŝnia od złoŝoności danych wejściowych. ilbc (Internet Low Bit Rate Codec)- koder mowy dostosowany do transmisji o niskiej przepływności i częstotliwości próbkowania 8kHz. Posiada on stałą długość ramki i stałą przepływność, dla ramek o długości 3 ms przepływność wynosi 13,33kbit/s, a dla 2 ms 15,2 kbit/s. Jest koderem odpornym na utraty pakietów i ich opóźnienia, w związku z tym bardzo dobrze nadaje się do sieci pakietowych. Gsm kodery stosowane w telefonii GSM (Global System for Mobile Communications). Istnieją cztery róŝne rodzaje tego standardu: z pełną szybkościa 12.2 kbit/s (FR-Full Rate), z szybkością połowiczną (HR-Half Rate), ulepszony z pełną szybkością (EFR-Enhanced Full Rate) oraz o zmiennej przepływności (AMR Adaptive Multi Rate). G.722 standard ITU-T, oparty na SB-ADPCM (Sub-Band Adaptive Differential Pulse Code Modulation), oferuje niski poziom kompresji. Charakteryzuje się częstotliwością próbkowania 16 khz, dzięki czemu uzyskuje wysoką jakość zakodowanej mowy. G.726 kodery wykorzystujące metodę kodowania ADPCM (Adaptive Differential Pulse Code Modulation). UmoŜliwia on kodowanie o jakości prawie identycznej z PCM a ponadto zajmuje o połowę mniejsze pasmo. Posiada róŝne szybkości kodowania: 16, 24, 32 i 4 kbit/s (wszystkie cztery dostępne w aplikacji Ekiga). Stosowany jest często w telefonii VoIP. Testowanie poprawności instalacji z rys.2-3 przeprowadzono, podając na softphone Ekiga, przez wirtualny kabel (vac), ciąg próbek mowy z szybkością 8 próbek/s. W softphonie wybrano kodek PCMA. Po stronie odbiorczej dokonano rejestracji otrzymanego ciągu próbek, zsynchronizowano z ciągiem nadanym i obliczono energię błędu. Otrzymano poziom energii błędu 37 db pod poziomem energii sygnału, co jest wartością typową dla kodera PCM G.711 przy właściwym wysterowaniu. 13 Page 13 of 36

Videostreaming Jako program do strumieniowania wideo wykorzystano VLC (www.videolan.org/vlc/). Zainstalowano równieŝ Real Server (www.realnetworks.com), jednak wersja testowa umoŝliwia jedynie wykorzystanie kodeków RealAudio i RealVideo, co stanowi istotne ograniczenie w stosunku do VLC, oferującego m.in. kodery wideo MPEG1/2, H.263, H.264, oraz kodery audio, w tym MP3, MPEG4 AAC. W testach wykorzystywano protokół UDP oraz szereg sekwencji wideo (omówiono je w cz.3 raportu). Gra interaktywna Do testowania naleŝy wykorzystać grę typu «first person shooter», ze względu na największe wymagania w stosunku do parametrów sieci. W grach tego typu szczególną rolę odgrywa szybkość rozchodzenia się informacji w sieci. Mierzy się ją jako RTT Round Trip Time, czyli czas dojścia pakietu do przeciwnika i powrót pakietu do punktu wyjścia. Jakość dźwięku i obrazu odgrywa tu duŝą rolę, jednak nie decydującą. Do testowania wybrano grę nexuiz (firma ID Software) ze względu na typ oprogramowania (open source) [16]. Uruchomiono grę na obu stacjach i przeprowadzono szereg testów sprawdzających poprawność instalacji. Zainstalowano równieŝ narzędzie pomiarowe, umoŝliwiające przechwytywanie i analizę pakietów: Wireshark (www.wireshark.org). W samą grę jest zresztą wbudowany monitor przepływu pakietów, rejestrujący ich opóźnienie. 2.4 Stanowiska do badań subiektywnych Dla przeprowadzenia badania jakości wideo metodą subiektywną przygotowano odpowiednie pomieszczenie oraz 6 stanowisk komputerowych. Na tych komputerach zainstalowano program MSU Perceptual Video Quality Player. Przygotowano równieŝ na kaŝdym stanowisku tzw. task, dzięki któremu badania moŝna przeprowadzić z wykorzystaniem powyŝszego programu. Zastosowana została degradacyjna metoda dwubodźcowa oceny zniekształceń DSIS (Double Stimulus Impairment Scale). Oglądający najpierw zapoznaje się z sekwencją oryginalną, a potem z sekwencją przetworzoną, po czym wystawia ocenę, wg. skali zaprezentowanej na rys. 2-3. 14 Page 14 of 36

Rysunek 2-4: Stanowiska do pomiarów metodą subiektywną Rysunek 2-5: Skala ocen w degradacyjnej metodzie dwubodźcowej DSIS Badania subiektywne aplikacji VoIP będą polegały na przeprowadzeniu testów konwersacyjnych, co wymaga izolacji akustycznej obu stacji roboczych z zainstalowanymi softphonami Ekiga. Planowane jest teŝ przeprowadzenie testów odsłuchowych z wykorzystaniem par plików, zawierających odpowiednio oryginalną i przetworzoną frazę mowy. Badania jakości gry interaktywnej mogą odbywać się na konsolach (stacjach roboczych) znajdujących się w tym samym pomieszczeniu, 15 Page 15 of 36

3 Narzędzia do badania jakości i wstępne testy 3.1 Strumieniowanie wideo Metody obiektywne Metody obiektywne badania jakości sygnałów wideo opierają się na porównaniu sekwencji obrazów sygnału oryginalnego z sygnałem zniekształconym, przy czym porównanie polega na obliczeniu róŝnicy między odpowiednimi parametrami obydwu sygnałów. Metryki oceny obiektywnej opierają się na przekształceniach matematycznych. W badaniach wykorzystano następujące metryki VQM, SSIM, NQI i MSE dostępne w narzędziu Elecard Video Quality Estimator [6]. Metryka VQM Metryka VQM (Video Quality Metric) została opracowana przez Instytut ITS (Institute for Telecommunication Science) [1], [2]. Według wielu ośrodków badawczych metryka ta daje najbardziej zbieŝne wyniki z wynikami oceny subiektywnej. Uwzględnia ona uproszczony model postrzegania kontrastu przestrzenno-czasowego obrazów przez człowieka. Metryka SSIM Metryka strukturalnego podobieństwa SSIM (Structural SIMilarity) wykorzystuje zniekształcenia struktur w obrazie wideo w celu oszacowania ludzkiego postrzegania zniekształceń [3]. Aby oszacować zniekształcenia w obrazie oblicza się średnie, wariancje i kowariancje pomiędzy parametrami obrazu oryginalnego i przesłanego. Obliczenia wykonuje się dla bloków 8x8 pikseli, a takŝe całego obrazu biorąc pod uwagę luminancję, chrominancję i parametry strukturalne. Metryka NQI Metryka NQI (New Quality Index) uwzględnia trzy elementy. Pierwszym jest stopień korelacji między obrazem oryginalnym i przesłanym, drugi zniekształcenia luminancji, a trzeci podobieństwo kontrastu [4]. W metryce NQI nie wykorzystuje się bezpośrednio modelu HVS (Human Vision System). Doświadczenia opisane w pracy [4] pokazują przewagę metryki NQI nad metodą MSE. Metryka MSE Metryka MSE (Mean Squared Error) jest najbardziej popularną metryką. Jest ona oparta na obliczaniu róŝnicy luminancji dla poszczególnych pikseli obrazu i wynosi: 16 Page 16 of 36

1 MSE = T X Y t [ I( t, x, y) I( t, x, y) ] x y 2 Rów. 3-1 gdzie: I, I sekwencje obrazów oryginalnego i przesłanego, T liczba obrazów w sekwencji, X, Y gabaryty obrazu w pikselach. Metody subiektywne Subiektywne metody oceny jakości sygnałów wideo opierają się na ocenie jakości dokonywanej przez widzów. Aby wynik oceny był wiarygodny ocena powinna być przeprowadzona przez statystycznie reprezentatywną grupę osób (widzów). Powinny one mieć dobry wzrok odpowiednia ostrość widzenia i rozpoznawania barw. Wynik oceny jest średnią oceną punktową MOS (Mean Opinion Score) z wyników podawanych przez kaŝdą z osób uczestniczących w badaniach. W praktyce stosowanych jest kilka metod oceny subiektywnej. NajwaŜniejsze z nich to: metoda oceny bezwzględnej ACR (Absolute Category Rating), metoda porównywania parami PC (Pair Comparison), metoda oceny degradacyjnej DCR (Degradation Category Rating), metoda jednobodźcowa ciągła SSCQE (Single Stimulus Continuous Quality Scale), metoda dwubodźcowa oceny zniekształceń DSIS (Double Stimulus Impairment Scale), metoda dwubodźcowej oceny ciągłej DSCQS (Double Stimulus Continuous Quality Scale). W prezentowanych dalej wynikach badań subiektywnych uŝyto metody oceny degradacyjnej DSIS. Testowane sekwencje wideo Testowane sekwencje wideo dobrano w taki sposób, by były one zróŝnicowane co do zawartości szczegółów (szczegółowość) i szybkości zmian w czasie (zmienność). Wszystkie sekwencje zakodowano za pomocą kodera MPEG-2 i trwały 4 sekundy. Rozdzielczość obrazów, liczba klatek na sekundę i wymagana przepustowość kanału transmisyjnego były zróŝnicowane. W tabeli 3-1 zebrano cechy wszystkich pięciu testowanych plików. 17 Page 17 of 36

Tabela 3-1: Cechy testowanych sekwencji wideo Nr Charakterystyka ra- Stosunek mek I/P Rozmiar [piksel] Liczba klatek na sekundę 1 DuŜa szczegółowość, 72x48 umiarkowana zmienność 9:91 29,97 6927 2 Obraz prawie nieruchomy 624x352 9:91 25 747 3 Bardzo duŝa zmienność 576x24 1:9 25 211 4 Prosta, ruchoma figura geometryczna 64x48 9:91 25 144 5 Średnia zmienność 68x336 1:91 35 199 Przepływność [kb/s] Sekwencja 1 charakteryzuje się bardzo duŝo przepływnością obrazu w porównaniu do pozostałych. Przedstawia kobietę leŝącą na trawie, która rozmawia przez telefon: Sekwencja 2 charakteryzuje się bardzo małą zmiennością poszczególnych klatek. Ponadto większość tła stanowi czerń: 18 Page 18 of 36

Sekwencja 3 charakteryzuje się bardzo duŝą szczegółowością i zmiennością poszczególnych klatek obrazu. Przedstawia ona wyścig 2 samochodów: Sekwencja 4 przedstawia poruszającą się sześcienną kostkę, Kostka ta ma całą paletę kolorów, dzięki czemu moŝna określić wpływ strumieniowania na jakość barw. Sekwencja ta jest zaczerpnięta z programu Virtual Dub: Sekwencja 5 charakteryzuje się średnią zmiennością klatek, jak równieŝ ilością uŝytych barw: 19 Page 19 of 36

Wyniki przeprowadzonych badań Na rysunkach 3-1 do 3-4 przedstawiono wyniki badań wykonanych metodami obiektywnymi i metodą subiektywną. W badaniach uczestniczyły 72 osoby. Wyniki MOS są średnią z co najmniej 49 obserwacji danej sekwencji wideo przez róŝne osoby. ZauwaŜalny wpływ bitowej stopy błędów (BER) na jakość obrazu zaznacza się od progu,5%. Najbardziej wraŝliwa na błędy jest sekwencja, zawierająca wiele szczegółów (nr 1). Ruch obiektów ma tu mniejsze znaczenie, choć nieco większą odporność wykazuje obraz bardziej statyczny (por. nr 2 i 3). Dla 1% stopy błędów MOS spada do wartości 2-3, wskazując na jakość obrazu nieakceptowalną przez odbiorcę. W przedziale BER.5-.5% jakość spada poniŝej wartości MOS=4, czego powinno się unikać. Interpretację wyników badań utrudniają efekty związane z krótkim czasem trwania sekwencji wideo ( skoki wartości MOS i wskaźników obiektywnych). Przy tej samej stopie błędów niektóre sekwencje testowe mogą zostać uszkodzone w większym, a inne w mniejszym stopniu. Np. uszkodzenie ramki typu intra (I), zawierającej pełną informację o klatce obrazu, powoduje uszkodzenie kolejnych ramek, odtwarzanych z wykorzystaniem predykcji (P) i interpolacji (B). Z kolei uszkodzenie ramki typu B moŝe zostać w ogóle niezauwaŝone. Efekty te utrudniają wybór progu BER dla usług wykorzystujących strumieniowanie wideo w sieci DiffServ. Pomiary powinny być przeprowadzane na bardzo długich sekwencjach wideo, albo wielokrotnie powtarzane dla róŝnych strumieni wideo otrzymanych przy tej samej wartości BER, a otrzymane w ten sposób wyniki - uśredniane. Niestety, ze względu na duŝy czas przeprowadzenia jednej serii testów i zmęczenie osób biorących udział w eksperymentach, nie wykonano kolejnych testów z udziałem duŝej grupy osób. Przeprowadzono jednak nieformalne obserwacje z wykorzystaniem długiej sekwencji wideo, których wyniki podano w kolejnym punkcie. Wymienione wyŝej efekty nie przeszkadzają jednak w porównaniu wartości metryk stosowanych w obiektywnej ocenie jakości z wartościami MOS. Generalnie daje się zauwaŝyć korelację (dodatnią w przypadku metryk SSIM i NQI, ujemną dla metryk MSE i VQM) z wartościami MOS. Badania subiektywne jakości sekwencji wideo w funkcji stopy utraconych pakietów prowadzono w przedziale,2% - 2%, a badania obiektywne takŝe dla mniejszej stopy utraconych pakietów. Te ostatnie wykazują, ze nawet przy niewielkiej stopie błędów moŝe dojść do istotnego (i zapewne zauwaŝalnego) pogorszenia się jakości, gdy uszkodzona zostanie ramka typu intra. Dla sekwencji nr 2 tego typu zdarzenie doprowadziło do lokalnego spadku wartości MOS (rys.3-2). W przedziale,3-,8% utraconych pakietów następuje spadek jakości poniŝej progu MOS=4, a powyŝej 1% utraconych pakietów jakość spada poniŝej progu akceptowalności (MOS rzędu 2-3). 2 Page 2 of 36

Na uwagę zasługuje podobna wartość progu akceptowalnej jakości dla BER i dla stopy utraconych pakietów. Najwidoczniej pojedyncze przekłamania bitów nie dyskwalifikują pakietu, dzięki korekcji błędów binarnych. Badania jakości sekwencji wideo w funkcji pojemności kanału wykazują spadek jakości w sytuacji, gdy pojemność kanału ma wartość niŝszą niŝ przepływność samej sekwencji. Wyjątkiem jest sekwencja nr 5, która, mimo średniej przepływności rzędu 1 Mb/s, wymaga w początkowej fazie większej pojemności kanału (VBR mode). ObniŜenie pojemności kanału skutkuje znacznym obniŝeniem jakości w pierwszej fazie sekwencji wideo, co jest zauwaŝane i nisko oceniane przez odbiorców, wpływa takŝe na wartości wszystkich badanych metryk. W aplikacjach opartych na strumieniowaniu wideo (IPTV, VoD) samo opóźnienie pakietów nie gra wielkiej roli, za to istotnym czynnikiem wpływającym na jakość jest zmienność (jitter) tego opóźnienia. DuŜa zmienność powoduje przepełnienie bufora gromadzącego pakiety po stronie odbiorczej i de facto utratę niektórych z nich. Efekt ten (rys.3-4) silnie zaleŝy od rodzaju sekwencji, gdyŝ duŝa zmienność zawartości obrazu wymusza duŝą liczbę ramek typu intra, których uszkodzenie jest bardziej zauwaŝalne. W istocie, z badanych sekwencji największą odpornością wykazał się obraz niemal nieruchomy (nr 2). DuŜe znaczenie ma tu teŝ wielkość bufora. 21 Page 21 of 36

Metryka NQI 3 Metryka VQM 1 2.5.9 2 Skala NQI.8.7 Skala VQM 1.5 1.6.5.5 1.E-9 1.E-6 1.E-5 5.E-5 1.E-4 3.E-4 5.E-4 7.E-4 1.E-3 Bitowa stopa błędów 3.E-3 5.E-3 7.E-3 1.E-2 1.E-9 1.E-6 1.E-5 5.E-5 1.E-4 3.E-4 5.E-4 7.E-4 Bitowa stopa błędów 1.E-3 3.E-3 5.E-3 7.E-3 1.E-2 1 Metryka SSIM 7 Metryka MSE.975 6.95 5 Skala SSIM.925.9.875 Skala MSE 4 3 2.85.825.8 1.E-9 1.E-6 1.E-5 5.E-5 1.E-4 3.E-4 5.E-4 7.E-4 1.E-3 Bitowa stopa błędów 3.E-3 5.E-3 7.E-3 1.E-2 1 1.E-9 1.E-6 1.E-5 5.E-5 1.E-4 3.E-4 5.E-4 7.E-4 1.E-3 Bitowa stopa błędów 3.E-3 5.E-3 7.E-3 1.E-2 5 Ocena MOS 4.5 4 3.5 Skala MOS 3 2.5 2 1.5 1 1.E-9 1.E-6 1.E-5 5.E-5 1.E-4 3.E-4 5.E-4 7.E-4 1.E-3 3.E-3 5.E-3 7.E-3 1.E-2 Rys. 3-1. Wpływ bitowej stopy błędów na jakość sekwencji wideo. Bitowa stopa błędów 22 Page 22 of 36

1.5 Metryka NQI 4 Metryka VQM.95 3.5.85 3 Skala NQI.75.65.55.45.35 Skala VQM 2.5 2 1.5 1.5.25 1.E-9 1.E-5 1.E-4 3.E-4 5.E-4 7.E-4 9.E-4 Strata pakietów 2.E-3 4.E-3 6.E-3 8.E-3 1.E-2 1.E-9 1.E-5 1.E-4 3.E-4 5.E-4 7.E-4 9.E-4 2.E-3 Strata pakietów 4.E-3 6.E-3 8.E-3 1.E-2 Skala SSIM 1.95.9.85.8 Metryka SSIM Skala MSE 4 35 3 25 2 15 Metryka MSE.75 1.7 5.65 1.E-9 1.E-5 1.E-4 3.E-4 5.E-4 7.E-4 9.E-4 2.E-3 Strata pakietów 4.E-3 6.E-3 8.E-3 1.E-2 1.E-9 1.E-5 1.E-4 3.E-4 5.E-4 7.E-4 9.E-4 2.E-3 Strata pakietów 4.E-3 6.E-3 8.E-3 1.E-2 5 Ocena MOS 4.5 4 Skala MOS 3.5 3 2.5 2 1.5 1 1.E-9 1.E-5 1.E-4 3.E-4 5.E-4 7.E-4 9.E-4 2.E-3 Strata pakietów 4.E-3 6.E-3 8.E-3 1.E-2 Rys.3-2. Wpływ stopy utraty pakietów na jakość sekwencji wideo (oznaczenia sekwencji wideo takie jak na rys.3-1). 23 Page 23 of 36

3 Sekwencja 1 7 Sekwencja 1 MSE 2.5 6 Skala NQI / SSIM / VQM / MOS 2 1.5 1.5 NQI SSIM VQM MOS Skala MSE 5 4 3 2 1 7 75 76 77 79 795 8 81 82 Przepływność [kb/s] 7 75 76 77 79 795 8 81 82 Przepływność [kb/s] Skala NQI / SSIM / VQM / MOS 5 4.5 4 3.5 3 2.5 2 1.5 1.5 Sekwencja 2 65 7 75 8 9 1 11 2 Przepływ ność [kb/s] NQI SSIM VQM MOS Skala MSE 8 7 6 5 4 3 2 1 Sekwencja 2 65 7 75 8 9 1 11 2 Przepływność [kb/s] MSE Skala NQI / VQM / SSIM / MOS 5 4.5 4 3.5 3 2.5 2 1.5 1.5 Sekwencja 3 NQI SSIM VQM MOS Skala MSE 8 7 6 5 4 3 2 1 Sekwencja 3 MSE 21 22 23 24 25 26 265 3 Przepływ ność [kb/s] 21 22 23 24 25 26 265 3 Przepływ ność [kb/s] 24 Page 24 of 36

5 4.5 Sekwencja 4 9 8 Sekwencja 4 MSE Skala NQI / VQM / SSIM / MOS 4 3.5 3 2.5 2 1.5 1 NQI SSIM VQM MOS Skala MSE 7 6 5 4 3 2.5 1 18 188 19 191 192 1925 193 195 2 25 Przepływność [kb/s] 18 188 19 191 192 1925 193 195 2 25 Przepływność [kb/s] 7 Sekwencja 5 25 Sekwencja 5 Skala NQI / VQM / SSIM / MOS 6 5 4 3 2 NQI SSIM VQM MOS Skala MSE 2 15 1 5 MSE 1 15 18 19 2 21 22 23 25 3 Przepływność [kb/s] 15 18 19 2 21 22 23 25 3 Przepływność [kb/s] Rys.3-3. Wpływ ograniczenia przepływności na jakość badanych pięciu sekwencji wideo 1.5 Metryka NQI 7 Metryka VQM.95 6.85 5 Skala NQI.75 Skala VQM 4 3.65 2.55 1.45.1.1.5 1 2 3 4 5 7 8 1 12 15 2 Zmienność opóźnienia [ms].1.1.5 1 2 3 4 5 7 8 1 12 15 2 Zmienność opóźnienia [ms] 25 Page 25 of 36

1.5 Metryka SSIM 5 Metryka MSE 1 45 4.95 35 Skala SSIM.9.85 Skala MSE 3 25 2 15.8 1 5.75.1.1.5 1 2 3 4 5 7 8 1 12 15 2 Zmienność opóźnienia [ms].1.1.5 1 2 3 4 5 7 8 1 12 15 2 Zmienność opóźnienia [ms] 5 Ocena MOS 4.5 4 3.5 Skala MOS 3 2.5 2 1.5 1.1.1.5 1 2 3 4 5 7 8 1 12 15 2 Zmienność opóźnienia [ms] Rys. 3-4. Wpływ zmienności opóźnienia na jakość sekwencji wideo (oznaczenia sekwencji wideo takie jak na rys.3-1). Na rysunku 3-5 pokazano związek między wynikami uzyskanymi w badaniach przeprowadzonych metodą obiektywną VQM, a wynikami uzyskanymi metodą badań subiektywnych. 26 Page 26 of 36

Korelacja pomiędzy metryką VQM oraz metodą subiektywną 5 MOS Aproksymacja Skala MOS 4 3 2 1,551,551,617,617,929,1248,1392,1927,3249,3578 Metryka VQM,437,4553,5482,7575 1,32 1,3223 1,6272 2,1123 2,5157 2,8568 3,4372 Rys. 3-5. Związek między metryką VQM a wynikami uzyskanymi metodą subiektywną skala MOS Przedstawione na rys. 3-5 wyniki są ogólnie zbieŝne z wynikami uzyskiwanymi przez innych autorów [7]. Warto podkreślić, Ŝe pokazaną na rys. 3-5 krzywą aproksymującą uzyskano uwzględniając wyniki wszystkich badań subiektywnych. Za pomocą tej krzywej moŝna wyniki uzyskiwane w skali VQM przeskalować na skalę MOS i odwrotnie. Wyznaczona krzywa aproksymująca jest krzywa ogólna, niezaleŝną od rodzaju sekwencji. Jak podano w pracy [7] rodzaj sekwencji wpływa na postać krzywej aproksymującej. Dla róŝnych sekwencji krzywa ta jest inna. W tabeli 2 podano wartości liczbowe w skali VQM i MOS wyników wybranych badań przeprowadzonych przez autorów i dla porównania wyniki zaczerpnięte z pracy [7]. Tabela 3-2: Porównanie wyników uzyskiwanych metodą obiektywną VQM i metodą subiektywną (skala MOS 1 5) Wszystkie sekwencje Sekwencja - obraz głowy Sekwencja - natura VQM MOS VQM *) MOS *) VQM *) MOS *) 2,5152 2, 1,91 1, 2,127 1, 1,6272 2,75 1,175 1,17 2,14 1, 1,32 3, 1,177 2,17 1,598 2,33 27 Page 27 of 36

,7575 3,25,975 3,25 1,35 3,25,5482 3,56,749 3,75 1,55 3,75,3578 4,,679 4,25,982 4,5,617 4,6,647 4,58,917 4,65 *) z pracy [7] Badania uzupełniające Jednym z głównych celów badań jakościowych przeprowadzanych w ramach projektu Usługi i sieci teleinformatyczne następnej generacji aspekty techniczne, aplikacyjne i rynkowe jest określenie wartości progowych dla parametrów połączenia sieciowego (Diff- Serv) i dla róŝnych usług. Wyniki badań strumieniowania wideo nie pozwalają na precyzyjne określenie progu dla BER i dla stopy utraty pakietów. Występują skoki wartości MOS (spadek dla mniejszej wartości BER i lokalny wzrost dla wartości większej) rys. 3-1 i 3-2. Przyczyną jest krótki czas trwania testowanych sekwencji zdarzają się sekwencje bardziej uszkodzone przy małej wartości BER (gdy uszkodzeniu ulega ramka I) i mniej uszkodzone przy większej wartości BER (gdy uszkodzone są np. ramki B). Aby precyzyjniej określić wartość progową dla stopy utraty pakietów, przeprowadzono badania uzupełniające, o charakterze nieformalnym. Polegały one na obserwacji długiej sekwencji wideo (zakodowanej w standardzie MPEG2) w warunkach utraty pakietów. Obserwowano zniekształcenia dźwięku (przerwy) i obrazu (ciągi kolorowych bloków utrzymujące się przez krótki czas, mniej niŝ 1s, ale zauwaŝalne). Częstość tych zjawisk, jak równieŝ ich intensywność, zaleŝy od stopy utraconych pakietów. Dla.1% utraty, przy braku korelacji kolejnych zdarzeń, zakłócenia pojawiają się co kilka sekund i zdecydowanie obniŝają komfort odbioru przekazu audiowizualnego. Jest to istotne spostrzeŝenie, gdyŝ taką właśnie stopę utraty pakietów podają normy ITU i ETSI [12], [13]. Dopiero dla stopy utraty pakietów rzędu.1% komfort korzystania z usługi jest zapewniony. Ocena jakości w oparciu o analizę strumienia binarnego Opisane powyŝej narzędzia do subiektywnej i obiektywnej oceny jakości sygnału wideo są mało przydatne do ciągłego monitorowania jakości. Metody subiektywne, choć najdokładniejsze, wymagają zorganizowania długotrwałej sesji z udziałem wielu osób, natomiast metody obiektywne typu intruzyjnego wymagają transmisji określonej sekwencji wideo, ekstrakcji tej sekwencji do pliku po stronie odbiorczej i uruchomienia programu porównującego sekwencję oryginalną i przetworzoną. Jeśli transmisja testowej sekwencji nie jest moŝliwa, wówczas trzeba wykorzystać metody nieintruzyjne oceny jakości. Niektóre z nich opierają się na badaniu strumienia binarnego, nie wymagając odtworzenia sekwencji wideo po stro- 28 Page 28 of 36

nie odbiorczej. Do takich metod naleŝy VQmon/HD firmy Telchemy [17]. Algorytm analizuje strumień pakietów, identyfikuje rodzaj uŝytego kodera, notuje osobno straty i opóźnienia dla pakietów opisujących ramki wideo typu I, P i B, a więc jest czymś więcej niŝ algorytm działający w oparciu o parametry połączenia sieciowego (stopa utraty pakietów, opóźnienie, jitter). Podobna analiza wykonywana jest dla pakietów sygnału audio, po czym wystawiane są trzy oceny: MOS-V dla sygnału wideo, MOS-A dla sygnału audio i ocena łączna MOS-AV. Udało się pozyskać krótkoterminową licencję na to oprogramowanie, co pozwoliło na przeprowadzenie szeregu testów nieformalnych. W przypadku utraty pakietów oceny MOS odpowiadają mniej więcej odczuciom obserwatorów sekwencji wideo. RóŜnice występują w przypadku uszkodzenia zawartości pakietów (komenda corrupt w Netem). VQmon słabo reaguje na uszkodzenie pakietów, wystawia wysokie oceny (około 4) w sytuacji, gdy obraz na ekranie jest bardzo powaŝnie uszkodzony. Wynika stąd wniosek, Ŝe do tego typu algorytmów trzeba podchodzić ostroŝnie. 3.2 Telefonia internetowa VoIP Do oceny jakości sygnału odebranego wykorzystano algorytm PESQ [18]. Metoda ta określa odległość pomiędzy rzeczywistym sygnałem mowy (sygnał oryginalny), a sygnałem zdegradowanym, otrzymanym w wyniku przesłania przez badany kanał telekomunikacyjny. W standardzie ITU-T P.862 moŝna przeczytać o technologiach, dla których PESQ wykazał duŝą zbieŝność wyników z metodami subiektywnymi. Zgodność stwierdzono między innymi przy testach: Wpływu róŝnych czynników na jakość mowy: Zmiany poziomu głośności. Błędy transmisji w kanale. Straty pakietów. Zmiany przepustowości. Transkodowanie. Szumy otoczenia pochodzące od nadawcy. Koderów PCM, ADPCM: G.711, G.726, G.727 CELP i kodeki hybrydowe 4kbit/s, np. G.728, G.729, G.723.1, GSM-FR, GSM-HR, GSM-EFR, GSM-AMR, CDMA-EVRC, TDMA-ACELP, TDMA-VSELP, TETRA. Dostępna implementacja, pesq.exe, została przetestowana w układzie jak na rys. 2-3, w celu określenia wpływu róŝnych czynników na wynik pomiaru. Program pesq.exe porównuje sygnał wzorcowy z przetworzonym i oblicza wartość Raw MOS (podstawowy) i MOS-LQO (odsłuchowy). 29 Page 29 of 36

Najpierw zostały przeprowadzone pomiary sprawdzające poprawność działania i ww. konfiguracji urządzeń. W tym celu przesyłano przez sieć frazy mowy typu mono o częstotliwości próbkowania 8kHz. Do badań uŝyto kodeka PCMA, moŝliwego do ustawienia w softphonie Ekiga. Rysunek 3-6 Wartości MOS-LQO dla czterech róŝnych fraz wypowiadanych przez 4 róŝne osoby. Jak moŝna zauwaŝyć na powyŝszych wykresach wyniki MOS dla wszystkich mówców i wszystkich fraz są bardzo dobre, utrzymują się na poziomie powyŝej 4, co odpowiada wynikom badań subiektywnych tego kodeka. Do dalszych testów uŝyto frazy mowy kobiecej o częstotliwości próbkowania 8kHz i rozdzielczości 16bit, trwającej 6,284 s. Na podstawie szeregu eksperymentów moŝna sformułować następujące wnioski: Zmiana amplitudy sygnału nie powoduje obniŝenia MOS, poza przypadkami ekstremalnymi (np. zmniejszenie poziomu sygnału o 3dB). Utworzenie sygnału przetworzonego poprzez dodanie fragmentu ciszy na początku i na końcu frazy nie wpływa na wartość MOS (podobnie jak przy porównaniu frazy oryginalnej z jej identyczną kopią, utrzymuje się wartość MOS rzędu 4.5). Oznacza to, Ŝe aplikacja dobrze synchronizuje frazę przetworzoną z frazą oryginalną. Utworzenie sygnału przetworzonego poprzez dodanie fragmentu szumu na początku i na końcu frazy wpływa na wartość MOS, jednak wpływ ten jest niewielki (spadek MOS do 4.1). Skrócenie sygnału na początku i/lub końcu frazy wpływa znacznie na wartości MOS. Szczególny wpływ na zmianę MOS ma skrócenie sygnału na jego początku. Warto- 3 Page 3 of 36

ści MOS programu są zatem zgodne z obserwacją, a najbardziej niedogodnym elementem dla odbiorcy jest niemoŝność odsłuchania całej frazy. Dodawanie fragmentów ciszy w obrębie frazy (przerwa w odtwarzaniu, a następnie wznowienie odtwarzania bez straty materiału dźwiękowego) wpływa na obniŝenie MOS (efekt zaleŝy od czasu trwania przerwy i jej umiejscowienia w obrębie frazy) Utrata części materiału dźwiękowego, nawet o czasie trwania 5ms, wpływa na obniŝenie MOS, szczególnie gdy następuje wewnątrz wyrazu (in fg na rys.3-7) Rysunek 3-7 Wpływ usuwania fragmentów sygnału o długości,5s na wartości MOS Dodanie zakłóceń o charakterze impulsowym (wycinki sygnału harmonicznego) wyraźnie wpływa na obniŝenie MOS (rys.3-8) Rysunek 3-8 Wpływ impulsów na wartości MOS według algorytmu PESQ 31 Page 31 of 36

Bardzo wyraźny jest wpływ echa, zarówno pojedynczego jak i wielokrotnego Konstrukcja frazy przetworzonej poprzez powielanie frazy oryginalnej nie zmienia wartości MOS, jeśli zwiększenie czasu trwania jest niewielkie (do 2x). Z kolei skrócenie frazy natychmiast powoduje spadek wartości MOS (rys.3-9) Rysunek 3-9 Wpływ ilorazu długości frazy przetworzonej do wzorcowej (o długości 6,284s) Dodanie do frazy oryginalnej ciszy na początku lub na końcu, oraz jej porównanie z oryginalną frazą bez ciszy (pierwotna fraza oryginalna jest wykorzystana jako przetworzona) powoduje wyraźny spadek wartości MOS (nawet do wartości 1!). Jest to efekt niezgodny z odczuciem słuchacza, który jest w pełni usatysfakcjonowany przebiegiem odsłuchu. Ten eksperyment odkrywa mechanizm synchronizacji w programie we frazie przetworzonej poszukuje się pełnej kopii frazy oryginalnej, nawet z ciszą poprzedzającą mowę i występującą po niej. Reasumując program pesq.exe spełnia podstawowe załoŝenia metody PESQ, odzwierciedlającej zadowolenie uŝytkownika z jakości sygnału odbieranego MOS. Jak najbardziej moŝna go wykorzystać do badań sygnałów mowy telefonii internetowej. NaleŜy jednak zwrócić uwagę na długość frazy odebranej (by nie była krótsza od wysłanej) gdyŝ algorytm wyszukuje we frazie przetworzonej pełnej kopii frazy oryginalnej. NaleŜy równieŝ zauwaŝyć, Ŝe PESQ jest algorytmem intruzyjnym wymaga nadania określonej frazy testowej. W celu bieŝącej kontroli jakości naleŝałoby uŝyć metody nieintruzyjnej, opartej np. o analizę strumienia pakietów. 32 Page 32 of 36

4 Podsumowanie Głównym celem tego etapu prac była implementacja narzędzi do obiektywnej i subiektywnej oceny jakości wybranych aplikacji: VoIP, streaking wideo i gra interaktywna. W toku zdokumentowanych w niniejszym raporcie prac: - Zestawiono stanowisko słuŝące do badań obiektywnych i do przygotowania materiału do badań subiektywnych (serwer i dwie stacje robocze) - Wybrano aplikacje (Ekiga, VLC, nexuiz) i przetestowano ich działanie w środowisku pomiarowym - Zweryfikowano poprawność działania emulatorów sieci (Netem, WANem) i opracowano procedurę korekcji błędów oprogramowania - Przygotowano stanowiska do badań subiektywnych - Przetestowano implementację PESQ jako narzędzia do obiektywnych badań jakości mowy - Przetestowano szereg obiektywnych wskaźników jakości sekwencji wideo, o charakterze intruzyjnym i nieintruzyjnym, oraz porównano z wynikami badań subiektywnych Najwięcej wysiłku włoŝono w badania jakości sygnału wideo. Przedstawione w raporcie wyniki badań pokazują wpływ wybranych parametrów sieci pakietowej na jakość sekwencji wideo zakodowanej w formacie MPEG 2. Są to badania czasochłonne, w szczególności dotyczy to badań subiektywnych. Wyniki badań subiektywnych charakteryzują się ponadto du- Ŝym rozrzutem (wariancją), co jest wynikiem róŝnego postrzegania i oceniania zniekształceń przez osoby biorące udział w testach. DuŜym problemem są teŝ skoki wartości mierzonych parametrów, wynikające z krótkiego czasu trwania sekwencji wideo. W tej sytuacji badania pozwalają jedynie na wstępne określenie progów wartości parametrów sieci, zapewniających dobrą i zadowalającą jakość transmisji sekwencji MPEG 2. Dla bardziej precyzyjnego określenia wartości tych progów przeprowadzono badania uzupełniające, polegające na oglądaniu długiej sekwencji wideo. Pod uwagę naleŝy teŝ wziąć wymagania na parametry sieci, zamieszczone w normach ITU-T [11,12] i ETSI [13] dla róŝnych klas usług wykorzystujących sygnał wideo. NaleŜy jednak zachować tu ostroŝność, gdyŝ wyniki badań (takŝe opublikowane w niniejszym raporcie) skłaniają do zaostrzenia niektórych wymagań. Badania obiektywne, choć łatwiejsze do przeprowadzenia od strony organizacyjnej, nie zawsze dają wyniki miarodajne mimo zastosowania aŝ czterech róŝnych metryk. Trzeba jednak wziąć pod uwagę, Ŝe nie wykorzystano (ze względu na ich niedostępność) najnowszych rozwiązań, które zostały wskazane przez ITU-T w Zaleceniu J.247 [9]. 33 Page 33 of 36

Ponadto naleŝy zwrócić uwagę na fakt, Ŝe badano głównie algorytmy oceny jakości o charakterze intruzyjnym, które wymagają wykorzystania określonych sygnałów testowych audio i wideo. Do bieŝącej kontroli jakości naleŝałoby raczej wykorzystać mniej dokładne, ale niewymagające sygnałów testowych, metody nieintruzyjne. 34 Page 34 of 36

Literatura [1] Winkler S.: Digital Video Quality. John Wiley & Sons, Ltd, 25 [2] Wang Y.: Survey of Objective Video Quality Measurements. Tech report, Worcester Polytechnic Institute,. June 26 [3] Wang Z., Lu L., Bovik A.C.: Video Quality Assessment Based on Structural Distortion Measurement. Signal Processing Image Communication, vol.19, Issue 2, Feb. 24 [4] Wang Z., Bovik A.C.: A Universal Image Quality Index. IEEE Signal Processing Letters, vol. 9, no. 3, pp. 81-84, March 22 [5] ITU-T Rec. P.91: Subjective Video Quality Assessment Methods for Multimedia Applications. 1999 [6] www.elecard.com, maj 29 [7] Vranjes M., Rimac-Drlje S., Zagar D.; Objective Quality Metrics. 49th International Symposium ELMAR, 27 [8] ITU-T Rec. J.144, Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference, 24 [9] ITU-T Rec. J.247 Objective perceptual multimedia video quality measurement in the presence of a full reference, 28 [1] ITU-T Rec. J.246 Perceptual visual quality measurement techniques for multimedia services over digital cable television networks in the presence of a reduced bandwidth reference, 28 [11] ITU-T Rec. J.241 Quality of Service ranking and measurement methods for digital video services delivered over broadband IP Networks, 25 [12] ITU-T Rec. G.11 End-user multimedia QoS Categories, 21 [13] ETSI ES 22 667 Speech and multimedia Transmission Quality (STQ); Audiovisual QoS for communication over IP networks, 29 [14] Netem The Linux Foundation, www.linuxfoundation.org/collaborate/workgroups/networking/netem [15] WANem, Wide Area Network Emulator, TATA Consultancy Services, 27 [16] http://www.alientrap.org/nexuiz/ [17] www.telchemy.com [18] ITU-T Recommendation P.862: Perceptual evaluation of speech quality (PESQ), an objective method for end-to-end speech quality assessment of narrowband telephone networks and speech codecs 35 Page 35 of 36

Lista skrótów MOS SQ ACR DCR DRT MRT PSQM PESQ PEAQ PLR RTT AD MSE RMS PSNR HVS CSF VQEG VQM HRC IES DVQ DSCQS SSCQE Mean Opinion Score Speech Quality Absolute Category Rating, Degradation Category Rating Diagnostic Rhyme Test, Modified Rhyme Test Perceptual Speech Quality Measure Perceptual Evaluation of Speech Quality Perceptual Evaluation of Audio Quality Packet Loss Rate Round Trip Time Auditory Distance Mean Squared Error Root mean square peak signal to noise ratio human visual system contrast sensitivity function Video Quality Experts Group Video Quality Metric Hypothetical Reference Circuit Image Evaluation based on Segmentation Digital Video Quality Double Simulus Continuous Quality Scale Single Stimulus Continuous Quality Evaluation 36 Page 36 of 36