Ocena jakości obrazu wideo z kompresją H.264/AVC po transmisji w sieci IP

Transkrypt

1 Adam Kraśniewski Zakład Radiokomunikacji i Walki Elektronicznej Wojskow Insttut Łączności Ocena jakości obrazu wideo z kompresją H.6/AVC po transmisji w sieci IP Celem niniejszego artkułu jest przedstawienie wników otrzmanch w trakcie badań wpłwu parametrów transmisjnch sieci takich jak pakietowa stopa błędów, opóźnienie oraz wielkość pasma transmisjnego na jakość percepcjną obrazu wideo. Ab ocenić wpłw tch parametrów na jakość odbieranego przez klienta materiału wideo, dokonano pomiarów obiektwnch w oparciu o metrki, MSE oraz SSIM. W przeprowadzonch badaniach, jako standard kodowania sekwencji wizjnch został wkorzstan H.6/AVC.. Wprowadzenie Dnamiczn rozwój technik transmisjnch, powoduje sstematczn wzrost przepustowości sieci, a co za tm idzie możliwość przesłania za ich pomocą wsokiej jakości wideo i dźwięku. Dzięki zastosowaniu odpowiednich technik kompresji oraz protokołów transmisji możliwe jest strumieniowanie wideo poprzez sieć IP. W związku z tm, że parametr takiej sieci mogą ulegać chwilowemu lub długotrwałemu pogorszeniu, istotne jest ab ocenić jakie są krtczne wartości tch parametrów i jaki wpłw mają one na jakość przesłanego obrazu. Najbardziej istotnmi z punktu widzenia transmisji strumieniowej są następujące parametr sieci [,]: współcznnik utrat pakietu strumieniowego PLR (ang. Packet Loss Ratio) - wrażon przez stosunek liczb pakietów utraconch w sieci do całkowitej liczb przesłanch pakietów; opóźnienie - stanowiące różnicę międz czasem nadawania i czasem odbioru pakietu; jitter - czli wahania opóźnienia. W artkule przedstawiono wpłw wbranch parametrów sieci takich jak liczba utraconch pakietów, opóźnienie oraz przepustowość sieci, na jakość odbieranego przez klienta materiału wideo. Ważnm aspektem jest również ocena wpłwu jittera na jakość odbieranego obrazu, ale na obecnm etapie badań takiej ocen nie dokonano.. Wskaźniki jakości obrazu Metod obiektwne ocen jakości, polegają na wznaczeniu charakterstcznch parametrów jakościowch materiału wideo. W zależności od ilości informacji posiadanch na temat sekwencji wideo, można je podzielić na trz grup []: z pełną referencją (ang. full reference) polegające na obliczeniu różnic pomiędz obrazem orginalnm i zdegradowanm; z częściową referencją (ang. reduced reference) polegające na porównaniu pewnch parametrów sgnału orginalnego i zdegradowanego; bez referencji (ang. no-reference) polegające na analizie jednie sgnału zdegradowanego. W przeprowadzonch badaniach pod uwagę brano metod należące do grup pierwszej, gdż na chwilę obecną metod z tej właśnie grup pozwalają na uzskanie wników najbardziej skorelowanch z wnikami uzskanmi w procesie subiektwnej ocen materiału multimedialnego. W badaniach jako miarę postrzeganej jakości odbieranego obrazu wideo wkorzstano metrki:, MSE oraz SSIM.

2 Metrka (ang. Video Qualit Metric) [] jest opracowaną przez ITS (ang. Institute for Telecommunication Science) metrką umożliwiającą dokonanie obiektwnej ocen postrzeganej jakości wideo. Pomiar dokonwan dzięki wkorzstaniu metrki uwzględnia takie zaburzenia sgnału wideo jak: rozmcie, efekt blokowania obrazu, zniekształcenia konturów i ich kombinacje. Metrka MSE Metrka MSE (ang. Mean Squared Error) wznacza wartość błędu średniokwadratowego dla poszczególnch pikseli obrazu. Jej wartość oblicza się na podstawie zależności []: MSE = M N T T N M [ I(,, t) I S (,, t) ] t= = = () gdzie: I orginalna sekwencja wideo; I s odebrana sekwencja wideo; T liczba obrazów w sekwencji wideo; M, N rozmiar obrazu w pikselach. Metrka SSIM Metrka SSIM (ang. Structural SIMilarit) uwzględnia trz tp zniekształceń: luminancji, = i i =,,..., N jest sgnałem orginalnm kontrastu i struktur. Zakładając, że { } a { i i =,,..., N} = sgnałem zniekształconm, wartość SSIM można wznaczć na podstawie zależności [6]: (µ µ + C)(σ + C ) SSIM (, ) = ( µ + µ + C )( σ + σ + C ) () gdzie: µ - wartość średnia ; µ - wartość średnia ; σ - wariancja ; σ - wariancja ; σ - kowariancja i ; C = ( KL), C = ( K L) ; L - dnamiczn zakres wartości pikseli; K, K - wartości stałe.. Środowisko testowe Wkonanie odpowiednich pomiarów bło możliwe dzięki opracowanemu stanowisku pomiarowemu. Zastosowanie emulatora sieci rozległch WANem [7] pozwoliło na zmianę parametrów sieci mającch wpłw na jakość odbieranego przez klienta obrazu. Ze względu na fakt, że aplikacja ta została przgotowana wraz z sstemem operacjnm Linu jako samodzielna dstrbucja, parametr oprogramowania został zoptmalizowane pod względem pełnienia funkcji smulatora. Cecha ta pozwoliła na zapewnienie powtarzalności warunków panującch w sieci podczas wkonwania pomiarów. Na Rs. przedstawiono architekturę stanowiska badawczego.

3 Rs. Architektura stanowiska badawczego W skład architektur stanowiska badawczego wchodził trz element: serwer, emulator sieci oraz stacja kliencka. Wkorzstanie narzędzia VLC media plaer pozwoliło na strumieniowanie danch multimedialnch przez serwer oraz ich odbiór i zapisanie po stronie klienta. Wszstkie testowane sekwencje bł skompresowane prz użciu kodera H.6/AVC oraz transmitowane poprzez sieć IP prz wkorzstaniu protokołu UDP. Ocen jakościowej odbieranego materiału wideo dokonwano za pomocą narzędzia Video Qualit Estimator. Pozwala ono na porównanie zdegradowanego sgnału z sgnałem referencjnm i wznaczenie zadanch wskaźników jakości obrazu.. Badane sekwencje W badaniach wkorzstano należące do NTIA/ITS [8] źródłowe sekwencje wizjne. Spośród dostępnch plików źródłowch został wbrane sekwencje, które poddane został kompresji H.6/AVC zgodnie z parametrami przedstawionmi w Tab.. Tab. Parametr kompresji badanch materiałów wizjnch Rozmiar FPS Przepłwność L.p. Sekwencja Charakterstka [piksel] [s - Kodowanie ] [kbit/s] RedKaak SnowMnt ControlledBurn WestWindEas Dnamiczn obraz ze średnią ilością szczegółów Obraz o niewielkiej ilości ruchu Obraz ze średnią ilością ruchu Obraz z dużą ilością szczegółów CABAC Profil i poziom HP@L Wszstkie sekwencje został skompresowane z wkorzstaniem takich samch ustawień i został dobrane w taki sposób, ab różnił się pod względem ilości wstępującego w nich ruchu oraz stopnia szczegółowości. W zależności od tego jak dnamiczn jest obraz oraz jak wiele zawiera szczegółów, wbrane pliki charakterzują się określoną przepłwnością, która ma priortetowe znaczenie podczas strumieniowania materiału wideo poprzez sieć IP.

4 RedKaak SnowMnt ControlledBurn WestWindEas Rs. Widok testowanch sekwencji wideo. Metodka pomiarowa Obiektwne pomiar jakości odbieranego materiału wideo został wkonane dla sieci o zadanm opóźnieniu, o ograniczonej przepustowości oraz o zadeklarowanej liczbie traconch pakietów. Wartość pasma, ustawiana prz pomoc emulatora dobierana bła w zależności od przepłwności materiału multimedialnego, natomiast wartość PLR (ang. Packet Loss Ratio) zmieniano w zakresie od,% do,%. Ocen jakości odebranego przez klienta materiału multimedialnego dokonano prz wkorzstaniu trzech metrk:, MSE i SSIM. Rs. Zastosowanie metod z pełną referencją do ocen jakości wideo [9] 6. Ocena jakości testowanch sekwencji wideo Na rsunkach, został przedstawione wniki obiektwnch pomiarów jakości obrazu z wkorzstaniem opisanch wcześniej metrk. Okazuje się, że nawet bardzo niewielka strata pakietów rzędu,% ma wpłw na jakość odbieranego przez klienta materiału wideo. Ze względu na dużą dnamikę obrazu najbardziej wrażliwą na utratę pakietów bła sekwencja RedKaak. Z kolei sekwencja SnowMnt ze względu na niewielką ilość wstępującego w niej ruchu, wkazała się największą odpornością na wstępujące w kanale transmisjnm strat pakietów. Zwiększenie wartości PLR do poziomu % powoduje znaczne uszkodzenie przesłanch przez sieć sekwencji. W efekcie, w odbieranm obrazie pojawiają się efekt blokowe, staje się on rozmt i nieczteln. W tm momencie szczególnego znaczenia, nabiera zastosowana podczas kodowania sekwencji struktura GOP (ang. Group of Pictures). Uszkodzenie ramki tpu I (ang. Intra) ma decdując wpłw na całą strukturę GOP, gdż powoduje uszkodzenie kolejnch ramek tpu P (ang. Predicted) oraz B (ang. Bidirectional). Uszkodzenie ramek kluczowch prowadzi do propagacji błędów w kolejnch ramkach, a to z kolei do obniżenia jakości odbieranego materiału wideo. Natomiast uszkodzenie ramki tpu B może pozostać w ogóle niezauważone.

5 METRYKA METRYKA MSE METRYKA SSIM,,,,,,,,6,8, PLR [%] MSE,,,6,8, PLR [%] SSIM,9,9,8,8,7,7,6,6,,,6,8, PLR [%] Rs. Zależność pomiędz jakością odbieranego obrazu i pakietową stopą błędu PLR,,,,, Przepłwność [kbit/s] Przepłwność [kbit/s],,,,, 9 9 Przepłwność [kbit/s] Przepłwność [kbit/s] Rs. Zależność pomiędz jakością odbieranego obrazu i dostępnm pasmem transmisjnm Przeprowadzone badania jakości odbieranego materiału wideo w funkcji przepłwności kanału transmisjnego wkazują znaczne pogorszenie jakości materiału w przpadku gd przepłwność materiału jest wższa, niż dostępna w kanale. Dodatkow narzut związan z nagłówkami oraz kodowaniem korekcjnm powoduje, że wartość pasma przeznaczonego do transmisji wideo powinna mieć wartość wższą niż chwilowa przepłwność sekwencji wideo. Niespełnienie tego warunku prowadzi do natchmiastowego pogorszenia jakości odbieranego materiału, powodując jego całkowitą bezużteczność. Ostatnim elementem badań, bło określenie wpłwu opóźnienia wstępującego w sieci na jakość odbieranego przez klienta materiału wideo. Wkonane pomiar wkazał, że wstępujące w sieci opóźnienie powoduje jednie jednorazowe odsunięcie w czasie momentu odtwarzania sekwencji wizjnej po stronie klienta. Nie ma natomiast żadnego wpłwu na samą jakość przesłanego przez sieć materiału multimedialnego.

6 7. Podsumowanie Transmisja danch multimedialnch w sieciach IP wiąże się z szeregiem ograniczeń. Otrzmane w trakcie badań wniki pokazał, że zarówno utarta pakietów jak i zbt niska przepłwność kanału powodują znaczne pogorszenie jakości odbieranego przez klienta materiału wideo. Ab efektwnie transmitować treść multimedialną przez sieć, należ zagwarantować minimalną przepłwność toru transmisjnego. W przpadku jej braku, jakość odbioru znacznie się pogarsza, wstępują efekt poklatkowe, interpolacje, utrata snchronizacji a w konsekwencji zerwanie połączenia. Nie bez znaczenia pozostaje również sama treść transmitowanego pliku wideo. W przpadku gd obraz jest dnamiczn i zawiera dużą ilość szczegółów, wmagania dotczące parametrów sieci są wższe niż dla obrazu o małej ilości wstępującego w nim ruchu. Podobne wnioski do przedstawionch powżej wciągnięto podczas badań wpłwu parametrów sieci na jakość sgnału wideo z kompresją MPEG- przeprowadzonch w Insttucie Telekomunikacji Politechniki Warszawskiej []. W przeprowadzonch badaniach nie wkorzstano najnowszch metod ocen jakości obrazu zaproponowanch w zaleceniu J.7. Istotną cechą przedstawionch tam metod jest fakt, że do obliczenia różnic pomiędz obrazem zdegradowanm a referencjnm wkorzstują one szereg wskaźników cząstkowch, uwzględniającch dokładność odwzorowania luminancji, chrominancji, krawędzi oraz detekcję efektów blokowch i utraconch elementów obrazu []. W związku z tm są to metod o dużej wiargodności, ale ze względu na fakt, że brakuje obecnie oprogramowania z ich implementacją, w przeprowadzonch badaniach zrezgnowano z ich wkorzstania. Przedstawione w artkule wniki badań pokazują, że odbiór materiału multimedialnego o założonej jakości wmaga wprowadzenia do sieci dodatkowch elementów zapewniającch wmaganą jakość usługi. Jest to możliwe do osiągnięcia dzięki zastosowaniu odpowiedniej architektur sieci i skojarzonch z nią mechanizmów QoS (ang. Qualit of Service). Literatura [] ITU-T Rec. G. : End-user multimedia QoS Categories, [] ITU-T Rec. J. : Qualit of Service ranking and measurements methods for digital video services delivered over broadband IP networks, [] Engelke U., Zepernick H.: Perceptual-based Qualit Metrics for Image and Video Services: A Surve. rd Euro-NGI Conference on Net Generation Internet Networks, June 7 [] Chikkerur S., Sundaram V., Reisslein M., Karam L. J.: Objective Video Qualit Assessment Methods: A Classification, Review, and Performance Comparison. IEEE Transactions on Broadcasting, Vol. 7, No., Feb. [] Bhat A., Richardson I., Kannangara S.: A New Perceptual Qualit Metric for Compressed Video. Signal Processing: Image Communication, Vol., No. 8, Sep. [6] Wang Y.: Surve of Objective Video Qualit Measurements. Tech report, Worcester Poltechnic Insitute, June 6 [7] (emulator WANem), Ma [8] (Video Qualit Eperts Group), Ma [9] ITU-T Rec. J. 7 Objective Perceptual multimedia video qualit measurements in the presence of a full reference, 8 [] Kula S., Dmarski P., Szmd G.: Wpłw parametrów sieci na jakość sgnałów wideo. Krajowe Smpozjum Telekomunikacji i Teleinformatki, Sep. 9 [] Dmarski P., Kula S.: Metod i standard badania postrzeganej jakości sgnałów audio i wideo. Krajowe Smpozjum Telekomunikacji i Teleinformatki, Sep. 9