OKARMA Krzyszof 1 MAZUREK Przemysław 1 Zmodyfikowana hybrydowa meoda nieliniowej esymacji ła dla wizyjnych sysemów śledzenia ruchu pojazdów Ineligenne Sysemy Transporowe, Wizyjna deekcja ruchu, Esymacja ła Sreszczenie W arykule przedsawiono efekywną meodę esymacji ła przydaną w echnikach śledzenia ruchu pojazdów na drodze w Ineligennych Sysemach Transporowych. Ze względu na wpływ szumu oraz zakłóceń powodowanych przez inne ruchome obieky na wyniki esymacji ła najlepsze wyniki zapewnia sosowanie echnik nieliniowych z dodakowym pomijaniem lub uśrednianiem sąsiednich klaek sekwencji wideo. W celu weryfikacji algorymów esymacji ła moŝliwe jes wykorzysanie wskaźników podobieńswa obrazu lub porównawczych wskaźników jakości obrazu wymagających jednak znajomości referencyjnego obrazu ła. Dzięki ich zasosowaniu moŝliwe jes równieŝ adapacyjne przełączanie pomiędzy algorymami esymacji ła w zaleŝności od wykryych lokalnych zmian w obrazie powodowanych przez poruszające się obieky, a akŝe pominięcie klaek lub ich fragmenów znacząco róŝniących się z ego powodu od pozosałych. W arykule zaproponowano i zweryfikowano modyfikację uprzednio proponowanego hybrydowego podejścia do esymacji ła [5], dzięki czemu uzyskano szybszą zbieŝność esymacji oraz zwiększenie sabilności uzyskiwanych wyników. A MODIFIED YBRID METOD OF NONLINEAR BACKGROUND ESTIMATION FOR VISION BASED VEICLE TRACKING SYSTEMS Absrac In he paper an effecive mehod of background esimaion is presened, useful for vehicles racking on he road in Inelligen Transporaion Sysems. Due o he influence of noise and conaminaions caused by some oher moving objecs on he resuls of he background esimaion he bes resuls can be achieved using he nonlinear algorihms wih addiional skipping or averaging he neighbouring video frames. In order o verify he background esimaion algorihms some image similariy merics and full-reference image qualiy assessmen mehods, which require he reference background image, can be applied. Due o heir usage an adapive swiching beween he background esimaion algorihms can also be applied, depending on he deeced local changes of consecuive images caused by moving objecs as well as skipping some frames or heir fragmens which differ significanly from he ohers. In he paper a proposiion and verificaion of he modified version of previously proposed hybrid approach o background esimaion [5] is presened, which allows he faser convergence of background esimaion and increase of he sabiliy of obained resuls. 1. WSTĘP Współczesne Ineligenne Sysemy Transporowe (ITS) w coraz większej mierze wykorzysują echniki wizyjne opare na analizie obrazów i sekwencji wideo pozyskanych z kamer monowanych w bezpośrednim sąsiedzwie drogi. Pomimo ego, iŝ informacje uzyskiwane w sposób auomayczny z obrazów częso są obarczone błędami uniemoŝliwiającymi ich pełne wykorzysanie np. jako maeriał dowodowy, równieŝ z powodów formalnych (eksrakcja informacji wymaga zazwyczaj przewarzania pozyskanych obrazów), sanowią one arakcyjną alernaywę dla radycyjnych sposobów pomiaru np. pęli indukcyjnych wykorzysywanych do pomiaru naęŝenia ruchu dla porzeb ITS. Głównymi powodami dynamicznego rozwoju ego rodzaju echnik jes sosunkowo niski kosz sprzęu o dobrych paramerach, jak równieŝ znaczny posęp echnik analizy obrazów, jaki ma miejsce przez co najmniej kilkanaście osanich la. Jednym z zasadniczych elemenów wizyjnych sysemów auomaycznego nadzoru ruchu jes moŝliwość śledzenia pojazdów. MoŜliwe są uaj do wykorzysania róŝne podejścia, spośród kórych szczególnie arakcyjne wydają się być algorymy śledzenia przed deekcją (Track-Before-Deec) umoŝliwiające zwiększenie zasięgu sysemu oraz odporności na zakłócenia spowodowane np. zmiennymi warunkami amosferycznymi. Jednym z najisoniejszych elemenów warunkujących poprawność i wysoką dokładność śledzenia jes przewarzanie wsępne obrazów związane z esymacją i usuwaniem ła, sanowiące wciąŝ akywny obszar zaineresowania badaczy [3,7], dzięki czemu znacząco zmniejsza się ilość danych przekazywanych do algorymu śledzenia powodując wzros jego wydajności. 1 WyŜsza Szkoła Techniczno-Ekonomiczna w Szczecinie, Wydział Transporu Samochodowego; 71-244 Szczecin; ul. Klonowica 14. Tel +48 91 424-08-75, Fax +48 91 424-08-76 E-mail okarma@wse.szczecin.pl, mazurek@wse.szczecin.pl 1747
2. ALGORYTMY ESTYMACJI TŁA W SEKWENCJAC WIDEO Najprosszym podejściem do zagadnienia esymacji ła w sekwencji wideo jes dokonanie deekcji pikseli obrazu, kóre nie róŝnią się w obrębie określonej liczby sąsiednich klaek. W podsawowej wersji mamy do czynienia z algorymem róŝnicowym, dla kórego piksele zgodne z ich odpowiednikami z poprzedniej klaki są rakowane jako ło, a pozosałe inerpreowane jako reprezenujące ruchomy obiek. Oczywiście ego rodzaju podejście nie jes w Ŝadnej mierze odporne na wpływ szumów i zakłóceń, zmiennych warunków oświeleniowych, czy nawe wpływu róŝnego rodzaju warunków amosferycznych powodujących zmiany jasności niewielkich elemenów na obrazie (np. liście drzew poruszające się na wierze, opady śniegu ip.) [4]. W celu ograniczeniu ich wpływu moŝna sosować dodakowe progowanie np. opare na analizie wielkości obieków sklasyfikowanych jako ruchome. Meoda aka jes co prawda szybka i ława w implemenacji, jednak ma powaŝne ograniczenia związane z wymaganiem sałych warunków oświeleniowych, a akŝe z prędkością pojazdów oraz wydajnością kamery (liczba klaek na sekundę moŝliwych do rejesracji, ransmisji i przeworzenia). Inną liniową meodą esymacji ła jes uśrednianie określonej liczby klaek sekwencji wideo, jednak jes o meoda powolna o duŝym zaporzebowaniu na pamięć, dlaego eŝ zazwyczaj jes sosowana w zmodyfikowanej wersji jako średnia ruchoma (Moving Average) obejmująca określoną liczbę poprzednich klaek lub eŝ w posaci wygładzania wykładniczego. W niekórych zasosowaniach wykorzysywana jes akŝe średnia waŝona, w kórej minimalizowany jes wpływ wcześniejszych klaek na rzecz osanio zarejesrowanych. Dodakową sosowaną modyfikacją liniowych meod esymacji ła jes oznaczanie pikseli sklasyfikowanych jako reprezenujące obieky ruchome w celu eliminacji ich wpływu na wyznaczone warości średnie jasności pikseli reprezenujących ło. Jedną z isoniejszych niedogodności liniowych algorymów esymacji ła jes konieczność doboru właściwego progu, zazwyczaj bazującego na pojedynczej warości jasności, co niekoniecznie jes właściwym rozwiązaniem w wypadku złoŝonego obrazu ła. W akiej syuacji moŝe być zasosowane rozwiązanie opare na uśrednianiu gaussowskim, jednak nie jes ono równieŝ pozbawione wad związanych z inicjalizacją oraz akualizacją danych, a akŝe koniecznością podziału modeli na reprezenujących ło oraz pierwszy plan [6]. 2.1 Inicjalizacja liniowych algorymów esymacji ła NiezaleŜnie od zasosowanego algorymu esymacji ła, wyniki jego działania, w szczególności szybkość zbieŝności są zaleŝne w znacznej mierze od inicjalizacji algorymu. W najprosszym wypadku moŝliwy jes sar od warości zerowych, co odpowiada całkowicie czarnemu obrazowi lub maksymalnych (obraz biały). Jednym z klasycznych algorymów esymacji ła jes wygładzanie wykładnicze zgodne z zaleŝnością B EXP = B 1 + ( 1 α ) I ( u EXP, α - paramer wygładzania (warość zbliŝona do 1), I(u, jasność piksela o współrzędnych (u,, numer kroku. α (1) Analizując zbieŝność algorymu wygładzania wykładniczego moŝna ławo zauwaŝyć, iŝ korzysniejszym rozwiązaniem jes inicjalizacja warością średnią zakresu jasności, co umoŝliwia przyspieszenie zbieŝności algorymu dla ej samej warości współczynnika wygładzania α. Dzięki zasosowaniu jego warości bliskiej jedności uzyskuje się redukcję wpływu szumu na uzyskiwane wyniki. Pomimo sosunkowo wysokiej czułości na szum impulsowy algorym wygładzania wykładniczego zapewnia sabilne wyniki esymacji ła, jednak jego zasadniczą wadą jes sosunkowo powolna zbieŝność w począkowej fazie działania. Klasyczne liniowe podejście do esymacji ła opare jes na załoŝeniu, iŝ jasność wynikowego piksela jes liniową kombinacją jasności ego piksela z poprzednich klaek sekwencji wideo. Zakładając, iŝ obieky (pojazdy) są ruchome, poruszając się względem nieruchomego ła (drogi i jej ooczenia), dobrą esymację ła moŝna uzyskać po sosunkowo duŝej liczbie kroków odpowiadających duŝej liczbie zarejesrowanych klaek sekwencji wideo, ak aby wpływ jasności obieków ruchomych widocznych na poszczególnych klakach sał się nieisony względem pikseli reprezenujących ło. Przykładowo jasny obiek widoczny przez 50 ze 100 klaek w określonym fragmencie obrazu z ciemnym łem spowodowałby znaczące rozjaśnienie warości średnich, naomias w wypadku jego obecności przez 50 klaek z 1000 wpływ en znacznie maleje. Z ego ez względu wszyskie algorymy liniowe bazujące na uśrednianiu warości wymagają długiego czasu działania niezbędnego do usabilizowania warości poszczególnych pikseli esymay ła. 2.2 Nieliniowa esymacja ła W celu uzyskania szybszej zbieŝności moŝliwe jes zasosowanie algorymów nieliniowych, spośród kórych większość opara jes na filracji medianowej. Biorąc pod uwagę właściwości filru medianowego związane z odpornością na gwałowne lokalne zmiany jasności (zazwyczaj szum impulsowy), moŝna uzyskać dobre efeky akŝe w algorymach esymacji ła ze względu na fak, iŝ ego rodzaju zmiany jasności pikseli są równieŝ charakerysyczne dla ruchu obieków na saycznym le [1]. Podsawowa wersja algorymu medianowego zakłada sorowanie jasności dla określonego piksela w ciągu określonej liczby kolejnych klaek sekwencji wideo i wybór elemenu środkowego (mediany) jako wyniku. Ze względu na fak, iŝ na drodze mogą znajdować się zarówno pojazdy od niej jaśniejsze, jak równieŝ ciemniejsze (np. czarne), w ypowych syuacjach jasność wynikowego piksela jes zbliŝona do jasności piksela reprezenującego ło. 1748
W celu zredukowania wpływu szumu oraz przyspieszenia obliczeń moŝliwe jes wykorzysanie algorymu medianowego na podsawie jedynie wybranych klaek sekwencji wideo z określonym odsępem czasowym pomiędzy nimi (emporal downsampling). W akim wypadku znaczącemu zmniejszeniu ulega równieŝ wpływ poruszających się obieków na końcowy wynik esymacji ła. 2.3 ybrydowa esymacja ła W jednej z poprzednich prac [5] zaproponowano wykorzysanie podejścia hybrydowego łączącego zaley szybkiej zbieŝności nieliniowego algorymu medianowego oraz sabilność działania wygładzania wykładniczego. Zaproponowany algorym opary zosał na inicjalizacji z wykorzysaniem filru medianowego z wykorzysaniem wybranych klaek, kórej wynik sanowi esymaę sarową dla algorymu wygładzania wykładniczego działającego w drugiej fazie. Zasada działania omawianego algorymu moŝe być przedsawiona za pomocą nasępującego wzoru; B = MEDIAN ({ I, I, KI, K, I }) M α B 1 i M + ( 1 α ) I Τ - momen przełączenia, M liczba opuszczanych klaek w algorymie medianowym. ( N 1) M ybrydowy algorym esymacji ła wykorzysuje warość mediany obliczanej dla jasności pikseli z N klaek wyznaczonych z zachowaniem określonego odsępu (M) do inicjalizacji algorymu wygładzania wykładniczego, co przedsawiono na rysunku 1. < T T (2) Rys.1. Zasada działania hybrydowego algorymu esymacji ła 3. PROPONOWANY ZMODYFIKOWANY ALGORYTM ESTYMACJI TŁA Ze względu na fak, iŝ głównym celem zaproponowanego uprzednio algorymu hybrydowego jes zapewnienie szybszej zbieŝności do obrazu ła w porównaniu do klasycznej echniki uśredniania, jak równieŝ algorymu wygładzania wykładniczego, jego modyfikacje powinny doyczyć przede wszyskim fazy inicjalizacji. W celu weryfikacji uzyskiwanych wyników przyjęo, iŝ referencyjnym obrazem ła jes obraz uzyskiwany w wyniku uśrednienia 10000 klaek esowej sekwencji wideo. Biorąc pod uwagę zmiany globalnego oświelenia sceny w czasie rejesracji sekwencji wideo, nie jes moŝliwe uzyskanie idenycznego rezulau w krószym czasie (na podsawie fragmenu sekwencji wideo), jednak moŝliwe jes osiągnięcie obrazu o znacznym sopniu podobieńswa z nieznacznymi róŝnicami jasności pikseli. Proponowana modyfikacja doycząca sposobu wyznaczania esymay ła do inicjalizacji algorymu wygładzania wykładniczego polega na eliminacji wpływu obieków ruchomych wpływających na warość uzyskiwanej mediany wraz z uśrednieniem warości jej bliskich. W pierwszym kroku nasępuje wyznaczenie warości mediany dla kaŝdego piksela na podsawie N klaek z pominięciem określonej liczby M-1 klaek pomiędzy próbkami, w en sam sposób jak w meodzie przedsawionej poprzednio. Nasępnie wykonywane jes sorowanie warości jasności danego piksela ze wszyskich klaek w ym samym fragmencie sekwencji wideo (bez pomijania klaek), po czym wyznaczane są skrajne pozycje uprzednio wyznaczonej mediany w uzyskanym ciągu. Wynikiem końcowym dla danego piksela jes warość średnia elemenów ciągu w oknie o usalonej szerokości K elemenów, gdzie środek okna sanowi pozycja wyznaczona jako średnia arymeyczna z wyznaczonych pozycji skrajnych. Zasadę ę ilusruje rysunek 2, w kórym zaznaczone zosało środkowe połoŝenie warości wyznaczonej esymay mediany w uzyskanym posorowanym ciągu warości jasności piksela w kolejnych M N+1 klakach sekwencji wideo. Proponowany algorym moŝe być opisany jako B = MEAN ({ I, KI, K, I }) pos ( K 1) / 2 α B 1 pos + ( 1 α ) I pos+ ( K 1) / 2 K - szerokość okna uśredniania, pos średnia pozycja warości równej wyznaczonej esymacie mediany w ciągu. < T T (3) 1749
Rys.2. Zasada działania proponowanego zmodyfikowanego hybrydowego algorymu esymacji ła 4. WERYFIKACJA ZBIEśNOŚCI ALGORYTMÓW Z UśYCIEM METOD PORÓWNAWCZEJ OCENY JAKOŚCI OBRAZÓW Jedną z najczęściej sosowanych echnik weryfikacji działania algorymów przewarzania obrazów jes porównanie uzyskiwanych wyników z obrazem referencyjnym, przy załoŝeniu, iŝ jes on dosępny. Podejście akie moŝe być sosowane w szczególności przy ocenie działania algorymów sranej kompresji obrazów i sekwencji wideo, czy eŝ filracji obrazów. Ze względu na fak, iŝ zazwyczaj celem algorymu przewarzania obrazu jes poprawa jego jakości (z wyłączeniem echnik analizy obrazu prowadzących do eksrakcji informacji), ypowym podejściem jes wykorzysanie wskaźników jakości obrazów. Klasyczne meody oceny jakości obrazów [2], sosowane od wielu la opare są na błędzie średniokwadraowym (Mean Squared Error - MSE). Jedną z częściej sosowanych jes szczyowy sosunek sygnału do szumu (Peak Signal o Noise Raio - PSNR) wyraŝany w decybelach definiowany jako 2 k [ ( ) ( )] PSNR = 10 log 10 2 (4) u, v B u, v Q u, v B(u, - warość jasności piksela esymay ła o współrzędnych (u,, Q(u, - warość jasności piksela referencyjnego obrazu ła o współrzędnych (u,, k liczba poziomów szarości (zwykle 256). Ze względu na niską korelację ego rodzaju wskaźników z ocenami subiekywnymi, w osanich laach zaproponowane zosało nowe podejście do zagadnienia oceny jakości obrazów cyfrowych, bazujące na ocenie podobieńswa obrazów. Najpopularniejszym ego rodzaju wskaźnikiem jes podobieńswo srukuralne (Srucural Similariy SSIM) definiowane jako średnia warość wskaźników lokalnych wyznaczanych w obrębie przesuwnego okna Gaussa o rozmiarze 11 11 pikseli zgodnie z nasępującą zaleŝnością [8] SSIM = ( 2 xy + C1 ) ( 2 σ xy + C2 ) 2 2 2 2 ( x + y + C )( σ + σ + C ) C 1, C 2 - sałe współczynniki zapobiegające dzieleniu przez zero, x, y - warości średnie obrazu referencyjnego (x) i ocenianego (y) w obrębie lokalnego okna, σ 2 wariancja jasności dla fragmenu obrazu wewnąrz lokalnego okna, σ xy kowariancja jasności wewnąrz lokalnego okna. 1 Trakując obraz ła uzyskany w wyniku uśredniania 10000 próbek jako referencyjny, wykonano badania eksperymenalne z wykorzysaniem zarejesrowanych esowych sekwencji wideo, wyznaczając wskaźniki podobieńswa uzyskanej esymay ła z ym obrazem w posaci warości PSNR oraz SSIM. Wyniki uzyskane dla meody hybrydowej oraz jej zmodyfikowanej wersji zaproponowanej w arykule zosały przedsawione na rysunkach 3 oraz 4. x y 2 (5) 1750
39 38.5 38 37.5 37 PSNR 36.5 36 35.5 35 34.5 34 0 50 100 150 200 250 300 350 400 450 500 numer klaki Poprzednia meoda Proponowana meoda Rys.3. Warości współczynnika PSNR dla esymacji ła uzyskanej poprzednią meodą hybrydową oraz proponowaną meodą zmodyfikowaną 1 0.995 0.99 0.985 SSIM 0.98 0.975 0.97 0.965 0.96 0 50 100 150 200 250 300 350 400 450 500 numer klaki Poprzednia meoda Proponowana meoda Rys.4. Warości współczynnika SSIM dla esymacji ła uzyskanej poprzednią meodą hybrydową oraz proponowaną meodą zmodyfikowaną Wyniki oceny podobieńswa referencyjnego obrazu ła oraz uzyskanych esyma zosały wyznaczone dla ej samej liczby próbek słuŝących do esymacji mediany (N=61) z odsępem czerech klaek (co odpowiada warości M=5), przy czym dla proponowanej meody przyjęo K=25 warości poddanych uśrednianiu. Przykładowe klaki sekwencji esowej, referencyjny obraz ła oraz zaznaczone piksele sklasyfikowane jako ła zosały przedsawione na rysunku 5. 1751
Rys.5. Przykładowy obraz wejściowy (klaka sekwencji esowej), referencyjny obraz ła oraz obraz z zaznaczonymi pikselami sklasyfikowanymi jako ło 5. WNIOSKI Uzyskane rezulay świadczą o poprawie zbieŝności meody, co pozwala na poprawę dokładności działania algorymów śledzenia pojazdów, w kórych wykorzysywana jes esymacja ła w celu jego usunięcia z obrazu wejściowego dla algorymu śledzenia ruchu. Zaproponowane podejście łączy zaley zarówno algorymu medianowego, jak równieŝ algorymów liniowych, czyli średniej ruchomej oraz wygładzania wykładniczego. Efeky zasosowania obu rodzaju algorymów w sposób niezaleŝny zosały przedsawione w posaci graficznej we wcześniejszym arykule [5], przy czym waro zwrócić uwagę na wraŝliwość obu meod na pojawiające się ruchome obieky, co zosało w znacznej mierze zredukowane w proponowanym algorymie. 6. BIBLIOGRAFIA [1] Cucchiara, R., Grana, C., Piccardi, M., Prai, A. Deecing Moving Objecs, Ghoss and Shadows in Video Sreams. IEEE Transacions on Paern Analysis and Machine Inelligence vol. 25, no. 10, sr. 1337 1342, 2003. [2] Eskicioglu, A. Qualiy Measuremen for Monochrome Compressed Images in he Pas 25 Years. Proceedings of he Inernaional Conference on Acousics Speech & Signal Processing, sr. 1907 1910, Isanbul, Turkey, 2000. [3] Maddalena, L., Perosino, A. A Self-organizing Approach o Background Subracion for Visual Surveillance Applicaions. IEEE Transacions on Image Processing, vol. 17, no. 7, sr. 1168 1177, 2008. [4] Okarma, K., Mazurek, P. Background Esimaion Algorihm for Opical Car Tracking Applicaions. Machinebuilding and Elecrical Engineering no. 7 8, sr. 7 10, 2006. [5] Okarma, K., Mazurek, P. Nonlinear background esimaion mehods for video vehicle racking sysems. Archives of Transpor Sysems Telemaics vol. 4 issue 4, sr. 42 48, 2011. [6] Piccardi, M. Background subracion echniques a review. Proceedings of he IEEE Inernaional Conference on Sysems, Man and Cyberneics, The ague, Neherlands, sr. 3099 3104, Ocober 2004. [7] Reddy, V., Sanderson, C., Lovell, B.C. A Low-Complexiy Algorihm for Saic Background Esimaion from Cluered Image Sequences in Surveillance Conexs. EURASIP Journal on Image and Video Processing, Aricle ID 164956, 14 sr., 2011. [8] Wang, Z., Bovik, A., Sheikh,., Simoncelli, E. Image Qualiy Assessmen From Error Measuremen o Srucural Similariy. IEEE Transacions on Image Processing, vol. 13, no. 4, sr. 600 612, 2004. 7. PODZIĘKOWANIA Arykuł powsał dzięki wsparciu w ramach granu Miniserswa Nauki i Szkolnicwa WyŜszego nr N509 399136 Esymacja rajekorii ruchu pojazdów z wykorzysaniem analizy bayesowskiej oraz algorymów cyfrowego przewarzania obrazów. 1752