Wizyjny algorytm wyznaczania obszarów zainteresowania zrealizowany w oparciu o zredukowaną ilość przechowywanej informacji

Transkrypt

1 LECH Piotr 1 Wizyjny algorytm wyznaczania obszarów zainteresowania zrealizowany w oparciu o zredukowaną ilość przechowywanej informacji WSTĘP Wyznaczanie regionów zainteresowania ROI [5] (ang. Region Of Interest) jest elementem wstępnego przetwarzania obrazów mającego za zadanie zmniejszenie ilości przetwarzanej informacji. Dodatkowo obszar ten jest powiązany z dowolnymi kryteriami określającymi jakie cechy ma spełniać wnętrze wyznaczonego obszaru. Wielokrotne wyznaczenie obszaru obrazu poddawanego dalszej obróbce odbywa się manualnie i polega na zaznaczeniu przez operatora obszaru, który ma podlegać analizie np. w systemach identyfikujących numery rejestracyjne samochodów. Szerokie jest spektrum zastosowań algorytmów ROI począwszy od zastosowań w cyfrowej obróbce obrazów medycznych po informatyczne systemy stosowane w logistyce np. systemy zliczające samochody, detekcja przeszkód na drodze. Istnieją różne podejścia pozwalające określić obszary ROI. Wielokrotnie w toku przetwarzania, w szczególności przy obróbce klatek wideo, pochodzących z systemów wizyjnych krytycznym aspektem jest minimalizacja czasu niezbędnego dla wyznaczenie obszarów zainteresowania. Jedną z metod znacznie zmniejszającą koszt algorytmu jest ograniczenie ilości przetwarzanej informacji. W celu redukcji elementów analizowanego obrazu zastosowano metodę Monte Carlo (w skrócie MMC). Systemy wizyjne, jeśli mają pracować w czasie rzeczywistym, muszą stosować wysoko wydajne algorytmy cyfrowego przetwarzania obrazów. Proponowane rozwiązanie opiera się na analizie pojedynczej klatki uzyskanej z systemu wizyjnego. Znanych jest dużo różnorodnych metod wyznaczania ROI, działanie wielu z nich można znacznie przyspieszyć stosując ograniczenie ilości danych do analizy. Popularne często implementowane praktycznie algorytmy: tworzenie ROI na podstawie geometrii, tworzenie ROI z informacji zawartej w pikselach, tworzenie ROI na podstawie sąsiedztwa pikseli, tworzenie ROI na podstawie progów binaryzacji obrazu. Nie we wszystkich wymienionych wyżej algorytmach wyznaczania ROI można zastosować metodę redukcji ilości materiału do analizy. Jedynie techniki tworzenia ROI z informacji zawartej w pikselach oraz opartej na wyznaczeniu progów binaryzacji mogą być użyte. 1. IDEA MMC OGRANICZENIA ILOŚCI PRZETWARZANEJ INFORMACJI Prezentowany algorytm opiera się na redukcji ilości przetwarzanych elementów obrazu metodą Monte Carlo. W tym celu dokonujemy N losowań współrzędnych pikseli obrabianego obrazu. Otrzymane wartości przechowywane są w wektorze V, który będzie nową reprezentacją obrazu do dalszej analizy. Algorytm redukcji informacji przedstawiono na Rysunku 1. Technicznie w implementacji praktycznej wektor V może być zastąpiony przez tablicę zawierającą wylosowane współrzędne, a informacja związana z pikselem będzie przechowywana w oryginalnym obrazie. Do losowań użyty powinien być generator liczb pseudolosowych o rozkładzie równomiernym o dobrych własnościach statystycznych. Informacja dotycząca konkretnego piksela zawarta w wektorze musi być zgodna z oryginalną reprezantacją piksela w obrazie pierwotnym. Algorytm jest uniwersalny i działa niezależnie od sytemu reprezentacji barw, zapisu liczb itp. Wszelkie konwersje obrazu są dostępne i identyczne z dostępnymi dla oryginału. 1 Katedra Przetwarzania Sygnałów i Inżynierii Multimedialnej, Zachodniopomorski Uniwersytet Technologiczny w Szczecinie ul. 26. Kwietnia 10, Szczecin, piotr.lech@zut.edu.pl 3674

2 Istnieją dwie techniki tworzenia wektora V : poprzez losowanie niezależne współrzędnych x i y piksela, wymaga użycia dwóch losowań, przekształcenie obrazu do wirtualnego wektora przechowującego piksele i losowanie z niego indeksu piksela. Jest to znacznie szybsza metoda wymagająca użycia pojedynczego losowania. Wektor obrazu jest wirtualny, ponieważ wszelkie elementy obrazu przechowywane są w pierwotnej strukturze a indeks wektora jest na bieżąco wyliczany. W dalszej części pracy będziemy posługiwali się pierwszą z tych metod ze względu na jej przejrzystość i prostą implementacje. Jednocześnie analiza ilościowa oraz progowanie metodą Otsu [7] przy zredukowanej ilości informacji są podstawą proponowanego w pracy rozwiązania. Rys. 1. Idea redukcji przechowywanej informacji Analiza MMC informacji związanych z określoną cechą pikseli Zagadnienie globalnej analizy obrazu - związanej z określonymi cechami pojedynczych pikseli - wymaga przeanalizowania wszystkich elementów obrazu co jest operacją czasochłonną, w szczególności kiedy mamy do dyspozycji obrazy o dużej rozdzielczości. Zagadnienia rozpatrywane w kategorii ilościowej pozwalają nam odpowiedzieć na pytania dotyczące pewnych cech obrazu np.: ile pikseli jest koloru czerwonego? ile pikseli mieści się w określonym przedziale? jaki kolor jest dominujący? W większości przypadków wystarczy nam do dalszej analizy przybliżenie oczekiwanej wartości. Korzystając z uproszczonej reprezentacji obrazu przechowywanej w wektorze V możemy przez testowanie każdego z elementów z odpowiednio sprecyzowanym warunkiem logicznym określić pożądaną cechę obrazu. Przykładowo, kiedy chcemy określić ile pikseli posiada określoną wartość luminancji wystarczy zsumować wartości pikseli, dla których wartość luminancji jest równa założonej. W tym przypadku użycie MMC jest równoznaczne z przybliżeniem wartości tej sumy. Klasycznym zastosowaniem metody Monte Carlo jest estymacja wartości całek. Na Rysunku 2 przedstawiono estymowane wartości sumy wszystkich pikseli przynależnych do określonej luminancji. W celu obliczenia wyników przybliżonych należy otrzymane sumy przeskalować uwzględniając całkowitą ilość pikseli w obrazie i liczbę losowań dzieląc wartość otrzymanej sumy przez liczbę losowań N a następnie otrzymany wynik mnożąc przez całkowitą ilość pikseli w obrazie. 3675

3 Rys. 2. Wykres rzeczywistej i estymowanych wartości sumy wszystkich pikseli o określonej luminancji (=100) dla obrazu testowego z Rysunku 3. Prezentowana metoda wprowadza błędy zmniejszające się co do wielkości wraz ze wzrostem losowań, wartością graniczną jest wartość rzeczywista sumy pikseli posiadających określoną cechę Binaryzacja MMC Otsu Prowadzone powyżej rozważania związane z estymacją sumy określonej cechy pikseli obrazu, stają się podstawą do tworzenia przybliżonego histogramu obrazu [3]. Przykładowo dla obrazu w odcieniach szarości estymowanie sum dla każdej wartości luminacji jest tożsama z wyznaczeniem przybliżonego histogramu. W Tabeli 1 zawarto wartości współczynników korelacji [2] między histogramami MMC i rzeczywistymi przy różnej wartości N losowań (dla zdjęcia z Rysunku 3). Tab. 1. Korelacja między oryginalnym i estymowanym histogramem. N współczynnik korelacji Wiele metod dokonujących binaryzacji obrazów korzysta z histogramu do wyznaczenia progu binaryzacji. Jedną z metod bardzo dobrze radzącą sobie z wyznaczaniem progu binaryzacji, na podstawie uproszczonego histogramu, jest metoda Otsu. Na Rysunku 3 przedstawiono obraz oryginalny, jego wersję binarną zrealizowaną za pomocą metody Otsu i MMC Otsu oraz histogram pełny i przybliżony dla różnych wartości N. Wyznaczanie histogramu MMC jest głównym czynnikiem powodującym znaczne skrócenie obliczeń związanych ze wstępną analizą obrazów. W ramach testów przebadano 100 zdjęć testowych specjalnie wybranych do weryfikacji poprawności wyznaczania progów binaryzacji [8]. 3676

4 Oryginalny obraz łączna ilość pikseli obraz binarny próg= histogram N=10 estymowany próg = histogram MMC N=100 estymowany próg = histogram MMC N=1000 estymowany próg = histogram MMC Rys. 3. Wyniki działania wyznaczania obrazów binarnych za pomocą metody Otsu i MMC Otsu. 2. KONCEPCJA AUTOMATYCZNEGO WYZNACZANIA ROI Istotą automatycznego wyznaczania ROI jest podział pierwotnego obrazu na stałą zdefiniowaną ilość kwadratowych lub prostokątnych obszarów. Każdy z tych obszarów traktowany jest jako nowy niezależny obraz, dla którego metodą Monte Carlo jest wyznaczana uprzednio zdefiniowana cecha. Określenie przylegających do siebie grup obszarów o tych samych własnościach i powtórne ich scalenie staje się wyznacznikiem poszukiwanego ROI. Analiza ograniczona tylko do wyznaczonych 3677

5 obszarów znacznie przyspiesza działania wielu algorytmów np. detekcji obiektów, rozpoznawania i klasyfikacji obiektów [1]. Ideę z wykorzystaniem wyżej prezentowanych algorytmów przedstawia Rysunek 4. Rys. 4. Wizualizacja idei podziału obrazu na bloki. Podział na bloki i traktowanie bloku jako niezależnego obrazu, umożliwia łatwą adaptację prezentowanych algorytmów do przetwarzania równoległego, co daje dalsze możliwości skrócenia czasu obliczeń. 3. WERYFIKACJA POPRAWNOŚCI DZIAŁANIA NA BAZIE TESTOWYCH OBRAZÓW Weryfikację przeprowadzono w oparci o bazę obrazów testowych pochodzących z zasobów INRIA Car Dataset. Baza składa się z obrazów o różnej rozdzielczości i jest podstawą do weryfikacji algorytmów rozpoznawania obiektów. Badanie polegało na wyznaczeniu obszaru obrazu testowego zajmowanego na obrazie przez samochód metodą binaryzacji obrazu. Regiony zainteresowania określone zostały w oparciu o przynależność do elementów obrazu nie będących zerem (tło) i określonym udziale procentowym w bloku jedynek (obiekt). W Tabeli 2 przedstawiono liczbę bloków przypadających na wyznaczone ROI dla parametrów kryterium automatyzacji procesu określenia ROI wyznaczonymi metodami klasycznymi i Monte Carlo. Uwzględniono różne wielkości bloków i różną ilość losowań Wraz ze zwiększaniem wartości liczby losowań zauważono zjawisko wzrostu ilości zidentyfikowanych bloków o bloki błędnie zaklasyfikowane do ROI. Tab. 2. Zestawienie wyników dla pojedynczego zdjęcia z bazy testowej o rozmiarze 512x512 pikseli. N Blok [piksel x piksel] suma bloków ROI suma bloków MMC ROI 10 32x x x x x x x x x

6 WNIOSKI Prezentowane w pracy algorytmy mogą być stosowane ze względu na niski koszt obliczeń w systemach czasu rzeczywistego. Podział obrazu na niezależne bloki umożliwia prowadzenie obliczeń równolegle. Opisane metody dają wyniki przybliżone, których błąd rośnie wraz ze zmniejszaniem liczby losowań, stąd konieczny jest kompromis między czasem trwania wykonywania obliczeń a ich dokładnością. Należy zwrócić uwagę na to, że zbyt duża wartość losowań może być przyczyną wzrostu błędnych klasyfikacji do obszaru zainteresowań. Badania dostarczyły wielu wyników z pomiarów przy różnych parametrach, wskazane jest w przyszłości zbadanie wpływu rozmiarów bloków oraz wartości liczby losowań na poprawność wyboru ROI. Streszczenie W pracy przedstawiono metodę bazującą na technikach wizyjnych wyznaczania obszaru zainteresowania (ang. region of interest ROI) dla obrazów cyfrowych lub sekwencji wideo. Opisany algorytm bazuje na uproszonej strukturze opisującej pierwotny obraz cyfrowy uzyskany przy pomocy metody Monte Carlo. Obraz podzielony jest na bloki. Opracowana struktura prócz uproszczonej informacji o obrazie może zawierać wstępnie wyznaczone parametry opisujące obraz np. histogram. Poprzez analizę zapisów z poszczególnych klatek wideo zapisanych w takiej strukturze można określić np. obszary o określonej częstości zmian itp. Poprzez odpowiednie kształtowanie kryteriów, na podstawie których dokonujemy wyboru ROI możemy użyć opracowany algorytm do śledzenia ruchomych obiektów (samochodów itp.) bez ich identyfikacji, wyznaczania obszarów do filtracji cyfrowej pierwotnego obrazu lub wyznaczenia potencjalnego miejsca w obrazie, w którym np. znajduje się tablica rejestracyjna samochodu. Opracowany algorytm może współpracować z sekwencjami wideo lub pojedynczym zdjęciem. W związku z działaniem w oparciu o uproszczoną strukturę jest to algorytm o niskim koszcie obliczeniowym umożliwiającym pracę w czasie rzeczywistym wraz z zrównolegleniem obliczeń. The algorithm to determining regions of interest based on machine vision and the reduced volume of picture information Abstract The paper presents a method based on machine vision techniques for determining the region of interest ( ROI ) for digital images or video sequences. The algorithm is based on the simple data structure incoming from the image obtained using the Monte Carlo method. The image is divided into blocks. The simplified structure is prepared for each one. This structure of an image can be used to calculate parameters describing the image such as a histogram. By analyzing the records of each video frame stored in such a structure can be determined, for example areas with some changes. By shaping the criteria by which we choose the ROI we use this algorithm: to track moving objects (cars, etc.) without their identification, designation of regions for digital filtering of the original image, for searching a potential place in the image where is a license plate of the car. The proposed algorithm can work with video sequences or single images. It is an algorithm with low computational cost and permitting to operation in real time. This algorithm is useful for parallel computation. BIBLIOGRAFIA 1. Carbonetto P., Learning with little supervision to recognize objects. International Journal of Computer Vision (2008): Imamura, K., Kuroda, H., Fujimura, M.: Image content detection method using correlation coecient between pixel value histograms. In: Kim, T., Adeli, H., 3. Lech, P., Okarma,K., Tecław M., A fast histogram estimation based on the Monte Carlo method for image binarization, Advances in Intelligent Systems and Computing vol Image Processing and Communications Challenges 5, Springer Verlag, 73-80, Lima, J.B., Campello de Souza, R.M.: Histogram uniformization for digital image encryption. In: Proc. 25th SIBGRAPI Conf. Graphics, Patterns and Images, pp. 55{62 (2012) 5. Nieto-Castanon, A., ROI-Based analysis of functional imaging data. CAS/CNS Technical Report Series 010 (2010). 3679

7 6. Okarma, K., Lech, P.: Monte Carlo based algorithm for fast preliminary video analysis. In: Bubak, M., van Albada, G.D., Dongarra, J., Sloot P.M.A. (eds.) ICCS LNCS, vol. 5101, pp. 790{799. Springer, Heidelberg (2008) 7. Otsu, A.: Threshold selection method from gray-level histograms. IEEE Trans.Systems, Man, and Cybernetics 9(1), 62{66 (1979) 8. Papageorgiou C,. and Poggio T. A trainable system for object detection. IJCV,