Wizualizacja danych sensorycznych. Rozpoznawanie podstawowych figur geometrycznych z wykorzystaniem kamerki internetowej.

Transkrypt

1 Wizualizacja danych sensorycznych Rozpoznawanie podstawowych figur geometrycznych z wykorzystaniem kamerki internetowej Mariusz Rachuta Wrocław, 11 czerwca 2009 roku

2 1 Wstęp Celem projektu jest opracowanie oprogramowania, które wykorzystując kamerę internetową, umożliwi rozpoznawanie określonych obiektów w czasie rzeczywistym. Cyfrowe przetwarzanie obrazów jest szeroką dziedziną. Zajmuje się reprezentacją obrazu w postaci cyfrowej oraz algorytmami jego przetwarzania, które pełnią wiele funkcji, m.in.: wykrywają krawędzie, filtrują obraz, jak i przeprowadzają różne transformacje geometryczne. Operacje te maja najczęściej na celu znalezienie oraz zidentyfikowanie różnych obiektów na obrazie. W projekcie natomiast zostanie zaprezentowane inne podejscie, opartne na odpowiednio wytrenowanym kaskadowym klasyfikatorze bazującym na własnościach Haara (Haar-like features). 2 Klasyfikator Haara Obrazy, dostarczane przez kamerę internetową, na których znajduje się poszukiwany obiekt, zawierają wiele utrudnień tj. nierównomierne oświetlenie, zróżnicowana kolorystyka obiektu, jak i to, że najczęśniej obiekt nie jest skierowany na wprost kamery, tylko jest lekko obrócony w którymś kierunku. Trudno w takim przypadku odszukać jednoznaczne cechy, które mogłyby posłużyć do efektywnego wykrycia obiektu. W takim przypadku wykorzystuje się model statystyczny (klasyfikator). 2.1 Sposób działania klasyfikatora Haara Klasyfikator Haara w celu zlokalizowania poszukiwanego obiektu na obrazie stosuje technikę przesuwnego okna. Detekcja realizowana jest poprzez przesuwanie okna przeszukiwania wzdłuż obrazu i sprawdzaniu przynależności aktualnego regionu do poszukiwanej klasy obiektów. Klasyfikator jest skalowalny, dzięki czemu może wykrywać elementy niezależnie od ich wielkości. Każda cecha (rysunek 1) jest opisywana poprzez swój szablon (związany z jej kształtem), pozycję względem okna przeszukiwania i rozmiar (współczynnik skali). Składa się z dwóch lub trzech połączonych białych i czarnych prostokątnych obszarów ustawionych pionowo lub obróconych o kąt 45 [2]. Szczegółowy opis działania algorytmu można znaleźć w pracy [1]. Rysunek 1: Cechy wykorzystywane w klasyfikacji 2.2 Konstrukcja własnego klasyfikatora Haara Aby użyć klasyfikatora, najpierw trzeba go wytrenować. Umożliwia to użyta w projekcie biblioteka OpenCV [3] [4]. Zawiera ona narzędzia potrzebne do tworzenia oraz wykorzystania klasyfikatorów Haara w swoim projekcie. 1

3 Wytrenowany klasyfikator jest zapisywany w postaci pliku XML, który następnie wczytujemy w programie i używamy do detekcji obiektów. Narzędzia służące do stworzenia własnego klasyfikatora znajdują się w podkatalogu bin katalogu głównego biblioteki. Natomiast opis ich użycia znajduje się w katalogu apps/haartraining/doc/. Niestety nie jest on kompletny i użycie tych narzędzi sprawiło dużo problemów. Jednak ostatecznie udało się go uruchomić, a poszczególne etapy trenowania klasyfikatora zostaną opisane w kolejnych podrozdziałach. 2.3 Tworzenie zbioru obrazów uczących Proces uczenia takiego klasyfikatora, w odniesieniu do konkretnego obiektu, wymaga wygenerowania zestawu próbek pozytywnych (zawierających obiekt) oraz próbek negatywnych (obrazy nie zawierające poszukiwanego obiektu). Te dwa zbiory tworza tzw. zestaw uczący, z którego w trakcie uczenia, wydobywane są rozmaite cechy obiektu. Spośród nich wybierane są te, które reprezentują poszukiwany obiekt najlepiej i dzięki temu mogą być wykorzystane do klasyfikacji [2]. Zbiory uczące powinny być jak największe, nawet do 5000 próbek pozytywnych, jak i negatywnych. Możemy utworzyć zbiór próbek (jak i obrazów testowych, wykorzystywanych później do testowania klasyfikatora), wykorzystując narzędzie opencv_createsamples. Lista opcji z jakimi możemy wywołać tę aplikację jest następująca:./opencv_createsamples [-info <collection_file_name>] [-img <image_file_name>] [-vec <vec_file_name>] [-bg <background_file_name>] [-num <number_of_samples = 1000>] [-bgcolor <background_color = 0>] [-inv] [-randinv] [-bgthresh <background_color_threshold = 80>] [-maxidev <max_intensity_deviation = 40>] [-maxxangle <max_x_rotation_angle = >] [-maxyangle <max_y_rotation_angle = >] [-maxzangle <max_z_rotation_angle = >] [-show [<scale = >]] [-w <sample_width = 24>] [-h <sample_height = 24>]slj Program createsamples można użyć na cztery różne sposoby (co może być trochę dezorentujące): do tworzenia próbek na podstawie jednego obrazu zawierającego szukany obiekt, na podstawie kilku takich obrazów, do tworzenia obrazów testowych oraz do wyświetlania wektora utworzonych w ten sposób obrazów. Zajmijmy się pierwszą funkcją tworzenie próbek na podstawie jednego obrazka. Użycie tej funkcji wymaga wywołania programu, co najmniej z opcjami -img, -bg, -vec oraz utworzenia pliku negatywy.txt o przykładowej zawartości: img/obrazek1.jpg img/obrazek2.jpg img/obrazek3.jpg... Poniższe wywołanie spowoduje wygenerowanie, na podstawie jednego zdjęcia zawierajacego poszukiwany obiekt, 50 próbek o wymiarach 20x20 pikseli, z których każda będzie miała inne tło../opencv_createsamples -img trojkat.png -num 50 -bg negatywy.txt -vec trojkat.vec 2

4 -maxxangle 0.6 -maxyangle 0.6 -maxzangle 0.3 -maxidev 100 -bgcolor 1 -bgthresh 0 -w 20 -h 20 Lepszej jakości (bardziej różnorodne) próbki uzyskamy, jeśli wzorcem będzie kilka zdjęć tego samego, nieznacznie różniącego się, obiektu. Wtedy powinniśmy posłużyć się poleceniem:./opencv_createsamples -info samples.dat -vec samples.vec -w 20 -h 20 Format pliku samples.dat powinien być następujący: img/img1.jpg img/img2.jpg img/img3.jpg gdzie po nazwie pliku jest kolejno liczba poprawnych obiektów oraz współrzedne prostokątów w których poszukiwane obiekty się znajdują. Utwórzmy jeszcze obrazy testowe, które użyjemy później do testowania naszego klasyfikatora../opencv_createsamples -img trojkat.png -num 50 -bg negatywy.txt -info testtrojkat.dat -maxxangle 0.6 -maxyangle 0.6 -maxzangle 0.3 -maxidev 100 -bgcolor 1 -bgthresh 0 Ostatnią funkcją, w jakiej możemy wykorzystać program opencv_createsamples, to wyświetlanie wektora wygenerowanych próbek:./opencv_createsamples -vec samples.vec -w 20 -h Trenowanie klasyfikatora Teraz możemy przejść do trenowania klasyfikatora. Służy do tego program opencv_haartraining, który jest dostępny z następującymi opcjami../opencv_haartraining -data <dir_name> -vec <vec_file_name> -bg <background_file_name> [-npos <number_of_positive_samples = 2000>] [-nneg <number_of_negative_samples = 2000>] [-nstages <number_of_stages = 14>] [-nsplits <number_of_splits = 1>] [-mem <memory_in_mb = 200>] [-sym (default)] [-nonsym] [-minhitrate <min_hit_rate = >] [-maxfalsealarm <max_false_alarm_rate = >] [-weighttrimming <weight_trimming = >] [-eqw] [-mode <BASIC (default) CORE ALL>] [-w <sample_width = 24>] [-h <sample_height = 24>] [-bt <DAB RAB LB GAB (default)>] [-err <misclass (default) gini entropy>] [-maxtreesplits <max_number_of_splits_in_tree_cascade = 0>] [-minpos <min_number_of_positive_samples_per_cluster = 500>] 3

5 Poniższe wywołanie programu trenuje klasyfikator o nazwie trojkat, na podstawie wektora 50 obrazów pozytywnych trojkat.vec oraz 20 obrazów negatywnych ze ścieżkami w pliku negatywy.txt. Klasyfikator będzie zbudowany maksymalnie z 20 stopni. Opcja -sym informuje o tym, że poszukiwany obiekt jest symetryczny, a -mode ALL, że zostanie użyty rozszerzony zbiór cech haara../opencv_haartraining -data trojkat -vec trojkat.vec -bg negatywy.txt -nstages 15 -nsplits 2 -minhitrate maxfalsealarm 0.5 -npos 50 -nneg 20 -w 20 -h 20 -sym -mode ALL 2.5 Sprawdzanie wytrenowanego klasyfikatora Po wytrenowaniu klasyfikatora można go wytestować za pomocą programu opencv_performance, który można wywołać z następującymi opcjami: Usage:./opencv_performance -data <classifier_directory_name> -info <collection_file_name> [-maxsizediff <max_size_difference = >] [-maxposdiff <max_position_difference = >] [-sf <scale_factor = >] [-ni] [-nos <number_of_stages = -1>] [-rs <roc_size = 40>] [-w <sample_width = 24>] [-h <sample_height = 24>]k Przykładowe wywołanie:./opencv_performance -data trojkat.xml -info testtrojkat.dat W efekcie jego działania otrzymamy tabelę statystyk, w której jest zawarta m.in. informacja o liczbie obiektów znalezionych poprawnie, nie znalezionych oraz znalezionych błędnie. +================================+======+======+======+ File Name Hits Missed False +================================+======+======+======+ 0001_0153_0054_0004.jpg Total ================================+======+======+======+ Number of stages: 9 Number of weak classifiers: 9 Total time:

6 Wykrywanie prostych figur - eksperymenty W ramach projektu wytrenowano własne klasyfikatory umożliwiające wykrywanie podstawowych obiektów geometrycznych, a konkretnie trójkąta, koła oraz znaku X. Podczas trenowania koniecznie należy pamiętać o odpowiednim ustawieniu opcji symetryczności (-sym lub -nonsym), w zależności od kształtu obiektu. W celu znalezienia najlepiej wytrenowanego klasyfikatora dla każdej z figur przeprowadzono metodą prób i błędów treningi dla różnych parametrów tzn. różnej liczby próbek pozytywnych, próbek negatywnych oraz maksymalnego stopnia klasyfikatora. Ponadto okazało się, że wytrenowanie 20-stopniowego klasyfikatora w przypadku 200 zdjęć negatywnych i tylu samo pozytywnych, na komputerze z procesorem 2 Ghz zajmuje około godzinę. Ponieważ testowane figury nie są skomplikowane, to zadowalające efekty uzyskuje się już dla małej liczby próbek (20 zdjęć negatywnych i pozytywnych). Duże ilości próbek (kilka tysięcy) powinno stosować się w przypadku bardziej skomplikowanych obiektów (np. klasyfikator wykrywający twarz człowieka) Na podstawie wstępnego rozeznania postanowiono przeprowadzić testy dla następujących wartości: 10, 20 i 50 próbek pozytywnych; 10, 20 i 50 próbek pozytywnych oraz od 14 do 19 stopni klasyfikatora. 5

7 3.1 Wykrywanie trójkątów L. stopni Trafionych Nietrafionych Błędnie 10 zdjęć pozytywnych i 10 negatywnych zdjęć pozytywnych i 10 negatywnych zdjęć pozytywnych i 20 negatywnych zdjęć pozytywnych i 50 negatywnych zdjęć pozytywnych i 10 negatywnych Zgodnie z wynikami w tabeli, w przypadku trójkąta, najlepszy klasyfikator udało się wytrenować przy użyciu 10 zdjęć pozytywnych, 10 negatywnych oraz z ograniczeniem -nstages ustawionym na 15. Wyniki działania tego klasyfikatora można zobaczyć na rysunkach 2 i 3. Jak widać program wykrywa trójkąty, jednak tylko te, które są ustawione podstawą względnie równolegle do sfilmowanej klatki (podczas trenowania była ustawiona opcja -sym oraz trudno wymagać od klasyfikatora aż takiej inteligencji ) Widać również, że wykrywa inne rzeczy, czego można było się spodziewać po wynikach z tabeli dla 50 zdjęć testowych 71 trójkątów wykrył błędnie (na każdym zdjęciu testowym był tylko jeden trójkąt). 6

8 Rysunek 2: Wykrywanie trójkątów przykład pierwszy Rysunek 3: Wykrywanie trójkątów przykład drugi 7

9 3.2 Wykrywanie kół Zgodnie z tabelą, dla koła udało się uzyskać bardzo dobrej jakości klasyfikator już przy małej ilości próbek. Wykrył on aż 47 na 50 kół! Jako ostateczny wybrano klasyfikator dla 16 stopni, gdyż miał najmniej błędnych wykryć. L. stopni Trafionych Nietrafionych Błędnie 20 zdjęć pozytywnych i 10 negatywnych zdjęć pozytywnych i 20 negatywnych zdjec pozytywnych i 50 negatywnych zdjec pozytywnych i 10 negatywnych Wykrywanie znaków X Dla znaku X zostało przeprowadzone mniej testów. Okazały się one bardziej czasochłonne niż pozostałe. Przykładowo dla 19-sto stopniowego klasyfikatora po dwóch godzinach nie udało się uzyskać rezultatu i zaprzestano trenowania. Efekt najlepszego z uzyskanych klasyfikatorów można zobaczyć na rysunku 5. 8

10 Rysunek 4: Wykrywanie kół L. stopni Trafionych Nietrafionych Błędnie 10 zdjęć pozytywnych i 10 negatywnych zdjęć pozytywnych i 10 negatywnych Podsumowanie Przeprowadzone eksperymenty dały zadowalające wyniki. Jak widać na zdjęciach klasyfikatory dość dobrze radziły sobie z rozpoznawaniem testowanych figur, choć sam proces znalezienia najlepszego z nich okazał się trudny. Okazuje się, że dla badanych figur dobre klasyfikatory uzyskuje się dla małej liczby zdjęć testowych. Wynika to zapewne z prostoty samych figur (szczególnie koła). Najważniejszym etapem w trenowaniu klasyfikatorów dla bardziej złożonych obiektów jest uzyskanie próbek testowych o dobrych parametrach. Najlepsze są próbki trafnie reprezentujące możliwe odkształcenia obiektu, stąd zapewne dla oryginalnych zdjęć (nie wygenrowanych komputerowo) uzyskanoby lepsze wyniki. 9

11 Rysunek 5: Wykrywanie znaków X Literatura [1] Pual Viola, Michael J. Jones, Rapid Object Detection using a Boosted Cascade of Simple Features, IEEE CVPR, [2] Marcin Namysł Wykorzystanie systemu wizyjnego do rozpoznawania emocji człowieka Praca dyplomowa, magisterska, Wrocław 2008 [3] OpenCV Library - źródła [4] OpenCV Library - dokumentacja 10