Optymalizacja systemów Laboratorium - problem detekcji twarzy autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, P. Klukowski Cel zadania Celem zadania jest zapoznanie się z gradientowymi algorytmami optymalizacji w zastosowaniu do uczenia modelu regresji logistycznej oraz zaimplementowanie rozwiązania w środowisku MATLAB. Detekcja twarzy jako problem klasyfikacji Problem detekcji twarzy na obrazie polega na zaklasyfikowaniu wybranych fragmentów obrazu jako twarzy człowieka. Korzystając z techniki okna przesuwnego (ang. shifting window) obraz dzielony jest na prostokąty, na których dokonywana jest klasyfikacja. Każdy wyszczególniony fragment obrazu opisany jest za pomocą wektora cech φ = (φ 1... φ D ) T otrzymanych za pomocą deskrytporów HOG (ang. Histogram of Oriented Gradients). 1 Dla każdego fragmentu obrazu należy rozwiązać problem klasyfikacji z dwoma klasami y {0, 1}, polegający na przypisaniu fragmentowi obrazu etykiety twarzy, y = 1, lub braku twarzy, y = 0. Zdefiniujmy prawdopodobieństwo wystąpienia twarzy na zadanym fragmencie obrazu reprezentowanym przez cechy φ za pomocą sigmoidalnej funkcji logistycznej: p(y = 1 φ, w) = σ(w T φ), (1) gdzie w oznacza D-wymiarowy wektor parametrów, sigmoidalna funkcja logistyczna: σ(a) = 1 1 + exp( a). (2) Klasyfikacja zadanego fragmentu odbywa się poprzez sprawdzenie, czy prawdopodobieństwo wystąpienia twarzy jest większe niż zadana wartość progowa θ [0, 1]: y 1, jeśli p(y = 1 φ, w) θ, = 0, w przeciwnym przypadku. Klasyfikator w tak podanej postaci nazywa się regresją logistyczną. 1 Sposób otrzymania deksryptorów nie jest istotny dla zadania i jest pominięty w opracowaniu. Zainteresowanych odsyłamy do Wikipedii, gdzie można znaleźć odnośniki do prac źródłowych http://en.wikipedia.org/wiki/ Histogram_of_oriented_gradients. (3) 1
Uczenie modelu jako problem optymalizacji Dla tak określonego problemu detekcji twarzy kluczowym aspektem jest wyznaczenie parametrów w, czyli nauczenie modelu. Zakładamy, że dysponujemy zbiorem treningowym D = {φ n, y n } N n=1, tj. zestawem fragmentów obrazów reprezentowanym przez cechy HOG wraz z etykietą y n {0, 1}, czy na fragmencie widnieje twarz, czy nie. W celu uczenia modelu wykorzystamy metodę maksymalnej wiarygodności (ang. maximum likelihood). Wprowadźmy następujące oznaczenie: σ n σ(w T φ n ). (4) Zmienna losowa y jest zmienną binarną, dlatego funkcja wiarygodności przyjmuje następującą postać: p(d w) = Biorąc ujemny logarytm otrzymujemy: ln p(d w) = N n=1 σ yn n (1 σ n ) 1 yn. (5) N ( yn ln σ n + (1 y n ) ln(1 σ n ) ). (6) n=1 Zadanie wyznaczenia wartości parametrów minimalizujących negatywny logarytm funkcji wiarygodności jest zadaniem optymalizacji bez ograniczeń: minimalizuj (po w) ln p(d w) Zauważmy, że postać σ n zależy od parametrów w, co uniemożliwia wyznaczenia analitycznego rozwiązania (6). Dlatego należy posłużyć się rozwiązaniem numerycznym. W tym celu zastosujemy gradientowe algorytmy optymalizacji. Algorytm gradientu prostego Oznaczmy naszą funkcję celu jako F (w) = ln p(d w). Algorytm gradientu prostego przedstawiono poniżej. Aby móc go zastosować należy wyznaczyć gradient w F (w). 2
Algorithm 1: Algorytm gradientu prostego Wejście : Punkt startowy x 0 domf, dokładność ε, krok η Wyjście: Punkt optymalny x dla funkcji F 1 x x 0 ; 2 while x x old 2 ε do 3 x old x; 4 x x F (x); 5 x x + η x; 6 end Implementacja w środowisku Matlab W Matlabie funkcję celu do algorytmu optymalizacji przekazuje się przez tzw. wskaźnik na funkcję, aby algorytm mógł ją wywoływać. Przykładowo dla funkcji zależnej od kilku argumentów: [L,grad] = f(arg1,arg2,arg3,arg4) możemy zdefiniować wskaźnik na funkcję poleceniem: obj f=@(arg1,arg2)(f(arg1,arg2,value3,value4)) Wtedy zmienną obj f możemy przekazać jako argument do innej funkcji, a wywołanie obj f(value1,value2) jest równoznaczne z f(value1,value2,value3,value4) Mając zdefiniowany wskaźnik na funkcję można go wykorzystać we własnej implementacji algorytmów gradientu prostego, jak również przekazać go do implementacji dostępnych w środowisku Matlab, które są dostępne pod postacią funkcji fminunc(f obj,x0). Jej specyfikację można znaleźć na stronie http://www.mathworks.com/help/optim/ug/fminunc.html. Funkcja pobiera jako argument wskaźnik na funkcję w postaci przedstawionej powyżej (f obj) oraz punkt początkowy procesu optymalizacji (x 0). Testowanie poprawności działania Do sprawdzania poprawności działania zaproponowanych rozwiązań służy funkcja main w pliku main.m. W pliku main.m nie wolno czegokolwiek zmieniać ani dopisywać. 3
Zadanie do wykonania (5 pkt.) Po zaprezentowaniu działającego programu, prowadzący zadaje do kilku pytań kontrolnych mających na celu sprawdzenie poziomu zrozumienia zaimplementowanego w zadaniu kodu. Punkty są przyzwanane wyłącznie na podstawie udzielonych odpowiedzi, co oznacza że samo zaimplementowanie kodu, bez jego zrozumienia, nie gwarantuje uzyskania punktów. 1. Zaimplementować funkcję sigmoidalną (2) w pliku sigmoid.m. 2. Wyznaczyć gradient funkcji celu (6), następnie zaimplementować jej wartość oraz wartość gradientu w pliku logistic cost function.m. 3. Zaimplementować funkcję wyznaczającą wartości parametrów w za pomocą algorytmu gradientu prostego w pliku gradient descent.m. Funkcja dodatkowo ma zwracać wartości funkcji celu dla każdej iteracji algorytmu. UWAGA! Wszelkie nazwy funkcji i zmiennych w plikach *.m muszą pozostać zachowane. Zmiana jakichkolwiek nazw i dodanie fragmentów kodu poza wskazanymi miejscami skutkować będzie otrzymaniem 0 pkt. Pytania kontrolne (5 pkt.) Prowadzący zadaje do kilku pytań kontrolnych osobie oddającej zadanie. Lista przykładowych pytań: 1. Wyznaczyć pochodną sigmoidalnej funkcji logistycznej. Zapisać ją jedynie przy pomocy wartości funkcji sigmoidalnej σ(a). 2. Wyznaczyć gradient funkcji celu (6). 3. Co to są algorytmy gradientowe? Jakich wymagają własności od funkcji celu? Do jakich problemów się je stosuje? 4. Za co odpowiada η w algorytmie gradientu prostego? Jak zachowuje się algorytm dla małych i dużych wartości tego parametru? 5. Kiedy algorytm gradientu prostego będzie zbieżny, a kiedy nie? Odpowiedź uzasadnić graficznie (narysować). 6. Jakie mogą być inne warunki stopu kończące działanie algorytmu? Wymienić trzy różne. Czy można je ze sobą łączyć? 4
7. Jaka jest różnica pomiędzy minimum lokalnym i globalnym? Dla jakiej klasy funkcji algorytm gradientu prostego pozwala na znalezienie minimum globalnego? 8. Na czym polega problem optymalizacji przedstawiony w zadaniu? Co jest zmiennymi decyzyjnymi, a co funkcją celu? 9. W jaki sposób zmodyfikować algorytm gradientu prostego, aby rozwiązywał zadanie maksymalizacji? Czy można ten sam efekt osiągnąć poprzez modyfikację funkcji celu? 10. Jaka jest złożoność obliczeniowa liczenia gradientu w powyższym zadaniu? Jak zależy ona liczby przykładów uczących oraz od liczby parametrów w? 5