Badanie prawdopodobieństwa dostrzeżenia obiektów z zastosowaniem analizy ścieżki wzrokowej Piotr Augustyniak Laboratorium Biocybernetyki AGH, al. Mickiewicza 30, 30-059 Kraków; august@agh.edu.pl Streszczenie: Artykuł przedstawia badanie wpływu atrybutów obiektu na prawdopodobieństwo jego dostrzeżenia przez obserwatora przeprowadzone w kontekście fizjologii widzenia człowieka. Zarządzanie wyrazistością poszczególnych elementów sceny jest podstawą wiodących aplikacji społeczeństwa informacyjnego opartych na wizyjnym interfejsie człowiek-maszyna, projektowania witryn sieciowych i ergonomii. Choć zasady percepcji wizualnej człowieka są stosowane od setek lat w sztuce (malarstwo, rzeźba, architektura), ich znajomość nabiera szczególnego znaczenia dla pochwycenia i utrzymania uwagi obserwatora i hierarchizowania przekazu informacji. Podczas eksperymentu z zastosowaniem zadań wizualnych używano progresywnie modyfikowanych obrazów naturalnych. Dodawane szczegóły były opisane atrybutami barwy, położenia oraz rozmiaru, a ich spostrzeżenie przez obserwatora było wykrywane w zapisie trajektorii ruchu oka. Analiza statystyczna punktów skupienia uwagi pozwoliła określić korelacje prawdopodobieństwa dostrzeżenia obiektu i jego atrybutów korelacje te, określone wyłącznie przy pomocy badań nieinwazyjnych są potwierdzone przez budowę anatomiczną siatkówki oka i fizjologię widzenia. 1. Wstęp Informacja wizualna odgrywa obecnie zasadniczą rolę w wielu aspektach życia. Konkurencja źródeł i hierarchia informacji budowana przez obserwatora jest zwykle uzasadniona prawdopodobieństwem dostrzeżenia (wyrazistością) obiektu. [1-2]. Dlatego prawidłowa kontrola wyrazistości ma zasadnicze znaczenie w wielu zastosowaniach przekazu wizualnego, w tym projektowania plakatów reklamowych, witryn sieciowych, interfejsów człowiekkomputer oraz w ergonomii. Projektant jest nie tylko artystą dbającym o estetykę witryny, ale także menadżerem przekazu informacji ustalającym prawdopodobną kolejność ich odbioru, a zatem i hierarchię w umyśle odbiorcy. Użycie monitorów komputerowych, projektorów i wyświetlaczy wielkoekranowych ułatwia elastyczną aranżację elementów przekazu wizualnego, co uzasadnia potrzebę powszechnej znajomości podstaw percepcji człowieka u projektantów [3-5]. Interesującym przykładem technicznego wykorzystania własności percepcji są algorytmy kompresji wideo i obrazów statycznych. Prowadzone w Laboratorium Biocybernetyki AGH badania mają na celu określenie związku atrybutów elementów obrazu (rozmiaru, barwy i położenia) z prawdopodobieństwem ich dostrzeżenia. Użyta metodyka zadań wizualnych jest znacznie mniej dokładna niż mapowanie pola wizyjnego w pracowni oftalmologicznej, ustępuje także analizie potencjałów aktywacyjnych rejestrowanych za pomocą mikroelektrod z izolowanej siatkówki. Niemniej za jej stosowaniem przemawia możliwość użycia naturalnych obrazów i obiektów, ich wzajemnych kontekstów oraz zaciekawienia obserwatora, które manifestuje się spontanicznym poszukiwaniem informacji wizyjnych. Dzięki temu, analiza postrzegania nie została ograniczona do aspektu fizjologii siatkówki, ale zawiera również wpływ procesu kognitywnego składającego się z częściowo współbieżnych, a częściowo naprzemiennych epizodów pozyskiwania i interpretacji informacji wizualnej [6-8]. Podejście to jest szczególnie interesujące z punktu widzenia zastosowań (projektowanie reklam i witryn, interfejsy człowiek-maszyna i ergonomia) ponieważ pozwala na oszacowanie wyrazistości konkretnych obiektów sceny przez wybraną grupę obserwatorów z użyciem wyłącznie metod nieinwazyjnych.
Pomimo znaczącego wpływy subiektywnego czynnika percepcji na wyniki eksperymentów wizualnych, uzasadnienie ich rezultatów jest zbieżne z aktualną wiedzą o budowie siatkówki oka i fizjologii percepcji człowieka [9-10]. 2. Materiały i metody Metodologia zadań wizualnych zakłada wstępne wyposażenie obserwatora w standaryzowany zasób wiedzy i umotywowanie go do poszukiwania uzupełnień w przedstawionej scenie, niekiedy z nałożeniem dodatkowych ograniczeń czasowych. Obserwator staje się zatem obiektem testu, którego badane własności są reprezentowane w odpowiedzi na bodziec w postaci kontrolowanych zmian otaczającej sceny. Dlatego w eksperymencie wizualnym można wyróżnić dwa etapy: przygotowanie sceny i obiektów o zadanych atrybutach akwizycja i analiza odpowiedzi (ścieżki wzrokowej). W celu ograniczenia wpływu czynnika ludzkiego, fakt spostrzeżenia pokazanego obiektu był identyfikowany na podstawie analizy ścieżki wzrokowej. W zapisie trajektorii ruchu oczu poszukiwany był punkt koncentracji uwagi o współrzędnych odpowiadających położeniu obiektu pojawiający się w interwale czasowym po pojawieniu się bodźca odpowiadającym typowemu zakresowi opóźnień reakcji wizualnych. A. Przygotowanie sceny i obiektów Bodziec był prezentowany obserwatorowi w postaci serii kolejno modyfikowanych obrazów o całkowitym czasie trwania 8 s. Kolejne obrazy w serii różniły się jednym szczegółem, który charakteryzował się zadanymi atrybutami: rozmiarem, barwą (w przestrzeniach barwnych RGB i HSL) i położeniem względem centrum sceny. Zadaniem obserwatora było znalezienie tego szczegółu. Edycja obrazów naturalnych była przeprowadzona przez operatora ręcznie z użyciem pakietu graficznego Photoshop i polegała na usuwaniu i retuszu szczegółów i zapisywaniu obrazów wynikowych w kolejności odwrotnej do kolejności pokazu. Użycie obrazów naturalnych umożliwiało pomiar atrybutów szczegółów, ale nie dowolne ich modyfikowanie (rys. 1), dlatego przyrost wartości w dziedzinach poszczególnych atrybutów jest niejednorodny. Obrazy były nieznane obserwatorowi przed rozpoczęciem testu. Ponieważ przygotowane sekwencje mogły być użyte jednokrotnie powtarzanie eksperymentu dla kolejnych obserwatorów wymagało przygotowania sekwencji, w których atrybuty szczegółów (ale nie same szczegóły) są bardzo podobne. Podczas przygotowywania sekwencji na każdym obrazie wskazywano kilka szczegółów, a następnie usuwano ten, którego zmierzone atrybuty były podobne do atrybutów szczegółów o tym samym numerze porządkowym w innych sekwencjach.
Rys. 1. Przykładowy wycinek sekwencji obrazów (a-c) stosowanej przy badaniach wpływu atrybutów dodawanych szczegółów na ich wyrazistość; poszczególne elementy obrazu o znanych własnościach (pokazano histogram RGB) były dodawane na kolejnych scenach. B. Własności metrologiczne urządzenia okoruchowego Detekcja punktów koncentracji uwagi obserwatora w celu wykrycia ich korelacji z bodźcem była prowadzona przy użyciu urządzenia okoruchowego Ober-2, opartego na różnicowym pomiarze natężenia światła podczerwonego od powierzchni gałki ocznej [11]. Gogle noszone na głowie oświetlały każdą gałkę oczną czterema parami naprzemiennymi snopami światła podczerwonego (940nm) o mocy 5 mw/cm 2 w impulsach trwających 80µs powtarzanymi co 2 ms (rys. 2). Cztery pracujące parami detektory podczerwieni dla każdego oka umożliwiały przemienną akwizycję pozycji oka w dwóch wymiarach (składowa pozioma i pionowa) o częstotliwości 500 próbek na sekundę. Całkowita pojemność bufora danych (32 kb) stanowiła ograniczenie maksymalnego czasu akwizycji trajektorii i prezentacji sceny. W celu ograniczenia wpływu oświetlenia zastanego w zakresie widzialnym, było ono próbkowane za każdym razem 80µs przed włączeniem oświetlaczy podczerwieni w celu korekty pomiaru położenia oka. Dzięki eliminacji oświetlenia bocznego, dokładność kątowa urządzenia okoruchowego wynosiła ok. 0,02 stopnia.
Rys. 2. Szczegóły urządzenia okoruchowego Ober-2 (a) zasada fizyczna, (b) widok gogli pomiarowych C. Przetwarzanie sygnału okoruchowego Urządzenie okoruchowe wymagało wykonania kalibracji geometrii każdorazowo przed rozpoczęciem zadania wizualnego. Dzięki temu ciągły dwuwymiarowy sygnał niezależnego pozycjonowania każdego z oczu może być bezpośrednio odniesiony do współrzędnych sceny. Detekcja punktów skupienia uwagi została przeprowadzona przez dedykowane oprogramowanie wytworzone w Laboratorium Biocybernetyki na potrzeby analizy zadań wizualnych [12]. W punkcie skupienia uwagi ścieżka wzrokowa musi spełniać następujące kryteria: - 10 ms średnia prędkość gałki ocznej nie może przekraczać 6 deg/s, - wariancja położenia gałki ocznej nie może przekraczać 2,8 deg przez co najmniej 30 ms. - powyższe kryteria muszą być spełnione łącznie przez trajektorie obu oczu. Zakłada się wystąpienie podczas dwóch pierwszych sekund sygnału okoruchowego co najmniej jednego punktu koncentracji uwagi. Jeżeli takiego punktu nie można zidentyfikować w zapisie, kryteria są modyfikowane i poszukiwanie rozpoczynane jest od nowa. Kryteria detekcji są dobierane dla sygnału każdego oka niezależnie (rys. 3). Rys. 3. Trajektoria ruchu gałki ocznej i detekcja punktu koncentracji uwagi (wyróżniona strefa) (a) dwuwymiarowy wykres w kontekście prezentowanej sceny, (b) wykres składowych poziomej i pionowej względem czasu. Każdy punkt koncentracji wagi obserwatora wykryty na podstawie trajektorii ruchu oczu podlega weryfikacji czasowej. Jest on uznawany jako odpowiedź na bodziec w postaci
dodania nowego szczegółu do sceny tylko w przypadku jednoczesnego spełnienia zależności czasowej i geometrycznej: - koncentracja uwagi następuje w przedziale czasu pomiędzy 50 a 250 ms po wystąpieniu bodźca (wyświetleniu szczegółu) - pozycja punktu koncentracji uwagi odpowiada pozycji szczegółu z dokładnością 2,8 deg, która gwarantuje projekcję obrazu szczegółu na centralny obszar siatkówki co najmniej jednego oka. Zastosowanie urządzenia okoruchowego i automatycznej analizy zarejestrowanej trajektorii umożliwia obiektywne i standardowe badanie percepcji wzrokowej u znacznej populacji obserwatorów i eliminuje większość błędów spowodowanych czynnikiem ludzkim (np. emocjami obserwatora). D. Populacja obserwatorów i statystyczna kwalifikacja rezultatów Czterdzieścioro dwoje zdrowych wolontariuszy (24 mężczyzn, 18 kobiet, wiek 23 ± 3 lata) spośród studentów zgłosiło się do udziału w eksperymentach wizualnych. Z powodów zróżnicowanej spostrzegawczości obserwatorów, 10 zapisów musiało zostać odrzuconych. Nawet po manualnej analizie nie wykryto w nich punktów koncentracji uwagi świadczących o dostrzeżeniu któregokolwiek z 9 dodanych szczegółów. Kolejne 4 zapisy musiały zostać odrzucone z powodu niewłaściwej współpracy obserwatorów (ruszanie głową, rozmawianie podczas rejestracji itp.). Ostatecznie 28 zapisów zawierających po od 1 do 5 punktów koncentracji uwagi spełniających kryteria odpowiedzi na bodziec wizualny zostało poddanych obróbce statystycznej, której celem było określenie korelacji rozmiaru, położenia i barwy szczegółu oraz prawdopodobieństwa jego dostrzeżenia przez obserwatora. 3. Rezultaty W pierwszej kolejności zweryfikowane zostały dwa założenia przyjęte podczas przygotowywania sekwencji progresywnie modyfikowanych scen: - każda sekwencja zawierała 9 dodanych detali, chociaż a najlepszym przypadku tylko 5 (średnio 2,2) z nich zostało dostrzeżonych, zadania wizualne były zatem zbyt trudne dla przeciętnego obserwatora, - zamierzony przyrost wyrazistości kolejno dodawanych szczegółów został osiągnięty, a jego liniowość wyraża się we współczynnikach korelacji atrybutów szczegółu i kolejnego numeru obrazu w sekwencji (r Pearsona): r RGB = 0,924, r (HS)L = 0,922 i r size = 0,932. Zależności powyższe potwierdzają, że pomimo stosowania naturalnych obrazów warunki eksperymentu były dobrze kontrolowane, w szczególności w dziedzinie każdego z atrybutów szczegółów przyrost wyrazistości był niemal liniowy. A. Wyrazistość względem atrybutów barwy w przestrzeni RGB Przedmiotem pierwszej analizy była korelacja prawdopodobieństwa dostrzeżenia szczegółu i jego atrybutów w przestrzeni barwnej RGB. Składowe tej przestrzeni odpowiadają specjalizacji barwnej fotoreceptorów siatkówki oka człowieka. Wykresy regresji liniowej przedstawia rysunek 4.
a) b) c) Rys. 4. Wyrazistość dodawanych szczegółów w korelacji z atrybutami barwy w przestrzeni RGB (a) składowa czerwona r-pearsona = 0,600, (b) składowa zielona r-pearsona = 0,593, (c) składowa niebieska r-pearsona = 0,519. Linia przerywana określa granice 95% przedziału ufności.
B. Wyrazistość względem rozmiaru szczegółu Kolejnym atrybutem dodawanych szczegółów, którego korelacja z wyrazistością była przedmiotem badań był ich rozmiar. Wykresy regresji liniowej przedstawia rysunek 5. Rys. 5. Wyrazistość dodawanych szczegółów w korelacji z rozmiarem obiektu r-pearsona = 0,595. Linia przerywana określa granice 95% przedziału ufności. C. Wyrazistość względem odległości szczegółu od centrum sceny Ostatnim atrybutem, którego korelacja z wyrazistością była przedmiotem badań była ich odległość od centrum sceny. Wykresy regresji liniowej przedstawia rysunek 6. Rys. 6. Wyrazistość dodawanych szczegółów w korelacji z odległością obiektu od centrum sceny r-pearsona = 0,595. Linia przerywana określa granice 95% przedziału ufności. 4. Dyskusja Seria eksperymentów wizualnych z użyciem sekwencji progresywnie modyfikowanych naturalnych obrazów ujawniła zależność prawdopodobieństwa zauważenia szczegółu przez obserwatora w zależności od atrybutów szczegółu: barwy, rozmiaru i położenia. Korelacje czerwonej i zielonej składowej barwy są podobne, co może być uzasadnione zbliżoną liczbą czopków w siatkówce oka specjalizowanych w zakresie długości fali odpowiadających tym
barwom. Składowa niebieska w znacznie mniejszym stopniu przyczynia się do wyrazistości szczegółu, co jest uzasadnione przez znacznie mniejszą liczbę czopków specjalizowanych w zakresie najkrótszych fal widma widzialnego. Wzrost wyrazistości obiektu wraz ze wzrostem jego rozmiarów jest spowodowany projekcją obrazu na większą liczbę fotoreceptorów w siatkówce oka. Wreszcie, zaskakująca zależność wyrazistości, która według przeprowadzonych badań wzrasta z odległością szczegółu od centrum sceny może być częściowo wyjaśniona korelacjami pomiędzy atrybutami szczegółów. Korelacja (r-pearson) dystansu i rozmiaru wynosi r= 0,547 (co oznacza, że podczas przygotowywania sekwencji większe szczegóły dodawano dalej od centrum sceny), natomiast korelacja dystansu i jasności wynosi r= 0,349 (co oznacza, że podczas przygotowywania sekwencji jaśniejsze szczegóły dodawano dalej od centrum sceny). innym wyjaśnieniem tej zależności, wymagającym potwierdzenia w toku dalszych prac badawczych, może być typowa dla obserwacji dobrze oświetlonej sceny przewaga widzenia barwnego opartego na czopkach, których koncentracja jest maksymalna w pierścieniu otaczającym centralną część siatkówki. 5. Konkluzja W opinii autora, przedstawione prace badawcze potwierdziły istnienie i umożliwiły ilościową ocenę interesujących zależności pomiędzy możliwymi do zmierzenia atrybutami elementów sceny a prawdopodobieństwem ich spostrzeżenia przez obserwatora. Metodologia zadań wizualnych jest względnie niedroga, nieinwazyjna i może być zastosowana w szerokim zakresie badań percepcji człowieka z użyciem naturalnych obrazów. Uzasadnia to jej szczególną przydatność w projektowaniu elementów komunikacji wizualnej. 6. Podziękowania Prace badawcze zostały sfinansowane przez Akademię Górniczo-Hutniczą w ramach projektu nr 10.10.120.783. Autor składa podziękowania studentkom: Beacie Baran i Joannie Winiarskiej za pomoc w przygotowaniu i przeprowadzeniu eksperymentów wizualnych. Literatura: [1] G. Boccignone, An Information-theoretic Approach to Active Vision Proc. 11th Int. Conf. on Image Analysis and Processing 2001. [2] J. B. Pelz, R. Canosa, Oculomotor behavior and perceptual strategies in complex tasks Vision Research, vol. 41, 3587-96, 2001. [3] J. K. Ober, J. J. Ober, M. Malawski, W. Skibniewski, E. Przedpelska-Ober, J. Hryniewiecki, Monitoring Pilot s Eye Movements during the Combat Flight-The White Box Biocybernetics and Biomedical Engineering, vol. 22, (2-3), pp. 241-64, 2002. [4] P. Augustyniak, R Tadeusiewicz "Assessment of electrocardiogram visual interpretation strategy based on scanpath analysis", Physiol. Meas. 27 (2006) pp. 597-608, [5] P. Augustyniak "Monitoring the progress of fast reading training with use of the eyetracker and scanpath statistics" Journal of Medical Informatics and Technologies vol. 10/2006 pp. 153-161 [6] P. Augustyniak, Z. Mikrut, Detection of Object Salient Features Based on the Observer Scanpath Analysis, IFMBE Proceedings vol. 11 (1), paper 1416F, 2005. [7] Z. Mikrut, P. Augustyniak, Estimation of Execution Time for Tasks of Objects Counting and Localization Using the Ober2 Device IFMBE Proceedings, vol.2, pp. 144-145, 2002. [8] P. Augustyniak, Z. Mikrut, Correlating the Degree of Observer's Preoccupation and the Observation Time: Visual Tasks with OBER2 Eyetracker JMIT vol. 3, pp. MT3-MT10, 2002. [9] D. H. Brainard, The Psychophysics Toolbox, Spatial Vision vol. 10, pp. 443-446, 1997.
[10] D. G. Pelli, The VideoToolbox software for visual psychophysics: Transforming numbers into movies, Spatial Vision vol. 10 pp. 437-442, 1997. [11] J. J. Ober, J. Hajda, J. Loska, M. Jamicki Application of eye movement measuring system Ober2 to medicine and technology Proc. of SPIE 3061 (1), 327-32, 1997.