EYE TRACKING Aparat widzenia człowieka, śledzenie ruchów oczu. http://bazyluk.net/dydaktyka Grafika komputerowa, Inżynieria Cyfryzacji S1, I Rok
PERCEPCJA WZROKOWA Ruch oczu to jeden z nielicznych fizycznych, mierzalnych objawów procesów kognitywnych zachodzących w umyśle osoby. źródło obrazu: astoriamedicalcenter.com 2
OKO CZŁOWIEKA budowa Obraz w postaci odbitych promieni światła, wpadający przez otwór źrenicy, po przejściu przez deformowalną soczewkę o zmiennych właściwościach optycznych, rzutowany jest na siatkówkę. Rogówka Dołek środkowy Soczewka Oś widzenia Oś optyczna Ciało szkliste Nerw wzrokowy Tęczówka Siatkówka 3
SIATKÓWKA OKA wygląd i budowa Plamka żółta (ang. macula) Dysk optyczny (ang. optic disc) Naczynia krwionośne (ang. blood vessels) źródła obrazów: iapb.it, visionmd.org 4
SIATKÓWKA OKA budowa i organizacja Pręciki (ok. 125 milionów u człowieka) Komórki światłoczułe (fotoreceptory) dzielą się na dwa rodzaje: pręciki (ang. rods) i czopki (ang. cones). Czułe jedynie na jasność Działają w warunkach niedostatecznego oświetlenia (skotopowych) Czopki (ok. 6 milionów u człowieka) Trzy rodzaje czułe na trzy różne zakresy fal (kolory: czerwony, zielony, niebieski) Działają w warunkach dobrego oświetlenia (fotopowych) Pręciki Czopki Światło źródło obrazu: Wikipedia 5
FOTORECEPTORY gęstość rozłożenia Rozłożenie komórek światłoczułych w obrębie siatkówki nie jest jednorodne. Ich dystrybucja ma ogromne implikacje w mechanizmach percepcji wizualnej. źródło obrazu: Osterberg, 1935 6
SIATKÓWKA OKA rozłożenie czopków Czopki czułe na poszczególne kolory (czerwony, zielony, niebieski) nie są rozłożone równomiernie na siatkówce. Tworzą mozaikę, którą można przyrównać do komórek matrycy światłoczułej cyfrowego aparatu fotograficznego. źródło obrazu: Wikipedia 7
ROZŁOŻENIE CZOPKÓW czułość na kolor TEST Czy niebieski tekst jest tak samo czytelny z dużej odległości, jak czerwony lub zielony? TEST Różnią się tylko kolorem. Krój pisma i jego rozmiar są identyczne w każdym przypadku. TEST 8
POLE WIDZENIA jednooczne i obuoczne U góry: pole widzenia prawego oka u zdrowego człowieka. Na dole: pola widzenia obojga oczu wzajemnie się uzupełniają, redukując tym samym np. obszary plamek ślepych. źródło obrazu: Bioastronautics Data Book, NASA 1973 9
POLE WIDZENIA człowieka patrzącego na wprost 1.5º Widzenie szczegółowe (ang. fovea) 6º Widzenie centralne Jedynie mniej niż 2 stopnie kąta widzenia pozwalają na widzenie najbardziej szczegółowe. 120º Odpowiada to tej części obrazu, która rzutowana jest na dołek środkowy siatkówki. Widzenie peryferyjne Skrajne widzenie boczne natomiast pozwala jedynie na zauważanie ruchu i zmian jasności. 190º Widzenie boczne (jednooczne) 10
FIKSACJE, SAKADY przenoszenie uwagi wizualnej 1879 Louis Javal zauważa, że podczas czytania tekstu wzrok nie podąża płynnie zapisanymi wierszami. Powstaje koncepcja fiksacji i sakad. Ang. fixations, saccades. źródło obrazu: Wikipedia 11
PŁYNNY POŚCIG śledzenie ruchomych obiektów Człowiek (i niektóre zwierzęta) jest w stanie płynnie śledzić wzrokiem poruszające się obiekty bez konieczności przerywania obserwacji sakadami. Gdy jednak prędkość poruszania się przekracza 30º/s, konieczne stają się doganiające sakady. Ang. smooth pursuit. 12
PŁYNNY POŚCIG śledzenie ruchomych obiektów Człowiek będący pod wpływem działania alkoholu przejawia skłonność do częstszych fiksacji. Śledzenie ruchomego obiektu w sposób płynny jest wówczas utrudnione. źródło obrazu: http://blog.aacriminallaw.com 13
MIKRORUCHY gałek ocznych Mikrosakady (ang. microsaccades) Drżenie (ang. tremor) Dryf (ang. drift) 0.05 mm źródło obrazu: Martinez-Conde et al. 2004 14
KONWERGENCJA zbieżność osi widzenia α Dążenie aparatu widzenia do minimalizacji obuocznej rywalizacji. α Ściśle związane z widzeniem stereoskopowym. Ang. vergence. α α 15
ODRUCH przedsionkowo-oczny Obrót głowy Kompensacja ruchów rotacyjnych i translacyjnych głowy w taki sposób, aby nie wpływały na położenie obrazu na siatkówce. Ang. vestibulo-ocular reflex. 16
RUCHY OCZU Podsumowanie Ruchy ściśle związane z percepcją obrazu: Fiksacje Sakady Płynny pościg Mikroruchy gałek ocznych: Mikrosakady Dryf Drżenie Pozostałe ruchy: Konwergencja Odruch przedsionkowo-oczny 17
EYE TRACKING: Co to takiego? Eye tracking jest techniką śledzenia, analizy i interpretacji ruchu gałek ocznych. Pożądanym, najbardziej podstawowym rezultatem jest wyznaczenie punktu skupienia wzroku badanego (ang. gaze point). Na co zwraca uwagę oglądający? 18
EYE TRACKING: Co to takiego? Eye tracking jest techniką śledzenia, analizy i interpretacji ruchu gałek ocznych. Pożądanym, najbardziej podstawowym rezultatem jest wyznaczenie punktu skupienia wzroku badanego (ang. gaze point). Na co zwraca uwagę oglądający? 19
EYE TRACKING: Co to takiego? + Eye tracking jest techniką śledzenia, analizy i interpretacji ruchu gałek ocznych. Pożądanym, najbardziej podstawowym rezultatem jest wyznaczenie punktu skupienia wzroku badanego (ang. gaze point). Na co zwraca uwagę oglądający? 20
EYE TRACKING: Co to takiego? + Eye tracking jest techniką śledzenia, analizy i interpretacji ruchu gałek ocznych. + Pożądanym, najbardziej podstawowym rezultatem jest wyznaczenie punktu skupienia wzroku badanego (ang. gaze point). Na co zwraca uwagę oglądający? 21
EYE TRACKING: Co to takiego? + Eye tracking jest techniką śledzenia, analizy i interpretacji ruchu gałek ocznych. + ++ ++ +++ + + + ++ + ++ ++++ + + ++ + + ++ Pożądanym, najbardziej podstawowym rezultatem jest wyznaczenie punktu skupienia wzroku badanego (ang. gaze point). Na co zwraca uwagę oglądający? 22
EYE TRACKING: Rys historyczny Pierwszą z metod obserwacji ruchu gałek ocznych była obserwacja bezpośrednia. Badanego obserwowano czasem przez szybę, na której kazano mu rozwiązać problem wizualny. źródła obrazów: Tobii Wikipedia 23
EYE TRACKING: Rys historyczny Jednym z pierwszych podejść są różnego rodzaju soczewki kontakowe. Mogą zawierać mechaniczny marker, bądź cewkę w której indukuje się przepływ prądu poprzez ruch w polu magnetycznym. Metody te są bardzo dokładne. źródła obrazów: http://mvl.mit.edu 24
EYE TRACKING: Rys historyczny Innym podejściem jest elektrookulografia (EOG). Polega na mierzeniu zmian potencjału elektrycznego w okolicach gałek ocznych. Jest to metoda niedokładna. W poszukiwaniu metod nieinwazyjnych, zdecydowano się wykorzystać obraz wideo. Powstała wideookulografia. źródła obrazów: http://www.tobii.com http://www.metrovision.fr 25
KLASYFIKACJA EYE TRACKERÓW Działających w oparciu o obraz wideo Stacjonarne, wymagające unieruchomienia osoby chinrest bitebar Nagłowne użycie mobilne użycie stacjonarne wymagają ograniczenia ruchu Stacjonarne, nieinwazyjne zdalne wygodne mniej dokładne źródła obrazów: http://www.smivision.com 26
TECHNIKA EYE TRACKINGU Obraz ludzkiego oka w podczerwieni Efekt ciemnej źrenicy i jasnej źrenicy Obraz wideo oka zależy od położenia źródła światła względem osi kamery Warto zwrócić uwagę na odbicie rogówkowe 27
TECHNIKA EYE TRACKINGU Metoda środka źrenicy Pozycja środka źrenicy mapowana jest w przestrzeń ekranu. Wymaga kalibracji Pozycja głowy względem obrazu musi pozostać niezmieniona konieczne ograniczenie swobody ruchów 28
TECHNIKA EYE TRACKINGU Metoda odbicia rogówkowego Wektor pomiędzy środkiem źrenicy, a odbiciem rogówkowym mapowany jest w przestrzeń ekranu. Wymaga kalibracji Umożliwia ruch głowy 29
EYE TRACKER Budowa Drut aluminiowy i przewód USB Oprawka okularów ochronnych Moduł obrazujący 30
EYE TRACKER: Elementy Elementy, z których zbudowany jest prosty eye tracker, to produkty powszechnie dostępne. Całkowity koszt elementów to niespełna 50 EUR. Elementy prostego eye trackera: 1) rurka termokurczliwa, 2) klisza, 3) rezystor węglowy, 4) opaski do kabli, 5) drut aluminiowy, 6) LEDy podczerwone, 7) Webcam LifeCam VX-1000, 8) okulary ochronne 31
EYE TRACKER Konstrukcja modułu obrazującego A. Obiektyw kamery z widocznym filtrem B. Przygotowanie filtra IR C. Schemat obwodu LED-ów IR D. Moduł obrazujący 32
OBRAZ OKA Pozycja środka źrenicy Wykorzystane oprogramowanie: ITU Gaze Tracker IT Univeristy of Copenhagen 33
EYE TRACKER Stanowisko pracy Dane z pochodzące z eye trackera mogą być użyte w dwojaki sposób: albo na żywo w trybie on-line, albo po zapisaniu w trybie offline. Urządzenie do pracy potrzebuje tylko jednego komputera. Nie musi to być sprzęt dedykowany. Obciążenie jest niewielkie. 34
EYE TRACKER Działanie w praktyce 35
ZASTOSOWANIE Badania związane z psychologią, percepcją, kognitywistyką, postrzeganiem świata Badania użyteczności interfejsów użytkownika Co może nam dać wiedza o tym: co, kiedy, jak często i w jakiej kolejności absorbowało uwagę wizualną obserwatora? Czy ważne cechy produktu są zauważalne? Pomoc dla osób niepełnosprawnych Jak ułatwić korzystanie z witryny internetowej? Badania skuteczności reklam Jak działa wzrok, umysł, świadomość? Urządzenie wejścia Interakcja z wirtualną rzeczywistością Obraz, który reaguje na to, jak go oglądamy Środowisko, które można kontrolować spojrzeniem 36
ZASTOSOWANIE Badania z zakresu psychologii Jak postawione nam zadanie wpływa na to, w jaki sposób oglądamy obraz? źródła obrazów: Yarbus et al. 37
ZASTOSOWANIE Badanie użyteczności witryn internetowych Gromadzenie wiedzy o stopniu przyciągania uwagi poszczególnych elementów witryny internetowej. źródła obrazów: http://www.90percentofeverything.com 38
ZASTOSOWANIE Badanie użyteczności witryn internetowych Wiele ciekawych informacji może dostarczyć analiza ścieżki podążania wzroku użytkownika przy różnych scenariuszach (przypadkach użycia). 39
ZASTOSOWANIE Badanie sposobu oglądania reklam Rodzaj zdjęcia wpływa na to, ile uwagi oglądający poświęci treści reklamy. źródła obrazów: UsableWorld.com.au 40
ZASTOSOWANIE Badanie reakcji kierowców Jaka jest różnica w sposobie obserwowania sytuacji na drodze zależnie od doświadczenia kierowcy? źródła obrazów: http://www.wikipedia.org 41
ZASTOSOWANIE Badanie zachowania pilotów, projektowanie kokpitu Airbus prowadzi badania z użyciem eye trackerów, które mają prowadzić do poprawy sprawności załogi oraz poprawy rozmieszczenia elementów kokpitu. źródła obrazów: http://www.spm.man.dtu.dk 42
ZASTOSOWANIE Pomoc dla osób niepełnosprawnych Projekt EyeWriter: system dla sparaliżowanego grafficiarza Tempt1, który pozwala mu tworzyć prace pomimo niesprawności. źródła obrazów: EyeWriter 43
ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ Grafika komputerowa Ogólna klasyfikacja Interfejs użytkownika Mówiąc o zastosowaniach związanych z grafiką czasu rzeczywistego, możemy wyróżnić dwie główne gałęzie. Proces renderowania Kontrola kamery i elementów sceny [Istance et al. 2009; E. Jonsson 2005] [S. Hillaire et al. 2008; Bazyluk 2010; Mantiuk, Bazyluk, Tomaszewska 2011] Celowanie [Tobii 2012; J. Leyba and J. Malcolm] Realistyczne efekty wizualne Redukcja czasu reakcji Optymalizacja wydajności [Duchowski 2007; Tomaszewska and Bazyluk 2010] Śledzenie zachowania gracza 44
ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ: Kontrola kamery i obiektów Nieintuicyjne, prowadzi do konieczności wyuczenia sztucznych zachowań. Podatne na tzw. problem Midasa. źródła obrazów: Id Software; Stephen Vickers 45
ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ: Celowanie Trudne, nienaturalne do zrealizowania w przypadku klasycznych gier. Wymaga specyficznego podjeścia, jak np. w Tobii EyeAsteroids. źródła obrazów: Tobii 46
ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ: Wyświetlanie informacji o oglądanych obiektach Wprowadzenie dodatkowej płaszczyzny interakcji, dynamiczna selekcja prezentowanej informacji. źródła obrazów: ZUT 47
ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ: Paradygmat Gaze contingency Założenie paradygmatu: Prezentowana informacja wizualna zależy od tego, na czym obserwator koncentruje uwagę. źródło obrazu: A. Duchowski 48
ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ: Redukcja czasu reakcji Idea: wybór jednostki spojrzeniem, wydanie rozkazu klawiszem. Brak konieczności przemieszczenia myszy. źródła obrazów: Starcraft 2, Blizzard, Mirametrix 49
ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ: Śledzenie zachowania gracza Idea: bot reaguje na skupienie gracza podczas rozmowy. źródła obrazów: The Elder Scrolls V: Skyrim, Bethesda Softworks 50
ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ: Efekty wizualne Idea: Sposób wyświetlania obrazu zależy od tego, jak ogląda go obserwator. Nowy poziom fotorealizmu: interaktywny realizm. źródła obrazów: M. Cadik 51
ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ: Optymalizacja renderingu Idea: Obszar, na który spogląda obserwator, wyświetlany jest z większą liczbą szczegółów. źródła obrazów: A. Duchowski et al. 52
ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ Użycie eye trackingu Cechy szczególne Czas rzeczywisty Co odróżnia użycie eye trackingu w grafice czasu rzeczywistego od zastosowań klasycznych? On-line: brak wiedzy o przyszłości filtrowanie == opóźnienie Dynamiczny obraz: Inne zastosowania Off-line: dostęp do całej przestrzeni danych nieograniczona filtracja Przewidywalny obraz: ruch, szybkie zmiany, animacja sceny statyczne, filtracja oparta o detekcję fiksacji, przewidywalne zmiany 53
ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ Szybkość Wyzwania Jakie główne wyzwania stoją przed nami, jeśli zastanawiamy się nad użyciem eye trackingu w wirtualnych środowiskach? Grafika komputerowa czasu rzeczywistego jest zwykle wyświetlana z częstotliwością 60 klatek/sek. Stabilne, przefiltrowane dane powinny być dostarczane z przynajmniej taką częstotliwością Komfort Jeśli celujemy w środowiska gdzie istotne jest zanurzenie, użytkownik musi mieć swobodę ruchu Nikt nie chciałby używać bitebaru tylko po to, aby zagrać w grę komputerową źródło zdjęcia: Houben et al. 2006 54
LITERATURA Eye tracking: Ruch oczu: Andrew Duchowski. "Eye tracking methodology: Theory and practice. 2nd Edition". Springer-Verlag, London, UK, 2007. Susana Martinez-Conde, Stephen L Macknik, and David H Hubel. "The role of fixational eye movements in visual perception". Nature Reviews Neuroscience, 5(3): pp. 229 240, 2004. R. John Leigh and David S. Zee. "The Neurology of Eye Movements. Fourth Edition". Oxford University Press New York, NY, 2006. Uwaga wizualna: Anne M Treisman and Garry Gelade. "A feature-integration theory of attention". Cognitive psychology, 12(1):97 136, 1980. Jeremy M Wolfe. "Guided Search 4.0". pages 99 119. Oxford University Press New York, NY, 2007. Wraz z poprzednimi edycjami koncepcji Guided Search. 55
EYE TRACKING Aparat widzenia człowieka, śledzenie ruchów oczu. http://bazyluk.net/dydaktyka Grafika komputerowa, Inżynieria Cyfryzacji S1, I Rok