EYE TRACKING Aparat widzenia człowieka, śledzenie ruchów oczu.

Transkrypt

1 EYE TRACKING Aparat widzenia człowieka, śledzenie ruchów oczu. Grafika komputerowa, Inżynieria Cyfryzacji S1, I Rok

2 PERCEPCJA WZROKOWA Ruch oczu to jeden z nielicznych fizycznych, mierzalnych objawów procesów kognitywnych zachodzących w umyśle osoby. źródło obrazu: astoriamedicalcenter.com 2

3 OKO CZŁOWIEKA budowa Obraz w postaci odbitych promieni światła, wpadający przez otwór źrenicy, po przejściu przez deformowalną soczewkę o zmiennych właściwościach optycznych, rzutowany jest na siatkówkę. Rogówka Dołek środkowy Soczewka Oś widzenia Oś optyczna Ciało szkliste Nerw wzrokowy Tęczówka Siatkówka 3

4 SIATKÓWKA OKA wygląd i budowa Plamka żółta (ang. macula) Dysk optyczny (ang. optic disc) Naczynia krwionośne (ang. blood vessels) źródła obrazów: iapb.it, visionmd.org 4

5 SIATKÓWKA OKA budowa i organizacja Pręciki (ok. 125 milionów u człowieka) Komórki światłoczułe (fotoreceptory) dzielą się na dwa rodzaje: pręciki (ang. rods) i czopki (ang. cones). Czułe jedynie na jasność Działają w warunkach niedostatecznego oświetlenia (skotopowych) Czopki (ok. 6 milionów u człowieka) Trzy rodzaje czułe na trzy różne zakresy fal (kolory: czerwony, zielony, niebieski) Działają w warunkach dobrego oświetlenia (fotopowych) Pręciki Czopki Światło źródło obrazu: Wikipedia 5

6 FOTORECEPTORY gęstość rozłożenia Rozłożenie komórek światłoczułych w obrębie siatkówki nie jest jednorodne. Ich dystrybucja ma ogromne implikacje w mechanizmach percepcji wizualnej. źródło obrazu: Osterberg,

7 SIATKÓWKA OKA rozłożenie czopków Czopki czułe na poszczególne kolory (czerwony, zielony, niebieski) nie są rozłożone równomiernie na siatkówce. Tworzą mozaikę, którą można przyrównać do komórek matrycy światłoczułej cyfrowego aparatu fotograficznego. źródło obrazu: Wikipedia 7

8 ROZŁOŻENIE CZOPKÓW czułość na kolor TEST Czy niebieski tekst jest tak samo czytelny z dużej odległości, jak czerwony lub zielony? TEST Różnią się tylko kolorem. Krój pisma i jego rozmiar są identyczne w każdym przypadku. TEST 8

9 POLE WIDZENIA jednooczne i obuoczne U góry: pole widzenia prawego oka u zdrowego człowieka. Na dole: pola widzenia obojga oczu wzajemnie się uzupełniają, redukując tym samym np. obszary plamek ślepych. źródło obrazu: Bioastronautics Data Book, NASA

10 POLE WIDZENIA człowieka patrzącego na wprost 1.5º Widzenie szczegółowe (ang. fovea) 6º Widzenie centralne Jedynie mniej niż 2 stopnie kąta widzenia pozwalają na widzenie najbardziej szczegółowe. 120º Odpowiada to tej części obrazu, która rzutowana jest na dołek środkowy siatkówki. Widzenie peryferyjne Skrajne widzenie boczne natomiast pozwala jedynie na zauważanie ruchu i zmian jasności. 190º Widzenie boczne (jednooczne) 10

11 FIKSACJE, SAKADY przenoszenie uwagi wizualnej 1879 Louis Javal zauważa, że podczas czytania tekstu wzrok nie podąża płynnie zapisanymi wierszami. Powstaje koncepcja fiksacji i sakad. Ang. fixations, saccades. źródło obrazu: Wikipedia 11

12 PŁYNNY POŚCIG śledzenie ruchomych obiektów Człowiek (i niektóre zwierzęta) jest w stanie płynnie śledzić wzrokiem poruszające się obiekty bez konieczności przerywania obserwacji sakadami. Gdy jednak prędkość poruszania się przekracza 30º/s, konieczne stają się doganiające sakady. Ang. smooth pursuit. 12

13 PŁYNNY POŚCIG śledzenie ruchomych obiektów Człowiek będący pod wpływem działania alkoholu przejawia skłonność do częstszych fiksacji. Śledzenie ruchomego obiektu w sposób płynny jest wówczas utrudnione. źródło obrazu: 13

14 MIKRORUCHY gałek ocznych Mikrosakady (ang. microsaccades) Drżenie (ang. tremor) Dryf (ang. drift) 0.05 mm źródło obrazu: Martinez-Conde et al

15 KONWERGENCJA zbieżność osi widzenia α Dążenie aparatu widzenia do minimalizacji obuocznej rywalizacji. α Ściśle związane z widzeniem stereoskopowym. Ang. vergence. α α 15

16 ODRUCH przedsionkowo-oczny Obrót głowy Kompensacja ruchów rotacyjnych i translacyjnych głowy w taki sposób, aby nie wpływały na położenie obrazu na siatkówce. Ang. vestibulo-ocular reflex. 16

17 RUCHY OCZU Podsumowanie Ruchy ściśle związane z percepcją obrazu: Fiksacje Sakady Płynny pościg Mikroruchy gałek ocznych: Mikrosakady Dryf Drżenie Pozostałe ruchy: Konwergencja Odruch przedsionkowo-oczny 17

18 EYE TRACKING: Co to takiego? Eye tracking jest techniką śledzenia, analizy i interpretacji ruchu gałek ocznych. Pożądanym, najbardziej podstawowym rezultatem jest wyznaczenie punktu skupienia wzroku badanego (ang. gaze point). Na co zwraca uwagę oglądający? 18

19 EYE TRACKING: Co to takiego? Eye tracking jest techniką śledzenia, analizy i interpretacji ruchu gałek ocznych. Pożądanym, najbardziej podstawowym rezultatem jest wyznaczenie punktu skupienia wzroku badanego (ang. gaze point). Na co zwraca uwagę oglądający? 19

20 EYE TRACKING: Co to takiego? + Eye tracking jest techniką śledzenia, analizy i interpretacji ruchu gałek ocznych. Pożądanym, najbardziej podstawowym rezultatem jest wyznaczenie punktu skupienia wzroku badanego (ang. gaze point). Na co zwraca uwagę oglądający? 20

21 EYE TRACKING: Co to takiego? + Eye tracking jest techniką śledzenia, analizy i interpretacji ruchu gałek ocznych. + Pożądanym, najbardziej podstawowym rezultatem jest wyznaczenie punktu skupienia wzroku badanego (ang. gaze point). Na co zwraca uwagę oglądający? 21

22 EYE TRACKING: Co to takiego? + Eye tracking jest techniką śledzenia, analizy i interpretacji ruchu gałek ocznych Pożądanym, najbardziej podstawowym rezultatem jest wyznaczenie punktu skupienia wzroku badanego (ang. gaze point). Na co zwraca uwagę oglądający? 22

23 EYE TRACKING: Rys historyczny Pierwszą z metod obserwacji ruchu gałek ocznych była obserwacja bezpośrednia. Badanego obserwowano czasem przez szybę, na której kazano mu rozwiązać problem wizualny. źródła obrazów: Tobii Wikipedia 23

24 EYE TRACKING: Rys historyczny Jednym z pierwszych podejść są różnego rodzaju soczewki kontakowe. Mogą zawierać mechaniczny marker, bądź cewkę w której indukuje się przepływ prądu poprzez ruch w polu magnetycznym. Metody te są bardzo dokładne. źródła obrazów: 24

25 EYE TRACKING: Rys historyczny Innym podejściem jest elektrookulografia (EOG). Polega na mierzeniu zmian potencjału elektrycznego w okolicach gałek ocznych. Jest to metoda niedokładna. W poszukiwaniu metod nieinwazyjnych, zdecydowano się wykorzystać obraz wideo. Powstała wideookulografia. źródła obrazów:

26 KLASYFIKACJA EYE TRACKERÓW Działających w oparciu o obraz wideo Stacjonarne, wymagające unieruchomienia osoby chinrest bitebar Nagłowne użycie mobilne użycie stacjonarne wymagają ograniczenia ruchu Stacjonarne, nieinwazyjne zdalne wygodne mniej dokładne źródła obrazów: 26

27 TECHNIKA EYE TRACKINGU Obraz ludzkiego oka w podczerwieni Efekt ciemnej źrenicy i jasnej źrenicy Obraz wideo oka zależy od położenia źródła światła względem osi kamery Warto zwrócić uwagę na odbicie rogówkowe 27

28 TECHNIKA EYE TRACKINGU Metoda środka źrenicy Pozycja środka źrenicy mapowana jest w przestrzeń ekranu. Wymaga kalibracji Pozycja głowy względem obrazu musi pozostać niezmieniona konieczne ograniczenie swobody ruchów 28

29 TECHNIKA EYE TRACKINGU Metoda odbicia rogówkowego Wektor pomiędzy środkiem źrenicy, a odbiciem rogówkowym mapowany jest w przestrzeń ekranu. Wymaga kalibracji Umożliwia ruch głowy 29

30 EYE TRACKER Budowa Drut aluminiowy i przewód USB Oprawka okularów ochronnych Moduł obrazujący 30

31 EYE TRACKER: Elementy Elementy, z których zbudowany jest prosty eye tracker, to produkty powszechnie dostępne. Całkowity koszt elementów to niespełna 50 EUR. Elementy prostego eye trackera: 1) rurka termokurczliwa, 2) klisza, 3) rezystor węglowy, 4) opaski do kabli, 5) drut aluminiowy, 6) LEDy podczerwone, 7) Webcam LifeCam VX-1000, 8) okulary ochronne 31

32 EYE TRACKER Konstrukcja modułu obrazującego A. Obiektyw kamery z widocznym filtrem B. Przygotowanie filtra IR C. Schemat obwodu LED-ów IR D. Moduł obrazujący 32

33 OBRAZ OKA Pozycja środka źrenicy Wykorzystane oprogramowanie: ITU Gaze Tracker IT Univeristy of Copenhagen 33

34 EYE TRACKER Stanowisko pracy Dane z pochodzące z eye trackera mogą być użyte w dwojaki sposób: albo na żywo w trybie on-line, albo po zapisaniu w trybie offline. Urządzenie do pracy potrzebuje tylko jednego komputera. Nie musi to być sprzęt dedykowany. Obciążenie jest niewielkie. 34

35 EYE TRACKER Działanie w praktyce 35

36 ZASTOSOWANIE Badania związane z psychologią, percepcją, kognitywistyką, postrzeganiem świata Badania użyteczności interfejsów użytkownika Co może nam dać wiedza o tym: co, kiedy, jak często i w jakiej kolejności absorbowało uwagę wizualną obserwatora? Czy ważne cechy produktu są zauważalne? Pomoc dla osób niepełnosprawnych Jak ułatwić korzystanie z witryny internetowej? Badania skuteczności reklam Jak działa wzrok, umysł, świadomość? Urządzenie wejścia Interakcja z wirtualną rzeczywistością Obraz, który reaguje na to, jak go oglądamy Środowisko, które można kontrolować spojrzeniem 36

37 ZASTOSOWANIE Badania z zakresu psychologii Jak postawione nam zadanie wpływa na to, w jaki sposób oglądamy obraz? źródła obrazów: Yarbus et al. 37

38 ZASTOSOWANIE Badanie użyteczności witryn internetowych Gromadzenie wiedzy o stopniu przyciągania uwagi poszczególnych elementów witryny internetowej. źródła obrazów: 38

39 ZASTOSOWANIE Badanie użyteczności witryn internetowych Wiele ciekawych informacji może dostarczyć analiza ścieżki podążania wzroku użytkownika przy różnych scenariuszach (przypadkach użycia). 39

40 ZASTOSOWANIE Badanie sposobu oglądania reklam Rodzaj zdjęcia wpływa na to, ile uwagi oglądający poświęci treści reklamy. źródła obrazów: UsableWorld.com.au 40

41 ZASTOSOWANIE Badanie reakcji kierowców Jaka jest różnica w sposobie obserwowania sytuacji na drodze zależnie od doświadczenia kierowcy? źródła obrazów: 41

42 ZASTOSOWANIE Badanie zachowania pilotów, projektowanie kokpitu Airbus prowadzi badania z użyciem eye trackerów, które mają prowadzić do poprawy sprawności załogi oraz poprawy rozmieszczenia elementów kokpitu. źródła obrazów: 42

43 ZASTOSOWANIE Pomoc dla osób niepełnosprawnych Projekt EyeWriter: system dla sparaliżowanego grafficiarza Tempt1, który pozwala mu tworzyć prace pomimo niesprawności. źródła obrazów: EyeWriter 43

44 ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ Grafika komputerowa Ogólna klasyfikacja Interfejs użytkownika Mówiąc o zastosowaniach związanych z grafiką czasu rzeczywistego, możemy wyróżnić dwie główne gałęzie. Proces renderowania Kontrola kamery i elementów sceny [Istance et al. 2009; E. Jonsson 2005] [S. Hillaire et al. 2008; Bazyluk 2010; Mantiuk, Bazyluk, Tomaszewska 2011] Celowanie [Tobii 2012; J. Leyba and J. Malcolm] Realistyczne efekty wizualne Redukcja czasu reakcji Optymalizacja wydajności [Duchowski 2007; Tomaszewska and Bazyluk 2010] Śledzenie zachowania gracza 44

45 ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ: Kontrola kamery i obiektów Nieintuicyjne, prowadzi do konieczności wyuczenia sztucznych zachowań. Podatne na tzw. problem Midasa. źródła obrazów: Id Software; Stephen Vickers 45

46 ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ: Celowanie Trudne, nienaturalne do zrealizowania w przypadku klasycznych gier. Wymaga specyficznego podjeścia, jak np. w Tobii EyeAsteroids. źródła obrazów: Tobii 46

47 ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ: Wyświetlanie informacji o oglądanych obiektach Wprowadzenie dodatkowej płaszczyzny interakcji, dynamiczna selekcja prezentowanej informacji. źródła obrazów: ZUT 47

48 ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ: Paradygmat Gaze contingency Założenie paradygmatu: Prezentowana informacja wizualna zależy od tego, na czym obserwator koncentruje uwagę. źródło obrazu: A. Duchowski 48

49 ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ: Redukcja czasu reakcji Idea: wybór jednostki spojrzeniem, wydanie rozkazu klawiszem. Brak konieczności przemieszczenia myszy. źródła obrazów: Starcraft 2, Blizzard, Mirametrix 49

50 ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ: Śledzenie zachowania gracza Idea: bot reaguje na skupienie gracza podczas rozmowy. źródła obrazów: The Elder Scrolls V: Skyrim, Bethesda Softworks 50

51 ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ: Efekty wizualne Idea: Sposób wyświetlania obrazu zależy od tego, jak ogląda go obserwator. Nowy poziom fotorealizmu: interaktywny realizm. źródła obrazów: M. Cadik 51

52 ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ: Optymalizacja renderingu Idea: Obszar, na który spogląda obserwator, wyświetlany jest z większą liczbą szczegółów. źródła obrazów: A. Duchowski et al. 52

53 ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ Użycie eye trackingu Cechy szczególne Czas rzeczywisty Co odróżnia użycie eye trackingu w grafice czasu rzeczywistego od zastosowań klasycznych? On-line: brak wiedzy o przyszłości filtrowanie == opóźnienie Dynamiczny obraz: Inne zastosowania Off-line: dostęp do całej przestrzeni danych nieograniczona filtracja Przewidywalny obraz: ruch, szybkie zmiany, animacja sceny statyczne, filtracja oparta o detekcję fiksacji, przewidywalne zmiany 53

54 ZASTOSOWANIA W GRAFICE KOMPUTEROWEJ Szybkość Wyzwania Jakie główne wyzwania stoją przed nami, jeśli zastanawiamy się nad użyciem eye trackingu w wirtualnych środowiskach? Grafika komputerowa czasu rzeczywistego jest zwykle wyświetlana z częstotliwością 60 klatek/sek. Stabilne, przefiltrowane dane powinny być dostarczane z przynajmniej taką częstotliwością Komfort Jeśli celujemy w środowiska gdzie istotne jest zanurzenie, użytkownik musi mieć swobodę ruchu Nikt nie chciałby używać bitebaru tylko po to, aby zagrać w grę komputerową źródło zdjęcia: Houben et al

55 LITERATURA Eye tracking: Ruch oczu: Andrew Duchowski. "Eye tracking methodology: Theory and practice. 2nd Edition". Springer-Verlag, London, UK, Susana Martinez-Conde, Stephen L Macknik, and David H Hubel. "The role of fixational eye movements in visual perception". Nature Reviews Neuroscience, 5(3): pp , R. John Leigh and David S. Zee. "The Neurology of Eye Movements. Fourth Edition". Oxford University Press New York, NY, Uwaga wizualna: Anne M Treisman and Garry Gelade. "A feature-integration theory of attention". Cognitive psychology, 12(1):97 136, Jeremy M Wolfe. "Guided Search 4.0". pages Oxford University Press New York, NY, Wraz z poprzednimi edycjami koncepcji Guided Search. 55

56 EYE TRACKING Aparat widzenia człowieka, śledzenie ruchów oczu. Grafika komputerowa, Inżynieria Cyfryzacji S1, I Rok