Bartosz Kunka. Katedra Systemów Multimedialnych Politechnika Gdańska



Podobne dokumenty
Bartosz Kunka. Katedra Systemów Multimedialnych Politechnika Gdańska

Historia okulografii. Historia okulografii. Historia okulografii. Historia okulografii. Historia okulografii. Eyetracking = Okulografia

1. Zestaw Eye- tracker z częstotliwością próbkowania 30Hz i kamerą HD:

Korelacje wzrokowo-słuchowe

Kinect vs VR, czyli technologie sensoryczne stosowane w konsolach do gier.

Grupa: Elektrotechnika, sem 3, wersja z dn Technika Świetlna Laboratorium

wprowadzenie do badań eyetrackingowych

PL B1. WOJSKOWY INSTYTUT MEDYCYNY LOTNICZEJ, Warszawa, PL BUP 23/13

Cel i zakres ćwiczenia

PL B1 A61B 1/26 RZECZPOSPOLITA POLSKA (12)OPIS PATENTOWY (19)PL (11) (13) B1. (21) Numer zgłoszenia:

Szczegółowa charakterystyka przedmiotu zamówienia

[HOME] 1080 P KAMERA IP FULLHD/P2P/WI-FI... KARTA PRODUKTOWA WI-FI OBSŁUGA PRZEZ APLIKACJĘ OBROTOWA GŁOWICA OBSŁUGA KART MICRO SD TRYB NOCNY

Automatyczne tworzenie trójwymiarowego planu pomieszczenia z zastosowaniem metod stereowizyjnych

Szkoła Główna Służby Pożarniczej Zakład Ratownictwa Technicznego i Medycznego. Laboratorium Bezpieczeństwa Ratownictwa.

Wyznaczenie długości fali świetlnej metodą pierścieni Newtona

PL B1. WOJSKOWY INSTYTUT MEDYCYNY LOTNICZEJ, Warszawa, PL BUP 26/13

MatliX + MatliX MS. Urządzenie do wizyjnej kontroli wymiarów oraz kontroli defektów powierzchni

Problematyka budowy skanera 3D doświadczenia własne

Kamera internetowa USB Video Class True Plug & Play USB 2.0

[isee 2] KAMERA IP HD/P2P/WI-FI... KARTA PRODUKTOWA WI-FI WI-FI OBSŁUGA PRZEZ APLIKACJĘ OBROTOWA GŁOWICA OBSŁUGA KART MICRO SD TRYB NOCNY OBSŁUGA

Instrukcja instalacji i użytkowania kamery internetowej Sopot Andrzej Poszewiecki. University of Gdansk

MODULATOR CIEKŁOKRYSTALICZNY

KAM-TECH sklep internetowy Utworzono : 17 kwiecień 2015

i ruchów użytkownika komputera za i pozycjonujący oczy cyberagenta internetowego na oczach i akcjach użytkownika Promotor: dr Adrian Horzyk

MSPO 2014: STABILIZOWANE GŁOWICE OPTOELEKTRONICZNE PCO

Laboratorium Optyki Falowej

FOTO PUŁAPKA, kamera leśna, FOTOPUŁAPKA, kamera do lasu, zdjęcia 12 Mpx, filmy 1280x720, IR 940 nm, MMS, E MAIL, SGN-5310M / 5310MG

Cyfrowe przetwarzanie obrazów i sygnałów Wykład 12 AiR III

OKREŚLANIE WSPÓŁRZĘDNYCH KĄTOWYCH CELU PRZY UŻYCIU GŁOWICY WIZYJNEJ RAKIETY

Eye tracking. - przeanalizuj swoją komunikację i sprzedawaj więcej

hurtowniakamer.com.pl

Barbara Wąsikowska. Wprowadzenie

ZARZĄDZANIE PROCESAMI I PROJEKTAMI. Zakres projektu. dr inż. ADAM KOLIŃSKI ZARZĄDZANIE PROCESAMI I PROJEKTAMI. Zakres projektu. dr inż.

Laboratorium LAB3. Moduł pomp ciepła, kolektorów słonecznych i hybrydowych układów grzewczych

2.2 Opis części programowej

ScrappiX. Urządzenie do wizyjnej kontroli wymiarów oraz kontroli defektów powierzchni

Asystent Lądowania ILS (ILS Assistant) w systemie Pitlab&Zbig OSD

Wyznaczanie długości fali świetlnej metodą pierścieni Newtona

Temat ćwiczenia: Zasady stereoskopowego widzenia.

Grafika Komputerowa Wykład 5. Potok Renderowania Oświetlenie. mgr inż. Michał Chwesiuk 1/38

Grafika Komputerowa Wykład 4. Synteza grafiki 3D. mgr inż. Michał Chwesiuk 1/30

Nowe funkcje. Wersja 1.20

SYSTEM KONTROLI BLISTRÓW

JUŻ ZA 1400,00 ZŁ BRUTTO MOŻESZ MONITOROWAĆ I KONTROLOWAĆ SWOJĄ FIRMĘ LUB MIESZKANIE ZA POMOCĄ TELEFONU KOMÓRKOWEGO

Instytut Systematyki i Ewolucji Zwierząt Polskiej Akademii Nauk

Pomiar natężenia oświetlenia

telewizja-przemyslowa.pl

System diagnostyki słuchu

Automatyczne nastawianie ostrości

Analiza i przetwarzanie obrazów

PhoeniX. Urządzenie do wizyjnej kontroli wymiarów oraz kontroli defektów powierzchni

1. MIKROSKOP BADAWCZY (1 SZT.) Z SYSTEMEM KONTRASTU NOMARSKIEGO DIC ORAZ CYFROWĄ DOKUMENTACJĄ I ANALIZĄ OBRAZU WRAZ Z OPROGRAMOWANIEM

SPECYFIKACJA TECHNICZNA SYSTEMU TELEWIZJI PRZEMYSŁOWEJ Łódź 2015

PL B1. Sposób optycznej detekcji wad powierzchni obiektów cylindrycznych, zwłaszcza wałków łożysk. POLITECHNIKA WROCŁAWSKA, Wrocław, PL

Katedra Energetyki. Laboratorium Podstaw Elektrotechniki. Badanie silników skokowych. Temat ćwiczenia:

Pomiar drogi koherencji wybranych źródeł światła

2 799,28 PLN brutto 2 275,84 PLN netto

Rozpoznawanie obrazów na przykładzie rozpoznawania twarzy

Wirtualizacja panelu HMI w systemie LOGO!

Instrukcja do ćwiczenia jednopłaszczyznowe wyważanie wirników

Program V-SIM tworzenie plików video z przebiegu symulacji

Dodatek B - Histogram

GUI - projektowanie interfejsów

Czujniki podczerwieni do bezkontaktowego pomiaru temperatury. Czujniki stacjonarne.

ZWIĄZEK DYSLEKSJI Z WADAMI WIDZENIA. TERESA MAZUR

System wizyjny OMRON Xpectia FZx

GWIEZDNE INTERFEROMETRY MICHELSONA I ANDERSONA

Mobilne Aplikacje Multimedialne

LABORATORIUM ELEKTROTECHNIKI POMIAR PRZESUNIĘCIA FAZOWEGO

REALIZACJA BADAŃ NEUROMARKETINGOWYCH Z UDZIAŁEM NAJMŁODSZYCH KONSUMENTÓW - DZIECI

SILNIK KROKOWY. w ploterach i małych obrabiarkach CNC.

KAM-TECH sklep internetowy Utworzono : 09 listopad 2014

Zastosowanie stereowizji do śledzenia trajektorii obiektów w przestrzeni 3D

Wahadło. Celem ćwiczenia jest zapoznanie się z zasadą dokonywania wideopomiarów w systemie Coach 6 oraz obserwacja modelu wahadła matematycznego.

Rejestrator INTERNEC: i7-t0604vh / HIKVISION: DS-7204HGHI-SH 4 kamery INTERNEC: i8-41d / HIKVISION: DS-2CE56D1T-IRM (2.8mm)

załącznik nr 2 do SIWZ nr SPZOZ/PN/15/ formularz cenowy przedmiotu zamówienia Zadanie 2 Zestaw do badania układu równowagi i narządu słuchu

Oprogramowanie analizatorów wibracji SignalCalc TURBO oprogramowanie do diagnostyki maszyn obrotowych

581,47 PLN brutto 472,74 PLN netto

Stereoskopia i holografia

AAT Holding sp. z o.o.

Eye Tracking w słuŝbie (nie tylko) badań uŝyteczności

Wykorzystanie nowoczesnych technologii w zarządzaniu drogami wojewódzkimi na przykładzie systemu zarządzania opartego na technologii GPS-GPRS.

Skrócona instrukcja obsługi rejestratorów marki

Sieciowe Sterowanie Robotem Przemysłowym KUKA KR3 Sprzężonego z Systemem Wizyjnym oraz Systemem Rozpoznawania Mowy

Laboratorium. Cyfrowe przetwarzanie sygnałów. Ćwiczenie 9. Przetwarzanie sygnałów wizyjnych. Politechnika Świętokrzyska.

P R Z E T W A R Z A N I E S Y G N A Ł Ó W B I O M E T R Y C Z N Y C H

f = -50 cm ma zdolność skupiającą

Podstawy 3D Studio MAX

KAMERA WANDAL V-CAM 430 (600TVL 3,6mm 0,01lxIR20)

M O N I T O R I N G

WYZNACZANIE PROMIENIA KRZYWIZNY SOCZEWKI I DŁUGOŚCI FALI ŚWIETLNEJ ZA POMOCĄ PIERŚCIENI NEWTONA

Piotr Targowski i Bernard Ziętek WYZNACZANIE MACIERZY [ABCD] UKŁADU OPTYCZNEGO

Kamera kopułkowa IP HQ-MP1328MD-IR

Optyka stanowi dział fizyki, który zajmuje się światłem (także promieniowaniem niewidzialnym dla ludzkiego oka).

GEODEZJA WYKŁAD Pomiary kątów

Innowacje wzmacniające system ochrony i bezpieczeństwa granic RP

Mechatronika i inteligentne systemy produkcyjne. Modelowanie systemów mechatronicznych Platformy przetwarzania danych

Instrukcja konfiguracji programu TV Wall do zarządzania dekoderami IN-IP-5904-MP, IN-IP-5904

telewizja-przemyslowa.pl

Transkrypt:

Bartosz Kunka Katedra Systemów Multimedialnych Politechnika Gdańska Definicja: zespół metod i technik badawczych, przeznaczonych do pomiaru, rejestracji i analizy danych o położeniu i ruchach gałek ocznych in brevi: śledzenie ruchów i położenia gałek ocznych za pomocą specjalistycznych urządzeń 2 Bartosz Kunka 1

FIKSACJA stan względnego spoczynku (patrzenie w konkretnym kierunku i/lub skupienie wzroku na konkretnym obiekcie) Podczas fiksacji zachodzi pobieranie informacji wzrokowej z otoczenia. Czas trwania na ogół waha się w granicach od ok. 0,15s do 1,5s SAKKADA bardzo szybki, skokowy ruch zmiany położenia gałki ocznej, pomiędzy kolejnymi fiksacjami; sakkady mimowolne ruchy oka, które wykonywane są podczas obserwowania obiektów 3 Pierwsze badanie przeprowadzono już ponad 100 lat temu konieczność bezpośredniego mechanicznego kontaktu z rogówką oka (bardzo inwazyjne) Badanie w kontekście interakcji człowieka z maszyną pierwsze takie badanie można przypisać Fittsowi, Jonesowi i Miltonowi, którzy w roku 1950 analizowali zachowanie się pilota w kokpicie samolotu 4 Bartosz Kunka 2

Systemy eye trackingowe można podzielić ze względu na rodzaj sygnałów, używanych do analizy położenia gałki ocznej: - mechaniczne, elektryczne, fotoelektryczne, magnetoelektryczne, video Obecnie najczęściej spotykane są eye trackery oparte na przetwarzaniu obrazu video oparte o oświetlenie podczerwone (IR) nagłowne VIDEO oparte o oświetlenie podczerwone (IR) 1 glint bezkontaktowe niezależne od światła IR (naturalny obraz kolorowy) 4 glinty 5 System jest montowany na głowie użytkownika na specjalnym diademie lub kasku Składa się z 3 kamer, umieszczonych: naprzeciw oka lewego, prawego oraz na czole; kamera na czole (ang. scene camera) rejestruje obraz sceny, na którą patrzy użytkownik Umożliwia śledzenie miejsc (punktów) w przestrzeni, na których użytkownik skupia swój wzrok Przykładowy system komercyjny: EyeLink II 6 Bartosz Kunka 3

Cel stosowania światła podczerwonego: większy kontrast pomiędzy tęczówką a źrenicą stosuje się dwie grupy diód IR: świecące na i poza osią kamery diody na osi kamery są odpowiedzialne za efekt jasnej źrenicy (ang. bright-eye effect) 7 diody poza osią kamery za charakterystyczny błysk, zwany glintem, który jest wynikiem odbić światła podczerwonego na powierzchni rogówki; Glint nazywany jest także pierwszym obrazem Purkinjego; jego istotną cechą jest to, że nie zmienia swego położenia wraz z ruchami gałki ocznej dlatego uważany jest za punkt referencyjny Niestety glint przestaje być stabilnym punktem odniesienia w przypadku ruchów głową źrenica w podczerwieni glint 8 Bartosz Kunka 4

Ogólna zasada działania systemu: glint (lub glinty) jest punktem referencyjnym punktem zmieniającym swe położenie wraz z ruchem gałki ocznej jest środek źrenicy analiza wzajemnego położenia glinta (glintów) i środka źrenicy pozwala wyznaczyć punkt fiksacji wzroku na monitorze komputera 9 Metody wyznaczania punktu fiksacji: 1. Metoda 1 glinta Punkt fiksacji wzroku może być wyznaczony w oparciu o proste relacje pomiędzy glintem a środkiem źrenicy (jak pokazano na rysunku obok dla systemu rozróżniającego 9 pól na ekranie) Konfiguracja sprzętowa: 2 sekcje diód poza osią kamery (LEDs off camera axis) tworzą na rogówce oka jeden glint 10 Bartosz Kunka 5

Metody wyznaczania punktu fiksacji: 2. Metoda 4 glintów diody poza osią kamery są umieszczone w rogach ekranu, a ich odbicia tworzą na rogówce czworokąt punkt fiksacji wzroku może być wyznaczony w oparciu o proste relacje pomiędzy glintami a środkiem źrenicy lub przy zastosowaniu skomplikowanych przekształceń matematycznych, poprawiających dokładność wyznaczenia punktu fiksacji 11 Możliwe podejścia przetwarzania obrazów wejściowych: Obraz różnicowy (ang. difference image) obraz różnicowy jest wynikowym obrazem różnicy dwóch kolejnych klatek, przy czym jedna klatka zawiera efekt jasnej źrenicy (obraz twarzy oświetlonej tylko przez diody leżące na osi kamery), a druga zawiera efekt ciemnej źrenicy i glinty leżące na źrenicy i tęczówce (obraz twarzy oświetlonej tylko przez diody leżące poza osią kamery) aby uzyskać sekwencję następujących po sobie klatek z jasną i ciemną źrenicą, konieczna jest synchronizacja pomiędzy przechwytywaniem obrazu przez kamerę a zapalaniem odpowiednich sekcji diód obsługę synchronizacji może zapewnić port LPT w idealnym przypadku zbinaryzowany obraz różnicowy powinien zawierać jedynie obszary źrenic 12 Bartosz Kunka 6

Możliwe podejścia przetwarzania obrazów wejściowych: Jeden obraz procesowi przetwarzania poddawany jest jeden obraz (każda klatka wejściowa) twarz użytkownika oświetlona jest jednocześnie przez diody na osi i poza osią kamery zaletą tego podejścia jest brak konieczności stosowania synchronizacji (brak problemów z portem LPT i niestabilnością pracy na różnych platformach sprzętowych) dodatkowym atutem jest dwukrotne zwiększenie liczby klatek, wykorzystywanych do analizy, czyli dwukrotne zwiększenie rozdzielczości czasowej systemu Uwaga! Prezentowany obraz jest tylko fragmentem obrazu wykorzystywanego w procesie przetwarzania 13 Możliwe podejścia przetwarzania obrazów wejściowych: Jeden obraz Schemat algorytmu wyznaczania punktu fiksacji 14 Bartosz Kunka 7

Metody wyznaczania środka źrenicy: obszar źrenicy jest znajdowany po zbinaryzowaniu obrazu pewnym progiem możliwe metody wyznaczania środka źrenicy: środek geometryczny zazwyczaj obarczona dużym błędem środek ciężkości figury projekcja horyzontalna i wertykalna metoda może być wykorzystywana w obrazach z pełną informacją (pojedyncze klatki, obrazy nie różnicowe) opisanie elipsą (ang. fit ellipse) w porównaniu z pozostałymi najdokładniej wyznacza środek źrenicy (środek źrenicy jest punktem przecięcia się dwóch średnic elipsy) 15 Systemy niezależne od światła IR istnieją systemy eye trackingowe, które nie korzystają z dodatkowego oświetlenia IR umożliwiają śledzenie ruchów gałek ocznych za pomocą zwykłej kamerki internetowej, dzięki przetwarzaniu naturalnego obrazu kolorowego wadą tych systemów jest mniejsza dokładność i konieczność stosowania złożonych algorytmów (większe zapotrzebowanie na moce obliczeniowe komputera) Prezentowane zdjęcia są wynikiem działania aplikacji, opracowywanej w KSM 16 Bartosz Kunka 8

Systemy niezależne od światła IR 17 Tobii TX300 SMI RED500 Eyefollower 2.0 Lenovo (we współpracy z Tobii) 18 Bartosz Kunka 9

Senseye zastosowanie specjalnej podstawki z dedykowaną kamerą i oświetlaczem IR 19 Specyfikacja systemu: oświetlenie IR, długość fali: ok. 800nm metoda 4 glintów (5 sekcji diod: na osi kamery i w rogach ekranu) zmodyfikowana kamera USB: usunięty filtr IR, dodany filtr pasmowo-przepustowy, obiektyw o ogniskowej 12mm rozdzielczość obrazu: 1600x1200 framerate: 5 kl./s = rozdzielczość czasowa: 5 Hz (200 ms) współpracuje z różnymi monitorami (4:3 i panoramiczne) rozdzielczość kątowa systemu: 3,3 o 2 wersje systemu: ze statyczną kamerą, z obrotową kamerą (śledzącą użytkownika) 20 Bartosz Kunka 10

Prototyp systemu ET ze statyczną kamerą Prototyp systemu ET z ruchomą kamerą 21 1. Badanie koncentracji uwagi Aplikacja śledzi koncentrację uwagi dzieci, wykonujących określone zadania, wymagające od nich skupienia uwagi. Umożliwia także sprawdzenie, w które części ekranu dziecko patrzyło najczęściej w tym celu tworzone są tzw. heat mapy, czyli rozkład punktów fiksacji na wybranych elementach obrazu w czasie trwania badania. heat map mapa ciepła 22 Bartosz Kunka 11

2. Badanie użyteczności i funkcjonalności stron internetowych mapa przejść (ang. gaze plot) mapa ciepła (ang. heat map) 23 3. Badania marketingowe (np. badanie które produkty na półce sklepowej najbardziej przykuwają uwagę klientów) 24 Bartosz Kunka 12

4. Medycyna (okulistyka) Badanie i trening widzenia obuocznego, w szczególności zeza i amblyopii (syndromu leniwego oka ) 25 5. Sterowanie aplikacjami w celu komunikowania się ze światem Aplikacja Piktogramy umożliwia wybór kategorii związanych z prostymi czynnościami życia codziennego, tj. np. Chce mi się jeść, Źle się czuję etc. Wirtualna Klawiatura umożliwia wprowadzanie dowolnego tekstu za pomocą wzroku. Z aplikacjami współpracuje syntetyzer mowy, który odczytuje komunikaty. Jest przeznaczona głównie dla osób sparaliżowanych, które nie mogą mówić i ruszać rękoma. Piktogramy Wirtualna Klawiatura 26 Bartosz Kunka 13

6. Neuropsychologia Badanie stopnia świadomości pacjentów w stanie minimalnej świadomości (zdiagnozowanych jako pacjenci w stanie wegetatywnym) 27 6. Neuropsychologia wyniki badania świadomości poprawność wykonania zadań (opartych na ocenie funkcji poznawczych pacjentów) z wykorzystaniem Cyber-Oka zespół zamknięcia osoby wybudzone (08: bez kontaktu słownologicznego) 28 Bartosz Kunka 14