Korelacje wzrokowo-słuchowe



Podobne dokumenty
voice to see with your ears

System śledzenia punktu fiksacji wzroku jako narzędzie wspierające badania korelacji wzrokowo-słuchowych

KATEDRA SYSTEMÓW MULTIMEDIALNYCH LABORATORIUM PERCEPCJI DŹWIĘKU I OBRAZU. 1. Korelacje wzrokowo-słuchowe

Percepcja słuchowa dzieci z niepełnosprawnością intelektualną w stopniu lekkim

Elektroniczne systemy percepcji otoczenia dla niewidomych

SCALANIE MIĘDZYMODALNE

Plan wykładu. Prozopagnozja. wrażenie sensoryczne a percepcja. wrażenia sensoryczne i percepcja

Mobilne Aplikacje Multimedialne

Słyszenie w środowisku

Profil dyplomowania: Systemy multimedialne.

w kontekście percepcji p zmysłów

Poznawcze znaczenie dźwięku

Wstęp. Przedmowa. 2o Psychologia rozwoju człowieka 63

Percepcja jako zmysłowy odbiór bodźców Procesy percepcji Percepcja jako proces Definicja percepcji/spostrzegania Odbiór wrażeń Percepcja rejestracja

Wpływ kompresji obrazów i map głębi na syntezę widoków w systemie wielowidokowym

Multi-sensoryczny trening słuchowy

Wymiana i Składowanie Danych Multimedialnych Mateusz Moderhak, EA 106, Pon. 11:15-12:00, śr.

Plan wykładu. Psychologia procesów poznawczych: percepcja, język, myślenie. wrażenia sensoryczne, cz.2. Psychofizyka. Psychofizyka.

Słyszenie a słuchanie: klasyczne, ekologiczne i kognitywne podejście do słyszenia. III rok reżyserii dźwięku AM_1_2015

Sala Doświadczania Świata

Profil dyplomowania: Systemy multimedialne

Stereoskopia i holografia

Okulografia w badaniach percepcji napisów do programów audiowizualnych dla osób niesłyszących i niedosłyszących. wstępny opis badania

Wstęp do kognitywistyki

Porozumiewanie się z użytkownikami aparatów słuchowych. Rady dotyczące udanego porozumiewania się

Teorie opisujące naturalne słyszenie przestrzenne

Pomiar drogi koherencji wybranych źródeł światła

Profil dyplomowania: Systemy multimedialne

Wpływ określonych rodzajów podkładu dźwiękowego na ocenę przyjemności, wynikającej z prezentacji różnych kategorii krajobrazów.

Zmysły. Wzrok Węch Dotyk Smak Słuch Równowaga?

Eyetracker śledzi ruchy gałki ocznej. Empiryczne potwierdzenie znanej zalety prasa angażuje bardziej.

Szkoła Główna Służby Pożarniczej Zakład Ratownictwa Technicznego i Medycznego. Laboratorium Bezpieczeństwa Ratownictwa.

Grupa: Elektrotechnika, sem 3, wersja z dn Technika Świetlna Laboratorium

System diagnostyki słuchu

Podstawy grafiki komputerowej

Laboratorium Zanurzonej Wizualizacji Przestrzennej LZWP

TEMAT :Animacja Komputerowa. Projekt współfinansowany w ramach Europejskiego Funduszu Społecznego

Metody badawcze. Metodologia Podstawowe rodzaje metod badawczych

Percepcja, język, myślenie

SPRZĘT. 2. Zestaw do przygotowania i prowadzenia badań eksperymentalnych: 2.1 E-Prime 2.0 Professional

Percepcja dźwięku. Narząd słuchu

Profil dyplomowania: Systemy multimedialne

Prezentacja, którą czytacie jest jedynie zbiorem sugestii. Nie zawiera odpowiedzi na pytania wprost. Jeżeli nie wiedzielibyście jak odpowiedzieć na

Spis treści tomu pierwszego

Raport zaliczeniowy z psychofizyki. Aleksandra Wyciszkiewicz Kalina Kalinowska Katarzyna Korona

Akustyka muzyczna. Wykład 1 Wprowadzenie. O muzyce. Elementy muzyki. O dźwięku. dr inż. Przemysław Plaskota

dr inż. Jarosław Forenc

SYLABUS/ OPIS PRZEDMIOTU

Profil dyplomowania: Systemy multimedialne

Neurobiologia na lekcjach informatyki? Percepcja barw i dźwięków oraz metody ich przetwarzania Dr Grzegorz Osiński Zakład Dydaktyki Fizyki IF UMK

Sztuka dźwięku : technika i realizacja / Małgorzata Przedpełska-Bieniek. Warszawa, Spis treści

,,Doświadczam, myślę, jestem kreatywny

Informacja. Informacja (łac. informatio przedstawienie, wizerunek; informare kształtować, przedstawiać) zespół wiadomości przyswajanych przez odbiorcę

Zastosowanie ultradźwięków w technikach multimedialnych

Jak dziecko z autyzmem odbiera świat

"Zwiedzając pory roku z Tosią"

Wpływ języka oryginału na czytanie napisów filmowych

Magiczny świat zmysłów

Zaznajomienie z podstawowym środkiem wyrazu artystycznego, jakim jest barwa.

Program V-SIM tworzenie plików video z przebiegu symulacji

Wykład 9. ogólne prawa percepcji. dr Marek Binder Zakład Psychofizjologii

Zagadnienia egzaminacyjne ELEKTRONIKA I TELEKOMUNIKACJA studia rozpoczynające się przed r.

Dr inż. Krzysztof Petelczyc Optyka Widzenia

Pomiar jakości postrzeganej przez użytkownika dla usługi 3D IPTV

WYBRANE ASPEKTY ZACHOWAŃ OSÓB TESTOWANYCH Z WYKORZYSTANIEM SYMULATORA JAZDY KLASY VR

Pomiary w technice studyjnej. TESTY PESQ i PEAQ

KATEGORIA OBSERWATORA A PROCES WIZUALIZACJI

OPIS PRZEDMIOTU. Procesy poznawcze - percepcja i uwaga 1100-Ps1PP-NJ. Wydział Pedagogiki i Psychologii Instytut Psychologii Psychologia

Zakład Grafiki Komputerowej i Multimediów Adam Wojciechowski

Gogle wirtualnej rzeczywistości (VR) Pro

ul. Piastowska 19 tel Pszczyna fax

Wstęp do kognitywistyki. Wykład 6: Psychologia poznawcza

II. Metoda pracy Praca z podręcznikiem i atlasem, opis, wyjaśnianie, rozmowa dydaktyczna, obserwacja, prezentacje, gra dydaktyczna, pokaz.

Charakter aktywności. 10 skojarzeń do obrazka Jeżeli to nie jest ogród, to jest to. Stymulowanie myślenia i twórczości dziecka poprzez obraz

Systemy wspomagania osób niewidomych w samodzielnym poruszaniu się

GRAFIKA RASTROWA. WYKŁAD 1 Wprowadzenie do grafiki rastrowej. Jacek Wiślicki Katedra Informatyki Stosowanej

Poziom dostępności: AAA

Uniwersytet Wirtualny VU2012

Wystawa MÓZG. Wystawa zaskakuje, bawi i ilustruje najnowsze osiągnięcia neuronauk.

Wczesne Wspomaganie Rozwoju Dziecka

Spostrzeganie jako proces kategoryzacji percepcyjnej.

Warsztaty z tworzenia filmów animowanych metodą poklatkową.

Stymulator polisensoryczny

Synchronizacja dźwięku i obrazu

PERCEPCJA WZROKOWA- ROZWÓJ I ZABURZENIA FUNKCJI WZROKOWYCH.

Ucieleśnione poznanie

Raport z syndykatowych badań ilościowych. IV Fala Badania Marzec Wrocław. 30 kwietnia 2014

Badania lokalnego rynku pracy

I. TEST SPRAWDZAJĄCY WIELOSTOPNIOWY : BODŹCE I ICH ODBIERANIE

Dźwięk i psychika STEROWANIE UMYSŁEM GRACZA ZA POMOCĄ DRGAŃ POWIETRZA MARCIN KOSZÓW DLA TK GAMES 2

WYKŁAD 8: ŚWIADOMOŚĆ. Psychologia poznawcza. dr Mateusz Hohol

Plan. Co to jest emocja

Metoda opracowana przez prof. Jagodę Cieszyńską opiera się na wieloletnich doświadczeniach w pracy z dziećmi z zaburzona komunikacją językową.

Niezawodność i Diagnostyka

AKADEMIA BAMBIKA PAKIET (199165)

Fotometria i kolorymetria

Nauka o słyszeniu Wykład II System słuchowy

Rzeczywistość rozszerzona w edukacji w świetle piśmiennictwa

Transkrypt:

Korelacje wzrokowo-słuchowe Bartosz Kunka Katedra Systemów Multimedialnych Wydział Elektroniki, Telekomunikacji i Informatyki Politechnika Gdańska Synestezja a percepcja wielomodalna Synestezja pojęcie funkcjonujące w psychologii, w literaturze stan, w którym stymulacja jednego zmysłu wywołuje doznania charakterystyczne dla innych zmysłów, np. barwa niebieska odczuwana jest jako chłodna ujmowanie doznań właściwych dla jednego zmysłu w kategoriach doznań innego zmysłu, np. ciepły głos Percepcja wielomodalna odbieranie bodźców pochodzących z co najmniej dwóch jednocześnie stymulowanych zmysłów, np. w systemach wirtualnej rzeczywistości: jednoczesna stymulacja wzroku, słuchu, dotyku

Percepcja wielomodalna Oszacowanie przepływności informacji transmitowanej przez poszczególne zmysły podano przybliżoną liczbę komórek nerwowych związanych z każdym zmysłem na podstawie przepływności pojedynczej komórki, oszacowano szerokość pasma poszczególnych zmysłów zmysł przepływność [b/s] wzrok 10 000 000 słuch 100000 dotyk 1 000 000 smak 1000 zapach 100000 w sumie: 11201000 Percepcja wielomodalna ang. multimodal (cross-modal) perception w przypadku jednoczesnej stymulacji np. wzroku i słuchu percepcja (odbiór) wrażenia wizyjno-fonicznego, różniącego się od złożenia wrażeń będących następstwem niezależnej stymulacji zmysłu wzroku i słuchu Korelacje wzrokowo-słuchowe w przypadku niedopasowania treści wizyjno-fonicznej mogą powodować: poczucie dyskomfortu (wrażenie niespójności prezentowanej treści) przekłamanie postrzeganego wrażenia (iluzja słuchowa) Typowy przykład przekłamania: efekt McGurka

Percepcja wielomodalna Efekt McGurka Percepcja wielomodalna w procesie percepcji obrazu i dźwięku biorą udział informacje przechowywane w pamięci do ich wydobycia konieczny jest odpowiedni bodziec, który zainicjalizuje proces przetwarzania w filmie takim bodźcem jest dźwięk przykład: scena przedstawiająca słabo oświetlone pomieszczenie z towarzyszącym dźwiękiem, np. krzykiem; u większości widzów taka scena wyzwoli poczucie niepokoju, a nawet strachu

Percepcja wielomodalna Poczucie niedopasowania treści wizyjnej i fonicznej wynikające z informacji przechowywanej w pamięci Percepcja wielomodalna Hipoteza Welcha i Warrena rozbieżności pomiędzy różnymi bodźcami są rozstrzygane w zależności od tego, który z nich zawiera dokładniejszą i bardziej pożyteczną informację w kontekście danej sytuacji, np. zmysł wzroku zazwyczaj dominuje nad zmysłem słuchu w przypadku określania odległości, czyli w analizie położenia źródeł dźwięku w przestrzeni słuch dominuje nad wzrokiem w sytuacjach, gdy wymagana jest duża rozdzielczość czasowa

Geneza Pierwsze badania w XIX w. Stratton prekursor badań w tej dziedzinie bodźce wzrokowe mają istotny wpływ na lokalizację źródła dźwięku w przestrzeni Różne konteksty badania korelacji wzrokowosłuchowych: synchronizacja dźwięku i obrazu kompresja obrazu wizyjnego na podstawie informacji zawartych w ścieżce dźwiękowej odbiór treści wizyjno-fonicznej przez widza zmiana percepcji kierunku źródła dźwięku na skutek stymulacji wzrokowej (przesunięcie pozornego źródła dźwięku) Odbiór treści wizyjno-fonicznej przez widza badania Holliera i Voelckera pogorszenie jakości obrazu nie wpływa na jej postrzeganie w przypadku prezentacji dźwięki o niezmienionej jakości badania Davisa dźwięk dodany do obrazu znacząco zwiększa poczucie uczestnictwa w wirtualnej rzeczywistości (wirtualny świat wydaje się bardziej realistyczny, gdy obrazowi towarzyszą dźwięki) badania Stormsa i Zydy dźwięk wysokiej jakości towarzyszący obrazowi wysokiej jakości: obraz jest postrzegany jako lepszej jakości w porównaniu z tym samym obrazem bez towarzyszenia dźwięku

Przesunięcie pozornego źródła dźwięku stymulacja słuchowa Przesunięcie pozornego źródła dźwięku stymulacja wzrokowo-słuchowa zmiana percepcji kierunku źródła dźwięku na skutek stymulacji wzrokowej (przesunięcie pozornego źródła dźwięku w kierunku bodźca wzrokowego)

Przesunięcie pozornego źródła dźwięku Witkin kierunek głosu spikera tv 2 etapy eksperymentu: w pierwszym badani widzieli twarz spikera i słyszeli jego głos, zaś w drugim słyszeli tylko jego głos w pierwszym przypadku badani lokalizowali głos spikera jako dochodzący ze środka w drugim badani słyszeli jego głos jako dochodzący z lewej lub prawej strony Komiyama i Nakabayashi płeć badanego determinuje jego ocenę lokalizacji źródła dźwięku w panoramie stereofonicznej zdecydowanie większy wpływ ściągający występował, gdy mężczyźnie prezentowano obraz spikerki, a kobiecie obraz spikera, niż w przypadku, gdy badany i spiker byli tej samej płci Zastosowanie śledzenia wzroku Badania subiektywne wnioski na podstawie wyników ankiet zastosowanie systemu śledzenia punktu fiksacji wzroku obiektywizacja badań subiektywnych

Metodologia Metodologia

Metodologia Badania założenia wykorzystanie 2 systemów śledzenia wzroku (Tobii, Cyber- Oko) opracowanie materiału badawczego fragmenty rzeczywistych filmów 3D (pozyskane z płyt w formacie Bluray 3D) próbki autorskie (nagranie koncertu duetu: skrzypce-fortepian)

Badania założenia 2 konfiguracje stanowiska badawczego (wielkość obszaru wyświetlania) badanie konfiguracja nr 1: ekran monitora skalowalności (mały i średni obszar wyświetlania) wpływu konfiguracja nr 2: ekran projektora ściągającego (duży obszar wyświetlania) obrazu na percepcję dźwięku Skalowalność kąt widzenia obrazu obiektu decyduje o wpływie ściągającym niezależnie od wielkości wyświetlanego obrazu Badania założenia druga konfiguracja stanowiska badawczego (duży obszar wyświetlania)

Badania Wizualizacja uwagi wzrokowej widza dynamiczna mapa przejść Tobii T60 Cyber-Oko Badania wyniki wykres pudełkowy (wpływ ściągający istotny statystycznie) próbka 2 (pan, średni) głos bohatera, fragment filmu Avatar : F(1, 28) = 33,09; p= 0,000004 [ o ]

Badania wyniki Wpływ ściągający a lokalizacja bodźca wzrokowego w obrazie V= f(c) R= 0,855; p= 0,002 Badania wyniki Wpływ ściągający a uwaga wzrokowa widza V = f(a) wynik dla próbki nr 6 stanowiącej fragment filmu Piranha3D bodziec wzrokowy w lewej części ekranu, znacznie oddalony od środka: c >>0 R= 0,8; p= 0,01 położenie bodźca wzrokowego jest czynnikiem dominującym

Badania wyniki Skalowalność wpływu ściągającego mały ŚREDNI duży 14,25 cm 38 cm Tobii T60 170 cm Cyber-Oko kąt widzenia obrazu obiektu decyduje o wpływie ściągającym niezależnie od wielkości wyświetlanego obrazu Podsumowanie istnieje związek pomiędzy położeniem bodźca wzrokowego w obrazie a wpływem ściągającym istnieje zależność pomiędzy czasem skupienia wzroku na bodźcu wzrokowym a obserwowanym wpływem ściągającym wpływ ściągający obrazu na percepcję dźwięku jest zjawiskiem skalowalnym