Nauka o słyszeniu Wykład VII Słyszenie a słuchanie : klasyczne i kognitywne podejście do słyszenia Anna Preis, email: apraton@amu.edu.pl 2. 12. 2015
Słyszenie a słuchanie Czy chciałbyś być głuchy czy niewidomy? Słuchowe doświadczenie człowieka: percepcja lokalizacji obiektu w przestrzeni tylko w oparciu o dźwięk percepcja dźwięków muzyki percepcja mowy Tańczymy do dźwięków a nie do światła!!!
Analogia słuchowo-wzrokowa dźwięk środowiskowy: mowa muzyka, dźwięk spotykany w życiu codziennym przedmiot środowiskowy: pismo figury geometryczne przedmioty spotykane w życiu codziennym
Podobieństwa tych trzech zjawisk Dotyczą identyfikacji wydarzeń akustycznych: identyfikacji głosu identyfikacji instrumentów muzycznych Dotyczą percepcji wzorów: zdań, sekwencji wyrazów melodii ruchu muchy wokół głowy Wszystkie związane są z rytmem
One są Słuchowe wydarzenia mówią nam o otaczającym nas świecie przestrzenne czasowe Dotyczą ciągłych zmian w dźwięku w krótkim okresie czasu (wysokość, barwa nuty) w długim okresie czasu (głośność, rytm, zmiana położenia poruszającego się obiektu) To co się zmienia w krótkim czasie ma wpływ na to co się zmienia w długim czasie i vice versa
Relacja pomiędzy fizycznym bodźcem a percepcja nie są jedno-jednoznaczne D słyszymy w [du] i w [da] chociaż akustycznie to D jest zupełnie inne Świat wydarzeń akustycznych słuchacza nie jest tym samym światem wydarzeń akustycznych opisanych energią dźwiękową Ta sama percepcja nigdy nie jest związana z jedną tylko zmianą ciśnienia akustycznego
Klasyczne rozumienie wrażenia i percepcji Dla filozofów greckich wrażenie to to samo co percepcja Akustyczna energia stymuluje nerwy i to pobudzenie transmitowane jest do mózgu. Każdy nerw reaguje na jeden typ energii i pobudzenie tego nerwu odpowiada wrażeniu, prostym świadomym doświadczeniom: słony, czerwony, wysoka wysokość Te wrażenia stają się bazą do percepcji Percepcja jest koniecznym drugim etapem w którym elementy (wrażenia) łącza się w obiekty i wydarzenia Podczas percepcji powstaje koncepcja zewnętrznego wydarzenia
Percepcja wydarzeń Szczegółowa analiza fizycznych charakterystyk dźwięków naturalnych zmiennych w czasie Relacja pomiędzy fizycznymi charakterystykami i percepcyjnymi powinny skłonić do szukania zrozumienia słyszenia w fizjologii. Możemy zapytać jakie wrażeniowe i fizjologiczne mechanizmy tłumaczą psychologiczną percepcję Słuchowe wydarzenia są usadowione w czasie i są percypowane w czasie. Nasze tłumaczenie musi korelować z czasowymi charakterystykami dźwięków.
Dlaczego klasyczna psychoakustyka nie wyjaśnia słyszenia Psychoakustyka zakłada że ucho to mikrofon i stąd pytania: jaki jest najcichszy dźwięk, który możemy usłyszeć jak jesteśmy czuli na zmiany głośności i wysokości jakie zniekształcenia możemy spostrzec Te eksperymenty przeprowadzano w prostych sytuacjach eksperymentalnych i na dźwiękach prostych i nie zmieniających się w czasie. Takie założenia uniemożliwiały odkrycie możliwości percypowania wydarzeń i obiektów
Zasady percepcji mowy Percepcja mowy = akustyka + semantyka Wpływ informacji na ocenę głośności mowy Dokuczliwość mowy zrozumiałej i niezrozumiałej
Signals 01S 01 1S 1 Speechlike noise Speech signals: 01S, 1S, 2S, 3S, 4S, 5S, 6S, 7S, 8S, 9S Speechlike signals: 01, 1, 2, 3, 4, 5, 6, 7, 8, 9 4-2 speechlike sound with the time envelope of speech signal 4S, with L AeqT reduced by 2 db.
amplitude amplitude amplitude amplitude 0.4 0.25 0.3 0.2 0.2 0.1 0-0.1 0.15 0.1-0.2-0.3 0.05-0.4 0 1 2 3 4 5 6 time [s] 0 0 1 2 3 4 5 6 time [s] time pattern of the speech signal time envelope of speech signal 1 0.4 0.8 0.6 0.4 0.2 0-0.2-0.4-0.6-0.8-1 0 1 2 3 4 5 6 time [s] 0.3 0.2 0.1 0-0.1-0.2-0.3-0.4 0 1 2 3 4 5 6 time [s] CCITT noise speechlike sound
0 1 2 t/s 3 4 5 time pattern of the original speech signal p/pa 0.625 0.375 0.125-0.125-0.375-0.625 L/dB[SPL] 90 0 1 2 t/s 3 4 5 level versus time of the speech signal 70 60 50 40 30 20 L/dB[SPL] 70 10 20 50 100 200 f/hz 2000 5000 10k 20k averaged power spectrum of the speech signal 50 40 30 20 10 0 0 1 2 t/s 3 4 5 time pattern of the speechlike sound p/pa 0.4 0.3 0.1 0-0.2-0.4 L/dB[SPL] 80 0 1 2 t/s 3 4 5 level versus time of the speechlike signal 60 50 40 30 20 10 L/dB[SPL] 70 10 20 50 100 200 f/hz 2000 5000 10k 20k averaged power spectrum of the speechlike signal 50 40 30 20 10 0
N5 [sone] Test stimuli used in the study 60 55 50 45 8 1S 3-1 2-1.5S 3 4 7+2S 9 8+1.5S 5+4S 2 1 4+4S 3+4 3+3.5S 4+3 9+2 8+2 2+2 01+2S 7+2 6+1 01+1 5+2 speechlike sounds speech 40 3-2 4-2 6-2S 35 9-4 6-4 9+3S 2-4 5-4 01-4 30 20 22 24 26 28 30 32 N [sone]
log GM Results 1,09 1,04 3 2S-1,5 4 0,99 1 9 6+1 01+1 0,94 2 9S+3 8 01S+2 0,89 7S+2 8S+1,5 0,84 13 15 17 19 N [sone] y = -0,0075x + 1,1144 R 2 = 0,0748 speechlike sounds speech y = -0,0089x + 1,0776 R 2 = 0,061
log GM Results 1,15 1,1 1,05 1 0,95 0,9 0,85 0,8 5-4 9-4 6-4 01-4 2-4 3S+3,5 7+2 4+3 2S-1,5 2+2 1S 8+2 3-2 01+1 3+4 3-1 5+2 9+2 5S+4 01S+2 4-2 4S+4 6S-2 19 24 29 34 N5 [sone] y = 0,0088x + 0,7258 R 2 = 0,7412 speechlike sounds speech y = 0,0095x + 0,6905 R 2 = 0,1977
Zasady percepcji dźwięku muzycznego Model wielopoziomowego słyszenia obiektów słuchowych (źródeł dźwięków) Mechanizmy grupowania w muzyce, strumieniowanie Psychologia Gestalt Słuchanie muzyczne i potoczne (naturalne)
Słuchanie naturalne Badanie słyszenia dźwięku środowiskowego w podejściu: klasycznym ekologicznym kognitywistycznym Akustyka środowiska-podejście klasyczne, słyszymy dźwięki Akustyka środowiska w kognitywistycznym ujęciu-słyszymy źródła dźwięków
Badanie słyszenia dźwięku środowiskowego Nadjeżdżający samochód w podejściu»klasycznym»ekologicznym»kognitywistycznym
Podejście klasyczne Osoba rozpoznaje zmiany w głośności, zmiany w wysokości W oparciu o nie wnioskuje że nadjeżdża samochód Rozpoznanie, że nadjeżdża samochód jest złożeniem dwóch procesów: percepcji słuchowej pozasłuchowego procesu wnioskowania Psychoakustyka percepcja słuchowa Proces wnioskowania nie ma wiele wspólnego ze słyszeniem
Badanie słyszenia dźwięku środowiskowego 1979 Vanderveer grupowanie 1979 Lederman chropowatość dźwięków 1984 Warren, Verbrugge tłuczenie się przedmiotu, odbijanie się 1988 Gaver rozróżnianie rodzaju materiału i długości 1993 Gaver słyszenie muzyczne, słyszenie potoczne
Badanie słyszenia dźwięku środowiskowego 1991 Li et al. percepcja kroków 1998 Carello at al. - drewniane pręty uderzające o twardą powierzchnię 2000 Cabe, Pittenger napełnianie, opróżnianie naczynia 2002 Houben prędkość toczących się kulek 2003 Rocchesso, Fontana pełny przegląd literatury http://www.soundobject.org/sobbook 2009 AŚ
Podejście ekologiczne Osoba oddaje się słyszeniu potocznemu rozpoznaje wydarzenia akustyczne pochodzące od źródeł dźwięków znajdujących się w otoczeniu Wydarzenie akustyczne to np. zbliżanie się źródła dźwięku informacja o tym, a także o innych wydarzeniach akustycznych pochodzących od źródła, takich jak toczenie się, rytmiczna praca silnika itp. zawarta jest w strukturze akustycznej utożsamianej z układem cech złożonego sygnału akustycznego Słyszenie - ustalenie korelacji między strukturą akustyczną a zdarzeniem akustycznym
Podejście kognitywystyczne Osoba słyszy nadjeżdżający samochód informacja o tym zawarta jest w sygnale dźwiękowym Ustalenie, że osoba słyszy wymaga wydobycie z sygnału akustycznego informacji o schematycznej strukturze strumienia słuchowego (słyszenie akustyczne) ta informacja służy następnie do ustalenia położenia i odległości źródła dźwięku (słyszenie przestrzeni) a te dane, wykorzystywane są do rozpoznania cech i sposobu zachowaniu się przedmiotu a więc czy i w jakim kierunku się porusza, jaki to jest rodzaj ruchu - jednostajny, przyspieszonya także czy jest to kroczenie, toczenie się czy suwanie (słuchanie przedmiotu)
Podejście kognitywystyczne Poziomy przetwarzania informacji wzrokowej według Marr'a Pierwotny szkic Poziomy przetwarzania informacji słuchowej Schematyczna struktura strumienia słuchowego Dwuipółwymiarowy szkic Trójwymiarowy model kształtu przedmiotu Położenie i odległość źródła dźwięku Ruchowa charakterystyka przedmiotu
Stadia percepcji słuchowej słyszenie akustyczne słyszenie przestrzeni słuchanie przedmiotu
Słyszenie akustyczne słyszenie elementarne identyfikowanie cech dźwięków m.in. takich jak głośność, wysokość, barwa słyszenie scen słuchowych porządkowanie dźwięków w struktury, tzw. strumienie
Słyszenie przestrzeni przestrzeń egocentryczna słuchowa percepcja odległości lokalizacja źródła dźwięku
Słuchanie przedmiotu słuchowe rozpoznawanie podstawowych cech przedmiotu, czyli rozpoznawanie jego ruchowej charakterystyki zbliżanie się, oddalanie, prędkość, przyspieszanie, zatrzymywanie itp.
Słuchanie przedmiotu Słuchowe rozpoznawanie dodatkowych cech przedmiotu rozpoznawanie zmian w przedmiocie: (napełnianie, opróżnianie, rozbijanie, rozpłaszczanie) rozpoznawanie trwałych cech przedmiotu: ciężar, kształt, wielkość, sprężystość, sztywność
Podejście kognitywystyczne w badaniu percepcji słuchowej Kognitywistyczne badanie słuchania naturalnego polega na prezentowaniu słuchaczom dźwięków środowiskowych i pytaniu ich nie o cechy dźwięków, jakie rozpoznają, ale o cechy i zachowanie obiektów, które wygenerowały te dźwięki
Podejście kognitywystyczne Charakterystyki źródła dźwięku odległość prędkość przyśpieszenie ciężar rozmiar Powinno się badać progi parametrów charakteryzujących źródło dźwięku takie jak progi prędkości, odległości
Progi spostrzegania zmian parametrów źródła dźwięku Progi odległości Progi prędkości i przyśpieszenia Progi masy
Percepcja słuchowa Psychoakustyka klasyczna słyszenie dźwięku środowiskowa słyszenie źródła dźwięku
Model poruszającego się źródła dźwięku X (t) 0 x R (t) d f (t) L a P
ITD [ms] Lp [db] f [%] f [Hz] Przebiegi czasowe symulowanych parametrów fali akustycznej 0.0-0.5-1.0-1.5-2.0-2.5-3.0-3.5-4.0-4.5-5.0 DL[dB] dl [db/s] Lp( t) 20*log 1 M sin( f( t)) R( t) v = 10 m/s v = 13 m/s -0.5-0.3-0.1 0.1 0.3 0.5 czas [s] 500 400 300 200 100 0-100 -200-300 -400-500 2 v = 10 m/s 3a ITD( t) sin( f( t)) v = 13 m/s 2c DITD[ms] 104.0 103.0 102.0 101.0 100.0 99.0 98.0 97.0 96.0 Df [%] -0.5-0.3-0.1 0.1 0.3 0.5 czas [s] v = 10 m/s f( t v = 13 m/s -0.5-0.3-0.1 0.1 0.3 0.5 czas [s] ditd [ms/s] f df [%/s] t f 1 M sin( 1 0 ))
Tezy pracy W percepcji prędkości i przyspieszenia źródła dźwięku układ słuchowy wykorzystuje informacje wynikające z analizy szybkości zmian parametrów fali akustycznej. Stosując metodę eliminacji przesłanek zaproponowaną w niniejszej rozprawie możliwe jest ustalenie względnych wag poszczególnych przesłanek w procesie percepcji prędkości i przyspieszenia.
Percepcja prędkości Eksperymenty psychoakustyczne
Dyskryminacja prędkości zakres prędkości: 10 40 m/s - tor ruchu obu źródeł jest zawsze symetryczny względem azymutu 0 o
Dyskryminacja prędkości tor ruchu obu źródeł jest zawsze symetryczny względem azymutu 0 o różnice w parametrach fali akustycznej na krańcach przedziału obserwacji maleją wraz z prędkością Jeżeli różnice w parametrach fali akustycznej na krańcach przedziału obserwacji są istotnym czynnikiem w percepcji prędkości, progi dyskryminacji prędkości powinny rosnąć ze wzrostem prędkości odniesienia.
Eksperyment I dyskryminacja prędkości Bodźce: długość bodźca: 1sekunda widmo: sygnał sinusoidalny f = 200 Hz, odległość od toru ruchu: 5 m prędkości źródła: 10, 20, 30 i 40 m/s Procedura: 2AFC, wariant 2-tak 1-nie, 12 punktów zwrotnych, sesja treningowa, 4 powtórzenia Słuchacze: 8 słuchaczy studenci Akustyki Zadanie: Wskaż, które źródło w prezentowanej parze poruszało się z większą prędkością.
Eksperyment I wyniki dv = 3 m/s Wyniki ANOVA: słuchacze: F(7,128) = 40.4; p << 0.01 prędkość: F(3,128) = 1.7; p > 0.2
Eksperyment I wyniki: wartości przesłanek statycznych
Eksperyment I wyniki: wartości przesłanek dynamicznych
ITD [ms] Lp [db] f [%] f [Hz] 0.0-0.5-1.0-1.5-2.0-2.5-3.0-3.5-4.0-4.5-5.0 Eksperyment II względne wagi przesłanek w procesie dyskryminacji prędkości metoda wyznaczania względnych wag przesłanek: v = 10 m/s v = 13 m/s -0.5-0.3-0.1 0.1 0.3 0.5 czas [s] 500 400 300 200 100 0-100 -200-300 -400-500 v = 10 m/s v = 13 m/s 104.0 103.0 102.0 101.0 100.0 99.0 98.0 97.0 96.0-0.5-0.3-0.1 0.1 0.3 0.5 czas [s] v = 10 m/s v = 13 m/s -0.5-0.3-0.1 0.1 0.3 0.5 czas [s]
Eksperyment II względne wagi przesłanek w procesie dyskryminacji prędkości metoda wyznaczania względnych wag przesłanek: Progi dyskryminacji prędkości wyznaczane są w czterech warunkach eksperymentalnych: - wszystkie przesłanki dostępne (warunki referencyjne), - dostępne tylko zmiany poziomu ciśnienia akustycznego, - dostępne tylko zmiany częstotliwości, - dostępne tylko zmiany ITD wartość progu w danych warunkach eksperymentalnych jest odwrotnie proporcjonalna do względnej wagi aktualnie dostępnej przesłanki
Eksperyment II względne wagi przesłanek w procesie dyskryminacji prędkości Bodźce: długość bodźca: 2 sekundy widmo: sygnał poliharmoniczny f o = 43 Hz, f k = 1634 Hz odległość od toru ruchu: 5 m prędkości źródła: 20 m/s Procedura: 2AFC, wariant 2-tak 1-nie, 12 punktów zwrotnych, sesja treningowa, 4 powtórzenia Słuchacze: 9 słuchaczy studenci Akustyki Zadanie: Wskaż, które źródło w prezentowanej parze poruszało się z większą prędkością.
dv [m/s] Eksperyment II wyniki: progi dyskryminacji prędkości wszystkie dostępne tylko zmiany poziomu tylko zmiany częstotliwości tylko zmiany ITD 25 20 15 10 5 0 EJ GH HH MW SH DJ JK CJ JD słuchacz
Percepcja prędkości: wnioski progi dyskryminacji prędkości niezależne od prędkości dv = 1.5 do 4.6 m/s zależnie od słuchacza. w dyskryminacji prędkości układ słuchowy wykorzystuje szybkości zmian parametrów fali akustycznej. wagi przesłanek w percepcji prędkości Efekt Dopplera zmiany poziomu zmiany ITD
ITD [ms] Lp [db] f [%] f [Hz] Przebiegi czasowe symulowanych parametrów fali akustycznej 0.0-0.5-1.0-1.5-2.0-2.5-3.0-3.5-4.0-4.5-5.0 Lp( t) 20*log 1 M sin( f( t)) R( t) v = 10 m/s v = 13 m/s -0.5-0.3-0.1 0.1 0.3 0.5 czas [s] 500 400 300 200 100 0-100 -200-300 -400-500 2 v = 10 m/s 3a ITD( t) sin( f( t)) v = 13 m/s 2c 104.0 103.0 102.0 101.0 100.0 99.0 98.0 97.0 96.0-0.5-0.3-0.1 0.1 0.3 0.5 czas [s] f t f 1 M sin( 1 v = 10 m/s f( t v = 13 m/s 0 )) -0.5-0.3-0.1 0.1 0.3 0.5 czas [s]
DODATEK Iluzja Dopplerowska faktyczna zmiana częstotliwości spostrzegana zmiana wysokości