Nauka o słyszeniu. Wykład VII. Słyszenie a słuchanie : klasyczne i kognitywne podejście do słyszenia

Transkrypt

1 Nauka o słyszeniu Wykład VII Słyszenie a słuchanie : klasyczne i kognitywne podejście do słyszenia Anna Preis, apraton@amu.edu.pl

2 Słyszenie a słuchanie Czy chciałbyś być głuchy czy niewidomy? Słuchowe doświadczenie człowieka: percepcja lokalizacji obiektu w przestrzeni tylko w oparciu o dźwięk percepcja dźwięków muzyki percepcja mowy Tańczymy do dźwięków a nie do światła!!!

3 Analogia słuchowo-wzrokowa dźwięk środowiskowy: mowa muzyka, dźwięk spotykany w życiu codziennym przedmiot środowiskowy: pismo figury geometryczne przedmioty spotykane w życiu codziennym

4 Podobieństwa tych trzech zjawisk Dotyczą identyfikacji wydarzeń akustycznych: identyfikacji głosu identyfikacji instrumentów muzycznych Dotyczą percepcji wzorów: zdań, sekwencji wyrazów melodii ruchu muchy wokół głowy Wszystkie związane są z rytmem

5 One są Słuchowe wydarzenia mówią nam o otaczającym nas świecie przestrzenne czasowe Dotyczą ciągłych zmian w dźwięku w krótkim okresie czasu (wysokość, barwa nuty) w długim okresie czasu (głośność, rytm, zmiana położenia poruszającego się obiektu) To co się zmienia w krótkim czasie ma wpływ na to co się zmienia w długim czasie i vice versa

6 Relacja pomiędzy fizycznym bodźcem a percepcja nie są jedno-jednoznaczne D słyszymy w [du] i w [da] chociaż akustycznie to D jest zupełnie inne Świat wydarzeń akustycznych słuchacza nie jest tym samym światem wydarzeń akustycznych opisanych energią dźwiękową Ta sama percepcja nigdy nie jest związana z jedną tylko zmianą ciśnienia akustycznego

7 Klasyczne rozumienie wrażenia i percepcji Dla filozofów greckich wrażenie to to samo co percepcja Akustyczna energia stymuluje nerwy i to pobudzenie transmitowane jest do mózgu. Każdy nerw reaguje na jeden typ energii i pobudzenie tego nerwu odpowiada wrażeniu, prostym świadomym doświadczeniom: słony, czerwony, wysoka wysokość Te wrażenia stają się bazą do percepcji Percepcja jest koniecznym drugim etapem w którym elementy (wrażenia) łącza się w obiekty i wydarzenia Podczas percepcji powstaje koncepcja zewnętrznego wydarzenia

8 Percepcja wydarzeń Szczegółowa analiza fizycznych charakterystyk dźwięków naturalnych zmiennych w czasie Relacja pomiędzy fizycznymi charakterystykami i percepcyjnymi powinny skłonić do szukania zrozumienia słyszenia w fizjologii. Możemy zapytać jakie wrażeniowe i fizjologiczne mechanizmy tłumaczą psychologiczną percepcję Słuchowe wydarzenia są usadowione w czasie i są percypowane w czasie. Nasze tłumaczenie musi korelować z czasowymi charakterystykami dźwięków.

9 Dlaczego klasyczna psychoakustyka nie wyjaśnia słyszenia Psychoakustyka zakłada że ucho to mikrofon i stąd pytania: jaki jest najcichszy dźwięk, który możemy usłyszeć jak jesteśmy czuli na zmiany głośności i wysokości jakie zniekształcenia możemy spostrzec Te eksperymenty przeprowadzano w prostych sytuacjach eksperymentalnych i na dźwiękach prostych i nie zmieniających się w czasie. Takie założenia uniemożliwiały odkrycie możliwości percypowania wydarzeń i obiektów

10 Zasady percepcji mowy Percepcja mowy = akustyka + semantyka Wpływ informacji na ocenę głośności mowy Dokuczliwość mowy zrozumiałej i niezrozumiałej

11 Signals 01S 01 1S 1 Speechlike noise Speech signals: 01S, 1S, 2S, 3S, 4S, 5S, 6S, 7S, 8S, 9S Speechlike signals: 01, 1, 2, 3, 4, 5, 6, 7, 8, speechlike sound with the time envelope of speech signal 4S, with L AeqT reduced by 2 db.

12 amplitude amplitude amplitude amplitude time [s] time [s] time pattern of the speech signal time envelope of speech signal time [s] time [s] CCITT noise speechlike sound

13 0 1 2 t/s time pattern of the original speech signal p/pa L/dB[SPL] t/s level versus time of the speech signal L/dB[SPL] f/hz k 20k averaged power spectrum of the speech signal t/s time pattern of the speechlike sound p/pa L/dB[SPL] t/s level versus time of the speechlike signal L/dB[SPL] f/hz k 20k averaged power spectrum of the speechlike signal

14 N5 [sone] Test stimuli used in the study S S S S 5+4S S S S speechlike sounds speech S S N [sone]

15 log GM Results 1,09 1,04 3 2S-1,5 4 0, ,94 2 9S S+2 0,89 7S+2 8S+1,5 0, N [sone] y = -0,0075x + 1,1144 R 2 = 0,0748 speechlike sounds speech y = -0,0089x + 1,0776 R 2 = 0,061

16 log GM Results 1,15 1,1 1,05 1 0,95 0,9 0,85 0, S+3, S-1, S S+4 01S S+4 6S N5 [sone] y = 0,0088x + 0,7258 R 2 = 0,7412 speechlike sounds speech y = 0,0095x + 0,6905 R 2 = 0,1977

17

18

19

20 Zasady percepcji dźwięku muzycznego Model wielopoziomowego słyszenia obiektów słuchowych (źródeł dźwięków) Mechanizmy grupowania w muzyce, strumieniowanie Psychologia Gestalt Słuchanie muzyczne i potoczne (naturalne)

21 Słuchanie naturalne Badanie słyszenia dźwięku środowiskowego w podejściu: klasycznym ekologicznym kognitywistycznym Akustyka środowiska-podejście klasyczne, słyszymy dźwięki Akustyka środowiska w kognitywistycznym ujęciu-słyszymy źródła dźwięków

22 Badanie słyszenia dźwięku środowiskowego Nadjeżdżający samochód w podejściu»klasycznym»ekologicznym»kognitywistycznym

23 Podejście klasyczne Osoba rozpoznaje zmiany w głośności, zmiany w wysokości W oparciu o nie wnioskuje że nadjeżdża samochód Rozpoznanie, że nadjeżdża samochód jest złożeniem dwóch procesów: percepcji słuchowej pozasłuchowego procesu wnioskowania Psychoakustyka percepcja słuchowa Proces wnioskowania nie ma wiele wspólnego ze słyszeniem

24 Badanie słyszenia dźwięku środowiskowego 1979 Vanderveer grupowanie 1979 Lederman chropowatość dźwięków 1984 Warren, Verbrugge tłuczenie się przedmiotu, odbijanie się 1988 Gaver rozróżnianie rodzaju materiału i długości 1993 Gaver słyszenie muzyczne, słyszenie potoczne

25 Badanie słyszenia dźwięku środowiskowego 1991 Li et al. percepcja kroków 1998 Carello at al. - drewniane pręty uderzające o twardą powierzchnię 2000 Cabe, Pittenger napełnianie, opróżnianie naczynia 2002 Houben prędkość toczących się kulek 2003 Rocchesso, Fontana pełny przegląd literatury AŚ

26 Podejście ekologiczne Osoba oddaje się słyszeniu potocznemu rozpoznaje wydarzenia akustyczne pochodzące od źródeł dźwięków znajdujących się w otoczeniu Wydarzenie akustyczne to np. zbliżanie się źródła dźwięku informacja o tym, a także o innych wydarzeniach akustycznych pochodzących od źródła, takich jak toczenie się, rytmiczna praca silnika itp. zawarta jest w strukturze akustycznej utożsamianej z układem cech złożonego sygnału akustycznego Słyszenie - ustalenie korelacji między strukturą akustyczną a zdarzeniem akustycznym

27 Podejście kognitywystyczne Osoba słyszy nadjeżdżający samochód informacja o tym zawarta jest w sygnale dźwiękowym Ustalenie, że osoba słyszy wymaga wydobycie z sygnału akustycznego informacji o schematycznej strukturze strumienia słuchowego (słyszenie akustyczne) ta informacja służy następnie do ustalenia położenia i odległości źródła dźwięku (słyszenie przestrzeni) a te dane, wykorzystywane są do rozpoznania cech i sposobu zachowaniu się przedmiotu a więc czy i w jakim kierunku się porusza, jaki to jest rodzaj ruchu - jednostajny, przyspieszonya także czy jest to kroczenie, toczenie się czy suwanie (słuchanie przedmiotu)

28 Podejście kognitywystyczne Poziomy przetwarzania informacji wzrokowej według Marr'a Pierwotny szkic Poziomy przetwarzania informacji słuchowej Schematyczna struktura strumienia słuchowego Dwuipółwymiarowy szkic Trójwymiarowy model kształtu przedmiotu Położenie i odległość źródła dźwięku Ruchowa charakterystyka przedmiotu

29 Stadia percepcji słuchowej słyszenie akustyczne słyszenie przestrzeni słuchanie przedmiotu

30 Słyszenie akustyczne słyszenie elementarne identyfikowanie cech dźwięków m.in. takich jak głośność, wysokość, barwa słyszenie scen słuchowych porządkowanie dźwięków w struktury, tzw. strumienie

31

32 Słyszenie przestrzeni przestrzeń egocentryczna słuchowa percepcja odległości lokalizacja źródła dźwięku

33

34 Słuchanie przedmiotu słuchowe rozpoznawanie podstawowych cech przedmiotu, czyli rozpoznawanie jego ruchowej charakterystyki zbliżanie się, oddalanie, prędkość, przyspieszanie, zatrzymywanie itp.

35 Słuchanie przedmiotu Słuchowe rozpoznawanie dodatkowych cech przedmiotu rozpoznawanie zmian w przedmiocie: (napełnianie, opróżnianie, rozbijanie, rozpłaszczanie) rozpoznawanie trwałych cech przedmiotu: ciężar, kształt, wielkość, sprężystość, sztywność

36

37 Podejście kognitywystyczne w badaniu percepcji słuchowej Kognitywistyczne badanie słuchania naturalnego polega na prezentowaniu słuchaczom dźwięków środowiskowych i pytaniu ich nie o cechy dźwięków, jakie rozpoznają, ale o cechy i zachowanie obiektów, które wygenerowały te dźwięki

38 Podejście kognitywystyczne Charakterystyki źródła dźwięku odległość prędkość przyśpieszenie ciężar rozmiar Powinno się badać progi parametrów charakteryzujących źródło dźwięku takie jak progi prędkości, odległości

39 Progi spostrzegania zmian parametrów źródła dźwięku Progi odległości Progi prędkości i przyśpieszenia Progi masy

40 Percepcja słuchowa Psychoakustyka klasyczna słyszenie dźwięku środowiskowa słyszenie źródła dźwięku

41 Model poruszającego się źródła dźwięku X (t) 0 x R (t) d f (t) L a P

42 ITD [ms] Lp [db] f [%] f [Hz] Przebiegi czasowe symulowanych parametrów fali akustycznej DL[dB] dl [db/s] Lp( t) 20*log 1 M sin( f( t)) R( t) v = 10 m/s v = 13 m/s czas [s] v = 10 m/s 3a ITD( t) sin( f( t)) v = 13 m/s 2c DITD[ms] Df [%] czas [s] v = 10 m/s f( t v = 13 m/s czas [s] ditd [ms/s] f df [%/s] t f 1 M sin( 1 0 ))

43 Tezy pracy W percepcji prędkości i przyspieszenia źródła dźwięku układ słuchowy wykorzystuje informacje wynikające z analizy szybkości zmian parametrów fali akustycznej. Stosując metodę eliminacji przesłanek zaproponowaną w niniejszej rozprawie możliwe jest ustalenie względnych wag poszczególnych przesłanek w procesie percepcji prędkości i przyspieszenia.

44 Percepcja prędkości Eksperymenty psychoakustyczne

45 Dyskryminacja prędkości zakres prędkości: m/s - tor ruchu obu źródeł jest zawsze symetryczny względem azymutu 0 o

46 Dyskryminacja prędkości tor ruchu obu źródeł jest zawsze symetryczny względem azymutu 0 o różnice w parametrach fali akustycznej na krańcach przedziału obserwacji maleją wraz z prędkością Jeżeli różnice w parametrach fali akustycznej na krańcach przedziału obserwacji są istotnym czynnikiem w percepcji prędkości, progi dyskryminacji prędkości powinny rosnąć ze wzrostem prędkości odniesienia.

47 Eksperyment I dyskryminacja prędkości Bodźce: długość bodźca: 1sekunda widmo: sygnał sinusoidalny f = 200 Hz, odległość od toru ruchu: 5 m prędkości źródła: 10, 20, 30 i 40 m/s Procedura: 2AFC, wariant 2-tak 1-nie, 12 punktów zwrotnych, sesja treningowa, 4 powtórzenia Słuchacze: 8 słuchaczy studenci Akustyki Zadanie: Wskaż, które źródło w prezentowanej parze poruszało się z większą prędkością.

48 Eksperyment I wyniki dv = 3 m/s Wyniki ANOVA: słuchacze: F(7,128) = 40.4; p << 0.01 prędkość: F(3,128) = 1.7; p > 0.2

49 Eksperyment I wyniki: wartości przesłanek statycznych

50 Eksperyment I wyniki: wartości przesłanek dynamicznych

51 ITD [ms] Lp [db] f [%] f [Hz] Eksperyment II względne wagi przesłanek w procesie dyskryminacji prędkości metoda wyznaczania względnych wag przesłanek: v = 10 m/s v = 13 m/s czas [s] v = 10 m/s v = 13 m/s czas [s] v = 10 m/s v = 13 m/s czas [s]

52 Eksperyment II względne wagi przesłanek w procesie dyskryminacji prędkości metoda wyznaczania względnych wag przesłanek: Progi dyskryminacji prędkości wyznaczane są w czterech warunkach eksperymentalnych: - wszystkie przesłanki dostępne (warunki referencyjne), - dostępne tylko zmiany poziomu ciśnienia akustycznego, - dostępne tylko zmiany częstotliwości, - dostępne tylko zmiany ITD wartość progu w danych warunkach eksperymentalnych jest odwrotnie proporcjonalna do względnej wagi aktualnie dostępnej przesłanki

53 Eksperyment II względne wagi przesłanek w procesie dyskryminacji prędkości Bodźce: długość bodźca: 2 sekundy widmo: sygnał poliharmoniczny f o = 43 Hz, f k = 1634 Hz odległość od toru ruchu: 5 m prędkości źródła: 20 m/s Procedura: 2AFC, wariant 2-tak 1-nie, 12 punktów zwrotnych, sesja treningowa, 4 powtórzenia Słuchacze: 9 słuchaczy studenci Akustyki Zadanie: Wskaż, które źródło w prezentowanej parze poruszało się z większą prędkością.

54 dv [m/s] Eksperyment II wyniki: progi dyskryminacji prędkości wszystkie dostępne tylko zmiany poziomu tylko zmiany częstotliwości tylko zmiany ITD EJ GH HH MW SH DJ JK CJ JD słuchacz

55 Percepcja prędkości: wnioski progi dyskryminacji prędkości niezależne od prędkości dv = 1.5 do 4.6 m/s zależnie od słuchacza. w dyskryminacji prędkości układ słuchowy wykorzystuje szybkości zmian parametrów fali akustycznej. wagi przesłanek w percepcji prędkości Efekt Dopplera zmiany poziomu zmiany ITD

56 ITD [ms] Lp [db] f [%] f [Hz] Przebiegi czasowe symulowanych parametrów fali akustycznej Lp( t) 20*log 1 M sin( f( t)) R( t) v = 10 m/s v = 13 m/s czas [s] v = 10 m/s 3a ITD( t) sin( f( t)) v = 13 m/s 2c czas [s] f t f 1 M sin( 1 v = 10 m/s f( t v = 13 m/s 0 )) czas [s]

57 DODATEK Iluzja Dopplerowska faktyczna zmiana częstotliwości spostrzegana zmiana wysokości