voice to see with your ears Łukasz Trzciałkowski gr00by@mat.umk.pl 2007-10-30
Zmysł słuchu to zmysł umożliwiający odbieranie (percepcję) fal dźwiękowych. Jest on wykorzystywany przez organizmy żywe do komunikacji oraz rozpoznawania otoczenia. Narządami słuchu u człowieka są uszy: Narządy odbierające fale dźwiękowe i przekształcające je w drgania mechaniczne, a następnie w impulsy nerwowe. Łukasz Trzciałkowski 2
1 - czaszka Ucho - budowa 2 - przewód słuchowy zewnętrzny 3 - małżowina uszna 4 - błona bębenkowa 5 -okienko owalne 6 -młoteczek 7 - kowadełko 8 - strzemiączko 9 - kanał półkolisty 10 - ślimak 11 - nerw słuchowy 12 - trąbka Eustachiusza Łukasz Trzciałkowski 3
Na czym polega słyszenie? Ucho zewnętrzne małżowina, przewód słuchowy i błona bębenkowa gromadzi fale dźwiękowe z otoczenia (powietrze). Ucho środkowe młoteczek, kowadełko strzemiączko błona powodują przeniesienie drgań przez ucho środkowe aż do ucha wewnętrznego (powietrze). Ucho wewnętrzne - błona podstawna, komórki słuchowe reagują na różne tony i przetwarzają je na impulsy elektryczne (ciecz). Łukasz Trzciałkowski 4
Zmysł wzroku zmysł umożliwiający odbieranie bodźców świetlnych ze środowiska oraz ogół czynności związanych z analizą tych bodźców. Narządem wyspecjalizowanym do rejestrowania obrazu jest oko. rozpoznawanie kształtów, ocena odległości obiektów od oka, rozróżnianie barw. Łukasz Trzciałkowski 5
Oko - budowa Łukasz Trzciałkowski 6
Na czym polega widzenie? Ludzkie oko można z grubsza przyrównać do aparatu fotograficznego, którego obiektyw tworzą dwie soczewki plusowe rogówka i soczewka. Jako system czuciowy, oko jest głównym narzędziem, dzięki któremu odnosimy się do otaczającego nas świata. To, co tak naprawdę widzimy to nie są obrazy odbite w siatkówce, lecz wynik ich kompleksowego przetwarzania przez ośrodkowy układ nerwowy. Obraz, który powstaje na siatkówce jest obrazem rzeczywistym, odwróconym i pomniejszonym. Łukasz Trzciałkowski 7
Synestezja zdolność, w której doświadczenia jednej modalności zmysłowej wywołują również doświadczenia, charakterystyczne dla innych modalnośći zmysłowych. np. odbieranie niskich dźwięków wywołuje wrażenie miękkości, barwa niebieska odczuwana jest jako chłodna Niektóre osoby charakteryzują się szczególnym nasileniem tej zdolności. John Lennon. Łukasz Trzciałkowski 8
Synestezja Istnieją dwie teorie tłumaczące owe zjawisko: Jedna mówi, że istnieje więcej połączeń synaptycznych pomiędzy neuronami przenoszacymi "zmysłowe informacje", a druga - że ilość połączeń synaptycznych jest taka sama, a mieszanie się odbieranych doswiadczeń wynika z tego iż zachwiana jest równowaga pomiędzy hamowaniem i wyciszaniem docierajacych impulsów w mózgu. Łukasz Trzciałkowski 9
Co z niewidomymi? Jak dźwięki otaczającego świata mogą informować niewidomego? Co pomaga niewidomym walczyć z kalectwem i unormalniać codzienne życie? Czy istnieje rozwiązanie? Może implanty odbierające bodźce wzrokowe? Łukasz Trzciałkowski 10
Implant oka Naukowcy z Uniwersytetu Stanford w Kaliforni przedstawili projekt implantu oka, który ma zająć miejsce światłoczułych komórek znajdujących się w siatkówce chorego oka. Inne implanty wykorzystują moduł, który przekształca światło w elektroniczne impulsy, które dochodzą do mózgu przez włókna nerwowe. Ten zaś działa inaczej. Będzie umieszczony w siatkówce i będzie zmieniał światło w substancje, stymulujące komórki nerwowe. Wykorzysta do tego elektrody. Implant będzie wykonany z polimerowego materiału, który jest przyjazny dla oka. Wciąż trwają prace badawcze nad implantem. Łukasz Trzciałkowski 11
Czy każdy niewidomy jest synestetą? Odpowiedź brzmi NIE raczej rzadko się to zdarza. Możnaby powiedzieć: Wszyscy jesteśmy synestetami ale nieliczni z nas sobie to uświadamiają Jednak wiele przypadków wskazuje na to iż słuch osoby niewidomej jest bardzo wyostrzony. http://serwisy.gazeta.pl/kraj/1,34314,573764.html INTERNET i NIEWIDOMI (polecam artykuł) Łukasz Trzciałkowski 12
the voice System wykorzystujący kamerę wideo do przetwarzanie zbieranych w czasie rzeczywistym obrazów do generowania dźwięków. Działanie systemu ma na celu umożliwienie osobom niewidomym powrót do normalnego życia. (oczywiście nadal w ograniczonym znaczeniu) Łukasz Trzciałkowski 13
the voice Projekt ten stanowi pewnego rodzaju ścieżkę do poznania właściwości ludzkiego mózgu w kontekście uczenia się z wykorzystaniem zmysłu słuchu jako zmysłu bazowego. Istnieje przekonanie, że zmysł słuchu oraz pozostałe zmysły u osób niewidomych wyostrzają się dlatego projekt voice budzi tak wiele emocji i jest pozytywnie traktowany przez wiele organizacji z całego świata. Łukasz Trzciałkowski 14
Okulary używane w the voice Łukasz Trzciałkowski 15
Łukasz Trzciałkowski 16
MATLAB i dźwięki [sound,fs] = wavread ( sound.wav'); Otwieranie pliku wav (dźwięk i częstotliwość ) left=sound(:,1); right=sound(:,2); Odseparowanie kanałów time=(1/fs) * length(left); t=linspace(0,time,length(left)); plot(t,left) Wykres lewego kanału time=(1/fs)*2000; t=linspace(0,time,2000); plot(t,left(1:2000)) Wykres fragmentu lewego kanału Łukasz Trzciałkowski 17
MATLAB i dźwięki soundsc(left,fs) soundsc(right,fs) Lewy kanał mono - Prawy kanał mono soundsc(sound,fs) Stereo cały plik wavwrite( ) funkcja zapisująca tablice jako dźwięk left=flipud(left); Odwraca tablicę 123 -> 321 Łukasz Trzciałkowski 18
Referencje http://gaia.oticon.pl/eprise/main/oticon/pl_pl/sec_abouthearing/le arnabouthearing/products/sec_gaia/abouthearing/hearingandhe aringloss/reuse02_howtheearworks Jak działa ucho? http://www.widzimisie.pl/index/section/233/0/0/jak+dzia+a+wzrok.h tml?finlife=9b468ab51519e475bcec5d8f8f53e3cc Jak działa wzrok? http://www.oko.info.pl/index.php?body=4301 Oko człowieka http://www.seeingwithsound.com/ voice http://pl.wikipedia.org/ Ogólne informacje Łukasz Trzciałkowski 19