Instytut Elektroniki Politechniki Łódzkiej Elektroniczne systemy percepcji otoczenia dla niewidomych Paweł Strumiłło, Paweł Pełczyski
Zmysły człowieka wzrok (80( 80-90% informacji o otoczeniu) słuch dotyk wch smak 2 Muzeum Cluny, Pary
Zmysły człowieka wzrok (80-90% informacji o otoczeniu) 3
Zmysły człowieka wzrok słuch dotyk wch smak Kora słuchowa Kora wzrokowa W. Duch 4
Zmysły człowieka wzrok (80-90% informacji o otoczeniu) słuch dotyk wch smak 5
Zmysły człowieka wzrok (80-90% informacji o otoczeniu) słuch dotyk wch smak Muzeum Cluny, Pary 6
6 zmysł płci piknej Muzeum Cluny, Pary The Lady and the Unicorn Tapestry: "To My Only Desire" 7
Zmysł wzroku W korze wzrokowej s rozpoznawane: ks ały, kolory, oraz ruch, połoenie i odległo siatkówka 125 10 6 receptorów 8
Widzenie stereoskopowe postrzeganie odległoci ~10 m Kt zbienoci gałek ocznych Dysparycja w widzeniu obuocznym 9
Postrzeganie odległoci ruch 10
Postrzeganie odległoci ruch 11
Postrzeganie odległoci złudzenia optyczne A A B B Znaczenie kolorów w postrzeganiu odległoci Znaczenie perspektywy w postrzeganiu odległoci 12
Postrzeganie odległoci złudzenia optyczne Denis Meredith 13
Wady, choroby i uszkodzenia wzroku Wady: krótkowzroczno nadwzroczno astygmatyzm Daltonizm zez Choroby: zama jaskra zapalenie (zanik) nerwu wzrokowego zwyrodnienia siatkówki 14
Choroby wzroku (choroba zwyrodnieniowa plamki ółtej) Opticaldiagnostics 15
Niewidomi i słabowidzcy w liczbach W Polsce według publikacji Głównego Urzdu Statystycznego z 1995 r. - 507 tys. osób ma znacznie osłabiony wzrok. Szacuje si, e w USA liczba osób niepełnosprawnych wzrokowo wzronie do 5 milinów! Narastajcy problem społeczny 16
Nowe metody leczenia (inwazyjne) Terapia genowa wczeniejsza diagnoza i terapia dziedzicznych chorób oczu (np. zwyrodnienie plamki ółtej) Protezy elektroniczne siatkówki Stymulacja kory wzrokowej 2mm! " # $ % 17
Stymulacja kory wzrokowej 18
Systemy wspomagajce niewidomych w percepcji otoczenia wzrok (80-90% informacji o otoczeniu) słuch dotyk wch smak Pismo Braille Natural History Museum 19
Systemy wspomagajce niewidomych w samodzielnym poruszaniu si Nawigacja w terenie (GPS) Percepcja otoczenia 100 m! 5-10 m 3-55 m 28000 POI w Polsce (ang. Points of Interest) Dokładno: decymetry Detekcja przeszkód i rozpoznawanie sceny 20
Systemy wspomagajce niewidomych w samodzielnym poruszaniu si System elektronicznych znaczników reprezentujcych obiekty (RFID, Berkeley motes) RF 21
Systemy wspomagajce niewidomych w samodzielnym poruszaniu si Laska ultradwikowa (Ultracane TM ) Lasercane TM 22
Systemy wspomagajce niewidomych w samodzielnym poruszaniu si słuch Kod dwikowy: wysoko tonu połoenie obiektu głono jasno obiektu w obrazie 23
Systemy wspomagajce niewidomych w samodzielnym poruszaniu si Punkty emituj wirtualne ródła dwiku 24
Idea prezentacji dwikowej otoczenia Postrzeganie wirtualnych ródeł dwiku, połczonych rzeczywistymi obiektami 25
System dwikowej prezentacji otoczenia dla osób niewidomych Wytworzenie obrazu trójwymiarowego Udwikowienie obiektów z otoczenia Przestrzenna prezentacja dwikowa 26
Idea rekonstrukcji sceny z zastosowaniem stereoskopii x y (x 1,y 1 ) x y x1 X = λ λ ( Z) y1 Y = ( λ Z) λ λb Z = λ x 2 x 1 (x 2,y 2 ) 27
Poszukiwanie odpowiadajcych sobie punktów w obrazach stereoskopowych dysparycja d 28
Przetwarzanie obrazów stereowizyjnych Obraz lewy Obraz prawy Obraz dysparycji w pseudokolorach Wydzielone najblisze obiekty Wytworzenie obrazu trójwymiarowego 29
Przetworzenie obrazu dysparycji na system dwików Wejciowy obraz dysparycji po filtracji Segmentacja wydzielajca z obrazu najblisze obiekty Przypisanie sygnałów dwikowych do otrzymanych segmentów 30
Hipotezy badawcze Obiekty przestrzenne mona kodowa strumieniami dwikowymi Cechy pojedynczego obiektu mona kodowa cechami wieloczstotliwociowego strumienia dwikowego (podobnie jak w mowie ludzkiej) Obiekty dwikowe (ich ruch) mona lokalizowa w przestrzeni wykorzystujc charakterystyki HRTF (ang. Head Related Transfer Functions), efekt 3D audio 31
Hipotezy badawcze P. Pełczyski 32
System stereowizyjny Kamery cyfrowe dołczone do komputera poprzez interfejs IEEE-1394 Głowica do kalibracji kamer 33
Realizatorzy projektu Zakład Elektroniki Medycznej Zakład Układów Elektronicznych i Termografii we współpracy z: łódzkim odziałem Polskiego Zwizku Niewidomych oraz Orodkiem Szkolno-Wychowawczym dla Dzieci Słabo Widzcych w Łodzi 34
Podzikowania Prezentowane prace s realizowane w ramach projektu badawczego Ministerstwa Nauki i Informatyzacji pt.: Zintegrowany system wspomagajcy osob niewidom, z dwikowym interfejsem uytkownika 35