Elektroniczne systemy percepcji otoczenia dla niewidomych

Wielkość: px

Rozpocząć pokaz od strony:

Download "Elektroniczne systemy percepcji otoczenia dla niewidomych"

Marcin Klimek
8 lat temu
Przeglądów:

1 Instytut Elektroniki Politechniki Łódzkiej Elektroniczne systemy percepcji otoczenia dla niewidomych Paweł Strumiłło, Paweł Pełczyski

2 Zmysły człowieka wzrok (80( 80-90% informacji o otoczeniu) słuch dotyk wch smak 2 Muzeum Cluny, Pary

3 Zmysły człowieka wzrok (80-90% informacji o otoczeniu) 3

4 Zmysły człowieka wzrok słuch dotyk wch smak Kora słuchowa Kora wzrokowa W. Duch 4

5 Zmysły człowieka wzrok (80-90% informacji o otoczeniu) słuch dotyk wch smak 5

6 Zmysły człowieka wzrok (80-90% informacji o otoczeniu) słuch dotyk wch smak Muzeum Cluny, Pary 6

7 6 zmysł płci piknej Muzeum Cluny, Pary The Lady and the Unicorn Tapestry: "To My Only Desire" 7

8 Zmysł wzroku W korze wzrokowej s rozpoznawane: ks ały, kolory, oraz ruch, połoenie i odległo siatkówka receptorów 8

9 Widzenie stereoskopowe postrzeganie odległoci ~10 m Kt zbienoci gałek ocznych Dysparycja w widzeniu obuocznym 9

10 Postrzeganie odległoci ruch 10

11 Postrzeganie odległoci ruch 11

12 Postrzeganie odległoci złudzenia optyczne A A B B Znaczenie kolorów w postrzeganiu odległoci Znaczenie perspektywy w postrzeganiu odległoci 12

13 Postrzeganie odległoci złudzenia optyczne Denis Meredith 13

14 Wady, choroby i uszkodzenia wzroku Wady: krótkowzroczno nadwzroczno astygmatyzm Daltonizm zez Choroby: zama jaskra zapalenie (zanik) nerwu wzrokowego zwyrodnienia siatkówki 14

15 Choroby wzroku (choroba zwyrodnieniowa plamki ółtej) Opticaldiagnostics 15

16 Niewidomi i słabowidzcy w liczbach W Polsce według publikacji Głównego Urzdu Statystycznego z 1995 r tys. osób ma znacznie osłabiony wzrok. Szacuje si, e w USA liczba osób niepełnosprawnych wzrokowo wzronie do 5 milinów! Narastajcy problem społeczny 16

17 Nowe metody leczenia (inwazyjne) Terapia genowa wczeniejsza diagnoza i terapia dziedzicznych chorób oczu (np. zwyrodnienie plamki ółtej) Protezy elektroniczne siatkówki Stymulacja kory wzrokowej 2mm! " # $ % 17

18 Stymulacja kory wzrokowej 18

19 Systemy wspomagajce niewidomych w percepcji otoczenia wzrok (80-90% informacji o otoczeniu) słuch dotyk wch smak Pismo Braille Natural History Museum 19

20 Systemy wspomagajce niewidomych w samodzielnym poruszaniu si Nawigacja w terenie (GPS) Percepcja otoczenia 100 m! 5-10 m 3-55 m POI w Polsce (ang. Points of Interest) Dokładno: decymetry Detekcja przeszkód i rozpoznawanie sceny 20

21 Systemy wspomagajce niewidomych w samodzielnym poruszaniu si System elektronicznych znaczników reprezentujcych obiekty (RFID, Berkeley motes) RF 21

22 Systemy wspomagajce niewidomych w samodzielnym poruszaniu si Laska ultradwikowa (Ultracane TM ) Lasercane TM 22

23 Systemy wspomagajce niewidomych w samodzielnym poruszaniu si słuch Kod dwikowy: wysoko tonu połoenie obiektu głono jasno obiektu w obrazie 23

24 Systemy wspomagajce niewidomych w samodzielnym poruszaniu si Punkty emituj wirtualne ródła dwiku 24

25 Idea prezentacji dwikowej otoczenia Postrzeganie wirtualnych ródeł dwiku, połczonych rzeczywistymi obiektami 25

26 System dwikowej prezentacji otoczenia dla osób niewidomych Wytworzenie obrazu trójwymiarowego Udwikowienie obiektów z otoczenia Przestrzenna prezentacja dwikowa 26

27 Idea rekonstrukcji sceny z zastosowaniem stereoskopii x y (x 1,y 1 ) x y x1 X = λ λ ( Z) y1 Y = ( λ Z) λ λb Z = λ x 2 x 1 (x 2,y 2 ) 27

28 Poszukiwanie odpowiadajcych sobie punktów w obrazach stereoskopowych dysparycja d 28

29 Przetwarzanie obrazów stereowizyjnych Obraz lewy Obraz prawy Obraz dysparycji w pseudokolorach Wydzielone najblisze obiekty Wytworzenie obrazu trójwymiarowego 29

30 Przetworzenie obrazu dysparycji na system dwików Wejciowy obraz dysparycji po filtracji Segmentacja wydzielajca z obrazu najblisze obiekty Przypisanie sygnałów dwikowych do otrzymanych segmentów 30

31 Hipotezy badawcze Obiekty przestrzenne mona kodowa strumieniami dwikowymi Cechy pojedynczego obiektu mona kodowa cechami wieloczstotliwociowego strumienia dwikowego (podobnie jak w mowie ludzkiej) Obiekty dwikowe (ich ruch) mona lokalizowa w przestrzeni wykorzystujc charakterystyki HRTF (ang. Head Related Transfer Functions), efekt 3D audio 31

32 Hipotezy badawcze P. Pełczyski 32

33 System stereowizyjny Kamery cyfrowe dołczone do komputera poprzez interfejs IEEE-1394 Głowica do kalibracji kamer 33

34 Realizatorzy projektu Zakład Elektroniki Medycznej Zakład Układów Elektronicznych i Termografii we współpracy z: łódzkim odziałem Polskiego Zwizku Niewidomych oraz Orodkiem Szkolno-Wychowawczym dla Dzieci Słabo Widzcych w Łodzi 34

35 Podzikowania Prezentowane prace s realizowane w ramach projektu badawczego Ministerstwa Nauki i Informatyzacji pt.: Zintegrowany system wspomagajcy osob niewidom, z dwikowym interfejsem uytkownika 35

Podobne dokumenty

Systemy wspomagania osób niewidomych w samodzielnym poruszaniu się

Systemy wspomagania osób niewidomych w samodzielnym poruszaniu się Paweł Strumiłło Zakład Elektroniki Medycznej Problemy osób niewidomych Utrata wzroku - podstawy zmysł (90% informacji); wpływa negatywnie