Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku

Transkrypt

1 Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku Paweł Strumiłło Zakład Elektroniki Medycznej ie.home.pl/pstrumil/msib_2011.pdf

2 Instytut Elektroniki elektronika medyczna (analiza sygnałów i obrazów), interfejsy człowiek komputer, wspomaganie osób niepełnosprawnych układy elektroniczne i termografia komputerowa systemy telekomunikacyjne P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH2011 2

3 Instytut Elektroniki elektronika medyczna (analiza sygnałów i obrazów), interfejsy człowiek komputer, wspomaganie osób niepełnosprawnych układy elektroniczne i termografia komputerowa systemy telekomunikacyjne P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH2011 3

4 P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

5 Utrata wzroku Utrata 90% zdolności percepcyjnej negatywny wpływ na funkcje psychofizyczne Wykluczenie społeczne i zawodowe brak wykształcenia, kilka procent zatrudnionych 1 mln osób niewidomych w Europie (ok. 80 tys. w Polsce), starzejące się społeczeństwo Koszty USA: 51 mld $ rocznie (e-health EU 6 mld ) P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH2011 5

6 Jak widzimy? W korze wzrokowej są rozpoznawane: kształty, kolory, oraz ruch, położenie i odległość siatkówka 125mln receptorów P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH2011 6

7 Widzenie obuoczne Ocena odległości 10 m 1 m P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH2011 7

8 Spostrzeganie odległości P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH2011 8

9 Wady, choroby i uszkodzenia wzroku Wady: - krótkowzroczność - nadwzroczność - astygmatyzm - Daltonizm - zez Choroby: - zaćma - jaskra uszkadza nerw wzrokowy - zapalenie (zanik) nerwu wzrokowego - zwyrodnienie siatkówki (AMD, RP) - uszkodzenie rogówki - inne przyczyny (nowotwory, wypadki) P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH2011 9

10 Pomiar ostrości wzroku i pola widzenia d=200 stóp α=1 Słabowidzenie norma P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

11 Problemy niewidomych I. Samodzielne poruszanie się i bezpieczeństwo kolizje z przeszkodami i pojazdami nieciągłości nawierzchni (wykopy, schody) napady, kradzieże,... II. Nawigacja określanie własnej lokalizacji kierunek marszu i orientacja w otoczeniu Gdzie jestem? Dokąd idę? Jak się tam dostać? III. Dostęp do informacji tekst, znaki graficzne, interfejsy urządzeń (społeczeństwo informacyjne) P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

12 Mobilność Mobility - the ability to travel safely, comfortably, gracefully and independently E. Foulke, The perceptual basis for mobility, 1971 Mobilność - umiejętność bezpiecznego, wygodnego, sprawnego i niezależnego poruszania się P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

13 Model mobilności Brambinga Mobilność osoby niewidomej Spostrzeganie obiektów Orientacja Wykrywanie przeszkód Rozpoznawanie punktów odniesienia Orientacja przestrzenna Orientacja geograficzna P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

14 Mobilność Mobilność osoby niewidomej Percepcja Lokomocja Percepcja otoczenia Orientacja Znajdowanie drogi Omijanie przeszkód Marsz Nawigacja P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

15 Mobilność Punkt orientacyjny Linia nawigacyjna Mapa wyobrażeniowa Przeszkody P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

16 Podstawowe pomoce w mobilności Biała laska używana przez wszystkich niewidomych Zalety: tania, skuteczna w wykrywaniu przeszkód w podłożu, informuje inne osoby o niewidomym Wady: 100 godzinny trening, zajmuje dłoń, nie chroni głowy Pies przewodnik używany przez mniej niż <1% niewidomych Zalety: bardzo skuteczny, szczególnie w pokonywaniu znanych ścieżek Wady: bardzo drogi (~60 tys USD), służy 6-lat, duże koszty utrzymania Leonard Cheshire Disability P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

17 Substytucja sensoryczna (suplementacja sensoryczna) Wzrok (80-90% informacji o otoczeniu) słuch dotyk Mniejsza przepustowość informacji węch pozostałych zmysłów smak Wymagany duży poziom uwagi Alfabet Braillea P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

18 Przestrzeń wg Halla Daleka przestrzeń Bliska przestrzeń Osobista Wzrok, słuch, dotyk, węch ~1m ~4m Wzrok, słuch, węch Wzrok, słuch P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

19 Elektroniczny system ostrzegania o przeszkodach 1. Jaka informacja jest potrzebna? 3. Ergonomia -laser - podczerwień - ultradźwięki - obrazowanie - RF - GPS - mapy Pole receptorowe Czujniki otoczenia i przetworniki Przetwarzanie 4. Trening Niewizualna prezentacja Audio Dotyk 2. Prezentacja P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

20 1. Jakiej informacji potrzebuje niewidomy? nie przeładowana ale sygnalizująca istotne przeszkody 2. Interfejs prezentacji niewizualnej intuicyjny (np. nie maskujący dźwięków otoczenia) 3. Ergonomia rozmiar, waga, wygoda obsługi, wygląd, 4. Trening Elektroniczny system ostrzegania o przeszkodach ważne dla skutecznego i bezpiecznego używania P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

21 Kazimierz Noiszewski ( ) profesor okulistyki USB ( ) i UW ( ); opracował oryginalną metodę przeszczepiania rogówki (1921) skonstruował elektroftalm (tzw. sztuczne oko), urządzenie przetwarzające energię świetlną na bodźce dotykowe i dźwiękowe (1889) Klinika Okulistyki Wydziału Lekarskiego Akademii Medycznej w Warszawie P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

22 System Bach-y-Rity (1969) P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

23 Technologie XXI wieku małe i szybkie urządzenia obliczeniowe (minikomputery, notebooki, PDA, ) sieci teleinformatyczne PAN, LAN, MAN, WAN (WiFi, internet, telefonia komórkowa 3G, ) systemy nawigacji satelitarnej (GPS, Galileo, Glonass, kieszonkowe odbiorniki) zaawansowane algorytmy obliczeniowe i narzędzia programistyczne, miniaturyzacja urządzeń elektronicznych (czujniki, implanty, mikromaszyny, nanotechnologia) techniki medyczne (diagnostyka,transplantologia, ) ADAC Laboratories P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

24 Urządzenia przydatne niewidomym Notatniki i drukarki Braille a Mówiące urządzenia: - czytniki tekstu, - zegarki, - wagi kuchenne, - testery baterii. Klawiatura niewidomego Cześć, jestem Ewa, jestem głosem syntezatora mowy IVONA. Poznajesz mnie już? Mój głos jest jednym z najpopularniejszych głosów Internetu. P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

25 Protezy wzroku i nowe terapie Leczenie - terapia genowa (mała liczba przypadków klinicznych) - przeszczep komórek macierzystych P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

26 Systemy ostrzegania o przeszkodach Ulepszenia białej laski - rozszerzone pole wykrywania przeszkód LaserCane, UltraCane, SonarCane P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

27 Systemy ostrzegania o przeszkodach Systemy obrazowania otoczenia: - złożoność - duży koszt - nadmiar informacji dźwiękowej SonicGuide, voice, Navbelt, Virtual Acoustic Environment P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

28 Widzenie dźwiękiem Obraz Dźwięk: wysokość wysokość tonu jasność obiektu głośność 6 miesięcy treningu! P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

29 Systemy ostrzegania o przeszkodach Systemy obrazowania otoczenia: - złożoność - duży koszt - nadmiar informacji dźwiękowej Dzisiaj, ponad 100 lat po pionierskich pracach Noiszewskiego, urządzenia techniczne wspomagające samodzielne SonicGuide, voice, Navbelt, Virtual Acoustic Environment poruszanie się nie są przez niewidomych powszechnie używane! P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

30 Konsekwencje długotrwałej utraty wzroku Rogówka Mike May Osoby, które po latach odzyskały wzrok: - rozpoznają: ruch i kolory - nie rozpoznają: liter, twarzy, przedmiotów - błędnie oceniają odległość Przyczyna: plastyczność komórek nerwowych zmiana funkcji ośrodków nerwowych w korze wzrokowej P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

31 Badania fmri Kora słuchowa Kora wzrokowa Widzenie uaktywnia ok. 70% obszarów mózgu P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

32 Kodowanie wzorców Thatcher illusion - Thompson (1980) P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

33 Kodowanie wzorców Thatcher illusion - Thompson (1980) P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

34 Złudzenia optyczne Denis Meredith P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

35 Dźwiękowe obrazowanie otoczenia Uproszczona scena 3D 3D audio Obrazy stereo P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

36 Stereowizja y Punkt sceny (X,Y,Z) x Obraz 1 y B (baza) (x 1,y 1 ) x Obraz 2 y 1 =y 2 dla dowolnego punktu sceny d=x 2 -y 1 - dysparycja (x 2,y 2 ) P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

37 Obraz ilustrujący Należy dopasować dysparycję podobne obszary P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

38 Wyznaczenie głębi ze stereowizji X Y Z = x f = 1 y f = 1 ( f Z ) ( f Z ) fb f x 2 x 1 f ogniskowa układu optycznego kamer Z fb x 2 x 1 dysparycja Trzy równania trzy niewiadome P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

39 Obrazowanie odległości P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

40 Elektroniczne okulary ?? P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

41 Scena model przeszkody Anim demo P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

42 Przeszkody dźwięki P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

43 Widzenie dźwiękiem Scena 3D Michał Bujacz P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

44 Dźwięk przestrzenny (HRTF) Teoria duplex P. Zakład Strumiłło, Elektroniki Elektroniczne Medycznej, urządzenia Politechnika wspomagające Łódzka dla osób z dysfunkcją wzroku, 44 AGH2011

45 Model akustyczny głowy Rejestracja charakterystyk akustycznych głowy P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

46 Dźwięk przestrzenny Ruchome źródła Źródło rzeczywiste 3,1 0 Źródło wirtualne 8,1 0 P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

47 Przeszkody dźwięki Położenie obiektu: Kierunek Odległość Parametry obiektu: Rozmiar (szerokość) Typ obiektu Parametry dźwięku: HRTF Głośność Opóźnienie Ton (nuta) Czas trwania Instrument P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

48 Echolokacja P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

49 Skanowanie głębi Inspirowane sonarem Dźwięki odwzorowują geometrię i lokalizację obiektów otoczenia P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

50 Echolokacja Wysyłamy płaszczyznę głębi P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

51 Testy z udziałem niewidomych Filmy P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

52 Nawigacja osoby niewidomej Stereowizja, wideo GIS Model 3D Mapa cyfrowa miasta, MODGiK GPS P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

53 Systemy wbudowane TalkingSigns - USA P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

54 Systemy GPS dla niewidomych BrailleNote Nawigator EasyWalk P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

55 Inne systemy wspomagania The NOPPA system - Finland P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

56 System zdalnej nawigacji niewidomego P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

57 Pokaz systemu zdalnej nawigacji P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

58 Pokaz terminala zdalnego asystenta P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

59 System zdalnej nawigacji niewidomego P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

60 Telefon komórkowy z syntezą mowy Telefon komórkowy jako inteligentny asystent osoby niewidomej: - funkcje telefonu - synteza mowy - nawigacja GPS P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

61 P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

62 Uwaga końcowa Zamiast pytać: Jak dana technologię dostosować dla niewidomego użytkownika? należy pytać: Jaka informacja jest potrzebna niewidomemu użytkownikowi i jak powinna być jemu prezentowana?. Smith-Kettlewell Eye Research Institute P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

63 P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

64 Dobre przykłady P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

65 Dobre przykłady P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

66 Złe przykłady P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

67 Sporty niewidomych P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH

68 Podziękowania Osobom niewidomym biorącym udział w badaniach Polskiemu Związkowi Niewidomych w Łodzi Współpracownikom i doktorantom Zakładu Elektroniki Medycznej MNiSW finansowanie badań P. Strumiłło, Elektroniczne urządzenia wspomagające dla osób z dysfunkcją wzroku, AGH