Techniki teleinformatyczne we wspomaganiu niewidomych

Transkrypt

1 Andrzej Materka Techniki teleinformatyczne we wspomaganiu niewidomych Warszawa, 19 października Łódź, ul. Wólczańska 211/215, bud. B9 tel

2 Dane demograficzne (European Blind Union) W Europie żyje ok. 30 milionów osób niewidomych i słabo widzących. Widzenie pogarsza się z wiekiem. Jedna trzecia osób po 65 roku życia ma niesprawny wzrok. Siwiejące społeczeństwo: za 15 lat co czwarty Europejczyk osiągnie wiek emerytalny. 2/36

3 Utrata wzroku Utrata 90% zdolności percepcyjnej negatywny wpływ na funkcje psychofizyczne Wykluczenie społeczne i zawodowe brak wykształcenia, kilka procent zatrudnionych Koszty USA: 51 mld $ rocznie Potrzeba nowych rozwiązań organizacyjnych i technicznych (np. e-health EU 6 mld średniorocznie w 7PR) 3/36

4 Protezy wzroku i nowe terapie Leczenie Terapia genowa (mała liczba przypadków klinicznych) Przeszczep komórek macierzystych 4/36

5 Konsekwencje długotrwałej utraty wzroku Rogówka Mike May Osoby, które po latach odzyskały wzrok - rozpoznają ruch i kolory - nie rozpoznają liter, twarzy, przedmiotów - błędnie oceniają odległość Przyczyna plastyczność komórek nerwowych (zanik ośrodków nerwowych w korze wzrokowej) - Postęp i sukcesy (np. leczenie zaćmy) - Bariery techniczne i psychofizjologiczne 5/36

6 Problemy niewidomych 1) Samodzielne poruszanie się i bezpieczeństwo Kolizje z przeszkodami i pojazdami Nieciągłości nawierzchni (wykopy, schody) Napady, kradzieże,... 2) Nawigacja Określanie własnej lokalizacji (Gdzie jestem?) Kierunek marszu (Dokąd idę?) Orientacja w otoczeniu (Jak się tam dostać?) 3) Dostęp do informacji Tekst, znaki graficzne, interfejsy urządzeń (społeczeństwo informacyjne) 6/36

7 Model mobilności wg Brambringa Mobility - the ability to travel safely, comfortably, gracefully and independently E. Foulke, The perceptual basis for mobility, AFB, 1971 NATO, 1984 Mobilność osoby niewidomej Spostrzeganie obiektów Orientacja przestrzenna Wykrywanie przeszkód Rozpoznawanie punktów orientacyjnych Orientacja w przestrzeni bliskiej Orientacja geograficzna 7/36

8 Podstawowe pomoce nawigacyjne niewidomego Biała laska (100% niewidomych) tania, wykrywa przeszkody na poziomie podłoża, 100godzinny trening, angażuje rękę, nie ochrania głowy. Osoba przewodnika? Pies przewodnik (<1% niewidomych) skuteczny w omijaniu przeszkód i poruszaniu się wg znanych ścieżek, bardzo duży koszt (~60 tys. zł), 6-letnia służba Leonard Cheshire Disability 8/36

9 Substytucja sensoryczna Wzrok (80-90% informacji o otoczeniu) Słuch Dotyk Węch Smak Pismo Braille a Znacznie mniejsza przepływność informacyjna pozostałych zmysłów Wymagany duży poziom uwagi 9/36

10 Kazimierz Noiszewski ( ) Elektroftalm (tzw. sztuczne oko), przetwarzanie energii świetlnej na bodźce dźwiękowe (1889) Wersja dotykowa z 1969 r., Pomorska Akademia Medyczna 10/36

11 Systemy ostrzegania o przeszkodach Ulepszenia białej laski (rozszerzone pole wykrywania przeszkód) LaserCane, UltraCane, SonarCane, prace prof. A. Kosa (AGH) 11/36

12 Systemy ostrzegania o przeszkodach Navbelt BrainPort SonicVision voice Współcześnie, ponad 120 lat od pionierskich prac Noiszewskiego, urządzenia techniczne wspomagające mobilność nie są przez niewidomych powszechnie używane! 12/36

13 Nowe możliwości - Miniaturyzacja układów - Materiały i czujniki - Wydajność procesorów - Pojemność pamięci - Sieci telekomunikacji cyfrowej - Zaawansowane algorytmy DSP - Programowanie obiektowe Systemy nawigacji osobistej dla niewidomych Miniaturyzacja oraz integracja systemów w urządzeniach osobistych o wielu funkcjach Detektory przeszkód - ultradźwięki - laser Systemy obrazowania i prezentacji otoczenia - matryce czujników - systemy wizyjne - skanery laserowe - kamery ToF - stereowizja - panele dotykowe Systemy o architekturze rozproszonej - GPS - radiolatarnie - systemy telenawigacji - znaczniki radiowe - bazy danych - telefonia komórkowa 13/36

14 Prace Instytutu Elektroniki PŁ Interdyscyplinarność badań 2 ukończone granty badawcze 3 granty w realizacji 2 projekty wdrażane 6 wypromowanych doktorów - Dźwiękowe obrazowanie otoczenia - Dotykowe obrazowanie otoczenia - System zdalnego przewodnika - Telefon komórkowy z dźwiękowym menu - Sieć znaczników radiowych w infrastrukturze miasta 14/36

15 Dźwiękowe obrazowanie otoczenia (1) Model sceny 3D 3D audio Stereowizja 15/36

16 Pomiary HRTF i wytwarzanie sceny dźwiękowej Współpraca z Katedrą Akustyki Instytutu Telekomunikacji, Teleinformatyki i Akustyki Politechniki Wrocławskiej Pomiary dla 16 osób niewidomych Ruchome źródła dźwięku Źródło rzeczywiste 3,1º Źródło wirtualne 8,1º 16/36

17 Dźwiękowe obrazowanie otoczenia (3) /36

18 Dźwiękowe obrazowanie otoczenia (4) 18/36

19 Dźwiękowe obrazowanie otoczenia (5) 19/36

20 Dźwiękowe obrazowanie otoczenia 100 testów Prawidłowa ocena odległości i kierunku przeszkód po krótkim treningu. Skuteczne pokonywanie ścieżki z przypadkowo rozmieszczonymi przeszkodami. Indywidualny schemat dźwiękowego obrazowania przeszkód. Skuteczność maleje w hałaśliwym otoczeniu. 20/36

21 Dotykowe obrazowanie otoczenia Kamera ToF Segmentacja Modelowanie sceny 21/36

22 Budowa wirtualnych makiet wnętrz budynków użyteczności publicznej (np. urzędy, szkoły). Dotykowa interakcja podczas korzystania z Internetu. Nauka nowych kształtów przez dzieci, które urodziły się niewidome. Wspomaganie poruszania się i informowanie o przeszkodach. Dotykowa prezentacja map cyfrowych. Dotykowe obrazowanie otoczenia testy Panele dotykowe 22/36

23 Systemy GPS dla niewidomych Nawigator Błąd pozycjonowania w mieście może sięgać 100m! Trekker EasyWalk 23/36

24 Wspomaganie systemu GPS Integracja danych z - globalnego systemu pozycjonowania, - czujników inercyjnych, - map cyfrowych, - kamery stereowizyjnej za pomocą filtracji cząsteczkowej pozwala na dokładną estymację położenia osoby pieszej w terenie miejskim. Politechniki Gdańska, Łódzka dr Przemysław Barański 24/36

25 System zdalnej nawigacji dla osób niewidomych Zdalny przewodnik Terminal użytkownika 25/36

26 Terminal zdalnego asystenta (przewodnika) Stacjonarny Mobilny 26/36

27 System zdalnej nawigacji dla osób niewidomych - testy 27/36

28 Testy w Paryżu od osoby testującej system w kraju: Jak pisałem, tę wersję teleasystenta oceniam bardzo wysoko. Jest naprawdę przydatny. Za trzy tygodnie jadę na Reha for the Blind do Warszawy i stresuję się mniej niż zwykle 20/11/11 28/36

29 System nawigacji przy pomocy zdalnego przewodnika - ocena Szczególnie przydatny przy uczeniu się nowych ścieżek, skuteczną pomoc przy zagubieniu drogi. Kontakt głosowy ze zdalnym przewodnikiem zwiększa poczucie bezpieczeństwa. W wielu sytuacjach wystarczające jest kilkuminutowe połączenie ze zdalnym przewodnikiem. Osobę niewidomą i zdalnego przewodnika należy traktować jako dwuosobowy zespół nawigacyjny (odpowiednio przeszkolony). 29/36

30 Aplikacje z dźwiękowym menu dla telefonów 30/36

31 Informacja pasażerska i lokalizacja przystanków komunikacji miejskiej dla niewidomych (1) Współpraca z MPK Łódź 31/36

32 Informacja pasażerska i lokalizacja przystanków komunikacji miejskiej dla niewidomych (2) Mapa z bazą POI Techniki - Internet - GSM (transmisja danych) - GPS - Technologie radiowe RFID, Bluetooth - Mapy numeryczne (Google, MODGiK) Mapa numeryczna miasta Nadajniki RFID Transponder, dźwiękowy IU 32/36

33 Stereowizja, wideo Integracja systemów wspomagania osoby niewidomej Synteza dźwięku: Android, Symbian GIS Model 3D Interfejs dotykowy Mapa cyfrowa miasta, RFID MPK, ruch pojazdów, obiekty użyteczności publicznej GPS 33/36

34 Po 120 latach od prac Noiszewskiego osoby niewidome nadal nie korzystają powszechnie z systemów pomocnych w poruszaniu się oraz nawigacji. Dynamiczny postęp w elektronice i teleinformatyce umożliwia budowanie takich systemów. Istnieje potrzeba prowadzenia interdyscyplinarnych badań naukowych w tej dziedzinie. Ważna jest promocja możliwych rozwiązań, przekonywanie społeczeństwa o potrzebie skutecznego ich wdrażania oraz pozyskiwanie sponsorów. Podsumowanie /36

35 Wysoce istotna jest współpraca grup badawczych z przemysłem. Podsumowanie Temat jest niszowy, w polskich warunkach mało zyskowny i wymaga specjalnego podejścia. Warto wykorzystać studentów cenna jest inicjatywa Orange Labs Telco 2.0 University, łącząca studia w zakresie technik teleinformatycznych z promocją przedsiębiorczości. 35/36

36 Podziękowania Aleksandra Bohusz Rafał Charłampowicz Andrzej Jakubowski Jerzy Milczak Jerzy Michalak Wanda Nastarowicz Wiesław Nastarowicz Jan Omieciński Anna Pasterny Rafał Poppe Przemysław Rogalski Magdalena Rutkowska Leonarda Snarska-Wiszowaty prof. Paweł Strumiłło dr Przemysław Barański dr Michał Bujacz dr Marcin Byczuk dr Piotr Korbel dr Aleksandra Królak mgr Marcin Morański mgr Bartosz Ostrowski dr Maciej Polańczyk dr Michał Pec dr Paweł Pełczyński dr Piotr Skulimowski dr Piotr Wasilewski 3 T11B ( ) 3T11B ( ) R ( ) N ( ) 36/36