Autorzy: Sławomir Koryzno Łukasz Kania Mateusz Sobieraj

Transkrypt

1 Autorzy: Sławomir Koryzno Łukasz Kania Mateusz Sobieraj Brain Computer Interface (BCI) użytkownik wyposażony w czujniki monitorujące fale mózgowe. Impulsy przetwarzane np. na ruchy kursora na monitorze lub ruch sztuczną kończyną Klawiatury ekrany dotykowe, symbole Headtracker śledzenie ruchów głowy przy użyciu kamery wideo, efektu żyroskopowego i specjalistycznego oprogramowania Eyetracker śledzenie ruchu gałki ocznej; kamera wideo wychwytuje zmiany położenia gałki ocznej i dzięki wcześniejszej kalibracji, system jest w stanie przetworzyć punkt patrzenia na pozycje kursora na monitorze Przełączniki pneumatyczne, mechaniczne i inne przełykanie i oddech, montowane blisko ust; włączane za pomocą ręki, nogi Voice control rozpoznawanie dość ograniczonej liczby komend, wrażliwe na intonacje, specyfikę głosu, dźwięki tła 1

2 1998: małpa z wszczepionym implantem domózgowym porusza kursorem wskazującym poprawne zdanie 1998: pierwsza próba umieszczenia w mózgu dwojga sparaliżowanych osób elektronicznego chipa (Philip Kennedy z Emory University, Atlanta) 1999: małpa wyświetla informację na ekranie komputera dzięki elektrodom na skórze głowy (urządzenie doczepiane na zewnątrz głowy, jednak z 1,5 cm kolcami wnikającymi do kory mózgowej) 1999: Spelling Device - urządzenie umożliwiające całkowicie sparaliżowanym pisanie na komputerze za pomocą dwóch cieniutkich elektrod umieszczonych na czaszce (zespół prof. Nielsa Birbaumera z uniwersytetu w Tübingen) 2001: powstaje Cyberkinetics Neurotechnology Systems w Foxborough, Massachusetts USA 2002: szympans ze związanymi kończynami i implantem w mózgu jest w stanie sterować neuroprotezą tak, by zjeść banana (Miguel Nicolelis) 2004, czerwiec: Brain Gate - Matthew Nagle w New England Sinai Hospital pierwszy człowiek z wszczepionymi "wrotami mózgu 2004, grudzień: BCI EEG możliwość obsługi komputera za pomocą nakładanej na głowę czapki z elektrodami zdolnymi odczytywać sygnały wysyłane przez ośrodek ruchowy kory mózgowej (Jonathan Wolpaw i jego zespół z Nowojorskiego Departamentu Zdrowia) 2005: pozwolenie na przeprowadzenie eksperymentu, podczas którego na 30 dni, 16 sparaliżowanym osobom wszczepiono elektroniczne chipy (naukowcy z Duke University pod przewodnictwem Miguela Nicolelisa) 2

3 BCI metody inwazyjne (implanty mózgowe) metody nieinwazyjne detekcja bodźców pojedynczych neuronów (np. Brain Gate) oparte na ECoG oparte na EEG (np. Spelling Device) tworzenie mapy potencjałów mózgowych bodźce pojedynczych neuronów przekazywane do urządzenia analizującego i dalej do komputera interpretującego polecenie 3

4 4

5 Mathew może: włączać i wyłączać telewizor, zmieniać kanały TV, regulować głośność, grać w proste gry komputerowe, sprawdzać pocztę elektroniczną, gasić światło, sterować za pomocą myśli neuroprotezą powierzchnia 4mm2 96 cienkich, elektrod długich na 1.5 cm zagłębiających się w mózg na 1mm po umieszczeniu implantu na czaszce komunikacja za pomocą przewodów, ale opracowywana jest wersja radiowa 5

6 wykrywanie bodźców tworzonych przez wzgórze: µ (8-12Hz), β (18-26Hz), γ(>30hz) oparta na tablicy elektrod (48 lub 64) predykcja ruchu wskaźnika oparta o sieci neuronowe zaawansowane przetwarzanie m. in. filtracja falkowa faza przygotowawcza minutowych prób dotyczących 6 zadań (po 3 próby do każdego zadania) np. otwórz, zamknij, lewa lub prawa ręka, poruszenie językiem, wypowiedzenie określonego słowa w każdej próbie 30 powtórzeń danego zadania faza właściwa: 1-8 cykli po 3 minuty, w każdym cyklu prób (ok. 5 s na próbę), 1 minuta przerwy między cyklami 6

7 większa precyzja większa rozdzielczość (dziesiętne mm vs cm) szersze pasmo większa amplituda (50-100uV vs 10-20uV) większa odporność na zakłócenia szybsza w przyswojeniu przez pacjenta ALE Minusy: duży stopień inwazyjności obu systemów pacjenci narażeni na infekcje i zakażenia nie można używać przez długi czas konieczny ciągły nadzór specjalisty Plusy: metody skuteczniejsze niż nieinwazyjne odpowiedniki dużo szybsza faza treningu 7

8 Jean-Dominique Bauby, francuski dziennikarz, zapadł na tzw. zespół zamknięcia porażenie mózgowe uszkodzenie pnia mózgu książka The diving bell and the butterfly (125 stron) słowo = 2 minuty 200 tysięcy mrugnięć okiem inspiracja dla prof. Nielsa Birbaumera zespół prof. Nielsa Birbaumera wykorzystana elektroencefalografia (EEG) wolne potencjały korowe (SCP) testowany na dwóch pacjentach z zespołem zamknięcia sterowanie poprzez regulacje odpowiedzi mózgu metoda nieinwazyjna 8

9 wytrenowani by produkować zmiany w SCP, trwające 2-4 sekundy każda próba, dwie fazy oznaczone sygnałami fonicznymi: - 2 sekundy przygotowawcza - 4 sekundy odpowiedzi dziennie 6-12 sesji po 5-10min ( prób) etap odpowiedzi - wyprodukowanie negatywnej lub pozytywnej wartości większej od ustalonej amplitudy wybieranie litery poprzez dzielenie alfabetu na dwa bloki pierwsza pełna wiadomość, zajęła 16 godzin 9

10 metoda rozwijana od 20 lat dr Jonathan Wolpaw wraz z zespołem badawczym detekcja potencjałów elektrycznych mózgu µ i β (rzędu mikrowoltów) na skórze głowy za pomocą czapki z sensorami (oparte na EEG) zamiana fal mózgowych na kod komputera testy przeprowadzane na pacjentach szpitalnych od marca do czerwca 2006 roku planowany koszt: $5000 czapka z pianki zawierająca 64 elektrody przylegające do głowy TTD 8-kanałowy wzmacniacz ( Hz) sygnałów mózgowych z mikrowoltów na większe napięcia z inteligentnym systemem wag wzmocnienia w zależności od pozycjonowania sensorów + konwerter analogowo-cyfrowy (cena 4000$) 2 kable (z czapki do wzmacniacza i ze wzmacniacza do komputera) softwarowy interpreter kodu wyposażony w GUI z ikonami analiza statystyczna zdolności poznawczych i danych uzyskanych z bodźców 10

11 zwracanie uwagi na konkretną ikonę na monitorze - jej podświetlenie powoduje wygenerowanie odpowiedniego tekstu, dźwięku, zdarzenia lub nawet mowy (na podstawie banku słów przypisanych do danej czynności) nawigacja menu poprzez ruchu kursorem w dwóch płaszczyznach Plusy: nieinwazyjny i wygodny (piankowa czapka vs implant) nieskomplikowany w użyciu nie wymaga ciągłego monitoringu specjalisty pomocny osobom całkowicie sparaliżowanym o sprawnym mózgu relatywnie tani (większość z kwoty 5000$ pokrywa ubezpieczenie zdrowotne) całkowicie darmowy software olbrzymie możliwości: pacjent może wybierać ikony, składać wyrazy, pisać maile, poruszać sztucznym ramieniem Minusy: wrażliwy na zakłócenia, np. EMG długotrwały trening 11

12 tablet graficzny projektowanie dowolnych układów klawiatury po w programie graficznym przypisujemy poszczególnym obiektom dowolne reakcje (wciśnięcia klawisza czy ruch kursora) układ drukujemy i nakładamy na Intellikeys obszary znajdujące się bezpośrednio pod rysunkami są rozpoznawalne jako aktywne 12

13 klawiatury z jednym klawiszem oparte na mikroprzełącznikach (bardzo czułe) operator wciśnięciami wybiera najpierw rząd przycisków, później jedną z czteroznakowych grup, a wreszcie poszukiwaną literę konieczność dopasowania do indywidualnych potrzeb FES stymulacje elektryczne stosowane przy jednostronnym paraliżu ciała Zasada działania: w zdrowej nodze umieszcza się sensory a w sparaliżowanej stymulatory ruchu sensory monitorują aktywność mięśni w zdrowej nodze i wyzwalają zaprogramowane impulsy elektryczne w elektrodach wszczepionych w chorą nogę nieopodal nerwów ruchy nieaktywnej kończyny nie polegają na powielaniu ruchu zdrowej bodźce niekontrolowane przez umysł konieczność aktywacji elektrod górną częścią ciała za pomocą np. przycisku 13

14 Ergometr wioślarski z modułem FES: koordynacja samowolnych ruchów górnej części ciała z elektrycznie stymulowanych sparaliżowanych kończyn dolnych pierwszy czujnik wykrywa fazę ruchu wiosłowego Fuzzy Logic Controller (FLC) dostarcza elektrycznej stymulacji mięśniom nóg poprawia krążenie oraz kondycję osób sparaliżowanych pozwala na wzmocnienie mięśni i poprawę stanu osób sparaliżowanych czujniki wykrywają fazę ruchu wiosłowego poprzez określanie pozycji i szybkości obliczany zostaje moment do pobudzenia elektrycznego mięśni kończyn dolnych 14

15 Japoński robot pomoc ludziom z paraliżem kończyn sprężarki umieszczone w ważącym 1,8kg korpusie powodują odwzorowanie ruchu zdrowej kończyny planowana sprzedaż pierwszego egzemplarza w marcu 2009 koszt: 2miliony jenów 15

16 zewnętrzny stelaż podtrzymujący ciało, dający możliwość chodzenia razem z użytkownikiem czujniki przymocowane do skóry odbierające impulsy wysyłane przez mózg do mięśni komputer podejmuje decyzje, który z silników ma zostać uruchomiony analiza pracy mięśni danej osoby po pierwszym kroku i wspieranie jej ruchu szansa dla osób niepełnosprawnych (np. z uszkodzeniem rdzenia kręgowego) na normalne poruszanie się przewidziany koszt to ok $ w planach miniaturyzacja urządzenia do rozmiarów kombinezonu 16

17 pierwszy system przekazujący bezprzewodowo do komputera informacje płynące z mózgu zaprezentowany w marcu 2004 roku metoda nieinwazyjna dla osób z niedowładem ruchowym działająca w czasie rzeczywistym urządzenie w fazie prototypu niewykluczone są komercyjne zastosowania 17

18 Gra sterowana umysłem: kierujemy równowagą postaci koncentrując się na jednym z dwóch pól prototyp protezy SPRING Hand system elektrod pobudza wybrane ośrodki nerwowe informacje zwrotne przekazuje jako impulsy sterujące do układu mechanicznego 18

19 "Inteligentne palce" RTR2 hand sensory zintegrowane z układem nerwowym człowieka oferują dużą precyzję ruchów sterowana naturalnie - przez impulsy nerwowe odczuwana jako "oryginalna odczuwanie wrażeń: szorstkości, wilgotności 19

20 Regenerujące elektrody (rejestrujące impulsy z nerwów) system implantów stymulujących układ nerwowy (reakcje czuciowe do systemu nerwowego pacjenta oraz rejestracja zamiaru osoby i przekazanie informacje do protezy} telemetryczne łącze (odbiornik i nadajnik) zarówno dla sygnałów odprowadzających, jak i dośrodkowych systemu nerwowego Mechaniczny system sterujący z osadzonymi biometrycznymi sensorami o precyzji zbliżonej do uzyskiwanej za pomocą naturalnych kończyn. Zewnętrzny układ dekodujący zamiary pacjenta. System dostarczający "poznawczą" reakcję do pacjenta. rekonstrukcja uszkodzonych nerwów przywrócenie funkcji motorycznej i sensorycznej wszczepienie możliwe maksymalnie do 18 dni od uszkodzenia opracowywana wersja Andara PLUS umożliwi leczenie schorzeń trwających wiele miesięcy lub lat Andara PLUS w fazie testów na psach 20

21 21