Komputery sterowane myślami

Transkrypt

1 Komputery sterowane myślami Andrzej Materka Marcin Byczuk Plan wykładu Komputery i ich sterowanie Elektryczne sygnały mózgowe Sterowanie komputerem za pomocą myśli - BCI Badania naukowe Instytutu Elektroniki PŁ Podsumowanie 2 /25

2 Sterowanie komputerem Klawiatura 3 /25 Sterowanie komputerem iphone Ekran dotykowy Tablica graficzna 4 /25

3 Wprowadzanie danych Działanie urządzeń wprowadzania danych nie jest zgodne z naturą komunikowania się człowieka z otoczeniem. Mysz komputerowa Patent (1970) 5 /25 Naturalne wprowadzanie danych HCI human-computer interfaces /25

4 Interfejs mózg-komputer BCI (Brain-Computer Interface) wykorzystuje analizę pracy mózgu (np. mózgowe sygnały elektryczne) i nie zależy od aktywności innych nerwów lub mięśni. 7 /25 Interfejs mózg-komputer Korzystanie z interfejsu BCI nie wymaga wykonywania ruchu. Angorka nr 10 ( ) Odbiorcy osoby niepełnosprawne, sparaliżowane piloci samolotów, kierowcy wszyscy użytkownicy komputerów 8 /25

5 Elektryczne sygnały mózgowe Neurony, kora mózgowa medical/cerebellar.htm 9 /25 Elektryczne sygnały mózgowe Fale mózgowe medical/cerebellar.htm 10 /25

6 Interfejs mózg-komputer Kora mózgowa Planowanie ruchu Ograniczona pojemność i prędkość 11 /25 Interfejs mózg-komputer Rejestracja EEG Sygnał EEG Przetwarzanie wstępne images/10_20_system_mod.gif Maszyna (komputer) Wyznaczanie cech Klasyfikacja cech Informacja zwrotna Wykonanie zadania images/placed3way_web.jpg Elektryczne sygnały mózgowe są bardzo słabe i silnie zakłócone 12 /25

7 Wspomaganie osób z niepełnosprawnością 13 /25 Mózgowe odpowiedzi wywołane Częstość Analiza widmowa f x f x index.shtml?main=/tbi/brain.html Paleta barw Czas Duża pojemność i prędkość min max 14 /25

8 Widmo sygnału (spektrogram) Paleta barw min max 15 /25 Wirtualna klawiatura EEG SSVEP analysis Wybieranie numerów telefonicznych (Tsinghua University, Pekin) 16 /25

9 Instytut Elektroniki PŁ Innowacyjna metoda Skrzyżowanie nerwów wzrokowych Naprzemienne pobudzanie połówek pola widzenia O1 O2 02_cr_vis/a_02_cr_vis.html - Sygnały O1 i O2 są odwrócone w fazie. - Zakłócenia (dla elektrod położonych blisko siebie) mają podobne przebiegi. - Odjęcie sygnałów (O1-O2) wzmacnia odpowiedź mózgu i zmniejsza szum. 17 /25 Przykład X 1 X 2 X 1 X 2 18 /25

10 Eksperymenty S F S L 1 cm S R 19 /25 Eksperymenty Gęstość widma mocy Stymulator O1 O2 O1 - O2 Częstotliwość Czas 20 /25

11 Eksperymenty 21 /25 Eksperymenty Użytkownik Czas detekcji [s] min max średni AK AK AK LS LS MP WF MB MB MB /25

12 Podsumowanie (1) Opracowano nowy system BCI Lepsza jakość sygnału => większa prędkość i pojemność Tylko 3 elektrody Mały rozmiar wirtualnej klawiatury 1 Obecne badania: zwiększenie liczby znaków wirtualnej klawiatury 1 23 /25 Podsumowanie (2) Wykorzystanie elektrycznych sygnałów mózgowych udostępnia komputer osobom z niepełnosprawnościami. Szybkość i niezawodności komunikacji można zwiększyć za pomocą SSVEP. Jest wiele do zrobienia w zakresie komunikacji człowieka z [wszechobecnymi] komputerami. 24 /25

13 Komputery sterowane myślami Dziękuję Państwu za uwagę i życzę ciekawych, owocnych studiów - 3 T11B (projekt promotorski) - N (projekt własny ) 25 /25