Komputery sterowane myślami Andrzej Materka Marcin Byczuk materka@p.lodz.pl www.materka.p.lodz.pl Plan wykładu Komputery i ich sterowanie Elektryczne sygnały mózgowe Sterowanie komputerem za pomocą myśli - BCI Badania naukowe Instytutu Elektroniki PŁ Podsumowanie 2 /25
Sterowanie komputerem http://www.man-machine.com/coolthree.htm Klawiatura 3 /25 Sterowanie komputerem iphone http://en.wikipedia.org/wiki/ Ekran dotykowy Tablica graficzna 4 /25
Wprowadzanie danych http://en.wikipedia.org/wiki/computer_mouse http://en.wikipedia.org/wiki/douglas_engelbart Działanie urządzeń wprowadzania danych nie jest zgodne z naturą komunikowania się człowieka z otoczeniem. Mysz komputerowa Patent (1970) 5 /25 Naturalne wprowadzanie danych HCI human-computer interfaces http://www.smi.de http://orin.com/index.htm http://www.metrovision.fr/ http://www.nasa.gov/ http://www.ibva.com/html/core.htm http://www.onr.navy.mil/ 6 /25
Interfejs mózg-komputer BCI (Brain-Computer Interface) wykorzystuje analizę pracy mózgu (np. mózgowe sygnały elektryczne) i nie zależy od aktywności innych nerwów lub mięśni. 7 /25 Interfejs mózg-komputer Korzystanie z interfejsu BCI nie wymaga wykonywania ruchu. Angorka nr 10 (7-3-2004) Odbiorcy osoby niepełnosprawne, sparaliżowane piloci samolotów, kierowcy wszyscy użytkownicy komputerów 8 /25
Elektryczne sygnały mózgowe Neurony, kora mózgowa http://info.med.yale.edu/neurobio/mccormick/movies/rly_exp.avi http://www.smartdraw.com/examples/ medical/cerebellar.htm 9 /25 Elektryczne sygnały mózgowe Fale mózgowe http://www.smartdraw.com/examples/ medical/cerebellar.htm http://www.maui.net/~jms/impulse.mpeg 10 /25
Interfejs mózg-komputer Kora mózgowa Planowanie ruchu http://www.bci-info.tugraz.at/groups/graz-bci/ http://www.brainconnection.com/topics/?main=anat/motor-anat Ograniczona pojemność i prędkość 11 /25 Interfejs mózg-komputer Rejestracja EEG Sygnał EEG Przetwarzanie wstępne http://www.gtec.at/service/ images/10_20_system_mod.gif Maszyna (komputer) Wyznaczanie cech Klasyfikacja cech Informacja zwrotna Wykonanie zadania http://www.gtec.at/service/ images/placed3way_web.jpg Elektryczne sygnały mózgowe są bardzo słabe i silnie zakłócone 12 /25
Wspomaganie osób z niepełnosprawnością http://bci.tugraz.at/tom_bci_fes.mpg 13 /25 Mózgowe odpowiedzi wywołane Częstość Analiza widmowa f x f x http://www.neuroskills.com/ index.shtml?main=/tbi/brain.html Paleta barw Czas Duża pojemność i prędkość min max 14 /25
Widmo sygnału (spektrogram) Paleta barw min max 15 /25 Wirtualna klawiatura EEG SSVEP analysis Wybieranie numerów telefonicznych (Tsinghua University, Pekin) 16 /25
Instytut Elektroniki PŁ Innowacyjna metoda Skrzyżowanie nerwów wzrokowych Naprzemienne pobudzanie połówek pola widzenia O1 O2 http://www.thebrain.mcgill.ca/flash/a/a_02/a_02_cr/a_ 02_cr_vis/a_02_cr_vis.html - Sygnały O1 i O2 są odwrócone w fazie. - Zakłócenia (dla elektrod położonych blisko siebie) mają podobne przebiegi. - Odjęcie sygnałów (O1-O2) wzmacnia odpowiedź mózgu i zmniejsza szum. 17 /25 Przykład X 1 X 2 X 1 X 2 18 /25
Eksperymenty S F S L 1 cm S R 19 /25 Eksperymenty Gęstość widma mocy Stymulator O1 O2 O1 - O2 Częstotliwość Czas 20 /25
Eksperymenty 21 /25 Eksperymenty Użytkownik Czas detekcji [s] min max średni AK2 2.2 8.6 4.2 AK2 2.0 8.1 3.1 AK2 1.8 7.5 3.2 LS1 2.7 43.4 13.4 LS1 4.9 25.1 8.7 MP2 1.5 10.6 3.5 WF1 3.5 33.0 11.6 MB1 1.4 4.2 2.7 MB1 1.0 1.9 1.6 MB1 0.4 2.3 1.5 22 /25
Podsumowanie (1) Opracowano nowy system BCI Lepsza jakość sygnału => większa prędkość i pojemność Tylko 3 elektrody Mały rozmiar wirtualnej klawiatury 1 Obecne badania: zwiększenie liczby znaków wirtualnej klawiatury 1 23 /25 Podsumowanie (2) Wykorzystanie elektrycznych sygnałów mózgowych udostępnia komputer osobom z niepełnosprawnościami. Szybkość i niezawodności komunikacji można zwiększyć za pomocą SSVEP. Jest wiele do zrobienia w zakresie komunikacji człowieka z [wszechobecnymi] komputerami. 24 /25
Komputery sterowane myślami http://amaterka.pl/pub/am_wdwi-3_2010.pdf Dziękuję Państwu za uwagę i życzę ciekawych, owocnych studiów - 3 T11B 046 29 (projekt promotorski) - N 515 520 838 (projekt własny ) 25 /25