Piotr Wołowik Politechnika Poznańska Instytut Elektroniki i Telekomunikacji ul. Piotrowo 3A, 60-965 Poznań e-mail: piotrw@et.put.poznan.pl 2004 Poznańskie Warsztaty Telekomunikacyjne Poznań 9-10 grudnia 2004 ZASTOSOWANIE SYGNAŁU EEG W INTERFEJSACH BCI ŁĄCZĄCYCH CZŁOWIEKA Z KOMPUTEREM Streszczenie: W artykule omówiona zagadnienia związane z zasadą działania i ideą leżącą u podstaw konstrukcji interfejsów BCI (ang. Brain Computer Interface) umożliwiających komunikację człowieka z komputerem przy pomocy sygnału elektroencefalograficznego EEG. Przedstawiono główne problemy jakie w tym przypadku stanowią największą przeszkodę oraz zasugerowano możliwość ich eliminacji, która mogłaby wyznaczyć nowe trendy badań w tej dziedzinie. 1. WPROWADZENIE Dzisiejsze społeczeństwo śmiało możemy nazwać informacyjnym, gdyż jak nigdy wcześniej w dziejach ludzkości, wymiana informacji nie miała tak wielkiego znaczenia. W wymianie informacji największe znaczenie ma szybki dostęp do jej zasobów jak i sprawne poruszanie się wewnątrz jej uszczegółowionych tematycznych obszarów. Większość zgromadzonej przez różnego rodzaju instytucje informacji dostępna jest w sieci www, jakkolwiek wraz z jej ciągłym rozwojem, dostęp do wyszukiwanych konkretów staje się coraz bardziej trudniejszy. W ostatnich latach poczyniono wiele wysiłku aby usprawnić i przyspieszyć wymianę informacji pomiędzy komputerami. Pozostał jednak nierozwiązany, ważny dla współczesnego społeczeństwa (użytkownika) problem bezpośredni interfejs pomiędzy ludzkim umysłem a komputerem [1]. W założeniu umożliwiałby on najbardziej optymalny i najefektywniejszy sposób informowania maszyny cyfrowej o ludzkich intencjach i zamiarach. Dotychczasowe rozwiązania w tej dziedzinie od lat zdominowane są przez klawiatury, myszki itp. urządzenia. Ostatnio pojawiły się również pilotowe systemy komunikacji z komputerem przy pomocy ludzkiego głosu, jakkolwiek wbrew świetnej koncepcji ideowej, nie stanowią one znaczącego przełomu ze względu na techniczne ograniczenia ich realizacji. Główny problem w ich realizacji związany jest z niedoskonałością obecnie stosowanych algorytmów rozpoznawania mowy. W ostatniej dekadzie ubiegłego wieku w kilkunastu ośrodkach rozpoczęto pracę nad interfejsem pomiędzy ludzkim mózgiem a komputerem tzw. BCI (ang. Brain Computer Interface) [1]. Interfejs taki w swych założeniach miał dostarczać użytkownikowi danych wizualnych i dźwiękowych ze standardowych strumieni wyjściowych maszyny cyfrowej, a odbierać informacje komunikowane przez człowieka poprzez różnego rodzaju fizyczną aktywność jego mózgu. Aktywność ta przejawiająca się w postaci możliwej do jej fizycznej obserwacji (pod postacią na przykład właściwości bioelektromagnetycznych), mogła by zostać wykorzystana do konstrukcji urządzeń opartych na jej odpowiedniej detekcji. Główny współczesny nurt badań nad interfejsami BCI bazuje na wykorzystaniu właściwości fal elektromagnetycznych mózgu rejestrowanych przy pomocy technik elektroencefalograficznych EEG (ang. ElectoEncephaloGraph). Oprócz tej techniki warto wspomnieć, że istnieją również inne metody implementacji interfejsów BCI wykorzystujących wszystkie dostępne bioelektromagnetyczne sygnały ciała ludzkiego. Przykładami takich sygnałów, które można zaobserwować na przykład w okolicy głowy są: EOG (ang. ElectroOculoGraph, elektrookulogram detekcja potencjałów związanych z ruchami gałek ocznych) oraz EMG (ang. ElectroMyoGraph, elektromiogram detekcja potencjałów związanych ze skurczami i rozkurczami stosownych mięśni twarzy). Istnienie tego rodzaju sygnałów umożliwia hybrydowe łączenia urządzeń bazujących na ich detekcji i analizie w celu konstrukcji systemów gwarantujących ich jednoczesne wykorzystanie. Osiągnąć można w ten sposób poszerzenie możliwości systemu w porównaniu do techniki detekcji opartej tylko na jednym źródle rejestrowanych sygnałów. W artykule tym rozważony zostanie zarys zagadnienia związany tylko z odczytem emitowanych przez mózg ludzki sygnałów elektroencefalograficznych EEG względem prób ich wykorzystania w budowie interfejsu BCI.. 2. KONCEPCJE TECHNICZNE Odbiór informacji z ludzkiego mózgu definiujących komunikaty i intencje człowieka możliwy jest dwoma sposobami: a) techniką inwazyjną - polega ona na implementacji elektrod bezpośrednio do mózgu i przy ich pomocy odczytu stosownych właściwości fizycznych, najczęściej sygnałów elektrycznych związanych z aktywnością bioelektryczną neuronów. W literaturze PWT 2004, Poznań 9-10 grudnia 2004 1
anglojęzycznej interfejsy korzystające z tej metody noszą nazwę BMI (ang. Brain Machine Interface) co można przetłumaczyć jako bezpośrednie interfejsy mózgu [3]. b) technika nieinwazyjna jak sama nazwa sugeruje nie ingeruje bezpośrednio w organizm ludzki (mózg) - tylko stara się wykorzystać czynności związane z jego aktywnością możliwą do zarejestrowania poza jego bezpośrednim obszarem. Ta właśnie idea leży u podstaw konstruowania wspomnianych we wstępie interfejsów BCI. Techniki nieinwazyjne jakie wykorzystywane są dość powszechnie w medycynie do odczytu informacji o stanie ludzkiego mózgu, a możliwe do przeniesienia na grunt wykorzystania ich w przypadku konstruowania interfejsów BCI to: EEG (omówiona już technika elektroencefalograficzna wykorzystująca składową elektryczną fali elektromagnetycznej generowaną przez aktywność mózgu), MEG (technika magnetoencefalograficzna wykorzystująca składową magnetyczną fali elektromagnetycznej mózgu), FMRI (technika rezonansu magnetycznego) oraz PET (technika pozytronowa). Wśród wymienionych wyżej technik, największe znaczenie w konstruowaniu i rozważaniu koncepcji interfejsów BCI posiada technika detekcji i analizy EEG. Związane to jest z faktem ilości dostępnych na jej temat opracowań naukowych w dziedzinie medycyny. Metoda ta jest najbardziej rozpowszechniona, a jednocześnie najtańsza ze wszystkich wyżej wymienionych. Z punktu widzenia ekonomicznego wydaje się to być cechą o największym znaczeniu jeśli chodzi o eksperymenty związane z konstrukcją rozważanych prototypowych urządzeń BCI. Poniższy rysunek przedstawia system pomiarowy, leżący u podstaw koncepcji interfejsów BCI konstruowanych przy wykorzystaniu techniki detekcji i analizy sygnału EEG. spontaniczna amplituda przewyższa wymuszoną w badaniu amplitudę właściwych potencjałów EEG względem czego konieczne jest ich usunięcie. Następnie z sygnału wydobywa się (ekstrakcja cech) interesujące, rozważane w danym badaniu tzw. mózgowe potencjały skorelowane z pobudzeniem - ERP (ang. Event Related Potentials). Powszechnie stosowane w tym celu techniki to: analiza PCA (ang. Principle Component Analysis) i ICA (ang. Independent Component Analysis), a także łączna analiza korelacji czasowo-częstotliwościowej możliwa w metodzie transformacji STFT (ang. Short Time Fourier Transform) lub transformacji falkowej. Wydobyte potencjały ERP podlegają następnie klasyfikacji (najczęściej przy pomocy sztucznej sieci neuronowej) względem której podejmowana jest stosowna komenda wpływająca na wyjście sterujące. Poprawność całego cyklu weryfikowana jest przez użytkownika dzięki istnieniu stosownego sprzężenia zwrotnego. Przy jego pomocy ocenia on poprawność wyjścia sterującego względem poprawności sklasyfikowania przez system pomiarowy nadanej przez niego komendy. W takim przypadku widzi on efekt swoich myśli, ocenia go i względem tej oceny podejmuje decyzję odnoście jego akceptacji lub odrzucenia. Oczywiście aby rozważany system pomiarowy działał w założony sposób wcześniej musi zostać poddany stosownemu cyklowi treningowo-uczącemu, względem którego nauczyłby się dokonywać poprawnej klasyfikacji cech wydobytych z zarejestrowanego sygnału EEG w etapie ekstrakcji. W rozważanym schemacie badania, na pozytywny efekt eksperymentu, w dużej mierze wpływa wybór stosownego rozmieszczenia elektrod na głowie pacjenta. Powszechnie stosuje się ustandaryzowane międzynarodowo normy takie jak np. tzw. system 10-20. Został on zaproponowany przez Międzynarodową Federację Elektroencefalografii i Neurologii Klinicznej (IFCN) w 1958 roku i do dzisiaj jest powszechnie stosowany na całym świecie [4,7]. Pomiar EEG Sygnał EEG System pomiarowy Przetwarzanie wstępne Pacjent Sprzężenie zwrotne Ekstrakcja cech Klasyfikacja Wyjście sterujące Rys. 1. Schemat blokowy interfejsu BCI. Schemat badania użyteczności rozważanego na rysunku interfejsu BCI jest następujący [8]. Przy pomocy stosownej aparatury EEG rejestrowany jest zapis elektroencefalograficzny mózgu. Następnie jest on poddany przetwarzaniu wstępnemu mającemu na celu wstępną jego obróbkę, eliminującą niekorzystne wpływy artefaktów zakłócających. Artefaktami zakłócającymi są: potencjały generowane przez mimowolne ruchy gałek ocznych (EOG) oraz mięsnie twarzy (EMG). Ich Rys. 2. Idea pomiaru sygnału EEG. Rys. 3. Sposób umiejscowienia elektrod według międzynarodowego systemu 10-20. PWT 2004, Poznań 9-10 grudnia 2004 2
3. MÓZGOWE POTENCJAŁY SKORELOWANE Z POBUDZENIEM Mózgowe potencjały skorelowane z pobudzeniem ERP stanowią bardzo duży zbiór potencjałów (załamków możliwych do zaobserwowania w sygnale) jakie możliwe są do wykrycia w fali EEG. Ich obecność, a także czasowa latencja (opóźnienie) występowania (względem zaprezentowanego pacjentowi bodźca), uzależniona jest od charakteru eksperymentu, a tym samym od rodzaju stosownego pobudzenia. Pobudzenia mogą być słuchowe, wizualne lub czuciowe. Przedstawia to rysunek 4. Każde z tych rodzajów pobudzeń charakteryzuje się posiadaniem, w zarejestrowanym przebiegu EEG, właściwych tylko sobie określonych potencjałów wywołanych (wyjątkiem jest tylko omówiony w dalszej części artykułu potencjał P300). Potencjały ERP można scharakteryzować na wczesne (egzogenne) i późne (endogenne). Dzięki ich występowaniu i stosownym względem siebie rozkładom w czasie, możliwe jest diagnozowanie oraz przewidywanie wystąpień różnego typu dolegliwości neurologicznych. W przypadku rozważanych interfejsów BCI największe znaczenie ma tak zwany potencjał P300. W neuropsychologii klinicznej posiada on interpretację charakteryzującą dojście znaczenia informacyjnego, danego oczekiwanego symbolu do ludzkiej świadomości (dzieje się to właśnie po ok. 300 milisekundach). Badania wykazały, że efektywna szybkość komunikacji tym sposobem mieści się w zakresie 0,01-0,8 znaków/sekundę [1]. Rys. 4. Sposób pomiaru komponentów mózgowych skorelowanych z pobudzeniem [5]. 4. POTENCJAŁ P300 W celu wykrycia tego potencjału przeprowadza się eksperyment zwany paradygmatem odmienności (ang. odd-ball paradigm). Polega on na tym, że jeżeli badana osoba oczekuje jakiegoś zdarzenia, na przykład określonego obrazu lub symbolu, a zdarzenie to występuje rzadko, to po ok. 300 milisekundach po jego wykryciu, w rozpatrywanej fali EEG, pojawia się charakterystyczny dodatni skok potencjału [1] wspomniany już wcześniej potencjał P300. Przebieg badania przy wykorzystaniu tego paradygmatu polega na wyświetlaniu w przypadkowym porządku na ekranie monitora kolejnych liter. Badana osoba wybiera sobie myślowo jedną z nich i oczekuje jej pojawienia się, jednocześnie zliczając ilość jej dotychczasowych wystąpień. Na jej głowie znajduje się opaska (czapka) z dwiema elektrodami umieszczonymi w okolicach ciemieniowych czaszki oraz dwiema elektrodami umieszczonymi pod i nad prawym okiem, których celem jest dyskryminowanie niepożądanego artefaktu EOG [1]. Dla zwiększenia prawdopodobieństwa wykrycia P300 cały eksperyment jest wielokrotnie powtarzany, a uzyskiwane odpowiedzi są uśredniane. Dzięki temu zabiegowi możliwe staje się wykrycie tego załamka, a tym samym wybranej i oczekiwanej przez pacjenta litery. Po stosownym ciągu takich samych powtórzeń zakończonych poprawną detekcją, wybierana jest kolejna litera i cały eksperyment zostaje powtórzony. Dzięki takiej koncepcji możliwe jest wyświetlanie na ekranie całych słów i zwrotów językowych. Rys. 5. Podstawowe endogenne potencjały mózgowe ERP mające znaczenie we współczesnej diagnostyce medycznej [5]. Rys. 6. Zarys schematu pomiaru i uśrednień słuchowych mózgowych potencjałów wywołanych ERP. PWT 2004, Poznań 9-10 grudnia 2004 3
Problemem występującym podczas analizy potencjałów ERP jest fakt, że sygnał rejestrowany w badaniu jest bardzo zaszumiony. Użyteczne informacyjnie potencjały ERP posiadają zarejestrowaną amplitudę rzędu do 20mV [6] (zależy ona w dużej mierze od stosowanej aparatury rejestrującej i sposobie jej podłączenia do pacjenta, dlatego wartości podawane przez różne źródła są inne). Potencjały te są maskowane przez bardzo duży szum będący wynikiem spontanicznej aktywności mózgu i jedynym sensowym sposobem, jaki stosuje się obecnie do wydobycia z nich użytecznej informacji, jest uśrednianie przebiegu wielokrotnie rejestrowanego po zbiorze powtórnych jego realizacji. Metoda pomiaru przedstawiona jest na rysunku 6. Problem jaki występuje w tego typu metodzie uśrednień jest wielokrotna rejestracja przebiegu "stymulacja reakcja", co powoduje, że pomiar zostaje obarczony błędem wynikłym ze zjawiska habituacji organizmu do powtarzanego bodźca. Należy więc zaproponować rozwiązanie, które ograniczyłoby w możliwie jak największym stopniu wspomniane zjawisko. Takie podejście w znacznym stopniu wyeliminowało by uciążliwość procesu jakiemu poddawany jest pacjent (użytkownik interfejsu BCI) stymulowany nieustannie tym samym bodźcem, a także zwiększyłoby szybkość jego działania. 5. PRZYKŁADY URZĄDZEŃ STEROWANYCH UMYSŁEM Rozwój badań nad interfejsami BCI zaowocował powstaniem konkretnych urządzeń, w których idea sterowania przy pomocy ludzkiego umysłu znalazła konkretne odzwierciedlenie i wykorzystanie. Warte wspomnienia w tym przypadku są następujące projekty badawcze, zakończone realizacjami w postaci gotowych urządzeń elektronicznych [2]. System GRAZ skonstruowany przez zespół naukowców z wydziału Informatyki Medycznej Instytutu Inżynierii Biomedycznej Politechniki w Grazu (Austria). Urządzenie przez nich opracowane przeznaczone jest przede wszystkim dla ludzi, którzy w wyniku wypadku utracili kończyny i korzystają z ich substytutów w postaci neuroprotez, a także ludzi z uszkodzeniem rdzenia kręgowego. Wśród wielu opcji, w urządzeniu wykorzystano fakt, że fale mózgowe EEG są modyfikowane przez wyobrażenie ruchu. Wykazano, że wyobrażenie ruchu ręki, powoduje desynchronizację sygnałów w rytmach obszarów motorycznych mózgu (ERD ang. Event Related Desynchronization), a w niektórych przypadkach ich synchronizację (ERS - ang. Event Related Synchronization) [2]. Zjawiska te wykorzystano w celu określenia nadawanych przez pacjenta komunikatów. System 6ECU system skonstruowany na Politechnice w Sydney (Australia). Wykorzystuje on zasadę działania mózgowych fal alfa. Fale te dominują podczas stanu relaksu, a także w sytuacjach gdy pacjent ma zamknięte oczy. Zainteresowanie, koncentracja, stan obawy powodują znaczne zmniejszenie lub całkowity zanik ich amplitudy. W konstrukcji interfejsu BCI przy użyciu tych fal, wykorzystano ich detekcje regulowaną przez pacjenta poprzez zamykanie i otwieranie oczu. Możliwe stało się stworzenie odpowiedniego klucza stanów umożliwiającego załączanie lub wyłączanie kilku urządzeń zasilanych elektrycznie lub ich sterowanie na kilku poziomach [2]. 6. PODSUMOWANIE W artykule rozważono zarys zagadnienia związany z konstrukcją interfejsów BCI umożliwiających komunikację człowieka z komputerem z wykorzystaniem sygnałów EEG generowanych przez mózg ludzki. Badania nad tego typu urządzeniami są jeszcze w fazie laboratoryjnej. Ich ewentualne zakończone sukcesem wyniki mogłyby znaleźć bardzo szerokie zastosowania w różnych dziedzinach nauki i techniki. Szczególne pole zainteresowań dla tego interfejsów znajduje się w medycynie dla osób ze schorzeniami neurologicznymi, które zachowały zdolności intelektualne, a są niepełnosprawne ruchowo. Przy ich pomocy mogłyby one być w stanie nawiązać prostą komunikację z otoczeniem, a tym samym wyrażać swoje pragnienia i potrzeby - co w przypadku osób na przykład z porażeniem mózgowym jest bardzo trudne. W artykule tym przedstawiono zarys różnego typu potencjałów mózgowych skorelowanych z pobudzeniem ERP. Skoncentrowano się na sposobie wykorzystania, najpopularniejszego ze względu na ilość opracowań naukowych, późnego potencjału endogennego P300, w przypadku możliwości jego wykorzystania w konstrukcji interfejsów BCI. Zasugerowano problem związany z wydobyciem tego potencjału z fali EEG, która ze względu na spontaniczną dużą aktywność mózgu jest bardzo zaszumiona, a tym samym bardzo trudna do poddania jakiejkolwiek analizie. SPIS LITERATURY [1] Z. T. Dudek, Interfejs BCI próba przełamania bariery pomiędzy człowiekiem a komputerem, Przegląd Telekomunikacyjny i Wiadomości Telekomunikacyjne, nr 7/2003 [2] Z. T. Dudek, Pierwsze urządzenia bezpośrednio sterowane falami mózgowymi. Przeszkody ostatniego metra pokonane?, Przegląd Telekomunikacyjny i Wiadomości Telekomunikacyjne, nr 11/2003 [3] Z. T. Dudek, Bezpośrednie interfejsy mózgu BMI, Przegląd Telekomunikacyjny i Wiadomości Telekomunikacyjne, nr 7/2003 [4] K. Walsh, Neuropsychologia kliniczna, Wydawnictwo Naukowe PWN, Warszawa 2000 [5] W. Szelenberg, Potencjały wywołane, Wydawnictwo Elmiko, Wydanie pierwsze 2001 [6] D. A. Szabela, Potencjały wywołane w praktyce lekarskiej, Łódzkie Towarzystwo Naukowe, Wyd. I 1999 [7] J. Majkowski, Elektroencefalografia kliniczna, Państwowy Zakład Wydawnictw Lekarskich, Warszawa 1989 PWT 2004, Poznań 9-10 grudnia 2004 4
[8] T. Ebrahim, J. M. Venin, G. Garcia, Brain- Computer Interface in Multimedia Communication, IEEE Signal Processing Magazine, January 2003, vol 20 (1) PWT 2004, Poznań 9-10 grudnia 2004 5