ZASTOSOWANIE ELEKTROENCEFALOGRAFII (EEG) W TECHNIKACH MULTIMEDIALNYCH

Transkrypt

1 ZASTOSOWANIE ELEKTROENCEFALOGRAFII (EEG) W TECHNIKACH MULTIMEDIALNYCH TECHNOLOGIE MULTIMEDIALNE 2016 ADAM GÓRSKI

2 ELEKTROENCEFALOGRFIA Elektroencefalografia (EEG) - jest nieinwazyjną metodą diagnostyczną, polegającą na rejestracji spontanicznej czynności bioelektrycznej mózgu przy pomocy elektrod umieszczonych na powierzchni skóry głowy. Rejestrują one zmiany potencjału elektrycznego, pochodzące od aktywności neuronów kory mózgowej i po odpowiednim ich wzmocnieniu tworzą z nich zapis elektroencefalogram [1].

3 INTERFEJSY MÓZG-KOMPUTER Urządzenia służące do komunikacji między mózgiem a odpowiednim urządzeniem zewnętrznym to interfejsy mózg-komputer (ang. braincomputer interface, w skrócie BCI) [2]. Źródło: [3].

4 SYSTEM Źródło: [4]. W celu łatwego powtarzania eksperymentów i potwierdzenia wyników ich badań powstał międzynarodowy system regulujący położenie elektrod system Początkowo obejmował tylko 19 elektrod (rys. B).

5 SYSTEM Źródło: [4]. Późniejsze rozszerzenie systemu umożliwiło podłączenie i opisanie 70 elektrod, przy czym zmienione zostały nazwy 4 z nich, które na rys. C zostały zaznaczone kolorem czarnym.

6 SYSTEM Źródło: [5]. Obecnie istnieją już systemy 256-elektrodowe i gdzieniegdzie w literaturze pojawia się określenie system 5-20, ze względu na mniejsze odległości między elektrodami.

7 UKŁAD ELEKTROD W URZĄDZENIACH EMOTIV EPOC+ I EMOTIV INSIGHT, UŻYWANYCH W TRAKCIE LABORATORIUM Emotiv EPOC+ Emotiv Insight Źródło: [6].

8 UKŁAD ELEKTROD W URZĄDZENIACH EMOTIV EPOC+ I EMOTIV INSIGHT, UŻYWANYCH W TRAKCIE LABORATORIUM Emotiv EPOC+ Emotiv Insight

9 ENCEFALOGRAM

10 ZASTOSOWANIE SUROWEGO SYGNAŁU EEG (RAW EEG) Zapis surowych przebiegów EEG stanowi podstawę badania przeprowadzanego zwykle przez lekarza specjalistę, który opierając się na pomiarach amplitudy, częstotliwości i wzrokowej analizie kształtów wykonuje opis badania. Od jego wiedzy i doświadczenia zależy w głównej mierze wartość tego opisu, ocena, czy praca mózgu mieści się w granicach normy [1]. W diagnostyce, np. przy zaburzeniach snu, czy epilepsji analizowany jest zapis EEG w połączeniu z zapisem wideo. W multimediach dość trudno operuje się takimi sygnałami. Samo wykorzystanie ich jest proste, ale ze względu na różnicowy charakter pomiarów, wartości sygnałów zmieniają się bardzo wraz ze zmianą potencjału elektrycznego całego ciała. Jeden z popularniejszych sposobów analizy to sonifikacja i wizualizacja przebiegów.

11 AKTYWNOŚĆ A FALE MÓZGOWE Źródło: [8].

12 AKTYWNOŚĆ A PASMA CZĘSTOTLIWOŚCI Źródło: [7].

13 PODSTAWOWE RYTMY FAL MÓZGOWYCH Źródło: [8].

14 FALE DELTA Fale o niskiej częstotliwości (0,5Hz - 4Hz), wysokiej amplitudzie i czasie trwania co najmniej 1/4s. Gdy pojawiają się podczas głębokiego snu i ich amplituda przekracza 75μV nazywane się falami wolnymi (ang. Slow Wave Activity, SWA). Występowanie SWA spowodowane jest wysoką synchronizacją neuronów kory. Większą synchronizację spotyka się tylko podczas ataku epilepsji. Fale delta obserwuje się także podczas głębokiej medytacji, u małych dzieci, podczas niektórych zadań wymagających ciągłego skupienia i w przypadku pewnego rodzaju uszkodzeń mózgu. Fale te mogą być mierzone na całej powierzchni głowy, ale najsilniejsze są w jej przedniej części [9] [10] [11] [12] [13] [14] [21]. Źródło: [11].

15 FALE THETA Mają zakres od 4 do 8Hz i rozpiętości amplitudy peak-to-peak rzędu kilkudziesięciu μv. Charakterystyczne przebiegi tego typu występują np. w czasie snu płytkiego. Prawdopodobnie następuje wtedy przyswajanie i utrwalanie zdobywanych informacji. Odmienny rodzaj fal theta jest związany z aktywnością poznawczą, kojarzeniem, uwagą, a także procesami pamięciowymi (tzw. rytm FMθ - frontal midline theta). Fale theta pojawiają się podczas medytacji, transu, hipnozy, intensywnego marzenia, czy silnych emocji. Świadomość przy tej częstotliwości pozwala na kontrolowanie bólu fizycznego, a w skrajnych przypadkach nawet krwawienia. Mogą też być związane z poczuciem senności, stanem przed zaśnięciem, lub odwrotnie, tuż przed obudzeniem. Obserwuje się je w okresie dzieciństwa, dojrzewania czy wczesnej młodości. Przebiegi tego typu pojawiać się również mogą w wyniku hiperwentylacji. Można je obserwować głównie w obszarze przyśrodkowym przedniej części mózgu [9] [10] [11] [12] [13] [14] [21]. Źródło: [11].

16 FALE ALFA Oscylują w paśmie 8-12Hz. Przypisuje się je stanowi relaksu z zamkniętymi oczami. Najlepiej widoczne są w potylicznej część głowy, czyli w części odpowiadającej za przetwarzanie informacji wzrokowych i mają wyższą amplitudę po dominującej stronie głowy. Ta jedna z najwcześniej zaobserwowanych struktur encefalograficznych, mimo że nie występuje podczas właściwego snu, ma fundamentalne znaczenie dla analizy EEG. Świadczy bowiem o przedsennym czuwaniu badanego, a jej zanik oznacza przejście ze stanu czuwania do płytkiego snu. Fale alfa zanikają także podczas wysiłku umysłowego, albo stymulacji narządów zmysłów np. przy otwarciu oczu i zadziałaniu na nie światłem. Rytm o częstości w paśmie alfa rejestrowany w okolicach kory motorycznej nazywany jest rytmem μ. Wykazuje on istotny zanik w momencie wykonywania ruchu przez człowieka lub tylko zamierzenia jego wykonania [9] [10] [11] [12] [13] [14] [21]. Źródło: [11].

17 FALE BETA Mało zsynchronizowane przebiegi o niskiej amplitudzie z przedziału od 12 do 30Hz. Wyróżnia się następujące przedziały: wolne fale beta (12-15Hz), właściwe - średnie fale beta (15-18Hz) i szybkie fale beta, o częstotliwości powyżej 19Hz. Charakteryzują one zwykłą codzienną aktywność kory mózgowej człowieka, percepcję zmysłową, pracę umysłową, aktywność poznawczą, koncentrację uwagi, gdy mózg nastawiony jest na świadomy odbiór bodźców zewnętrznych za pomocą wszystkich zmysłów. Specyficzna aktywność beta towarzyszy również stanom po zażyciu niektórych leków. Fale beta zazwyczaj występują w okolicy czołowej i centralnej. W warunkach prawidłowych nie występuje w okolicach potylicznych (pojawia się w przypadku defektów czaszki lub zaburzeń psychicznych). [10] [11] [12] [13] [14] [15] [21]. Źródło: [11].

18 FALE GAMMA Fale o częstotliwości od 30 do 80Hz. Gdy aktywność przebiega między 80 a 200Hz, określa się ją jako gamma wysokiej częstotliwości (high gamma). Fale gamma towarzyszą aktywności ruchowej i funkcjom motorycznym, a także wyższym procesom poznawczym, m.in. percepcji sensorycznej i pamięci. Przypuszcza się, że rytm o częstotliwości około 40Hz ma związek ze świadomością percepcyjną (wrażeniami zmysłowymi i ich postrzeganiem) i związany jest z integracją poszczególnych wrażeń zmysłowych w jeden spostrzegany obiekt. Ośrodki mózgowe, biorące udział w wyobrażaniu ruchu, komunikują się ze sobą w określonej kolejności, na tej właśnie częstotliwości. Dopiero wtedy pojawia się "błysk" aktywności gamma w ośrodku mózgowym odpowiedzialnym za wykonanie ruchu. Aktywność high gamma występuje podczas aktywacji kory mózgowej, zarówno przez bodźce zewnętrzne (np. dotykowe, wzrokowe), jak i wewnętrzne (przygotowanie ruchu, mowa) [10] [11] [12] [13] [14] [21]. Źródło: [11].

19 INNE FALE Fale mi (mu) o częstotliwości 7-11 Hz, występują równocześnie z rytmem beta tylko u części populacji. Przyjmują kształt zębów piły. Rejestrowane są w korze czuciowej (ciemieniowej) [15]. Fale lambda, są trójfazowe fale wolne o wyglądzie fal ostrych (2-3 Hz) rejestrowane u dzieci i młodych ludzi w okolicach potylicznych. Fale te związane są z ruchem gałek ocznych, skupieniem uwagi [15].

20 JESZCZE INNE FALE Drobne fale (ang. ripples) fale o częstotliwościach od 100 do 250Hz. Rejestrowane są w sygnale z implantowanych mikroelektrod, natomiast szybsze z zakresu od 250 do 600Hz, tzw. fast ripples występują szczególnie u pacjentów z epilepsją, w obszarze ogniska epileptycznego [9] [10]. Wrzeciona snu (ang. sleep spindles) to charakterystyczne struktury obserwowane niemal od samych początków pomiarów EEG. Występują podczas umiarkowanie głębokiego snu. Ich częstotliwość wacha się między 12 a 14Hz, a czas trwania między 0,5 a 1,5s. Obwiednia tych krótkich wybuchów dość szybkiej aktywności o niewielkiej amplitudzie przypomina kształt wrzeciona. Fale te można zaobserwować na całej powierzchni skóry głowy, ale ich amplituda i częstotliwość może się nieznacznie zmieniać przy przejściu od przodu do tyłu głowy (od wrzecion wolnych po szybkie ). Mogą, występować w parach z kompleksami K [9] [10] [21]. Kompleksy K (K-complexes), w Polsce często nazywane zespołami K, towarzyszą wrzecionom snu, mogą pojawiać się pojedynczo lub w serii po dwa podczas umiarkowanie głębokiego snu, spontanicznie lub też w odpowiedzi na bodźce. Są to fale o niskiej częstotliwości i wysokim napięciu (największy pik strefy) składające się z dwóch faz: najpierw dodatnie maksimum, potem ostry spadek. Ich czas trwania powinien przekraczać 0,5s. Obecnie wymaga się aby struktury te miały częstotliwość od 1 do 4 cykli/s, amplitudę co najmniej dwa razy większą od średniej amplitudy tła i czas trwania 0,5 2s. Amplituda kompleksu K jest zazwyczaj największa na czubku głowy [9] [10] [21]. Źródło: [9]. Wrzeciona snu i zespoły K.

21 I JESZCZE INNE FALE Fale piłokształtne (ang. sawtooth waves) pojawiają się w czasie snu paradoksalnego (REM). Są to wierzchołkowe, ujemne fale o umiarkowanej częstości i amplitudzie, pojedyncze lub zgrupowane po kilka, o częstotliwości 6 10Hz, amplitudzie rzędu kilkudziesięciu µv i wyraźnym kształcie zębów piły [9]. Wierzchołkowe fale ostre (ang. Vertex sharp waves) występują pod koniec okresu płytkiego snu. Nazwą tą określa się ostry potencjał maksymalny w okolicy wierzchołkowej, ujemny w stosunku do innych pól, o amplitudzie zmiennej, często dochodzącej do 250µV między wierzchołkami [9]. Iglice (spikes) to padaczkopodobne wyładowania, obserwowane także w zapisie międzynapadowym EEG. Są to grafoelementy wyraźnie wyróżniające się z czynności podstawowej, z ostrym wierzchołkiem i często następującą po nim falą wolną. Czas trwania iglicy wynosi zazwyczaj od 20 do 70ms, a amplituda jest co najmniej dwa razy większa od amplitudy tła, w obrębie około 5s [9]. Ponadto, w zapisie EEG pojawiają się w postaci artefaktów ślady wolnych ruchów gałek ocznych (Slow Eye Movement, SEM), obserwowane w odprowadzeniach EOG (elektrookulogram) zwłaszcza w stanie płytkiego snu oraz szybkie ruchy gałek ocznych (Rapid Eye Movement, REM), występujące podczas snu paradoksalnego [9] [21].

22 RÓŻNICE W SYGNALE Z TEJ SAMEJ ELEKTRODY W ZALEŻNOŚCI OD AKTYWNOŚCI BADANEGO High-gamma w zapisach śródczaszkowych 200 Mówienie 0 0 Time (s) Układ elektrod Słuchanie Źródło: [17]. 0 0 Time (s) 0.25 Zależność częstości od czasu dla sygnałów z tej samej elektrody umieszczonej w obszarze mowy podczas generacji mowy i słuchania. Widoczne zmiany mocy Hz w przedziale czasu od 0 do 250 ms [17] [28].

23 SYGNAŁY TYPU AFFECTIV STANY EMOCJONALNE

24 PODSUMOWANIE INFORMACJI O RYTMACH FAL MÓZGOWYCH I SYGNAŁÓW AFEKTYWNYCH Sygnały afektywne powstają z kombinacji poszczególnych rytmów fal mózgowych, proporcji ich amplitud pojawiających się w określonych miejscach skóry głowy i ich wzajemnych relacji w czasie. Dlatego operowanie pojedynczymi pasmami częstotliwości, czyli rytmami fal mózgowych jest łatwiejsze niż rzeczywistymi stanami emocjonalnymi. Nauczenie się kontrolowania np. czterech pasm częstotliwości w systemach z mniejszą ilością elektrod jest znacznie prostsze niż np. stanami emocjonalnymi pokazywanymi w trakcie stosowania systemu Emotiv EPOC+. Można zaryzykować stwierdzenie, że im większa ilość elektrod i im bardziej wyrafinowany algorytm odwzorowywania prawdziwych stanów emocjonalnych tym trudniej nim manipulować. Trening oparty o rytmy fal mózgowych i związane z nimi stany emocjonalne leży u podstaw biofeedbacku.

25 BIOFEEDBACK Biologiczne sprzężenie zwrotne to technika, która polega na obserwacji i dostarczaniu człowiekowi informacji na temat jego stanu fizjologicznego. Może być to również metoda terapii, polegająca na podawaniu badanemu sygnałów zwrotnych o zmianach stanu fizjologicznego jego organizmu. Dzięki temu może się on nauczyć świadomie modyfikować funkcje, które w normalnych warunkach pozostają poza świadomością, jak np. fale mózgowe, opór elektryczny skóry, napięcie mięśni itp. [16]. Rys. Cykl sprzężenia zwrotnego w systemach człowiek-maszyna rozszerzonych o BCI. Wejście oparte na BCI może być zarówno aktywne, jak i pasywne. Może być ono jedynym wejściem, lub też może być połączone z innymi modalnościami, jak na przykład myszka komputerowa, czy polecenia wydawane głosem [18].

26 ARTEFAKTY Istnieją różne kategorie artefaktów: aparaturowe (przerwany drut elektrody, zły kontakt) artefakt sieciowy (50 Hz) artefakty fizjologiczne (sercowe EKG, puls, balistokardiograficzne, oczne, mięśniowe) [17]. Systemy używane w trakcie laboratorium są też podatne na zakłócenia elektromagnetyczne.

27 ARTEFAKTY PORUSZANIE GAŁKĄ OCZNĄ Rogówka oka jest elektrycznie dodatnia w stosunku do tylnej ściany oka. Różnica potencjałów nie zależy od oświetlenia, a jej pochodzenie jest przypisywane szybszemu metabolizmowi w siatkówce oka. Źródło to zachowuje się jak pojedynczy dipol w kierunku od siatkówki do rogówki. Potencjały siatkówko rogówkowe są rzędu mv. Ruchy oka powodują ruch (obrót) dipola i sygnały mierzalne w elektrodach EOG (elektrookulogram) i EEG [17]. Źródło: [4]. Artefakty związane z poruszaniem gałką oczną.

28 ARTEFAKTY MRUGANIE POWIEKĄ Mruganie oczu jest widoczne jako sygnały w przeciw-fazie z elektrod nad i pod okiem. Fala delta pochodzenia korowego byłaby widoczna jako sygnały w fazie we wszystkich elektrodach [17]. Źródło: [4].

29 ARTEFAKTY PRACA MIĘŚNI Źródło: [4].

30 SYGNAŁY TYPU EXPRESSIV MIMIKA TWARZY Artefakty oczne i mięśniowe zostały twórczo wykorzystane w sygnałach ekspresyjnych odwzorowujących mimikę twarzy użytkownika systemu Emotiv. Można wytrenować system pod kątem konkretnego użytkownika.

31 SYGNAŁY TYPU COGNITIV POLECENIA MENTALNE Najmocniejsza część systemów Emotiv możliwość zapisywania i przywoływania poleceń mentalnych.

32 KONSTRUOWANIE SYGNAŁÓW Sposób łączenia fal w interfejsach BCI jest tajemnicą poszczególnych firm. Sygnały należące do zbioru Affectiv zostały wytrenowane na grupie wolontariuszy. Każdy, oprócz hełmu, miał na sobie inne czujniki biometryczne, na przykład mierzące rytm bicia serca i oddechu, ciśnienie przepływu krwi i oporność skóry, napięcie mięśni i rozszerzenie źrenic. Osoby te były także filmowane. Podczas sesji obecny był psycholog, który uczestniczył w ocenie uzyskanych wyników. Wolontariusze poddawani byli testom, mającym wywoływać określone reakcje. Na ich podstawie skonstruowano listę potencjalnie znaczących zmiennych dla każdego sygnału. Następnie wyniki poddano analizie statystycznej, w celu znalezienia optymalnej kombinacji tych zmiennych. Podekscytowanie zostało podzielone na natychmiastowe i długoterminowe. Pierwsze z nich odzwierciedla stan zaskoczenia, albo reakcję na jakieś zdarzenia, myśli i sugestie. Natomiast długoterminowe podekscytowanie pokazuje całościowy nastrój, który rozwija się przez dłuższy czas. To co odróżnia ten system od innych, to fakt, że sygnały te dopasowują się do normalnych rejestrów poszczególnych użytkowników, a nie globalnych wyników, uzyskanych w całej badanej grupie osób. To kluczowa różnica w stosunku do urządzeń typu jednoelektrodowy MindWave NeuroSky, które uważa, że wie lepiej, czy użytkownik jest skupiony, czy rozluźniony. Zaangażowanie/znudzenie rejestrowano w trakcie gier komputerowych, obserwując kontrast między prostą nawigacją w nudnym krajobrazie gry, a stopniowo narastającą gorączką walki z wieloma przeciwnikami. Walkę podtrzymywano nawet jeśli gracz ginął od czasu do czasu, radząc sobie dobrze w pozostałym czasie i będąc skupionym. Dzięki temu system nie rozstraja się przy chwilowym spadku poziomu fal beta. Badając frustrację, sabotowano na przykład sposób nawigacji, zmieniając nagle kierunki działania kontrolera i jednocześnie zwiększając ponad miarę liczbę przeciwników. Zaangażowanie pokazywało poziom koncentracji i stopień pochłonięcia danym zadaniem, podczas gdy frustracja narastającą chęć rzucenia kontrolera w kąt i odepchnięcia, uczestniczącego w badaniu, psychologa. Z kolei w wyszukiwaniu wzorców dla sygnałów ekspresji posłużono się ekulogramem (EOG), pokazującym ruch gałek ocznych i elektromimogramem (EMG), który pozwolił rejestrować czynności mięśni i nerwów obwodowych twarzy. Następnie poddano analizie intensywność napięcia mięśni i ich lokalizację [21].

33 ZASTOSOWANIE SYGNAŁÓW COGNITIV I EXPRESSIVE Sprawne przywoływanie zapisanych wzorców mentalnych (sygnały kognitywne) i intencjonalne używanie ich do sterowania urządzeniami, czy oprogramowaniem, wymaga długotrwałego treningu i systematyczności w stosowaniu. Przeszkadza w tym trochę ucisk urządzenia na skórę głowy, co po pewnym czasie staje się irytujące, choć odczuwa się to bardziej w trakcie tworzenia oprogramowania, niż samego treningu. Operowanie sygnałami w konkretnych zastosowaniach wymaga też dużej koncentracji. Wadą np. przy sterowaniu urządzeniami jest brak wyłącznika typu on/off. W takim wypadku pomocne może być połączenie poleceń kognitywnych z ekspresyjnymi, które w większości działają właśnie w ten sposób. W zależności od potrzeb jest możliwe łączenie różnych typów sygnałów, łącznie z potencjałami wywołanymi, które omówione zostaną w dalszej części wykładu.

34 GRUPY SYGNAŁÓW EEG Źródło: [17].

35 GRUPY SYGNAŁÓW EEG - OPIS Wśród sygnałów elektroencefalograficznych wyróżnić możemy trzy podstawowe grupy: trwające, płynące, spontaniczne sygnały EEG (ang. ongoing EEG) zmienne sygnały, których obecność rejestrowana jest przez cały czas u osoby badanej, potencjały wywołane zdarzeniem (ang. event-related potentials, w skrócie ERP) aktywność elektryczna mózgu wywołana bodźcem lub zdarzeniem, pojawiająca się w określonym czasie i posiadająca określoną polaryzację w trakcie pomiaru (ang. time-locked i phase-locked), wśród nich wyróżnić można: potencjały wywołane (z ang. evoked potentials, w skrócie EP), które mogą być zmysłowe (wzrokowe, słuchowe, czuciowe) i ruchowe (ang. motor evoked potentials, w skrócie MEP), potencjały gotowości (niem. Bereitschaftspotential, w skrócie BP, lub ang. readiness potential, w skrócie RP), zwane również potencjałami przedruchowymi, wolne potencjały korowe (z ang. slow cortical potentials, w skrócie SCP). Regularnie pojawiająca się stymulacja może wywołać potencjał wywołany stanu ustalonego (ang. Steady state evoked potential SSEP) odpowiedzi wywołane zdarzeniami, nie mające jednak ustalonej polaryzacji (ang. non phase-locked) np. desynchronizacja wywołana zdarzeniem (ang. event-related desynchronization, w skrócie ERD) i synchronizacja wywołana zdarzeniem (ang. event-related synchronization, w skrócie ERS) [17].

36 POTENCJAŁY WYWOŁANE 2 PODEJŚCIA Zaobserwować można dwa podstawowe podejścia w interpretacji zdarzeń elektrycznych zachodzących w mózgu: I. pierwsze, w którym potencjały wywołane (EP) są sygnałami populacji neuronalnych aktywowanymi w ścisłej relacji czasowej (time-locked) z bodźcem, gdzie sygnały te sumuje się z aktywnością spontaniczną, II. drugie, gdzie EP są wynikiem reorganizacji spontanicznej aktywności mózgu. Stąd zazębienie okręgów parami na schemacie grup sygnałów EEG. Pomimo faktów wskazujących, że podejście drugie jest właściwsze, np. zmniejszenie amplitudy aktywności spontanicznej przy stymulacji wzrokowej, przy wyznaczaniu potencjałów wywołanych tradycyjnie stosuje się metodę uśredniania po wielu realizacjach [17].

37 CIEMNOTA BCI I INNE PROBLEMY Prowadzone są prace nad uzyskaniem skuteczności przy jednoprzebiegowym pomiarze. Jednak dla niektórych uczestników badań nie udaje się uzyskać rozpoznawalnych informacji w danych EEG i zwiększanie ilości pomiarów czasem wręcz obniża łączną skuteczność rozpoznawania [19]. Częściowo może być to wynikiem zjawiska zwanego w dosłownym tłumaczeniu analfabetyzmem BCI, czy też ciemnotą BCI (ang. BCI illiteracy ). Polega ono na tym, że niektórzy uczestnicy nie wykazują neuralnej sygnatury zainteresowania wykonywanym zadaniem. Wcześniejsze badania nad indywidualnymi odpowiedziami MMN również zademonstrowały, że nie wszyscy pokazują czyste komponenty MMN mimo wykazywania normalnych zdolności perceptualnych w odbieraniu bodźców [19]. Innym problemem jest fakt, że potencjały i odpowiedzi wywołane pojawiają się też spontanicznie, niekoniecznie wtedy, kiedy oczekujemy ich obecności.

38 POTENCJAŁY WYWOŁANE ZEWNĘTRZNE I WEWNĘTRZNE A B Potencjały wywołane mogą mieć elementy dodatnie (ang. positive, P) i ujemne (ang. negative, N). Liczba podana przy literze P lub N w nazwie potencjału wskazuje na opóźnienie składowej w ms np. P300. Potencjał wywołany ma składową zewnętrzną (np. wywołany potencjał słuchowy z pnia mózgu) oraz składową wewnętrzną zaczynającą się po czasie dłuższym niż 100ms i generowaną w mózgu. A (wzrokowy EP). Składowa zewnętrzna zawiera elektroretinogram (odpowiedź siatkówki na bodziec świetlny, ERG) oraz P65 i N75. Składowe wewnętrzne zaczynającą się po czasie > 100ms. Składowe P100 i N100 są zależne od stopnia uwagi (linia przerywana), składowa P300 od kontekstu, N400 od oczekiwania semantycznego, duża zmiana DC jest wynikiem wykonywania złożonego zadania. B (słuchowy EP). Składowa zewnętrzna zawiera słuchowe potencjały wywołane pnia mózgu (ang. brainstem evoked potential, BAEP) i potencjały średniolatencyjne (mid-latency auditory evoked potential, MAEP lub MLAEP). Składowe wewnętrzne mogą być modyfikowane podobnie jak wzrokowe EP. Składowe zewnętrzne zależą od danej modalności sensorycznej, składowe wewnętrzne są podobne dla obu modalności [17]. Źródło: [17]. A wzrokowy EP, B- słuchowy EP

39 POTENCJAŁY WYWOŁANE - SKŁADOWE Składowe endogenne (wewnętrzne) są wywołane procesami przetwarzania informacji i zwykle nie zależą bezpośrednio od rodzaju bodźca, lub w dużo mniejszym stopniu, niż od czynników psychologicznych. Załamki N1 i P2 zalicza się jeszcze do egzogennych (zewnętrznych) ze względu na ich zależność od parametrów fizycznych i lokalizację odpowiednią do modalności, są to jednak najwcześniejsze załamki zmieniające się pod wpływem stanu emocjonalnego i zaangażowania funkcji poznawczych (np. skupienia uwagi) [17]. Schemat potencjału wywołanego z zaznaczonymi komponentami egzogennymi i endogennymi. Porównanie z poprzednim rysunkiem pokazuje, że istnieją różne sposoby nazywania tych samych fal czy załamków, ze względu na kolejność (N1, N2) lub latencję (N400).

40 ZAŁAMKI N2A I N2B Fala niezgodności (ang. Mismatch Negativity, MMN) nazywana również załamkiem N2a jest składową ERP występującą po odmiennym bodźcu tzw. dewiantcie, występującym w sekwencji bodźców. Występuje w każdej modalności zmysłowej, ale najczęściej jest badany w potencjałach wzrokowych i słuchowych. Załamek, N2b, powstaje prawdopodobnie w chwili rozpoznania wyróżnionego bodźca. Uważa się, że jest to moment powstawania świadomości. Lewa kolumna: słuchowe potencjały wywołane przez bodziec 1 (dewiant, gruba linia) i bodźce 2-8 (standard, cienka linia) w trzech kanałach Fz, Cz, Pz. Prawa kolumna: różnice pomiędzy odpowiedziami dla bodźca 1 i bodźców 2-8. W kanale Fz widoczny element MMN i P300. We wszystkich kanałach widoczny element N2b [17].

41 MMN Na przykład w badaniach dźwiękowych MMN skojarzono ze zdolnością odróżniania jednego dźwięku od drugiego. Czyli pojawia się w wyniku niespodziewanej zmiany w powtarzającej się sekwencji dźwięków, a także w przypadkach, kiedy bodźce różnią się częstotliwością występowania, natężeniem czy czasem trwania. A nie pojawia się, lub jest znacznie zredukowana, jeśli prezentowana jest para dźwięków, których nie da się od siebie odróżnić. Amplituda i latencja MMN zależy od różnicy pomiędzy występującymi bodźcami a dewiantem. Im większa jest różnica między nimi, tym większa amplituda fali niezgodności. Źródło: [19]. Pojawia się jako wyraźny szczyt negatywny po upływie 50 ms, a jego największa amplituda przypada pomiędzy 100 a 300 ms po wystąpieniu bodźca. Dodatkowy komponent znany jako P3a, który obserwuje się kiedy użyta zostanie kontrastująca cicha stymulacja i tym samym pojawi się wzmożona uważność na sygnał zakłócający. [19].

42 ZASTOSOWANIE MMN MMN może zostać użyte np. przy nauce języków obcych. MMN pojawia się bez zaangażowania uwagi osoby badanej, czyli może być mierzona w trakcie słuchania pasywnego, np. w trakcie wykonywania zadania nie wymagającego analizy dźwięku, np. oglądania niemego filmu. Właściwości MMN spowodowały, że jest szeroko stosowany w badaniach oceniających efekty uczenia się i biegłość w percepcji słuchowej. Zazwyczaj u osób uczących się języka, o różnym poziomie zaawansowania, w odpowiedzi na obce fonemy, MMN nie wystąpi, albo będzie zredukowany. Natomiast osoby, dla których dany język jest językiem ojczystym, wystąpi wyraźny MMN.

43 ZAŁAMKI P3A I P3B P3a jest całkowicie niezależny od modalności bodźca. Uważa się, że odzwierciedla on reakcję badanego na nowość (novelty P3). Załamek P3b, inaczej P3 lub P300 powstaje wtedy, gdy wśród serii standardowych bodźców rozpoznany zostanie bodziec wyróżniony. Załamek ten występuje także po bodźcu ważnym (task-relevant) wymagającym podjęcia decyzji, po bodźcu nietypowym, lub wobec braku oczekiwanego bodźca. Załamki P3a i P3b mają inną topografię [17]. Źródło: [17].

44 POTENCJAŁ P300 - ZASTOSOWANIE Składowa P300 jest wykorzystywana w interfejsach mózg komputer (BCI). P300 BCI Speller. Użytkownikowi prezentowana jest macierz 6x6. Zadanie polega na skupianiu uwagi na literze, którą chce się napisać. Wszystkie kolumny i rzędy są losowo podświetlane. 2 z 12 podświetleń zawiera wybrana literę. Odpowiedzi na te rzadkie bodźce są inne niż odpowiedzi na bodźce nie zawierające wybranej litery. Odpowiedzi przypominają potencjał P300 [17]. Sygnał P300 oraz topografia wartości r2 (wariancji sygnału zależnej od tego czy rząd/kolumna zawierał wybraną literę, czy też nie), obliczony dla jednej próbki w czasie 310 ms po prezentacji bodźca. Pokazuje to, że na dużych obszarach istnieje różnica po podświetleniu wybranego rzędu/kolumny względem podświetlenia innych rzędów/kolumn [17].

45 POTENCJAŁ P300 REALIZACJE Napisanie jednego znaku (wybór z 36) zabiera około 8 sekund przy 99% skuteczności. Interfejs umożliwia np. osobie niepełnosprawnej komunikację z rodziną [22]. Źródło: [22]. "Poprawny" niebieski kolor na wykresie przedstawia odpowiedź P300. Wywołany jest on bodźcem, podświetloną literą na która patrzył użytkownik. Natomiast "Niepoprawny" to odpowiedzi od innych liter, na które użytkownik nie patrzył [22].

46 POTENCJAŁ P300 REALIZACJE Jeśli rozwiązanie to ma być zastosowane do sterowania wózkiem inwalidzkim, wtedy zazwyczaj stosuje się mniejszą tablicę 2x2. Niestety opóźnienie aż 8 sekund uniemożliwia szybką reakcję na niebezpieczną sytuację, która może pojawić się na drodze. Nie mówiąc o tym, że takie rozwiązanie wymaga wpatrywania się w ekran, na którym wyświetlana jest matryca. Rozwiązaniem byłoby zastosowanie kombinacji potencjałów wywołanych, które w sytuacji zagrożenia zatrzymują wózek, ale wiadomo, że czasem uniknięcie kolizji wymaga przyspieszenia. Prowadzone są eksperymenty mające na celu aktywizację osób niepełnosprawnych przez zatrudnianie ich w rolnictwie do prowadzenia maszyn rolniczych, np. traktorów. Tam skuteczność kontroli nad pojazdem można zwiększyć, przez połączenie sterowania z sygnałami ekspresyjnymi, tzn. mimiką twarzy [29]. Można też użyć dowolnej kombinacji innych sygnałów, np. dodając wytrenowane wcześniej polecenia mentalne. Istnieją też eksperymenty oparte na tablicy dwustopniowej, żeby zwiększyć ilość kombinacji i zbliżyć system do tego, którym w mówieniu posługuje się Steven Hawking, oczywiście w przyśpieszonej wersji. Takie prace prowadzi prof. Tomasz Maciej Rutkowski, polski naukowiec pracujący w Japonii [30].

47 POTENCJAŁ P300 PRAKTYKA LEKARSKA Dzięki wykorzystaniu potencjału P300 możliwe jest komunikowanie się z pacjentami, u których występuje zespół zamknięcia [20]. Składowe ERP uzależnione są od bardzo wielu czynników, nawet u osób zdrowych. Na przykład latencja potencjału P300 jest zależna od wieku. Źródło: [17]. Zależność latencji P300 od wieku, u osób zdrowych. W zespołach otępiennych (np. choroba Alzheimera) czas latencji załamka P300 wzrasta od 30% do 80%. Wydłużenie czasu latencji załamka P300 stwierdzane były również w innych chorobach np. Parkinsona, Huntingtona. Wydłużenie latencji P300 może być obserwowane nawet wtedy, kiedy objawy otępienia nie są jeszcze widoczne w standardowym badaniu podmiotowym [17].

48 POTENCJAŁ N400 N400 jest najsilniejszy z tyłu głowy i wiąże się z analizą znaczenia, ale nie wykazuje bezpośredniej wrażliwości na sposób ułożenia zdania. Obserwowany jest kiedy na przykład ktoś wypowiadając jakieś zdanie, zamieni oczekiwane słowo na inne, nie pasujące do kontekstu (rysunek B). Pojawia się również wtedy, gdy odbiorca kwalifikuje nadawcę i stosuje stereotypy, aby szybciej przewidzieć, co zostanie powiedziane [17] [23]. Szczególnie trudne zadania pozwalają zarejestrować jeszcze kolejny załamek, P4 [17]. Źródło: [17]. B. N400 widoczny w zadaniu wymagającym analizy znaczenia słów. C. Rzadko podawane żeńskie imiona wywołują załamek P300 z opóźnieniem ok. 400 ms, czyli P400.

49 POTENCJAŁ N400 I PRZYLEGŁOŚCI Efekt usłyszenia lub przeczytania zdań, których odniesienie jest niejednoznaczne, różni się od efektu N400 i pojawia się w przeważającym stopniu z przodu głowy. Inny efekt ERP, zwany P600, wywoływany jest w momencie usłyszenia lub przeczytania słowa, które nie zgadza się z wcześniejszą analizą słuchacza [23]. Oba potencjały: MMN i N400 okazują się przydatne w zagadnieniach edukacyjnych, np. do sprawdzenia stopnia zaawansowania użytkownika w danej dziedzinie. Czy rozumie znaczenie tego, co słyszy. Czy rozumie kontekst i w połączeniu z innymi potencjałami, czy jest zainteresowany zadaniem, które wykonuje i czy się w nie angażuje.

50 POTENCJAŁ ERN Error-related negativity, ERN, czasem nazywany Ne jest komponentem ERP, pojawiającym się w odpowiedzi na popełniony błąd podczas zadań wymagających dokonywania wyborów, nawet gdy uczestnik badania nie jest wyraźnie świadomy popełnienia błędu, choć w przypadku błędu nieświadomego ERN jest zredukowany [24]. ERN wykorzystywany jest w badaniach osób z zaburzeniami nerwowymi, np. w stanie depresji, jak również przy uzależnieniach. Potencjałowi ERN czasem towarzyszy ERP (error-related positivity), czasem opisywany skrótem Pe, który pojawia się ms po podaniu błędnej odpowiedzi, po której pojawił się ERN. Jest zależny od świadomości popełnionego błędu. Potencjał ten jest tożsamy z P300, który związany jest ze świadomym odczuciem.

51 POTENCJAŁY PRZEDRUCHOWE - POTENCJAŁ GOTOWOŚCI Potencjały endogenne powstają także przed bodźcem. Należy do nich: fala oczekiwania (ang. Contingent Negative Variation, CNV) i potencjał gotowości (niem. Bereitschaftspotential, BP; lub ang. pre-motor potential lub readiness potential, RP). Potencjał gotowości odzwierciedla zamiar wykonania ruchu i jest widoczny na około 400 ms przed ruchem [17]. Doświadczenie Libeta (1983): świadomość, że chce się ruszyć palcem początek BP Źródło: [17].

52 POTENCJAŁY PRZEDRUCHOWE - FALA OCZEKIWANIA Fala oczekiwania (CNV) jest to powoli narastający ujemny potencjał, obserwowany po bodźcu przygotowawczym, informującym, że należy się spodziewać bodźca imperatywnego, wymagającego wykonania prostej czynności. Fala oczekiwania nie jest związana z reakcją ruchową, ponieważ powstaje także po instrukcji, aby tylko skupić uwagę na zapowiedzianym bodźcu. CNV kończy się wkrótce po bodźcu imperatywnym. Fala oczekiwania uważana jest za najlepszy fizjologiczny wskaźnik selektywnej uwagi [17]. Bodziec Bodziec przygotowawczy imperatywny Źródło: [17].

53 WOLNE POTENCJAŁY KOROWE SCP Są to niskoczęstotliwościowe dodatnie lub ujemne zmiany poziomu wyjściowego EEG, w odpowiedzi na stymulujący bodziec. Czynnikiem, który wyzwala SCP może być myśl (zdarzenie wygenerowane wewnętrznie), lub coś, co dzieje się w środowisku zewnętrznym (zdarzenie wygenerowane zewnętrznie). Wiele czynników spowodować może nieznaczne odchylenia wartości bazowych w górę lub w dół, co sprawia, że zrozumienie tego, co się dzieje staje się wyzwaniem. Jedynym sposobem, aby mieć pewność, że dany bodziec wywołał SCP jest jednoczesne zastosowanie tego bodźca w ściśle określonym czasie i sprawdzenie, czy powoduje on pojawienie się odpowiedzi. Zestawy pomiarowe wykorzystują bardzo precyzyjną technologię bodziec-reakcja, która składa się z zaprezentowania użytkownikowi krótkiego bodźca audiowizualnego takiego jak wywołaj dodatnie lub wywołaj ujemne i późniejszej obserwacji sygnału SCP, żeby zobaczyć, czy przesunięcie sygnału w górę lub w dół występuje w odpowiedzi na bodziec [25]. Źródło: [25]. Elementy analizy SCP i uśrednione odpowiedzi SCP z odfiltrowanymi artefaktami.

54 POTENCJAŁY WYWOŁANE STANU USTALONEGO Potencjały wywołane stanu ustalonego (ang. Steady State Evoked Potentials, SSEP) potencjały wywołane periodyczną stymulacją sensoryczną. Charakteryzują się one widmem składającym się z dyskretnych częstości o stałej w czasie amplitudzie i fazie. Rozróżnia się: Auditory Steady State Response (ASSR) dźwiękowe, Somatosensory Steady State Response (SSSR) czuciowe, Steady State Visually Evoked Potentials (SSVEP) wizualne. Uśrednione potencjały wzrokowe stanu ustalonego oraz ich widma dla stymulacji światłem modulowanym falą prostokątną o wybranych częstościach [17].

55 DESYNCHRONIZACJA/SYNCHRONIZACJA WYWOŁANA ZDARZENIEM ERD/ERS ERD i ERS dotyczą zmian mocy sygnału w określonych pasmach częstotliwości. Szacuje się, że wpływ na wielkość sygnału EEG ma głównie stopień synchronizacji neuronów wytwarzających ten sygnał, a w drugiej ich ilość. Tak więc wzrost mocy w pewnym paśmie np. alfa ERS, interpretowany jest jako wzrost synchronizacji aktywności neuronów generujących aktywność EEG w tym paśmie, zaś spadek mocy np. alfa ERD, interpretowany jest jako spadek synchronizacji neuronów generujących aktywność EEG w tym paśmie częstotliwości. Znaczenie tych zjawisk zależy od pasma częstotliwości, w których one występują. Aktywność w fazie alfa wiązana jest ze stanem spoczynkowym, ERD w paśmie alfa i beta wiązane jest z pobudzeniem danego rejonu kory mózgowej, w którym zjawisko to zachodzi. ERS w paśmie alfa i beta następujący po ERD w tym samym paśmie częstotliwości interpretowany jest najczęściej jako przejaw inhibicji lub kasowania poprzedniego stanu. Z kolei zwiększona aktywność w paśmie gamma jest interpretowana jako przejaw funkcjonalnej aktywacji danego fragmentu kory.

56 ERD/ERS RUCH PALCEM Źródło: [27]. Współistnienie trzech różnych oscylacji w jednej lokalizacji (elektroda C3 na korze czucioworuchowej ręki) podczas krótkotrwałego podnoszenia prawego palca. Widoczna długotrwała desynchronizacja rytmu mu (10-12 Hz) oraz synchronizacja rytmu beta (14-18 Hz) po ruchu. Dodatkowo, występuje synchronizacja w paśmie gamma (36-40 Hz) na krótko przed rozpoczęciem ruchu [17].

57 częstość (Hz) ERD/ERS ZASTOSOWANIE ERD/ERS mogą znaleźć zastosowanie w diagnostyce epilepsji, czy chorobie Parkinsona [17][26]. Są już wykorzystane w interfejsach mózg komputer. alfa beta wyobrażony rzeczywisty Źródło: [17]. czas (s) czas (s) Pacjenci mogą nauczyć się aktywować wybrane obszary kory motorycznej. Wyobrażenie ruchu prawą ręką powoduje aktywacje lewej półkuli, a ruchu nogą obszarów centralnych. System BCI transformuje w czasie rzeczywistym sygnały EEG z mózgu na sygnały służące do kontroli urządzeń, np. protezy.

58 PODSUMOWANIE Nieprzetworzone sygnały EEG (raw data) mają właściwie tylko zastosowanie diagnostyczne, szczególnie w połączniu z analizą wzrokową. Dopiero powiązanie amplitud i mocy sygnałów uzyskiwanych na poszczególnych elektrodach z analizą częstotliwości i wzajemnymi relacjami w czasie między poszczególnymi punktami głowy daje przykład możliwości jakie drzemią w tej technologii. Możliwość zapisywania wzorców mentalnych i przywoływania ich siłą woli zbliża nas do świadomego sterowania systemami za pomocą myśli. Dodatkowo skojarzenie tych danych z reakcjami mózgu na bodźce zewnętrzne pozwoli zebrać unikalne, nie dające się podrobić, dane dotyczące każdego człowieka, co każe zwrócić uwagę na zagadnienia natury etycznej. Z drugiej strony dane takie mogą znaleźć zastosowanie w czujnikach biometrycznych, zamkach sejfów, wyrafinowanym podpisie elektronicznym, czy nieznanych jeszcze obecnie sposobach komunikacji.

59 BIBLIOGRAFIA [1] Wielospecjalistyczna przychodnia lekarska: [2] Interfejs mózg-komputer: [3] Institut für Biomedizinische Technik und Informatik [4] User Tutorial:EEG Measurement Setup: [5] Brain-computer-interface for mobile Devices: [6] Materiały promocyjne firmy Emotiv: [7] Brain mapping: [8] Electroencephalography: [9] dr hab. Durka Piotr, prof. UW Duszyk Anna, dr hab. Kamiński Maciej, dr Kuś Rafał, dr Malinowska Urszula, Mikuła Izabela, dr hab. Suffczyński Piotr, dr hab. Żygierewicz Jarosław. Elektryczny Ślad Myśli.. [10] Elektroencefalografia - definicja i opis rodzajów fal mózgowych: [11] Fale mózgowe opis: [12] Le Groux Sylvain. Situated, Perceptual, Emotive and Cognitive Music Systems. A Psychologically Grounded Approach to Interactive Music Composition. Tesi Doctoral UPF / [13] Zaccaria Giovanni Marco. Sonification of EEG signals. A study on alpha band instantaneous coherence. UPF MASTER THESIS 2010/2011. [14] Stella Andrew. Auditory Display of Brain Oscillatory Activity with Electroencephalography. MASTER THEIS UPF / Master in Sound and Music Computing. [15] Elektroencefalografia: [16] Biofeedback definicja: [17] Sygnały bioelektryczne cykl wykładów Piotra Suffczyńskiego z Wydział Fizyki Biomedycznej Uniwersytetu Warszawskiego: [18] Thorsten Zander: Did you know? Brain-Computer Interface research. [19] Alex Brandmeyer: Auditory perceptual learning via decoded EEG neurofeedback: a novel paradigm. [20] Potencjały wywołane: [21] Adam Górski: Fragmenty projektu dyplomowego inżynierskiego: Sterowanie dźwiękiem przy pomocy fal mózgowych. [22] Interfejs mózg-komputer. To i Owo Naukowo: [23] Rozumienie mowy w kontekście: oportunistyczny i proaktywny mózg w pracy : [24] Error-related negativity: [25] SCP-Biofeedback: [26] Pracownia EEG / ERD/S: [27] Pratyush Sinha EEG Based action classification: [28] Dana Boatman-Reich, Piotr J. Franaszczuk, Anna Korzeniewska, Brian Caffo, Eva K. Ritzl, Sarah Colwell, and Nathan E. Crone. Quantifying auditory event-related responses in multichannel human intracranial recordings. Frontiers Computational Neuroscience [29] Steering a Tractor by Means of an EMG-Based Human-Machine Interface : [30] Spatial Auditory Two-step Input Japanese Syllabary Brain-computer Interface Speller

60 Dziękuję za uwagę!