mgrin».MarcinJukiewicz Detekcjawybranychwzrokowychpotencjaªówwywoªanychnapotrzebyinterfejsumózg-komputer POLITECHNIKAPOZNA‹SKA

WYDZIAŠ ELEKTRYCZNY

Instytut Elektrotechniki i Elektroniki Przemysªowej

PRACA DOKTORSKA

Detekcja wybranych wzrokowych potencjaªów wywoªanych na potrzeby interfejsu mózg-komputer

mgr in». Marcin Jukiewicz

Promotor:

prof. dr hab. in». Anna Cysewska-Sobusiak

POZNA‹ 2016

Spis tre±ci

Wykaz wybranych skrótów, poj¦¢ i oznacze«... 3

Streszczenie ... 6

Summary... 7

1. Wst¦p ... 8

1.1. Okre±lenie problematyki pracy ... 8

1.2. Teza, cele i zakres pracy ... 10

2. Percepcja wzrokowa ... 12

3. Przegl¡d metod obrazowania pracy mózgu ... 15

3.1. Wybrane rodzaje metod obrazowania pracy mózgu ... 15

3.2. Elektroencefalograa ... 19

4. Analiza wªa±ciwo±ci i przetwarzanie sygnaªów bioelektrycznych wykorzystywanych w interfejsach mózg-komputer ... 26

4.1. Przetwarzanie sygnaªów w interfejsie mózg-komputer... 26

4.2. Paradygmaty interfejsów mózg-komputer... 27

4.2.1. Zjawisko potencjaªu P300 ... 28

4.2.2. Potencjaªy zwi¡zane z wyobra»eniem ruchu ... 29

4.2.3. Wolne potencjaªy korowe ... 30

4.2.4. Wzrokowe potencjaªy wywoªane stanu ustalonego ... 30

4.3. Synchroniczne i asynchroniczne interfejsy mózg-komputer ... 31

4.4. Bod¹ce w badaniach zwi¡zanych z SSVEP ... 32

4.5. Miary oceny jako±ci bod¹ców ... 35

4.6. Metody przetwarzania sygnaªu... 37

4.6.1. Przetwarzanie sygnaªów w dziedzinie cz¦stotliwo±ci... 37

4.6.2. Przetwarzanie sygnaªów w dziedzinie czasu... 39

5. Wykonane badania eksperymentalne... 41

5.1. Stanowisko pomiarowe i zakres bada«... 41

5.2.1. Eksperyment 1): dobór barwy ±wiatªa do stymulacji wzrokowej

i ocena komfortu u»ytkownika ... 45

5.2.2. Eksperyment 2): wyznaczenie zakresu cz¦stotliwo±ci stymulacji wzrokowej ... 52

5.2.3. Eksperyment 3): dobór sygnaªu steruj¡cego bod¹cem ... 53

5.2.4. Analiza drugiej harmonicznej ... 57

5.3. Badania opracowanego interfejsu mózg-komputer ... 60

5.3.1. Tor przetwarzania sygnaªu ... 67

5.3.2. Eksperyment 4): porównanie klasykatorów ... 75

5.3.3. Eksperyment 5): bod¹ce dwubarwne ... 77

5.3.4. Dobór liczby i lokalizacji elektrod ... 79

5.4. Analiza dziaªania wykonanego interfejsu w warunkach rzeczywistych.... 80

5.4.1. Parametry interfejsu... 80

5.4.2. Oprogramowanie interfejsu ... 81

5.5. Eksperyment 6): Badanie skuteczno±ci dziaªania interfejsu w warunkach rzeczywistych... 84

6. Podsumowanie... 87

Bibliograa... 90

WYKAZ WYBRANYCH SKRÓTÓW, POJ†‚ I OZNACZE‹

Wykaz wybranych skrótów, poj¦¢ i oznacze«

ANOVA - analiza wariancji (ANalysis Of VAriance)

BCI - interfejs mózg-komputer (Brain-Computer Interface) BOLD - poziom utlenowania krwi (Blood-Oxygen-Level Dependent) BSS - ±lepa separacja sygnaªów (Blind Signal Separation)

CCA - analiza korelacji kanonicznych (Canonical Correlation Analysis) cVEP  konwencjonalne wzrokowe potencjaªy wywoªane (conventional Visu-

al Evoked Potentials)

DSLVQ - Distinction Sensitive Learning Vector Quantization

ECoG - elektrokortykograa; elektrokortykograf (ElectroCorticoGraphy;

ElectroCorticoGraph)

EEG - elektroencefalograa; elektroencefalograf (ElectroEncephaloGraphy;

ElectroEncephaloGraph)

ERD - desynchronizacja zwi¡zana z bod¹cem (Event-Related Desynchroni- zation)

ERS - synchronizacja zwi¡zana z bod¹cem (Event-Related Synchroniza- tion)

FFT - szybka transformata Fouriera (Fast Fourier Transform)

fMRI - funkcjonalny rezonans magnetyczny (functional Magnetic Resonan- ce Imaging)

HSD - test Tukeya-Kramera (Honest Signicant Dierence Tukey-Kramer test)

ITR - Information Transfer Rate

LIS - zespóª zamkni¦cia (Locked-In Syndrome) L1-MCCA - L1-regularized Multiway CCA

LASSO - Least Absolute Shrinkage and Selection Operator

LDA - liniowa analiza dyskryminacyjna (Linear Discriminant Analysis) MEG - magnetoencefalograa; magnetoencefalograf (MagnetoEncephalo-

Graphy; MagnetoEncephaloGraph)

MsetCCA - Multiset CCA

mVEP  wieloogniskowe wzrokowe potencjaªy wywoªane (multifocal visual evoked potential)

MwayCCA - Multiway CCA

NIRS - spektroskopia bliskiej podczerwieni (Near-InfraRed Spectroscopy) P300 - potencjaª P300

PSD - widmowa g¦sto±¢ mocy (Power Spectral Density)

PWM - modulacja szeroko±ci¡ impulsów (Pulse-Width Modulation)

QAD - kwadraturowa demodulacja amplitudowa (Quadrature Amplitude Demodulation)

SCP - wolne potencjaªy korowe (Slow Cortical Potentials) SNR - wspóªczynnik sygnaªu do szumu (Signal-to-Noise Ratio)

SSVEP - wzrokowe potencjaªy wywoªane stanu ustalonego (Steady State Vi- sual Evoked Potentials)

SQUID - Superconducting QUantum Interference Device C - liczba poprawnych rozpozna«

f

- cz¦stotliwo±¢ odci¦cia ltru dolnoprzepustowego

H

- ltracja ltrem dolnoprzepustowym o cz¦stotliwo±ci odci¦cia f

m - liczba u±rednianych danych równa liczbie kanaªów pomiarowych N - liczba wszystkich elementów poddanych rozpoznaniu (poprawnie i

niepoprawnie sklasykowanych)

n

- liczba analizowanych s¡siednich pr¡»ków widma n - liczba wszystkich skªadowych w analizowanym zbiorze

N

- liczba bod¹ców

P

- wyznaczona warto±¢ znormalizowana z pojedynczego kanaªu pomia- rowego

P

- ±rednia warto±¢ mocy znormalizowanej w analizowanym pa±mie P (f ) - warto±¢ pr¡»ka cz¦stotliwo±ci sygnaªu u»ytecznego

P (f + i∆f ) - pr¡»ek widma s¡siedni do pr¡»ka widma P (f) P (t), P

(t) - moc chwilowa w pa±mie

S - skuteczno±¢ klasykacji

T

- czas na dokonanie wyboru (klasykacj¦), który wyra»ony jest w se-

kundach

WYKAZ WYBRANYCH SKRÓTÓW, POJ†‚ I OZNACZE‹

U

(t) - wyznaczona warto±¢ ±rednia napi¦cia U

(t) - u±redniona warto±¢ chwilowa napi¦cia U (t), U (f ) - warto±¢ chwilowa napi¦cia

U

(t) - warto±¢ chwilowa napi¦cia z pojedynczego kanaªu pomiarowego Z

, Z

- zbiór analizowanych sygnaªów

∆f - odlegªo±¢ pomi¦dzy kolejnymi pr¡»kami widma

σ(P

) - warto±¢ odchylenia standardowego mocy w analizowanym pa±mie

Streszczenie

Poj¦cie interfejs mózg-komputer okre±la now¡ dziedzin¦ nauki z pogranicza in»ynierii biomedycznej, sztucznej inteligencji, elektroniki oraz neuronauk.

Interfejs mózg-komputer pozwala np. osobom sparali»owanym sterowa¢ takimi urz¡dzeniami jak: robot, proteza b¡d¹ wózek inwalidzki, wykorzystuj¡c jedynie reakcje wªasnego mózgu. Umo»liwia on przeªo»enie intencji czªowieka na sygnaªy steruj¡ce, tworz¡c bezpo±redni¡ ±cie»k¦ komunikacji pomi¦dzy ludzkim mózgiem a urz¡dzeniami zewn¦trznymi bez udziaªu mi¦±ni i obwodowego ukªadu nerwowego.

W niniejszej rozprawie przedstawiono sposoby rejestracji aktywno±ci mózgu. Szcze- góªowo opisano elektroencefalogra¦, metod¦, która zostaªa wykorzystana w dalszych badaniach. Opisano tak»e aktywno±ci mózgu (potencjaªy wywoªane), które mo»na wykorzysta¢ w interfejsach mózg-komputer oraz ogólne zasady projektowania takich interfejsów.

Przeprowadzono 6 eksperymentów. Trzy z nich dotyczyªy analizy zjawiska wzro- kowych potencjaªów wywoªanych stanu ustalonego. Analiza uzyskanych wyników po- zwoliªa na zaprojektowanie interfejsu mózg-komputer. W pracy przedstawiono tak»e dwie autorskie modykacje algorytmu zmodykowanej kwadraturowej demodulacji amplitudowej. Kolejne 3 eksperymenty dotyczyªy badania zaprojektowanego inter- fejsu, a w szczególno±ci szybko±ci i skuteczno±ci rozpoznania specycznej aktywno±ci mózgu osoby badanej.

Przeprowadzone badania pozwoliªy na opracowanie asynchronicznego interfej-

su mózg-komputer wykorzystuj¡cego zjawisko wzrokowych potencjaªów wywoªanych

stanu ustalonego oraz autorskie algorytmy przetwarzania sygnaªów.

SUMMARY

Summary

Brain-computer interface is a new eld of science which is merge biomedical engine- ering, articial intelligence, electronics and neuroscience.

Brain-computer interface is a device which allows paralyzed people to navigate a robot, a prosthesis or a wheelchair using only their own brains' reactions. By creation of a direct communication pathway between human brain and external devices, witho- ut utilization of muscles or peripheral nervous system, the brain-computer interface makes mapping person's intentions onto directive signals possible.

In this thesis methods of acquiring brain activity was discussed. In detail electroen- cephalography was presented. This method was used in further experiments. Evoked potentials which can be useful in brain computer-interfaces and general principles for design that interfaces was described.

Six experiments were performed. Three of them were related with analysis of steady state of visual evoked potentials. That analysis of the results allowed to preliminary design of brain-computer interface. That study also shows two modications of the modied quadrature amplitude demodulation algorithm, written by author of this thesis. Next 3 experiments were related with the designed brain-computer interface.

In particular, there were tested a speed and accuracy of recognition of the specic human subjects brain activity.

The study allowed to the preparation of an asynchronous brain-computer inter-

face that uses the phenomenon of steady state visual evoked potentials and original

algorithms for signal processing.

1. Wst¦p

1.1. Okre±lenie problematyki pracy

Interfejsy mózg-komputer BCI (Brain ComputerInterface) nazywane s¡ technologi¡

jutra. W literaturze popularno-naukowej cz¦sto mo»na przeczyta¢, »e s¡ urz¡dzenia- mi do sterowania za pomoc¡ my±li. Nie jest to oczywi±cie dosªowne odczytywanie intencji osoby badanej, a raczej poszukiwanie pewnych powtarzalnych zjawisk w mó- zgu koreluj¡cych z wyst¡pieniem konkretnych bod¹ców zewn¦trznych lub procesów my±lowych.

Poj¦cie interfejs mózg-komputer okre±la now¡ dziedzin¦ nauki z pogranicza in-

»ynierii biomedycznej, sztucznej inteligencji (w szczególno±ci uczenia maszynowego), zaawansowanego przetwarzania sygnaªów oraz neuronauk. W zwi¡zku z ci¡gªym roz- wojem tych dziedzin nauki, wzrasta zainteresowanie ±wiata nauki tematyk¡ BCI od pocz¡tku lat 90-tych XX wieku.

Interfejsy to systemy o du»ym zastosowaniu praktycznym. Znajd¡ zastosowanie wsz¦dzie tam, gdzie mo»e przyda¢ si¦ poª¡czenie mi¦dzy mózgiem a urz¡dzeniem zewn¦trznym. Przykªadami mog¡ by¢: sterowanie bioniczn¡ protez¡, sterowanie wóz- kiem inwalidzkim przez osob¦ caªkowicie sparali»owan¡, pisanie na komputerze przez osob¦ dotkni¦t¡ tak zwanym zespoªem zamkni¦cia (stan, w którym pacjent jest w peªni przytomny i ±wiadomy, ale nie jest w stanie porusza¢ si¦ z powodu caªkowitego parali»u niemal»e wszystkich mi¦±ni szkieletowych) [30, 40, 64]. Dla osób z syndromem zamkni¦cia, które w »aden sposób nie mog¡ komunikowa¢ si¦ ze ±wiatem zewn¦trznym, oznacza to zupeªnie now¡ jako±¢ »ycia [40].

Pierwszy interfejs mózg-komputer zostaª opisany przez Greya Waltera w 1964 roku.

W badaniu przeprowadzonym przez Waltera elektrody zostaªy zamontowane bezpo-

±rednio nad obszarami motorycznymi mózgu pacjenta. Zadaniem osób badanych byªo

przesuwa¢ slajdy za pomoc¡ przycisku. W czasie wykonywania tego zadania rejestro-

wana byªa aktywno±¢ ich mózgu. Nast¦pnie rzutnik zostaª podª¡czony bezpo±rednio

do urz¡dzenia rejestruj¡cego. W ten sposób miaªo by¢ mo»liwe zmienianie slajdów za

pomoc¡ rejestrowanych sygnaªów [40].

1. WST†P

Hovagim Bakardjian w swojej pracy doktorskiej [24] podsumowaª najwa»niejsze cele stawiane przed idealnym interfejsem mózg-komputer

. Powinien on charaktery- zowa¢ si¦ nast¦puj¡cymi cechami:

• jak najwy»szy wspóªczynnik Information Transfer Rate,

• jak najwi¦ksza liczba dost¦pnych komend,

• mo»liwie minimalne opó¹nienie pomi¦dzy intencj¡ badanego a rozpoznaniem jej przez interfejs,

• wysoka skuteczno±¢ rozpoznania bod¹ca (powy»ej 99%),

• nie wymaganie treningu ani od u»ytkownika, ani od interfejsu,

• jak najmniejsze koszty (aparaturowe i eksploatacyjne).

• nie powinien by¢ m¦cz¡cy dla u»ytkownika,

• powinien by¢ odporny na dystraktory, emocje i zaburzenia neurologiczne,

• powinien by¢ wyposa»ony w przyjazny interfejs u»ytkownika,

• powinien by¢ przeno±ny,

• powinien mie¢ mo»liwo±¢ wyª¡czenia w sytuacji awaryjnej,

• przygotowanie i monta» powinny by¢ minimalnie pracochªonne, np. poprzez wy- korzystanie suchych elektrod, niewymagaj¡cych specjalistycznego »elu.

W tej samej pracy Bakardjian tªumaczy, »e projekt i budowa idealnego interfejsu mózg-komputer s¡ bardzo trudne i ich realizacja nie jest jeszcze mo»liwa, gdy»:

• algorytmy ekstrakcji cech i ich klasykacji s¡ niedoskonaªe,

• odpowied¹ elektryczna mózgu charakteryzuje si¦ niskim wspóªczynnikiem sygnaªu do szumu,

• rozpoznanie intencji osoby badanej nie jest natychmiastowe (zajmuje od kilkuset milisekund od kilku sekund),

• wci¡» zbyt maªe jest zrozumienie mechanizmów i procesów zachodz¡cych w mózgu,

• elektroencefalograf nie jest idealnym narz¦dziem do pomiarów elektrycznej aktyw- no±ci mózgu, ale na razie nie ma lepszego,

• dotychczasowe rozwi¡zania i algorytmy wymagaj¡ od u»ytkownika i systemu wcze-

±niejszego treningu; czas trwania tego treningu jest zale»ny od osoby badanej, wykorzystywanego paradygmatu oraz zastosowanych algorytmów,

1

Opracowanie i tªumaczenie wªasne autora na podstawie [24]

• obecne systemy BCI wymagaj¡ od u»ytkownika peªnej koncentracji, s¡ podatne na dystraktory, co uniemo»liwia dªugotrwaª¡ prac¦ z ich u»yciem,

• najlepsze rezultaty osi¡gane s¡ z wykorzystaniem elektrod montowanych z u»yciem specjalistycznego »elu, który niestety co kilka godzin trzeba zmienia¢,

• urz¡dzenia pomiarowe s¡ bardzo kosztowne.

1.2. Teza, cele i zakres pracy

Tematyka pracy dotyczy interdyscyplinarnego obszaru bada« zwi¡zanego z pomiara- mi, analiz¡ i klasykacj¡ sygnaªu EEG na potrzeby interfejsów mózg-komputer wyko- rzystuj¡cych zjawisko wzrokowych potencjaªów wywoªanych stanu ustalonego SSVEP (Steady State Visual Evoked Potentials). Gªównym celem rozprawy jest opracowanie i eksperymentalna werykacja dziaªania interfejsu mózg-komputer.

Na potrzeby pracy sformuªowano tez¦:

Przy zastosowaniu odpowiedniego zestawu algorytmów przetwarzania i analizy sygnaªu bioelektrycznego pobranego nieinwazyjnie z obszarów po- tylicznych mo»na skutecznie wykorzysta¢ go jako sygnaª steruj¡cy w in- terfejsie mózg-komputer.

W celu potwierdzenia tej tezy zrealizowano nast¦puj¡ce zadania szczegóªowe:

• Opracowanie stanowiska pomiarowego,

• Przystosowanie wzmacniacza ADS1299 do potrzeb stanowiska,

• Zaprojektowanie i wykonanie autorskiego fotostymulatora wykorzystuj¡cego dio- dy LED,

• Opracowanie bod¹ców ±wietlnych zapewniaj¡cych jak najwi¦kszy wspóªczynnik sygnaªu do szumu i ich eksperymentalna werykacja,

• Minimalizacja liczby wykorzystanych elektrod pomiarowych,

• Opracowanie autorskiego oprogramowania steruj¡cego interfejsem,

• Przystosowanie algorytmu zmodykowanej kwadraturowej modulacji amplitudo- wej do detekcji aktualnie percypowanego bod¹ca,

• Wykorzystanie harmonicznych rejestrowanych potencjaªów wywoªanych do uzy-

skania wi¦kszej skuteczno±ci rozpoznania bod¹ca.

1. WST†P

Zakres pracy obejmuje zarówno analiz¦ istniej¡cych rozwi¡za« stosowanych w interfejsach mózg-komputer, jak i opracowanie nowych algorytmów przetwarzania i klasykacji sygnaªów mierzonych nad kor¡ wzrokow¡.

Niniejsza rozprawa zawiera 6 rozdziaªów. Ukªad rozprawy odpowiada kolejnym etapom bada«. Pierwszy rozdziaª jest wprowadzeniem w tematyk¦, zakres i cele sta- wiane w pracy. W rozdziale drugim omówiono techniki pomiarów aktywno±ci mózgu czªowieka, ze szczególnym uwzgl¦dnieniem elektroencefalografu, tj. sposobów wyko- nywania pomiarów oraz skªadowych zarejestrowanych sygnaªów. Rozdziaª czwarty dotyczy analizy i przetwarzania wªa±ciwo±ci sygnaªów bioelektrycznych wykorzysty- wanych w interfejsach mózg-komputer. Przedstawiono w nim ogóln¡ budow¦ takich interfejsów oraz wykorzystywane w nich zjawiska zachodz¡ce w mózgu, ze szczególnym uwzgl¦dnieniem wzrokowych potencjaªów wywoªanych stanu ustalonego. Przedmio- tem rozdziaªu pi¡tego jest przedstawienie bada« eksperymentalnych przeprowadzo- nych przez autora niniejszej pracy oraz analiza uzyskanych przez niego wyników. Wy- konane badania obj¦ªy dobór barwy bod¹ca i parametrów steruj¡cego nim sygnaªem oraz analiz¦ harmonicznych mierzonych sygnaªów i analiz¦ dwóch autorskich klasy-

katorów potencjaªów wywoªanych. Dokonano tak»e analizy uzyskanej skuteczno±ci

dziaªania opracowanego interfejsu. Rozdziaª szósty zawiera syntetyczne podsumowa-

nie rezultatów pracy.

2. Percepcja wzrokowa

Widzenie to proces odbierania oraz analizy bod¹ców wywoªanych przez okre±lony zakres promieniowania elektromagnetycznego. Jest to zdolno±¢ do rozró»niania przed- miotów oparta na wra»liwo±ci na dªugo±¢ fali ±wiatªa, które przedmioty te odbijaj¡, emituj¡ lub przepuszczaj¡.

Rysunek 2.1: Wzgl¦dna absorpcja ±wiatªa przez bªonowe biaªka receptorowe czopków (K, ‘, D) i pr¦cików (Pr) siatkówki oka [8]

Na rysunku 2.1 przedstawiono zale»no±¢ wzgl¦dnej absorpcji ±wiatªa przez fotore-

ceptory od dªugo±ci fali. ‘wiatªo dociera do tylnej cz¦±ci gaªki ocznej, na siatkówk¦, na

której znajduj¡ si¦ fotoreceptory zamieniaj¡ce ±wiatªo na impulsy elektryczne prze-

kazywane dalej do mózgu. Wyró»nia si¦ dwa typy komórek fotoreceptorowych: pr¦ciki

i czopki. Pr¦ciki znakomicie reaguj¡ w ciemno±ciach, odpowiadaj¡ za tzw. widzenie

skotopowe. W zwi¡zku z tym wykorzystywane s¡ np. w widzeniu nocnym, gdy lumi-

nacja wynosi okoªo 0,0001 cd/m

. Czopki odpowiadaj¡ za tzw. widzenie fotopowe,

czyli umo»liwiaj¡ widzenie kolorów przy dobrym o±wietleniu, gdy luminacja wynosi

2. PERCEPCJA WZROKOWA

okoªo 10 cd/m

. Istniej¡ trzy rodzaje czopków, które w zale»no±ci od pigmentu po- chªaniaj¡ ±wiatªo o okre±lonej dªugo±ci fali i umo»liwiaj¡ widzenie barwy: czerwonej, zielonej oraz niebieskiej. Barwy po±rednie uzyskiwane s¡ poprzez jednoczesne pobu- dzenie ró»nych czopków.

Z siatkówki informacje przesyªane s¡ dalej za pomoc¡ nerwów wzrokowych. Miej- sce, w którym nerw ª¡czy si¦ z okiem, nazywa si¦ tzw. plamk¡ ±lep¡, z uwagi na brak w tym miejscu czopków i pr¦cików. Oznacza to, »e w polu wzrokowym jest punkt, którego oko nie widzi. Braki te s¡ rekompensowane ruchami sakadycznymi (mikroprzeskokami)

¹renicy.

Gªówna droga wzrokowa biegnie przez ciaªo kolankowate boczne do pierwszorz¦- dowej kory wzrokowej V1, nazywanej te» kor¡ pr¡»kow¡ lub polem 17 wg klasykacji Brodmanna, znajduj¡cej si¦ w potylicznej cz¦±ci mózgu. Na rysunku 2.2 przedstawiono schemat ideowy drogi wzrokowej, pokazuj¡cy jak siatkówki obu oczu s¡ poª¡czone z obiema poªówkami kory wzrokowej.

Rysunek 2.2: Schemat ideowy drogi wzrokowej, gdzie: 1 - siatkówka, 2 - nerw wzrokowy, 3 - skrzy»owanie wzrokowe, 4 - droga wzrokowa, 5 - ciaªo kolankowate

boczne, 6 - kora wzrokowa [2]

Wychodz¡ce z siatkówki nerwy wzrokowe prowadz¡ do skrzy»owania wzrokowego.

Obiekty znajduj¡ce si¦ w prawej cz¦±ci pola wzrokowego (obserwowanej sceny) odwzo- rowywane s¡ z lewej strony siatkówki w obu oczach, a ich reprezentacja przetwarzana jest w lewym ciele kolankowatym bocznym. Stamt¡d informacja przekazywana jest do kory wzrokowej. Sygnaªy przekazane do kory wzrokowej pozwalaj¡ na wydobycie informacji dotycz¡cej koloru, ksztaªtu i ruchu. Z tego obszaru mózgu rozsyªane s¡

do obszarów wyspecjalizowanych w przetwarzaniu konkretnego rodzaju cech wzroko-

wych.

3. PRZEGLD METOD OBRAZOWANIA PRACY MÓZGU

3. Przegl¡d metod obrazowania pracy mózgu

3.1. Wybrane rodzaje metod obrazowania pracy mózgu

Ka»da aktywno±¢ organizmu, niezale»nie od tego czy zostaªa wywoªana przez bod¹- ce wewn¦trzne (np. prac¦ w¡troby), czy bod¹ce zewn¦trzne (np. percepcj¦ jakiego±

obiektu) wi¡»e si¦ z prac¡ okre±lonego, zale»nego od zadania, obszaru mózgu. Praca mózgu przebiega dwutorowo. Pierwsz¡ skªadow¡ jest odpowied¹ elektryczna mózgu, czyli pojawienie si¦ potencjaªu elektrycznego w korze mózgu i skorelowanego z nim pola magnetycznego. Drug¡ skªadow¡ jest odpowied¹ hemodynamiczna, czyli zmiana ukrwienia mózgu, wynikaj¡ca z wi¦kszego zapotrzebowania na tlen aktualnie pracu- j¡cych obszarów mózgu.

Metody obrazowania pracy mózgu na potrzeby interfejsów mózg-komputer mo»- na sklasykowa¢ dwojako: ze wzgl¦du na inwazyjno±¢, czyli metody nieinwazyjne i inwazyjne, oraz ze wzgl¦du na rodzaj ocenianej wªa±ciwo±ci, czyli aktywno±ci elek- trycznej lub odpowiedzi hemodynamicznej. Zestawienie metod pomiaru aktywno±ci mózgu przedstawiono na rysunku 3.1. Do grupy metod nieinwazyjnych, w których mierzona jest aktywno±¢ elektryczna i magnetyczna, zalicza si¦ elektroencefalogra¦

oraz magnetoencefalogra¦. Do grupy metod, w których analizowana jest odpowied¹ hemodynamiczna, zaliczaj¡ si¦: funkcjonalny rezonans magnetyczny i spektroskopia bliskiej podczerwieni. Do grupy metod inwazyjnych zaliczane s¡ takie badania, które polegaj¡ na otwarciu czaszki i pomiarze sygnaªów elektrycznych bezpo±rednio z kory mózgowej (np. elektrokortykograa).

Funkcjonalny rezonans magnetyczny

Funkcjonalny rezonans magnetyczny fMRI (functional Magnetic Resonance Imaging) jest to metoda, za pomoc¡ której bada si¦ wzrost przepªywu krwi i utlenowania ak- tywnej okolicy mózgu BOLD (Blood-Oxygen-Level Dependent).

Zasada badania opiera si¦ wzbudzaniu spinów j¡der atomów analizowanej tkanki

poprzez szybkie zmiany nat¦»enia pola magnetycznego i pomiarze promieniowania

elektromagnetycznego powstaj¡cego na skutek powrotów spinów do stanu niewzbu-

dzonego (czas relaksacji). Analizowane jest wi¦c zachowywanie si¦ hemoglobiny (zwi¡- zanej i niezwi¡zanej z tlenem) w polu magnetycznym [41].

Rysunek 3.1: Metody obrazowania pracy mózgu [22]

Metoda fMRI zapewnia dobr¡ rozdzielczo±¢ przestrzenn¡ (rz¦du milimetrów) i umo»liwia analizowanie struktur na dowolnej gª¦boko±ci mózgu. Niestety metody wykorzystuj¡ce odpowied¹ hemodynamiczn¡ na zmiany w pracy mózgu reaguj¡ z kilkusekundowym opó¹nieniem w porównaniu do metod mierz¡cych aktywno±¢ elek- tryczn¡. Wynika to z czasu, który musi upªyn¡¢ pomi¦dzy momentem, gdy aktualnie pobudzany lub u»ywany obszar mózgu "wysyªa" zwi¦kszone zapotrzebowanie na krew a momentem, kiedy krew zostanie do tego obszaru dostarczona [108]. Przykªad mapy aktywno±ci mózgu otrzymanej w wyniku badania fMRI przedstawiono na rysunku 3.2.

Urz¡dzenia wykorzystywane w tej metodzie s¡ bardzo kosztowne i maj¡ du»e ga- baryty, co znacz¡co utrudnia zastosowanie ich w interfejsach mózg-komputer, np. w rozwi¡zaniach mobilnych uªatwiaj¡cych poruszanie si¦.

Spektroskopia bliskiej podczerwieni

Podobnie jak fMRI, spektroskopia bliskiej podczerwieni NIRS (Near InfraRed Spec-

troscopy) to tak»e metoda obrazowania polegaj¡ca na analizie zmian ukrwienia mózgu.

3. PRZEGLD METOD OBRAZOWANIA PRACY MÓZGU

Rysunek 3.2: Mapa aktywno±ci mózgu otrzymana w wyniku badania fMRI [13]

W tym przypadku s¡ analizowane ró»nice w absorpcji promieniowania podczer- wonego przez hemoglobin¦ utlenowan¡ (HbO2) i odtlenowan¡ (Hb), dzi¦ki czemu uzyskiwane s¡ dane dotycz¡ce utlenowania mózgu w badanym obszarze. Suma za- warto±ci obu hemoglobin, czyli hemoglobina caªkowita, jest po±rednim wska¹nikiem zmian regionalnej obj¦to±ci krwi [92, 101].

Pomiar wykonywany przy wykorzystaniu transiluminacji czaszki za pomoc¡ pro- mieniowania laserowego o dªugo±ci fali z zakresu bliskiej podczerwieni i odbiorze za pomoc¡ systemu fotodetekcji promieniowania przepuszczonego przez czaszk¦ [97, 101].

Podobnie jak w przypadku fMRI, metoda NIRS zapewnia dobr¡ rozdzielczo±¢

przestrzenn¡, ale ograniczon¡ niestety co do gª¦boko±ci, poniewa» promieniowanie nie wnika bardziej ni» na gª¦boko±¢ (1-4) cm [97]. Charakteryzuje si¦ podobn¡ warto±ci¡

staªej czasowej [108] i tak»e jest to metoda stosunkowo kosztowna. Natomiast zalet¡

NIRS w porównaniu do fMRI jest to, »e urz¡dzenia pomiarowe mog¡ by¢ przeno±ne.

Magnetoencefalograa

Innym mo»liwym rozwi¡zaniem jest wykorzystanie magnetoencefalograi MEG (Ma- gnetoEncephaloGraphy). Jest to technika obrazowania polegaj¡ca na pomiarze nat¦-

»enia pola magnetycznego wytwarzanego przez pr¡dy pªyn¡ce przez mózg [82]. Na

rysunku 3.3 przedstawiono urz¡dzenie i pacjenta podczas badania MEG.

Rysunek 3.3: Pacjent w trakcie badania z u»yciem magnetoencefalografu [10]

Pomiar wymaga umieszczenia na gªowie osoby badanej czujników pola magnetycz- nego typu SQUID (Superconducting QUantum Interference Device). W tym urz¡dze- niu wykorzystywany jest efekt kwantyzacji strumienia indukcji magnetycznej w pier-

±cieniu nadprzewodz¡cym. Do zapewnienia nadprzewodno±ci wykorzystywany jest ciekªy hel [16, 68].

W odró»nieniu od metod pomiaru sygnaªu elektrycznego, sygnaªy mierzone za pomoc¡ MEG s¡ mniej zaszumione, a miejsce ich generowania mo»e by¢ okre±lane z wi¦ksz¡ dokªadno±ci¡. Niestety, podobnie jak w przypadku funkcjonalnego rezonansu magnetycznego, magnetoencefalograf nie jest urz¡dzeniem mobilnym, a koszt poje- dynczego u»ycia jest na tyle du»y (mi¦dzy innymi z powodu wykorzystania ciekªego helu), »e nie jest mo»liwe wykorzystywanie go w interfejsach mobilnych [16, 68, 82].

Elektrokortykograa

Przykªadem badania inwazyjnego, podczas którego elektrody pomiarowe montowane s¡ bezpo±rednio na mózgu, jest elektrokortykograa ECoG (ElectroCorticoGraphy).

Ta metoda ma jedn¡, bardzo wa»n¡ zalet¦ w porównaniu do tradycyjnych metod

pomiaru elektrycznej aktywno±ci mózgu, w których elektrody montowane s¡ na gªo-

wie badanego. Sygnaªy mierzone w takim badaniu osi¡gaj¡ warto±ci rz¦du dziesi¡tek

3. PRZEGLD METOD OBRAZOWANIA PRACY MÓZGU

mV, natomiast we wspomnianych metodach tradycyjnych szum "zbierany" wraz z sygnaªem mierzonym z powierzchni czaszki osi¡ga warto±ci si¦gaj¡ce zaledwie kilku- dziesi¦ciu µV. Ró»nica ta powoduje, »e sygnaª ECoG dostarcza wi¦cej informacji ni»

sygnaª EEG. Niew¡tpliw¡ wad¡ jest natomiast potrzeba ingerencji chirurgicznej w celu zamontowania elektrod, która mo»e powodowa¢ wiele komplikacji i nara»a¢ »ycie pacjenta [30, 89]. Na rysunku 3.4 przedstawiono elektrody zamontowane bezpo±rednio na powierzchni mózgu.

Rysunek 3.4: Badanie ECoG - widoczne elektrody pomiarowe zamontowane bezpo±rednio na mózgu pacjenta [5]

3.2. Elektroencefalograa

Elektroencefalograa EEG (ElectroEncephaloGraphy) jest metod¡ rejestracji elek- trycznej aktywno±ci mózgu, polegaj¡c¡ na zapisie potencjaªów mierzonych na po- wierzchni gªowy. Urz¡dzenie wykorzystywane w tej metodzie nazywane jest elektro- encefalografem, którego ogólny schemat blokowy zaprezentowano na rysunku 3.5.

Elektroencefalografy s¡ powszechnie u»ywane w medycynie, gªównie do diagno-

zowania uszkodze« lub zmian patologicznych w pracy mózgu. Szczegóªowa analiza

przebiegów czasowych i widma zmierzonego sygnaªu pozwala na ustalenie czy ba-

dana osoba ±pi, czy ma tylko zamkni¦te oczy, jaki obszar mózgu generuje sygnaªy

elektryczne, jaki jest stan psychiczny osoby badanej (np. czy jest ona skupiona, czy

zrelaksowana) [54].

Rysunek 3.5: Schemat blokowy urz¡dzenia EEG [59]

Pomiar jest realizowany za pomoc¡ specjalistycznych elektrod pomiarowych (1), montowanych na powierzchni gªowy osoby badanej. Ich podstawowym zadaniem jest pozyskanie mierzonego potencjaªu i "przeniesienie" go z powierzchni gªowy do wej±cia elektroencefalografu. Nast¦pnie sygnaª zostaje wzmocniony (2), ale w efekcie u»ycia wzmacniacza pomiarowego wzmocnieniu podlega ró»nica mi¦dzy tym sygnaªem i sy- gnaªem referencyjnym. W kolejnym etapie sygnaª zostaje zamieniony w przetworniku A/C (3) z postaci analogowej na cyfrow¡. Tak przetworzony sygnaª poddawany jest dalszej obróbce w komputerze PC (4). Jest ni¡ przede wszystkim usuni¦cie skªadowej sieciowej oraz, w zale»no±ci od potrzeb, ltracja górnoprzepustowa, dolnoprzepustowa lub pasmowoprzepustowa.

Sygnaª EEG

Podstawowym problemem zwi¡zanym z rejestracj¡ elektrycznej aktywno±ci mózgu jest skala warto±ci, w jakich wykonywane s¡ pomiary. Sygnaª pozyskany z powierzchni gªowy przyjmuje bardzo maªe warto±ci: od kilku do kilkudziesi¦ciu µV. Ponadto, sy- gnaª ten jest bardzo silnie zaszumiony przez czynniki zewn¦trzne, takie jak zakªócenia pochodz¡ce od sieci zasilaj¡cej (skªadowa 50 Hz) i od innych urz¡dze« elektrycznych, ale tak»e pochodzenia biologicznego, np. zwi¡zane z prac¡ serca, mi¦±ni twarzy, czoªa i oczu. Warto±ci sygnaªów zakªócaj¡cych osi¡gaj¡ warto±ci wi¦ksze o kilka rz¦dów od warto±ci u»ytecznych sygnaªów pomiarowych.

Charakterystyczn¡ cech¡ zapisu EEG jest wyst¦powanie tzw. fal (rytmów), czyli

sygnaªów o powtarzalnej strukturze i okre±lonym zakresie cz¦stotliwo±ci. Dotychcza-

sowe badania zwi¡zane z sygnaªem EEG pozwoliªy na wyró»nienie kilku charaktery-

3. PRZEGLD METOD OBRAZOWANIA PRACY MÓZGU

stycznych fal. Warto±ci tych parametrów ró»ni¡ si¦ mi¦dzyosobniczo w zale»no±ci od stanu oraz wieku pacjenta.

Rytm alfa

Rytmy alfa (rysunek 3.6) zostaªy opisane jako pierwsze ju» w 1930 roku przez Han- sa Bergera, jednego z pionierów bada« nad EEG [87]. Rytm alfa jest podstawowym rytmem wyst¦puj¡cym w prawidªowym zapisie sygnaªu EEG osoby dorosªej. Cechy charakterystyczne to:

- cz¦stotliwo±¢ zawieraj¡ca si¦ w przedziale od 8 do 13 Hz [98],

- warto±¢ amplitudy mieszcz¡ca w przedziale od 20 do 100 µV [23, 88].

Sygnaª zwi¡zany z rytmem alfa rejestrowany jest w tylnej cz¦±ci gªowy, tj. w okolicy potylicznej, czyli nad kor¡ wzrokow¡. Wyst¦puje on u osób dorosªych, gªównie w sta- nie spoczynku, zrelaksowania i przy zamkni¦tych oczach [23]. W przypadku otwarcia oczu, silnego pobudzenia lub w stanie intensywnej koncentracji rytm ten nie wyst¦- puje. Caªkowity jego zanik w stanie spoczynku uwa»any jest za patologi¦. Do oceny i obserwacji czynno±ci alfa najbardziej skuteczny okazuje si¦ sygnaª o cz¦stotliwo±ci najwy»szej, generowanej przez mózg pacjenta w stanie czuwania [87, 88].

Rysunek 3.6: Rytm alfa [6]

Rytm beta

Za rytmy beta (rysunek 3.7) uwa»ane s¡ sygnaªy o cz¦stotliwo±ciach powy»ej 13 Hz, jednak nie wi¦kszych ni» 30 Hz [87, 98]. Z uwagi na znaczne wahania amplitudy maj¡

one niewielkie znaczenie diagnostyczne. Rytmy te s¡ najsilniejsze w przednich cz¦-

±ciach mózgu (czoªowo-centralnych) i s¡ charakterystyczne dla przetwarzania informa-

cji, percepcji bod¹ców oraz skupienia uwagi [88]. W przypadku rytmu beta stwierdzono

asymetri¦ mi¦dzypóªkulow¡. W póªkuli, w której rytm ten jest sªabiej obserwowalny,

zwykle wykrywane s¡ procesy chorobowe. Przyjmowane leki (np. barbituranty) po- woduj¡ zwi¦kszanie amplitudy rytmu beta oraz ich procentowego udziaªu w caªo±ci sygnaªu, co mocno utrudnia jego prawidªow¡ interpretacj¦ i analiz¦ [87].

Rysunek 3.7: Rytm beta [6]

Rytm theta

Cechami charakterystycznymi rytmu theta (rysunek 3.8) s¡: cz¦stotliwo±¢ mieszcz¡ca si¦ w zakresie od 4 do 7 Hz [98] oraz amplituda o warto±ci do 30 µV [23]. Zwykle rytm ten jest obserwowalny w odprowadzeniach linii ±rodkowej [87]. Je»eli jest ryt- mem dominuj¡cym w stanie czuwania, to najprawdopodobniej spowodowane jest to wyst¦puj¡c¡ nieprawidªowo±ci¡ lub senno±ci¡. Prawidªowy zapis EEG, zarejestrowany w stanie czuwania, nie powinien zawiera¢ wi¦cej ni» 5% rytmu theta [87].

Rysunek 3.8: Rytm theta [6]

Rytm delta

Rytm delta (rysunek 3.9) jest rytmem o cz¦stotliwo±ci poni»ej 4 Hz, jednak nie ni»szej ni» okoªo 0,5 Hz [98]. Warto±¢ amplitudy tego rytmu wynosi okoªo 50 µV. W zapisie EEG osoby dorosªej rytmy delta nie powinny wyst¦powa¢ w stanie czuwania, gdy»

zawsze oznacza to patologi¦ [87]. Dopuszczalne s¡ u dzieci, natomiast u osób dorosªych

jedynie podczas snu (na caªym obszarze gªowy), w zwi¡zku z czym rytm delta powala

3. PRZEGLD METOD OBRAZOWANIA PRACY MÓZGU

obserwowa¢ przechodzenie w kolejne stadia snu, co przejawia si¦ wzrostem amplitudy sygnaªu [23, 87].

Rysunek 3.9: Rytm delta [6]

Fale gamma

Z rytmem gamma (rysunek 3.10) zwi¡zane s¡ warto±ci cz¦stotliwo±ci, które zawieraj¡

si¦ w przedziale od 40 do 70 Hz [98]. Rytm ten ±wiadczy o aktywno±ci ruchowej i funkcjach motorycznych oraz o procesach poznawczych, takich jak: percepcja, zapa- mi¦tywanie i przywoªywanie z pami¦ci [88].

Rysunek 3.10: Rytm gamma [6]

Pomiar sygnaªu EEG

Do pomiaru elektrycznej aktywno±ci mózgu potrzebne s¡ trzy podstawowe elementy:

zestaw elektrod, wzmacniacz EEG oraz komputer.

Sygnaª "zbierany" jest z gªowy osoby badanej za pomoc¡ zamontowanych na niej

elektrod pomiarowych. Jak ju» podkre±lono, ich celem jest zapewnienie przeniesienia

mierzonych potencjaªów z owªosionej skóry gªowy do aparatu EEG. Najcz¦±ciej u»ywa-

n¡ elektrod¡ jest elektroda chlorosrebrowa Ag-AgCl, wykonana z metalicznego srebra

pokrytego chlorkiem srebra, ale spotykane s¡ równie» elektrody ze zªota, platyny lub

stali. Do skóry gªowy elektrody s¡ montowane za pomoc¡ kleju lub »elu przewodz¡cego

oraz specjalistycznego czepka, który ksztaªtem przypomina czepek pªywacki. S¡ one wyposa»one w otwory z odpowiednimi zaczepami, uªatwiaj¡cymi monta» i utrzymanie elektrod w jednej, stabilnej pozycji. Wa»ne jest uzyskanie odpowiedniej ª¡cznej impe- dancji elektrody i impedancji pomi¦dzy skór¡ a elektrod¡ o warto±ci rz¦du kΩ. Zbyt du»a warto±¢ impedancji zwi¦ksza szum, natomiast zbyt maªa wpªywa negatywnie na mo»liwo±ci obrazowania potencjaªów.

Miejsca mocowania elektrod s¡ znormalizowane wedªug mi¦dzynarodowego stan- dardu "10-20" [46]. Rozmieszczenie to przedstawiono na rysunku 3.11.

Rysunek 3.11: Miejsca montowania elektrod wg rozszerzonego standardu 10-20 [7]

Monta» elektrod w standardzie 10-20 wymaga wyznaczenia czterech podstawo-

wych punktów: u nasady nosa, guzowato±ci potylicznej oraz lewego i prawego punktu

usznego. Punkty te wyznaczaj¡ strzaªkow¡, wie«cow¡ i poziom¡ lini¦ ±rodkow¡, które

przedstawiono na rysunku 3.12. We wspomnianym ukªadzie oznaczenie 10-20 odno-

si si¦ do procentowych odlegªo±ci wyznaczonych na trzech liniach ±rodkowych. Dzi¦ki

okre±leniu poªo»enia elektrod na podstawie tych odlegªo±ci a nie ustalonych dªugo-

3. PRZEGLD METOD OBRAZOWANIA PRACY MÓZGU

±ci zachowana jest dla wi¦kszo±ci przypadków zale»no±¢ mi¦dzy specyk¡ anatomii czaszki a le»¡cymi pod ni¡ okolicami mózgu.

Rysunek 3.12: Rozmieszczenie elektrod wedªug standardu 10-20

W nazewnictwie elektrod obowi¡zuj¡ nast¦puj¡ce zasady [15]:

• Ka»da elektroda okre±lana jest za pomoc¡ dwóch lub trzech znaków (liter i cyfr).

Pierwszy znak (opcjonalnie dwa pierwsze znaki) okre±laj¡ okolic¦ mózgu, a ostatni okre±la obszar w tej okolicy.

• Okolice wskazywane przez pierwsze znaki to: czoªowa biegunowa Fp (Frontpolar), czoªowa F (Frontal), ±rodkowa C (Central), skroniowa T (Temporal), ciemieniowa P (Parietal) i potyliczna O (Occipital).

• Znaczenie kolejnego znaku to: cyfry nieparzyste - póªkula lewa, cyfry parzyste -

prawa póªkula, a maªa litera z - linia ±rodkowa.

4. Analiza wªa±ciwo±ci i przetwarzanie sygnaªów bioelektrycznych

wykorzystywanych w interfejsach mózg-komputer

4.1. Przetwarzanie sygnaªów w interfejsie mózg-komputer

Aby prawidªowo zinterpretowa¢ intencje u»ytkownika, nale»y odpowiednio przetwo- rzy¢ i przeanalizowa¢ zebrany sygnaª. Rysunek 4.1 przedstawia schemat blokowy typo- wego rozwi¡zania, niezale»nie od urz¡dzenia wykorzystywanego do zbierania sygnaªu.

Dalsze rozwa»ania skupi¡ si¦ jednak na EEG, jako wybranej metodzie akwizycji da- nych.

Rysunek 4.1: Schemat blokowy typowego rozwi¡zania interfejsu mózg-komputer [59]

Akwizycja i przetwarzanie danych

W rozdziale 3 omówiono sposoby akwizycji danych. Przetwarzanie wst¦pne to ewen- tualna ±lepa separacja sygnaªów BSS (Blind Signal Separation) oraz ich ltracja.

Filtracja polega zwykle na usuni¦ciu skªadowej sieciowej (50 lub 60 Hz) oraz innych,

niepo»¡danych skªadowych sygnaªu.

4. ANALIZA WŠA‘CIWO‘CI I PRZETWARZANIE SYGNAŠÓW BIOELEKTRYCZNYCH WYKORZYSTYWANYCH W INTERFEJSACH MÓZG-KOMPUTER

Ekstrakcja cech

Ekstrakcja to wydobycie z sygnaªu takich jego cech, które najtrafniej oddaj¡ informa- cj¦ o zjawisku psychozycznym, wyst¦puj¡cym bod¹cu lub aktualnej intencji osoby badanej. Cechy te mog¡ by¢ zwi¡zane odpowiednio:

• w dziedzinie czasu: z ksztaªtem sygnaªu, jego warto±ciami maksymalnymi lub mi- nimalnymi, jego moc¡ i stosunkiem sygnaªu do szumu oraz parametrami oceny statystycznej, takimi jak np. wariancja,

• w dziedzinie cz¦stotliwo±ci: z warto±ciami (maksymalnymi) konkretnych pr¡»ków widma, warto±ciami kolejnych harmonicznych, stosunkiem sygnaªu do szumu,

• w dziedzinie czasowo-cz¦stotliwo±ciowej: z parametrami falek w transformacie fal- kowej.

Podczas projektowania interfejsu szczególnie istotne jest dokonanie odpowiedniej se- lekcji cech, czyli wyboru takich cech, które w kolejnych etapach przetwarzania za- pewni¡ odpowiednio wysok¡ skuteczno±¢ klasykacji. Selekcja dotyczy nie tylko cech sygnaªów, ale tak»e elektrod. W interfejsach mózg-komputer nigdy nie jest wymagany monta» wszystkich elektrod. Zwykle d¡»y si¦ do minimalizacji ich liczby z zachowa- niem kryterium o odpowiednio wysokiej skuteczno±ci rozpoznania bod¹ca lub intencji.

Klasykacja

Klasykacja sygnaªu to zagadnienie z dziedziny uczenia maszynowego. U»ytkowanie interfejsu mózg-komputer mo»na podzieli¢ na dwa etapy: treningowy i wªa±ciwy. Na etapie treningowym zbierane s¡ zawarte w sygnale reakcje na poszczególne bod¹ce wykorzystywane w badaniu b¡d¹ reakcje na okre±lone operacje mentalne osoby bada- nej. Tak zebrany sygnaª uwa»any jest za zbiór treningowy. Na tym zbiorze algorytm sztucznej inteligencji uczy si¦ rozpoznania wykorzystywanych klas z mo»liwie naj- wi¦ksz¡ skuteczno±ci¡ na podstawie wyodr¦bnionych wcze±niej cech poszczególnych bod¹ców lub intencji osoby badanej.

4.2. Paradygmaty interfejsów mózg-komputer

Paradygmaty interfejsów mózg-komputer s¡ zwykle zwi¡zane z potencjaªami wywoªa-

nymi. Potencjaªy te wyst¦puj¡ na powierzchni gªowy w wyniku zarejestrowania przez

czªowieka zewn¦trznego bod¹ca. Takim bod¹cem mo»e by¢: pojawienie si¦ lub zmiana tonu d¹wi¦ku, bªysk ±wiatªa, zmiana lub pojawienie si¦ obrazu, dostarczenie impulsu elektrycznego do nerwu lub wybrane operacje mentalne osoby badanej.

4.2.1. Zjawisko potencjaªu P300

Osobie badanej prezentowane s¡ bod¹ce, np. zdj¦cia ró»nych kobiet. Zostaje ona tak»e poinformowana, »e jedno z tych zdj¦¢ b¦dzie zdj¦ciem jej matki oraz »e ma je odna- le¹¢ w zbiorze kolejno pokazywanych zdj¦¢. Podczas pomiaru odpowiedzi elektrycznej mózgu, na skutek pojawienia si¦ oczekiwanego bod¹ca w zapisie sygnaªu, po okoªo 300 ms po jego wyst¡pieniu mo»na zaobserwowa¢ wzrost amplitudy sygnaªu (rysunek 4.2). Czas odpowiedzi i amplituda mog¡ ró»ni¢ si¦ w zale»no±ci od parametrów bod¹ca oraz stanu skupienia osoby badanej. Bodziec nie musi by¢ wzrokowy, mo»e dotyczy¢

innych zmysªów, takich jak sªuch czy dotyk. Potencjaª ten najsilniej uwidacznia si¦ w odprowadzeniu ±rodkowym, szczególnie w okolicy elektrody Cz.

Rysunek 4.2: Potencjaª P300 uzyskany w badaniach wªasnych autora

Zjawisko to znajduje swoje zastosowanie w interfejsach mózg-komputer. U»yt- kownik obserwuje tablic¦ tak¡ jak na rysunku 4.3. Linie liter s¡ losowo pod±wietlane (w pionie i poziomie). W momencie, gdy oczekiwane pole, na którym u»ytkownik skupia swoj¡ uwag¦ zostaje pod±wietlone, po okoªo 300 ms w sygnale powinno zosta¢

zaobserwowane opisywane zjawisko. Obserwacja potencjaªu P300 w pojedynczym po-

miarze mo»e okaza¢ si¦ niemo»liwa, dlatego badana osoba kilkukrotnie skupia uwag¦

4. ANALIZA WŠA‘CIWO‘CI I PRZETWARZANIE SYGNAŠÓW BIOELEKTRYCZNYCH WYKORZYSTYWANYCH W INTERFEJSACH MÓZG-KOMPUTER

na wybranym bod¹cu, a wyniki kolejnych pomiarów u±rednia si¦ (osobno dla pionu i poziomu). Litera, o której my±li osoba badana, znajduje si¦ na przeci¦ciu dwóch wybranych przez interfejs linii.

Rysunek 4.3: Wirtualna klawiatura wykorzystywana w interefejsach mózg-komputer [37]

4.2.2. Potencjaªy zwi¡zane z wyobra»eniem ruchu

Potencjaªy zwi¡zane z wyobra»eniem ruchu ª¡cz¡ si¦ bezpo±rednio z desynchroniza- cj¡ i synchronizacj¡ zwi¡zan¡ z bod¹cem ERD/ERS (Event-Related Desynchroniza- tion/Synchronization). ERD to zmniejszenie a ERS to zwi¦kszenie stosunku ±redniej mocy sygnaªu w danym pa±mie cz¦stotliwo±ci po wyst¡pieniu bod¹ca do ±redniej mocy sygnaªu w danym pa±mie cz¦stotliwo±ci, kiedy bodziec nie wyst¡piª [81, 83, 84].

Zjawiska synchronizacji i desynchronizacji mo»na obserwowa¢ w okolicach kory motorycznej (mi¦dzy innymi s¡ to okolice elektrod C3, C4 i Cz) podczas wykonywania, ale tak»e i wyobra»ania ruchu ko«czynami oraz j¦zykiem. Wiedza dotycz¡ca anatomii mózgu pozwala stwierdzi¢, który jego obszar odpowiedzialny jest za ruchy r¦koma (obszary te mo»na wskaza¢ jednoznacznie), a który za ruchy nogami. Niestety, w tym drugim przypadku obszary te s¡ zlokalizowane tak blisko siebie, »e nie mo»na wyró»ni¢

ruchu wyobra»onego dan¡ ko«czyn¡, a jedynie nog¡ w ogóle [83, 84].

Interfejsy mózg-komputer wykorzystuj¡ce to zjawisko s¡ najtrudniejsze w opraco- waniu, poniewa»:

• u»ytkownik musi nauczy¢ si¦ wyobra»a¢ sobie ruch,

• wyst¦puje maªa warto±¢ stosunku sygnaªu do szumu synchronizacji i desynchro- nizacji sygnaªu, co wymaga wielu powtórze« danego wyobra»enia,

• potencjaªy wymagaj¡ skomplikowanej analizy sygnaªu, zarówno w dziedzinie cza- su, jak i cz¦stotliwo±ci.

Przykªadem interfejsu wykorzystuj¡cego opisywane zjawisko jest interfejs, w którym steruje si¦ kursorem na ekranie komputera lub wózkiem inwalidzkim. Wyobra»enie ruchu praw¡ r¦k¡ powoduje, »e wózek skr¦ca w praw¡ stron¦, ruchu lew¡ r¦k¡ powoduje,

»e wózek skr¦ca w lew¡ stron¦, a wyobra»ony ruch stop¡ - jazd¦ do przodu.

4.2.3. Wolne potencjaªy korowe

Innym typem zjawisk mog¡cych mie¢ zastosowanie w interfejsach mózg-komputer s¡

tzw. wolne potencjaªy korowe SCP (Slow Cortical Potentials), ale nie s¡ one tak cz¦sto wykorzystywane jak inne opisywane tu paradygmaty [59]. SCP to bardzo powolne zmiany aktywno±ci mózgowej, o cz¦stotliwo±ciach z zakresu od 1 do 2 Hz i pojawiaj¡ce si¦ od 0,3 do 10 sekund po wydarzeniu. Ujemne wolne potencjaªy korowe zwi¡zane s¡

z obni»eniem progu pobudliwo±ci neuronów (nasilenie aktywno±ci mózgu), natomiast dodatnie - z jego podwy»szeniem (hamowanie aktywno±ci neuronów opracowuj¡cych ró»ne informacje) [12]. Przez trening ze sprz¦»eniem zwrotnym niektóre osoby s¡ w stanie nauczy¢ si¦ kontrolowa¢ te potencjaªy i za ich pomoc¡ porusza¢ kursorem na ekranie komputera [31, 78].

4.2.4. Wzrokowe potencjaªy wywoªane stanu ustalonego

Jednym z najprostszych zjawisk wykorzystywanych w interfejsach mózg-komputer s¡

wzrokowe potencjaªy wywoªane stanu ustalonego SSVEP (Steady State Visual Evoked

Potentials). SSVP to spontaniczna, elektryczna reakcja mózgu na percepcj¦ migaj¡-

cego obiektu. Je±li badana osoba obserwuje np. migaj¡c¡ diod¦ LED b¡d¹ monitor,

na którym pojawia si¦ krótkotrwaªy bodziec migaj¡cy z okre±lon¡ cz¦stotliwo±ci¡, to

cz¦stotliwo±¢ ta (wraz z harmonicznymi) b¦dzie dominuj¡ca w sygnale mierzonym

znad kory wzrokowej. Na rysunku 4.4 przedstawiono sygnaª pozyskany pod-

czas bada« wªasnych autora w efekcie stymulacji bod¹cem migaj¡cym z

cz¦stotliwo±ci¡ 14 Hz.

4. ANALIZA WŠA‘CIWO‘CI I PRZETWARZANIE SYGNAŠÓW BIOELEKTRYCZNYCH WYKORZYSTYWANYCH W INTERFEJSACH MÓZG-KOMPUTER

Rysunek 4.4: Sygnaª pozyskany podczas bada« wªasnych autora (efekt stymulacji bod¹cem migaj¡cym z cz¦stotliwo±ci¡ 14 Hz)

Wykorzystanie zjawiska SSVEP w interfejsach mózg-komputer jest bardzo cz¦sto stosowane. W sytuacji, kiedy bod¹ców na ekranie (lub migaj¡cych diod) jest wi¦cej i ka»dy pulsuje z inn¡ cz¦stotliwo±ci¡, mo»na stwierdzi¢, na który z obiektów patrzy badana osoba. Pozwala to na utworzenie bardzo du»ej liczby ró»nych bod¹ców, a nawet peªnej klawiatury QWERTY [45].

Przykªadami bod¹ców dla interfejsów bazuj¡cych na SSVEP mog¡ by¢:

• promieniowanie emitowane przez diody LED [71],

• migaj¡ce na ekranie pola, np. kwadraty [34],

• migaj¡ce na ekranie szachownice (lub inne, podobne ksztaªty) [25],

• poª¡czenie diod LED i monitora LCD [60].

Zagadnienie to zostaªo rozwini¦te w rozdziale 4.4.

4.3. Synchroniczne i asynchroniczne interfejsy mózg-komputer

Interfejsy mózg-komputer mo»na tak»e podzieli¢ na interfejsy synchroniczne i asyn-

chroniczne. Interfejs synchroniczny to taki, który zna moment zaistnienia konkretnego

bod¹ca i w czasie po jego wyst¡pieniu analizuje zebrany z mózgu sygnaª. Dziaªanie

takiego interfejsu zwykle polega na wykryciu w sygnale potencjaªu wywoªanego (np.

P300). Takie interfejsy uwa»ane s¡ za prostsze w wykonaniu, z uwagi na zastosowanie mniej skomplikowanych algorytmów przetwarzania sygnaªu i jego klasykacji [59].

Interfejsy asynchroniczne to takie, w których komputer sam wykrywa moment zaistnienia charakterystycznego zjawiska w sygnale. Takie interfejsy pozwalaj¡ u»yt- kownikowi na zamierzone przerwy, które komputer tak»e powinien samodzielnie wy- kry¢. Uwa»ane s¡ za bardziej skomplikowane, poniewa» sygnaª musi by¢ analizowany w sposób ci¡gªy [59].

4.4. Bod¹ce w badaniach zwi¡zanych z SSVEP

W zale»no±ci od barwy, cz¦stotliwo±ci stymulacji, wielko±ci sygnaªu steruj¡cego bod¹- cem oraz osoby badanej warto±ci amplitudy sygnaªu dominuj¡cego mog¡ si¦ znacznie ró»ni¢. Bodziec wykorzystywany w interfejsach mózg-komputer powinien by¢ rozpo- znawany mo»liwie bezbª¦dnie oraz jak najszybciej. W celu wyboru najlepszych para- metrów bod¹ca, czyli takich, które pozwalaj¡ na rozpoznanie ich z najwy»sz¡ skutecz- no±ci¡, zwykle u»ywa si¦ warto±ci stosunku sygnaªu do szumu SNR (Signal-to-Noise Ratio).

Pierwszym wa»nym aspektem projektowania interfejsu mózg-komputer wykorzy- stuj¡cego SSVEP jest dobór odpowiedniej cz¦stotliwo±ci stymulacji wzrokowej. Uwa»a si¦, »e im wi¦ksza warto±¢ stosunku sygnaªu do szumu, tym wi¦ksza skuteczno±¢ roz- poznania bod¹ca przez algorytmy sztucznej inteligencji. W wielu publikacjach przed- stawiono zale»no±ci SNR od cz¦stotliwo±ci migania bod¹ca [25, 27, 65, 80, 86, 105].

Rezultaty te uzyskano podczas bada« polegaj¡cych na prezentacji osobom badanym bod¹ców migaj¡cych z ró»nymi cz¦stotliwo±ciami. Wszystkie otrzymane wyniki w znacznym stopniu pokrywaj¡ si¦. Najbardziej wiarygodn¡ charakterystyk¦ przedsta- wiono na rysunku 4.5. Mo»na przyj¡¢, »e ludzki mózg najsilniej reaguje na bod¹ce migaj¡ce z cz¦stotliwo±ci¡ okoªo 15 Hz.

Innym aspektem branym pod uwag¦ podczas projektowania bod¹ca jest jego bar- wa. W przypadku próby wyboru najlepszej barwy stymulacji, wyniki bada« nie s¡ ju»

tak zgodne jak w przypadku wyboru cz¦stotliwo±ci. W tabeli 4.1 zestawiono wyniki

bada« dotycz¡cych SSVEP, w których analizowano barwy bod¹ców. Kolor byª dobie-

rany ze wzgl¦du na ró»ne czynniki: komfort osoby badanej, skuteczno±¢ klasykacji,

warto±ci amplitudy sygnaªu b¡d¹ stosunku sygnaªu do szumu.

4. ANALIZA WŠA‘CIWO‘CI I PRZETWARZANIE SYGNAŠÓW BIOELEKTRYCZNYCH WYKORZYSTYWANYCH W INTERFEJSACH MÓZG-KOMPUTER

Rysunek 4.5: ‘rednia warto±¢ amplitudy sygnaªu w badaniu SSVEP w zale»no±ci od cz¦stotliwo±ci stymulacji [80]

Z tabeli 4.1 wynika, »e najcz¦±ciej wybieranymi barwami s¡: barwa biaªa (cztero- krotnie) oraz zielona i niebieska (trzykrotnie).

Niektóre badania [20, 21] sugeruj¡, »e bodziec nie powinien by¢ jednobarwny lecz dwubarwny. We wspomnianych publikacjach udowodniono, »e zastosowanie bod¹ców zielono-niebieskich poprawia dziaªanie interfejsu mózg-komputer oraz jest przyjazne dla u»ytkownika (nie powoduje dyskomfortu).

Komfort u»ytkownika jest rzadko analizowanym czynnikiem. Jest on szczególnie istotny podczas projektowania komercyjnych rozwi¡za«. Analiza komfortu dotyczy zwykle cz¦stotliwo±ci migania bod¹ca. Za bardziej komfortowy uwa»any jest taki, który miga z cz¦stotliwo±ci¡ znacz¡co powy»ej 40 Hz, poniewa» miganie to ludzkie oko rozpoznaje jako ±wiatªo ci¡gle, które z natury jest mniej m¦cz¡ce.

Zdaniem autora niniejszej pracy istotny wydaje si¦ tak»e komfort, jaki mo»e zapewni¢ barwa bod¹ca. We wcze±niej prowadzonych próbach [93]

za najbardziej komfortow¡ osoby badane uznaªy barw¦ »óªt¡, a w dalszej kolejno±ci zielon¡, niebiesk¡ i czerwon¡. Trudno jednoznacznie okre±li¢ jedn¡ uniwersaln¡ barw¦

bod¹ca, gdy» komfort ogl¡dania danej barwy jest spraw¡ indywidualn¡ i zale»y od preferencji u»ytkownika.

Od tego, jaki sygnaª zostanie wykorzystany do sterowania bod¹cem zale»y wyst¡-

pienie ewentualnych harmonicznych i ich amplituda w sygnale mierzonym. Zwykle wykorzystywane s¡ sygnaªy: prostok¡tny (o ró»nym stopniu wypeªnienia), sinusoidal- ny oraz piªoksztaªtny. Nie jest te» jednoznaczne, który typ sygnaªu powoduje silniejsz¡

reakcj¦ mózgu: sinusoidalny [106] czy prostok¡tny z 50%-owym wypeªnieniem [28, 96].

Tabela 4.1: Zestawienie wyników bada« dotycz¡cych oceny barwy bod¹ca SSVEP

™ródªo danych Analizowane barwy Wybrane barwy

[17] biaªa, czerwona, niebieska biaªa, niebieska [18] biaªa, czerwona, niebieska biaªa, niebieska [32] biaªa, »óªta, czerwona, zielona, niebieska brak decyzji [33] biaªa, szara, czerwona, zielona, niebieska biaªa, szara [38] biaªa, »óªta, czerwona, zielona, niebieska biaªa, »óªta

[73] czerwona, zielona, niebieska zielona

[74] czerwona, zielona, niebieska zielona

[90] oletowa, czerwona, zielona, niebieska oletowa [94] »óªta, czerwona, zielona, niebieska zielona, niebieska [85] »óªta, czerwona, niebieska niebieska, czerwona

Istotnym czynnikiem jest tak»e wielko±¢ migaj¡cego pola. Dotychczasowe badania [27, 38, 109] wskazuj¡, »e im wi¦kszy jest bodziec, tym silniejsza jest reakcja mózgu. Z drugiej strony im wi¦kszy jest pojedynczy bodziec, tym mniej takich elementów zmie-

±ci si¦ w polu wzrokowym, a idea interfejsów mózg-komputer zakªada, »e u»ytkownik nie porusza gªow¡. Ponadto du»e migaj¡ce pola mog¡ by¢ m¦cz¡ce dla u»ytkownika.

Nie mo»na tak»e jednoznacznie okre±li¢ jak powinien wygl¡da¢ bodziec. Istnieje wiele propozycji, które zaprezentowano na rysunku 4.6. Mog¡ by¢ nimi: diody LED zamontowane na specjalnych goglach (A), fotostymulatory z diodami LED (B), obrazy wy±wietlane na ekranie komputera: kombinacja ró»nych obrazów (C0), jednobarwny kwadrat (C1), szachownica (C2), rysunek lub zdj¦cie (C3), migaj¡cy szum gaussowski (C4), kwadrat zmieniaj¡cy odcienie - modulowany sinusoidalnie np. pomi¦dzy barw¡

biaª¡ a czarn¡ (C5), obracaj¡ce si¦ szachownice (C6), dwubarwne pasy pionowe lub

poziome (C7).

4. ANALIZA WŠA‘CIWO‘CI I PRZETWARZANIE SYGNAŠÓW BIOELEKTRYCZNYCH WYKORZYSTYWANYCH W INTERFEJSACH MÓZG-KOMPUTER

Rysunek 4.6: Ró»ne typy bod¹ców wykorzytywanych w badaniach SSVEP [14]

4.5. Miary oceny jako±ci bod¹ców

W tym rozdziale szczególn¡ uwag¦ po±wiecono bod¹com stosowanym w interfejsach

wykorzystuj¡cych paradygmat SSVEP. Wedªug autora niniejszej pracy mo»na

wyró»ni¢ trzy podstawowe miary oceny jako±ci bod¹ców wykorzystywa-

nych w interfejsach mózg-komputer: skuteczno±¢ klasykacji, stosunek sy-

gnaªu do szumu oraz tak zwany wspóªczynnik ITR (Information Transfer Rate).

Skuteczno±¢ klasykacji

Klasykacja to poj¦cie zwi¡zane ze statystyk¡ lub uczeniem maszynowym. Klasy- kacja to "systematyczny podziaª czego± (przedmiotów lub zjawisk) na klasy, dziaªy, poddziaªy itp. wedªug okre±lonej zasady" [9]. Skuteczno±¢ klasykacji to jej ocena wyra»ona w procentach, gdzie 100% skuteczno±ci to klasykacja bezbª¦dna, lub w warto±ciach w zakresie od 0 do 1, gdzie 1 to klasykacja bezbª¦dna. Jest ona okre±lona jako iloraz liczby wszystkich poprawnie zaklasykowanych zdarze« (bod¹ców) i liczby wszystkich mo»liwych prób.

S = C

N · 100[%] (4.1)

gdzie:

S − skuteczno±¢ wyra»ona w procentach, C − liczba poprawnych rozpozna«,

N − liczba wszystkich elementów poddanych rozpoznaniu (poprawnie i niepoprawnie sklasykowanych).

Wspóªczynnik okre±laj¡cy stosunek sygnaªu do szumu

Wspóªczynnik SNR wyra»a stosunek zawarto±ci sygnaªu u»ytecznego w zadanym pa-

±mie cz¦stotliwo±ciowym do mocy szumów w tym samym pa±mie. Na potrzeby inter- fejsów mózg-komputer deniuje si¦ go nast¦puj¡co [60, 66, 99, 100]:

SN R(f ) = n

P (f ) P

i=1

(P (f + i∆f ) + P (f − i∆f ))

[−] (4.2)

gdzie:

P (f ) − warto±¢ pr¡»ka cz¦stotliwo±ci sygnaªu u»ytecznego, n

− liczba analizowanych s¡siednich pr¡»ków widma,

∆f − odlegªo±¢ pomi¦dzy kolejnymi pr¡»kami widma,

P (f + i∆f ) − pr¡»ek widma s¡siedni do pr¡»ka widma P (f).

Wspóªczynnik SNR wyznacza si¦ dla warto±ci mocy pr¡»ka cz¦stotliwo±ci sygnaªu

u»ytecznego i jego najbli»szego s¡siedztwa. W literaturze zwykle wykorzystuje si¦ 6

s¡siednich pr¡»ków [60, 99, 100].

4. ANALIZA WŠA‘CIWO‘CI I PRZETWARZANIE SYGNAŠÓW BIOELEKTRYCZNYCH WYKORZYSTYWANYCH W INTERFEJSACH MÓZG-KOMPUTER

Wspóªczynnik ITR

Wspóªczynnik ITR stosuje si¦ do ogólnej oceny jako±ci interfejsów mózg-komputer.

Okre±la on szybko±¢ transferu informacji w interfejsie. Im wi¦ksza jego warto±¢, tym lepiej. Wspóªczynnik ten jest powszechnie wykorzystywany do porównywania szybko-

±ci dziaªania i skuteczno±ci rozpoznania klasy ró»nych interfejsów [36, 62, 102, 103].

Wyznacza si¦ go w bitach na rozpoznany znak lub w bitach na minut¦, zgodnie ze wzorem:

IT R =



log

N

+ S log

S + (1 − S) log

 1 − S N

− 1

  bit znak



(4.3) lub:

IT R = 60 T



log

N

+ S log

S + (1 − S) log

 1 − S N

− 1

  bit min



(4.4) gdzie:

N

− liczba bod¹ców,

S − skuteczno±¢ klasykacji,

T

− czas na dokonanie wyboru (klasykacj¦), który wyra»ony jest w sekundach.

4.6. Metody przetwarzania sygnaªu

4.6.1. Przetwarzanie sygnaªów w dziedzinie cz¦stotliwo±ci

Metody przetwarzania sygnaªów na potrzeby interfejsów mózg-komputer wykorzystu- j¡cych zjawisko SSVEP mo»na podzieli¢ odpowiednio na metody w dziedzinie czasu lub cz¦stotliwo±ci. Obecnie metody wykorzystuj¡ce dziedzin¦ czasu s¡ cz¦±ciej stoso- wane.

W przypadku interfejsów wykorzystuj¡cych SSVEP analiza sygnaªów w dziedzinie cz¦stotliwo±ci wydaje si¦ intuicyjna. Do czasu "spopularyzowania" analizy w dziedzi- nie czasu, analiza widma sygnaªu byªa najcz¦±ciej wykorzystywana w tych systemach.

Przykªad schematu przetwarzania sygnaªu przedstawiono w uproszczeniu na rysunku 4.7. Opisywane metody opieraj¡ si¦ na wykorzystaniu szybkiej transformaty Fouriera FFT (Fast Fourier Transform).

Po dokonaniu akwizycji danych, sygnaª jest poddawany procesowi ltracji. Usuwa

si¦ skªadow¡ staª¡, skªadow¡ sieciow¡ oraz ni»sze warto±ci cz¦stotliwo±ci (mniejsze

od cz¦stotliwo±ci stymulacji). W zale»no±ci od przyj¦tych zaªo»e« analizowany zbiór danych jest poddawany FFT. Nast¦pnie wyznacza si¦ widmow¡ g¦sto±¢ mocy PSD (Power Spectral Density). Do klasykatora podawane s¡ zwykle warto±ci pr¡»ków odpowiadaj¡cych cz¦stotliwo±ci stymulacji oraz ich harmoniczne, których wykorzy- stywana liczba tak»e zale»y od przyj¦tych zaªo»e«. W wi¦kszo±ci bada« przetwarzanie sygnaªu odbywa si¦ podobnie, natomiast zmienia si¦ metoda klasykacji. Zwykle do klasykacji wykorzystywana jest liniowa analiza dyskryminacyjna LDA (Linear Di- scriminant Analysis) [58, 61, 63], ale równie cz¦sto stosuje si¦ klasykator progowy [26, 39, 79]. Niekiedy wykorzystywane s¡ tak»e inne metody oparte o testy statystycz- ne, np. test F [75] lub takie, które poza LDA wykorzystuj¡ algorytmy wspomagaj¡ce klasykacj¦, np. DSLVQ (Distinction Sensitive Learning Vector Quantization) [76]

czy separacj¦ dwuliniow¡ [50].

Rysunek 4.7: Przykªadowy schemat przetwarzania sygnaªu w dziedzinie

cz¦stotliwo±ci [35]

4. ANALIZA WŠA‘CIWO‘CI I PRZETWARZANIE SYGNAŠÓW BIOELEKTRYCZNYCH WYKORZYSTYWANYCH W INTERFEJSACH MÓZG-KOMPUTER

Wykorzystanie tych metod ma pewne wady, którymi s¡ przede wszystkim podat- no±¢ na zakªócenia oraz stosunkowo du»e okno czasowe (powy»ej 3 s) [67, 111]. Jeszcze kilka lat temu wad¡ mogªa by¢ tak»e du»a zªo»ono±¢ obliczeniowa potrzebna do wy- znaczenia FFT, jednak wedªug autora, bior¡c pod uwag¦ parametry wspóªczesnych komputerów, nie ma to obecnie znaczenia.

4.6.2. Przetwarzanie sygnaªów w dziedzinie czasu

Wykorzystanie analizy korelacji kanonicznych CCA (Canonical Correlation Analysis) jest obecnie najcz¦±ciej stosowan¡ metod¡ przetwarzania sygnaªu w dziedzinie czasu.

W roku 2007 [57, 67] po raz pierwszy zaprezentowano wykorzystanie tego algorytmu w przetwarzaniu sygnaªu EEG na potrzeby interfejsu mózg-komputer. Schemat blokowy tej metody zaprezentowano na rysunku 4.8.

Rysunek 4.8: Przetwarzanie sygnaªu w dziedzinie czasu z wykorzystaniem analizy korelacji kanonicznych [29]

Po akwizycji wielokanaªowy sygnaª jest ltrowany w zale»no±ci od zaªo»e«. Ponad- to, tworzone s¡ sygnaªy referencyjne. Ich liczba stanowi wielokrotno±¢ liczby bod¹ców.

Dla jednego bod¹ca tworzone s¡ minimalnie dwa sygnaªy referencyjne, po jednym sinu-

soidalnym i kosinusoidalnym o cz¦stotliwo±ci takiej jak cz¦stotliwo±¢ migania danego

bod¹ca. W zale»no±ci od potrzeb tworzone s¡ sygnaªy referencyjne z kolejnymi har-

monicznymi. Nast¦pnie dla ka»dej grupy sygnaªów referencyjnych oraz zmierzonych

wyznaczany jest wspóªczynnik korelacji. Cz¦stotliwo±¢ podstawowa sygnaªów referen-

cyjnych, które najbardziej koreluj¡ z sygnaªem mierzonym, wyznacza cz¦stotliwo±¢ z jak¡ miga bodziec, na który patrzy osoba badana.

Metoda CCA doczekaªa si¦ wielu wariantów, modykacji i udoskonale«, np. MsetC- CA [111, 112], MwayCCA [112, 113], L1-MCCA [111], LASSO [95, 110]. Wszystkie badania wskazuj¡, »e stosowanie CCA lub jej wariantów zapewnia lepsz¡ klasykacj¦

bod¹ca ni» metody operuj¡ce w dziedzinie cz¦stotliwo±ci [29, 42, 67, 95, 113].

Inn¡, mniej popularn¡ metod¡, jest zmodykowana kwadraturowa demodulacja amplitudowa QAD (Quadrature Amplitude Demodulation). Podstawowy wariant tej metody wykorzystuje si¦ w telekomunikacji do demodulacji sygnaªu.

Natomiast w pracach [24, 25, 69, 70] zostaªa zaproponowana modykacja tej me- tody tak, aby mo»na j¡ wykorzysta¢ w interfejsach mózg-komputer. Schemat prze- twarzania sygnaªu w tej metodzie przedstawiono na rysunku 4.9.

Rysunek 4.9: Przetwarzanie sygnaªu w dziedzinie czasu z wykorzystaniem zmodykowanej kwadraturowej demodulacji amplitudowej [69]

Za pomoc¡ algorytmu ±lepej separacji sygnaªów (autorzy proponuj¡ algorytm AMUSE), sygnaªy z m kanaªów pomiarowych s¡ najpierw poddawane wst¦pnej ob- róbce. Nast¦pnie przekazywane s¡ do zestawu ltrów cyfrowych. Wykorzystanie N

bod¹ców wymaga u»ycia takiej samej liczby ltrów. S¡ to ltry pasmowoprzepusowe o bardzo w¡skim pa±mie f

± 0, 5 Hz, gdzie f

to cz¦stotliwo±¢ migania kolejnych bod¹- ców. Przemno»enie liczby kanaªów pomiarowych przez liczb¦ ltrów daje m · N

dalej przetwarzanych sygnaªów. Nast¦pnie jest wyznaczana i normalizowana warto±¢ mocy sygnaªu ka»dego kanaªu pomiarowego. Tak przetworzone dane sygnaªu przekazywane s¡ do klasykatora.

Metody przedstawione w tym rozdziale s¡ cz¦±ciej stosowane, poniewa» pozwalaj¡

na szybsze wykrycie pojawienia si¦ bod¹ca (w czasie krótszym ni» 3 s), wymagaj¡

mniej zasobów obliczeniowych, s¡ mniej podatne na zakªócenia oraz umo»liwiaj¡ "ko-

dowanie" bod¹ca nie tylko za pomoc¡ cz¦stotliwo±ci, ale te» i fazy.

5. WYKONANE BADANIA EKSPERYMENTALNE

5. Wykonane badania eksperymentalne

5.1. Stanowisko pomiarowe i zakres bada«

Specjalnie na potrzeby niniejszej pracy zostaªo opracowane stanowisko, którego ogólny schemat przedstawiono na rysunku 5.1. Na stanowisko skªa- daj¡ si¦ nast¦puj¡ce podstawowe elementy [51, 52]:

• elektroencefalograf,

• czepek pomiarowy z elektrodami,

• fotostymulator (zªo»ony z matrycy diod LED, mikroprocesora i zestawu ukªadów scalonych TLC5940),

• komputer z autorskim oprogramowaniem.

Rysunek 5.1: Schemat blokowy opracowanego stanowiska pomiarowego

Elektroencefalograf

Zastosowano zaprezentowane na rysunku 5.2 urz¡dzenie OpenBCI v3 [11], wykorzy- stuj¡ce 8-kanaªowy wzmacniacz ADS1299 rmy Texas Instruments, "specjalizuj¡cy si¦" w pomiarach biopotencjaªów [1], oraz 8-bitowy mikroprocesor steruj¡cy ATme- ga328P i 24-bitowy przetwornik analogowo-cyfrowy. Z komputerem urz¡dzenie ª¡czy si¦ i komunikuje za pomoc¡ protokoªu Bluetooth. Próbki w jednym kanale zbierane s¡ 250 razy na sekund¦.

Rysunek 5.2: Widok zastosowanego urz¡dzenia EEG (zdj¦cie wykonane przez autora pracy)

Czepek pomiarowy

W badaniach EEG zwykle stosuje si¦ czepki wykonane z rozci¡gliwego materiaªu, z poª¡czonych gumowych rurek lub z naklejanych na gªow¦ jednorazowych pasków z elektrodami. Czepek UltraCortex wykorzystywany przez autora jest nietypowy (rys.

5.3). W caªo±ci zostaª wykonany z plastiku i wydrukowany na drukarce 3D. Dzi¦ki temu jest wytrzymalszy oraz mo»na go stosowa¢ wielokrotnie. W przypadku uszkodzenia lub zu»ycia danego elementu mo»na go dodrukowa¢. Zarówno urz¡dzenie EEG, jak i czepek UltraCortex s¡ produkcji tej samej rmy OpenBCI [3, 11].

Uªo»enie elektrod na czepku jest zgodne ze standardem 10-20. Maksymalnie mo»-

na zamontowa¢ ich 21. Niew¡tpliw¡ zalet¡ czepka jest to, »e elektrody na czepku

5. WYKONANE BADANIA EKSPERYMENTALNE

montowane s¡ na staªe i nie ma potrzeby stosowania »elu przewodz¡cego. W celu dostosowania czepka do wielko±ci gªowy osoby badanej, elektrody wsuwaj¡ si¦ lub wysuwaj¡ tak, aby móc odpowiednio bardziej lub mniej przylega¢ do skóry gªowy.

Urz¡dzenie EEG montowane jest w tylnej cz¦±ci czepka, co znacz¡co zmniejsza liczb¦

i dªugo±¢ koniecznych przewodów.

Rysunek 5.3: Czepek wydrukowany na drukarce 3D (zdj¦cie wykonane przez autora pracy)

Fotostymulator

Fotostymulator zostaª w caªo±ci zaprojektowany i opracowany przez au- tora pracy na potrzeby niniejszych bada« (rysunek 5.4).

Fotostymulator skªada si¦ z 3 wyszczególnionych na rysunku gªównych bloków, którymi s¡:

• matryca diod LED RGB (1),

• mikroprocesor ATmega328P (2),

• zestaw ukªadów scalonych TLC5940 (3).

Matryca zawiera 16 diod LED RGB (oznaczenie: LL-509RGBC2E-004 [4]) o zakre-

sach ±wiatªo±ci barw podanych w tabeli 5.1. Poza trzema barwami podstawowymi diod

RGB, w badaniach wykorzystano tak»e dwie inne barwy, tj. »óªt¡ (przez poª¡czenie

barwy zielonej i czerwonej) oraz biaª¡ (przez poª¡czenie barwy zielonej, czerwonej i

»óªtej). Ka»da dioda zamkni¦ta jest w polu o wymiarach 35 mm na 35 mm. Dzi¦ki temu ka»de pole emituje tylko promieniowanie ±wietlne jednego bod¹ca.

Rysunek 5.4: Schemat blokowy wykonanego fotostymulatora i widok jego cz¦±ci skªadowych (na zdj¦ciu widoczny fragment czepka umieszczonego na gªowie autora

pracy)

Tabela 5.1: Zakresy warto±ci ±wiatªo±ci zwi¡zanych z okre±lon¡ barw¡

wykorzystanych diod LED [4]

Barwa emitowanego ±wiatªa Zakres ±wiatªo±ci [mcd]

Czerwona 350-600

Zielona 450-1000

Niebieska 250-500

Ka»da dioda sterowana jest za pomoc¡ modulowanych impulsów pr¡dowych PWM (Pulse-Width Modulation). Ukªad Arduino UNO, który z powodzeniem mo»e peªni¢

rol¦ kontrolera fotostymulatorów [20, 21, 72], ma tylko 6 wyj±¢ PWM. Dlatego wy- korzystano 4 ukªady TLC 5940, co pozwoliªo na rozszerzenie liczby wyj±¢ PWM mi- kroprocesora do 64 (ka»dy ukªad po 16 wyj±¢ PWM). Zestaw steruj¡cy zostaª celowo

"przewymiarowany" tak, aby w przyszªo±ci mo»liwe byªo dalsze zwi¦kszanie liczby

wyj±¢ PWM, co pozwoli na zwi¦kszenie liczby obsªugiwanych bod¹ców.