Przeprowadzone w podrozdziale 6.2 testy offline pozwoliły na wybranie najlepszej metody detekcji SSVEP. Jest nią metoda LASSO wykorzystująca dwie elektrody pomiarowe oraz dwie krotności częstotliwości stymulacji. W celu przeprowadzenia testów w czasie rzeczywistym, zmodyfikowano opracowaną w podrozdziale 6.5 maszynę stanu zawartą w bloku MainController. Dodano funkcje odpowiedzialne za: rejestrację sygnałów przy pomocy urządzenia TruScan 24, sterowanie stymulatorem świetlnym, a także zaimplementowano algorytm LASSO. Modyfikacje bloku
MainController, które zostały wprowadzone przedstawiono na Rys. 6.20. Wprowadzone w stanie Running funkcje startLED(fStim) oraz stopLED realizują proces włączenia oraz wyłączenia stymulatora świetlnego. Do funkcji start(fStim) należy podać 4-ro elementowy wektor zawierający wartości częstotliwości stymulacji bodźców świetlnych, które wchodzą w skład stymulatora świetlnego. Wygląd zaprojektowanego stymulatora świetlnego został przedstawiony na Rys. 6.21. Składa się on z 4 bodźców świetlnych, z których każdy został zaprojektowany oraz wykonany według projektu zamieszczonego na Rys. D.1 (załącznik D). Stymulator zasilany jest przez zasilacz napięciowy o napięciu znamionowym 5V DC maksymalnym prądzie 6 A, co daje efektywną moc 30 W. Układ sterowany jest przy pomocy Arduino Mega. Do sterowania stymulatorem świetlnym z poziomu MATLABA potrzebna jest instalacja biblioteki Arduino.
Kolejną wprowadzoną modyfikacją w bloku MainController jest implementacja funkcji obsługujących włączenie oraz wyłączenie rejestracji sygnału EEG. Proces ten wykonywany jest przy pomocy funkcji startRec, znajdującej się w podstanie
DataRecStart, oraz funkcji stopRec w podstanie DataRecStop. W celu włączenia
rejestracji sygnału EEG wywoływana jest funkcja startRec, która przesyła przez port 5008 dane w protokole UDP. Wywołanie funkcji stopRec powoduje wyłączenie przesyłania pakietu danych. Z otrzymanego pakietu danych w formie struktury za pomocą funkcji dataRead odczytywane są pola z zapisem sygnału EEG oraz impedancji.
W podstanie FeatureExtraction została zaimplementowana funkcja lassoFun. Funkcja ta posiada trzy wejścia: x – sygnał EEG, fStim – wektor z użytymi częstotliwościami stymulacji oraz H – określająca liczbę krotności. Wektor fStim wykorzystywany jest w funkcji do zamodelowania zestawu sygnałów referencyjnych niezbędnych do wykonania analizy LASSO. Funkcja lassoFun zwraca wartość częstotliwości fLASSO SSVEP, wyznaczonej zgodnie z równaniem (6.21).
Rys. 6.21. Rzeczywisty widok skonstruowanego stymulatora świetlnego: a) widok z przodu, b) widok układu sterującego stymulatorem
Zmiana algorytmu detekcji parametrów charakterystycznych SSVEP wymagała również modyfikacji bloku Classification, który został przedstawiony na Rys. 6.22. W wyniku klasyfikacji częstotliwości na komendę sterującą, wywoływana jest odpowiednia funkcja, która wysyła komendę do robota LEGO Mindstorms NXT 2.0 oraz uruchamia animację obrazującą kierunek ruchu robota. Warto przypomnieć, że do komunikacji robota LEGO Mindstorms NXT 2.0 z komputerem wyposażonym w środowisko MATLABA niezbędne jest zainstalowanie RWTH - Mindstorms NXT
Toolbox. Po wysłaniu do robota komendy sterującej układ wywołuje funkcję robotWork, która zwraca wartość 1 gdy robot ukończył wykonywanie zadania.
Rys. 6.22. Podstan Classification
Ostatnim etapem określającym skuteczność klasyfikacji zaprojektowanego systemu BCI, było przeprowadzenie testów w czasie rzeczywistym. Testy te zostały przeprowadzone na 5 zdrowych osobach, których wzrok był poprawny lub skorygowany do poprawnego. Warto wspomnieć, że osoby te, nie uczestniczyły w eksperymentach przedstawionych w rozdziale 5.
Zadaniem każdej z osób było skupienie wzroku na wybranym bodźcu świetlnym stymulatora, któremu wcześniej została przypisana według Rys. 6.21a komenda sterująca. Podczas wyświetlanej animacji oraz ruchu robota każdorazowo badany proszony był o wypowiedzenie słowa „TAK” lub „NIE”, które oznaczały odpowiednio poprawną lub złą klasyfikację intencji użytkownika. W przypadku złej klasyfikacji osoby dodatkowo wypowiadały pożądany kierunek ruchu robota. Każda osoba wykonała po 20 powtórzeń dla każdej z użytych częstotliwości. Otrzymane wyniki dokładności klasyfikacji zostały przestawione w Tab. 6.6. Przedstawione wyniki pokazują, że średnia dokładność klasyfikacji zaprojektowanego systemu związana jest z wyborem częstotliwości stymulacji. Związane jest to z tym, że wyższe częstotliwości powodują powstawanie w mózgu odpowiedzi SSVEP o niższych wartościach amplitudy, w porównaniu z wartościami amplitudy uzyskanych dla zakresu niskich lub średnich częstotliwości. W przeprowadzonych testach systemu BCI w czasie rzeczywistym skupiono się na częstotliwościach z zakresu średnich oraz wysokich. Głównym powodem tego wyboru jest fakt, że wykorzystanie niskich częstotliwości nie jest komfortowe, ponieważ wywołuje szybkie zmęczenie lub irytację u użytkownika. Uzyskano średnią dokładność klasyfikacji w zakresie wysokich częstotliwości na poziomie 66.70% oraz 83.75 % w zakresie średnich częstotliwości.
Tab. 6.6 Wyniki dokładności klasyfikacji otrzymane dla testów przeprowadzonych w czasie rzeczywistym Użytkownik D [%] Średnia fp [Hz] 14.0 14.5 15.0 15.5 1 85 85 90 85 86.25 2 90 85 90 90 88.75 3 80 75 85 75 78.75 4 85 85 90 90 87.50 5 85 85 90 85 86.25 Średnia 85 83 89 85 85.50 20.0 20.5 21 21.5 1 80 80 85 85 82.50 2 85 85 80 80 82.50 3 75 75 85 80 78.75 4 85 85 85 80 83.75 5 85 80 80 85 82.50 Średnia 82 81 83 82 82.00 30 31.5 32 32.5 1 70 70 70 65 68.75 2 65 55 65 65 62.50 3 70 65 65 55 63.75 4 75 70 70 70 71.25 5 75 70 70 55 67.50 Średnia 71 66 68 62 66.70
7 Uwagi końcowe i wnioski
Głównym celem badawczym niniejszej rozprawy doktorskiej było opracowanie takich algorytmów przetwarzania sygnałów biologicznych, które pozwolą na wyodrębnienie z sygnału elektroencefalograficznego parametrów charakterystycznych, mogących posłużyć do sterowania w interfejsach mózg - komputer. W pracy skupiono się na analizie oraz detekcji parametrów charakterystycznych wzrokowych potencjałów wywołanych stanu ustalonego ( SSVEP), powstających w mózgu pod wpływem stymulacji siatkówki bodźcem świetlnym o częstotliwości powyżej 6 Hz.
Postawiono następujące cele badawcze:
cel I: zbadanie wpływu oddziaływania bodźcem świetlnym o różnych parametrach (tj.: rodzaj urządzenia emitującego światło, kolor, realizacja jasności matrycy LED, wyświetlane wzory) na powstające w mózgu wzrokowe potencjały wywołane,
cel II: opracowanie układu wykorzystującego parametry charakterystyczne sygnału elektroencefalograficznego do sterowania wybranym urządzeniem wyjściowym,
oraz sformułowano tezę:
możliwe jest wykorzystanie sygnału elektroencefalograficznego jako sygnału sterującego w interfejsie mózg – komputer.
Poniżej przedstawiono wnioski wynikające z założonego celu I (wnioski I) oraz celu II (wnioski II).