Budowa prostego okulografu

Do niedawna istotnym problemem w dostępności gotowych rozwiązań okulo-graficznych była ich cena rynkowa. Koszt systemów eyetrackingowych oferowanych przez wiodących producentów w branży potrafił przekroczyć nawet 20 tysięcy eu-ro [Sen09, Tob09]. Przy czym należy zwrócić uwagę, że znaczący udział w tej cenie przypada na wartość badań prowadzących do powstania produktu, a nie samych technicznych elementów służących do budowy urządzenia. Z tego powodu podję-to próbę budowy prostego systemu okulograficznego opartego na łatwo dostępnych komponentach, którego łączny koszt budowy nie powinien przekroczyć kwoty 50 eu-ro. W ten sposób zaproponowano, opracowany przy współudziale autora niniejszej rozprawy, system nazwany DIY (ang. Do It Yourself ) [MKNB12].

System DIY jest implementacją idei jednoocznego eye trackera mobilnego, a więc noszonego przez użytkownika na głowie, ale przeznaczonego do użytkowania z ekranem komputerowym. Z racji umieszczenia kamery w pobliżu oka, możliwe jest użycie kamery o niewygórowanych własnościach technicznych. W celu ogranicze-nia kosztów problem ruchów głowy względem ekranu został całkowicie pominięty, ograniczając użytkowanie tylko do takich sytuacji, w których orientacja i położenie głowy badanej osoby nie zmieniają się. Tym samym konieczne jest użycie fizycznego stabilizatora głowy w postaci np. podbródka (ang. chinrest, zob. Rys. 2.5).

Porównanie jakości danych dostarczanych przez system okulograficzny DIY z roz-wiązaniem dostępnym na rynku przedstawiono w Rozdziale 2.2. Poniżej natomiast opisano budowę i sposób działania proponowanego rozwiązania.

Rysunek 2.6: Urządzenie DIY zostało zbudowane na bazie okularów ochronnych oraz elementów dostępnej na rynku kamery internetowej.

Urządzenie DIY składa się z dwóch podstawowych części (zob. Rys. 2.6): ramy, którą stanowi zmodyfikowana oprawa okularów ochronnych oraz modułu obrazują-cego, który jest do niej przymocowany.

2.1.5.1 Moduł obrazujący

Podstawą modułu obrazującego jest kamera służąca do rejestrowania obrazu oka użytkownika z niewielkiej odległości (ok. 5 cm w przypadku omawianego rozwiąza-nia). W celu ograniczenia kosztów i użycia elementów, które są powszechnie dostęp-ne, omawiane urządzenie oparto na kamerze internetowej Microsoft Lifecam VX-1000 (zob. Rys. 2.7). Po usunięciu jej obudowy dokonano jednak kilku modyfikacji.

Kamera VX-1000 jest w stanie dostarczać poprzez interfejs USB 2.0 obraz z czę-stotliwością 30 klatek na sekundę, obraz rejestrowany jest przez sensor CMOS o roz-dzielczości 640×480 pikseli (0.31 megapikseli). Taki rozmiar obrazu jest wystarczają-cy do prewystarczają-cyzyjnego odnalezienia położenia środka źreniwystarczają-cy, gdy obraz oka z założenia wypełnia dużą część kadru, co ma miejsce w przypadku tak bliskiego umieszcze-nia kamery przy kącie widzeumieszcze-nia obiektywu zbliżonym do 55^◦ (por. Rys. 2.8). Prze-twornik kamery swoją czułością pokrywa oprócz światła widzialnego także bliską podczerwień, jednak ta została zablokowana poprzez wbudowany w obiektyw filtr podczerwieni. Jako że celem wykorzystania kamery jest praca w tej części spek-trum światła, filtr ten został usunięty i zastąpiono go filtrem światła widzialnego przepuszczającym podczerwień. Tenże, dostatecznej jakości, uzyskano z wywołanego filmu fotograficznego.

Aby doświetlić oko i uzyskać wysoki kontrast na granicy źrenicy i tęczówki, który pozwoli na łatwe wykrycie położenia źrenicy, moduł obrazujący wyposażono w diody LED emitujące światło podczerwone. W celu uzyskania równomiernego oświetlenia i uniknięcia nadmiernych rozbłysków w powierzchni rogówki, użyto trzech diod ota-czających obiektyw kamery. Diody, połączone szeregowo z rezystorem 22 Ω, zasilane

Rysunek 2.7: Moduł obrazujący urządzenia DIY. Na aluminiowym pręcie zamonto-wano pozbawioną obudowy, zmodyfikowaną kamerę internetową Microsoft Lifecam VX-1000.

Rysunek 2.8: Przykładowy obraz zarejestrowany przez kamerę skierowaną na oko użytkownika eye trackera DIY. Oko wypełnia dużą część kadru, przez co możliwe jest precyzyjne znalezienie środka źrenicy. Widoczne są trzy odbicia rogówkowe pod-czerwonych diod doświetlających oko. Przez źrenicę widoczny jest zacieniony obszar siatkówki, przez co mamy do czynienia ze zjawiskiem dark pupil ułatwiającym od-nalezienie źrenicy.

są napięciem 5 V z tego samego źródła, co kamera: z przewodu USB.

Każdą z zastosowanych w module obrazującym diod emitujących światło pod-czerwone, cechuje moc emisji na szczytowym poziomie nie większym niż 150 mW sr⁻¹ dla długości fali 940 nm. Jest to wartość znacząco niższa od progu ekspozycji określonego przez wytyczne ICNIRP (International Commission on Non-Ionizing Radiation Protection) [oNIRP⁺13]. Korzystanie z bliskiego doświetlenia oka pod-czerwienią w takiej konfiguracji jest więc całkowicie bezpieczne nawet podczas dłu-gotrwałego użytkowania.

2.1.5.2 Oprogramowanie

Zadanie modułu obrazującego kończy się na dostarczeniu systemowi kompute-rowemu kolejnych klatek obrazu z kamery. Przekształcenie tego obrazu w możliwe do wykorzystania dane o kierunku spojrzenia i punkcie skupienia wzroku są realizo-wane programowo.

W omawianych zastosowaniach posłużono się udostępnionym na licencji open source oprogramowaniem ITU Gaze Tracker, opracowanym na uniwersytecie w Ko-penhadze [itu12]. Odpowiada ono za przeprowadzenie procedury kalibracji, wykry-cie położenia środka źrenicy oraz dokonanie jego mapowania na płaszczyznę ekranu w celu określenia położenia punktu skupienia wzroku.

Wyjście z oprogramowania ITU konsumowane jest przez jeden z autorskich inter-fejsów programowych (biblioteka napisana w języku C++, biblioteka .NET, interfejs MATLAB oparty o technikę MEX ), pozwalających na dalsze wykorzystanie danych w końcowych aplikacjach. Ostatecznie dane dotyczące punktu skupienia wzroku mo-gą być wykorzystane w dowolny sposób, zarówno w charakterze on-line (na bieżąco, w czasie zbliżonym do rzeczywistego), jak i off-line (analiza danych po ich zebraniu).

System DIY sprawdził się i był wykorzystywany przy wszystkich zastosowaniach okulografii opisanych dalej w niniejszej rozprawie.

2.1.5.3 Dalszy rozwój

Naturalnym dalszym etapem rozwoju systemu DIY jest próba wyeliminowa-nia problemu niemożności zmiany orientacji i pozycji głowy podczas korzystawyeliminowa-nia z okulografu. Chcąc pozostać przy koncepcji urządzenia noszonego na głowie, ko-nieczne będzie posłużenie się pewną techniką śledzenia głowy (ang. head tracking), pozwalającą na wyznaczenie względnej relacji pomiędzy urządzeniem (czyli de facto głową), a ekranem na płaszczyznę którego rzutowane są wyniki. Odwrotnym po-dejściem prowadzącym do tego samego celu mogłoby być wykrywanie czworokąta ekranu w obrazie pochodzącym z dodatkowej kamery zamontowanej na urządzeniu, ale skierowanej w stronę sceny oglądanej przez użytkownika.

Umieszczenie na urządzeniu dodatkowej kamery pozwalającej na uzyskanie ob-razu świata znajdującego się przed użytkownikiem mogłoby dodatkowo poszerzyć spektrum zastosowań systemu DIY. Poprzez rzutowanie kierunku spojrzenia na ob-raz świata możliwe byłoby użycie okulografu do badań terenowych, gdzie bodźcami nie są obrazy prezentowane na ekranie, a obiekty pochodzące ze świata rzeczywiste-go. Taka koncepcja wiąże się jednak z zaistnieniem problemów natury geometrycznej

(np. zróżnicowanie odległości płaszczyzn na których spoczywa punkt skupienia wzro-ku i idące za tym problemy kalibracyjne) czy też powiązanych z poruszaniem się sys-temu okulograficznego (np. konieczność klasyfikacji ruchów oczu z uwzględnieniem zmiany orientacji głowy).

Innym kierunkiem rozwoju mogłaby być poprawa jakości danych. Użycie lepszej kamery, próbkowania z większą częstotliwością i innych, szybszych i dokładniejszych algorytmów wykrywania cech obrazu oka [Wol15], prowadzić będzie do zmniejszenia błędów śledzenia i zwiększenia szeroko rozumianej efektywności działania systemu.