Wykorzystanie systemów śledzenia wzroku do obsługi komputera

K

S

M

L

T

ECHNOLOGIE

M

ULTIMEDIALNE

Ćwiczenie 9:

Wykorzystanie systemów śledzenia wzroku do obsługi komputera

Opracowanie: mgr inż. Bartosz Kunka

1. System śledzenia punktu fiksacji wzroku Cyber-Oko

1.1.

Wprowadzenie

Technikę, która umożliwia wyznaczanie punktu fiksacji wzroku użytkownika na ekranie monitora, nazywa się eye trackingiem. W procesie wyznaczania współrzędnych punktu fiksacji (czyli miejsca, na którym spoczywa wzrok użytkownika przez co najmniej 100ms) wykorzystuje się informacje uzyskane dzięki analizie ruchów gałki ocznej (fiksacje i sakkady) i zawartości obrazu oka. Systemy eye

trackingowe oparte na przetwarzaniu obrazu wideo zazwyczaj są wyposażone w diody LED, pracujące

w zakresie fal podczerwonych (ang. infrared – IR). Zastosowanie promieniowania podczerwonego wpływa na zwiększenie dokładności wyznaczania punktu fiksacji wzroku poprzez wsparcie procesu przetwarzania obrazu. Emitowane promieniowanie IR jest niewidoczne dla użytkownika i nie zakłóca interakcji z komputerem. Diody IR z założenia umieszczone są w czterech rogach ekranu oraz wokół obiektywu kamery. Wskutek świecenia diod IR, na rogówkach oczu użytkownika pojawiają się charakterystyczne odbicia świetlne, zwane glintami. Dedykowany algorytm analizuje obraz przechwytywany z kamery, umieszczonej poniżej monitora. W wyniku tej analizy zostają zlokalizowane odbicia promieni IR (glinty) oraz środek źrenicy, który wraz z ruchami oka zmienia swoje położenie. Punktami odniesienia dla środka źrenicy są glinty, które charakteryzuje stabilność położenia. Dzięki zastosowaniu odpowiednich przekształceń matematycznych możliwe jest wyznaczenie punktu fiksacji wzroku. Przykładowe wzajemne relacje pomiędzy glintami na rogówce oka i środkiem źrenicy pokazano na rys. 1.

Zakładając, że system powinien być odporny na różne warunki oświetlenia, panujące w pomieszczeniu, w którym pracuje, oraz biorąc pod uwagę możliwość pracy z osobami o różnych kolorach oczu, zastosowano dwa tryby pracy systemu. Możliwość przełączenia się systemu na jeden z dwóch trybów wpływa na zwiększenie efektywności i dokładności w wyznaczaniu punktu fiksacji wzroku na ekranie monitora. Pierwszy z trybów charakteryzuje się tym, że diody IR umieszczone wokół obiektywu kamery emitują światło, w wyniku czego na obrazie, przechwytywanym z kamery, widoczny jest tzw. efekt jasnej źrenicy. W drugim trybie system pracuje podobnie, ale diody IR wokół obiektywu kamery są wyłączone. W wyniku tego na obrazie powstaje tzw. efekt ciemnej źrenicy. Decyzja o tym w jakich warunkach system będzie pracował jest podejmowana jeszcze przed rozpoczęciem procedury kalibracyjnej. Fragmenty obrazów charakterystycznych dla różnych trybów pracy systemu pokazano na rys. 2.

a) b)

Rys. 2. Fragmenty przetwarzanych obrazów: a) z efektem jasnej źrenicy; b) z efektem ciemnej źrenicy

1.2.

Część sprzętowa systemu

Cyber-Oko to system współpracujący ze standardowym komputerem klasy PC, spełniającym określone wymagania techniczne. Na rys. 3 przedstawiono schemat koncepcyjny systemu Cyber-Oko. Rys. 4 natomiast przedstawia monitor z oświetlaczami IR oraz kamerę, które stanowią właściwe komponenty systemu.

Na część sprzętową systemu składają się:

 zmodyfikowana kamera Logitech QuickCam Sphere – kamera pracuje w trybie 1600x1200 pikseli, 5 fps (frames per second), dołączona jest do komputera PC z wykorzystaniem interfejsu USB;

 sterownik diod IR – urządzenie do którego dołączane są wszystkie oświetlacze IR oraz dodatkowo kamera z wykorzystaniem dedykowanego przewodu;

 oświetlacz IR umieszczony wokół obiektywu kamery – oprawka wraz z płytką drukowaną i diodami umieszczana jest na podstawce obiektywu kamery; diody są aktywne gdy system pracuje w trybie jasnej źrenicy;

 cztery oświetlacze IR umieszczane na rogach ekranu wraz z przewodami – oprawka wraz z płytką drukowaną, diodami oraz uchwytem do montażu diod na rogach ekranu;

 zestaw przewodów – dwa standardowe przewody USB oraz jeden dedykowany do połączenia sterownika diod IR oraz kamery.

Rys. 3. Schemat blokowy systemu Cyber-Oko

Rys. 4. Cyber-Oko

1.3.

Warstwa oprogramowania

W części programowej systemu Cyber-Oko wyróżnić można następujące aplikacje, które będą wykorzystywane w ramach niniejszego ćwiczenia laboratoryjnego:

CO Serwer

Aplikacja będąca aplikacją nadrzędną (serwerową) w stosunku do aplikacji klienckich: Cyber-Eye Experiment Tool 001 i CO Wirtualna Klawiatura; została stworzona z myślą o łatwym i szybkim zwiększaniu funkcjonalności

CO Wirtualna Klawiatura

Aplikacja umożliwiająca wybór liter z wirtualnej klawiatury QWERTY za pomocą wzroku. Aplikacja wyświetla punkt fiksacji wzroku na ekranie monitora, dzięki czemu możliwa jest weryfikacja dokładności wyświetlania punktu fiksacji „na żywo”. Wybór litery dokonuje się przez dłuższe skupienie wzroku na wybranym elemencie. Można zmieniać czas potrzebny na zaznaczenie/wybór litery.

Dodatkowo aplikacja posiada wbudowany moduł syntezy mowy, dzięki któremu możliwe jest odczytanie wpisanego tekstu.

1.4.

Konfiguracja stanowiska pracy

Przed wykonywaniem zadań laboratoryjnych, należy w odpowiedni sposób przygotować się do pracy z systemem Cyber-Oko. W pierwszej kolejności, użytkownik powinien zająć odpowiednią pozycję w stosunku do monitora.

Uwaga!

Jego oczy powinny znaleźć się mniej-więcej w połowie wysokości ekranu, natomiast optymalna odległość oczu użytkownika od płaszczyzny ekranu wynosi 60cm. Po zajęciu przez użytkownika odpowiedniej pozycji względem ekranu monitora, należy zweryfikować poprawność zamontowania i umieszczenia komponentów sprzętowych.

Pozycja głowy w kadrze

Poniżej wymieniono ogólne zasady prawidłowego pozycjonowania (ustawiania) głowy w kadrze oraz zamieszczono przykładowy poprawny kadr:

 głowa centralnie w kadrze – jednakowa odległość uszu użytkownika od lewej i prawej,

 margines swobody między głową a krawędziami kadru.

Rys. 5. Prawidłowa pozycja głowy użytkownika w kadrze kamery

Ostrość obrazu

Z obiektywem kamery wiąże się ustawienie ostrości (ang. focus). W przypadku systemu, wykorzystywanego podczas niniejszego ćwiczenia laboratoryjnego, ostrość bezpośrednio jest

związana z tym w jakiej odległości od monitora siedzi użytkownik. Jak wspomniano na początku niniejszego rozdziału, optymalna odległość to 60cm. Zatem, obraz oka użytkownika będzie ostry, gdy użytkownik będzie siedział w takiej odległości od płaszczyzny ekranu. W związku z tym, w celu poprawienia ostrości obrazu oka (oczu) widzianego w oknie podglądu z kamery, użytkownik musi przesunąć się lekko do przodu/do tyłu. Poniżej pokazano przykład nieostrego (błędnego) i ostrego (poprawnego) obrazu oka.

a) b)

Rys. 6. Próbki obrazu: a) obraz nieostry – użytkownik siedzi za daleko kamery; b) obraz ostry – użytkownik siedzi w optymalnej odległości od kamery

Odbicia światła podczerwonego na rogówce oka

W ostatniej kolejności należy sprawdzić rozłożenie i intensywność odbić światła podczerwonego, generowanych przez diody w rogach ekranu (odbicia te w dalszej części instrukcji nazywane będą – glintami). Glinty powinny być ułożone tak, by jak najlepiej odzwierciedlały układ rogów ekranu – powinny tworzyć prostokąt. Co więcej, intensywność wszystkich odbić powinna być jednakowa. Jeżeli tak nie jest, należy poprawić odpowiednią/odpowiednie sekcje diod.

a) b)

Rys. 7. Rozłożenie glintów na rogówce oka: a) błędna konfiguracja; b) prawidłowa konfiguracja

Powyższa próbka obrazu (rys. 7a) pokazuje, że dwa spośród czterech glintów są nieprawidłowe – prawie niewidoczne. W związku z tym należy poprawić kąt świecenia dwóch sekcji diod odpowiedzialnych za powstawanie tych glintów. Aby tego dokonać wystarczy lekko przesunąć oprawkę diodową w dół lub w górę, jak pokazano na poniższych rysunkach:

Pozycja pierwsza Pozycja druga – po zmianie

Rys. 8. Możliwość zmiany ustawienia oświetlaczy IR w rogach ekranu

2. Praca z systemem Cyber-Oko

Po poprawnym skonfigurowaniu stanowiska Cyber-Oka student może rozpocząć pracę z systemem. W pierwszej kolejności należy wyłączyć tryb aktywnej kamery i tryb szukania w ustawieniach aplikacji (w zasobniku systemowym – prawy dolny róg ekranu, należy kliknąć prawym przyciskiem myszy na ikonę

Cyber-Oko Serwer i wybrać „Ustawienia”, następnie odznaczyć opcje):

Rys. 9. Odznaczenie wybranych opcji aplikacji

Następnie należy uruchomić aplikację Cyber-Oko Serwer, wybierając polecenie Start w menu aplikacji, wywołanym po kliknięciu prawego przycisku myszy na ikonie aplikacji. Po wciśnięciu Start automatycznie uruchamia się procedura kalibracyjna. Okno kalibracji i poprawne ustawienie głowy badanego pokazano na rys. 10.

Uwaga!

Bardzo ważne jest prawidłowe ustawienie głowy w kadrze oraz stabilne trzymanie głowy w jednej pozycji w czasie kalibracji

Rys. 10. Okno kalibracji. Poprawne ustawienie badanego w kadrze

Po poprawnym skalibrowaniu się automatycznie wyświetli się okno z podglądem obrazu z kamery. System pracuje prawidłowo, gdy obszar źrenicy oka z naniesionymi glintami jest otoczony zieloną ramką, jak pokazano na rys. 11.

Rys. 11. Okno podglądu obrazu z kamery po kalibracji

3. Opis ćwiczenia laboratoryjnego

W ramach ćwiczenia laboratoryjnego studenci zapoznają się z zasadą działania interfejsu wzrokowego Cyber-Oko. W pierwszej części ćwiczenia studenci będą mieli okazję wpisywać tekst z wirtualnej klawiatury za pomocą ruchów gałek ocznych. To zadanie polega na zapoznaniu się z funkcjonalnością Cyber-Oka i poddaniu ocenie komfortu pracy z systemem. Narzędziem pracy studentów w tej części ćwiczenia będzie aplikacja kliencka CO Wirtualna Klawiatura.

Wartość czasu potrzebnego do fiksowania wzroku na wybranym elemencie można zmieniać za pomocą klawiszy „F11” – krótszy czas i „F12” – dłuższy czas.

Rys. 12. Interfejs graficzny aplikacji CO Wirtualna Klawiatura

4. Zadania

4.1 Uruchomić aplikację Cyber-Oko Serwer.

4.2 Wyłączyć tryb aktywnej kamery i tryb szukania w ustawieniach aplikacji, a następnie rozpocząć proces kalibracji.

4.3 Uruchomić aplikację CO Wirtualna Klawiatura (nie wyłączając aplikacji serwerowej).

4.4 Do pola edycyjnego wirtualnej klawiatury wprowadzić za pomocą wzroku swoje imię i nazwisko. Zanotować spostrzeżenia.

4.5 Zbadać funkcjonalność Cyber-Oka w kontekście wpisywanie tekstu za pomocą wzroku. 4.6 Zapoznać się ze stanowiskiem wyposażonym w urządzenie marki Tobii.

4.7 Wypełnić formatkę sprawozdania. Gotowe sprawozdanie należy oddać osobie prowadzącej zajęcia po wykonaniu zadania.

TECHNOLOGIE MULTIMEDIALNE

Ćw. 9

Wykorzystanie systemów śledzenia wzroku do obsługi komputera

Wykonujący: _Ocena:

Grupa:

Data wykonania ćwiczenia:

1 Warunki przeprowadzania badania: ◦ pogoda (pochmurno/słonecznie): ◦ odległość systemu od okna:

◦ lokalizacja okna względem płaszczyzny ekranu: 2 Ocena skuteczności wykonania kalibracji Cyber-Oka

osoba 1 osoba 2

3 Opisać cel przeprowadzania procesu kalibracji urządzenia

4 Jakie czynniki mają wpływ na działanie systemu Cyber-Oko?

5 Ocena komfortu pracy z systemem (na podstawie obsługi aplikacji CO Wirtualna Klawiatura). Czy wystąpiły jakieś problemy? Jakie?

6 Subiektywna ocena systemu Cyber-Oko

7 Subiektywna ocena systemu marki Tobii

8 Porównanie procesu kalibracji urządzeń Cyber-Oko i Tobii

9 Porównanie działania urządzeń Cyber-Oko i Tobii

10 Zastosowania systemów śledzenia punktu fiksacji wzroku