Wstp do eyetrackingu

Eye tracking

dr Bibianna Bałaj

dr hab. Jacek Matulewski

1 Katedra Psychologii, Wydział Humanistyczny, Uniwersytet Mikołaja Kopernika w Toruniu 2 Laboratorium Neurokognitywne, Interdyscyplinarne Centrum Nowoczesnych Technologii,

Uniwersytet Mikołaja Kopernika w Toruniu

1. Wprowadzenie do eyetrackingu (BB1) 22 II 2. System wzrokowy i ruchy oczu (BB2) 1 III 3. Budowa i funkcjonowanie eyetrackera.

   Analiza danych okulograficznych - implementacja algorytmów (JM1) 8 III 4. Demonstracja eyetrackera (Mirametrix) (BB3) 22 III

5. Projektowanie eksperymentów okulograficznych (BB4) 22 III 6. Platforma do przygotowywania eksperymentów i aplikacji    korzystających z eyetrackera. Język GIML (JM2) 29 III

7. Interpretacja wyników. Wskaźniki psychologiczne (BB5) 12 IV 8. Programy do analizy danych: Ogama i BeGaze (BB6) 19 IV 9. Algorytmy analizy danych i ich implementacja.

   Tworzenie map fiksacji, map uwagi, map cieplnych, itd.

   Analiza obrazu. Programy GDE i EVM (JM3) 26 IV

10. Eyetracker w grach i aplikacjach. Szersza perspektywa:HCI (JM4)–

(10 V) 11. Studium przypadku: dyskalkulia (JM5) (17 V)

12. Studium przypadku: badania pilotów (BB7) (24 V)

13. Studium przypadku: wprowadzanie tekstu wzrokiem (JM6) (31 V) 14. Prezentacja projektów zaliczeniowych (JM7) (7 VI)

* Dodatkowy termin na projekty

15. Egzamin (testowy) (14 VI)

Literatura przedmiotu:

 Duchowski, A. T. (2007). Eye Tracking Methodology: Theory and Practice.

London: Springer.

 Holmqvist, K. Nyström, M., Andersson, R., Dewhurst, R., Jarodzka, H., van de Weijer, J. (2011). Eye tracking: A comprehensive guide to methods and measures.

Oxford: Oxford University Press.

 Nielsen, J.; Pernice, K. (2010). Eyetracking Web Usability. Berkeley: New Riders Press.

 Bałaj, B. (2012). Analizy ilościowe i jakościowe danych okoruchowych

w psychologii poznawczej. W: Zastosowania statystyki i data mining w badaniach naukowych. Kraków: StatSoft Polska. s. 43-58. ISBN 978-83-88724-63-3.

 Linowiecki, R., Matulewski, J., Bałaj, B, Ignaczewska, A., Dreszer, J., Kmiecik, M.,

Duch, W. (2016). GCAF. Platforma tworzenia aplikacji kontrolowanych wzrokiem –

nowy sposób przygotowywania w pełni interaktywnych eksperymentów z użyciem

okulografu. Lingwistyka stosowana, 20, 5, 83-99.

Literatura uzupełniająca:

 Bałaj, B. (2015). Wpływ złożoności obiektu i wielkości kąta rotacji na ruchy oczu podczas wykonywania rotacji umysłowej // The Influence of Object Complexity and Rotation Angle on Eye Movements during Mental Rotation.

Roczniki Psychologiczne // Annals of Psychology, 18 (4), 465-503.

 Bałaj, B., Francuz, P. (2012). Siła podobieństwa w ruchach oczu wykonywanych podczas oglądania i wyobrażania sobie obiektów – czynniki modyfikujące. Polski Przegląd Medycyny i Psychologii Lotniczej, 2(18), 63-76.

 Jardanowski, P., Chojnacki, W. (2009). Obszary zainteresowań (ang. area of interest - AOI) jako metoda analizy wyników badania eye tracking. Interfejs użytkownika - Kansei w praktyce, 107-118.

http://symetria.pl/blog/files/kansei2009_Jardanowski_Chojnacki.pdf

 Petrykowski, J., Karwatka, T. Eye tracking w badaniach użyteczności. Janmedia.

http://www.janmedia.pl/upload/wysiwyg/pdf/eye_tracking_w_badaniach_uzytecznosci-Jakub_Petrykowski-Janmedia.pd f

 Pasikowska, A. (2009). Tajniki eyetrackingu. http://interaktywnie.com/biznes/artykuly/usability/tajniki-eyetrackingu-4554

 Suchta, T. (2002). Eye Tracking. Gdzie spoczywa oko konsumenta. Modern Marketing.

http://www.modernmarketing.pl/index.php?pg=arta&magnr=200209&artnr=02&artpg=1

 Zapała, D., Bałaj, B. (2012). Eye Tracking and Head Tracking – The two approaches in assistive technologies. W:

Sborník příspěvků z mezinárodní vědecké konference, s. 2406-2415. Hradec Králové, Česká republika:

MAGNANIMITAS. ISBN 978-80-905243-3-0.

 Szubielska, M., Bałaj, B., Fudali-Czyż, A. (2012). Estetyczny odbiór fotografii poprzez stereotyp umysłowej niepełnosprawności twórcy. Psychologia Społeczna, 4, 342-357.

 Kmiecik, M., Gut, M., Bałaj, B., Matulewski, J. (2016). Ocena poziomu umiejętności matematycznych na podstawie danych okulograficznych. Lingwistyka stosowana, 20, 5, 63–82.

 Bałaj, B., Francuz, P., Sternal, M., Matulewski, J. (2016). Compensation of Head Movements in the Data Registered with a Headset Eye Tracker Using the EVM Software Package. The Polish Journal of Aviation Medicine,

Bioengineering and Psychology 22, 1 – 17. DOI: 10.13174/pjambp.30.12.2016.02

 Prace licencjackie, inżynierskie, magisterskie

Warunki zaliczenia przedmiotu

* Projekt zaliczeniowy

* Egzamin (testowy)

Eye Tracking (okulografia)

to zespół metod i technik badawczych, przeznaczonych do pomiaru, rejestracji i analizy danych o położeniu

i ruchach gałek ocznych

Podstawy Metodologiczne

 Eye tracking dostarcza ilościowych danych

pomiarowych nie odwołując się do subiektywnych, werbalnych relacji respondenta.

 Odwołuje się do obiektywnych procesów psychofizycznych i neuropsychologicznych towarzyszących:

akwizycji i przetwarzaniu informacji wzrokowej,

reakcjom okoruchowym na odbierane z otocznia

bodźce.

WIDZENIE WYOBRAŻANIE

A1 A2

Interakcja wzrokowa dla dzieci i

niemowląt

WIDZENIE WYOBRAŻANIE

A1 A2

Eye Tracking -rozwój technik i metod

 Pierwsze próby systematycznego badania ruchów oczu podejmowano w drugiej połowie XIX w.

 Początkowo stosowano bezpośrednią obserwację przez wprawnego obserwatora. Tę metodę stosuje się do dziś

w medycynie np. podczas badań neurologicznych.

 Od początku XX w. w ośrodkach akademickich budowano okulografy (eyetrackery) – do

zastosowań w psychologii eksperymentalnej, medycynie, a z czasem w lotnictwie wojskowym.

 W zależności od przeznaczenia stosuje się różne

techniki rejestracji: Mechaniczne, elektryczne,

fotoelektryczne, magnetoelektryczne, video.

Optokinetografia

Wiązka światła odbita od oczu badanego trafiała poprzez układ optyczny na przesuwającą się taśmę światłoczułą, rejestrując trajektorię ruchu oczu.

A

B

Źródło: Taylor Asscoiates Inc, USA

Scleral Search Coils

Elektrookulografia (EOG)

Podczas ruchu oka, na skórze w pobliżu oczodołu powstają potencjały bioelektryczne zmieniające się w takt ruchu. Pomiar i rejestracja

potencjałów odbywa się za pomocą elektrod przykładanych do

powierzchni skóry. Technika nadal stosowana w medycynie.

Video-Eye Tracking

Obraz gałek ocznych jest rejestrowany przez miniaturowe kamery video umieszczone w pobliżu oczu i podłączone do systemu

komputerowego. Za pomocą oprogramowania do automatycznej analizy

obrazów, wyznaczane jest położenie oka. Pozycja oka jest wyznaczana z

częstością od 20-60 razy na sekundę.

System do badań w ruchu

System przeznaczony jest do rejestracji reakcji okoruchowych u

respondentów znajdujących się ruchu, np. podczas zakupów w sklepie.

Konstrukcja jest osadzona na lekkiej opasce, którą respondent zakłada na głowę. System posiada dwie kamery video: jedną do rejestracji ruchów oczu, a drugą do rejestracji zmieniającego się otoczenia. Sygnały z kamer mogą być przesyłane drogą radiową do komputera stacjonarnego.

EMR-9

https://youtu.be/2NcUkvIX6no

Systemy bezkontaktowe

Kamera video rejestruje obraz oka z odległości około 0,5 m.

Respondent nie musi nakładać na głowę lub oczy żadnego sprzętu.

System nie ogranicza pola widzenia respondenta i jego ruchów.

System przeznaczony do badania reakcji na bodźce prezentowane na ekranie komputera.

Kamera

video

Eyetrackery, na których pracowałam

 SMI iViewX 1250

 SMI glasses

 SMI red 250

 Mirametrix

 „domowe”

Laboratorium Psychoneurofizjologiczne KUL Laboratorium Neurokognitywne ICNT, UMK

Analiza ruchów oczu

Video based tracking

GazeTracker

Programy:

iView X

 Ustawienie oka, kalibracja, walidacja

SMI Experiment Center

 Projektowanie i prezentacja eksperymentów

BeGaze

 Wizualizacja i eksport wyników badań

Projektowanie eksperymentu

 e-Prime,

 Ogama,

 Python,

 Matlab

 C#



Program Jacka G-CAF

Przekształcanie danych, analizy

Kalibracja