System wzrokowy

Okulografia i jej zastosowania w naukach społecznych

dr Bibianna Bałaj

1 Katedra Psychologii, Wydział Humanistyczny, Uniwersytet Mikołaja Kopernika w Toruniu 2 Laboratorium Neurokognitywne, Interdyscyplinarne Centrum Nowoczesnych Technologii,

Uniwersytet Mikołaja Kopernika w Toruniu

WIDZENIE WYOBRAŻANIE

A1 A2

Eye Tracking (okulografia)

to zespół metod i technik badawczych, przeznaczonych do pomiaru, rejestracji i analizy danych o położeniu

i ruchach gałek ocznych

Podstawy Metodologiczne

 Eye tracking dostarcza ilościowych danych

pomiarowych nie odwołując się do subiektywnych, werbalnych relacji respondenta.

 Odwołuje się do obiektywnych procesów psychofizycznych i neuropsychologicznych towarzyszących:

akwizycji i przetwarzaniu informacji wzrokowej, reakcjom okoruchowym na odbierane z otocznia bodźce.

Human Visual System (HVS)

Ludzki system wzrokowy

Oko

` Niewielka centralna

część siatkówki

Widzenie:

- szczegółów - kolorów

- przy dobrym oświetleniu

Pozostała część siatkówki i jej

peryferia

Widzenie:

- konturów

- odcieni szarości - przy słabym

oświetleniu i w ciemności

- detekcja ruchu

Zróżnicowanie funkcji siatkówki

Siatkówka (the Retina)

Siatkówka (the Retina)

Warstwa zewnętrzna siatkówki:

Pręciki Czopki

Widzenie nocne Widzenie dzienne

Około 100 milionów Około 6 milionów

pigment: rodopsyna pigment: jodopsyna

Bardzo duża czułość; Czułość na światło rozproszone Niewielka czułość; Czułość tylko na światło bezpośrednie

Ich brak powoduje kurzą ślepotę Ich brak powoduje ślepotę

Mała ostrość Wysoka ostrość; lepsza rozdzielczość

Wolna reakcja na światło Szybka reakcja na światło Posiadają więcej pigmentu niż czopki, dlatego

wykrywają słabsze światło Posiadają mniej pigmentu niż pręciki, dlatego potrzebują więcej światła do otrzymania obrazów Jeden typ światłoczułego barwnika Trzy typy światłoczułego barwnika (u ludzi)

Absorpcja światła czopków i pręcików przez

ludzkie oko

Warstwa wewnętrzna siatkowki:



Komórki horyzontalne



Komórki amakrynowe



Komórki dwubiegunowe

1:kilka - dla czopków; dla pręcików – więcej; ponadto ma połączenia pośrednie)

Główne rodzaje komórek dwubiegunowych:

 Reagujące na wzrost światła,

 Reagujące na zmniejszenie się światła

Warstwa komórek zwojowych ^{(ok.. 1}

mln) :

Morfologiczny podział:

 α (10%) – duże ciała komórkowe (projektują do wielko-

komórkowych (M) warstw ciała kolankowatego bocznego LGN)

 β (80%) – małe ciała komórkowe (projektują do mało-

komórkowych (P) warstw ciała kolankowatego bocznego LGN)

 Innego rodzaju

Podział funkcjonalny:

 X (reagują na bodźce utrzymujące się; lokalizacja, detal) (do M i P)

 Y (reagują na bodźce chwilowe, wyraźne cechy, ruch) (do M)

 W (reagują na bodźce chwilowe, wyraźne cechy, ruch) (do wzgórka czworaczego górnego)

Cechy systemu wzrokowego

 Dołek środkowy (foveola; fovea

centralis), to mały centralny obszar siatkówki, który ma największe

zagęszczenie czopków (Greenstein, Greenstein, 2000).

 Obejmuje on około półtora/dwa stopnie pola widzenia.

 Często wyróżnia się też obszar około- centralny, który rozciąga się do 4-5°

w polu widzenia (Duchowski, 2007).

Odpowiada to obszarowi eliptycznej plamki żółtej (macula lutea)

(Młodkowski, 1998).

Układ wzrokowy (narządy zmysłów, droga przekazywania informacji wizualnej)

W jego skład wchodzą:

 gałki oczne,

 nerwy wzrokowe,

 pasmo wzrokowe,

 ciało kolankowate boczne,

 promienistość wzrokowa,

która bezpośrednio doprowadza do przekazania impulsów nerwowych

reprezentujących pobudzenia świetlne do wyspecjalizowanej części kory mózgowej – kory wzrokowej, gdzie dochodzi do

pierwotnej integracji sygnałów wzrokowych w tzw. obrazy korowe.

Szlaki wzrokowe; kanały M/P

Wzgórek czworaczy górny:

 Zaangażowany jest w programowanie ruchów oczu,

 Odwzorowuje przestrzeń dźwiękową do postaci współrzędnych

wzrokowych

 Uważa się, że jest odpowiedzialny za

ukierunkowanie oczu na nowy region

zainteresowania

Ciało kolankowate boczne:

Ciało kolankowate boczne:

cecha

duże komórki (M)

małe komórki (P)

Czas przesyłu Pole recepcyjne Wrażliwość na małe obiekty Wrażliwość na zmiany światła Wrażliwość na kontrast

Wrażliwość na ruch Rozróżnianie

kolorów

Szybki Duże Słaba Duża Niska Wysoka Nie

Wolny Małe Dobra Mała Wysoka Niska Tak

Ciało kolankowate boczne – funkcje:

 wzmacnianie informacji o kontraście,

 porządkowanie informacji o kolorze, ruchu, formie,

 dopasowanie poziomu przetwarzanego sygnału,

 otrzymywanie sprzężenia zwrotnego z dalszych obszarów systemu wzrokowego.

Można powiedzieć, że informacja opuszczająca LGN jest odzwierciedleniem obrazu na siatkówce jednakże, jest ona znormalizowana, co do intensywności i koloru.

Szlaki wzrokowe; kanały M/P

Dwa strumienie informacji wzrokowej

 Szlak wielkokomórkowy: biegnie do dwóch wielkokomórkowych warstw LGN (jest w nich ok. 100.000 komórek), charakteryzuje go niska rozdzielczość przestrzenna, wysoka wrażliwość na kontrast, szybkie przesyłanie sygnałów, bez informacji o kolorze.

Ta informacja trafia przez płat potyliczny szlakiem grzbietowym do kory ciemieniowej.

Dochodzi do warstwy 4B w V1, stąd do grubych ciemnych pasków obszaru V2, analizuje informację o ruchu obiektu.

W V1, warstwa 4B => V5, lokalizacja w polu widzenia, ruch.

V5 pobudza płat ciemieniowy, PPC (tylna kora ciemieniowa), obszar 7 i 5; umożliwia to orientację przestrzenną, postrzeganie głębi i ruchu, połączenie z wzgórkami

czworaczymi (orientacja oczu).

 Szlak drobnokomórkowy ma 4 drobnoziarniste warstwy i 10 razy więcej komórek niż wielkokomórkowy w LGN.

Duża rozdzielczość przestrzenna, kolor, wolniejszy przesył informacji, niska wrażliwość na kontrast.

Ta informacja trafia szlakiem brzusznym do kory dolnoskroniowej.

V1 => V2 obszar międzyplamkowy, reaguje na orientację linii, daje dużą ostrość widzenia, bez koloru.

V1 => V3 obszar plamkowy, reaguje na kształty, reakcja na kolor w neuronach w ciemnych prążkach V3.

V2 => V4, główny obszar analizy koloru, informacja dochodzi do kory dolnoskroniowej (IT).

Obszar IT w płacie dolnoskroniowym ma neurony reagujące na złożone obiekty.

Kora wzrokowa:

 Komórki korowe reagują na bodziec o określonej orientacji

 Komórki mózgowe dzieli się na proste i złożone

 Aksony z LGN kończą się głównie warstwie 4C na średniej głębokości

obszaru V1

Komórki proste:

 Obszar pola recepcyjnego komórek prostych jest różny (najmniejszy gdy komórka odbiera sygnał z okolic dołka centralnego – 1/4x1/4 stopnia; na

peryferiach około 1 stopnia)

 Komórki proste reagują wtedy, gdy linia lub krawędź o preferowanej orientacji padnie w miejscu określonej lokalizacji pola recepcyjnego danej komórki (bodziec optymalny dla komórki odbierającej informacje z dołka centralnego wynosi około dwie minuty kątowe)

Komórki złożone:

 Około 10-20% komórek złożonych w górnych warstwach kory prążkowej wykazuje wyraźną wybiórczość kierunkową.

 Wybiórczość ta odnosi się do reakcji komórek na określony kierunek ruchu.

 Korowa selektywność kierunkowa (CDS) przyczynia się do percepcji ruchu i do kontroli ruchów oczu

 Komórki CDS nawiązują ścieżki ruchowe z V1 do V2, V5 (MT) i MST

Struktury sterujące procesami samoregulacji

Oprócz systemu przekazywania wrażeń obrazowych, w skład układu wzrokowego wchodzi wiele struktur sterujących procesami samoregulacji układu i

decydujących o dostosowaniu:

 wielkości źrenicy (jeden z mechanizmów adaptacji do zmiennych warunków świetlnych),

 napięcia soczewki wewnątrzgałkowej (procesy

akomodacji ze względu na odległość obserwowanego przedmiotu)

 położenia gałek ocznych w odniesieniu do głównych kierunków obserwacji i in.

Typowe ruchy oczu

 Podczas normalnej aktywności człowieka, przez

większość czasu oczy pozostają w stanie FIKSACJI, tzn. w stanie względnego spoczynku.

Podczas FIKSACJI zachodzi pobieranie informacji wzrokowej z otoczenia. Czas trwania fiksacji jest zależny od sposobu przetwarzania informacji.

Na ogół waha się w granicach od ok. 150 ms do 600 ms

 Średnio 4-6 razy na sekundę wykonywana jest

SAKADA czyli bardzo szybki, skokowy ruch zmiany położenia pomiędzy kolejnymi fiksacjami. SAKADA trwa na ogół ok. 30-60 ms (od 10 do 100 ms)

 Oprócz w/w występują też inne rodzaje ruchów oczu.

Cele ruchów oczu:

 Stabilizacja obrazu na siatkówce - kompensowanie ruchów głowy lub ruchów przedmiotów w polu

widzenia,

 Ustawienie oka względem otoczenia tak, by

analizowany w danej chwili fragment obrazu był rzutowany na część środkową siatkówki o

największej czułości i zdolności przetwarzania szczegółów.

Ze względu na zróżnicowanie funkcji siatkówki, przetwarzanie szczegółów obrazu (np.. Kształtów liter podczas czytania) możliwe jest tylko na

niewielkim obszarze ok. 1,5 stopnia kątowego w pobliżu środka siatkówki.

5 najważniejszych typów ruchów gałek ocznych

u ssaków naczelnych

1) Sakkadyczne (saccadic)

2) Ruchy śledzenia (smooth pursuit)

3) Wergencja (vergence) – zmiana kąta zbieżności wzroku z obu oczu, aby skupić wzrok na celu (percepcja głębi)

4) Oczopląs przedsionkowy (vestibular nystagmus)

5) Oczopląs fizjologiczny

(physiological nystagmus) – miniaturowe ruchy związane z fiksacją

System okoruchowy The Oculomotor Plant

Sygnały kontrolujące ruchy gałek ocznych

pochodzą z kilku funkcjonalnie odmiennych regionów:

1) Pola od 17-19 i pole 22 to obszary w korze potylicznej (the occipital cortex), które odpowiadają za funkcje wizualne wyższego rzędu, jak np. rozpoznawanie

2) Wzgórki czworacze górne (the superior colliculus) – dochodzą do nich drogi aferentne wprost z siatkówki

(retina), zwłaszcza z regionów peryferycznych biegnących wzdłuż drogi wielkokomórkowej (magnocellular pathway)

3) Kanały półkoliste (semicircular canals) – reagują na ruchy głowy w trójwymiarowej przestrzeni

Dwie obserwacje dotyczące ruchów gałek ocznych (na podstawie organizacji systemu

okoruchowego):

1) System ruchów gałek ocznych jest w dużym

stopniu obiegiem polegającym na sprzężeniach zwrotnych (feedback circuit)

2) Sygnały kontrolujące ruchy gałek ocznych pochodzą

z regionów kory, które mogą być funkcjonalnie skategoryzowane jako:

 intencjonalne (voluntary) – kora potyliczna

 nieintencjonalne (involuntary) – wzgórki czworacze górne

 odruchowe (reflexive) – kanały półkoliste

Sakkady Saccades

 Sakkady są szybkimi ruchami gałek ocznych, które służą do zmian pozycji dołka centralnego (fovea)

w środowisku wizualnym

 Mogą być intencjonalne (wykonywane celowo) lub odruchowe (jako korekcyjna reakcja

optokinetyczna lub przedsionkowa)

 Trwają od 10 ms do 100 ms

 Uważa się, że sakkady są ruchami balistycznymi (ballistic)

 jeżeli jeden ruch sakkadyczny do kolejnego miejsca fiksacji zostanie zaplanowany (latencje programowania zostały

stwierdzone, trwają ok. 200 ms) to sakkady nie mogą zostać zmienione

Ruchy sakkadyczne – wpływ instrukcji

Yarbus, 1967:

1.Zbadać obraz dowolnie

2.Oszacować poziom zamożności osób,

3.Oszacować wiek osób,

4.Zgadnij co ludzie robili przed przybyciem gościa

5.Zapamiętaj ubrania osób

6.Zapamiętaj pozycje ludzi (i obiektów) w pokoju

7.Oszacowanie czasu od ostatniej wizyty gościa

Ruchy śledzenia Smooth Pursuits

 Mają miejsce wtedy, gdy wizualnie spostrzegany jest poruszający się obiekt

 W zależności od rodzaju obiektu, oczy są zdolne określać prędkość jego poruszania się

 Ruchy śledzenia są przykładem systemu kontroli zawierającym negatywne sprzężenia zwrotne

Fiksacje Fixations

 Stabilizują siatkówkę na nieruchomym obiekcie,

 Trwają od 150 ms do 600 ms, obejmują 90% czasu widzenia

 Fiksacje charakteryzowane są przez miniaturowe ruchy oczu: tremor

(tremor), dryf (drift), i mikrosakkady (microsaccades)

 Jeżeli obraz jest sztucznie

ustabilizowany na siatkówce,

to widzenie zanika w ciągu sekundy

Miniaturowe ruchy oczu Miniature Eye Movements

 Mogą być postrzegane jako szum (noise) obecny w systemie kontrolnym, którego zadaniem jest utrzymanie stabilnego, nieruchomego wzroku (gaze)

 Klasyfikacja miniaturowych ruchów jako szum pozwala na modelowanie sygnału przez system

sprzężeń zwrotnych (podobny do tego obrazującego ruchy śledzenia)

 Dodatkowy szum reprezentowany jest przez

e_t = s_t – x_t

xt – pożądana pozycja oka s_t – stabilna pozycja fiksacji

Oczopląs Nystagmus

 Rytmiczne ruchy gałek ocznych

(charakterystyczny dla nich wzór przebiegu czasowego przypomina ostrze piły,

a sawtoothlike time course)

 Oczopląs optokinetyczny (optokinetic nystagmus) to wyrównany ruch śledzenia (a smooth pursuit movement) poprzedzielany sakkadami

wzbudzonymi po to, aby skompensować siatkówkowy ruch obiektu

 Oczopląs przedsionkowy (vestibular nystagmus) jest podobnym typem ruchu gałek ocznych, który kompensuje ruchy głowy

Wnioski dla analiz ruchów gałek ocznych Implications for Eye Movements Analysis

Dwie najważniejsze obserwacje:

 Tylko trzy typy ruchów gałek ocznych muszą być modelowane, aby uzyskać wgląd w jawną

lokalizację uwagi wzrokowej (fiksacje, ruchy śledzenia i sakkady)

2) Wszystkie te trzy typy ruchów gałek ocznych mogą być aproksymowane (przybliżane) do liniowego, niezmiennego w czasie systemu (a Linear, Time-Invariant system, LTI)

Wnioski dla analiz ruchów gałek ocznych Implications for Eye Movements Analysis

 Najważniejszym wymaganiem dla analiz ruchów gałek ocznych jest identyfikacja fiksacji, sakkad i ruchów śledzenia

 Zakłada się, że ruchy te są dowodem na zależną od woli, jawną uwagę wzrokową (voluntary, overt

visual attention)

 Fiksacje w sposób naturalny związane są z

dążeniem do tego, aby utrzymać wzrok na obiekcie

 Ruchy śledzenia wykorzystywane są w tym samym celu dla obiektów poruszających się

 Sakkady postrzegane są jako manifestacja dążenia do tego, aby intencjonalnie zmieniać

zogniskowanie uwagi

Analiza ruchów oczu

Video based tracking

Odszumianie

Trzeba odfiltrować:

 Niestabilność właściwą oka

 Mrugnięcia

 Peryferia (z uwagi na niedokładność sprzętu;

sprzedawca często określa efektywny obszar działania sprzętu)

Jak sobie z tym radzić:

 Sprzęt (odfiltrowuje albo wstawia 0,0)

 Dane wypadające poza określony prostokątny obszar zainteresowania mogą być traktowane jako szum

i wykluczone (również to dotyczy słabej efektywności sprzętu na peryferiach)

Wykrywanie fiksacji na podstawie pozycji (Dwell-Time Fixation Detection)

Kryteria:

 Identyfikacja niezmiennego sygnału

 Rozmiar okna czasowego określającego

dopuszczalny zakres (stąd próg czasowy) podczas przebiegu fiksacji

Wykrywanie fiksacji na podstawie pozycji (Dwell-Time Fixation Detection)

 Algorytm ten określa czy M z N punktów leży w mniejszej odległości od średniej μ (uśredniony sygnał) niż odległość kryterialna D

 Wartości M, N, D są wyznaczane empirycznie

 Wartość N definiuje szerokość okna czasowego w próbkach, w którym będą liczone średnie i

wariancje

 Metoda ta oparta jest na założeniu, że fiksację cechuje względna stałość pozycji

Wykrywanie fiksacji na podstawie pozycji

(Dwell-Time Fixation Detection)

Wykrywanie sakkad na podstawie prędkości

 Empirycznie ustalany jest próg szybkości (prędkość graniczna)

 Wyliczana jest prędkość w oknach czasowych i porównywana do granicznej

Wykrywanie sakkad na podstawie prędkości

Balistyczność sakkad a przewidywanie pozycji

 Yarbus zauważył, że prędkość sakkady jest niemal symetryczna (przypomina kształtem krzywą

dzwonowatą), co pozwala przewidywać czas

zakończenia sakkady i miejsce następnego punktu fiksacji (zaraz jak tylko sakkada osiągnie

maksymalną prędkość)

Ruchy oczu jako:



Wskaźnik jawnej uwagi wzrokowej,



Wskaźnik kontroli poznawczej,



Metoda badania kategoryzacji obiektów,



Korelat procesów uczenia się,



Objaw zaburzeń neurodegeneracyjnych,



Biologiczny marker zaburzeń psychicznych

Wskaźniki

 Fiksacje – czas skupienia wzroku na danym elemencie obrazu,

 Sakady – przeniesienie wzroku z jednego punktu skupienia na drugi,

 Czas przebywania w danym rejonie zainteresowania liczony od podjęcia decyzji o przejściu do tego

obszaru,

 Średni oraz całkowity czas poświęcony na

oglądanie poszczególnych części badanego obiektu,

 Ilość rewizyt – powroty do konkretnego elementu (logo firmy, hasła reklamowego, produktu),

Ruchy oczu – pytania do zrozumienia badań:



Jaki rodzaj ruchów oczu był brany pod uwagę (fiksacje, sakkady, ruchy śledzenia)?



Jaki rodaj parametrów był brany pod uwagę (czas trwania, częstotliwość, amplituda,

latencja, ścieżki wzrokowe)?



Jakie było zadanie osób badanych (skaning wzrokowy, zadanie pamięciowe, proste

zadanie sakkadyczne, sakkady kierowane

wzrokowo)?

Ruchy oczu – pytania do zrozumienia badań:



Jakie były szczegóły zadania badawczego (typ bodźca, liczba bodźców, liczba powtórzeń,

parametry czasowe)?



Jaka była specyfika grup eksperymentalnych (liczba osób badanych w grupach, płeć, wiek, przebyte choroby)?



Jaki jest status wniosków z badań (czy bazują na jednym badaniu czy na kilku

replikacjach)?

Ścieżki wzrokowe

 Mózg kieruje oczy tak, aby skupiać wzrok na

kolejnych obszarach zainteresowania (ROI), np.

poszczególnych elementach złożonej sceny wizualnej (Noton, Stark, 1971a, 1971c).

 Zatem ruchy oczu są niezbędne dla percepcji scen, które rozprzestrzeniają się na obszarze większym niż kilka stopni w polu widzenia osoby badanej.

Czas oglądania

 Bodziec wzrokowy obejmujący więcej niż 2° pola widzenia może być postrzegany całościowo dzięki widzeniu peryferycznemu, jednak jego rozdzielczość jest słaba.

 Na tym etapie w polu widzenia mogą wyłonić się charakterystyczne cechy, które spowodują

zaangażowanie uwagi lub nakierowanie jej na dany szczegół, celem dalszej weryfikacji.

 Po wykonaniu ruchu oczu w pożądanym kierunku odbierana jest dokładna informacja wzrokowa z dołka centralnego, tj. obraz o wysokiej

rozdzielczości (Duchowski, 2007).

Skaning wzrokowy – wpływ instrukcji

Fig. 4 Comparison of eye movements pathways during memorization task and visual search task (source: http://www.scholarpedia.org

/article/Eye_movements)

Liczba fiksacji

 Całkowita liczba fiksacji przy przeszukiwaniu np. strony internetowej może mówić o trudności w znalezieniu określonego elementu

 liczba fiksacji na danym elemencie mówi nam m.in.

o sprawności przeszukiwania badanego obiektu (Goldberg, Kotval, 1999), jego ważności i zauważalności w procesie

skanowania wzrokiem (Poole, 2004).

Średni czas fiksacji

 Czas trwania fiksacji jest często

traktowany jako miara narzuconych wymagań poznawczego przetwarzania gromadzonych informacji (por. Rayner, 1998). Dłuższy czas trwania fiksacji wskazuje na obszerniejsze

przetwarzanie danych znajdujących się aktualnie w polu wzrokowym.

 Bardziej skomplikowane obrazy (z większą ilością detali) wywołują krótsze fiksacje niż obrazy mniej skomplikowane (por. Duchowski, 2007).

WIDZENIE WYOBRAŻANIE

A1 A2

Średni czas fiksacji

 Wyniki badań Molnara (1981) sugerują generalną zasadę, że bardziej złożone obrazy związane są z krótszymi fiksacjami w porównaniu do mniej

złożonych form.

 Dłuższy czas fiksacji świadczyć może o większej trudności w przetwarzaniu (Buswell, 1935),

dłuższym czasie porównania obserwowanego elementu z jego reprezentacją pamięciową

Fig. 6 Główne wskaźniki opisujące sakkady

Amplituda sakkad

 Średnia – mówi o lokalności-globalności skaningu wzrokowego

 Zangemeister, Sherman i Stark (1995) rejestrowali ścieżki skanowania specjalistów i laików podczas

oglądania realistycznej i abstrakcyjnej sztuki. Ruchy oczu podzielili na globalne (większe niż 1,6°) i

lokalne (mniejsze niż 1,6°). Analiza wariancji wykazała mniej wskaźników skaningu lokalnego dla profesjonalistów, którzy polegali bardziej na globalnym patrzeniu, zwłaszcza dla obrazów

abstrakcyjnych. Nieprofesjonaliści przenosili wzory lokalnego skanowania z obrazów realistycznych na obrazy abstrakcyjne.

 Sumaryczna – mówi o stopniu eksploracji obrazu, trudności w znalezieniu szukanego elementu

Prędkość sakkad



Sakkady są wolniejsze przy mniejszym oświetleniu, albo gdy są wzbudzane w

kierunku przeciwnym do lokalizacji bodźca) (Bollen, Bax, van Dijk, 1993).



Dla sakkad mniejszych niż 20 stopni istnieje liniowa zależność pomiędzy amplitudą i

prędkością szczytową. (Boghen, Troost,

1974).

Liczba mrugnięć



Interpretowana jako wysiłek poznawczy (im więcej mrugnięć, tym większy wysiłek).



Ale przy aktywności percepcyjnej –

odwrotnie; większe wymagania wizualne powodują mniej mrugnięć

“according to blink rate, visual and mental workload produce opposite effects: Blink inhibition for higher visual demand and increased blink rate for higher mental workload”

Marquart, G., Cabrall, C., & de Winter, J. (2015). Review of Eye-related Measures of Drivers’ Mental Workload. Procedia Manufacturing, 3, 2854–2861. https://doi.org/10.1016/j.promfg.2015.07.783

Szerokość źrenicy

 Zmienia się w zależności od jasności bodźca/otoczenia, ale też

 Odzwierciedla zmiany w pobudzeniu,

 Jest wskaźnikiem

 Natężenia kontroli uwagowej,

 Obciążenia/wysiłku poznawczego

(i inteligencji),

 Trudności zadania

Alnaes, D., Sneve, M. H., Espeseth, T., Endestad, T., van de Pavert, S. H. P., & Laeng, B. (2014). Pupil size signals mental effort deployed during multiple object tracking and predicts brain activity in the dorsal attention network and the locus coeruleus. Journal of Vision, 14(4), 1–1. https://doi.org/10.1167/14.4.1

Wizualizacja



ścieżki skanowania – wskazują kolejność oglądania poszczególnych obszarów.

Dodatkowo, pozwalają zidentyfikować

elementy odwracające uwagę od głównej

treści przekazu

Wizualizacja



Mapa cieplna – przedstawia sumaryczne wyniki skupienia uwagi dla danej grupy respondentów. Pozwala określić, które

elementy oglądanego obrazu przykuwały

uwagę w największym stopniu oraz te, które

badani pomijali

Wizualizacja



Mapa uwagi (dwrócona mapa cieplna) –

uwidacznia jakie elementy oglądanego obrazu

zauważył badany

Wizualizacja



Obszary zainteresowań – wydzielone obszary z procentowym zapisem rozkładu uwagi

przedstawione np. w formie nałożonych na oglądany obraz półprzezzroczystych warstw zawierających procentowy opis tego, w jakim stopniu poszczególne elementy przykuwały uwagę. Dla takich obszarów można

generować różne statystyki

Fig. 6 Stimulus size (mm) depending on the monitor head distance (cm) from the screen at constant – 1.5 – degrees of visual angle

(source: http://pl.wikipedia.org/wiki/Rozmiar_k%C4%85towy)

Tab. 1 Związek między odległością oko-monitor i wielkością bodźca (przy stałej wielkości kątowej 1.5 ^o)

Rozmiar bodźca (mm) Odległość oko-monitor (mm)

23.57 900

20.95 800

18.33 700

15.71 600

13.09 500

Encyclopedia of human computer interaction Autorzy: Claude Ghaoui (s. 213-215)

Encyclopedia of human computer interaction Autorzy: Claude Ghaoui (s. 213-215)

Encyclopedia of human computer interaction Autorzy: Claude Ghaoui (s. 213-215)

Encyclopedia of human computer interaction Autorzy: Claude Ghaoui (s. 213-215)

Wskaźniki z BeGaze

liczba mrugnięć w próbie Number of blinks in the trial Blink count liczba mrugnięć/liczba sekund w

przedziale czasowym

Blink count / number of seconds in

time interval Blink frequency [count/s]

suma czasu trwania wszystkich

mrugnięć Sum of duration of all blinks Blink duration total (ms) całkowity czas trwania mrugnięć/liczba

mrugnięć Blink duration total / blink count Blink duration average (ms) najdłuższy czas trwania mrugnięcia Longest blink duration Blink duration maximum (ms) najkrótszy czas trwania mrugnięcia Shortest blink duration Blink duration minimum (ms) liczba fiksacji w próbie Number of fixations in the trial Fixation  count

liczba fiksacji/liczba sekund w

przedziale czasowym Fixation count / seconds of time

interval Fixation  frequency [count/s]

suma czasu trwania wszystkich fiksacji Sum of durations from all fixations Fixation  duration total (ms)

całkowity czas trwania fiksacji/liczba

fiksacji Fixation duration total / fixation

count Fixation  duration average (ms)

najdłuższy czas trwania fiksacji Longest fixation duration Fixation  duration maximum (ms) najkrótszy czas trwania fiksacji Shortest fixation duration Fixation  duration minimum (ms)

Wskaźniki z BeGaze

suma wszystkich rozproszeń fiksacji na X i Y Sum of all fixation dispersion on X and Y Fixation  dispersion total px całkowite rozproszenie fiksacji/liczba fiksacji Fixation dispersion total / fixation count Fixation  dispersion average px największa wartość dla sumy rozproszeń X i

Y dla jednej fiksacji

Largest value for the sum of X and Y

dispersions of one fixation Fixation  dispersion maximum px najmniejsza wartość dla sumy rozproszeń X i

Y dla jednej fiksacji Smallest value for the sum of X and Y

dispersions of one fixation Fixation  dispersion minimum px liczba sakkad w próbie Number of saccades in the trial Saccade  count

liczba sakkad/liczba sekund w próbie Saccade count / numober of secords in

the interval Saccade  frequency [count/s]

suma wszystkich czasów trwania sakkad Sum of all saccade durations Saccade  duration total (ms) całkowity czas trwania sakkad/liczba sakkad Saccade duration total / saccade count Saccade  duration average (ms) najdłuższy czas trwania sakkady Longest saccade duration Saccade  duration maximum (ms) najkrótszy czas trwania sakkady Shortest saccade duration Saccade  duration minimum (ms) suma amplitud sakkad Sum of all saccades amplitude Saccade  amplitude total [°]

całkowita amplituda sakkad/liczba sakkad Saccade amplitude total / saccade

count Saccade  amplitude average [°]

największa amplituda sakkady Maximum saccade amplitude Saccade  amplitude maximum [°]

najmniejsza amplituda sakkady Minimum saccade amplitude Saccade  amplitude minimum [°]

suma wszystkich prędkości sakkad Sum of all saccade velocities Saccade  velocity total [°/s]

całkowita prędkość sakkad/liczba sakkad Saccade velocity total / saccade count Saccade  velocity average [°/s]

maksymalna wartość prędkości sakkad Maximum value of the saccade

velocity Saccade  velocity maximum [°/s]

minimalna wartośćprędkości sakkad Smallest value of the saccade velocity Saccade  velocity minimum [°/s]

średnia latenacja sakkad (czas pomiędzy końcem sakkady i początkiem następnej sakkady/liczba sakkad)

Saccade latency = time between the end of a saccade and the start of the next saccade. Saccade latency average

= total saccade latency for all saccades / saccade count

Saccade  latency average (ms)

EKSPERYMENT

Kalibracja:

1. Instrukcja: proszę skupić uwagę na wyświetlanym obiekcie

2. Rozpocząć kalibrację

3. Zaakceptować punkt fiksacji – „spacja” (lub znaczek )

4. Pojawią się następne punkty – automatycznie (jeśli będzie zaznaczona taka opcja w menu) lub kolejno akceptowane ręcznie – „spacja”

5. Walidacja (weryfikacja dokładności kalibracji)

SMI Experiment Center

Eksperyment:

1.

Przygotowanie: utworzenie nowego lub otworzenie

istniejącego

2.

„Zamknięcie” eksperymentu

3.

Testowanie - „dry run”

4.

Przeprowadzenie exp.

5.

Analiza wyników (przy pomocy

BeGaze)



Uruchom program



Utwórz nowy eksperyment



Kalibracja jest włączana do eksperymentu automatycznie



Ustal właściwości kalibracji



Dodaj własne elementy

Projektowanie:

Projektowanie:

 Aby dodać bodziec do eksperymentu należy:

1. Nacisnąć odpowiedni przycisk w górnym pasku narzędzi albo wybrać odpowiedni element z

„insert menu”. Bodziec zostanie dodany do listy jako nowy element.

2. Wybierz dany bodziec, aby ustawić jego

właściwości. Wybrany bodziec wyświetli się w

oknie podglądowym. W osobnym oknie widoczne będą właściwości bodźca (dla różnych bodźców są dostępne odpowiednie opcje).

3. Wprowadź zmiany właściwości bodźca zgodnie z własnymi wymaganiami.

„ „ Zamknij” eksperyment Zamknij” eksperyment



Zapisz eksperyment Zapisz eksperyment

Przeprowadzenie exp.:

Zanim zaczniesz przeprowadzanie eksperymentu i nagrywanie danych upewnij się, że:

 otwarty jest właściwy eksperyment

 ustawione są właściwości kalibracji

 dołączone są wymagane bodźce

 osoba badana znajduje się dokładnie na wprost monitora

 system iView X jest uruchomiony i właściwie połączony

 w sytuacji ustawień dla dwóch monitorów - wymagany monitor dla wyświetlania bodźców jest podłączony i włączony

BeGaze

Analiza i prezentacja wyników

Kroki:

Uruchomić program

1.

Utworzyć nowy eksperyment

2.

Wybrać uczestników

3.

Wybrać bodźce

4.

Ustawienia fiksacji i sakkad (auto)

5.

Zatwierdzić (create)

6.

Wybrać co chcemy oglądać

Prezentacja wyników:



Wykres liniowy



Ścieżki

(początek-zielony, można ustawić ile pierwszych fiksacji)



Mapy uwagi



Sekwencje regionów zainteresowania (AOI)



Binning chart



Statystyki

Wykres liniowy

Ścieżki

Mapy uwagi

AOI

Binning chart

Statystyki

Eksport danych



Surowych



Przetworzonych – „export”,

„include hit information”

(fiksacje, sakkady, obszary

zainteresowania)

Projektowanie z Ogama



Użytkowanie programu Ogama



do analizy ruchów oczu i wizualizacji



wyników badań percepcji i uwagi wzrokowej

następne

O G A M A



the Open Gaze And Mouse Analyzer



- otwarte oprogramowanie do analizy wzroku



i wskaźnika myszy komputerowej

następne

Fiksacje wzrokowe

 Pomiar fiksacji odbywa się poprzez wykorzystanie algorytmu detekcji fiksacji opublikowanego przez LC technologies.

 Jest to algorytm typu rozproszeniowego z ruchomym oknem (Salvucci & Goldberg 2000).

 Funkcja rozpoznaje fiksacje poprzez poszukiwanie sekwencji pomiarów pozycji wzroku, które pozostają względnie stałe.

następne

Ogama – umożliwia:

● Projektowanie pokazu slajdów do badań

● Rejestrowanie ruchów oczu i myszy komputerowej

● Import danych z ruchów oczu (np.. z SMI)

● Obróbkę danych z zapisu ruchów oczu

● Wizualizację danych wzrokowych i wskaźnika myszy

● Analizę danych wzrokowych

następne

następne

Linki do pobrania programu:



http://ogama.net/node/1

 http://didaktik.physik.fu-berlin.de/OGAMA



(ściągnąć i zainstalować)

 Moduł bazy danych (Database module)

 Moduły analizy wizualnej:

● Odtworzenie (Replay),

● Fiksacje (Fixations)

● Ścieżki wzrokowe (Scanpath),

● Wydatność (Saliency)

● Mapy uwagi (Attention Maps)

 Moduły statystycznej analizy danych:

● Regiony zainteresowania (Areas of Interest)

● Statystyki (Statistics)

Analiza w programie Ogama

następne

Moduł bazy danych

następne

Moduł bazy danych

następne

 Baza danych podzielona jest na 9 tabel:

● osób badanych (lista badanych z metryczką),

● prób,

● wydarzeń w próbach,

● danych surowych,

● parametrów osób badanych,

● regionów zainteresowania,

● grupy kształtów,

● fiksacji wzrokowych,

● fiksacji myszy

następne

Moduł odtwarzania

następne

Fiksacje

następne

Wydatność

następne

Ścieżki wzrokowe

następne

Mapy uwagi

następne

Regiony zainteresowania

następne

Statystyki

następne

następne

References

Andreassi, J.L. (2000). Psychophysiology:

Human Behavior &Physiological Response.

Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc.

Figure: taken from Psych 360- Lab 8- online at

http://webpub.allegheny.edu/employee/a/adal

e/p360/lab8.html

PRZYKŁADY BADAŃ WYKORZYSTUJĄCYCH ANALIZY RUCHÓW GAŁEK OCZNYCH

Badania uwagi poprzez analizę punktu fiksacji wzroku

 Analiza punktów ukierunkowania wzroku

(patrzenia) jako świadczących o przedmiocie uwagi dotyczy raczej uwagi jawnej.

 Ale uwaga może być także skoncentrowana poza punktem, na który skierowane jest oko i to właśnie stanowi problem dla badań z użyciem eye trackera (zakładamy w nich, że osoba koncentruje się i widzi to, na czym fiksuje wzrok).

Percepcja obrazu/sceny

 Fiksacja na elementach obrazu pozwala na ich zapamiętanie. Im więcej cech (dzięki wydłużeniu czasu patrzenia lub liczby fiksacji) zostanie

zakodowanych, tym lepsza pamięć danego obrazu.

 W części centralnej pola widzenia obraz ma wysoką rozdzielczość, na peryferiach – niską.

 Większość informacji ogólnych na temat obrazu zdobywana jest w trakcie pierwszej na nim

fiksacji.

 Kolejne fiksacje służą w większym stopniu zdobywaniu informacji szczegółowej.

 Przenoszenie spojrzenia na kolejne elementy obrazu – ważna jest analiza tego, gdzie padają spojrzenia i jak długo trwają kolejne fiksacje.

Percepcja obrazu: makro- i mikroanalizy

 Ruchy są nieprzypadkowe, spojrzenia koncentrują się w

częściach informacyjnych obrazu. Stąd ruchy oczu wykorzystuje się jako metodę badania on-line przetwarzania informacji.

Hipoteza schematu: kiedy zaczynamy patrzeć na obraz,

przywołujemy umysłowy prototyp sceny i kierujemy spojrzenia nieprzypadkowo.

 Analizy z poziomu: (1) makro, np. ogólny czas patrzenia na jakiś obszar, liczba fiksacji i (2) mikro, np. czas trwania pierwszej

fiksacji, kolejnych pass gaze duration, czyli suma wszystkich fiksacji od momentu spojrzenia na dany obszar i opuszczenia danego obszaru – dla pierwszego (drugiego i kolejnych)

„przypatrywań” się danemu obszarowi.

 Krytyka: dłuższe patrzenie nie musi oznaczać jedynie próby identyfikacji, ale też np. próbę uspójnienia widzianego

elementu ze wcześniej spostrzeżonymi.

Przeszukiwanie percepcyjne

 Proces wzrokowego skanowania obrazu.

 Zmienne, które należy kontrolować w tego typu badaniach:

wielkość obrazu; rodzaj zadania (np. polecenie zapamiętania, wyszukania elementu, swobodnego oglądania); czas ekspozycji obrazu; treść obrazu; elementy strukturalne obrazu (kolor,

rodzaj kreski).

 Pytanie o charakter procesu percepcji obrazu: top-down czy bottom-up (na ile kierują przeszukiwaniem reprezentacje

poznawcze?) i rolę przetwarzania nieświadomego w percepcji.

 Różne podejścia teoretyczne: (1) teoria integracji cech (FIT:

feature integration theory) Treisman; (2) teoria kierowanego przeszukiwania (GS: guided search) Wolfe’a; (3) obliczeniowe modele przeszukiwania wzrokowego (Doll i in, 1993; Wolfe, Gancarz, 1996; Itti, 1998).

Badania uwagi poprzez analizę punktu fiksacji wzroku - przykłady

 Snodderly i in. (2001)

 w badaniu makaków stwierdzili, że neurony w polu V1 reagują specyficznie i różnorodnie.

 Wyróżnili wzorce aktywności obecne podczas:

 (1) sakkad (małpy kierowały spojrzenie na bodziec, odwracały wzrok od bodźca lub

przenosiły wzrok na różne obszary bodźca);

 (2) dryftu i

 (3) mieszane (występują bezpośrednio po sakkadzie).

Badania uwagi poprzez analizę punktu fiksacji wzroku - przykłady

 Asaad i in. (2000):

 Badanie małp dotyczące roli płatów przedczołowych w spostrzeganiu. Wykonywały one na materiale wzrokowym zadania:

(1) pamięciowe odnośnie obiektu;

(2) skojarzeniowe (warunkowanie wzrokowo-ruchowe, gdzie ruch dotyczył wykonania spojrzenia w prawo lub lewo);

(3) pamięciowe dotyczące przestrzeni (czy spojrzeć w prawo czy w lewo?).

W zadaniach (1) i (2) były te same bodźce, ale wymagały one

różnych reakcji: skierowania spojrzenia na bodziec zapamiętany lub spojrzenia w prawo lub lewo.

W zadaniach (2) i (3) różne wskazówki wymagały tych samych reakcji.

Choć każde z trzech zadań wymagało ruchu oka, stwierdzono różnice w aktywności neuronów w korze przedczołowej

podczas ich wykonywania.

Stąd wniosek, że w korze przedczołowej odbywa się decydowanie o przyszłym zachowaniu.

Ruchy oczu i neuroobrazowanie

 Równoczesne badanie ruchów oka eye trackerem i aktywności mózgu za pomocą fMRI.

 Wysokie koszty tego typu urządzeń (muszą być ze sobą

„zgrane”).

 Badania obszarów aktywnych w mózgu podczas sakkad,

stereopsji, widzenia głębi i innych (np. Gamlin, Twieg, 1997;

Ozyurt i in., 2001).

 Tego typu badania pozwalają na identyfikację obszarów

mózgu zaangażowanych w zachowania uwagowe (attentional behavior).

Czytanie – paradygmaty badań

 Początkowo stosowane podczas badań czytania, obecnie szerzej.

 Prezentuje się do czytania zdanie, w którym w trakcie badania wymieniane jest jedno słowo, np.:

the quick brown fox jumped over the lazy dog the quick brown cat jumped over the lazy dog

 Trzy główne paradygmaty:

(1) Moving window (McConkie, Rayner, 1975);

(2) Foveal mask (Rayner, Bertera, 1979);

(3) Boundary (Rayner, 1975).

Czytanie. Technika moving window

 Polega na pozostawieniu określonej ilości liter (np. 5, 15) w zdaniu na prawo lub lewo od punktu fiksacji (tzw. okna) oraz zamaskowaniu reszty liter w zdaniu (* oznacza punkt fiksacji wzroku), np. w zdaniu the quick brown fox jumped over the lazy dog:

xxxxxxxxk brown fox jumxxxxxxxxxxxxxxxxxxxx *

 Okno przesuwane jest w trakcie czytania (od lewej do prawej).

 Kiedy okno jest co do wielkości równe obszarowi, z którego osoba jest w stanie gromadzić informacje (ma zdolność ich widzenia) przy określonym punkcie fiksacji, nie ma różnicy w czytaniu zdania oryginalnego i zdania, przy czytaniu którego zastosowano technikę ruchomego okna.

Czytanie. Technika foveal mask

 Zamaskowanie określonej ilości znaków w zdaniu (np. 7), które znajdują się w centralnej części pola widzenia, np,:

the qxxxxxxxwn fox jumped over the *

 Stworzenie sytuacji przypominającej centralny ubytek pola widzenia (osoby badane zachowują się podobnie, jak pacjenci z rzeczywistym ubytkiem pola widzenia).

Czytanie. Technika boundary

 Zamiana słowa w zdaniu (np. z fox na cat) z chwilą przekroczenia przez punkt fiksacji ustalonej granicy (oznaczonej przez „I”, a dla badanego niewidocznej):

the quick brown fox jumped over the lazy dog * I

the quick brown cat jumped over the lazy dog I *

 Czas fiksacji na zamienionym słowie i odległość od niego

poprzedniego punktu fiksacji pozwalają na wnioskowanie na temat informacji zdobytej dzięki widzeniu okołodołkowemu (parafoveal vision).

Czytanie – ciekawostki

 Ruchy gałek ocznych różnią się podczas czytania po cichu i na głos (w drugim przypadku są dłuższe fiksacje).

 Podczas czytania angielskiego tekstu fiksacja trwa średnio 200- 250 ms, a średnia wielkość sakkady to 7-9 znaków (letter

spaces).

 Ruchy oczu zależą od zmiennych związanych z tekstem (np. im trudniejszy do zrozumienia tekst, tym dłuższe fiksacje i krótsze sakkady) i typografią (jakość druku, długość linii, odstęp

między literami itp.).

 Czytający zazwyczaj zdobywają informacje konieczne do

odczytania (zrozumienia?) tekstu podczas pierwszych 50-70 ms fiksacji.

 Skanowanie kolejnych liter widzianych centralnie (foveal) nie ma miejsca.

 Czytający mają dostęp do średnio 3-4 liter na lewo i 14-15 liter na prawo od danego punktu fiksacji.

 Można wyodrębnić strategie czytania: ryzykowną (szybką, globalną) i uważną (wolniejszą).

Percepcja sztuki

 Badania percepcji obrazów.

 Stwierdzono niewielkie różnice w sposobie skanowania obrazu (scanpath) u osób,

które oglądały obraz w celu odczytania jego znaczenia lub oceny walorów

estetycznych. W obydwu przypadkach

obszary obrazu, na których koncentrowały się fiksacje, były bardzo zbliżone.

 Bardziej skomplikowane obrazy (z większą ilością detali) wywołują krótsze fiksacje niż obrazy mniej skomplikowane (porównanie percepcji dzieł barokowych i renesansowych).

 Metody analizy danych: mapy fiksacji, mapy krajobrazu (landscape).

Percepcja filmu

 Forma dynamiczna.

 Analiza różnych błędów w montażu – dla niektórych czas

ruchu oka po wystąpieniu danego elementu montażu wzrastał z 200 do 400 ms.

 Dłuższy ruch (eye movement) świadczyć może o

zaangażowaniu pozapercepcyjnych procesów poznawczych (postperceptual cognitive effects).

Czynności codzienne (natural tasks)

 Przykładowe badania: robienie herbaty, kanapek, mycie rąk, tworzenie z klocków wskazanego modelu, przerysowywanie modelu zabawki (to zadanie wykonywano w świecie

wirtualnym).

 Wymagane eye trackery nagłowne, aby możliwe było naturalne zachowanie, z którym związane jest obracanie głowy i

poruszanie się.

 Centralne pole uwagi w większości koncentrowało się w obszarze, gdzie znajdowały się obiekty, którymi należało manipulować.

 Oczy skierowane były zwykle na obiekt manipulacji z

wyprzedzeniem (dopiero potem ręka kierowana była w tym kierunku) – ruchy oczu są częścią wzorca ruchu.

 Kolejność ruchu: oko – głowa – ręka.

Inne obszary zastosowania analizy ruchów gałek ocznych

w badaniach dotyczących przetwarzania informacji

 Przetwarzanie semantycznych bodźców słuchowych (auditory language processing): analiza słuchania tekstu w połączeniu z oglądaniem związanego z nim rysunku; manipulacja

obiektami na ekranie komputera na podstawie instrukcji słownych.

 Zadania matematyczne, czytanie liczb, rozwiązywanie problemów (np. wymagających myślenia przez analogię).

 Ruchy gałek ocznych podczas wykonywania podwójnego zadania (dual tasks).

 Percepcja twarzy.

 Iluzje i wyobraźnia.

 Uszkodzenia mózgu (np. przy ubytkach pola widzenia).

 Sytuacje dynamiczne (jazda samochodem, gra w tenisa,

chodzenie po nierównym terenie, praca przy komputerze itp.)

 Comparison of Areas of Interest in experts and novices allowed us to design a cognitive model of visual scanning during different types of flight tasks.

 Experts collect visual information more effectively and cope better with changing requirements of a task.