BADANIE REGUŁ POSTRZEGANIA NATURALNEGO W CELU ICH WYKORZYSTANIA W INTELIGENTNYCH SYSTEMACH WIZYJNYCH

BADANIE REGUŁ POSTRZEGANIA NATURALNEGO W CELU ICH WYKORZYSTANIA W INTELIGENTNYCH SYSTEMACH WIZYJNYCH

PIOTR AUGUSTYNIAK, ZBIGNIEW MIKRUT

Katedra Automatyki Akademii Górniczo-Hutniczej, Kraków, {august zibi}@agh.edu.pl

Streszczenie. Referat opisuje prace badawcze maj - ce na celu okre
lenie parametrów epizodów składowych procesu pobierania informacji wizyjnej przez system wzrokowy człowieka. System ten sw^ wysok^ spraw- no^ funkcjonaln^ zawdzi^cza wyst^puj cym naprze- miennie epizodom koncentracji uwagi i inteligentnego poszukiwania informacji. Istnieje zatem uzasadniona nadzieja, e uycie systemu wzrokowego człowieka jako wzorca dla rozwiza u^ytych w systemach sztucznej inteligencji przyczyni si^ do istotnej poprawy ich parametrów. Opisano eksperymenty okoruchowe maj^ce na celu okre^lenie postrzeganego zakresu sceny podczas pojedynczego epizodu koncentracji uwagi.

Dodatkowo dokonano oszacowania ilo^ci informacji, która mo^e zosta^ odtworzona na podstawie kontekstu, bez potrzeby ponownej zmiany punktu koncentracji uwagi. Otrzymane rezultaty dowodz^ m. in., ^e gałka oczna jest słabym przyrz^dem optycznym o stosunkowo w^skim k^cie widzenia. Rezultaty mog^ by^ przydatne do dalszej analizy procesu postrzegania, a zwłaszcza czytania, oceny sprawnoci interpretacji obrazów i wreszcie w ocenie poprawnoci funkcjonowania układu okulomotorycznego.

1. WPROWADZENIE

Analiza procesu pobierania informacji przez system wzrokowy człowieka [6] jest niezwykle istotnym czyn- nikiem modelowania procesu pobierania informacji i stwarza nadziej na zaimplementowanie rzdz cych nim reguł w inteligentnych systemach wizyjnych. Sys- temy te, działaj^!ce wedle reguł sztucznej inteligencji

zast^"puj^# coraz cz^$%ciej człowieka w zadaniach obser-

wacyjno-interwencyjnych o szczególnej uci^&'liwo⁽ci (np. ci⁾gła analiza obrazów z kamer, przedstawiaj^*cych ruch drogowy). Kolejnym krokiem jest uczynienie z nich funkcjonalnej repliki narz⁺du wzrokowo- okoruchowego człowieka, wydaje si^, zatem naturalne uzupełnienie ich o algorytmy realizuj^-ce funkcje inteli- gentnego poszukiwania informacji wizyjnej. Poniewa^. postrzeganie sceny realizowane jest przez człowieka pod^/wiadomie, a niekiedy z wykorzystaniem nawyków

okulomotorycznych, uzasadnione wydaje si⁰ badanie reguł postrzegania równie¹ bez anga²owania ³wiado- mo⁴ci obserwatora. Mo⁵e to by⁶ dokonane przez akwi- zycj⁷ i analiz^{8 9}cie^:ki wzrokowej, a nast^;pnie uogólnie- nie wyznaczonych parametrów do odpowiednich reguł.

Według bada^< okulistycznych i oftalmologicznych oko jest bardzo niedoskonałym przyrz⁼dem wizyjnym, a sprawno^>? systemu wizyjnego człowieka jest osi^@gana dzi^Aki naprzemiennym procesom pozyskiwania infor- macji, ich analizy i poszukiwania [2, 5].

Poniewa^B zainteresowanie kolejnymi informacjami ze sceny jest uwarunkowane subiektywnie, ^Ccie^Dka wzrokowa mo^Ee by^F bardzo skomplikowana. Znacznym ułatwieniem mo^Ge by^H serializacja informacji wizyjnej dokonywana przez u^Iycie tekstu, którego odczytanie jest zdefiniowane przez nast^Jpstwo liter od lewej do prawej i wierszy od wy^Kszych do ni^Lszych.

Badania procesu postrzegania opisywane w niniej- szym artykule miały na celu odpowied^M na nast^Npuj^Oce pytania:

- jak^P porcj^Q sceny obserwator postrzega jednocze^Rnie?

- jaka jest g^Ssto^TU punktów koncentracji uwagi ko- nieczna do prawidłowej percepcji sceny?

2. MATERIAŁY I METODY

Badania maj^Vce na celu odpowied^W na wy^Xej sfor- mułowane pytania przeprowadzono metod^Y dwóch eksperymentów wizualnych (ang. visual task) z u^Zyciem aparatury rejestruj^[cej ^\cie^]k^{^} okoruchow^_ (ang. ey- etracker) Ober-2. Podczas realizacji zada^` scena po- strzegana przez obserwatora jest wcze^aniej precyzyjnie przygotowana, a analiza trajektorii ruchu gałek ocznych jest dokonywana w kontek^bcie zawarto^cci sceny.

W charakterze obserwatorów wyst^dpowali wolontariu- sze wyłonieni z grup studenckich (8 osób, 5 kobiet, 3 m^efczyzn, ^grednia wieku 22 lata).

Do rejestracji poło^henia gałki ocznej wykorzystano urzⁱdzenie Ober-2 [4], które mierzy moc wi^jzki pro- mieniowania podczerwonego odbitego od gałki ocznej.

O^kwietlacze oraz detektory promieniowania podczer-

wonego umieszczone s^l w goglach zakładanych przez obserwatora (rys. 1), sk^md sygnał elektryczny pobierany jest do systemu OBER2 a po przetworzeniu na postaⁿ cyfrow^o (12 bitów, 500 Hz) dost^ppny na ł^qczu komuni- kacji szeregowej w postaci ci^rgu czwórek liczb, b^sd^t- cych reprezentacj^u pozycji centrum ka^vdego z oczu w osi pionowej i poziomej. Poprawna interpretacja danych pochodz^wcych z urz^xdzenia jest mo^yliwa dzi^zki ustale- niu pozycji obserwatora wzgl^{dem prezentowanej sceny (monitora komputerowego) a tak^|e kalibracji urz^}dze- nia, polegaj^~cej na obserwacji prostok^ta o standardo- wych wymiarach ka^€dorazowo przed i po pokazie.

Rys. 1. Fizyczna zasada działania urz^dzenia do rejestracji sygnału okoruchowego Ober-2.

2.1 Pokazy ci

gów znaków

Pierwszy z eksperymentów polegał na obserwacji pojawiaj^ƒcych si^„ w dowolnych miejscach sceny ci- gów znaków (0-9,A-Z - por. rys. 2). Eksperyment ten miał na celu zbadanie zale^†no^‡ci poprawno^ˆci rozpo- zna^‰ ci^Šgu znaków od długo^‹ci tego ci^Œgu, a tak^e stwierdzenie, jaka długo^Ž ci^gu jest jeszcze obserwo- walna za pomoc^‘ jednego epizodu koncentracji uwagi [1, 3]. Zawiera on zarówno aspekt geometryczny (dłu^’- szy ci^“g zajmuje wi^”kszy fragment sceny) jak i infor- macyjny (dłu^•szy ci^–g zawiera wi^—ksz^˜ ilo^™š informa- cji). Ci^›gi znaków były prezentowane w ograniczonym czasie dobieranym z przedziału od 0,1 do 1 [s] tak, aby obserwator nie zd^œył wielokrotnie skanowa^ž sceny, co było kontrolowane za pomoc^Ÿ systemu okoruchowego Ober-2.

Rys. 2. Przykład ci gu znaków wy^¡wietlanego na ekranie, d jest współrz^¢dn^£ poziom^¤ wzgl^¥dem ^¦rodka ekranu.

Wst^§pna analiza 465 pokazów pozwoliła na ustale- nie reguł interpretacji ^¨cie^©ek wzrokowych oraz zjawisk zakłócaj^ªcych zale^«no^¬­ liczby epizodów koncentracji

uwagi od geometrycznego rozmiaru prezentowanej informacji:

- zbyt krótki czas pokazu powoduje, ^®e obserwator nie zd^¯°y przeanalizowa^± zauwa^²onej sekwencji znaków i rozpocz^³´ poszukiwania brakuj^µcej cz^¶·ci (w takich przypadkach otrzymywano jeden punkt koncentracji uwagi, a informacja zawarta w dalszej cz^¸¹ci ci^ºgu znaków była zgubiona);

- zbyt długi czas pokazu powoduje, ^»e obserwator po całkowitym rozpoznaniu prezentowanego ci^¼gu znaków zaczyna poszukiwa^½ innych interesuj^¾cych elementów sceny i ^¿cie^Àka wzrokowa reprezentuje równie^Á dodatkowe punkty koncentracji uwagi.

2.2 Rekonstrukcja tekstu zniekształconego

Drugi eksperyment polegał na czytaniu tekstu znie- kształconego poprzez losow^Â zamian^Ã liter w obr^Äbie wyrazów. Prezentowany tekst zawierał narastaj^Åc^Æ licz- b^Ç przestawie^È (rys. 3) zmuszaj^Écych obserwatora do interpolacji zniekształconej informacji, a przy przekro- czeniu okre^Êlonego progu - do poszukiwania brakuj^Ëcej informacji w kontek^Ìcie s^Ísiednich wyrazów. Progowa warto^ÎÏ odsetka przestawionych liter była mo^Ðliwa do okre^Ñlenie przy pomocy generatora zniekształconego tekstu. Eksperyment umo^Òliwiał rejestracj^Ó sygnału okoruchowego, a nast^Ôpnie stwierdzenie, w którym wierszu ^Õcie^Öka wzrokowa obserwatora traciła charakter jednokierunkowo-skokowy, typowy dla czytania płyn- nego, i zawierała przeskoki i powroty kolejnych punk- tów koncentracji uwagi, zwi^×zane z próbami interpreta- cji zniekształconej informacji w szerszym kontek^Øcie.

Rys. 3. Przykład tekstu zniekształconego. Podczas ekspery- mentu tekst był wy^Ùwietlany linijka po linijce.

3. REZULTATY

Trudno^Úci z opracowaniem w pełni automatycznego algorytmu interpretuj^Ûcego ^Ücie^Ýk^Þ wzrokow^ß i uwzgl^àdniaj^ácego powy^âsze ograniczenia były przy- czyn^ã manualnej interpretacji ^äcie^åek wzrokowych. Ze zbioru wyników eksperymentów, opisanych w punkcie 2.1, usuni^æto ^çcie^èki wzrokowe nie zawieraj^éce precy- zyjnie zlokalizowanych punktów koncentracji uwagi, a tak^êe te, dla których czas pokazu był mniejszy ni^ë 500 [ms]. Przyj^ìty czas uznano za wystarczaj^ícy do dwu- krotnej koncentracji uwagi, je^îli wymaga tego proces postrzegania. W zbiorze pozostałych 245 obserwacji otrzymano wysok^ï korelacj^ð ilo^ñci punktów koncentra- cji uwagi z długo^òci^ó prezentowanego ci^ôgu znaków (r Pearsona = 0.5196) oraz niewielkie zale^õno^öci od czasu prezentacji (r = 0.1948) i odległo^÷ci prezentowa- nego ci^øgu od centrum sceny (r = 0.1627). ^ùadna ^úcie^û- ka wzrokowa nie zawierała trzech punktów koncentracji uwagi. Prawdopodobie^üstwo wyst^ýpienia dwóch punk-

tów koncentracji uwagi w zale^þno^ÿci od długo ci tekstu przedstawia tabela 1.

Tab.1. Prawdopodobie
stwo postrzegania ci^gu znaków za pomoc^ dwóch epizodów koncentracji uwagi.

długo^ ci^gu znaków

k^t widzenia

[^o]

prawdopodobie^stwo wyst - pienia dwóch epizodów

koncentracji uwagi

4 1.77 0.0889

5 2.22 0.3462

6 2.66 0.4000

7 3.11 0.6207

8 3.55 0.6471

9 3.99 0.7407

10 4.44 0.8026

Przykładowe wykresy składowych poziomych cie-

ek wzrokowych przy ograniczonym czasowo rozpo- znawaniu cigu znaków przedstawia rysunek 4.

Rys. 4. Składowe poziome cie^ek wzrokowych dla:

a) pojedynczego epizodu koncentracji uwagi b) dwóch epizo- dów koncentracji uwagi.

W drugim eksperymencie (por. pkt 2.2) parametry



cie^ki wzrokowej były opisywane przez ró^nice pr^d- ko^ci i kierunku w osi poziomej. Graniczny odsetek przestawionych liter wyra^a maksymalny interwał, w którym obserwatorowi łatwiej jest interpolowa^ znie- kształcon^ informacj^ ni^ poszukiwa^ jej z u^yciem systemu wizyjnego. Wybór ten jest oczywi^cie doko- nywany podwiadomie i zaley od cech osobniczych.

Sporód 288 pokazów linii tekstu zniekształconego zawierajcych rednio 74.7 ±9.2 znaków zidentyfiko- wano 62 sytuacje powrotu (przesuni^!cia w lewo) punktu koncentracji uwagi. Przyj^"to nast^#puj^$ce kryteria:

- obie gałki oczne musz^% wykona^& ruch powrotny, - ruch powrotny wyst^'puje po rozpocz⁽ciu skanowa-

nia linii tekstu i przed zako⁾czeniem (ruchy po- wrotne styczne do granic tekstu nie były brane pod uwag^*),

- długo^+, skoku powrotnego wyra^-ono jako ułamek całkowitej długo^.ci ^/cie⁰ki wzrokowej w płasz- czy¹nie poziomej, a zatem do długo²ci tekstu.

Na rysunku 5 przedstawiono przykładowe wykresy składowych poziomych ³cie⁴ek wzrokowych, zareje- strowanych podczas obserwacji jednej linijki tekstu.

Długo⁵⁶ ruchu powrotnego stanowiła ⁷rednio 10.95% długo⁸ci ⁹cie^:ki wzrokowej (±6.44%). Zatem bior^;c pod uwag^<, ⁼e ^>cie^?ka wzrokowa zawiera ^@rednio 12.8 punktów koncentracji uwagi na odczytywanym tek^Acie sformułowano nast^Bpuj^Cce wnioski:

- niepowodzenie interpolacji tekstu powoduje powrót koncentracji uwagi do znanego fragmentu, - ^Drednia ilo^EF liter przypadaj^Gca na punkt koncentra-

cji uwagi wynosi 5.8359 i jest nieco mniejsza ni^H w przypadku pokazów izolowanych ci^Igów znaków.

4. DYSKUSJA

Przeprowadzone eksperymenty i analiza otrzyma- nych ^Jcie^Kek wzrokowych pozwoliły na udzielenie od- powiedzi na pytania, sformułowane we wprowadzeniu:

- porcja tekstu widziana podczas pojedynczego epi- zodu koncentracji uwagi jest wi^Lksza ni^M skok gałki ocznej – ^Nrednia odległo^OP punktów koncentracji uwagi stanowi zatem dolne oszacowanie porcji in- formacji pobieranej ze sceny,

- porcja tekstu mo^Qliwa do interpolacji bez anga^Ro- wania systemu okulomotorycznego do poszukiwa^S kontekstowych jest mniejsza ni^{T U}rednia odległo^VW pomi^Xdzy punktami koncentracji uwagi podczas powrotu.

Przeprowadzone eksperymenty wykazały tak^Ye siln^Z zale^[no^\] parametrów ^{^}cie^_ki wzrokowej od cech osob- niczych. Niektórzy obserwatorzy postrzegali znacznie wi^`ksze porcje tekstu podczas pojedynczego epizodu koncentracji uwagi.

Przeprowadzono tak^ae próby gło^bnego czytania zniekształconego tekstu, co miało na celu bie^cdc^e wery- fikacj^f poprawno^gci interpolacji zniekształconej infor- macji. Okazało si^h jednak, ⁱe gło^jna wymowa powodu- je znaczn^k niestabilno^lm pozycji głowy i w konsekwen- cji zniekształcenie rejestrowanej ⁿcie^oki wzrokowej.

b) a)

Zastosowanie wyników analizy pobierania informa- cji wizyjnej przez człowieka otwiera mo^pliwo^qci znacz- nego rozszerzenia poj^rcia interaktywno^sci mediów informacyjnych. Jako przykłady pomysłów wartych dalszego rozwijania poda^t mo^una:

- hipertekst rozwijany w zale^vno^wci od koncentracji uwagi czytelnika na wybranym wyrazie,

- tekst inteligentny, w którym tre^xy kolejnych wy-

z

wietlanych wierszy jest uzale^{niona od parame- trów ^|cie^}ki wzrokowej czytelnika,

- interaktywny pokaz wizyjny (informacyjny, eduka- cyjny lub rozrywkowy), w którym celowa modyfi- kacja tre^~ci kieruje uwag^ obserwatora.

PODZI

KOWANIA

Opisywane prace badawcze były finansowane przez Akademi^ Górniczo-Hutnicz^‚ w Krakowie, nr umowy:

11.11.120.249. Autorzy wyra^ƒaj^„ swe podzikowania studentom: Łukaszowi Chornikowskiemu, Łukaszowi Czajczykowi, Przemysławowi Koprowskiemu oraz Franciszkowi Korcie za zaanga^†owanie i kreatywno^‡ˆ.

LITERATURA

[1] Augustyniak P., Mikrut Z.: Lokalizacja istotnych cech obrazu metod^{‰ Š}ledzenia ^‹cie^Œki wzrokowej, XIII Krajowa Konferencja Biocybernetyka i In y- nieria Biomedyczna, 931-936, Gda^sk 2003.

[2] Boccignone G.: An Information-theoretic Approach to Active Vision, 11th International Conference on Image Analysis and Processing ICIAP, 2001.

[3] Mikrut Z., Augustyniak P.: Estimation of Execution Time for Tasks of Objects Counting and Localiza- tion Using the Ober2 Device, IFMBE Proc. 2: 144- 145, Reykjavik 2002.

[4] Ober J., Hajda J., Loska J., Jamicki M.: Applica- tion of Eye Movement Measuring System OBER2 to Medicine and Technology, SPIE, Infrared tech- nology and applications 3061(1):327-333, Orlando, USA, 1996.

[5] Pelz J. B., Canosa R.: Oculomotor behavior and perceptual strategies in complex tasks, Vision Re- search 41:3587-3596, 2001.

[6] Yarbus A. F.: Eye Movements and Vision, New York, Plenum Press, 1967.

Rys. 5. Składowe poziome ^Žcie^ek wzrokowych: a) ^cie^‘ka wzrokowa o charakterze jednokierunkowo-skokowym b) ^’cie^“ka wzrokowa z powrotami koncentracji uwagi (sytuacje powrotu oznaczono okr^”gami).

b) a)