Możliwości pomiaru stopnia zrozumienia – problem trafności testu

Pojęcie rozumienia, które nabrało dużego znaczenia w latach 70. ubiegłego wieku, do dnia dzisiejszego nie zostało jasno zdefiniowane. W glottodydaktyce było i nadal pozostaje „a somewhat elusive entity” (Urquhart/Weir 1998: 85), czego źródeł należy po części szukać w złożoności jak i niedostępności procesów, do których się odnosi. Jak zauważa Alderson (2000: 355), procesy czytania są tajemnicze i nie do końca zrozumiałe. To samo możemy powiedzieć o słuchaniu, które również jest procesem mentalnym, nie podlegającym bezpośredniej obserwacji (Rost 2002: 2).

Rozumienie w psycholingwistyce i glottodydaktyce ujmowane jest jako:

– w szerokim znaczeniu synonim procesu czytania/słuchania, polegający na interakcji czytającego/słuchającego z tekstem (Grotjahn/Tesch 2010b: 91);

– mentalny produkt – rezultat procesu rozumienia zachodzącego w akcie czytania i słuchania³⁶ (ibid.);

– obok dekodowania, etap przetwarzania tekstu czytanego/słuchanego na wyższym poziomie, składający się z szeregu procesów prowadzących do konstrukcji jego znaczenia, jak np.: inferowanie, budowa modeli mentalnych (Lund 1991: 196; Urquhart/Weir 1998: 88).

Innymi słowy, rozumienie jest procesem, którego celem i produktem finalnym jest zrozumienie. W celu uzyskania wglądu w niedostępne zwykłym obserwacjom operacje przetwarzania tekstu w glottodydaktyce wykorzystywane są m.in. metody introspekcyjne i retrospekcyjne, polegające na werbalnym opisie procesów przetwarzania informacji zachodzących w trakcie czytania/słuchania. Są to np. wywiady, kwestionariusze, dzienniki, oraz raporty werbalne, których celem jest rejestracja myśli, działań i odczuć towarzyszących wykonywaniu zadań w zakresie czytania/słuchania. Do raportów werbalnych należą – stosowane do pomiaru czytania – protokoły głośnego myślenia (think aloud protocol), w których werbalizacja myśli przebiega równocześnie z wykonywaniem zadania, oraz raporty

36 Tę dwuaspektowość rozumienia uwzględnia terminologia niemiecka: Verstehen odnosi się do procesu, zaś Verständnis do produktu tego procesu (Grotjahn/Tesch 2010b: 91). W języku polskim rzeczownik rozumienie wyraża niedokonany, zaś zrozumienie dokonany aspekt tej samej czynności.

Tym samym zrozumienie sugeruje cel czy też wynik czynności, natomiast rozumienie wskazuje na jej trwanie i przebieg. Jednakże w literaturze nie uwzględnia się tych znaczeń i oba terminy używane są wymiennie.

66

retrospektywne, opierające się na eksternalizacji myśli po wykonaniu zadania³⁷. Badanie produktu, na którym opiera się standaryzowane testowanie językowe, jest łatwiejsze niż badanie procesu, ale wiąże się z poważnymi ograniczeniami i problemami natury badawczej, o czym będzie mowa poniżej (Alderson 2000: 7).

Zasadnicze pytanie, które w związku z powyższym samoistnie się nasuwa, brzmi: Czy zrozumienie tekstu można obiektywnie zmierzyć? W tym miejscu warto przytoczyć kilka opinii badaczy zajmujących się problematyką rozumienia w zakresie nauczania sprawności receptywnych w języku obcym:

[…] wynik zrozumienia tekstu, chociaż często mierzony obiektywnymi testami, nie jest wcale produktem ściśle określonym i łatwo wymierzalnym. (Chodkiewicz 1986: 25)

[…] Damit muss allerdings die Auffassung des Textverständnisses als einer objektiv feststellbaren Größe aufgegeben werden: es kann die Bedeutung bzw. den Textsinn nicht geben! (Karcher 1987: 23)

[…] [I]t is impossible to assess ‘pure’ comprehension, since even to respond to comprehension checks, the testees must apply their comprehension. In other words, comprehension and response to comprehension checks and tasks are always separate, and the movement from one to the other always involves application. It is impossible to test

‘comprehension’ as it is to test ‘competence’. (Urquhart 1987: 399-400)

Since text comprehension concerns extended parallel and sequential processes, there is no one “understanding” which can be directly measured. (Ballstaedt/Mandl 1988: 1040)

Textverstehen ist eigentlich nicht messbar. Es ist auch nicht beobachtbar.

Messbar und beobachtbar ist nur die Bewältigung von Hör-/Leseaufgaben, die bestimmen, was und wie viel von einem Text verstanden werden soll. Hier erbrachte Leistungen oder Nichtleistungen

37 Szerzej na temat metod badania kognitywnych procesów rozumienia zob. Matsumoto (1993).

Badaniom intro- i retrospektywnym poddawany jest również proces rozwiązywania testów językowych, zob. np. Wu (1998), Park (2009), Konieczna (2009).

67

können als Indizien für Fortschritte oder verbliebene Defizite des Textverstehens dienen. (Solmecke 1993: 106)

However good our tests are, a single score will always mislead. (Spolsky 1994: 152)

[testers’] understanding of the phenomenon – the construct – is faulty, partial and possibly never perfectible. (Alderson 2000: 2)

Measuring reading comprehension […] is far from simple because there are multifarious definitions of comprehension. (Koda 2004: 228)

Powyższa prezentacja opinii naukowych, choć dość ograniczona, ukazuje jednak, że pomiar zrozumienia tekstu to niezwykle trudne, złożone lub, jak wprost stwierdza większość badaczy, niemożliwe do wykonania zadanie. Jednakże zrozumienie niemierzalne w teorii, okazuje się być mierzalne w praktyce – wieloletnia historia i współczesna dydaktyka testowania sprawności receptywnych zdaje się zatem podważać wiarygodność tego ostatniego stanowiska. Pomiar osiągnięć w czytaniu i słuchaniu jest nie tyle podyktowany, co wręcz wymuszony potrzebami w zakresie nauczania języków obcych. Fakt ten jednocześnie tłumaczy, dlaczego, pomimo niedostępności, kompleksowości i nieokreśloności obiektu pomiaru – zrozumienia, jak i niedoskonałości jego narzędzi, testowanie osiągnięć w czytaniu i słuchaniu jest powszechnie uznanym i akceptowanym działaniem dydaktycznym, które w przypadku egzaminów doniosłych ma dalekosiężne, poważne konsekwencje dla testowanych.

Problemy i ograniczenia, jakie pojawiają się podczas testowania językowego, dotyczą nie tylko możliwości badania zrozumienia jako produktu interakcji wielowarstwowych operacji kognitywnych, ale również odnoszą się do obecnie stosowanych, chociaż nie zawsze adekwatnych narzędzi pomiaru – testów. Można je zamknąć w pytaniu: Czy standaryzowane testy rzeczywiście odzwierciedlają i mierzą interakcję, jaka zachodzi pomiędzy czytającym/słuchającym a tekstem w realnych sytuacjach komunikacyjnych? (por. Weir 1997: 39).

Pierwszą sprawą wymagającą rozważenia jest to, co właściwie oznacza zrozumieć dany tekst. Czy jest to równoznaczne ze zrozumieniem wszystkich

68

szczegółów czy ogólnego sensu, części czy całości tekstu? (Solmecke 1999: 313).

Jeden, „perfekcyjny” poziom zrozumienia, który odpowiadałby wszystkim, czy większości celów czytania/słuchania, nie istnieje. Jak słusznie zaznacza Koda (2004:

230): „[Comprehension] is not an all-or-nothing process or product”³⁸. Czytający/słuchający może zrozumieć 80%, 50% a nawet 1% tekstu i każdy z tych stopni zrozumienia, w zależności od postawionego celu, może być poprawny (Urquhart 1987: 391). To cel decyduje o tym, że procesy rozumienia podczas czytania/słuchania różnych tekstów, jak też ponownie tego samego, mogą przebiegać inaczej, z udziałem innych umiejętności i strategii, a w rezultacie kończyć się innym wynikiem (Solmecke 1999: 314; Alderson 2000: 3). Stopnia zrozumienia nie można zatem określać w oderwaniu od przyjętego celu.

Kolejne pytanie, jakie się nasuwa w tym kontekście, dotyczy rozumienia, czyli interpretacji danego tekstu, w szczególności przez osoby o zróżnicowanej wiedzy ogólnej lub/i różnym pochodzeniu kulturowym³⁹. Spolsky (1994: 144) podkreśla, że „within a single text-type, there are multiple levels of comprehension:

literal, metaphorical, poetic, rhetorical, instructional, moral, to name just a few”.

Oznacza to, że dany tekst może być zrozumiany, innymi słowy, zinterpretowany w różny sposób, a w związku z tym nie można wskazać jednej, poprawnej wersji interpretacji. Znaczenie tekstu nie jest bowiem odkrywane, ale aktywnie budowane podczas interakcji z tekstem. W tym przypadku sensowniej jest mówić o potencjale znaczeniowym tekstu, który jest realizowany przez czytającego/słuchającego w mentalnym produkcie rozumienia (Alderson 2000: 6). W odniesieniu do słuchania trafnie ujmuje ten problem Buck (1997: 67): „Thus, for all but the most simple information-style texts, such as announcements, there may be a variety of different, but reasonable interpretations, and the test-maker’s interpretations will be only one of these”.

Spolsky (1994) w artykule: Comprehension testing, or can understanding be measured wymienia szereg aspektów rozumienia, które wymykają się dostępnym

38 Taki sam wniosek formułuje Solmecke (1993: 24): „Verstehen ist keine Sache des Alles oder Nichts“.

39 Urquhart (1987) używa pojęć comprehensions and interpretations w odniesieniu do poziomów zrozumienia i interpretacji tekstów czytanych. Pod tym pierwszym pojęciem rozumie „different standards or levels of comprehension the leader adopts to suit different purposes of reading”, zaś interpretations to “different readings of the same text, either by different readers or the same reader at different times, resulting from either a different background knowledge or different preoccupation at the time of reading” (Urquhart 1987: 387).

69

metodom testowania. Przede wszystkim pokazuje, że testowanie rozumienia nie ogranicza się tylko do interakcji zachodzącej pomiędzy twórcą tekstu (ustnego/pisemnego), tekstem i osobą testowaną, ale obejmuje szereg innych komponentów, ściśle związanych i wynikających z pośredniego charakteru procedury testowania (Lynch 2002: 43).

Speaker/writer 1 encodes information consciously and unconsciously in Text 1 the text to be comprehended by

Reader 1 the candidate/test-taker who understands it according to