Jednostki testowe wielokrotnego wyboru

Zadania wielokrotnego wyboru są powszechnie znane i szeroko stosowane w testowaniu sprawności receptywnych. Jednostka testowa w tego typu zadaniach składa się z tekstu wprowadzającego w formie pytania lub trzonu, będącego początkiem zdania, i z kilku, najczęściej 3-4 możliwych odpowiedzi lub wariantów dokończenia zdania. Nieprawidłowe odpowiedzi zwane są dystraktorami.

Zadania wielokrotnego wyboru gwarantują szybkość, efektywność, a przede wszystkim obiektywność oceniania. Jasno i jednoznacznie wyrażone intencje konstruktora testu, dzięki czemu zdający wie, jakie są wymagania w stosunku do niego, stanowią kolejną zaletę tych zadań. Ponadto nie wymagają one stosowania umiejętności pisania i mogą byś sprawdzane mechanicznie. Jednakże nie wolno zapominać, że konstrukcja tego typu zadań wymaga ściśle określonych umiejętności, jest procesem trudnym i czasochłonnym oraz wiąże się z koniecznością przeprowadzenia testów próbnych (Weir 1990: 43; Buck 2001: 142).

78 Pojęcia technika i metoda testowania są używane w niniejszej rozprawie synonimicznie.

124

Jak się okazuje, wady tego rodzaju zadań w znacznym stopniu przewyższają wymienione powyżej zalety. Glaboniat (1998: 102) zgadza się z prostotą, ale mówi o rzekomej obiektywności oceniania, wyrażając tym samym pewną wątpliwość w tym zakresie. Zwraca też uwagę na fakt, że rzetelność zadań wielokrotnego wyboru jako narzędzi sprawdzających rozumienie tekstów pisanych i czytanych jest wciąż niejasna i niepewna. Weir (1990: 44) podkreśla, że ten format zadań testowych zbyt odbiega od sposobów sygnalizowania zrozumienia w realnych sytuacjach komunikacyjnych. W zadaniach wielokrotnego wyboru o zrozumieniu tekstu pisanego lub słuchanego świadczy wybór jednej, poprawnej opcji z kilku innych, sugerowanych odpowiedzi, o których słuchacz/czytelnik w rzeczywistości nigdy by nawet nie pomyślał. Bardziej pozytywnie, choć też z pewną rezerwą odnosi się Paschke (2001: 161) do tego typu zadań: „Die von Multiple-Choice-Aufgaben (MC) geforderte kognitive Operation des Auswählens ist nur dort realistisch, wo der Verstehensprozess durch präzise Vorerwartungen und/oder Fragen gelenkt wird und die Brandbreite erwartbarer Antworten beschränkt ist“. Z drugiej zaś strony, czasami więcej niż jedna odpowiedź wydaje się i może być prawdopodobna, zwłaszcza gdy w grę wchodzi wnioskowanie. W tym przypadku inferowana odpowiedź konstruktora testu nie musi się wcale pokrywać z inferencjami dokonanymi przez zdającego (Weir 1990: 44-45).

Badanie Ruppa, Ferne i Choi (2006) potwierdza hipotezę, że format wielokrotnego wyboru implikuje procesy czytania odmienne od tych, zachodzących w realnych sytuacjach. Poza tym badacze kwestionują wiarygodność tego formatu jako narzędzia pomiaru umiejętności rozumienia na wyższym poziomie:

[…] MC questions might function well as separable measures of how difficult different aspects of texts are for takers or of how well test-takers engage in lower-order component processes rather than a composite measures of higher-order reading comprehension, which they may be sometimes colloquially assumed to be .

(Rupp/Ferne/Choi 2006: 468)

Format ten stawia pod znakiem zapytania również trafność testu, co doskonale unaocznia pytanie: „Kann man von der Fähigkeit, die richtige aus drei

125

Antworten auszuwählen, auf das Textverständnis schließen?” (Dlaska/Krekeler 2009: 85). Wybór błędnej opcji nie musi wcale sygnalizować niezrozumienia tekstu, ani też zakreślenie poprawnej odpowiedzi nie świadczy wcale o zrozumieniu tekstu.

Zdający może wybrać niepoprawną odpowiedź, nawet gdy zrozumie tekst, ale nie zrozumie pytania. Zaś wyboru poprawnej odpowiedzi może dokonać na drodze zgadywania, eliminacji błędnych opcji lub stosując inne umiejętności wykształcone podczas wcześniejszych doświadczeń z zadaniami tego typu (Weir 1990: 43-44).

Podczas rozwiązywania zadań wielokrotnego wyboru zdający stosują szereg strategii, takich jak:

– strategia produkcji (najrzadziej stosowana) polegająca na mentalnej konstrukcji rozwiązania (udzielenia odpowiedzi), a następnie poszukiwaniu jej w prezentowanych opcjach;

– strategia próby i błędu – sprawdzanie odpowiedniości podanych odpowiedzi do momentu znalezienia tej poprawnej;

– strategia falsyfikacji – dokonanie powierzchownej oceny sugerowanych odpowiedzi i odrzucanie tych niepasujących, aż zostanie jedna.

Ponadto zdający wykorzystują własne, mniej lub bardziej sprawdzone strategie rozwiązywania tego typu zadań, np. zawsze poprawne są najdłuższe odpowiedzi lub nigdy 3 razy z rzędu nie może być poprawna jedna opcja, np. a) (Glaboniat 1998:

102-103). Jak trafnie zauważa Buck (2001: 127): „As test-developers, we should never underestimate the resourcefulness of test-takers in finding ways to compensate for a lack of comprehension”⁷⁹.

Jak już wspomniano, wybór poprawnej odpowiedzi może być dziełem przypadku i wynikać ze zgadywania. Warto poświęcić temu zagadnieniu kilka słów, gdyż metoda losowa jest dość często stosowana przez zdających, gdy nie potrafią jednoznacznie określić właściwej opcji. Możliwość wyboru poprawnej odpowiedzi na drodze zgadywania jest tym większa, im mniejsza jest ilość opcjonalnych odpowiedzi – w przypadku czterech wynosi ona 25%. Prawdopodobieństwo poprawnego wytypowania odpowiedzi wzrasta, jeśli nie wszystkie dystraktory brzmią wiarygodnie i nie stanowią potencjalnej odpowiedzi na pytanie, np. niektóre należy wykluczyć ze względów gramatycznych (Glaboniat 1998: 104; Clapham i in.

79 Mamy tu do czynienia z tzw. sprytem lub obyciem testowym zdającego (testwiseness), polegającym na opanowaniu umiejętności rozwiązywania testów.

126

1995: 47). W przypadku zadań sprawdzających rozumienie ze słuchu ważne jest też fonetyczne podobieństwo opcjonalnych odpowiedzi, gdyż inaczej słuchający bez trudu jest w stanie wybrać tę prawidłową (Tinnefeld 2002: 57). A więc osoba, która nie zrozumiała tekstu, może z dużym prawdopodobieństwem odgadnąć poprawną odpowiedź.

W kontekście powyższego warto przywołać badanie przeprowadzone przez Wu (1998), które miało na celu określić wpływ zadań wielokrotnego wyboru na osiągnięcia w rozumieniu ze słuchu. Badaczka (1998: 38) doszła do następujących wniosków: 1) zapoznanie się z pytaniami i opcjonalnymi odpowiedziami ułatwia antycypowanie tekstu i pomaga ukierunkować uwagę, ale tylko uczniom zaawansowanym językowo; 2) błędna interpretacja dystraktorów jest jednym z powodów wyboru niewłaściwej odpowiedzi; 3) zadania wielokrotnego wyboru umożliwiają zgadywanie zachodzące na podstawie wiedzy pozajęzykowej, którą aktywuje niepełne przetwarzanie lingwistyczne i warianty odpowiedzi; 4) zgadywanie może skutkować wyborem poprawnej odpowiedzi z niewłaściwych powodów. A zatem, konkluduje Wu, zadania w formacie wielokrotnego wyboru zagrażają trafności konstrukcyjnej testu, gdyż, po pierwsze, są korzystne tylko dla słuchających zaawansowanych językowo, oraz, po drugie, umożliwiają zgadywanie, a tym samym losowy wybór poprawnej odpowiedzi.

W tym miejscu należy także poruszyć problem zwany passage independency, polegający na niezależności pytań i odpowiedzi testowych od tekstu testowego.

W praktyce oznacza to, że czytający/słuchający jest w stanie trafnie odpowiedzieć na pytania, czyli wybrać prawidłową odpowiedź bez znajomości treści tekstu. Takie rozwiązywanie zadań bez zrozumienia tekstu może umożliwiać treść zadań, zawierająca pewne wskazówki co do zawartości tekstu, a przede wszystkim wiedza pozajęzykowa i inteligencja, gdyż, z czym trudno się nie zgodzić, „comprehension questions can often be answered by using common sense” (Buck 2001: 126-127).

Istotnym mankamentem zadań wielokrotnego wyboru jest także ich długość i związana z tym konieczność przechowywania w pamięci 3-4, a na nawet 5 alternatywnych odpowiedzi podczas poszukiwania odpowiedzi na podane pytanie.

O ile czytający może wielokrotnie we własnym tempie analizować tekst, słuchający musi z narzuconą mu przez mówiącego prędkością recypować treść tekstu, mając jednocześnie na uwadze postawione pytania i sugerowane odpowiedzi. Pamięć

127

roboczą obciąża tutaj nie tylko odbiór audytywny, ale także proces czytania jednostek testowych i przechowywanie w pamięci ich treści (Weir 1990: 53).

Jak się okazuje, za pomocą zadań wielokrotnego wyboru sprawdza się przede wszystkim rozumienie selektywne (Dlaska/Krekeler 2009: 85). Testowanie rozumienia globalnego jest także możliwe, ale ponownie wiąże się to z koniecznością utrzymywania w pamięci kilku opcjonalnych odpowiedzi w trakcie ustalania ogólnego sensu tekstu (Urquhart/Weir 1998: 159).

2.7.1.1. Zasady konstrukcji jednostek wielokrotnego wyboru

Pomimo licznych wad i ograniczeń zadania wielokrotnego wyboru nadal pozostają jedną z najczęściej stosowanych metod testowania sprawności receptywnych. Aby zminimalizować negatywny wpływ tego formatu na poziom osiągnięć w rozumieniu, podczas konstrukcji testu należy zachować następujące zasady:

W odniesieniu do jednostek testu wielokrotnego wyboru

– Jednostki testowe powinny w znacznym stopniu pokrywać się z pytaniami, jakie czytający/słuchający postawiłby w rzeczywistym procesie recepcji tekstu, innymi słowy, powinny sprawdzać zrozumienie jednej ważnej informacji lub problemu.

– Jednostki nie mogą być współzależne, tj. odpowiedź na jedną nie wpływa na rozwiązanie innej jednostki.

– Nie jest możliwe rozwiązanie jednostki na podstawie posiadanej wiedzy ogólnej, bez uprzedniego przeczytania/wysłuchania tekstu.

– Jednostka powinna być sformułowana w sposób krótki, nieskomplikowany i precyzyjny, tj. trzony nie powinny zawierać niepotrzebnych słów i zdań, a dystraktory winny być jasne i jednoznaczne⁸⁰.

– Aby zagwarantować rzetelność pomiaru, należy pamiętać o odpowiedniej (nie za małej) liczbie jednostek testowych.

80 Szczególnie ważna jest ta reguła podczas testowania rozumienia ze słuchu, gdyż długie, złożone jednostki testowe mogą dodatkowo obciążać pamięć roboczą, a tym samym zmniejszać wydajność przetwarzania przekazu audialnego. Ponadto takie jednostki mogą dla zdającego stanowić dodatkowy test w zakresie czytania, zagrażając w ten sposób trafności pomiaru (nadreprezentowanie pojęcia – test mierzy więcej niż powinien) (Adamczak-Krysztofowicz 2009b: 130).

128

Niepoprawne warianty odpowiedzi (dystraktory) powinny:

– dotyczyć informacji relewantnych z punktu widzenia podjętych rozważań i głównej myśli tekstu, nie powinny zmuszać zdającego do ponownego czytania tekstu i wnikliwej analizy określonych szczegółów, które wcześniej zostały przez niego uznane za nieistotne i ignorowane lub umknęły jego uwadze;

– pasować do trzonu pod względem gramatycznym;

– wydawać się zdającemu atrakcyjne, czyli prawdopodobne i przekonywające – nie mogą być trywialne, niepoważne;

– odpowiadać przypuszczeniom, skojarzeniom i oczekiwaniom, jakie czytający/słuchający tworzy w sytuacjach realnych;

– być podobnej długości, o podobnym zakresie treściowym i złożoności gramatycznej;

– być pozbawione negacji, a jeśli ona występuje, powinna być jasno oznaczona.

(Chodkiewicz 1986: 146; Niemierko 1999: 122-123; Przewodnik … 2004: 126-127;

Adamczak-Krysztofowicz 2007: 66).

Konstruując dystraktory wykorzystuje się:

– informacje znajdujące się w pobliżu prawidłowej odpowiedzi (w zdaniach występujących przed lub po niej);

– podobnie brzmiące wyrazy;

– błędne parafrazy prawidłowej odpowiedzi;

– informacje nieistotne z punktu widzenia postawionego pytania;

– różne formy modyfikacji prawidłowej odpowiedzi, za pomocą negacji, określeń częstotliwości, ilości, stopnia;

– czasowniki modalne, subtelnie zmieniające znaczenie zdania;

– spójniki łączące zdania o innym znaczeniu;

– elementy leksykalne;

– kontrast (Corbluth 1975, za Chodkiewicz 1986: 144-145).

„Konstruowanie zadań wyboru wielokrotnego jest ‘wyższą szkołą jazdy’ dla ich autora, m.in. dlatego, że łatwo ‘spaść z konia’ popełnić błąd rzeczowy, koncepcyjny lub redakcyjny” (Niemierko 2007: 292). To obrazowe porównanie

129

uświadamia, że konstrukcja szybkich i prostych w użyciu zadań wyboru wielokrotnego wymaga dużo czasu, umiejętności oraz zachowania przedstawionych powyżej zasad ich tworzenia.