Wybór narzędzi i konstrukcja sprawdzianu

powyższy przykład pokazuje, jak wielkim wyzwaniem byłoby znalezienie jednego testu, który pozwoliłby sprawdzić wybrany przez nas i uporząd-kowany zestaw umiejętności i sprawności. niemniej, niektórzy dydaktycy i teoretycy tłumaczenia opowiadają się za takim właśnie rozwiązaniem, zwykle odkrywając korelację pomiędzy wynikami takiego testu a wynika-mi egzawynika-minów tłumaczeniowych zamykających kurs. w odniesieniu do powyższych rozważań na temat celów stawianych testom zwolenników tej tezy możemy zakwalifikować do grupy preferującej homogenizację kompetencyjną przyszłych studentów. Jeden test, koncentrujący się na maksimum kilku umiejętnościach, nie będzie bowiem dość elastyczny, aby dopuścić osoby o diametralnie odmiennych umiejętnościach bazo-wych. niewątpliwym zyskiem w takim przypadku jest jednak oszczęd-ność czasowa — zwykle test taki udaje się zamknąć w czterdziestopięcio-minutowej sesji (dłuższy niezróżnicowany test mógłby doprowadzić do dekoncentracji kandydatów).

dwa najbardziej interesujące i znane przykłady jednozadaniowych testów to parafrazowanie symultaniczne zaproponowane przez russo i pippę (pippa, russo 2002; russo, pippa 2004, russo 2014) oraz test luk syncloze skonstruowany przez pöchhackera (2011). russo i pippa sugerują poddanie kandydatów procedurze symultanicznego parafrazo-wania tekstów w języku ojczystym, którego zaletą jest ich zdaniem duże podobieństwo do tłumaczenia symultanicznego (2004: 410), a więc spo-ra tspo-rafność ekologiczna. w obliczu naszych dotychczasowych rozważań stopień podobieństwa do zadań stricte tłumaczeniowych jest w zasadzie cechą negatywną, może też okazać się, że stopień trudności stawiane-go przed kandydatami zadania znacznie przerasta ich możliwości. Taki wniosek wypływa z badań christoffels i de Groot (2004). Badaczki do-głębnie analizują zadania składowe w tego rodzaju aktywności, wniosku-jąc, że w zasadzie w ramach takiego zadania ograniczamy tłumaczowi możliwość skorzystania z najbardziej naturalnych środków językowych (czy to leksykalnych, czy też gramatycznych) pomimo bardzo silnego to-rowania wewnątrzjęzykowego (228–229). w wyniku tego test taki jest wręcz jednoznacznie ukierunkowany na sprawdzenie bogactwa zaso-bów leksykalnych, elastyczności językowej i umiejętności monitorowa-nia własnej wypowiedzi przy wyłączeniu lub zmarginalizowaniu innych umiejętności. christoffels i de Groot nie poprzestają jednak na teorety-zowaniu i w warunkach eksperymentalnych wykazują, że ogólny poziom trudności takiego zadania w zasadzie nie odbiega od tłumaczenia symul-tanicznego (234). Taki wniosek jest dla testu predyspozycji właściwie

za-bójczy. na dodatek warto też zwrócić uwagę na niezwykle skomplikowany model oceny, który zaproponowali russo i pippa (2004: 413–415, 428).

Bardzo wnikliwa, czasochłonna (a i tak miejscami niejednoznaczna) ana-liza wyników (pod kątem możliwych 75 operacji na tekście) istotnie może powiedzieć więcej na temat rzeczywistych umiejętności naszych kandy-datów, ale wydaje się zbyt czasochłonna, aby można ją było odtworzyć gdziekolwiek poza warunkami eksperymentalnymi (konieczność tran-skrypcji nagrań, podziału na jednostki syntaktyczne, dokonania analiz i porównania wyników). zapewne to z tego powodu na potrzeby rekruta-cji w latach 2004–2006 badacze wykorzystali „uproszczoną wersję for-mularza oceny” (russo 2014: 6).

pöchhackerowski test luk jest pod tym (i pod każdym innym) wzglę-dem przyjaźniejszy dla egzaminatorów, choć również niepozbawiony wad. zakłada on słuchanie tekstu o umiarkowanej prędkości z wyciętymi około sześcioosekundowymi końcówkami zdań, które mają w czasie rze-czywistym zostać uzupełnione przez studenta jak największą liczbą wy-rażeń (synonimicznych) pasujących do danego kontekstu. odpowiedzi są nagrywane, transkrybowane i poddawane ocenie akceptowalności z korektą na poprawność gramatyczną, spójność i niewielki stopień zróż-nicowania wersji. (w warunkach eksperymentalnych dokonano także pomiarów czasu reakcji, jednak w przypadku standardowych procedur rekrutacyjnych może się to okazać zadaniem zbyt czasochłonnym i skom-plikowanym; 2011: 113–114). zdaniem pöchhackera taki kształt zadania rekrutacyjnego pozwala jednocześnie sprawdzić płynność, rozumienie ze słuchu, pamięć, prędkość przetwarzania i jeszcze kilka sprawności do-datkowych (112–113). o ile płynność produkcji (expressional fluency), która może oznaczać kombinację płynności wypowiedzi i elastyczności językowej z naszej siatki, nie budzi wielkich zastrzeżeń, o tyle nad moż-liwością „pomiaru” pamięci za pomocą testu syncloze należy się mocno zastanowić. Bez wątpienia jakaś pamięć semantyczna oraz jakiś poziom pamięci krótkotrwałej są potrzebne, aby przywołać odpowiednie struktu-ry oraz wykonywać na nich operacje gramatyczne (zob. rozdz. ii.6). Być może jest to nawet poziom nieco wyższy niż w przypadku na przykład swobodnej wypowiedzi na zadany temat (choć i w tym wypadku nie mo-żemy mieć pewności). czy jednak narzędzie daje nam rzeczywistą moż-liwość porównania kandydatów pod kątem pojemności pamięci, którą dysponują, tak jak robi to na przykład test zapamiętywania cyfr? nie.

zresztą, o tym, co rzeczywiście bada syncloze, dość szybko dowiemy się, przyglądając się systemowi punktacji, który koncentruje się na zasobach leksykalnych i gramatycznych oraz (w rozbudowanej wersji) na czasach reakcji, a więc zasadniczo na szybkości przetwarzania.

Jeżeli chcemy sprawdzić akurat taki (ograniczony!) zestaw umiejęt-ności i sprawumiejęt-ności, syncloze może rzeczywiście być dobrym pomysłem, choć autor przyznaje, że stanowi on spore wyzwanie nawet dla najbardziej zaawansowanych studentów (118). w pozostałych przypadkach trud-no nie zgodzić się z Timarovą i ungoed-Thomasem, którzy stwierdzają:

Tłumaczenie ustne to działanie bardzo złożone. oczekiwanie, że uda się odkryć jedno

„superzadanie”, które będzie w pełni skutecznie przewidywało sukces egzaminacyjny, jest nierealistyczne. zamiast tego należy posługiwać się zrównoważonym zestawem prostych zadań (prostych zarówno w wykonywaniu, jak i w ocenianiu), z których każ-de będzie podnosiło wartość predykcyjną egzaminu (2009: 242).

ci sami badacze dostarczają pewnych wskazówek co do liczby testów, z których powinna składać się każda bateria (w pierwszej kolejności za-leżnej oczywiście od czasu na rekrutację, jakim dysponujemy). ponieważ w swoich badaniach nie odkrywają żadnej zależności pomiędzy tą liczbą a wynikami rekrutacji (2008: 40–41), można wnioskować, że mnożenie ich ponad uzyskaną średnią (4,5) nie przynosi żadnej korzyści. w przy-padkach, w których wyróżniona przez nas liczba pożądanych umiejęt-ności jest wyższa, zasugerować można łączenie testów sprawdzających względnie mniej istotne z nich, tak jednak, by na poziomie oceniania udawało się nadal wszystkie wyróżnić.

poniżej przedstawiamy listę przykładowych testów sprawdzających wybrane umiejętności i sprawności wraz z krótkimi omówieniami. kon-centruje się ona na najciekawszych, rzadziej spotykanych rozwiązaniach (w tym właśnie w odniesieniu do kombinacji niektórych umiejętności).

Bardziej przekrojowe podejścia do prezentacji testów najczęściej wyko-rzystywanych w rekrutacjach znaleźć można w chabasse 2009: 123–166, Timarová, ungoed-Thomas 2008:35–39 oraz russo 2011: 14–18. ponad-to, wiele z zamieszczonych w kolejnych rozdziałach ćwiczeń może przy niewielkiej modyfikacji posłużyć jako narzędzia testowe. zamieszczony na końcu publikacji indeks posłuży łatwiejszej ich lokalizacji.

1.3.2.1. pamięć krótkotrwała (także: koncentracja)

w zależności od czasu, który chcemy przeznaczyć na testowanie tych sprawności, możemy posłużyć się albo prostym testem typu „digit span”

(kandydaci mają do zapamiętania ciąg cyfr, my natomiast sprawdzamy, jaka jest pojemność ich pamięci, punktując za każdą odtworzoną jed-nostkę), albo stopniowo coraz bardziej osadzać jednostki do zapamięta-nia w rzeczywistości tekstowej. Gerver i in. (1989) zaproponowali dwie

takie modyfikacje: test pamięci logicznej oparty na krótkich (ok. pięć-dziesięciowyrazowych) tekstach zawierających około dwadzieścia pięć jednostek informacyjnych do odtworzenia (727) oraz pisemne stresz-czenie przemówienia o długości około tysiąca słów, z którym uczestni-cy zapoznają się wyłącznie słuchowo (726–727). Gdy deuczestni-cydujemy się na tego typu testy, warto zapoznać się zarówno z argumentacją na ich rzecz (darò 1995), jak i uwagami krytycznymi, zwłaszcza pod adresem zdekon-tekstualizowanych testów pamięci (moser-mercer 1994: 60)⁴.

1.3.2.2. przełączanie kodów/pamięć robocza, koncentracja, poprawność gramatyczna

w przypadku badania umiejętności wymienionych w tytule tego pa-ragrafu nieco lepszym rozwiązaniem jest pisemna prezentacja tekstu z ograniczeniem czasowym na zapoznanie się z nim. następnie kandy-dat zostaje poproszony o jego odtworzenie w języku źródłowym, z tym jednak zastrzeżeniem, że na znak egzaminatora ma w jak najkrótszym czasie zmienić język narracji na docelowy. (Tego typu zmiana powinna wystąpić w całym tekście kilkakrotnie). ocenie podlega zarówno zawar-tość semantyczna, jak i spójność tekstu w każdym z języków.

1.3.2.3. postrzeganie relacji semantycznych/

szybkość przetwarzania, zasoby leksykalne

w ramach tego testu kandydat ma za zadanie w jak najkrótszym czasie po usłyszeniu wyrazu podać odpowiednio jego synonim, antonim, hipe-ronim albo hiponim. przed przystąpieniem do testowania należy omówić sprawdzane relacje, najlepiej w jak najbardziej obrazowy sposób (zwykle wystarczy zwrócenie uwagi na znaczenie przedrostków „hiper-” i „hipo-”).

Taki środek ostrożności w połączeniu z umiarkowanym tempem każdo-razowego przedstawiania instrukcji na przykład: „proszę podać hiponim słowa…; proszę podać antonim słowa…”, daje zwykle gwarancję, że nie testujemy znajomości nazewnictwa podstawowych kategorii języko-znawczych, ale (szybkość dostępu do) relacji pomiędzy wyrazami. ocenie podlega tu nie tylko trafność przywołanych relacji, ale także prędkość. za rozwiązania pojawiające się szybciej niż w ciągu czterech sekund

4 warto również zwrócić uwagę na niejednoznaczność wyników badań korelacji pomiędzy testami pamięci roboczej a kompetencją tłumaczeniową (zob. signorelli, Haarmann, obler 2012: 199–200), która pomimo ostatecznej przewagi badań wskazujących na występowanie takiej korelacji, rzuca jednak pewien cień na wykorzystywanie testów pamięci jako narzędzia diagnostycznego.

my przyznawać podwójną liczbę punktów, natomiast te, które kandydat poda dopiero po ośmiu sekundach i więcej, dyskwalifikować.

zwykle w ramach testów tego typu sprawdzana jest tylko synonimia, ewentualnie kolokacyjność (sikorski 2009: 189–190), jednak zapropo-nowane twórcze poszerzenie zadania o inne relacje paradygmatyczne pozwoli na sprawdzenie sprawności posługiwania się słownikiem umy-słowym w większej rozciągłości.

1.3.2.4. szybkość przetwarzania, pamięć

Testowanie tego parametru w izolacji jest bardzo utrudnione. moser-mercer (1994: 59–60) sugeruje proste zwiększanie prędkości materiału, mające najprawdopodobniej na celu sprawdzenie, jaki jej próg powoduje zaburzenia w przetwarzaniu tekstu. Taką procedurę można by rzeczy-wiście zastosować na przykład do serii pięciu maksymalnie dwuminuto-wych tekstów (łącznie stanowiących jedną narrację), z których każdy był-by odtwarzany z prędkością zwiększoną o około dziesięć słów na minutę, zaczynając od 100 wpm. liczba punktów byłaby tutaj zależna od tego, na których etapach odtworzenie tekstu w tym samym języku zostałoby uznane za akceptowalne.

1.3.2.5. elastyczność językowa/przewidywanie, improwizacja, poprawność gramatyczna

w tym dość popularnym teście kandydaci mają za zadanie dokończyć prezentowane ustnie w umiarkowanym tempie kilku- lub kilkunastorazowe początki zdań i rozwinąć je w swobodną narrację na temat wy-nikający z otrzymanego wstępu. w takim zadaniu ocenę można mocno sformalizować, ustalając pulę punktów za każdą minutę opowiadania i odejmując z niej w przypadku niepoprawności gramatycznych, niespój-ności logicznych, a nawet (w zależniespój-ności od uznania komisji) zbyt wyrazi-stych dźwięków redundantnych i poprawek. przerwę o długości przekra-czającej trzy sekundy należy uznać za zakończenie danej wypowiedzi.

1.3.2.6. kondensacja tekstu, improwizacja, pamięć

zadaniem kandydata jest wysłuchanie kilkuminutowej prezentacji, pod-czas której nie może sporządzać notatek. następnie ma do dyspozycji pięć minut, podczas których może uporządkować myśli, w tym wynotować na-jistotniejsze cechy tekstu. po upływie czasu na przygotowanie kandydat

zostaje poproszony o dwuminutowe streszczenie tego, co usłyszał. w od-różnieniu od wersji wykorzystywanej przez uniwersytet w manchesterze (The university of manchester…) nasza wersja nie zakłada możliwości sporządzania notatek podczas słuchania, a to ze względu na duże ryzyko interferencji, zwłaszcza że z założenia system notowania nie został jesz-cze przez kandydata wypracowany (zob. rozdz. ii.7).

1.3.2.7. rozumienie/analiza i synteza, płynność, wiedza ogólna lub kulturowa — zależnie od zawartości tekstu

zgodnie z zaleceniami darò na temat sprawdzania płynności (1995: 6–7) kandydat czyta na głos jednostronicowy tekst. następnie odpowiada na cztery pytania, z których dwa mają charakter czysto informacyjny i od-powiedzi na nie można znaleźć bezpośrednio w tekście, natomiast dwa pozostałe są pytaniami interpretacyjnymi. dodatkowo każde z pytań po-siada wersję trudniejszą językowo (z nieco bardziej wyszukanym słowni-ctwem, strukturami gramatycznymi itp.), która jest prezentowana jako pierwsza i dopiero w przypadku sygnału braku zrozumienia zamieniana na łatwiejszą. wersja trudniejsza pytania jest punktowana podwójnie.

1.3.2.8. kompetencje społeczne/profil psychologiczny

pytanie o to, czy powyższe aspekty kompetencji tłumacza testować w spo-sób sformalizowany, czy tylko na podstawie obserwacji, pozostaje otwarte (z delikatnym wskazaniem na to drugie podejście). nie ulega wątpliwo-ści, że poziom zainteresowania czynnikami psycho-społecznymi wzrósł w ostatnich latach niewspółmiernie, niemniej nikomu z badaczy nie udało się wykazać silnej korelacji pomiędzy jakimiś konkretnymi cecha-mi osobowościowycecha-mi a kompetencją tłumaczeniową (Timarová, salaets 2011; rosiers, eyckmans i Bauwens 2011). najbliżej takiego osiągnięcia była chyba schweda nicholson (2005), która na podstawie badań za po-mocą wskaźnika typu osobowości myers-Briggs odkryła wśród studen-tów tłumaczenia statystycznie istotne preferencje na korzyść myślenia raczej niż odczuwania (136–137). nawet ona stwierdza jednak, że przy takich wartościach i przy mniej więcej równomiernym rozkładzie innych zestawów cech kompetencje „twarde” są dużo istotniejsze dla rekrutacji niż profil psycho-społeczny (137).