Badania kompetencji leksykalnej m iały charakter kompleksowy. Pierwsza część baterii testów sprawdzała receptywną znajomość leksyki na poziomie rozpoznania.
Komponent drugi badał produktywne opanowanie słownictwa na poziomie użycia wspomaganego. Trzecim był zaś test plasujący, którego zadaniem było określenie poziomu znajomości języka uczących się (zob. aneks 1).
2. Test receptywnej znajom ości słownictwa (TRS) 2.1. Budowa części badającej receptywną znajomość słownictwa
Część testu badająca receptywną znajomość słownictwa składała się z trzech sub- komponentów. Pierwszy sprawdzał znajomość słownictwa m inim um (przedział I - grona 1-1000), drugi - słownictwa elementarnego (przedział II - grona 1001
-2000), trzeci - leksyki podstawowej (przedział III grona - 2001-3000).
Za najodpow iedniejsze do b adania receptyw nej znajom ości słow nictw a na poziomie rozpoznania uznano jednostki testu na dobieranie (zob. rozdział V/5.3), dlatego też w teście zastosowano schemat spopularyzowany przez N ationa1 (1983, 1990, 2001), w którym zadaniem uczących się jest dopasowanie definicji do okre
ślonych wyrazów.
Procedura doboru m ateriału leksykalnego z list wyrazowych do badań została ściśle określona. Kwestią nadrzędną było zapewnienie reprezentatywności poten
cjalnym jednostkom testu zarówno w odniesieniu do przedziałów częstości, jak
1 Podobnie jak B. M cL aughlin (1989: 10), uw ażam , że b a d a n ia p ro cesu przysw ajania/uczenia się języka drugiego/obcego p o w inny opierać się na osiągnięciach ju ż znanych, dokonanych. Takie postęp o w an ie skutkuje zazwyczaj szybszym rozw ojem nowej dyscypliny, k tó rą niew ątpliw ie jest glotto d y d ak ty k a polonistyczna.
i części mowy; pierwszy rodzaj przekłada się bezpośrednio na wielkość/długość testu, drugi - na jego strukturę wewnętrzną.
R eprezentatyw ność m ateriału wyjściowego testów kom petencji leksykalnej przygotowanych dla uczących się innych języków (zob. rozdział III) jest bardzo zróżnicowana i wynosi od kilku do kilkunastu wyrazów na każde 100, nie zawsze jed n o ro d n ie rozum ianych, elem entów listy2. Nie zostały bow iem opracow ane żadne w skaźniki ilościowe, nie istnieją również rozwiązania powszechnie uznane za modelowe. Znana jest jedynie pewna ogólna zależność - większy udział m ate
riału list wyrazowych w zawartości testu podnosi poziom jego rzetelności, skutkuje jednakże wydłużeniem struktury, a przez to czasu realizacji zadań, obniżając jego praktyczność (zob. Niemierko, 1999).
Przy doborze m ateriału do testów kom petencji leksykalnej uczących się pol
skiego starano się zachować równowagę m iędzy obom a czynnikam i, dlatego też w komponencie badającym poziom receptywnej znajomości słownictwa na każde 100 słów (nie gron) listy przypada jedno zadanie, czyli sześć w yrazów z trzem a definicjam i. Z apew nienie poszczególnym p rzedziało m listy takiego sam ego udziału w strukturze testu wiązało się z koniecznością zróżnicowania wielkości poszczególnych kom ponentów 3. Liczba zad ań kolejnych części testu jest więc pochodną wielkości listy wyrazowej, z której dokonywano ekscerpcji.
Badaniu podlegała znajom ość treści znaczeniowej w yrazów autosemantycz- nych. W yrazy synsemantyczne są jednostkam i współznaczącymi, co sprawia, że, po pierwsze, trudniej poddają się testowaniu bezpośredniem u; po drugie zaś, ich definicje są z reguły bardzo złożone, nie tylko pod względem znaczeniowym, lecz także kognitywnym. Ilustrują to przykłady zaczerpnięte z Podstawowego słownika języka polskiego z zarysem gramatyki polskiej (Zgółkowa 2008: 32, 164, 267):
b o - r o z p o c z y n a z d a n ie p o d r z ę d n e p rz y c z y n o w e j a k i - o z n a c z a p y ta n ie o ja k o ś ć , c ec h ę k o g o ś lu b czeg o ś
n a - w y ra ż a lo k aliza c ję o k re ślo n y c h o b iek tó w ta k , ab y p rz y le g a ły do jak ie jś p łaszc zy z n y lu b in n e g o o b ie k tu
W szystkie jed n o stk i leksykalne w chodzące w skład poszczególnych zadań należą do tej samej części mowy, by uczący się, rozwiązując je, kierowali się zna
czeniem wyrazu, a nie wskazówkami o charakterze gramatycznym.
Reprezentatywność poszczególnych części mowy w strukturze testu jest zgodna z frekwencją ich występowania w tekstach języka polskiego (zob. Zarębina, 1985;
Zgółkowa 1992, 2008; Markowski, 1992). Około 43% zadań sprawdza znajomość rzeczowników, 35% - czasowników, 17% - przymiotników, najmniej zaś, bo jedy
nie około 5% - przysłówków.
2 Są to pojedyncze w y razy lub rodziny wyrazów .
3 Dla p rzy p o m n ien ia - w szystkie p rzed ziały m ają identyczną liczbę gron, liczba w yrazów jest w n ich różna.
194
Definicje wyrazów przygotowane na potrzeby testu prezentują ich znaczenia podstawowe, czyli takie, które jako pierwsze nasuwają się przeciętnemu rodzimemu użytkownikowi po usłyszeniu słowa w izolacji (zob. Doroszewski, 1954). Ukazują
„naiwno-zdroworozsądkowe widzenie świata odzwierciedlone w języku przecięt
nego Polaka” (Markowski, 1992: 57). Poszczególne eksplikacje są zróżnicowane pod względem typologicznym. W niektórych treść znaczeniowa została przełożona na odpowiednie równoznaczne wyrażenie językowe (definicje wewnątrzjęzykowe), w innych zaś opisany jest desygnat, czyli fragm ent rzeczywistości pozajęzykowej, do której słowo odsyła (definicje zewnątrzjęzykowe). Pojawiają się w nich także w yjaśnienia o charakterze synonim icznym oraz zakresow ym (zob. Przybylska, 2003). W eksplikacjach zrezygnowano z wszelkich informacji gramatycznych oraz odwołań do budowy słowotwórczej definiendum, by nie naprowadzać zdających na trop prawidłowego rozwiązania. Przy definiowaniu znaczeń przyjęto podstawowe zasady obowiązujące w leksykografii pedagogicznej4, zgodnie z którym i:
- w przypadku słownictwa m inim um (przedział 1-1000) eksplikacje m uszą być zbudowane z w yrazów należących do tego samego przedziału frekwencji co wyraz definiowany,
- w przypadku słownictwa elem entarnego i podstawowego (przedziały 1001
-2000 oraz 2001-3000) eksplikacje muszą być zbudowane z wyrazów należą
cych do niższych przedziałów częstości niż w yraz definiowany,
- w p rz y p ad k u pozostałego słow nictw a eksplikacje m uszą być zbudow ane z wyrazów należących do specjalnie skonstruowanego metajęzyka opisu, k tó rego elementy tworzą słowa o najwyższej frekwencji (zazwyczaj z przedziału 1-2000) (Seretny, 2007b).
B ardzo tru d n e okazało się w praktyce definiow anie jed n o stek badających znajomość leksyki należącej do najniższego przedziału (przedział gron 1-1000).
Zarówno rodzim i użytkow nicy języka, jak i cudzoziem cy biorący udział w bada
n iach pilotażow ych, w skazyw ali na niejasność, zaw iłość sform ułow ań, które powodowały, że w pierw szej części testu definiens był n iejed n o k ro tn ie tr u d niejszy do rozpoznania niż definiendum 5. Dlatego też w przypadku słownictwa m inim um , przy zachow aniu reprezentatyw ności poszczególnych części mowy, zostały w ykorzystane, pierw otnie niebrane pod uwagę, jednostki typu praw da/
fałsz. Stwierdzenia sformułowano zgodnie z zaleceniami specjalistów od pom iaru dydaktycznego (zob. Niemierko, 1999), w ich strukturze znalazły się zaś wyrazy o podobnej frekwencji.
Do konstrukcji testu, poza kategorią prawda (P) - fałsz (F), wprowadzono także kategorię nie rozumiem, oznaczoną symbolem X. Daje ona uczącemu się możliwość
4 Jest to dział leksykografii ogólnej, zajm ujący się przygotow aniem słow ników dla uczących się języków obcych (zob. Seretny, 1998, 2007b).
5 Testy p ilotażow e od b y w ały się w 2008 roku. P rzep ro w ad zo n o je w Szkole Języka i K u ltu ry P olskiej U n iw e rsy te tu Jag iellońskiego o raz, d z ię k i u p rz e jm o ś c i D yrekcji, w G im n a z ju m im.
P. M ichałow skiego w K rakowie. W zięło w nich u dział 275 osób - 200 obcokrajow ców i 75 polskich nastolatków.
zasygnalizowania, że treść zdania nie jest dla niego na tyle jasna, by mógł udzielić jednoznacznej odpow iedzi. Dzięki tem u nie m usi rozstrzygać o prawdziwości twierdzeń, których znaczenia nie rozum ie6. Rodzaj oczekiwanej reakcji uczących się precyzuje instrukcja, której towarzyszy rozwiązanie przykładowe7:
Proszę zaznaczyć: P - jeśli zdanie jest prawdziwe F - jeśli nie jest prawdziwe X - jeśli nie rozum iesz zdania Proszę nie zostawiać pustych miejsc.
P rzykład:
G o d z i n a m a 60 sekund. F_
R ó ż a to kwiat. P_
M a t e r i a ł kupujem y w aptece. X
W prow adzenie do pierwszej części testu jednostek innego ty p u pociągnęło za sobą konieczność zm iany ich liczby. Aby zachować podobny udział m ateriału list wyrazowych we wszystkich kom ponentach (czyli po 6 na każde 100 wyrazów listy), zwiększono liczbę do 72.
W drugiej i trzeciej części testu zachowany został schemat oparty na dobiera
niu. Zadaniem uczących się było w tym przypadku wpisanie num eru słowa przed odpowiednią eksplikacją. Podobnie jak w części pierwszej, wprow adzona została kategoria nie wiem, by z jednej strony - odwieść badanych od zgadywania; z d ru giej zaś, by mieć pewność, że nie opuścili odpowiedzi. Rodzaj oczekiwanej reakcji został określony w instrukcji poprzedzającej test, której towarzyszył przykład.
Proszę dopasować definicję do słowa. Proszę napisać num er słowa obok definicji tak, ja k pokazano w przykładzie.
Proszę zaznaczyć X, jeśli nie znają Państw o odpowiedzi.
Proszę nie zostawiać pustych miejsc.
P r zy k ła d:
1. przystanek
2. śm ierć 3 24 godziny
3. doba 5 w ystępuje w teatrze
4. droga X przychodzi po życiu
5. aktor 6. pielęgniarka
6 W prow adzenie kategorii X do tej części testu badającego kom petencję leksykalną uczących się języka polskiego jako obcego jest rozw iązaniem now ym , niestosow anym dotychczas w praktyce.
Jest je d n a k niezw ykle k o rz y stn e z p u n k tu w id zen ia celu b a d ań . Pozw ala bow iem u czącem u się w y raźn ie zasygnalizow ać b ra k znajom ości określonego w yrazu. Pozostaw ienie pusteg o m iejsca pełni, co praw da, p o d o b n ą funkcję, nie daje jed n a k pew ności, czy b ad an y nie znał odpow iedzi i jej nie udzielił, czy też przez przy p ad ek opuścił d a n ą jednostkę.
7 Nowa część testu została p o d d a n a badaniom pilotażow ym. W ich w y n ik u ujednolicono sposób form ułow ania stwierdzeń, część z nich doprecyzowano. Do testu zostały włączone także m ateriały iko- niczne, a słowa, których znajomość podlegała sprawdzaniu, zostały w yróżnione pogrubioną czcionką.
196
Ostateczny plan testu badającego receptywną znajomość leksyki na poziomie rozpoznania przedstawia tabela 35.
Tabela 35. Plan testu badającego receptywną znajomość słownictwa na poziom ie rozpoznania tr e ś c i z n ac z e n io w e j w y ra z u
2.2. Sposób ewaluacji części badającej receptywną znajomość słownictwa Zarówno jednostki typu prawda/fałsz, jak i te na dobieranie oceniane były w syste
mie 0/1. We wszystkich kom ponentach p u n k t przyznawano za każde prawidłowe rozwiązanie. O dpow iedź nieprawidłowa lub jej b ra k (oznaczany za pom ocą X) skutkow ała brakiem p u n k tu . W tabeli w yników oba przypadki zostały jed nak ujęte osobno (zob. tabela 36), by w ten sposób wskazać dwa różne aspekty badanej kompetencji:
- liczbę wyrazów, z którym i badany jeszcze się nie zetknął lub których jeszcze nie rozpoznaje (brak odpowiedzi),
- liczbę wyrazów, których znaczenie błędnie opanował (odpowiedzi błędne).
T a b e la 36. P rz y k ła d o w e z e s ta w ie n ie w y n ik ó w b a d a ń ilo śc io w y c h k o m p e te n c ji le k s y k a ln e j
Takie ujęcie w yniku pokazuje, po pierwsze, w jakim stopniu badany zna słow
nictwo z danego przedziału; po drugie zaś - czy rozwój jego kom petencji leksy
kalnej wszerz przebiega prawidłowo, czyli od słownictwa najczęściej używanego do tego o niższej frekwencji (zob. Sinclair, Renouf, 1988).
W yrazy w ybrane do testu stanow ią reprezentatyw ną próbkę listy, z której zostały wyekscerpowane, dlatego też w yniki mogą być przeliczane m etodą p ro porcji (zob. tabela 37).
Tabela 37. Sposób przeliczania w yników TRS
PRZEDZIAŁ GRON 1-1001 PRZEDZIAŁ GRON 1001-2000 PRZEDZIAŁ GRON 2001-3000
W YNIK PROCENT LICZBA
W YRAZÓW W YNIK PROCENT LICZBA
W YRAZÓW W YNIK PROCENT LICZBA W YRAZÓW
72 100% 1200 69 100% 2300 69 100% 2300
71 98,5% ok. 1180 68 98,5% ok. 2270 68 98,5% ok. 2270
70 97,2% ok. 1160 67 97,1% ok. 2230 67 97,1% ok. 2230
1 1 1 1 1 1 1 1 1
Ź ró d ło : op raco w an ie w łasne.
3. Test produktywnej znajom ości słow nictw a (TPS) 3.1. Budowa części badającej produktywną znajomość słownictwa
By umożliwić działania językowe uczącym się o różnym stopniu biegłości, kom ponent sprawdzający produktyw ne opanowanie leksyki stanowiło zadanie odpo
wiedzi rozszerzonej, częściowo otwartej, oparte na bodźcu wizualnym. Uczestnicy badań mieli napisać wypracowanie (tzw. esej szkolny)8 na temat: Lato - to najpięk
niejsza pora roku. Temat pogoda, należący do kręgu ŚRODOWISKO NATURALNE CZŁOWIEKA, w układzie spiralnym jest realizowany na wszystkich poziomach zaaw ansow ania (zob. Standardy wymagań egzaminacyjnych, 2003; M artyniuk, 2004). W yznaczenie oczekiwanej długości prac na poziomie 150 wyrazów9 miało służyć precyzowaniu wymagań.
Dla uczących się o niew ielkich um iejętnościach językowych m ateriały iko- niczne stanow ią podporę, pom agającą im aktyw izow ać słow nictw o z danego obszaru tematycznego; dla bardziej zaawansowanych są źródłem inspiracji. Bodź
cam i w izualnym i mogą być zarówno m ateriały autentyczne (fotografie, rysunki), które nie pow stały z myślą o kształceniu językowym, jak i opracowane, mające w yraźny profil dydaktyczny. Na potrzeby testu wybrano rozwiązanie oparte na
8 Celem b a d an ia była ilościow a an aliza zaw artości leksykalnej prac, dlatego też uczący się m ieli ująć swoją w ypow iedź w ram y m ożliw ie najprostszej formy.
9 D łu g o ść te k s tu z o sta ła o k re ślo n a n a p o d sta w ie b a d a ń p ilo ta żo w y ch p rz ep ro w a d z o n y ch w CJiKPwŚ n a p otrzeby nowej wersji testu plasującego (zob. Lipińska, Seretny, 2010a). Celem p ilo tażu było ustalenie orientacyjnej długości p róbki pracy pisem nej, k tó ra um ożliw ia trafn e w skazanie p oziom u zaaw ansow ania językowego piszącego.
198
m ateriałach opracowanych10. Nagrom adzenie określonych, a nie przypadkowych elementów, pozwala bowiem na bardziej efektywne kierunkow anie działań języ
kowych uczących się, a przez to - na uzyskiwanie porównywalnych próbek w ypo
wiedzi (Seretny, 2010).
3.2. Sposób ewaluacji części badającej produktywną znajomość słownictwa
M ateriał leksykalny wypowiedzi pisemnych został poddany profilowaniu leksy
kalnemu, które pozwala stwierdzić, w jakim stopniu uczący się używa słownictwa z poszczególnych przedziałów częstości oraz czy rozwój jego kompetencji leksykal
nej przebiega prawidłowo - od słownictwa najczęściej używanego do rzadszego.
Procedura ta jest uważana za rzetelne i trafne narzędzie badania bogactwa zasobu leksykalnego uczących się. Profil leksykalny wypowiedzi jest bowiem niezależny zarówno od jej długości, jak i tem atu, który porusza11. Jej niewątpliwą zaletą jest rów nież niezależność od kontekstu dydaktycznego12, co oznacza, że m oże być wykorzystana w sytuacji, gdy badani tworzą grupę niejednorodną, gdyż:
- poznawali język w odm ienny sposób (systemem akadem ickim , ucząc się go w domu, systemem m ieszanym 13),
- uczyli się go z różnych materiałów, - mówią różnymi językami pierwszymi.
N a potrzeby b ad ań kom petencji leksykalnej uczących się polszczyzny p ro pozycja Batii Laufer i Paula Nationa (1995) została nieznacznie zmodyfikowana (zob. tabela 38).
W zw iązku z b rakiem list frekwencyjnych polskiego słow nictw a akadem i
ckiego, w jego miejsce pojawiły się w yrazy z III przedziału częstości (grona 2001
-3000). Przedziały I, II oraz IV zostały zachowane. Rozwiązanie to, nie naruszając zasadniczej koncepcji autorów, nieco inaczej kierunkuje badania - wyłącznym obszarem analiz staje się słownictwo najczęściej używ ane, niespecjalistyczne14.
Kolejna modyfikacja polegała na operowaniu w analizach pojęciem „grono w yra
zowe”, a nie „rodzina w yrazów ”15, które jest bliższe rzeczywistości dydaktycznej.
10 Są to ilustracje pochodzące z pierwszej wersji słow nika obrazkowego do n auki języka polskiego jako obcego autorstw a A. Seretny z ry su n k am i A. Piątkow skiego; obecnie d o stęp n a jest jego wersja kolorow a (Seretny, 2003a).
11 Prace tego sam ego uczącego się p isane w ty m sam ym czasie n a różne tem aty m ają zazwyczaj b ard zo zbliżony profil leksykalny (zob. Laufer, N ation, 1995; Jaglińska, 2005).
12 Częstość w ystępow ania jed n o stk i jest o biektyw nym k ry teriu m zew nętrznym . 13 Zob. E. Lipińska (2003).
14 E lim inacji z profilu słow nictw a akadem ickiego dokonali tak że sam i autorzy koncepcji. A n a
lizując prace napisane przez uczących się słabo znających język, połączyli poziom III z poziom em IV, czyli z leksyką w ychodzącą poza o bszar 2000 najczęściej używ anych rodzin wyrazów.
15 Z asadność takiego ro zw iązania z ostała om ów iona w p o p rzed n im rozdziale.
T ab e la 38. P o d s ta w a p ro filo w a n ia lek sy k aln eg o - p o d z ia ł n a p o zio m y . P o ró w n a n ie k o n cep cji a n g ie lsk ie j (L aufer, N a tio n , 1995) i p o lsk iej
KONCEPCJA ANGIELSKA KONCEPCJA POLSKA
POZIOM 1 W yrazy należące do I przedziału częstości 1-1000
POZIOM 1 W yrazy należące do I przedziału częstości - grona 1-1000 POZIOM 2 W yrazy należące do II przedziału
częstości 1001-2000
POZIOM 2 W yrazy należące do II przedziału częstości - grona 1001-2000 POZIOM 3 W yrazy należące do University
W ord List*
POZIOM 3 W yrazy należące do III przedziału częstości - grona 2001-3000
POZIOM 4 pozostałe wyrazy POZIOM 4 pozostałe wyrazy
* S ą to w y r a z y w lic z b ie 5 4 6 , k tó r e m a ją n a jw y ż s z ą fre k w e n c ję w te k s t a c h a k a d e m ic k ic h z ró ż n y c h d z ie d z in (zo b . N a tio n , 2001).
Ź ró d ło : op raco w an ie w łasne.
Oprócz zbadania profilu leksykalnego prac policzone zostały również: wskaźnik zróżnicowania leksykalnego oraz gęstości leksykalnej. Pierwszy informuje o um ie
jętnym/nieumiejętnym stosowaniu środków leksykalnych; drugi natomiast - poka
zuje stopień nasycenia wypowiedzi wyrazami autosemantycznymi (zob. tabela 39).
T ab e la 39. P rz y k ła d o w e z e s ta w ie n ie w y n ik ó w b a d a ń ilo ścio w y c h k o m p e te n c ji le k s y k a ln e j - fa z a z n a jo m o ś c i r e c e p ty w n o -p ro d u k ty w n e j, p o z io m u ż y c ia w s p o m a g a n e g o
PROFIL LEKSYKALNY W SKAŹNIKI
PRZEDZIAŁ 1 PRZEDZIAŁ 2 PRZEDZIAŁ 3 POZOSTAŁE W ZL WGL
76% 8% 5% 11% 51% 53%
Ź ró d ło : op raco w an ie w łasne.
4. Test ogólnej kom petencji językowej (KJ) 4.1. Budowa części badającej kompetencję językową uczących się
Rzetelne porównywanie wielkości zasobu leksykalnego uczących się jest możliwe tylko wówczas, gdy legitymują się oni zbliżonym stopniem biegłości językowej.
W celu podziału uczestników na grupy o podobnych um iejętnościach do baterii testów badających znajomość leksyki z poszczególnych przedziałów częstości został włączony kom ponent sprawdzający ich ogólną kompetencję językową. Była nim część gramatyczno-leksykalna testu plasującego stosowanego w C entrum Języka i K ultury Polskiej w Świecie Uniwersytetu Jagiellońskiego (dalej: CJiKPwŚ )16.
16 Stosow any w CJiKPwŚ test (oraz jego wersje równoległe) poddaw any był w ielokrotnym i w ie
loaspektow ym an alizo m ilościow ym (zob. m .in.N ow ak, 2008), k tó re p o tw ierd z iły jego tra fn o ść
200