zewnętrzne kryteria trafności egzaminów gimnazjalnych

Utrudniona weryfikacja zgodności treściowej egzaminów z celem pomiaru sprawia, że analiza związków egzaminów z zewnętrznymi kryteriami stanowi jeszcze bardziej war-tościowy wkład w ocenę trafności egzaminów. Umożliwia ona weryfikację, na ile testy, na podstawie których liczone są wskaźniki EWD, pozwalają mierzyć coś więcej niż tylko sku-teczność rozwiązania danego zestawu zadań. Idąc dalej, możemy zapytać, na ile wyniki egzaminów są powiązane z szerzej ujętymi efektami kształcenia i czy dzięki temu mogą stanowić podstawę bardziej kompleksowej oceny pracy szkoły. We współczesnym myśle-niu o trafności pomiaru wychodzi się poza jej kryterialne znaczenie, które koncentruje się na tym, w jakim stopniu test mierzy to, co w założeniu miał mierzyć. Coraz częściej sięga się po modele definiujące trafność w kategoriach użyteczności wykorzystania wyników testu w określonym celu (Skorupiński, 2013). Zgodnie z tym ujęciem możemy zapytać, czy wynikami egzaminów zewnętrznych możemy się sensownie posługiwać jako miarą wyników kształcenia.

Przeprowadzone badanie umozliwiło weryfikację tego, czy wyniki polskich egzami-nów są związane z innymi miarami podobnych konstruktów (ukrytych dyspozycji umy-słowych, umiejętności) oraz zmiennymi opisującymi czynniki, co do których możemy oczekiwać, że są powiązane z umiejętnościami, które z założenia mają mierzyć egzaminy.

Pokażemy także, na ile wyniki testu są skorelowane z szerzej ujętymi efektami kształcenia.

Odniesiemy się do sześciu kryteriów: poziomu inteligencji, ocen szkolnych, bezradności intelektualnej, wzorca motywacji, dwóch wymiarów integracji uczniów ze środowiskiem szkolnym: integracji emocjonalnej i motywacyjnej.

Poziom inteligencji uczniów był mierzony testem matryc Ravena w wersji standar-dowej w pierwszej klasie gimnazjum⁵. Ponieważ znaczeniu inteligencji dla osiągnięć szkolnych poświęcony jest w tej publikacji osobny rozdział, wnioski ani szczegółowy opis narzędzia nie będą tu powtarzane. Oceny szkolne na koniec pierwszego semestru trzeciej klasy gimnazjum były zbierane za pomocą pytań w ankiecie uczniowskiej. W ni-niejszej analizie zostały wykorzystane informacje o ocenach z języka polskiego i ma-tematyki. Poziom bezradności intelektualnej był mierzony w trzeciej klasie gimnazjum za pomocą standardowej skali bezradności intelektualnej opisanej w pracy Grzegorza Sędka (1995). Na tym samym etapie badania przeprowadzono pomiar motywacji, wy-korzystując wstępną adaptację skali ASRS. Sposób konstrukcji wskaźników poziomu

5 W badaniu powtórzono pomiar testem matryc Ravena także w III klasie gimnazjum, ale wyniki te nie będą tu

bezradności intelektualnej i wzorców motywacji oraz opis wykorzystanych narzędzi zo-stał przedstawiony w aneksie do rozdziału 6. Poziom integracji emocjonalnej i motywa-cyjnej był mierzony w trzeciej klasie gimnazjum za pomocą kwestionariusza integracji uczniów (KIU). Narzędzie to jest adaptacją szwajcarskiego kwestionariusza Fragebogen zur Erfassung von Dimensionen der Integration von Schulern FDI 4–6 (Haeberlin, Moser i Bless, 1989), służącego do badania funkcjonowania szkolnego uczniów. Polska ad-aptacja narzędzia została opracowana przez Grzegorza Szumskiego. Interesujące nas, z punktu widzenia analizowanego problemu, wymiary szkolnego funkcjonowania, to 1) integracja emocjonalna wyrażająca nastawienie uczniów do szkoły, to czy uczniowie lubią do niej chodzić, czy szkoła kojarzy im się z czymś przyjemnym, ciekawym oraz 2) integracja motywacyjna, która odnosi się do obrazu siebie jako ucznia za pomocą samooceny własnych szkolnych kompetencji. Sposób konstrukcji wskaźników dla tych skal został opisany w aneksie do niniejszego rozdziału.

W poniższej tabeli przedstawiono siłę związków wymienionych kryteriów z czterema wynikami egzaminów gimnazjalnych: łącznym wynikiem części matematyczno-przy-rodniczej, łącznym wynikiem części humanistycznej, wynikiem egzaminu z matematyki i języka polskiego. Dla zmiennych ciągłych (mierzonych na skali interwałowej) podano współczynnik korelacji liniowej i jego kwadrat (współczynnik determinacji r²), mówiący o tym, jaką część zmienności wyników egzaminacyjnych możemy wyjaśnić przez dane kryterium. Podano także błąd standardowy dla oszacowania korelacji. Dla zmiennych porządkowych (oceny szkolne) i nominalnych (wzorzec motywacji) siłę związku wyrażo-no współczynnikiem η², mówiącym o tym, jaką część wariancji zmiennej zależnej mo-żemy wyjaśnić przez przynależność do poszczególnych kategorii zmiennej niezależnej (jest to miara o analogicznej interpretacji jak r²). Dodatkowo podano wartości współ-czynników regresji pozwalające określić, jakie były średnie wyniki egzaminów wśród uczniów o określonej wartości zmiennej niezależnej. Współczynniki istotne statystycz-nie na poziomie istotności p < 0,05 zaznaczono pogrubionym drukiem. Prezentowane parametry zostały wyliczone za pomocą modeli regresji estymowanych w programie Mplus 7 metodą pseudo maximum likelihood, z uwzględnieniem dwustopniowego sche-matu doboru próby i nierównych prawdopodobieństw doboru.

Pierwszym z rozpatrywanych kryteriów, z którym według teorii i licznych badań wiązane są osiągnięcia szkolne, jest inteligencja. Wyniki przeprowadzonych analiz po-twierdziły istnienie tego związku. Jego siła jest zbliżona do zaobserwowanej w innych badaniach, a także zgodnie z doniesieniami innych prac, jest trochę silniejsza dla przed-miotów matematyczno-przyrodniczych niż humanistycznych (patrz przegląd literatury w rozdziale 4).

Tabela 2. siła związków między wynikami egzaminów gimnazjalnych a zewnętrznymi kryteriami

oceny na koniec I semestru III klasy z języka polskiego

oceny na koniec I semestru III klasy z matematyki

 kryterium współczynnik gmP gh gm-m gh-P

oznaczenia: GMP – część matematyczno-przyrodnicza łącznie, GH – część humanistyczna łącznie, GM-M – matematyka, GH-P – język polski

W przypadku badania trafności testów osiągnięć szkolnych, jako zewnętrzne kryte-rium często wykorzystuje się oceny nauczycielskie lub wyniki innych testów osiągnięć (Anastasi i Urbina, 1999). Oceny nauczycielskie są często miarą, ze statystycznego punktu widzenia, mało rzetelną, zasadniczo nieporównywalną między grupami uczniów ocenia-nymi przez różnych nauczycieli (por. Jasińska, 2010). Mimo to ich wykorzystanie w bada-niu trafności jest uzasadnione o tyle, że obejmują one szerokie spektrum umiejętności uczniów, które mają okazję ujawnić się w różnych okolicznościach (nie tylko podczas badania testowego). Dodatkowo są one w mniejszym stopniu uzależnione od chwilowej

dyspozycji ucznia. Z tego powodu zostały przez nas wykorzystane w przeprowadzonych analizach.

Wyniki analiz związków z ocenami szkolnymi przemawiają na rzecz trafności egzami-nów zewnętrznych. Obserwujemy bowiem umiarkowanie silny, pozytywny związek wy-ników egzaminacyjnych z ocenami z przedmiotów, które są objęte danym egzaminem (ok. 40–50% wariancji wyników egzaminacyjnych można wyjaśnić za pomocą informacji o ocenie z danego przedmiotu na koniec I semestru trzeciej klasy). Dodatkowym potwier-dzeniem jest silniejsza relacja dla odpowiadających sobie przedmiotów (np. między wyni-kiem egzaminu z matematyki a ocenami z tego przedmiotu) niż dla różnych przedmiotów (np. między wynikiem egzaminu z matematyki a ocenami z języka polskiego). Oczywiście te krzyżowe relacje także występują z uwagi na to, że osiągnięcia szkolne z matematyki i języka polskiego są ze sobą powiązane.

Za kolejne kryterium trafności egzaminów zewnętrznych, jako narzędzia pomiaru efektów kształcenia, posłuży związek z bezradnością intelektualną uczniów. Stan bezrad-ności intelektualnej, według twórców narzędzia, może powstać wskutek niewłaściwego sposobu nauczania / uczenia się lub zaburzenia interakcji nauczyciel – uczeń (Sędek, 1995), jeśli prowadzą one do tego, że uczeń mimo długotrwałego wysiłku umysłowego nie jest w stanie zrozumieć danego materiału. Doświadczenia takie mogą prowadzić do zablokowania możliwości aktywnego myślenia problemowego i pogorszenia zdolności przyswajania nowych informacji do istniejących już struktur wiedzy. Stan taki stanowi istotę bezradności intelektualnej. Jest więc ona ważnym czynnikiem wpływającym na niskie osiągnięcia, ponieważ znacząco utrudnia lub nawet uniemożliwia uczenie się ze zrozumieniem, pozwalając jedynie na uczenie się reprodukcyjne, pamięciowe, które i tak może być utrudnione. Co ważne, przyjmuje się, że bezradność intelektualna nie jest ogól-ną cechą ucznia, ale stanem specyficznym dla danej dziedziny, przedmiotu szkolnego.

W kontekście tak pojmowanej bezradności intelektualnej, jeśli egzaminy zewnętrzne są trafną miarą wyników kształcenia, mierzą coś więcej niż umiejętność reprodukcji wiado-mości, oczekiwalibyśmy po pierwsze negatywnego związku wyników egzaminacyjnych z poziomem bezradności. Po drugie, jako że bezradność intelektualna jest specyficzna dla dziedziny, spodziewaliśmy się silniejszych związków dla konstruktów odnoszących się do tych samych przedmiotów.

W przypadku bezradności intelektualnej z języka polskiego otrzymaliśmy relacje zgodne z przewidywaniami. Związki z wynikami egzaminów gimnazjalnych z języka pol-skiego i łącznymi wynikami z części humanistycznej są negatywne, choć niezbyt silne.

Związki z wynikami egzaminów z matematyki, choć istotne i negatywne, są bardzo

sła-negatywne związki z wynikami egzaminu z matematyki i łącznymi wynikami z przedmio-tów matematyczno-przyrodniczych. Co ciekawe, zaobserwowano także znaczące (choć słabsze), ujemne korelacje z wynikami z egzaminów z przedmiotów humanistycznych i z języka polskiego. Oznacza to, że albo bezradność intelektualna nie jest tak ściśle specy-ficzna dla danego przedmiotu jak zakładali twórcy koncepcji tego konstruktu, albo egza-min z języka polskiego i przedmiotów humanistycznych mierzy także takie kompetencje, których rozwój utrudnia bezradność intelektualna z matematyki. Niemniej wzór zależno-ści jest zgodny z oczekiwaniami i stanowi kolejny argument przemawiający za trafnozależno-ścią egzaminów gimnazjalnych jako miary efektów kształcenia.

Następnym rozpatrywanym przez nas kryterium jest motywacja do uczenia się⁶. Osiągnięcia szkolne wydają się być powiązane nie tylko z siłą motywacji, ale także jej jakoś-cią (Vansteenkiste, Sierens, Soenens, Luyckx i Lens, 2009). W szczególności zwraca się uwa-gę na znaczenie motywacji wewnętrznej i zewnętrznej (Ryan i Deci, 2000). Motywacja we-wnętrzna dotyczy sytuacji, w której dane działania są podejmowane dla nich samych, a nie ze względu na jakiś instrumentalny cel. Osoba wykonuje jakąś aktywność dlatego, że jest nią zainteresowana, przynosi jej to satysfakcję, wzbudza zaangażowanie. Natomiast motywacja zewnętrzna dotyczy podejmowania działań w celu spełnienia wymagań zewnętrznych wo-bec jednostki, uniknięcia kar lub uzyskania konkretnych korzyści. Wiąże się ona z poczuciem presji i przymusu. Jeśli wyniki egzaminacyjne miałyby być trafną miarą efektów kształcenia, oczekiwalibyśmy pozytywnych związków z motywacją wewnętrzną oraz raczej negatyw-nych związków (lub braku związku) z motywacją zewnętrzną. Chcielibyśmy bowiem, by wysokie wyniki egzaminacyjne częściej osiągali uczniowie, którzy uczą się dlatego, że jest to dla nich ważne, wartościowe, a nie dlatego, że odczuwają zewnętrzny przymus i chcą uniknąć sankcji. Za tym oczekiwaniem stoi przeświadczenie, że szkoły mogą kształtować wzorzec motywacji, co nie jest sprzeczne z założeniami twórców koncepcji (Ryan i Deci, 2000). Traktujemy tu więc motywację jako alternatywne kryterium efektów kształcenia.

Wyniki przeprowadzonych analiz pokazały, że wzorzec motywacji wyjaśnia ok. 3%

zróżnicowania wyników egzaminów gimnazjalnych, jednak dzieję się to głównie za spra-wą odmienności dwóch spośród pięciu wyróżnionych wzorców. W stosunku do uczniów charakteryzujących się motywacją o przeciętnej sile, uczniowie o wysokiej motywacji uzy-skali na egzaminie wyniki o 2–3 punkty wyższe, a efekt ten był podobny dla wszystkich przedmiotów. Natomiast uczniowie charakteryzujący się motywacją wewnętrzną otrzyma-li na egzaminach wyniki o około 7 punktów (ok. pół odchylenia standardowego) wyższe.

Uczniowie o motywacji zewnętrznej oraz o niskiej motywacji nie różnili się statystycznie

6 W odróżnieniu od motywacji do rozwiązywania egzaminów, o której była mowa we wprowadzeniu do rozdziału.

wynikami egzaminów od uczniów o motywacji przeciętnej. Wyniki te pokazują, że egzami-ny zewnętrzne pośrednio zdają też sprawę z tego, jaką motywacją kierują się uczniowie je zdający, a zaobserwowane związki są zgodne z naszymi oczekiwaniami, choć niezbyt silne.

Ostatnimi z rozpatrywanych kryteriów są: nastawienie gimnazjalisty do szkoły i postrze-ganie siebie jako ucznia. Twierdzimy bowiem, że dobra szkoła powinna nie tylko dbać o jak najwyższe osiągnięcia mierzone egzaminami, ale równocześnie powinna rozwijać u uczniów takie umiejętności i postawy, które przełożą się na sprawne funkcjonowanie szkolne i pozy-tywne nastawienie do nauki i szkoły oraz wiarę we własne możliwości uczenia się. Przekonania takie mogą zwiększyć prawdopodobieństwo podjęcia nauki na kolejnych szczeblach edukacji oraz osiągania dalszych szkolnych sukcesów. Jeśli wyniki egzaminów gimnazjalnych pośred-nio informują o szerzej ujętych efektach kształcenia, powinniśmy zaobserwować pozytywny ich związek z poziomem integracji emocjonalnej i motywacyjnej.

Integracja emocjonalna wyraża nastawienie uczniów do szkoły. Skala użyta w badaniu do jej pomiaru składała się z 16 pozycji zawierających stwierdzenia takie jak na przykład:

Lubię chodzić do szkoły; W szkole jest ciekawie; Cieszę się, że kiedyś nie będę już musiał chodzić do szkoły (pozycja odwrócona); Bez szkoły wszystko byłoby o wiele lepsze (pozycja odwróco-na); Czasami chętnie bym poszedł na wagary (pozycja odwrócoodwróco-na); Wspaniale by było, gdy-bym nie musiał już chodzić do szkoły (pozycja odwrócona). Przeprowadzone analizy pokazały dość silny związek wyników egzaminacyjnych z tym wymiarem funkcjonowania szkolnego.

Współczynniki korelacji dla czterech rozpatrywanych wyników egzaminacyjnych wynoszą około 0,5.

Integracja motywacyjna, wyrażająca obraz siebie jako ucznia za pomocą samooceny własnych szkolnych kompetencji, była mierzona skalą, w skład której weszło 14 pozycji ta-kich jak na przykład: Nawet gdy bardzo się staram, nie umiem zrobić trudnych zadań (pozycja odwrócona); Kiedy nauczyciel tłumaczy nową lekcję, od razu wszystko rozumiem; Szybko się uczę; W szkole w wielu sprawach jestem mało zdolny (pozycja odwrócona); Wielu szkolnych zadań nie umiem zrobić (pozycja odwrócona). Korelacja między tą skalą a wynikami egza-minacyjnymi jest słabsza niż dla integracji emocjonalnej, jednak nadal pozytywna i istot-na statystycznie. Okazała się oistot-na trochę silniejsza dla języka polskiego i łącznego wyniku z przedmiotów humanistycznych (ok. 0,2) i trochę słabsza dla matematyki i wyniku z przed-miotów matematyczno-przyrodniczych (ok. 0,16).

Zaprezentowane w tej części rozdziału wyniki analiz przemawiają na rzecz trafności eg-zaminów gimnazjalnych jako miary osiągnięć szkolnych. Potwierdzono istnienie związków wyników egzaminacyjnych z innymi konstruktami, z którymi – wedle oczekiwań – powin-ny być one związane. Dodatkowo wykazano ich związek z szerzej ujętymi efektami

kształ-Oznacza to, że wyniki egzaminów gimnazjalnych są miarą nie tylko tego, jak uczeń pora-dził sobie z rozwiązaniem danego zestawu zadań, ale zdają sprawę z ogólnego poziomu wiadomości i umiejętności z danej dziedziny przedmiotowej, a także pośrednio niosą za sobą informację o skuteczności realizacji szerzej rozumianych celów nauczania.