Podziękowania i wkład poszczególnych autorów
2.2. Reprezentatywność treści nauczania
O testach osiągnięć szkolnych bardzo często mówi się, że są niekompletną miarą wyników kształcenia ze względu na to, że w każdym teście znajdują się zadania mierzące tylko niewielką część nauczanych przez szkoły treści i umiejętności. Dzieje się tak ze względu na ograniczoną długość testu (praktycznie niemożliwe jest, by nawet w serii testów, którą może rozwiązać jeden uczeń, pojawiły się pytania dotyczące wszystkich treści objętych programem naucnia) oraz jego formę (test pisemny składający się przede wszystkim z zadań zamkniętych i za-dań wymagających udzielenia krótkiej odpowiedzi), która sprzyja pomiarowi pewnych okre-ślonych kompetencji, a uniemożliwia pomiar innych. Ponadto testy obejmujące pomiarem wszystkich lub większość uczniów w kraju nie mierzą (przynajmniej wprost) takich ważnych
ciekawość poznawcza, umiejętność współpracy z innymi czy pozytywne nastawienie do nau-ki. Nie oznacza to jednak, że testy osiągnięć mierzą umiejętność rozwiązania tylko tych zadań, które zostały w nich zawarte – jeśli tylko są dobrze skonstruowane.
Pomiar osiągnięć szkolnych opiera się na założeniu, że reakcja ucznia na zadanie (po-prawne lub błędne jego rozwiązanie) jest przejawem cechy ukrytej: badanej umiejętności.
Zakładamy, że cecha ta jest ciągła i nie daje się zmierzyć bezpośrednio. Oznacza to, że popraw-ne lub niepoprawpopraw-ne rozwiązanie pojedynczego zadania jest bardzo niedoskonałym wskaźni-kiem poziomu umiejętności ucznia. Aby móc go lepiej określić, musimy wykorzystać większą liczbę zadań. Oczywiście, co do wszystkich tych zadań musimy móc założyć, że mierzą one pewną wspólną, ogólniejszą umiejętność, wpływającą na szanse poprawnego rozwiązania każdego z nich. Należy przy tym zaznaczyć, że założenie o istnieniu takiej cechy daje się wery-fikować empirycznie. Jeśli istnieje, w wynikach egzaminów powinniśmy zaobserwować pew-nego rodzaju zależności statystyczne pomiędzy poszczególnymi zadaniami (por. Jakubowski i Pokropek, 2009).
Interesującą nas cechą, dla przykładu, może być znajomość języka obcego. Umiejętność tę możemy sobie wyobrazić jako cechę rozciągającą się od kompletnej nieznajomości ję-zyka do biegłego posługiwania się nim w najróżniejszych sytuacjach. To, czy badana oso-ba poprawnie rozwiąże zadanie, czy to wymagające znajomości określonych pojęć, czy struktur gramatycznych, zależy od jej biegłości w tym języku. Możemy jednak z dużym prawdopodobieństwem założyć, że jeśli dana osoba poradziła sobie z zadaniem wymaga-jącym napisania złożonego tekstu, poradziłaby sobie z prostym zadaniem wymagawymaga-jącym przedstawienia się osobie nieznajomej. Na podstawie dowodów opanowania bardziej złożonych umiejętności, możemy wyciągnąć wniosek o posiadaniu mniej złożonych kom-petencji (nawet bez weryfikowania tego zadaniami w teście). Podobnie, jeśli osoba wyka-zała się umiejętnością napisania listu formalnego, możemy się spodziewać, że potrafiłaby napisać list do przyjaciela.
Przykład ten miał pomóc wyrobić intuicję, że test może mierzyć zdolność do pora-dzenia sobie z pewnymi problemami, nawet jeśli nie zawiera zadań ściśle się do nich od-wołujących. Nie oznacza to jednak, że twórcy narzędzia mogą mieć zupełną dowolność w doborze zadań. Wręcz przeciwnie. Tylko przemyślany plan testu (zawierający specyfi-kację tego, jakie zadania – mierzące jakie treści i umiejętności – powinny wejść w jego skład) daje szansę na to, że test będzie reprezentatywny dla danej dziedziny. Oznacza to, że będzie on pokrywał zakres treści najważniejszych z punktu widzenia pomiaru ba-danej cechy oraz że dobrane zadania będą na tyle różnorodne, że nie będą zbytnio za-wężały badanej umiejętności. Jeśli w teście umiejętności posługiwania się językiem ob-cym znajdowałyby się tylko zadania na tłumaczenie słów, nie można byłoby twierdzić, że
mierzy on kompetencję tworzenia z tych pojęć odpowiednich struktur umożliwiających komunikację.
Testy osiągnięć zawsze obejmują więc najważniejsze (z punktu widzenia konstruktorów narzędzia), ale nadal wybrane treści kształcenia. Skoro tak, to powstała na ich podstawie miara EWD także będzie odzwierciedlać efektywność nauczania w zakresie mierzonym przez wykorzystane do jej wyliczenia testy. Jeśli pomiar testem nie pokryje najważniej-szych z punktu widzenia programu nauczania treści kształcenia, miara EWD także będzie ograniczoną, a w pewnych sytuacjach może nawet mylącą informacją na temat efektyw-ności kształcenia. Skoro bowiem wskaźniki EWD mają być miarą efektywefektyw-ności pracy szko-ły, to do ich wyliczania powinny zostać wykorzystane testy, które koncentrują się na po-miarze tego, co należy do zadań szkoły, czyli na popo-miarze realizacji celów kształcenia. Jeśli na przykład wymaga się, by szkoły rozwijały myślenie naukowe, a testy wykorzystane do wyznaczenia wskaźników EWD sprawdzałyby tylko umiejętność odtwarzania faktów, ich wyniki nie byłyby dobrą podstawą dla miar efektywności nauczania w określonym przez wymagania zakresie. Faworyzowałyby szkoły, które przede wszystkim koncentrują się na utrwalaniu faktów i pojęć. Należy mieć jednak świadomość, że ograniczenie to stosuje się do każdej miary jakości kształcenia wykorzystującej wyniki danych testów, nie tylko miary EWD. Niemniej trzeba mieć na uwadze fakt, że wskaźniki EWD są czułe na wykorzystane do ich wyliczenia wyniki testów, a wybór określonej miary osiągnięć może mieć większe znaczenie dla wartości wyliczonych wskaźników niż wybór konkretnego modelu, na pod-stawie którego są wyznaczane (Lockwood i in., 2007).
W polskim systemie edukacji nie mamy dużego wyboru miar wyników kształcenia, które mogą być wykorzystane do wyliczenia wskaźników EWD. Nie zwalnia to nas jednak z obowiązku oceny jakości wykorzystywanych wyników egzaminacyjnych dla potrzeb szacowania wskaźników efektywności pracy szkół. Zadbanie o reprezentatywność mie-rzonych umiejętności szczegółowych, ważnych z punktu widzenia celów kształcenia na danym etapie edukacji, spoczywa na Centralnej Komisji Egzaminacyjnej, która jest odpo-wiedzialna za ostateczny kształt egzaminów zewnętrznych. Dokumentem regulującym zakres treściowy pomiaru dla egzaminu gimnazjalnego od 2012 roku jest podstawa pro-gramowa kształcenia ogólnego. W „Informatorze o egzaminie gimnazjalnym” (Centralna Komisja Egzaminacyjna, 2010) znajdujemy deklarację, że „egzamin będzie sprawdzał opanowanie przez uczniów wiadomości i umiejętności określonych w wymaganiach ogólnych i szczegółowych zawartych w podstawie programowej kształcenia ogólnego”.
W dokumentach opublikowanych przez Centralną Komisję Egzaminacyjną po zrealizo-wanej sesji egzaminacyjnej informację tę uzupełniono dość ogólną charakterystyką skal
w jakim stopniu uczeń opanował kluczowe dla dalszego rozwoju umiejętności złożone takie jak m.in. krytyczne myślenie, precyzyjne rozumowanie oraz analizowanie prze-biegu zjawisk. Umiejętności te stanowią rdzeń kształcenia gimnazjalnego; dla każdego przedmiotu zostały one określone w aktualnie obowiązującej podstawie programowej w postaci tzw. wymagań ogólnych. Umiejętności te mierzy się za pomocą zadań zakotwi-czonych w konkretnych zapisach podstawy programowej. Uzyskano w ten sposób pełną spójność wymagań egzaminacyjnych z celami procesu kształcenia, a zarazem postawiono w centrum uwagi najważniejsze cele tego procesu” (Centralna Komisja Egzaminacyjna, 2012). W przypadku sprawdzianu realizowanego w 2009 roku, czyli przed wprowadze-niem zmian programowych, zakres treści i umiejętności objętych pomiarem, regulują publicznie dostępne standardy wymagań egzaminacyjnych oraz podstawa programowa kształcenia ogólnego (Informator z aneksem dla uczniów ze specyficznymi trudnościami w uczeniu się, 2009).
Przedstawione powyżej założenia pomiaru pozwalają wierzyć, że egzaminy zewnętrz-ne są dobrą miarą tego, na ile szkoła zrealizowała stawiazewnętrz-ne przed nią cele. Analiza tego, na ile w praktyce treść egzaminów odpowiada sformułowanym założeniom, powinna polegać na krytycznej ocenie – przez ekspertów z zakresu dydaktyki – planów testów, precyzujących, jaki odsetek zadań w teście będzie mierzył konkretne umiejętności i treści.
Dodatkowo powinna ona objąć ocenę skali odstępstw od planów testów ostatecznych narzędzi pomiarowych4. Dokumentacja z takich analiz nie jest publicznie dostępna, co utrudnia ocenę, czy konkretne testy nie pomijają pewnych kluczowych umiejętności, które są wyszczególnione w podstawie programowej. Prace nad rozwojem metodologii szacowania wskaźników EWD byłyby łatwiejsze i potencjalnie bardziej owocne, gdyby ko-lejne sesje egzaminów zewnętrznych doczekały się stosownego opracowania w postaci raportów technicznych opisujących ich właściwości psychometryczne. Niektóre założenia dotyczące narzędzi mogą bowiem zostać adekwatnie opisane przede wszystkim przez osoby konstruujące dany test i są trudne do odtworzenia post factum. Mimo swoich nie-dostatków w postaci odpowiedniej dokumentacji, egzaminy nie powstają jednak w spo-sób przypadkowy. Procedury ich tworzenia są przestrzegane dzięki wiedzy i doświadcze-niu pracowników centralnej i okręgowych komisji egzaminacyjnych, którzy odpowiadają za ich jakość. Pozwala to mieć nadzieję, że polskie egzaminy są dobrą miarą tego, na ile szkoła zrealizowała stawiane przed nią przez państwo cele, i w konsekwencji stanowią dobrą podstawę dla wskaźników EWD.
4 Odstępstwa takie mogą się zdarzyć np. w przypadku zastąpienia zadania o bardzo słabych właściwościach psy-chometrycznych innym, lepszym pomiarowo, choć odwołującym się do innych umiejętności.