6. Wyniki zrównywania
6.1.1. Zmiany trudności egzaminu w latach 2002–2013
W wyniku zastosowanej procedury zrównywania dysponujemy zakotwiczonym na wspólnej skali rozkładem poziomu umiejętności dla każdego roku oraz parametrami zadań opisującymi prawdopodobieństwo udzielenia określonej odpowiedzi na zadania egzaminacyjne w zależności od poziomu umiejętności uczniów. Informacje te pozwalają na oszacowanie, jak wyglądałby rozkład „zwykłej” sumarycznej liczby punktów (zwanej dalej wynikami obserwowanymi) z dowolnego egzaminu w latach 2002–2013, gdyby był rozwiązywany przez populację uczniów z dowolnej kohorty w latach 2002–2013. W szczególności, możliwe jest przedstawienie wyników obserwowanych wszystkich edycji sprawdzianów na skali wyników obserwowanych sprawdzianu z roku 2012, który został wybrany jako referencyjny.
Rysunek 6.1 przedstawia rozkłady rzeczywistych oraz wyrażonych na skali z roku 2012 wyników ze sprawdzianu w latach 2002–2013 wraz z informacjami o średniej (M) oraz odchyleniu standardowym (SD) dla wersji oryginalnej i zrównanej. Na wykresie przedstawiono również wyniki sprawdzianu z roku 2014, którego nie objęła procedura zrównywania ex-post przeprowadzonego w ramach badań. Rysunek 6.1 przedstawia zmiany średniej oraz odchylenia standardowego oryginalnych oraz zrównanych wyników obserwowanych na dwóch ostatnich wykresach. Pierwszą narzucającą się obserwacją jest to, że zmienność kształtu rozkładu, jak i najważniejszych jego parametrów pomiędzy niezrównanymi obserwowanymi wynikami na przestrzeni lat jest o wiele większa niż pomiędzy wynikami zrównanymi. Jest to sygnałem, że występujące między latami fluktuacje rozkładu wyników egzaminów są przede wszystkim konsekwencją zmian w trudności poszczególnych arkuszy, a w mniejszym stopniu zmian w poziomie umiejętności uczniów.
Patrząc na wartości średnich obserwowanych wyników sprawdzianu przed zrównaniem zauważamy silny trend spadkowy między rokiem 2002, a 2013. Średnie niezrównane wyniki w pierwszych dwóch edycjach wynosiły odpowiednio 29,5 oraz 28,5 punktu, gdy w ostatnich trzech objętych zrównaniem latach (2011–2013) notujemy wartości odpowiednio: 25,3, 22,8 oraz 24 punkty. Oznacza to spadek sięgający w skrajnym przypadku prawie 7 punktów na 40 możliwych do uzyskania w teście. Po zrównaniu okazuje się natomiast, że wyniki wyrażone na wspólnej skali 2012 dla trzech ostatnich lat są tak naprawdę wyższe niż dla pierwszych edycji sprawdzianu, a jednocześnie różnice między wszystkimi analizowanymi edycjami sprawdzianu nie wykraczają co do absolutnej wartości poza 1,6 punktu.
Rysunek 6.1. Rozkłady wyników obserwowanych ze sprawdzianu w latach 2002-2014. Pełne słupki odnoszą się do niezrównanych wyników egzaminacyjnych, zrównane wyniki przedstawiono za pomocą słupków pustych
Tak silna fluktuacja trudności egzaminów między latami pokazuje, jak dalece mijalibyśmy się z prawdą przyjmując surowe wyniki sprawdzianu za porównywalną miarę zmian poziomu osiągnięć uczniów na przestrzeni lat. Wynik ten również w negatywnym świetle stawia dotychczasowe rozwiązania obowiązujące w systemie egzaminacyjnym w zakresie konstruowania testu – nie udało się w przypadku sprawdzianu utrzymać stabilnej trudności egzaminu na przestrzeni lat. W tym kontekście zaproponowana procedura przedstawiania rozkładów wyników obserwowanych rożnych egzaminów w zestawieniu z wynikami zrównanymi do egzaminu z roku referencyjnego ukazuje się jako interesujące narzędzie do monitorowania jakości egzaminów (spodziewamy się utrzymywania możliwie stałej trudności tego samego egzaminu w różnych latach). Ustaliwszy rok referencyjny można w łatwy sposób ocenić stopień w jakim trudność egzaminu odbiegała od przyjętego układu odniesienia po prostu odejmując średnią zaobserwowaną dla danego egzaminu od średniej na skali wyników obserwowanych roku referencyjnego. Najbardziej trudnością (łatwością) od roku referencyjnego odstają lata 2002, 2003 oraz 2005, gdzie mamy wzrost średniego wyniku uczniów odpowiednio o 7,5, 6,6 oraz 6,2 punktu względem wyniku jaki uczniowie w tych latach uzyskaliby rozwiązując test z roku 2012.
Zasymulowane na podstawie modelu IRT (zob. podrozdział 4.8) rozkłady wyników obserwowanych sprawdzianu z 2012 roku dla wszystkich populacji uczniów w latach 2002–2013 pozwalają na stworzenie tablic przeliczeniowych. Umożliwiają one przyporządkowanie uczniowi uzyskującemu dany wynik na egzaminie przeprowadzonym w dowolnym roku wynik, jaki uzyskałby na sprawdzianie z 2012 roku. Wystarczy w tym celu dokonać zrównania ekwicentylowego (zob. podrozdział 4.7) wyników obserwowanych testu z roku X z wynikami obserwowanymi w teście 2012 dla uczniów pochodzących do egzaminu w roku X. Tabela 6.1 przedstawia tablicę przeliczeniową dla sprawdzianu, która i zostanie omówiona w dalszej części rozdziału. Natomiast dla kolejnych egzaminów tablice pozwalające na przeliczenie wyników obserwowanych na edycję egzaminu z roku 2012 ze względu na rozmiary zawiera Aneks 1, a ich opis zostanie ograniczony do koniecznego minimum.
Analiza danych ukazanych w tabeli przeliczeniowej (zob. Tabela 6.1) pozwala na zauważenie kolejnych kilku bardzo interesujących zależności między wynikami uczniów z różnych lat w egzaminach, które różnią się łatwością. Dla przykładu, wynik ucznia, który w 2002 lub 2003 roku uzyskał 20 punktów (środek skali), powinien zostać przeliczony na zrównany wynik niższy odpowiednio o 8 lub 7 punktów na skali zrównanej, co odpowiada różnicom rzędu 17,5–20% wyniku sumarycznego. Jednocześnie różnice między średnimi wynikami po zrównaniu między latami 2002–2003 a rokiem 2012 wynoszą w obu przypadkach 0,8 punktu. Podobnie duże rozbieżności dla wybranych lat dotyczą nie tylko uczniów o wynikach surowych równych 20, ale dość szerokiego przedziału punktowego od 16 do 34 punktów. Wniosek ten jest szczególnej wagi, gdyż w tym zakresie punktów znajduje się większość populacji uczniów rozwiązujących egzaminy w latach 2002–2003. Warte odnotowania jest również, że na krańcach skali rozbieżności między uzyskanym a przeliczonym na skalę z 2012 roku wynikiem zaczynają raptownie maleć. Taka nieliniowość przekształcenia zrównującego (widoczna również dla innych zestawień niż 2002 i 2003 z 2012), nakazuje wyciągnąć wniosek, że stosowanie wszelkich poprawek o liniowym charakterze (jak na przykład standaryzacja) nie będzie w stanie rozwiązać problemu nierównoważnych trudności egzaminów między latami.
Tabela 6.1. Tablica przeliczeniowa obserwowanych wyników sprawdzianu na wyniki obserwowane w roku 2012
Wynik z egzaminu
Przeliczenie wyników na skalę egzaminu z roku 2012
2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 0 1 0 1 0 1 0 0 1 1 0 0 1 1 1 1 2 1 2 1 1 1 1 1 1 1 2 2 1 3 2 3 2 1 2 2 2 2 2 3 2 2 4 2 4 3 2 3 3 3 3 3 4 3 2 4 3 5 3 3 4 4 4 4 4 5 3 3 5 4 6 4 4 5 5 5 5 5 6 4 4 6 4 7 5 5 6 6 6 6 6 7 4 4 7 5 7 6 5 7 7 6 7 7 8 5 5 8 6 8 6 6 8 8 7 8 8 9 5 5 8 6 9 7 7 9 9 8 9 9 10 6 6 9 7 10 8 8 10 10 9 10 10 11 6 6 10 8 11 9 9 11 11 10 11 11 12 7 7 11 8 12 9 9 12 12 11 12 12
Wynik z egzaminu
Przeliczenie wyników na skalę egzaminu z roku 2012
2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 13 8 7 11 9 12 10 10 13 13 12 13 13 14 8 8 12 10 13 11 11 14 13 12 14 14 15 9 9 13 10 14 12 12 15 14 13 15 15 16 9 9 14 11 15 12 12 16 15 14 16 16 17 10 10 14 12 16 13 13 17 16 15 17 17 18 11 11 15 13 17 14 14 18 17 16 18 18 19 11 12 16 13 17 15 15 19 18 17 19 19 20 12 13 17 14 18 15 15 20 19 18 20 19 21 13 13 18 15 19 16 16 21 20 19 21 20 22 14 14 19 15 20 17 17 22 21 20 22 21 23 14 15 20 16 21 18 18 23 21 21 23 22 24 15 16 21 17 22 19 19 24 22 22 24 23 25 16 17 22 18 23 20 20 25 23 23 25 24 26 17 18 23 18 23 21 21 26 24 24 26 25
Wynik z egzaminu
Przeliczenie wyników na skalę egzaminu z roku 2012
2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 27 18 19 24 19 24 22 22 27 25 25 27 26 28 19 20 25 20 25 23 23 28 26 26 28 27 29 20 21 26 21 26 24 25 29 27 27 29 27 30 21 22 27 22 27 25 26 30 28 28 30 28 31 22 24 28 23 28 26 27 31 29 29 31 29 32 24 25 29 24 29 27 28 32 30 30 32 30 33 25 27 30 26 30 28 30 32 31 31 33 31 34 26 28 31 27 31 30 31 33 32 32 34 32 35 28 30 32 29 32 31 32 34 34 34 35 33 36 30 31 33 30 33 32 34 35 35 35 36 34 37 31 33 34 32 34 34 35 36 36 36 37 36 38 33 35 35 34 35 35 36 37 37 38 38 37 39 36 37 37 36 37 37 38 38 39 39 39 38 40 38 40 39 39 40 40 40 40 40 40 40 40