6. Wyniki zrównywania
6.4. Egzamin maturalny z matematyki na poziomie podstawowym
podstawowym
6.4.1. Zmiany trudności egzaminu w latach 2010–2013
Rysunek 6.8 porównuje rozkłady wyników z pierwszego terminu egzaminu maturalnego z matematyki na poziomie podstawowym, jakie faktycznie uzyskali uczniowie podchodzący do egzaminu w latach 2010–2013 z rozkładami wyników, jakie uzyskaliby ci sami uczniowie gdyby rozwiązywali zadania arkusza z roku 2012. Średnie wyniki uzyskiwane na egzaminie w latach 2010–2013 wynoszą kolejno 30,5, 25,9, 30,8 oraz 30,1 punktu, natomiast na skali zrównanej odpowiednio 30,2, 30,5, 30,8 oraz ponownie 30,8 punktu. Zatem, podobnie jak to miało miejsce w przypadku egzaminów z niższego szczebla, zmiany średniego wyniku na wspólnej skali egzaminu z roku 2012 są o wiele mniejsze niż zmiany średniego wyniku faktycznie zaobserwowanego podczas różnych edycji egzaminu. Oznacza to, że obserwowane z roku na rok fluktuacje średniego wyniku z matury z matematyki są w głównej mierze odzwierciedleniem niezwiązanych z poziomem umiejętności uczniów zmian w jej trudności. Zasadniczo odstaje tu przede wszystkim egzamin w roku 2011, który na tle reszty jest zauważalnie trudniejszy. Gdyby uczniowie w roku 2010 zdawali egzamin z roku 2012 to ich średni wynik byłby o 0,3 punktu niższy niż faktycznie uzyskany na egzaminie, w przypadku uczniów z roku 2013 różnica wynosi 0,7 punktu, natomiast dla uczniów piszących egzamin w roku 2011 jest to już aż 4,6 punktu (na skali o rozpiętości 0–50 przekłada się to na 9,2%). 85 90 95 100 105 110 115 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 w yn ik w cz ęs ci h u m an is ty czn ej rok
Rysunek 6.8. Rozkłady wyników obserwowanych z matury podstawowej z matematyki w latach 2010–2014. Pełne słupki odnoszą się do niezrównanych wyników egzaminacyjnych, zrównane wyniki przedstawiono za pomocą słupków pustych
Porównanie kształtów rozkładów wyników matury z matematyki w latach 2010–2013, jakie przedstawia Rysunek 6.8 uświadamia jednak, że sama analiza zrównanej i faktycznej miary tendencji centralnej nie jest w stanie opisać całej złożoności różnic pomiędzy pomiarowymi właściwościami tych egzaminów. Widzimy, że niezrównane wyniki obserwowane uzyskane w latach 2012 oraz 2013 mają dość zbliżony kształt rozkładu – lewostronnie skośny z dwoma modami, pierwszą przypadającą w okolicach środka skali, a drugą przypadającą w rejonie najwyższych wyników i odzwierciedlającą efekt sufitowy, który zawdzięczać należy uczniom podchodzącym również do egzaminu z matematyki na poziomie rozszerzonym. Natomiast rozkład niezrównanych wyników w roku 2011 jest silnie prawostronnie skośny z modą w okolicach progu zdawalności i nieznacznie zaznaczonym efektem sufitowym. Dla odmiany, w przypadku rozkładu wyników z 2010 roku obserwujemy w miarę symetryczny platykurtyczny rozkład wyników. Jeżeli jednak przyjrzymy się kształtowi rozkładu wyników egzaminu z roku 2012, jaki uzyskiwaliby uczniowie z populacji 2010–2013, gdyby ten egzamin rozwiązywali, to widzimy, iż w każdym z roczniku zachowuje on swoje zasadnicze właściwości – lewoskośność oraz występowanie efektu sufitowego dla najzdolniejszych uczniów. Taki obraz sugeruje, że obserwowane różnice w skośności oraz kurtozie między wynikami uzyskiwanymi w kolejnych edycjach egzaminu maturalnego z matematyki są odzwierciedleniem psychometrycznych właściwości tychże, a nie charakterystyką zdających egzamin kolejnych kohort uczniów (w szczególności, uwaga ta dotyczy również referencyjnego egzaminu z roku 2012).
Interesujące jest, że przy minimalnych wahaniach średniego wyniku na wspólnej skali egzaminu z roku 2012 obserwujemy relatywnie znaczne zmiany w rozproszeniu uczniów – odchylenie standardowe
wyników zrównanych do roku 2012 dla uczniów w roku 2010 wynosi 13,3 punktu, w latach 2011 oraz 2013 12,5 oraz 12,6 punktu, a najmniej w roku referencyjnym, tj. 12 punktów. Odpowiedź na pytanie czy zróżnicowanie średnich oraz odchyleń standardowych umiejętności mierzonych na egzaminie maturalnym z matematyki przekracza próg istotności statystycznej znajduje się przy omówieniu wyników zrównania na poziomie zmiennej ukrytej, jakie ma miejsce w dalszej części rozdziału.
Opisane powyżej różnice we właściwościach rozkładów egzaminów z matury z matematyki w latach 2010–2013 przy zestawieniu z wynikami na wspólnej skali egzaminu z roku 2012 wskazują, że surowe wyniki egzaminu nie stanowią porównywalnej między latami miary uczniowskich umiejętności. Dla przykładu, Tabela 6.5 przedstawia jak wyglądała faktyczna zdawalność egzaminu w analizowanych czterech rocznikach uczniów i jak wyglądałaby zdawalność dla tych samych roczników, gdyby wszyscy rozwiązywali ten sam test – egzamin referencyjny z roku 2012. Możemy zauważyć, że zdawalność wyliczona przy uwzględnieniu wyników zrównanych jest o wiele bardziej stabilna między latami, niż ta faktycznie zaobserwowana w danych rocznikach. Jest to obserwacja zgodna z prezentowaną przez Rysunek 6.8 bardzo dużą stabilnością średniej z wyników zrównanych na przestrzeni lat, w porównaniu z średnią surowych wyników obserwowanych. Jednocześnie, zanotowanie najniższej zdawalności na zrównanych wynikach w roku 2010 wynoszącej 84,4% (bez wykorzystania wyników zrównanych mamy w tym roku zdawalność najwyższą – 90,3%) idzie w parze z informacją o najwyższej w tym roku wariancji wyników (zob. ostatni wykres – Rysunek 6.8).
Tabela 6.5. Zdawalność egzaminu maturalnego z matematyki wyliczona na niezrównanych wynikach egzaminacyjnych oraz na wynikach wyrażonych na skali egzaminu z roku 2012
Rok egzaminu
Procent uczniów uzyskujących 15 punktów lub więcej niezrównane wyniki
egzaminacyjne
wyniki na skali egzaminu z 2012 roku
2010 90,3% 84,4%
2011 82,1% 87,2%
2012 88,8% 88,8%
2013 88,2% 87,2%
Informację o progu zdawalności uzupełnia zamieszczona w Aneksie 1 tabela pozwalająca przeliczyć wynik surowy uzyskany w latach 2010–2013 na wynik w teście z roku 2012. Można z niej odczytać, ile należałoby w każdej edycji egzaminu maturalnego uzyskać punktów, żeby poziom umiejętności odpowiadał progowi zdawalności egzaminu ustalonemu na maturze z roku 2012. I tak, w roku 2010, aby zdać maturę trzeba byłoby uzyskać 18 (a nie 15) punktów, aby zdać maturę według tych samych kryteriów co w roku 2012, natomiast w roku 2011 wystarczyłoby do tego zdobycie jedynie 13 (a nie 15) punktów. Tylko lata 2012 oraz 2013 wydają się mieć w pełni porównywalny próg zdawalności dla matury podstawowej z matematyki.
6.4.2. Wyniki w latach 2010–2013 na skali zmiennej ukrytej
Uzyskane w wyniku dopasowania do danych wielogrupowego modelu IRT oszacowania parametrów rozkładu umiejętności na skali o średniej 100 oraz odchyleniu standardowym 15 w roku referencyjnym 2012 przedstawia Tabela 6.6, ponadto Rysunek 6.9 ukazuje w sposób graficzny dynamikę zmian średniego poziomu umiejętności wraz z 95% przedziałami ufności. Okazuje się, że niewielkie różnice między średnimi zrównanych wyników obserwowanych, jakie omówiono wcześniej (zob. Rysunek 6.8 – przedostatni wykres) przekładają się na minimalne różnice na skali zmiennej ukrytej (od 99,7 w 2010 do 100,3 w 2013 roku), które nie przekraczają w żadnej konfiguracji progu istotności statystycznej. Natomiast obserwujemy istotne różnice w zakresie odchylenia standardowego. Odchylenie standardowe umiejętności matematycznych mierzonych testem maturalnym w roku 2010, oszacowane na 18,7, okazuje się istotnie statystycznie wyższe niż we wszystkich pozostałych latach, natomiast zbliżone odchylenia standardowe dla lat 2011 oraz 2013 (odpowiednio 16,7 oraz 16,8) są istotnie statystycznie wyższe od wartości 15, jaką ustalono dla roku referencyjnego 2012. Jest to wynik zgodny z tym, jaki uzyskano dla skali wyników obserwowanych (zob. Rysunek 6.8 – ostatni wykres), przy czym jest uzupełniony o informację o precyzji oszacowania.Tabela 6.6. Średnia oraz odchylenie standardowe zmiennej umiejętności dla egzaminu maturalnego z matematyki w latach 2010–2013, wyniki zrównane na skali 100; 15 zakotwiczone w roku 2012 Rok egzaminu Średnia Błąd standard. 95% przedział ufn. Odch. stand. Błąd standard. 95% przedział ufn. dolna gr. górna gr. dolna gr. górna gr.
2010 99,7 0,31 99,1 100,3 18,7 0,42 17,9 19,6
2011 100,0 0,30 99,4 100,6 16,7 0,38 15,9 17,4
2012 100,0 – – – 15,0 – – –
Rysunek 6.9. Średnie zrównane wyniki dla egzaminu maturalnego z matematyki na skali 100;15 wraz z 95% przedziałem ufności