Wyniki gimnazjalistów w latach 2002-2011 na skali zmiennej ukrytej

zmiennej ukrytej

W poprzednim punkcie przedstawiono analizę trudności egzaminów z różnych lat. W tej części skupiono się na analizie poziomu umiejętności uczniów. Za pomocą danych egzaminacyjnych postarano się odpowiedzieć na fundamentalne pytanie z perspektywy szeroko rozumianej polityki oświatowej: Czy poziom umiejętności uczniów polskich gimnazjów wzrósł, zmalał, czy może nie zmienił się znacząco w ciągu ostatnich 10 lat?

Wyniki zrównywania zakotwiczone zostały w roku 2003. W czasie procesu zrównywania średnia umiejętności egzaminacyjnych uczniów ustawiona została na 0, a odchylenie standardowe na 1. Był to zabieg formalny, bez którego nie można by dokonać zrównywania wyników. Aby ułatwić prezentację wyników, przeskalowano je na skalę o średniej 100 i odchyleniu standardowym 15 dla roku 2003. Taka skala jest łatwiejsza do prezentacji, ponieważ nie daje ujemnych wyników, jest jedną z najbardziej znanych skal standardowych (IQ), ponadto używana jest już do prezentowania wyników polskich badań np. w EWD oraz OBUT.

6.2.2.1. Wyniki zrównywania w części humanistycznej

W Tabeli 6.4 przedstawiono średni poziom umiejętności uczniów zdających część humanistyczną egzaminu gimnazjalnego w latach 2002-2011. W pierwszej kolumnie podany został rok, w drugiej średni poziom umiejętności (średnia), w kolejnej przedstawiony jest błąd standardowy wokół oszacowania średniej – całkowity i w rozbiciu na dwa składniki. Pierwszy, główny, składnik błędu jest błędem zrównywania, który wynika głównie24 z doboru do badania zrównującego ograniczonej losowej próby uczniów i został on oszacowany za pomocą procedury bootstrap opisanej w Rozdziale 4. Drugi, mniejszy, składnik błędu uwzględnia liczebność kohorty uczniów piszących egzamin w danym roku oraz jego rzetelność – określa on przedział ufności wokół wyniku uczniów w danym roku bez uwzględnienia procedury zrównywania.

Tabela 6.4. Średnie wyniki uczniów szkół gimnazjalnych w latach 2002-2011, wyniki zrównane skala 100; 15 zakotwiczona w roku 2003, część humanistyczna

Rok średnia ^błąd

zrównywania losowy razem

2002 101,75 0,717 0,020 0,717 2003 100,00 0,600 0,022 0,600 2004 100,00 0,675 0,023 0,675 2005 100,24 0,667 0,023 0,667 2006 102,48 0,602 0,021 0,602 2007 100,41 0,608 0,024 0,608 2008 100,78 0,604 0,024 0,605 2009 99,02 0,607 0,024 0,607 2010 102,20 0,592 0,025 0,592 2011 100,84 0,574 0,027 0,574

24 Nie jest to jedyne źródło błędu mogące wpływać na precyzję zrównywania. Oprócz błędu wynikającego z doboru próby badawczej (błąd próbkowania) w procesie zrównywania, w przyjętym schemacie badawczym uwidacznia się również błąd związany z wyborem zadań. W idealnej sytuacji do zrównania można wykorzystać wszystkie zadania pojawiające się w latach 2002-2011. Byłoby to jednak zadanie zbyt kosztowne. Dlatego do zrównywania, co jest powszechną praktyką w metodologii światowej, wykorzystana została tylko część zadań. W takim podejściu istnieje jednak pewien problem: różne konfiguracje zadań prowadzą do różnych wyników zrównania (por. Rozdział 5). Innymi słowy, jeżeli do badania wykorzystujemy jedynie podróbkę zadań, powinno brać się pod uwagę dodatkowy błąd wynikający z tego, iż do zrównania wybrana została specyficzna próbka zadań. Istnieje tutaj analogia między błędem próbkowania a opisywanym typem błędu – tak jak w przypadku uczniów, jeżeli badalibyśmy całą populację, nie trzeba by szacować błędu próbkowania, tak i w przypadku zrównywania dla wszystkich zadań nie trzeba by szacować błędu związanego z doborem zadań. Szacowanie błędu doboru zadań w tak skomplikowanym schemacie zrównywania jak przyjęty w tym badaniu, nie jest rzeczą prostą. Nie istnieją analityczne rozwiązania, a co do procedur replikacyjnych, to nie osiągnięto konsensusu co do ich skuteczności. Uczulamy zatem czytelnika na to, iż przedziały ufności i błędy standardowe, konstruowane w tym raporcie jedynie na podstawie błędu próbkowania, mogą być w pewnym stopniu niedoszacowane. Proponujemy traktować je z należytym rozsądkiem i jako wskazówkę, a nie jako bazę do formalnych testów statystycznych.

107 Na Rysunku 6.5 w graficzny sposób przedstawiono wyniki zrównywania z Tabeli 6.4. Ciągła linia oznacza średni poziom umiejętności w danym roku (gdzie, skala zakotwiczona została w roku 2003). Przerywane linie wyznaczają przedziały ufności skonstruowane dzięki procedurze bootstrap. Jak widać poziom umiejętności uczniów w kolejnych latach okazał się być bardzo stabilny i nie wykazuje znaczącego trendu. Jest to jedyny silny wniosek wynikający z przedstawionych danych: umiejętności humanistyczne uczniów nie zmieniły się znacząco w ciągu ostatnich 10 lat.

Rysunek 6.5. Średnie wyniki uczniów szkół gimnazjalnych w latach 2002-2011, wyniki zrównane skala 100; 15 zakotwiczona w roku 2003, część humanistyczna

Jedyne wyraźne choć niewielkie zmiany poziomu umiejętności uczniów można odnotować w roku 2002, 2010, a przede wszystkim 2006 (rocznik ten odznacza się bowiem największym poziomem umiejętności). Wzrostom poziomu umiejętności zaobserwowanym w wymienionych rocznikach towarzyszyło obniżenie poziomu umiejętności w kolejnych, tak, że w perspektywie dziesięcioletniej nie zaobserwowano żadnego trendu, trudno stwierdzić czy mamy tu do czynienia z jakimiś specyficznymi cechami opisywanych kohort, przeprowadzanego egzaminu, czy właściwości przyjętego schematu zrównywania.

6.2.2.2. Wyniki zrównywania w części matematyczno-przyrodniczej

W Tabeli 6.5 i na Rysunku 6.6 przedstawiono średnie wyniki uczniów z egzaminu gimnazjalnego w części matematyczno-przyrodniczej po dokonaniu zrównania. Tak jak w przypadku części humanistycznej dla każdego roku podano średni poziom umiejętności uczniów zakotwiczony w roku 2003, gdzie średnią ustalono na 100, a odchylenie standardowe na 15. W tabeli podano również błąd standardowy oszacowania. Średni poziom umiejętności wraz z zarysowanymi przedziałami ufności przedstawiono na Rysunku 6.6.

Tabela 6.5. Średnie wyniki uczniów szkół gimnazjalnych w latach 2002-2011, wyniki zrównane skala 100; 15 zakotwiczona w roku 2003, część matematyczno-przyrodnicza

Rok średnia ^błąd

zrównywania losowy razem

2002 103,01 0,422 0,020 0,423

2003 100,00 0,328 0,021 0,329

2004 97,51 0,380 0,023 0,380

2006 98,65 0,346 0,024 0,347 2007 99,19 0,381 0,024 0,382 2008 100,93 0,437 0,025 0,438 2009 99,62 0,460 0,027 0,461 2010 97,53 0,374 0,027 0,375 2011 94,15 0,378 0,024 0,379

Zrównane wyniki egzaminu gimnazjalnego w części matematyczno-przyrodniczej pokazują spadek średniego poziomu umiejętności polskich gimnazjalistów mierzonych testem matematyczno-przyrodniczym od roku 2002 do 2005. Występuje również nieznaczny trend wzrostowy w latach 2005-2008 i kolejny nieznaczny trend spadkowy w latach 2005-2008-2011. Należy przy tym zaznaczyć, iż trendy są bardzo niewielkie i wszelkie interpretacje mogące się nasuwać przy analizowaniu tych zmian trzeba traktować bardzo ostrożnie.

Rysunek 6.6. Średnie wyniki uczniów szkół gimnazjalnych w latach 2002-2011, wyniki zrównane skala 100; 15 zakotwiczona w roku 2003, część matematyczno-przyrodnicza