Podsumowanie

Wprowadzenie do systemu egzaminacyjnego mechanizmów zapewniających porównywalność wyników kolejnych edycji egzaminów jest ważne zarówno dla funkcji monitorującej jak i selekcyjnej (szczególnie na progu szkoły wyższej). Zwróciła na to również uwagę Najwyższa Izba Kontroli, któ-ra w któ-raporcie System egzaminów zewnętrznych wśród rekomendacji wnioskuje wprowadzenie na etapie tworzenia testów egzaminacyjnych metod, które nadadzą wynikom egzaminacyjnym walor międzyedycyjnej porównywalności.

43 Patrz http://zpd.ibe.edu.pl/doku.php?id=r_zpd oraz https://github.com/zozlak/ZPD mężczyźni

kobiety

średni wynik PWE 90 120 2004 2005 2006 2007 2008 2009 2010 rok 110 100 2011 2012 2013 80 70

Choć porównywalność wyników egzaminów miedzy latami jest najważniejsza w procesach selek-cyjnych na progu szkoły wyższej, to możliwość analizy trendów może być wykorzystana w ewaluacji pracy szkół oraz monitowaniu realizacji zadań edukacyjnych w gminach, powiatach lub wojewódz-twach. Co najważniejsze, inaczej niż inne dostępne wskaźniki (choćby EWD), porównywalne mię-dzy latami wyniki egzaminacyjne mogą służyć do oceny efektywności nauczania całego systemu oświatowego.

Warto rozważyć wdrożenie jednego z trzech opisanych poniżej rozwiązań. Warianty te w mniejszym lub większym stopniu wiążą się z koniecznością zmian w systemie egzaminów zewnętrznych i zwią-zanych z tym zmian w prawie. Trzy warianty są przedstawione w kolejności pożądanych własności metodologicznych.

Wariant A – włączenie do egzaminu niejawnych zadań kotwiczących.

Z metodologicznego i pomiarowego punktu widzenia jest to rozwiązanie najlepsze, dające najbar-dziej precyzyjne oszacowanie funkcji zrównującej i najmniej narażone na potencjalne czynniki zakłó-cające. Rozwiązanie to wymaga jednak istotnych zmian w sposobie przeprowadzania egzaminów.

Wariant B – jednoczesna standaryzacja zadań z wielu edycji egzaminu.

Rozwiązanie jest mniej efektywne ze względu na wyznaczanie funkcji zrównującej. Wyniki mogą być obarczone wpływem niższego poziomu motywacji testowej uczniów na sesji standaryzacyjnej w porównaniu do sesji egzaminacyjnej.

Wariant C – dodatkowe badania na reprezentatywnej próbie.

Jest to rozwiązanie nie wprowadzające żadnych zmian w systemie egzaminacyjnym, przez co było-by najprostsze we wdrożeniu. Jednak wariant C rodzi największą liczbą potencjalnych problemów prowadzących do zakłócenia procesu zrównywania, ponadto odznacza się najniższą efektywnością. Ze względu na znaczną niepewność statystyczną wyników, jakie przynosi ta metoda, jej przydat-ność do zrównywania wyników pojedynczych uczniów jest ograniczona. Zaletą tego rozwiązania jest możliwość śledzenia zmian w poziomie umiejętności populacji między latami oraz zbieranie informacji o stabilności trudności testów egzaminacyjnych miedzy latami.

Prezentowane powyżej rozwiązania różnią się trudnością wdrożenia. Wariant C nie ingeruje w funk-cjonowanie systemu egzaminów zewnętrznych, jednak cechuje się bardzo dużym błędem staty-stycznym, ograniczeniem do zrównywania jedynie podstawowych części egzaminu oraz uzależ-nieniem pewności wyników od jakości (w tym wielkości) doboru próby. Wariant B, natomiast, nie kontroluje poziomu motywacji uczniów, wymaga stworzenia znacznej liczby zadań do standary-zacji i wiąże się z ryzykiem ujawnienia treści zadań przed właściwym egzaminem. Zalety wariantu A są bezsprzeczne: duża moc wnioskowania statystycznego, możliwość zrównywania wyników dla wszystkich arkuszy egzaminacyjnych, brak obciążenia wyników zróżnicowanym poziomem moty-wacji uczniów oraz zdecydowane niższe koszty niż dla wariantu C lub B. Jednakże jest to wariant najtrudniejszy od strony legislacyjnej - wymaga zmian prawnych i organizacyjnych, które pozwoli-łyby na skuteczne utajnienie kotwiczącej części egzaminu. Mamy świadomość, że wariant ten może spotkać się z obawami opinii publicznej.

W wypadku testów egzaminacyjnych tworzonych dla niewielkich populacji zdających należałoby jednak ocenić, czy nakłady niezbędne do zapewnienia porównywalności wyników, są adekwatne do korzyści wdrożenia takich rozwiązań. Wydaje się, że w przypadku egzaminów rozwiązywanych przez nieliczne grupy uczniów zapewnienie porównywalności wyników może być uzyskane

po-Bibliografia

Bogdanowicz, M. (1994). O dysleksji, czyli specyficznych trudnościach w czytaniu i pisaniu. Warszawa: Wydawnictwa Szkolne i Pedagogiczne.

Boughton, K. A. i Yamamoto, K. (2007). A hybrid model for test speededness. w: M. von Davier i C.H. Carstensen. Multivariate and mixture distribution Rasch models: Extensions and applications (s. 147– 156). New York, NY: Springer.

CKE (2009). Informator z aneksem dla uczniów ze specyficznymi trudnościami w uczeniu się. Sprawdzian

w klasie szóstej szkoły podstawowej przeprowadzany od roku szkolnego 2009/2010. Warszawa:

Central-na Komisja EgzamiCentral-nacyjCentral-na.

CKE (2010). Osiągnięcia uczniów kończących gimnazjum w roku 2010. Warszawa: Centralna Komisja Egzaminacyjna.

CKE (2011). Osiągnięcia uczniów kończących gimnazjum w roku 2011. Warszawa: Centralna Komisja Egzaminacyjna.

CKE (2012). Osiągnięcia uczniów kończących gimnazjum w roku 2012. Warszawa: Centralna Komisja Egzaminacyjna.

CKE (2013). Osiągnięcia uczniów kończących gimnazjum w roku 2012. Warszawa: Centralna Komisja Egzaminacyjna.

Dolata, R. (2008). Szkoła – segregacje – nierówności. Warszawa: Wydawnictwa Uniwersytetu Warszawskiego. Dolata, R. (2010). Cicha rewolucja w polskiej oświacie – proces różnicowania się gimnazjów w du-żych miastach. Edukacja. Studia, Badania, Innowacje, 109(1), 51–60.

Dolata, R. (2012). Międzyszkolne zróżnicowanie wyników nauczania na poziomie szkoły podstawowej

i gimnazjum. Warszawa: Instytut Badań Edukacyjnych.

Dolata, R., Hawrot, A., Humenny, G., Jasińska-Maciążek, A., Koniewski, M. i Majkut, P. (2014).

Konteksto-wy model oceny efektywności nauczania po pierwszym etapie edukacyjnym. Warszawa: Instytut Badań

Edukacyjnych.

Dolata, R., Jasińska, A. i Modzelewski, M. (2012). Wykorzystanie krajowych egzaminów jako instru-mentu polityki oświatowej na przykładzie procesu różnicowania się gimnazjów w dużych miastach.

Polityka Społeczna, 1, 41–46.

Donlon, T. F. (1984). The college board technical handbook for the Scholastic Aptitude Test and

Achieve-ment Tests. College Board.

EACEA (2010). Różnice w wynikach nauczania a płeć uczniów. Obecna sytuacja i działania

podejmowa-ne w Europie. Warszawa: Fundacja Rozwoju Systemu Edukacji.

GUS (2013). Oświata i wychowanie w roku szkolnym 2012/2013. Warszawa: Zakład Wydawnictw Statystycznych.

Hanushek, E. A i Kim, D. (1995). Schooling, labor force quality, and economic growth. National Bureau of Economic Research Working Paper No. 5399. Pobrano z: http://www.nber.org/papers/w5399 Herbst, M. (2004). Zróżnicowanie jakości kapitału ludzkiego w Polsce. Od czego zależą wyniki eduka-cyjne? Studia Regionalne i lokalne, 3 (17), 93–104.

Herbst, M. i Herczyński, J. (2005). School Choice and Student Achievement. Evidence from Poland. MPRA Paper No. 6138. Pobrano z: http://mpra.ub.uni-muenchen.de/6138/

Herczyński, J. i Herbst, M. (2002). Pierwsza odsłona: społeczne i terytorialne zróżnicowanie wyników

sprawdzianu szóstoklasistów i egzaminu gimnazjalnego przeprowadzonych wiosną 2002 roku. Raport przygotowany na zlecenie Fundacji Klub Obywatelski. Warszawa: Fundacja „Klub Obywatelski”.

Herczyński, J. i Sobotka, A. (2014). Diagnoza zmian w sieci szkół podstawowych i gimnazjów 2007–2012. Warszawa: Instytut Badań Edukacyjnych.

Hyde, J. S. i Kling, K. C. (2001). Women, motivation, and achievement. Psychology of Women Quarterly,

25, 364-378.

Jasińska, A. i Modzelewski, M. (2013). Międzyszkolne zróżnicowanie wyników nauczania po pierw-szym etapie kształcenia. w: B. Niemierko i M. K. Szmigel (red.). Polska edukacja w świetle diagnoz

pro-wadzonych z różnych perspektyw badawczych (s. 165–178). Kraków: gRUPA TOMAMI.

Jung-Miklaszewska, J. i Rusakowska, D. (1995). Szkoły społeczne in statu nascendi. Warszawa: Instytut Badań Edukacyjnych.

Konarzewski, K. (1996). Problemy i schematy. Pierwszy rok nauki szkolnej dziecka. Warszawa: Wydaw-nictwo „Żak”.

Konarzewski, K. (2012). TIMSS i PIRLS 2011. Osiągnięcia szkolne polskich trzecioklasistów w perspektywie

międzynarodowej. Warszawa: Centralna Komisja Egzaminacyjna.

Kondratek, B., i Pokropek, A. (2013). IRT i pomiar edukacyjny. Edukacja, 4 (124).

Kurek, S. (2010). Przestrzenne zróżnicowanie poziomu rozwoju regionalnego w Unii Europejskiej w świetle wybranych mierników. Prace Komisji Geografii Przemysłu Polskiego Towarzystwa

Geograficz-nego, 16, 87–104.

Najwyższa Izba Kontroli (2015). System egzaminów zewnętrznych w oświacie. Pobrano z https://www. nik.gov.pl/plik/id,8629,vp,10737.pdf

Nijakowska, J. (2009). Hipoteza różnic w kodowaniu językowym – próba wyjaśnienia trudności w uczeniu się języków obcych. w: M. Pawlak, M. Derenowski i B. Wolski (red.). Problemy współczesnej

dydaktyki języków obcych (s. 41–55). Kalisz: Wydział Pedagogiczno-Artystyczny UAM w Kaliszu.

OECD (2009). Equally prepared for life? How 15-year-old boys and girls perform in school. Pobrano z http://www.stemequitypipeline.org/_documents/OECD%20%282009%29%20gender%20diff%20 similarities%20in%2015-year-old.pdf

OECD (2014). PISA 2012 Results: What Students Know and Can Do – Student Performance in

Mathemat-ics, Reading and Science (Volume I, Revised edition, February 2014), PISA, OECD Publishing. http://

dx.doi.org/10.1787/9789264201118-en

OECD (2014). PISA 2012 Results: What Students Know and Can Do – Student Performance in

Mathemat-ics, Reading and Science (Volume I, Revised edition, February 2014). PISA, OECD Publishing.

Perkins, R., Kleiner, B., Roey, S. i Brown, J. (2004). The High School Transcript Study: A Decade of Change

in Curricula and Achievement, 1990-2000. Washington, DC: National Center for Education Statistics.

Piekarczyk, M. (2014). Jak Polacy postrzegają szkoły publiczne i niepubliczne: preferencje dotyczące

szkol-nictwa w Polsce. Warszawa: Centrum Badań nad Uprzedzeniami.

Pokropek, A. (2011). Missing by design: planned missing-data designs in social science. ASK. Research

& Methods, 20, 81–105.

Pokropek, A. i Kondratek, B. (2012). Zrównywanie wyników testowania. Definicje i przykłady zastoso-wania. Edukacja, 4 (120), 52–71.

Putkiewicz, E. i Wiłkomirska, A. (2004). Szkoły publiczne i niepubliczne. Porównanie środowisk

edukacyj-nych. Warszawa: Instytut Spraw Publiczedukacyj-nych.

Skórska, P. i Świst, K. (2014). Wielkość efektu płci w wewnątrzszkolnych i zewnątrzszkolnych wskaź-nikach osiągnięć ucznia. W B. Niemierko i M.K. Szmigel (red.). Diagnozy edukacyjne: dorobek i nowe zadania. (s. 89–103). Kraków: gRUPA TOMAMI.

Spionek, H. (1965). Zaburzenia psychoruchowego rozwoju dziecka. Warszawa: Wydawnictwa Szkolne i Pedagogiczne.

Szaleniec, H., Grudniewska, M., Kondratek, B., Kulon, F. i Pokropek, A. (2012). Wyniki egzaminu gimna-zjalnego 2002–2010 na wspólnej skali. Edukacja, 119(3), 9–30.

Szaleniec, H., Grudniewska, M., Kondratek, B., Kulon, F., Pokropek, A., Stożek, E. i Żółtak, M. (2013).

Ana-liza porównawcza wyników egzaminów zewnętrznych – sprawdzian w szóstej klasie szkoły podstawowej i egzamin gimnazjalny. Warszawa: Instytut Badań Edukacyjnych.

von Schrader, S. i Ansley, T. (2006). Sex differences in the tendency to omit items on multiple-choice tests: 1980–2000. Applied Measurement in Education, 19(1), 41–65.

Wejner, T. (2009). Ocenianie uczniów dyslektycznych w innych krajach. w: B. Niemierko i M. K. Szmi-gel (red.). Badania międzynarodowe i wzory zagraniczne w diagnostyce edukacyjnej. r. (s. 331-341). Kra-ków: gRUPA TOMAMI.

World Economic Forum (2013). The Global Gender Gap Report (2013). Pobrano z http://www3.we-forum.org/docs/WEF_GenderGap_Report_2013.pdf

Zahorska-Bugaj, M. (1994). Szkoła prywatna czy państwowa. W: R. Siemieńska (red.), Szkoły

niepań-stwowe w systemie edukacji w Polsce. Kwartalnik Pedagogiczny, 1–2. Warszawa: Wydawnictwa

Uniwer-sytetu Warszawskiego.

Zasacka Z. (2014). Czytelnictwo dzieci i młodzieży. Warszawa: Instytut Badań Edukacyjnych.

Zawadzka, E. (2010) Nauczyciel języków obcych i jego niepełnosprawni uczniowie (z zaburzeniami i

dys-funkcjami). Kraków: Wydawnictwo Impuls.

Żółtak, T. (2011). Znaczenie informacji o średnim wyniku uczniów na wejściu dla własności jedno-rocznych wskaźników EWD gimnazjów. W B. Niemierko i M.K. Szmigel (red.). Ewaluacja w edukacji:

4. Metoda edukacyjnej wartości dodanej w Polsce

Roman Dolata, Anna Hawrot, Grzegorz Humenny, Aleksandra Jasińska-Maciążek, Anna Rappe, Ewa Stożek, Tomasz Żółtak