Możliwe kierunki rozwoju systemu egzaminacyjnego w kontekście zmian formuły

Zmiany formuły egzaminu wprowadzane w ostatnich latach wiążą się ze zmianą podstawy progra-mowej i odchodzeniem od oceniania analitycznego (kryterialnego) do holistycznego. Ocenianie analityczne było stosowane w naszych egzaminach od początku ich wprowadzenia. Wybór takiego rozwiązania w chwili, kiedy był przygotowywany i wdrażany polski system egzaminacyjny związany był ze światowym trendem pozytywistycznej psychometrii, której jednym z założeń jest maksymali-zacja rzetelności pomiaru edukacyjnego. Zaletą oceniania analitycznego jest większa niż w przypad-ku holistycznego zgodność oceniania pomiędzy oceniającymi. W praktyce kilprzypad-kunastu lat doświad-czeń okazało się, że ocenianie analitycznie nie umożliwia jednak osiągnięcia takiej zgodności, jakiej byśmy oczekiwali.

Od roku 1990 następują na świecie radykalne zmiany w dziedzinie psychometrii i oceny zadań otwartych rozszerzonej odpowiedzi, takich jak wypracowania pisemne z przedmiotów humani-stycznych, czy zadania wymagające od zdających rozwiniętego zapisu rozwiązania w przedmiotach matematyczno-przyrodniczych. Zmiany te mają miejsce szczególnie odnośnie trafności oceniania tego typu prac. W tym nowym kontekście teoretycznym, po raz pierwszy otwarły się możliwości krytycznego spojrzenia na analityczne ocenianie prac humanistycznych. Szczególne znaczenie dla tego nurtu miały prace Huota (1996), Mossa (1992), Messicka (1990). Ocenianie stało się publicznym i edukacyjnym problemem, a nie tylko dziedziną, którą zajmowały się instytucje przygotowujące eg-zaminy, dbające o jakość w kontekście wymagań pozytywistycznej psychometrii i wysokiej zgodno-ści oceniania. Zaczęto poszukiwać odpowiedzi na pytanie, czy ocenianie (nie tylko na egzaminach) pomaga, czy też może w pewnych warunkach mieć negatywny wpływ na uczenie się i nauczanie. W praktyce egzaminacyjnej akcent zaczął się przesuwać także i w naszych egzaminach od oceniania analitycznego w kierunku oceniania holistycznego.

W egzaminie gimnazjalnym z języka polskiego i matematyki ocenianie holistyczne zadań otwartych wprowadzono w 2012 roku. W przypadku egzaminu maturalnego z matematyki już od kilku lat w wyniku działania Centralnego Zespołu Ekspertów Matematycznych (CZEM) ocenianie holistyczne praktykowane jest w coraz to szerszym zakresie. Natomiast w pozostałych egzaminach maturalnych 28 W skali CEEB, podobnie jak w skali staninowej, wynik również należy zaokrąglić do liczby całkowitej. Dokładnie wartość ta wynosi 477,5.

i w sprawdzanie w szóstej klasie szkoły podstawowej ocenianie holistyczne stanie się obowiązującą praktyką od wiosennej sesji 2015 roku.

Główne kierunki rozwoju systemu egzaminacyjnego, także w kontekście wprowadzanych od 2015 zmian powinny dotyczyć przede wszystkim lepszego przygotowywania zadań egzaminacyjnych i monitorowania trafności arkuszy egzaminacyjnych w różnych jej aspektach. Bardzo ważnym ob-szarem wymagającym poprawy jest proces oceniania zadań rozszerzonej odpowiedzi przez egza-minatorów (w czym pomocne będzie wdrażanie e-oceniania), a także udoskonalanie i uspójnianie rozwiązań organizacyjnych i informatycznych w zakresie przetwarzania i komunikowania wyników. Aby diametralnie podnieść jakość arkuszy egzaminacyjnych konieczne jest przejście od autorsko tworzonych testów do budowania narzędzi egzaminacyjnych bazując na wykalibrowanych bankach zadań. Przygotowywanie egzaminów powinno przebiegać podobnie jak przygotowanie rzetelnego badania naukowego. Do tego potrzebni są nie tylko eksperci znający się na dydaktyce poszcze-gólnych obszarów edukacyjnych ale także eksperci w dziedzinie psychometrii i sztuki tworzenia egzaminacyjnych testów. Wątek ten przewija się od samego początku funkcjonowania polskiego systemu egzaminów zewnętrznych (Szaleniec i Szmigel, 2001). Dziś po 13 latach od pierwszych egzaminów prowadzonych przez OKE i CKE testy egzaminacyjne przygotowywane są w formie au-torskich propozycji przez OKE i wybierane, kompilowane i modyfikowane w CKE. Projekt dotyczący banków zadań współfinansowany z EFS i koordynowany przez CKE jest dopiero pierwszym krokiem w stronę docelowych rozwiązań, umożliwiających konstruowanie testów z wykorzystaniem tych banków, tak by w arkuszach egzaminacyjnych znalazły się zadania o znanych parametrach psycho-metrycznych i trafnych do założonych celów określonego egzaminu. O pilnej potrzebie przyspie-szenia prac nad bankami zadań może świadczyć fakt, że podczas analizy zadań z egzaminu gimna-zjalnego w części humanistycznej i matematyczno-przyrodniczej w latach 2002-2010 Zespół Analiz Osiągnięć Uczniów IBE wytypował 66 zadań o słabych właściwościach psychometrycznych, które nie powinny znaleźć się w testach egzaminacyjnych (Szaleniec i in., 2013). Potrzebne są też zmiany strukturalne dotyczące profesjonalizacji Centralnej Komisji Egzaminacyjnej jaki i całego spektrum oferowanych egzaminów.

Bibliografia

American Educational Research Association (AERA), American Psychological Association (APA) i Na-tional Council on Measurement in Education (NCME). (1985). Standards for educaNa-tional and

psycho-logical testing. Washington, DC: American Psychopsycho-logical Association.

American Educational Research Association (AERA), American Psychological Association (APA) i Na-tional Council on Measurement in Education (NCME). (1999). Standards for educaNa-tional and

psycho-logical testing. Washington, DC: American Psychopsycho-logical Association.

American Educational Research Association (AERA), American Psychological Association (APA) i Na-tional Council on Measurement in Education (NCME). (2014). Standards for EducaNa-tional and

Psycho-logical Testing. Washington, DC: AERA.

Angoff, W.H. (1993). Perspectives on differential item functioning methodology. W: P.W Holland i H. Wainer (red.), Differential item functioning (3-23), Hillsdale, N J Erlbaum.

Camara, W. i Michaelides, M. (2005). AP use in admissions: a response to Geiser and Santelices. Col-lege Board Research Note, May 11, 2005. Dostępne http://www.colCol-legeboard.com/research/ pdf/051425Geiser_050406.pdf

Carmines, E.G. i Zeller, R.A. (1979). Reliability and Validity Assessment. Thousand Oaks, CA: SAGE Publications.

Centralna Komisja Egzaminacyjna. (2005). Przygotowanie propozycji pytań, zadań i testów do

przepro-wadzenia sprawdzianu i egzaminu gimnazjalnego [Niepublikowane procedury ustalone na zebraniu

dyrektorów CKE i OKE w dniu 24 listopada 2005 r.].

Kozak, W., Kosińska-Pułka, M. i Spilkowski, A. (2014). Sprawozdanie z egzaminu maturalnego 2014.

Ję-zyk polski. Warszawa: Centralna Komisja Egzaminacyjna.

Cleary, A. (1968). Test bias: Prediction of grades of Negro and White students in integrated colleges.

Journal of Educational Measurement, 5, 115-124.

Cole, N.S. i Zieky, M.J. (2001). The new faces of fairness. Journal of Educational Measurement, 38, 369–382.

Crooks, T.J. (1988). The impact of classrooms evaluation practices on students. Review of Educational

Research, 58, 438-481.

Crooks, T.J., Kane, M.T. i Cohen, A.S. (2008). Threats to the valid use of assessments. W: H. Wynne (red.),

Student assessment and testing: Vol. 2 (151-171). Thousand Oaks, CA: Sage.

Cronbach, L.J. (1971). Test validation. W: R.L. Thorndike (red.), Educational measurement (wyd.2 , 443-507). Washington, DC: American Council on Education.

Cronbach, L.J. (1980). Validity on parole: How can we go straight? New directions for testing and

mea-surement -- Measuring achievement over a decade -- Proceedings of the 1979 ETS Invitational

Confer-ence (99-108). San Francisco: Jossey-Bass.

Cronbach, L.J. (1988). Five perspectives on validity argument. W: H. Wainer i H. Braun (red.), Test

valid-ity (3-17). Hillsdale, NJ: Erlbaum.

Downing, S.M. (2006). Twelve Steps for Effective Test Development. W: S.M. Downing i T.M. Haladyna (red.), Handbook of Test Development (s. 3-25). Mahwah, NJ: Lawrence Erlbaum Associates.

Downing, S.M. (2009). Written tests: constructed-response and selected-response formats. W: S. M. Downing i R. Yudkowsky (red.). Assessment in Health Professions Education (s. 149–185). New York, NY: Routledge.

Educational Testing Service (2002). ETS standards for quality and fairness. Princeton, NJ: ETS.

Geiser, S., i Santelices, M. V. (2007). Validity of high-school grades in predicting student success beyond

the freshman year: high-school record vs standardized tests as indicators of four-year college outcomes.

Haladyna, T.M. (2004). Developing and validating multiple-choice test items (3rd ed.). Mahwah, NJ: Law-rence Erlbaum Associates.

Haladyna, T.M. i Downing, S.M. (1989). A taxonomy of multiple choice item-writing rules. Applied

Measurement in Education, 2(1), 37-50.

Haladyna, T.M. i Downing, S.M. (2004). Construct-irrelevant variance in high-stakes testing.

Educatio-nal Measurement: Issues and Practice, 23(1), 17-27.

Hornowska, E. (2007). Standardy dla testów stosowanych w psychologii i pedagogice. Gdańsk: GWP. Hornowska, E. (2001). Testy psychologiczne: teoria i praktyka. Warszawa: Scholar.

Ironson, G.H. (1982). Use of chi-square and latent trait approaches for detecting item bias. W: R. Berk (red.), Handbook of methods for detecting test bias (s. 117–155). Baltimore: Johns Hopkins University Press.

Joint Committee on Testing Practices (1988). Code of fair testing practices in education. Washington, DC: Author.

Joint Committee on Testing Practices (2004). Code of fair testing practices in education. Washington, DC: Author.

Kane, M.T. i American College Testing Program. (1990). An argument-based approach to validation. Iowa City, Iowa: American College Testing Program.

Kane, M.T. (1992). An argument-based approach to validity. Psychological Bulletin, 112, 527-535. Kane, M. (2010). Validity and fairness. Language Testing, 27(2), 177-182.

Kondratek, B. i Pokropek, A. (2013). IRT i pomiar edukacyjny. Edukacja, 4(124), 42–66.

Koniewski, M., Majkut, P. i Skórska, P. (2014). Zróżnicowane funkcjonowanie zadań testowych ze względu na wersję testu. Edukacja, 1(126), 79–94.

Langenfeld, T.E. (1997). Test fairness: Internal and external investigations of gender bias in math-ematics testing. Educational Measurement: Issues and Practice, 16, 20-26.

Linden van der, W.J. (2005). Linear Models for Optimal Test Design. New York, NY: Springer.

Linn, R.L. (2006). The Standards for Educational and Psychological Testing: Guidance in Test Devel-opment. W: S.M. Downing i T.M. Haladyna (red.), Handbook of test development , 27-38. Mahwah, NJ: Lawrence Erlbaum Associates.

Messick, S. (1989). Validity. W: R.L. Linn (red.), Educational measurement (wyd. 3., 13-103). New York: American Council on Education, Macmillan.

Messick, S. (1990). Validity of test interpretation and use. Princeton, N.J: Educational Testing Service. ETS-RR-90-11

Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ re-sponses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741-749.

Messick, S. (2000). Consequences of test interpretation and use: The fusion of validity and values in psychological assessment. W: R.D. Goffin i E. Helmes (red.), Problems and solutions in human

assess-ment: Honoring Douglas N. Jackson at seventy (3–20). Boston: Kluwer Academic Publishers.

Millman, J., Bishop, C. H. i Ebel, R. L. (1965). An analysis of test wiseness. Educational and Psychological

Measurement, 25(3), 707-726.

Najwyższa Izba Kontroli (2015). System egzaminów zewnętrznych w oświacie. Dostępne https://www. nik.gov.pl/plik/id,8001,vp,10018.pdf

Niemierko, B. (1975). Testy osiągnięć szkolnych. Podstawowe pojęcia i techniki obliczeniowe. Warszawa, WSiP.

Niemierko, B. (2001). Chłodne oblicze egzaminu zewnętrznego W: B. Niemierko i M.K. Szmigel (red.),

Teoria i praktyka oceniania zewnętrznego. PANDID, Kraków.

Niemierko, B. (2002). Ocenianie bez tajemnic, WSiP, Warszawa

Niemierko, B. (2009). Diagnostyka edukacyjna. Warszawa: Wydawnictwo Naukowe PWN.

Novick, M. i Lewis, G. (1967). Coefficient alpha and the reliability of composite measurements.

Psy-chometrika, 32, 1-13.

OECD (2006), Ocenianie kształtujące. Doskonalenie kształcenia w szkole średniej, Centralny Ośrodek Doskonalenia Nauczycieli.

Popham W.J. (1990). Modern Educational Measurement. A practitioner’s perspective. Englewood Cliffs, New York, Prentice Hall.

Scullen, S.E., Mount, M.K. i Goff, M. (2000). Understanding the Latent Structure of Job Performance Ratings. Journal of Applied Psychology, 85(6), 956–970.

Skorupiński, P.M. (2003a). Geneza pojęcia trafności teoretycznej. W: B. Niemierko (red.), Trafność

po-miaru jako podstawa obiektywizacji egzaminów szkolnych (61-68). Łódź: Wydawnictwo Wyższej Szkoły

Humanistyczno-Ekonomicznej w Łodzi.

Skorupiński, P.M. (2003b). Kryterialny wymiar trafności interpretacji wyników egzaminu gimnazjalne-go. W: B. Niemierko (red.), Trafność pomiaru jako podstawa obiektywizacji egzaminów szkolnych (219-228). Łódź: Wydawnictwo Wyższej Szkoły Humanistyczno-Ekonomicznej w Łodzi.

Skorupiński, P.M. (2013). Modele trafności pomiaru. W: M. Karwowski (red.), Ścieżki rozwoju

edukacyj-nego młodzieży – szkoły pogimnazjalne. Trafność wskaźników edukacyjnej wartości dodanej dla szkół maturalnych (13–26). Warszawa: Wydawnictwo IFiS PAN.

Skórska, P., Świst, K. i Szaleniec, H. (2014a). Konsekwencje błędnego określenia rodzaju zadania testo-wego. Edukacja, 2(127), 67-84.

Skórska, P., Świst, K. i Szaleniec, H. (2014b). Szacowanie trafności predykcyjnej ocen szkolnych z wy-korzystaniem hierarchicznego modelowania liniowego. Edukacja, 3(128), 77-96.

Stobart, G. (2001). The Validity of National Curriculum Assessment. British Journal of Educational

Stud-ies, 49(1), 26-39.

Szaleniec, H. i Szmigel, M.K. (2001). Egzaminy zewnętrzne. Podnoszenie kompetencji nauczycieli w

za-kresie oceniania zewnętrznego. Wydawnictwo Zamiast Korepetycji, Kraków.

Szaleniec, H. (2006). Oszukiwanie na egzaminie istotnym źródłem majowej porażki. W: B. Niemierko i M.K. Szmigel (red.), O wyższą jakość egzaminów szkolnych. Kraków: Polskie Towarzystwo Diagnostyki Edukacyjnej.

Szaleniec, H. (2011). Wyniki egzaminu a ewaluacja zewnętrzna szkoły. W: B. Niemierko i K. Szmigel (red). Ewaluacja w edukacji: koncepcje, metody, perspektywy (39-46). Kraków: Polskie Towarzystwo Dia-gnostyki Edukacyjnej.

Szaleniec, H., Grudniewska, M., Kondratek, B., Kulon, F., Pokropek, A., Stożek, E. i Żółtak, M. (2013).

Analiza Porównawcza Wyników Egzaminów Zewnętrznych - Sprawdzian w Szóstej Klasie Szkoły Podsta-wowej i Egzamin Gimnazjalny. Warszawa: Instytut Badań Edukacyjnych. http://ibe.edu.pl/

Szaleniec, H., Kondratek, B., Kulon, F., Pokropek, A., Skórska, P., Świst, K., Wołodźko, T. i Żółtak, M. (2015).

Porównywalne wyniki egzaminacyjne. Warszawa: Instytut Badań Edukacyjnych.

Zumbo, B.D. (2009). Validity as contextualized and pragmatic explanation, and its implications for validation practice. W: R.W. Lissitz (red.), The concept of validity: Revisions, new directions and

applica-tions (65–82). Charlotte, NC: IAP—Information Age Publishing, Inc.

Zwick, R., i Himelfarb, I. (2011). The effect of high school socioeconomic status on the predictive va-lidity of SAT scores and high school grade-point average. Journal of Educational Measurement, 48(2), 101–121.