trzyletnie wskaźniki EWD

Wskaźniki trzyletnie wyliczane są wyłącznie na poziomie szkół i opublikowane zosta-ły po raz pierwszy w 2009 roku. Choć nie pozwalają one prowadzić analiz wewnątrzszkol-nych, w serwisie internetowym, w którym są one prezentowane, udostępniane jest narzę-dzie pozwalające w łatwy sposób dokonywać porównań pomiędzy szkołami. Analogicznie jak w przypadku wskaźników jednorocznych obowiązujących do 2011 roku, przygotowywane zostały wskaźniki humanistyczne i matematyczno-przyrodnicze. Rozszerzenie zakresu wskaź-ników o cztery kolejne, odnoszące się do nowej struktury egzaminu gimnazjalnego, będzie możliwe dopiero w 2014 roku, gdy wszystkie trzy sesje egzaminacyjne objęte wskaźnikiem trzyletnim (2014–2012) będą przeprowadzone według nowej formuły.

Do 2011 roku w modelach wykorzystywane były znormalizowane ewkikwantylowo wyniki sprawdzianu i egzaminu gimnazjalnego, uwzględniano przy tym wyłącznie wyniki uczniów, którzy uczyli się w gimnazjum przez trzy lata (Pokropek i Żółtak 2012a). Począwszy od wskaź-ników dla okresu 2012–2010 normalizację ekwikwantylową wywskaź-ników egzaminów zastąpiono

skalowaniem IRT za pomocą modelu 2PL/GPCM, a w modelach regresji uwzględniono też uczniów, których tok kształcenia uległ wydłużeniu o jeden rok.

Trzyletnie gimnazjalne wskaźniki EWD wyliczane są jako Bayesowskie predykcje a posteriori (określane też mianem best linear unbiased predictors) na podstawie wyników modeli regresji mie-szanych efektów (wielopoziomowej), w której efekt losowy dla stałej regresji związany jest z po-działem na szkoły. Są to takie same metody statystyczne jak wykorzystywane w Anglii i w Dallas (Evans, 2008; Webster i in., 1998). Krzywa przewidywanego wyniku danej części egzaminu gimna-zjalnego na podstawie sprawdzianu wyznaczana jest oddzielnie dla każdej kombinacji roku zda-wania sprawdzianu i roku zdazda-wania egzaminu gimnazjalnego. Oznacza to, że w modelach, które nie uwzględniały uczniów o wydłużonym toku kształcenia wyznaczane były trzy różne krzywe przewidywania (po jednej dla każdego rocznika zdających), a w modelach uwzględniających ucz-niów o toku kształcenia wydłużonym o rok wyznaczane jest po sześć różnych krzywych przewidy-wania (dodatkowe trzy – po jednej dla każdego rocznika uczniów o wydłużonym toku kształcenia).

Wartości współczynników związanych z płcią i dysleksją wyliczane są w modelu łącznie dla wszyst-kich uczniów. Wykorzystywane modele regresji opisuje wzór:

Y_ji = u_0j + w(X_ji,rok_ji, tok_ji) + b_ppłeć_ji + b_dgdysl_g_ji + b_dsdysl_s_ji + b_dgs (dysl_g_ji · dysl_s_ji) + ε_ji (6)

gdzie:

Y_ji – wynik i-tego ucznia uczącego się w j-tej szkole z danej części egzaminu gimnazjalnego (do 2011 r. znormalizowany ekwikwanty-lowo, od 2012 r. skalowany IRT 2PL/GPCM),

X_ji – wynik i-tego ucznia uczącego się w j-tej szkole ze sprawdzianu gimnazjalnego (do 2011 r. znormalizowany ekwikwantylowo, od 2012 r. skalowany IRT 2PL/GPCM),

u_0j – EWD szkoły,

rok_ji – rok zdawania egzaminu gimnazjalnego przez i-tego ucznia uczącego się w j-tej szkole, tok_ji – tok kształcenia i-tego ucznia uczącego się w j-tej szkole (0-normalny, 1-wydłużony),

w(X_ji, rok_ji, tok_ji) – wielomian opisujący zależność pomiędzy wynikami sprawdzianu a wynikami danej części egzaminu gimnazjalnego, płeć_ji – płeć i-tego ucznia uczącego się w j-tej szkole (0 – mężczyzna, 1 – kobieta),

dysl_g_ji – posiadanie przez i-tego ucznia uczącego się w j-tej szkole zaświadczenia o dysleksji na egzaminie gimnazjalnym (0 – nie, 1 – tak),

dysl_s_ji – posiadanie przez i-tego ucznia uczącego się w j-tej szkole zaświadczenia o dysleksji na sprawdzianie (0 – nie, 1 – tak), ε_ji – błąd indywidualny dla i-tego ucznia uczącego się w j-tej szkole.

Na podstawie wyników estymacji takiego modelu EWD szkoły szacuje się jako:

EWD_j = (7)

D²(u₀) D²(u₀) + D²(ε)

n_j E(Y_ji - Y_ji)

gdzie:

Y_ji = w(X_ji,rok_ji, tok_ji) + b_ppłeć_ji + b_dgdysl_g_ji + b_dsdysl_s_ji + b_dgs (dysl_g_ji · dysl_s_ji) (8)

jest przewidywaniem na podstawie efektów stałych,

D²(u₀) – oszacowanie wariancji efektu losowego dla stałej regresji związanego z podziałem na szkoły (EWD), D²(ε) – oszacowanie wariancji błędów indywidualnych,

n_j – liczba uczniów w j-tej szkole; przy czym oszacowania wariancji D²(u₀) i D²(ε) otrzymywane są w wyniku estymacji modelu regresji mieszanych efektów.

Tak szacowane wartości wskaźników EWD są ściągniętymi w kierunku zera średnimi z reszt regresji w ramach szkoły. Wielkość tego ściągnięcia jest tym większa, im mniej uczniów, na podstawie których szacowana jest wartość wskaźnika dla danej szkoły i im mniejsze jest zróżnicowanie wyników danej części egzaminu gimnazjalnego między szkołami. Warto też zauważyć, że ponieważ ściągnięcie w kierunku zera realizowane jest poprzez przemnożenie średniej reszt przez wartość mniejszą od jedności, to przesunięcie tak przekształconej war-tością względem średniej reszt będzie tym większe, im większa była wartość bezwzględna średniej reszt w ramach szkoły.

Więcej informacji na temat sposobu wyliczania trzyletnich gimnazjalnych wskaźników EWD, w tym o sposobie prezentacji wyników w dwuwymiarowej przestrzeni, można zna-leźć w dokumentacji technicznej, dostępnej na stronie internetowej EWD (Pokropek i Żółtak, 2012b). Należy przy tym zaznaczyć, że zapowiadane w tym dokumencie wprowadzenie w 2012 roku modeli uwzględniających zmianę efektywności nauczania w czasie nie doszło do skutku, w związku z negatywną oceną użyteczności takich bardziej skomplikowanych wskaźników dla odbiorców. Uzyskiwane z nich dodatkowe informacje zostały uznane za bardzo trudne do interpretacji w połączeniu z analizą zmiany wartości wskaźników (położenia elips), wobec czego komplikowanie modelu uznano za bezcelowe.

literatura

Ballou, D., Sanders, W. i Wright, P. (2004). Controlling for student background in value-added assessment of teachers. Journal of Educational and Behavioral Statistics 29, 37–65.

Dolata, R. i Pokropek, A. (2012). Czy warto urodzić się w styczniu? Wiek biologiczny a wyniki egzaminacyjne. [w:] Niemierko, B. i Szmigel, M. K. (red.), Regionalne i lokalne diagnozy

edukacyjne: XVIII Krajowa Konferencja Diagnostyki Edukacyjnej, Wrocław, 21–23 września 2012 r.

Dolata, R. (2007). Krytyczna analiza metody edukacyjnej wartości dodanej. [w:] Dolata, R.

(red.), Edukacyjna wartość dodana jako metoda oceny efektywności nauczania na podstawie egzaminów zewnętrznych. Warszawa: Centralna Komisja Egzaminacyjna.

Evans, H. (2008). Value-added in English schools. Referat przedstawiony na National Conference on Value-Added Modeling, University of Wisconsin at Madison, 22–24 kwietnia.

Pobrany 28 lutego 2013 z: http://www.wcer.wisc.edu/news/events/VAM%20Conference%20 Final%20Papers/VAMinEnglishSchools_HEvens.pdf

Goldstein, H i, Leckie, G. (2009). The limitations of using school league tables to inform school choice. Journal of the Royal Statistical Society. Series A, 172, 835–851.

Jakubowski, M. (2007). Empiryczna analiza metod szacowania edukacyjnej wartości dodanej dla gimnazjum. [w:] Dolata, R. (red.), Edukacyjna wartość dodana jako metoda oceny efektywności nauczania na podstawie egzaminów zewnętrznych. Warszawa: Centralna Komisja Egzaminacyjna.

McCaffrey, D. F., Lockwood, J. R., Koretz, D. M. i Hamilton, L. S. (2003). Evaluating value-added models for teacher accountability. Santa Monica, Kalifornia: RAND.

McCaffrey, D. F., Lockwood, J. R., Koretz, D. M., Louis, T. A. i Hamilton, L. S. (2004). Models for value-added modeling of teacher effects. Journal of Educational and Behavioral Statistics, 29, 67–101.

OECD. (2008). Measuring improvements in learning outcomes: best practices to assess the value-added of schools. Paryż: OECD.

Pokropek, A. i Żółtak, T. (2012a). Trzyletni wskaźnik egzaminacyjny. Dokumentacja techniczna.

Wersja 2.0. Pobrany 15 kwietnia 2013 z: http://ewd.edu.pl/downloads/Dokumentacja%20 techniczna%20v2.0.pdf

Pokropek, A. i Żółtak, T. (2012b). Nowe modele jednorocznej EWD. [w:] Szmigiel, K., Niemierko, B. (red.), Regionalne i lokalne diagnozy edukacyjne: XVIII Krajowa Konferencja Diagnostyki Edukacyjnej, Wrocław, 21–23 września 2012 r. Kraków: Grupa Tomami.

RAISEonline. (2011). RAISEonline proposed 2011/12 developments. Pobrany 28 lutego 2013 z:

https://www.raiseonline.org/News.aspx?NewsID=303

Raudenbush, S. W. (2004). What are value-added models estimating and what does this imply for statistical practice? Journal of Educational and Behavioral Statistics, 29, 121–129.

Raudenbush, S. W. i Willms, J. D. (1995). The estimation of school effects. Journal of Educational and Behavioral Statistics, 20, 307–335.

Reardon, S. F. i Raudenbush, S. W. (2008). Assumptions of value-added models for estimating school effects. Education Finance and Policy, 4, 492–519.

Rubin, D. B., Stuart, E. A. i Zanutto, E. L. (2004). A potential outcomes view of value-added assessment in education. Journal of Educational and Behavioral Statistics, 29, 103–104.

Webster, W. J., Mendro, R. L., Orsak, T. H. i Weerasinghe, D. (1998). An application of Hierarchical Linear Modeling to estimation of school and teacher effect. Referat przedstawiony na

dorocznym spotkaniu American Educational Research Association, San Diego, Kalifornia, 13–17 kwietnia.

Wright, P. S., Horn, S. P. i Sanders, W. L. (1997). Teacher and classroom context effects on student achievement: Implications for teacher evaluation. Journal of Personnel Evaluation in Education, 11, 57–67.

Kiedy zastanawiamy się nad tym, dlaczego jedni uczniowie uzyskują lepsze wyniki w nauce niż inni, często przychodzą nam na myśl cechy uczniów. Przyczyn zróżnicowania osiągnięć szkol-nych upatrujemy na przykład w zdolnościach, motywacji, wytrwałości i zainteresowaniach. Różne charakterystyki uczniów pozwalają przewidywać osiągnięcia szkolne, choć siła ich związku z osiąg-nięciami jest bardzo zróżnicowana. W niniejszym rozdziale, w kontekście badania trafności metody EWD, skupimy się na dwóch takich cechach: wieku oraz inteligencji. Przeprowadzone analizy po-zwolą ocenić trafność metody EWD w dwóch aspektach. Po pierwsze, oszacowanie siły efektów wieku i inteligencji w używanych modelach EWD pozwoli ocenić, na ile skutecznie modele te kon-trolują ich znaczenie dla osiągnięć szkolnych. Jeżeli wskaźniki EWD dla szkół szacowane bez kontroli wieku i inteligencji uczniów byłyby znacząco skorelowane z tymi miarami, oznaczałoby to obcią-żenie metody EWD wynikające z niekompletności modelu wyjaśniającego wyniki egzaminacyjne.

Im lepiej uwzględnienie w modelach uprzednich osiągnięć pozwala równocześnie kontrolować te cechy ucznia, tym większa trafność metody. Po drugie, dzięki podłużnemu pomiarowi inteligencji, będzie można oszacować ważny aspekt trafności kryterialnej metody EWD – skorelowanie przyro-stu osiągnięć szkolnych z przyrostem inteligencji.

Wiek ucznia to jedna z nielicznych informacji gromadzonych, obok wyników uczniów, w ramach systemu egzaminów zewnętrznych. Dotychczas nie była ona włączana do modeli EWD, choć dwie pozostałe (płeć oraz posiadanie opinii o specyficznych trudnościach w ucze-niu się) są w nich uwzględniane. Wiadomo jednak, że wiek ma znaczenie dla osiągnięć szkol-nych (por. omówienia w dalszych częściach rozdziału). Powstaje więc pytanie o konsekwencje braku kontroli wieku w modelach EWD. Staje się ono szczególnie ważne w kontekście sposo-bu, w jaki wprowadzana jest reforma obniżenia wieku obowiązku szkolnego – dobrowolność posyłania sześciolatków do szkoły podczas okresu przejściowego reformy¹ powoduje znaczne zróżnicowanie wiekowe uczniów na jednym poziomie klasowym.

Z kolei inteligencja to jeden z najsilniejszych i najbardziej stabilnych predyktorów sukcesu życiowego, w tym sukcesu szkolnego. W niniejszym rozdziale spojrzymy na nią z kilku per-spektyw. Po pierwsze, jako na zmienną, której wpływ należy kontrolować w modelach EWD ze względu na zróżnicowanie szkół pod względem poziomu inteligencji rekrutowanych uczniów.

1 Reforma obniża wiek rozpoczęcia obowiązkowej nauki w szkole do lat sześciu (Ustawa z dnia 19 sierpnia 2011 r. o zmianie ustawy o systemie oświaty oraz niektórych innych ustaw, Dz.U. 2011 nr 205 poz. 1206). W okre-sie przejściowym reformy, tj. w roku szkolnym 2012/2013 oraz 2013/2014, objęcie obowiązkiem szkolnym dzieci sześcioletnich następuje na wniosek ich rodziców (Ustawa z dnia 27 stycznia 2012 r. zmieniająca ustawę o zmia-nie ustawy o systemie oświaty oraz o zmiazmia-nie zmia-niektórych innych ustaw, Dz.U. 2012 nr 0 poz. 176).

Dlatego zweryfikujemy, czy modele EWD w obecnym kształcie pozwalają w zadowalającym stopniu kontrolować jej znaczenie dla wyników egzaminacyjnych. Po drugie, przyjrzymy się jej jako zdolności poznawczej, której rozwój może zależeć od efektywności pracy szkoły. Istnienie tej zależności uważamy za jedno z kryteriów trafności wskaźników EWD. Będzie ono argumen-tem przemawiającym za tym, że wskaźniki EWD odzwierciedlają nie tylko to, jak dobrze szkoła przygotowała uczniów do egzaminu zewnętrznego, lecz są także przejawem takich procesów zachodzących w szkole, które przekładają się na rozwój ucznia.

Nasze dociekania przedstawimy w następującym porządku. Najpierw skupimy się na teo-retycznych aspektach zależności między osiągnięciami szkolnymi a wiekiem oraz inteligencją.

Następnie, na podstawie analiz teoretycznych postawione zostaną hipotezy, które poddamy empirycznej weryfikacji. Uzyskane wyniki stanowić będą podstawę do sformułowania wnio-sków dotyczących trafności wskaźników EWD oraz zaleceń dotyczących ich modelowania.