Zmienne kontrolne w modelach EWD

Na osiągnięcia uzyskiwane przez uczniów na egzaminach wpływają różne czynniki. Zaletą wskaźników EWD jest to, że pozwalają one kontrolować te z nich, które w ten sam sposób wpły-wają na wyniki egzaminu na wejściu i na wyjściu. Jednocześnie znaczna liczba czynników wciąż może mieć wpływ na postępy uzyskiwane przez uczniów w toku dalszej nauki, niezależnie od ich wpływu na uprzednie osiągnięcia.

Jaskrawym przykładem mogą tu być uczniowie ze środowisk imigranckich, którzy nie opa-nowali biegle języka wykładowego. Ta cecha będzie bardzo utrudniać im zdobywanie dal-szej wiedzy i mamy mocne podstawy by sądzić, że pod koniec danego etapu kształcenia ich poziom umiejętności i wyniki egzaminów, będą w związku z tym niższe niż innych uczniów, którzy mieli te same wyniki egzaminów na wejściu. Z polskiej perspektywy przykład ten może się oczywiście wydawać nieco egzotyczny, jednak dobrze pokazuje, że mogą istnieć czynniki, które mają wyraźny wpływ na postępy uczniów w nauce, a nie są bezpośrednio zależne od działań podejmowanych przez szkołę. Jeśli chcemy, aby wskaźniki EWD pokazywały efektyw-ność pracy szkół, takie czynniki powinny być dodatkowo kontrolowane tak, aby różnice po-między uczniami uczącymi się w różnych szkołach nie miały wpływu na wartości wyliczanych dla tych szkół wskaźników EWD. Jeśli wiemy, że pewni uczniowie będą osiągać większe (lub mniejsze) postępy w nauce, to powinniśmy odpowiednio modyfikować przewidywane dla nich wyniki na wyjściu – punkt odniesienia, do którego będą porównywani. Osiągnięciu tego celu służy dołączenie do modelu regresji dodatkowych zmiennych opisujących charakterysty-ki uczniów oraz środowiska, w jacharakterysty-kim działa szkoła. Poniżej przedstawione zostaną rozwiązania, jakie przyjęto w systemie angielskim oraz w USA, na terenie Dallas Independent School District.

W rozwiązaniu angielskim zakres dodatkowych czynników uwzględnionych w modelu

etnicznych (wyróżniono 19) oraz jej interakcję z prawem do bezpłatnych posiłków, informa-cje o specjalnych potrzebach edukacyjnych oraz o tym, czy język angielski jest pierwszym językiem ucznia, informacje o zmianie szkoły w trakcie toku kształcenia, wskaźnik ubóstwa dla miejsca zamieszkania ucznia (IDACI) oraz średnie wyniki uczniów szkoły na wejściu (Evans, 2008).

Warto przy tym zauważyć, że w początkowym okresie rozwoju angielskiego systemu EWD (w latach 2002–2005), wskaźniki wyliczane były bez uwzględnienia wymienionych powyżej zmiennych kontrolnych. Wprowadzenie ich do modeli wymagało rozwinięcia sy-stemu informacji oświatowej i nastąpiło w 2006 r., a jednym z powodów tej zmiany była krytyka własności wskaźników wyliczanych bez kontroli dodatkowych czynników (Evans, 2008). Mimo to w 2012 r. postanowiono w Anglii odstąpić od wyliczania wskaźników EWD z uwzględnieniem zmiennych kontekstowych (RAISEonline, 2011). Pewien wpływ na tę de-cyzję ma zapewne przykładanie w ramach systemu angielskiego dużej wagi dla użytecz-ności wskaźników efektywużytecz-ności pracy szkół dla rodziców (wspomaganie wyboru szkoły).

Model uwzględniający zmienne kontekstowe, jako bardziej skomplikowany, czynił mało przejrzystą procedurę wyliczania wskaźników. Dodatkowo podnoszono też wątpliwości odnośnie do zbyt szerokiego zakresu kontrolowanych w modelu czynników (Goldstein i Leckie, 2009).

Nieco bardziej skomplikowane rozwiązanie zastosowano w Dallas, gdzie wskaźniki EWD wyliczane są w ramach dwustopniowej procedury, w której najpierw przeprowadza się oddzielnie regresje wyników na wejściu, wyników na wyjściu oraz odsetka opuszczo-nych w ostatnim roku godzin lekcyjopuszczo-nych ze względu na kontrolowane czynniki z poziomu indywidualnego (określane jako fairness variables). Obejmują one: ograniczoną zdolność posługiwania się językiem angielskim, rasę/bycie Latynosem, płeć oraz posiadanie upraw-nień do tańszych lub darmowych posiłków (oraz interakcje tych zmiennych). Dodatkowo kontrolowane są też – na podstawie danych spisowych¹ – wskaźniki zamożności dla re-jonu zamieszkania ucznia. W drugim kroku reszty z regresji opisującej wynik na wyjściu przewidywane są za pomocą reszt z regresji opisującej wynik na wejściu, reszt z regresji opisującej odsetek opuszczonych godzin lekcyjnych oraz czynników kontekstowych mie-rzonych na poziomie szkoły, które obejmują mobilność uczniów (częstość przychodzenia do szkoły nowych uczniów i/lub odchodzenia uczniów ze szkoły), zatłoczenie, oraz średnie zmiennych kontrolowanych na poziomie indywidualnym (McCaffrey, Lockwood, Koretz i Hamilton, 2003; Webster, Mendero, Orsak i Weerasinghe, 1998).

1 Warto pamiętać, że w USA badania spisowe prowadzone są częściej niż w Polsce.

Generalnie przyjmuje się, że uwzględnienie w modelach zmiennych kontrolnych pozy-tywnie wpływa na własności wyliczanych wskaźników EWD. Można tu jednak sformułować dwa zastrzeżenia. Po pierwsze, zakres kontrolowanych zmiennych powinien być dostosowa-ny do podstawowego celu, jakiemu mają służyć wskaźniki. Po drugie, w sytuacji nielosowe-go przydziału uczniów do szkół – co ma miejsce właściwie w każdym systemie szkolnym, choć z różnym nasileniem – część wpływu wynikającego z działań szkół może być w procesie estymacji modelu przypisywana oddziaływaniu zmiennych kontrolnych. Poszerzanie zakresu czynników kontrolowanych w modelu z jednej strony chroni więc przed „niesprawiedliwym”

ocenianiem szkół, jednak z drugiej może utrudniać rozróżnianie od siebie szkół pracujących efektywnie i nieefektywnie (Ballou, Sanders i Wright, 2004; McCaffrey i in., 2003; McCaffrey i in., 2004; OECD, 2008; Raudenbush i Willms, 1995).

W przypadku pierwszego z wymienionych problemów wskazuje się na różnice w oce-nie szkoły z perspektywy rodzica wybierającego szkołę dla swojego dziecka i z perspektywy ewaluatora, chcącego ocenić efektywność pracy szkoły. Różnice te przyjęło się w literaturze opisywać za pomocą wprowadzonego przez Stephena Raudenbusha i J. Douglasa Willmsa (1995) rozróżnienia na dwa rodzaje efektów (wskaźników), które można wyliczać w odniesieniu do szkół. Tak zwane efekty typu A uwzględniają jako zmienne kontrolne tylko charakterystyki uczniów, ale pomijają charakterystyki środowiska, w jakim działa szkoła (np. średni poziom wyników uczniów przychodzących do szkoły albo jej lokalizację), podczas gdy efekty typu B uwzględniają również te drugie. Z perspektywy rodzica interesujące są efekty typu A, gdyż chce on wybrać szkołę, w której może spodziewać się najwyższych wyników na wyjściu, bez względu na to, czy miałyby być one wynikiem działań samej szkoły, czy też faktu, że po pro-stu pracuje ona w bardzo korzystnym środowisku. Jeśli jednak chcemy na podstawie EWD oceniać jakość pracy szkoły, powinniśmy oczywiście wytrącać ze wskaźników również wpływ czynników kontekstowych, a więc wyliczać efekty typu B. Należy jednak zaznaczyć, że uzyska-nie wiarygodnych wskaźników typu B jest trudne. W literaturze poświęconej EWD podkreśla się, że nawet gdy w modelach uwzględniany jest szeroki zakres zmiennych kontrolnych, nie należy na podstawie wskaźników EWD formułować mocnych interpretacji przyczynowych (Raudenbush, 2004; Reardon i Raudenbush, 2008; Rubin, Stuart i Zanutto, 2004).

Na koniec należy wspomnieć, że istnieje również inny sposób wytrącania ze wskaźników EWD wpływu charakterystyk uczniów, jednak jest on możliwy do zastosowania tylko, gdy jed-nocześnie spełnione są trzy warunki: 1) wskaźniki wyliczane są w odniesieniu do nauczycieli (a nie szkół); 2) testowanie poziomu umiejętności uczniów odbywa się co roku; 3) przydział nauczycieli do uczniów zmienia się co roku. W takiej sytuacji możliwe jest wykorzystanie do wyliczania wskaźników EWD modeli charakterystycznych dla amerykańskiego systemu TVAAS

Value-Added Assessment System). W tym przypadku wytrącenie wpływu czynników niezależ-nych od działań nauczycieli staje się możliwe, dzięki uwzględnieniu w jednym modelu wy-ników egzaminów z wielu lat oraz corocznym zmianom zespołów nauczycielskich uczących poszczególnych uczniów, pomimo nieuwzględniania w modelu żadnych zmiennych kontrol-nych (McCaffrey i in., 2003, Wright, Horn i Sanders, 1997). Rozwiązanie to nie znajduje jednak zastosowania w przypadku wskaźników wyliczanych na poziomie szkół, gdyż zdecydowana większość uczniów uczęszcza na danym poziomie kształcenia cały czas do tej samej szko-ły. Modele wykorzystywane do wyliczania EWD na poziomie szkół w ramach metodologii TVAAS/EVAAS są więc de facto równoważne modelom regresji uwzględniającym tylko po-miar na wejściu i na wyjściu.