Metody modelowania nieliniowej zależności od wyników „na wejściu” 40

„na wejściu”

Do modelowania nieliniowej zależności pomiędzy wynikami egzaminu „na wejściu”

a wynikami egzaminu „na wyjściu” wykorzystywane były w modelach EWD dwie różne metody. Na początku prac nad jednorocznymi modelami EWD gimnazjów przyjęto rozwiązanie wykorzystujące regresję dwoma kawałkami liniową (Jakubowski, 2007a), estymowaną metodą największej wiarygodności. Była ona stosowana w modelach dla roczników egzaminu 2005-2007. W późniejszym okresie została ona zastąpiona regresją MNK wykorzystującą wielomianowe przekształcenie wyników egzaminu „na wejściu”. Za-letą drugiego podejścia jest możliwość wykorzystania prostszych, bardziej standardowych technik estymacji modelu oraz – w przypadku wykorzystania wielomianów wyższych stopni – lepsze dopasowanie do nieregularnego przebiegu zależności.

W podejściu wykorzystującym wielomian do modelowania nieliniowej zależności pomiędzy wynikami egzaminu „na wejściu” a wynikami egzaminu „na wyjściu” konieczne jest rozstrzygnięcie kwestii, jaki będzie stopień wykorzystywanego w modelach wielomianu.

W latach 2008-2010 nie wdrożono w tym aspekcie żadnej sformalizowanej procedury.

W przypadku każdego modelu przygotowujący go analityk dokonywał subiektywnej oceny na podstawie porównania dopasowania wynikającego z zastosowania wielomianów

kolejnych stopni z regresją średnich. W 2011 r. wdrożona została sformalizowana procedura wyboru stopnia wielomianu, opierająca się na dwóch kryteriach:

1. monotonicznego przebiegu zależności w zakresie występujących w danych wyników, 2. ocenie stopnia niedopasowania modelu do danych z wykorzystaniem zmodyfikowanego

testu „linktest”.

Pierwsze kryterium zakłada, że w ramach modelu, który zostanie wybrany, zależność pomiędzy wynikami egzaminu „na wejściu” i „na wyjściu” musi być rosnąca w przedziale od minimum do maksimum wyników egzaminu „na wejściu”, jakie występują w danych.

Kryterium to jest motywowane teoretycznie. Jeśli chcemy myśleć o wynikach egzaminów

„na wejściu” i „na wyjściu” jako o pomiarach tego samego konstruktu, to powinniśmy oczekiwać, że związek pomiędzy nimi będzie pozytywny. Drugie kryterium zakłada, że

„linktest” przeprowadzony na modelu musi okazać się nieistotny statystycznie (przyjęto poziom istotności równy 0,01), co wskazuje na bezcelowość dalszego zwiększania stop-nia wielomianu. Opis stosowanej modyfikacji „linktestu” zawarty został w aneksie E.

Wybierany jest najniższy stopień wielomianu, który jednocześnie spełnia oba kryteria.

Dodatkowo założono, że stopień wielomianu nie może być wyższy niż pięć. W przypadku modeli uwzględniających uczniów o wydłużonym toku kształcenia i/lub kilka kohort absolwentów, oba kryteria sprawdzane są niezależnie, w ramach każdej spośród grup uczniów wyróżnionych na podstawie pary: rok zdawania egzaminu „na wyjściu”, rok zdawania egzaminu „na wejściu”. W miarę możliwości wybierany jest najniższy stopień wielomianu, który w każdej z tak wyróżnionych grup spełnia oba wymienione kryteria.

Warto zaznaczyć, że wybór konkretnego stopnia wielomianu ma znikomy wpływ na przebieg krzywej przewidywanego wyniku w zakresie wyników średnich², może jednak w znacznym stopniu zmieniać jej położenie w zakresie skrajnych wyników egzaminu „na wejściu”, zwłaszcza wyników niskich, co obrazuje Rysunek 4. Jednocześnie można zauważyć, że przebieg regresji średnich, czy dopasowania nieparametrycznego, niejednokrotnie jest niemonotoniczny, co sprawia, że postulat lepszego dopasowania modelu parametrycznego do danych może wchodzić w sprzeczność z postulatem monotoniczności przewidywania.

W praktyce jednoczesne spełnienie obu przedstawionych wyżej kryteriów bywa niemożliwe i konieczne jest niewielkie rozluźnienie kryteriów, aby móc wybrać stopień wielomianu, jaki zostanie użyty w modelu. Niestety tego typu problemy związane z nieregularnym przebiegiem zależności pomiędzy wynikami egzaminu „na wejściu” a wynikami egzaminu

„na wyjściu” mogą zostać efektywnie rozwiązane tylko na etapie przygotowywania egzami-nów. W aneksie F zestawione zostały informacje dotyczące wyboru stopnia wielomianu dla modeli EWD wykorzystanych do wyliczenia aktualnie prezentowanych wskaźników.

2 Uczniów o skrajnych wynikach jest po prostu dalece zbyt mało, by mogli oni wywierać taki wpływ.

W związku z tym, patrząc z punktu widzenia diagnostyki całego modelu, nie można ich uznać za jednostki wpływowe.

Rysunek 4. Przykłady przebiegu krzywej przewidywanego wyniku w zależności od stopnia wielomianu. Lewy panel – jednoroczny model EWD gimnazjów w zakresie przedmiotów mat.-przyr. 2011 (uczniowie o trzyletnim toku kształcenia). Prawy panel – jednoroczny model EWD techników w zakresie matematyki na poziomie podstawowym 2010 (uczniowie o czteroletnim toku kształcenia).

4.1.3. Metody graficznej diagnostyki nieliniowego przebiegu zależności

Kończąc opis problemu nieliniowej zależności pomiędzy wynikami „na wejściu” i „na wyjściu”, warto poruszyć jeszcze problem optymalnej metody graficznej diagnostyki jej przebiegu w sytuacji, gdy w modelu znajdują się też dodatkowe zmienne kontrolne.

W rozwiązaniu zastosowanym do przygotowania wykresów na Rysunku 2. I Rysunku 4.

jako „tło” wykorzystywany jest wykres rozrzutu (a właściwie jego odmiana, w której reprezentowane są nie poszczególne obserwacje, ale ich zagęszczenie), a jako punkt odniesienia regresja nieparametryczna wyników „na wyjściu” ze względu na wyniki

„na wejściu”. Aby móc wyrysować linie przewidywania z modelu, związane z wpływem wyników „na wejściu”, konieczne jest w takim przypadku ustalenie pewnych konkretnych wartości pozostałych zmiennych niezależnych, co będzie wpływać na ich położenie w pionie.

Aby zapewnić przebieg możliwie „reprezentatywny” dla analizowanej zbiorowości, a przez to odpowiedni do porównywania z wyrysowanym dopasowaniem nieparametrycznym, przy wyliczaniu przewidywań jako wartości pozostałych zmiennych niezależnych przyjmuje się ich średnie w grupie wszystkich badanych (w angielskiej literaturze przedmiotu takie przewidywania określane są jako adjusted predictions at the means).

Opisane powyżej podejście ma jednak pewne istotne ograniczenia. Jeśli pozostałe zmienne niezależne są skorelowane z wynikami „na wejściu”, np. osoby, które na spraw-dzianie posiadały zaświadczenie o dysleksji, miały też raczej niskie wyniki sprawdzianu, to nie jesteśmy w stanie „dopasować” wyrysowywanej linii przewidywania do „tła”

w tak prosty sposób, jak przesuwając ją w pionie o tę samą odległość, bez względu

Rysunek 5. Przykłady diagnostyki przebiegu krzywej przewidywanego wyniku w zależności od stopnia wielomianu przy pomocy wykresów reszt częściowych. Trzyletni model EWD gimnazjów w zakresie języka polskiego 2014-2012 (uczniowie o trzyletnim toku kształcenia). Lewy panel – wielomian drugiego stopnia. Prawy panel – wielomian piątego stopnia.

Na osi pionowej wyrysowane są reszty częściowe powstałe przez odjęcie od wyników testu z języka polskiego egzaminu gimnazjalnego 2014 przewidywań wynikających z płci i dysleksji zdających.

na wynik „na wejściu”. W szczególności w takim przypadku regresja nieparametryczna wyników „na wyjściu” ze względu na wyniki „na wyjściu” nie będzie właściwym punktem odniesienia dla oceny, na ile dobrze wyrysowywane linie przewidywania oddają rzeczywiście występujące w danych zależności.

Aby rozwiązać ten problem, możemy przyjąć jedno z dwóch podejść: albo lokalnie korygować linię przewidywanego wyniku, albo skorygować „tło” na podstawie informacji o tym, jakie są charakterystyki badanych o danych wynikach „na wejściu”. Przy tym pierwsze podejście jest kłopotliwe w implementacji, gdyż w sytuacji, gdy wyniki „na wejściu” są zmienną przyjmującą bardzo wiele różnych wartości, a w efekcie niewiele jest obserwacji posiadających dokładnie te same wartości zmiennej, wymaga zastosowania do wyliczania takich lokalnych korekt jakiejś formy regresji nieparametrycznej. Dodatkowo na podstawie takiej skorygowanej krzywej niemożliwa byłaby ocena monotoniczności przebiegu zależności od wyników „na wejściu”.

Drugie podejście jest znacznie bardziej użyteczne. Pozwala obserwować krzywą przewidywania związanego z wynikami „na wejściu” w jej oryginalnej postaci i jest proste w implementacji. Na potrzeby wyrysowania wykresu rozrzutu i szacowania regresji nieparametrycznej, będącej punktem odniesienia dla linii przewidywania wynikającej z modelu EWD, należy po prostu zastąpić wyniki „na wyjściu” tzw. resztami częściowymi, powstałymi przez odjęcie od tychże wyników wartości przewidywania związanego z innymi wykorzystywanymi w modelu zmiennymi niezależnymi. Niestety pewnym ograniczeniem

takiego podejścia jest fakt, że na jednym wykresie tego typu nie możemy zaprezentować przebiegu przewidywania wynikającego z kilku różnych modeli. Dla każdego z nich odpowiednie „tło” będzie bowiem nieco inne. Wykresy przygotowane w ten sposób przedstawione zostały na Rysunku 5.