analiza modeli trzypoziomowych i  testowanie oddziaływania zmiennych dodatkowychzmiennych dodatkowych

Cel drugi procesu szacowania modeli podstawowych osiągnięty został na podstawie na-stępujących procedur analitycznych. Dla oszacowania współczynników i parametrów modeli trzypoziomowych estymowanych analogicznie do modeli EWD, przeprowadzono procedurę podobną, jak miało to miejsce dla modeli dwupoziomowych. Poniżej opisano kolejne kroki.

a. Określenie stopnia wielomianu odpowiadającego najlepszemu dopasowaniu zmien-nych do dazmien-nych przeprowadzono na dazmien-nych nieważozmien-nych i na dazmien-nych ważozmien-nych (zgodnie z kryteriami wyboru zastosowanymi w modelach dwupoziomowych).

b. Porównanie wyników modeli dla danych ważonych i nieważonych.

c. Wprowadzenie do modelu zmiennej płeć.

d. Wprowadzenie do modelu zmiennych: dysleksja na sprawdzianie, dysleksja na eg-zaminie gimnazjalnym oraz ich interakcji (zgodnie z procedurą przyjętą dla modeli dwupoziomowych).

4 Ściślej – posiadanie zaświadczenia o specyficznych trudnościach w uczeniu się wydanego przez poradnię psy-chologiczno-pedagogiczną. W tekście będziemy się odwoływać do tej zmiennej skrótowo, stosując termin „dysleksja”.

Modele dwupoziomowe analizowane były z wykorzystaniem oprogramowania Stata 11.

W modelach z wagami wykorzystywany był odpowiedni rodzaj skalowania wag. Ze względu na brak możliwości wprowadzenia skalowania wag w modelach trzypoziomowych w progra-mie Stata 11, do testowana modeli wykorzystany został program HLM 6.

W następnym kroku testowano znaczenie dodatkowych zmiennych na poziomie ucz-nia w modelach dwupoziomowych i trzypoziomowych. Poniżej przedstawiono etapy pro-cesu testowania istotności wpływu dodatkowych zmiennych indywidualnych w modelu dwupoziomowym.

a. Po wstępnej analizie szeregu zmiennych, procedurze testowania znaczenia dla osiągnięć szkolnych w poszczególnych dziedzinach (częściach egzaminu gimna-zjalnego) poddano następujące zmienne: poziom inteligencji na pierwszym etapie badania (w pierwszej klasie) mierzony testem matryc Ravena, wyższy z poziomów wykształcenia rodziców mierzony liczbą lat nauki, wyższy ze statusów społeczno--ekonomicznych rodziców mierzonych na skali International Socio-Economic Index (ISEI), wyższy z prestiżu zawodów rodziców mierzony skalą Standard International Occupational Prestige Scale (SIOPS), wiek w miesiącach, analizowany łącznie z infor-macją o wcześniejszym lub późniejszym, niż wynikałoby to z roku urodzenia, podję-ciu nauki w gimnazjum, zasobność gospodarstwa domowego i jego wyposażenie w różnego rodzaju kategorie dóbr (mierzona za pomocą skal będących efektem analizy danych o wyposażeniu gospodarstwa domowego), liczba dzieci, wielkość rodziny, kolejność urodzenia badanego ucznia, struktura rodziny (rodzina pełna, ro-dzina niepełna, roro-dzina dwu-, trzypokoleniowa).

b. Do modelu analogicznego do modelu EWD (wyłonionego w pierwszym kroku specyfikacji) dołączane były poszczególne zmienne w kolejności wymienionej po-wyżej. Analizy prowadzono jedynie na danych ważonych.

c. W przypadku poziomu inteligencji najpierw testowano, czy ma on znaczenie dla wyników w danej części egzaminu bez kontroli zmiennych zawartych w modelach EWD. Następnie wprowadzano ją łącznie z tymi zmiennymi i sprawdzano, czy po-zostaje istotnym statystycznie predyktorem (p < 0,05), oraz jak zmieniły się współ-czynniki regresji.

d. Kolejne zmienne testowane były w czterech krokach:

e. Do modelu wprowadzana była sama testowana zmienna (analogicznie do pozio-mu inteligencji).

f. Następnie wprowadzana była łącznie ze zmiennymi indywidualnymi, które w po-przednich krokach były istotnymi predyktorami, lecz bez zmiennych z modeli

ana-g. W trzecim kroku wprowadzano jedynie testowaną zmienną do modelu ze zmien-nymi z modeli EWD.

h. Ostatecznie testowano znaczenie zmiennej w modelu ze „zmiennymi EWD” oraz tymi zmiennymi indywidualnymi, które w poprzednich krokach były istotnymi predyktorami.

i. Zmienną pozostawiano w modelu, jeśli przy kontroli wszystkich pozostałych zmiennych pozostawała istotnym statystycznie predyktorem.

j. Trzy zmienne dotyczące wieku ucznia były testowane łącznie (jednocześnie).

Oszacowania współczynników i parametrów z modeli dwupoziomowych estymowa-nych z wykorzystaniem programów Stata 11 i HLM 6 przedstawione zostały w aneksie.

Podsumowując zawarte tam informacje, widzimy, iż na podstawowym poziomie nie ma zna-czących różnic w oszacowaniach parametrów między tymi dwoma programami.

Procedura testowania modeli trzypoziomowych ze zmiennymi indywidualnymi była podobna do procedury dla modeli dwupoziomowych. Testowano w nich także te same zmienne. Najpierw do modelu ze zmiennymi analogicznymi do modelu EWD (wyłonione-go w pierwszym kroku specyfikacji) dołączano poszczególne zmienne. Opracowane modele trzypoziomowe przedstawiono w aneksie.

Zmienną z modelu analogicznego do EWD (dwu- lub trzypoziomowego) pozostawiano w analizie, nawet jeśli przestawała mieć istotne znaczenie dla wyników egzaminu gimnazjal-nego po włączeniu zmiennych indywidualnych. W kilku przypadkach podjęto decyzję o po-zostawieniu zmiennych indywidualnych w modelach ostatecznych, mimo że nie wpływały istotnie na zmienną zależną. Dotyczyło to sytuacji, w których wartości poziomu istotności były bliskie 0,05.

Analiza opracowanych modeli podstawowych pozwala stwierdzić, że wartości parame-trów dwupoziomowych modeli estymowanych nie różnią się od wartości z analogicznych modeli populacyjnych, używanych do wyliczania wskaźników EWD. Innymi słowy przyjąć można, że wyniki z pobranej próby są reprezentatywne dla populacji. Ponadto analiza mode-li podstawowych pozwomode-liła wyłonić zbiór zmiennych istotnie powiązanych z wynikami obu części egzaminu gimnazjalnego przy kontroli wyniku sprawdzianu, tak w modelach dwu- jak i trzypoziomowych.

literatura

Domański, H. i Pokropek, A. (2011). Podzialy terytorialne, globalizacja a nierównosci spoleczne:

wprowadzenie do modeli wielopoziomowych. Warszawa: Wydawnictwo IFiS PAN.

Ganzeboom, H. B. G., De Graaf, P. M. i Treiman, D. J. (1992). A standard international socio-economic index of occupational status. Social Science Research, 21(1), 1–56.

doi:10.1016/0049-089X(92)90017-B

Jaworowska, A. i Szustrowa, T. (1991a). Podręcznik do testu matryc Ravena. Wersja Standard (1956). Polska standaryzacja 1989 (5;11–15;11). Warszawa: Pracownia Testów PTP.

Jaworowska, A. i Szustrowa, T. (1991b). Podręcznik do Testu Matryc Ravena. Wersja dla Zaawansowanych. Polska standaryzacja. Warszawa: Pracownia Testów PTP.

OECD. (2009). PISA 2009 Main Study Data Management Manual.

Snijders, T. A. B. i Bosker, R. J. (2012). Multilevel analysis: an introduction to basic and advanced multilevel modeling (2nd ed.). Los Angeles: Sage.

Zgodnie z przyjętą koncepcją badania trafności metody EWD analizy należy zacząć od sprawdzenia jakości testów egzaminacyjnych, których wyniki są wykorzystywane do szaco-wania gimnazjalnych wskaźników EWD. Jeśli pomiar wyników nauczania nie będzie wystar-czająco dobry, nawet najbardziej wyrafinowane metody statystyczne nie dostarczą wartościo-wych miar. Dlatego tak ważne jest zbadanie, czy egzaminy zewnętrzne mają takie właściwości, które pozwalają z powodzeniem wykorzystywać je do wyliczania trafnej miary EWD. W litera-turze przedmiotu poświęconej znaczeniu jakości danych wykorzystywanych do modelowania EWD zwraca się uwagę na różne aspekty, z których kilka wydaje się kluczowych (Chudowsky i in., 2010; OECD, 2008; por. także: Pokropek, 2013). Przede wszystkim stawia się pytanie o to, czy wykorzystane do modelowania EWD testy są dobrą miarą tego, na ile szkoła zrealizowała najważniejsze cele kształcenia. Tylko w takiej sytuacji mogą one bowiem stanowić podstawę do wyliczania miar efektywności kształcenia. Dodatkowo zwraca się uwagę na to, że testy wykorzystane do szacowania danego wskaźnika EWD powinny mierzyć ten sam konstrukt, by móc interpretować uzyskane wskaźniki jako miarę względnego przyrostu określonej umiejęt-ności. Podkreśla się także to, że pomiar osiągnięć szkolnych musi być wystarczająco rzetelny, a jego wyniki nie powinny być obciążone działaniem czynników niezwiązanych z poziomem badanej umiejętności. Ponadto skala, na której wyrażane są wyniki pomiaru, powinna mieć wystarczające właściwości, by mogła być wykorzystana w modelowaniu EWD. Wymienione postulaty wobec jakości miar osiągnięć zostaną kolejno poddane analizie w tym rozdziale.

Spełnienie ich otwiera drogę do szacowania trafnej miary EWD.

Dodatkowo niektórzy badacze zwracają uwagę na znaczenie porównywalności warun-ków, w których przeprowadzany jest pomiar osiągnięć oraz motywacji uczniów do rozwiązy-wania testów (Reckase, 2008). Polskie dane wypadają w tym świetle dobrze, gdyż egzaminy zewnętrzne są przeprowadzane wedle ściśle określonych, wystandaryzowanych procedur.

Egzamin gimnazjalny jest dla uczniów tzw. testem wysokiej stawki (testem doniosłym), ma-jącym znaczenie dla ich dalszych losów edukacyjnych. Natomiast sprawdzian w klasie szóstej szkoły podstawowej jest dla niemal wszystkich uczniów pierwszym poważnym egzaminem.

Choć dla zdecydowanej większości zdających jego wyniki nie niosą ze sobą istotnych konse-kwencji, ze strony szkoły występuje duży jednak nacisk na osiągnięcie w nim wysokich wy-ników. W związku z tym motywacja uczniów do rozwiązania tych egzaminów powinna być wysoka i podobna w różnych szkołach.

W analizach przeprowadzonych na potrzeby tego rozdziału wykorzystano dane ze spraw-dzianu w klasie szóstej szkoły podstawowej przeprowadzonego w 2009 roku oraz egzaminu

gimnazjalnego zrealizowanego w 2012 roku. Dane te pozwalają wyznaczyć jednoroczne wskaźniki EWD dla kohorty uczniów objętych badaniem, którego wyniki podsumowuje ta publikacja. Analogiczne analizy dla wszystkich sesji egzaminacyjnych są oczywiście potrzeb-ne, w szczególności dlatego, że właściwości egzaminów z kolejnych lat nie są stabilne. Jednak tak szerokie zagadnienie nie mieści się w ramach niniejszego studium.