międzyszkolna i międzyoddziałowa wariancja inteligencji uczniów

W kolejnym kroku weryfikacji poddane zostaną hipotezy dotyczące międzyszkolnego zróżnicowania inteligencji na początku nauki w gimnazjum.

Przypomnijmy, że gdyby uczniowie byli losowo przydzielani do szkół i oddziałów, średni poziom ich inteligencji w każdej placówce i oddziale byłby bardzo do siebie zbliżony, a co za tym idzie, każdy nauczyciel pracowałby z uczniami o podobnych zasobach. Nie byłoby wów-czas potrzeby kontrolowana w modelach efektywności nauczania poziomu inteligencji ucz-niów. Jednak tak nie jest. Sama segregacja przestrzenna związana z rejonem, w którym mieści się placówka, przyczynia się do zróżnicowania cech uczniów przyjmowanych do szkoły, nie mówiąc już o jawnych czy ukrytych procesach selekcji do szkół i oddziałów, które w oczywisty sposób przekładają się na zwiększenie zróżnicowania międzyszkolnego i międzyoodziałowe-go potencjału intelektualnemiędzyoodziałowe-go uczniów na wejściu.

Zanim zatem zweryfikujemy hipotezę dotyczącą tego, w jakim stopniu modele EWD pozwa-lają kontrolować zasoby poznawcze uczniów, zobaczmy, jak bardzo szkoły i oddziały wewnątrz szkół różnią się między sobą poziomem inteligencji uczniów. Wskaźniki, którymi się posłużymy, są analogiczne do tych, wykorzystywanych jako miary zróżnicowania międzyszkolnego wyników nauczania. Ich wyznaczenie opiera się na dekompozycji wariancji, czyli określeniu, jaka część zróż-nicowania indywidualnych wyników wszystkich uczniów może zostać przypisana zróżnicowaniu średnich grupowych (czyli w naszym przypadku wyników szkół i oddziałów wewnątrz szkół), a jaka zróżnicowaniu wyników poszczególnych uczniów w szkołach. Następnie poszczególne składowe wariancji (komponent międzyszkolny i międzyoddziałowy) odnosimy do całkowitej wariacji wyni-ków uczniów, a uzyskany wynik informuje nas, jaki odsetek całkowitego zróżnicowania osiągnięć szkolnych uczniów możemy przypisać podziałowi uczniów na szkoły oraz na oddziały wewnątrz szkół. Gdyby jednostki analizy z wyższego poziomu (szkoły i oddziały wewnątrz szkół) nie różniły się między sobą średnim poziomem inteligencji uczniów, wskaźnik zróżnicowania

przyjmował-uczniów sprowadzałoby się do różnic między szkołami lub oddziałami wewnątrz szkół, wskaźnik osiągałby wartość 100% dla danego poziomu grupowania.

Dekompozycja wariancji na potrzeby opisanego powyżej problemu została przeprowa-dzona za pomocą trzypoziomowego modelu pustego (uwzględnia tylko pogrupowanie uczniów na szkoły i oddziały) z losową stałą, w którym zmienną zależną jest wynik testu ma-tryc Ravena z I etapu badania, wyrażony na skali o średniej 0 i odchyleniu standardowym 1. W poniższej tabeli zaprezentowano wyniki analizy zróżnicowania międzyszkolnego i mię-dzyoddziałowego poziomu inteligencji uczniów. Umieszczono w niej oszacowania efektów losowych oraz wskaźniki zróżnicowania wskazujące, jaki procent wariancji wyników testu inte-ligencji płynnej można przypisać podziałowi uczniów na szkoły, na oddziały wewnątrz szkół oraz łącznie podziałowi na szkoły i oddziały.

Tabela 3. zróżnicowanie międzyszkolne i międzyoddziałowe inteligencji uczniów – oszacowa-nia efektów losowych z modelu trzypoziomowego z losową stałą (analiza wariacji z efektami losowymi)

zmienna zależna: wynik testu matryc Ravena na i etapie oszacowanie efektów losowych wskaźniki zróżnicowania

wariancja efektów szkół 0,047 poziom szkół 5,5%

wariancja efektów oddziałów klasowych 0,076 poziom oddziałów 8,9%

poziom szkół i oddziałów łącznie 14,4%

wariancja na poziomie ucznia 0,730

liczba uczniów: 5223; liczba oddziałów: 291; liczba szkół: 150

Podział uczniów na szkoły i oddziały wyjaśnia istotną część zróżnicowania wyników testu in-teligencji przeprowadzonego podczas pierwszego roku nauki w gimnazjum. Łącznie podział na szkoły i klasy wyjaśnia 14% wariancji wyników indywidualnych. Co ciekawe, znacznie bardziej są zróżnicowane oddziały wewnątrz szkół (prawie 9% wariancji wyjaśnianej), niż same szkoły (5,5%

wariancji daje się wyjaśnić przez podział na szkoły). Dane te potwierdzają to, że mamy do czynienia nie tylko ze zjawiskiem nierównego rozłożenia się potencjału poznawczego uczniów między szko-ły, ale także z nielosowym przydziałem uczniów do oddziałów wewnątrz szkół. Gdyby bowiem, niezależnie od zróżnicowania międzyszkolnego, uczniowie byli przydzielani do klas losowo, wskaź-nik zróżnicowania międzyoddziałowego przyjmowałby wartość 0%.

Warto zwrócić uwagę na fakt, że zróżnicowanie międzyszkolne poziomu inteligencji uczniów może być trochę zaniżone w stosunku do faktycznego, obserwowanego w populacji, gdyż w zre-alizowanej próbie szkół obserwujemy także niedoszacowanie zróżnicowania międzyszkolne-go wyników egzaminacyjnych w stosunku do danych z całej populacji (patrz: część rozdziału 1

poświęconego badaniu reprezentatywności próby). Jednakże pomiar inteligencji przeprowadzony został dość późno, bo w drugim semestrze pierwszej klasy, de facto nie dysponujemy więc danymi, które jednoznacznie pozwoliłyby na oszacowanie międzyszkolnego i międzyoddziałowego zróż-nicowania na progu tego etapu edukacyjnego. Do tego momentu bowiem pewne zmiany w za-kresie poziomu inteligencji uczniów (zależne od szkoły) mogły się już pojawić, co z kolei przełożyć się mogło na wzrost zróżnicowania międzyszkolnego w tym zakresie. Z jednej więc strony mamy czynnik, który mógł spowodować niedoszacowanie tego zróżnicowania, z drugiej – jego przesza-cowanie. Nie jest jednak możliwe rozstrzygnięcie, czy doprowadziły do wzajemnego zniesienia się, czy też jeden z nich przeważył, doprowadzając do zniekształceń. Stąd przedstawiony wynik należy traktować jako przybliżony.

Podsumowując, hipoteza o międzyszkolnym i międzyoddziałowym zróżnicowaniu po-ziomu inteligencji uczniów nie uzyskała jednoznacznego rozstrzygnięcia. Choć zaobser-wowaliśmy istotne zróżnicowanie międzyszkolne, nie wiemy, czy i w jakim stopniu jego poziom został zniekształcony w wyniku mniejszego niż w populacji zróżnicowania szkół oraz ewentualnych zależnych od szkoły zmian w poziomie inteligencji uczniów, które zaszły przed momentem pomiaru. Nie znamy też dynamiki wzrostu tego zróżnicowania w wyniku oddziaływań szkoły, a dane te byłyby pomocne w określeniu, na ile pomiar w drugim półroczu pierwszej klasy odzwierciedla zróżnicowanie „na wejściu” do szkoły.

Widoczne jest jednak, że zarówno przyrosty inteligencji uczniów w toku nauki w gim-nazjum, jak i wyższy poziom zróżnicowania pod koniec nauki w gimnazjum (opisane w kolejnych częściach rozdziału), choć znaczące, nie są bardzo duże. Stąd przypuszczalnie w okresie między rozpoczęciem nauki w gimnazjum a pomiarem inteligencji duże zmia-ny w zakresie zróżnicowania międzyszkolnego i międzyoddziałowego nie zaszły. Pozwala to, w połączeniu z przeciwstawnym działaniem wskazanych wcześniej potencjalnych zniekształceń, wnioskować o istnieniu istotnego zróżnicowania w populacji szkół pod względem poziomu inteligencji uczniów, których rekrutują. Dlatego uważamy za zasadną potrzebę kontrolowania poziomu ogólnych zdolności poznawczych w modelach efek-tywności nauczania.

4.5.5. inteligencja a wyniki egzaminu matematyczno-przyrodniczego i eWd W tej i kolejnej części rozdziału omówimy wyniki analiz mających na celu weryfikację hi-potezy o pośredniej kontroli w modelach EWD znaczenia inteligencji dla wyników naucza-nia mierzonych na zakończenie szkoły. Tabela 4 prezentuje wyniki analiz, w których zmienną zależną jest łączny wynik egzaminu gimnazjalnego z matematyki i przedmiotów przyrodni-czych, wyrażony na skali o średniej 100 i odchyleniu standardowym 15 w populacji uczniów.

Tabela 4. znaczenie inteligencji dla wyników egzaminu gimnazjalnego w części matematyczno--przyrodniczej i eWd. Wyniki trzypoziomowych analiz regresji, modele z losową stałą, odporne (robust) oszacowania błędów standardowych

zmienna zależna: wynik egzaminu gimnazjalnego w części matematyczno-przyrodniczej

(1) (s.e.) (2) (s.e.) (3) (s.e.)

oszacowanie efektów stałych  poziom ucznia 

sprawdzian 11,96 (0,255) 9,81 (0,269)

sprawdzian² 1,26 (0,115) 1,24 (0,113)

sprawdzian³ -0,419 (0,065) -0,393 (0,068)

płeć^a -0,92 (0,266) -1,47 (0,244)

dysleksja na egz. gimnazjalnym^b 1,85 (0,766) 1,29 (0,740)

interakcja: dysleksja na sprawdzianie

i dysleksja na egz. gimnazjalnym -3,99 (0,782) -3,08 (0,777)

test matryc Ravena (I pomiar) 8,97 (0,244) 3,90 (0,190)

wiek ucznia

starszy niż główna kohorta młodszy niż główna kohorta

stała 99,78 (0,379) 99,89 (0,338) 100,02 (0,321)

oszacowanie efektów losowych 

wariancja efektów szkół 10,66 4,26 4,10

wariancja efektów oddziałów 8,03 5,37 4,05

wariancja na poziomie ucznia 103,24 66,52 59,20

podsumowanie 

deviance 39 436,29 37 106,49 36 482,94

liczba szacowanych parametrów 5 10 11

liczba uczniów: 5222, liczba klas: 291, liczba szkół: 150

pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, w nawiasach podano błędy standardowe;

a – grupa odniesienia: chłopcy; b – grupa odniesienia: uczniowie bez dysleksji

Model (1) pokazuje siłę zależności wyników egzaminacyjnych od inteligencji bez kon-troli innych zmiennych. Przypomnijmy, że wynik testu matryc Ravena jest wyrażony na skali

o odchyleniu standardowym równym 1. Zatem uczniowie różniący się wynikiem testu inteli-gencji o jedno odchylenie standardowe, różnią się wynikami egzaminu w części matematyczno--przyrodniczej o prawie 9 punktów, czyli o ponad pół odchylenia standardowego. Dodanie do modelu uprzednich osiągnięć oraz innych zmiennych uwzględnianych w modelach EWD spra-wia, że efekt ten znacząco maleje, choć pozostaje nadal istotny. Jeśli kontrolujemy zatem uprzed-nie osiągnięcia, płeć i posiadauprzed-nie opinii o specyficznych trudnościach w uczeniu się, różnica w zakresie poziomu inteligencji o jedno odchylenie standardowe powoduje różnicę w wynikach egzaminu o około jedną czwartą odchylenia standardowego.

Dodanie do modelu EWD (2) inteligencji znacząco poprawia dopasowanie modelu do danych, Δ deviance(1) = 623,56, p = 0,05, jednak trzeba zwrócić uwagę na to, że w ten sposób przede wszyst-kim redukujemy niewyjaśnioną wariancję na poziomie uczniów (por. oszacowania efektów loso-wych dla modeli (2) i (3)). Redukcja wariancji na poziomie szkół jest pomijalna. Porównanie tego ze spadkiem wariancji efektów szkół między modelem EWD (2) a modelem pustym (1), pokazuje, że kontrolując w modelach EWD uprzednie osiągnięcia szkolne, wytrącamy znaczną część zróżnico-wania międzyszkolnego potencjału na wejściu. Oznacza to, że dodając do modelu EWD poziom inteligencji ucznia zwiększylibyśmy przede wszystkim precyzję oszacowania EWD, natomiast osza-cowania średnich EWD niewiele by się zmieniły. Podkreślić należy, że podobny efekt moglibyśmy uzyskać, zwiększając rzetelność pomiaru osiągnięć „na wejściu” do szkoły.

Na potwierdzenie sformułowanej powyżej tezy wykonano dodatkowe analizy. Obliczono wskaźniki EWD dla szkół z modelu, w którym kontrolujemy tylko uprzednie osiągnięcia, płeć i po-siadanie opinii o specyficznych trudnościach w uczeniu się oraz z modelu, w którym dodatkowo uwzględniono wynik testu inteligencji. Wskaźniki te zostały policzone jako Bayesowskie predykcje a posteriori efektów losowych szkół z dwupoziomowego modelu regresji⁶. Predykcje te wyzna-czono za pomocą programu Stata 12. Porównanie ich może przynieść odpowiedź na pytanie, jak bardzo różniłyby się od siebie wskaźniki EWD, gdyby przy ich wyliczaniu dodatkowo uwzględnić poziom inteligencji uczniów. Wyniki tego porównania przedstawiono na rysunku 1.

Na osi poziomej znajdują się wartości średniej EWD dla szkół biorących udział w badaniu wyli-czone z modelu bez kontroli inteligencji. Na osi pionowej przedstawiono średnie wartości wskaź-ników EWD wyliczone z modelu, w którym dodatkowo uwzględniono wynik testu inteligencji.

Widać, że wskaźniki wyliczone z obu modeli są bardzo do siebie zbliżone. Gdyby uwzględnić błąd ich oszacowania, wskaźniki EWD otrzymane z modelu bez kontroli inteligencji nie różniłyby się istotnie od tych otrzymanych z modelu z kontrolą inteligencji. Współczynnik korelacji między nimi wynosi 0,962.

6 Oba modele zostały policzone na próbie szkół i uczniów biorących udział w badaniu i mających dane na wszyst-kich zmiennych uwzględnianych w obu modelach: wynik sprawdzianu, płeć, zaświadczenie o dysleksji, wynik

Rysunek 1. Porównanie wskaźników eWd dla części matematyczno-przyrodniczej liczonych bez i z kontrolą inteligencji

Potwierdza to sformułowany wcześniej wniosek, że dodatkowa kontrola inteligencji w modelach EWD nie zmieniłaby znacząco średnich wartości wskaźników dla przedmio-tów matematyczno-przyrodniczych. Pozwoliłaby jednak na zmniejszenie błędów ich oszacowań.

4.5.6. inteligencja a wyniki egzaminu z przedmiotów humanistycznych i eWd Analogiczne analizy przeprowadzone zostały dla łącznego wyniku egzaminu gimnazjal-nego z języka polskiego i przedmiotów humanistycznych. W tabeli 5 zaprezentowano ich wyniki.

Siła zależności wyników egzaminacyjnych z przedmiotów humanistycznych od inteligen-cji jest zbliżona do obserwowanej w przypadku przedmiotów matematyczno-przyrodniczych (patrz model (1)). Uczniowie różniący się wynikiem testu inteligencji o jedno odchylenie standardowe, różnią się wynikami egzaminu o trochę ponad pół odchylenia standardowe-go. Podobnie, dodanie do modelu zmiennych uwzględnianych w modelach EWD powoduje radykalny spadek siły zależności wyników testu od inteligencji (patrz model (2)). Efekt nadal pozostaje istotny statystycznie, jednak jest jeszcze słabszy niż dla wyników egzaminu w części matematyczno-przyrodniczej.

Dodanie do modelu EWD (2) inteligencji istotnie poprawiło dopasowanie modelu do da-nych, Δ deviance(1) = 191,97, p = 0,05.

−10

−5 0 5 10

EWD GMP z kontrolą inteligencji

−10 −5 0 5 10

EWD GMP bez kontroli inteligencji

Tabela 5. znaczenie inteligencji dla wyników egzaminu gimnazjalnego w części humanistycznej i eWd. Wyniki trzypoziomowych analiz regresji, modele z losową stałą, odporne (robust) oszaco-wania błędów standardowych

zmienna zależna: wynik egzaminu gimnazjalnego w części humanistycznej

(1) (s.e.) (2) (s.e.) (3) (s.e.)

oszacowanie efektów stałych 

poziom ucznia 

sprawdzian 11,91 (0,231) 10,60 (0,256)

sprawdzian² -0,409 (0,130) -0,419 (0,129)

sprawdzian³ -0,369 (0,076) -0,353 (0,073)

płeć^a 1,71 (0,328) 1,38 (0,311)

dysleksja na egz. gimnazjalnym^b 1,88 (0,686) 1,61 (0,666)

dysleksja na sprawdzianie^b -3,07 (0,793) -2,62 (0,769)

test matryc Ravena (i pomiar) 8,28 (0,249) 2,37 (0,192)

stała 100,51 (0,378) 100,90 (0,365) 100,98 (0,354)

oszacowanie efektów losowych 

wariancja efektów szkół 8,94 4,91 4,67

wariancja efektów oddziałów 8,82 3,48 2,99

wariancja na poziomie ucznia 127,03 77,25 74,63

podsumowanie 

deviance 40 466,17 37 815,89 37 623,93

liczba szacowanych parametrów 5 10 11

liczba uczniów: 5222, liczba klas: 291, liczba szkół: 150

pogrubionym drukiem opisywane są wartości istotne na poziomie istotności p < 0,05, w nawiasach podano błędy standardowe;

a – grupa odniesienia: chłopcy; b – grupa odniesienia: uczniowie bez dysleksji

Aby zobaczyć, jak bardzo różniłyby się od siebie wskaźniki EWD dla części humanistycz-nej, gdyby przy ich wyliczaniu dodatkowo uwzględnić poziom inteligencji uczniów, obliczono wskaźniki EWD dla przedmiotów humanistycznych z modelu bez kontroli inteligencji i z mo-delu z jej kontrolą. Analizy były przeprowadzone w sposób analogiczny do tych dla przed-miotów matematyczno-przyrodniczych. Wyniki porównania wskaźników przedstawiono na rysunku 2.

Rysunek 2. Porównanie wskaźników eWd dla części humanistycznej liczonych bez i z kontrolą inteligencji

Widoczne jest, że wskaźniki wyliczone z modelu z kontrolą inteligencji (oś pionowa) są niemalże liniowym przekształceniem wskaźników wyliczonych bez kontroli inteligencji (oś po-zioma). Uwzględniając błąd ich oszacowania, należałoby dojść do wniosku, że nie różnią się one między sobą. Potwierdza to też bardzo wysoki współczynnik korelacji między nimi, który jest równy 0,988.

Podsumowując, wyniki analiz wskazują, że dodatkowa kontrola poziomu inteligencji ucz-niów w modelach EWD nie wpłynęłaby na znaczącą zmianę średnich wartości wskaźników.

Pozwoliłaby jednak na zmniejszenie błędów ich oszacowań. Jednak podobny efekt można by uzyskać, zwiększając rzetelność pomiaru osiągnięć szkolnych na sprawdzianie. Przyjąć można więc, że uwzględnienie w modelach EWD uprzednich osiągnięć uczniów pozwala w zadowala-jący sposób kontrolować wpływ inteligencji na szacowanie wskaźników EWD dla szkół.