egzamin gimnazjalny, część matematyczno-przyrodnicza

Na rysunku 4 przedstawiony został rozkład wyników egzaminu gimnazjalnego w części ma-tematyczno-przyrodniczej. Podobnie jak w przypadku poprzednich wykresów, w górnej części znajdują się wyniki w populacji wszystkich uczniów (1) oraz w populacji uczniów pomniejszonej o tych, którzy uczęszczali do szkół wykluczonych z operatu losowania (2). W dolnej części znajdują się wykresy wyników uczniów ze szkół z wylosowanej (3) i zrealizowanej próby (4).

Zarówno rozkłady, jak i statystyki opisowe (tabela 10) dla danych z populacji uczniów o nie-wydłużonym toku kształcenia (1) i populacji tych uczniów z wyłączeniem uczęszczających do szkół wykluczonych z operatu (2) są bardzo zbliżone. Ponownie bardzo zbliżone są także rozkłady wyników uczniów ze szkół wylosowanych (3) i zrealizowanych (4). Jednakże przecięt-ne wyniki w grupach (3) i (4) są nieco wyższe niż w grupie (2) (średnie odpowiednio: 101,16 i 101,24), a ich rozkłady nieco mniej wypiętrzone (kurtozy odpowiednio: 0,118; 0,108) i nieznacz-nie przesunięte w prawo (patrz: kwartyle).

Podsumowując, zarówno w wylosowanej, jak i zrealizowanej próbie szkół przeciętne wyni-ki sprawdzianu oraz egzaminu gimnazjalnego okazały się nieco wyższe niż w populacji szkół uwzględnionych w operacie losowania. Rozkłady okazały się nieznacznie przesunięte w stro-nę wyników wysokich. Zauważone różnice nie są jednak duże (w przypadku miar tendencji centralnej – około 1/10 – 1/15 odchylenia standardowego). Wskazuje to, że próba dobrze od-zwierciedla populację, z której była losowana.

Rysunek 4. Rozkłady wyników egzaminu gimnazjalnego w części matematyczno-przyrodniczej

w populacji uczniów (bez uczniów ze szkół wykluczonych z operatu)

0

Uwzględniono dane uczniów o niewydłużonym toku kształcenia.

tabela 10. Statystyki opisowe dla wyników egzaminu gimnazjalnego w części matematyczno-przyrodniczej (rok 2012)

grupa n średnia odch. std. min max skośność kurtoza kwartyl 1 mediana kwartyl 3

1 369 485 100,00 14,31 56,65 145,26 0,663 0,180 89,44 97,75 108,85

2 347 873 99,75 14,16 56,65 145,26 0,675 0,225 89,34 97,53 108,45

3 14 077 101,16 14,59 67,29 145,26 0,630 0,118 90,36 99,01 110,28

4 14 102 101,24 14,46 66,51 145,26 0,628 0,108 90,52 99,10 110,38

1 – populacja uczniów o niewydłużonym toku kształcenia,

2 – populacja uczniów o niewydłużonym toku kształcenia (z wyłączeniem uczniów z typów szkół wykluczonych z ope ratu),

3 – uczniowie o niewydłużonym toku kształcenia z wylosowanej próby szkół, 4 – uczniowie o niewydłużonym toku kształcenia ze zrealizowanej próby szkół.

1.8.4. wyniki egzaminacyjne w szkołach, które odmówiły uczestnictwa w badaniu Sprawdzono rozkłady wyników egzaminów zewnętrznych w szkołach, które odmówiły uczestnictwa w badaniu. Podyktowane było to przypuszczeniem, że szkoły mogły odmawiać ze względu na niskie osiągnięcia szkolne uczniów lub z innych przyczyn powiązanych z umiejęt-nościami uczniów. Na rysunkach 5, 6 oraz 7 znajdują się rozkłady wyników odpowiednio spraw-dzianu, egzaminu gimnazjalnego w części humanistycznej i matematyczno-przyrodniczej

uczniów tych szkół. Uwzględnione zostały tylko wyniki uczniów o niewydłużonym toku kształcenia.

Rozkład wyników sprawdzianu po klasie szóstej wydaje się nie różnić w sposób znaczący od rozkładów z prób wylosowanej (3) i zrealizowanej (4). Statystyki opisowe (tabela 11) we wszystkich trzech grupach są bardzo zbliżone, a ich rozkłady nieco przesunięte w stronę wy-ników wysokich w porównaniu do grupy odniesienia – populacji z wyłączeniem uczniów uczęszczających do szkół wykluczonych z operatu (2).

Do podobnych wniosków prowadzi analiza rozkładów wyników egzaminu gimnazjalne-go w części matematyczno-przyrodniczej. Rozkład w szkołach utraconych niemal nie różni się do rozkładów w próbach wylosowanej (3) i zrealizowanej (4), widoczne jest jedynie nieco większe zróżnicowanie wyników (odchylenie standardowe odpowiednio: 15,53; 14,80; 14,52).

Jednocześnie rozkład jest nieco przesunięty w stronę wyników wysokich w porównaniu do grupy odniesienia (2). Różnice w kształcie histogramu przypisać należy znacznie mniejszej licz-bie obserwacji w grupie uczniów ze szkół, które nie wyraziły zgody na uczestnictwo w bada-niu w porównabada-niu do pozostałych grup.

Rysunek 5. Rozkłady wyników sprawdzianu wśród uczniów ze szkół, które odmówiły uczestni-ctwa w badaniu

0 .01 .02 .03

gęstość prawodpodobieństwa

40 60 80 100 120 140

w szkołach, które odmówiły udziału w badaniu

Wyniki sprawdzianu po szóstej klasie

Uwzględniono dane uczniów o niewydłużonym toku kształcenia.

Rysunek 6. Rozkłady wyników egzaminu gimnazjalnego w  części humanistycznej wśród ucz-niów ze szkół, które odmówiły uczestnictwa w badaniu

0 .005 .01 .015 .02 .025

gęstość prawodpodobieństwa

60 80 100 120 140

w szkołach, które odmówiły udziału w badaniu

Wyniki egzaminu gimnazjalnego, część humanistyczna

Uwzględniono dane uczniów o niewydłużonym toku kształcenia.

Rysunek 7. Rozkłady wyników egzaminu gimnazjalnego w części matematyczno-przyrodniczej wśród uczniów ze szkół, które odmówiły uczestnictwa w badaniu

0 .01 .02 .03

gęstość prawodpodobieństwa

60 80 100 120 140

w szkołach, które odmówiły udziału w badaniu

Wyniki egzaminu gimnazjalnego, część matematyczno−przyrodnicza

tabela 11. Statystyki opisowe dla wyników egzaminów zewnętrznych w  gimnazjach, które odmówiły udziału w badaniu

egzamin n średnia odch. std. min max skośność kurtoza kwartyl 1 mediana kwartyl 3

spr. 3459 101,77 15,07 47,40 140,20 -0,023 -0,197 91,70 101,68 112,02

EG hum 3514 102,04 15,53 48,12 151,40 0,214 0,933 92,03 103,94 110,23

EG mp 3509 101,37 15,09 67,51 145,26 0,629 0,0735 90,04 99,06 110,53

spr – sprawdzian

EG hum – egzamin gimnazjalny, część humanistyczna

EH mp – egzamin gimnazjalny, część matematyczno-przyrodnicza

W przypadku egzaminu gimnazjalnego w części matematyczno-przyrodniczej, wyniki uczniów ze szkół utraconych niemal nie różnią się od wyników uczniów ze szkół wylosowanych (3) i przebadanych (4) (patrz: mediana, kwartyle) i jednocześnie są nieco przesunięte w stronę wyników wysokich w porównaniu do populacji odniesienia (2). Różnice pojawiają się w przy-padku trzeciego kwartyla, ponadto sam rozkład jest nieco mniej wypiętrzony.

Podsumowując, nie ma podstaw by sądzić, że odmowy szkół związane były z poziomem osiągnięć szkolnych uczniów. Stanowi do dodatkowy argument przemawiający za odzwier-ciedleniem w próbie populacji, z której była losowana.

1.8.5. międzyszkolne i międzyoddziałowe zróżnicowanie wyników egzaminacyjnych W celu weryfikacji, na ile międzyszkolne i międzyoddziałowe zróżnicowanie osiągnięć szkolnych w wylosowanej i zrealizowanej próbie odzwierciedla zróżnicowanie obserwo-wane w populacji, wyspecyfikowano serię trzypoziomowych pustych modeli regresji (por. Domański i Pokropek, 2011; Snijders i Bosker, 2012). Zmienne zależne stanowiły opisa-ne wcześniej wyskalowaopisa-ne wyniki sprawdzianu po klasie szóstej oraz części humanistycz-nej i matematyczno-przyrodniczej egzaminu gimnazjalnego. Modele zbudowano dla (1) populacji uczniów o niewydłużonym toku kształcenia (którzy zdali sprawdzian w roku 2009 i egzamin gimnazjalny w roku 2012), (2) populacji uczniów o niewydłużonym toku kształcenia z pominięciem uczniów uczęszczających do szkół wykluczonych z operatu lo-sowania, (3) uczniów z wylosowanych szkół, (4) uczniów ze szkół, w których zrealizowano badanie. Wykorzystano oprogramowanie Stata 11.2, estymacja przeprowadzona została metodą full maximum likelihood (por. Snijders i Bosker, 2012). W tabeli 12 przedstawiono wartości współczynnika korelacji wewnątrzgrupowej (intra-class correlation, ICC), informu-jącego, jaki odsetek zróżnicowania wyników sprawdzianu przypisać można podziało-wi na szkoły oraz oddziały wewnątrz szkół (obliczone zostały na podstapodziało-wie oszacowań

wariancji na poziomie uczniów, klas i szkół). Pełne wyniki modelowania zamieszczone zostały w aneksie.

Analiza wartości współczynników korelacji wewnątrzgrupowej wskazuje, że zróżni-cowanie międzyszkolne wyników sprawdzianu³ jest nieco większe w całej populacji (1) niż w populacji z wyłączeniem uczniów uczęszczających do gimnazjów małych, nie-publicznych, specjalnych oraz szkół dla dorosłych (2) (z tej próby dokonano losowania szkół). Oszacowania punktowe w całej populacji okazały się o niespełna 1,5% wyższe na poziomie szkół (odpowiednio: 11,07% i 8,63%). Na poziomie klas różniły się nieznacznie.

Analizując oszacowania w próbach wylosowanej i zrealizowanej, należy wziąć pod uwagę mniejszą ich precyzję w porównaniu do oszacowań uzyskanych dla grup (1) i (2), widoczną w szerokości przedziałów ufności. Oszacowania punktowe w próbie wylosowanej (3) oka-zały się wyższe niż w populacji odniesienia (2), zarówno na poziomie szkół, jak i oddziałów.

Jednakże próba zrealizowana (3) odznacza się wartościami korelacji wewnątrzgrupowej bardziej zbliżonymi do grupy odniesienia (2). Na poziomie oddziałów są one wyższe od obserwowanych w grupie (2), nawet gdy uwzględnimy ich oszacowanie z pewnym błę-dem (przedziały ufności), jednak na poziomie szkół, gdy uwzględnimy popełniany błąd, możemy uznać je za zbliżone.

W tabeli 13 przedstawiono ICC dla poziomu szkół oraz oddziałów wewnątrz szkół z mo-deli, w których zmienną zależną stanowiły wyniki egzaminu gimnazjalnego w części huma-nistycznej. Podobnie jak w modelach dla sprawdzianu, wykluczenie z operatu uczniów ze szkół małych, niepublicznych, specjalnych i dla dorosłych (2) związane było ze zmniejszeniem zróżnicowania na poziomie szkół w porównaniu do całej populacji (1), choć na poziomie klas oszacowania pozostały zbliżone. Wylosowana próba (3) odznaczała się większym zróżnicowa-niem międzyszkolnym i międzyoddziałowym w porównaniu do grupy odniesienia (2) (odpo-wiednio: 13,24%; 14,3% oraz 9,85%; 11,56%). Podobnie było w przypadku próby zrealizowanej, jednak uwzględniając błąd oszacowań, przyjąć możemy, że wartości na poziomie szkół były zbliżone; na poziomie klas okazały się nieco wyższe. Jednocześnie w próbie zrealizowanej (4) zróżnicowanie międzyszkolne było niższe niż w całej populacji (1), choć między oddziałami wewnątrz szkół – nieco wyższe (odpowiednio: 11,26%; 16,43% oraz 13,73%; 11,09%).

3 Należy pamiętać, że analizujemy międzyszkolne i międzyoddziałowe zróżnicowanie wyników sprawdzianu ucz-niów w gimnazjach, w których rozpoczęli naukę, a nie w szkołach podstawowych, które ukończyli.

tabela 12. wyniki trzypoziomowych pustych modeli regresji dla zmiennej zależnej: sprawdzian – współczynniki korelacji wewnątrzgrupowej (icc) dla poziomu szkół oraz oddziałów

grupa poziom szkół poziom oddziałów

icc przedział ufności 95% icc przedział ufności 95%

1 11,07% 10,60% 11,55% 9,69% 9,46% 9,91%

2 8,63% 8,22% 9,06% 9,84% 9,61% 10,07%

3 12,08% 9,54% 15,17% 12,98% 11,86% 14,08%

4 10,47% 8,14% 13,35% 12,19% 11,06% 13,31%

1 – populacja uczniów o niewydłużonym toku kształcenia

2 – populacja uczniów o niewydłużonym toku kształcenia (z wyłączeniem uczniów z typów szkół wykluczonych z operatu) 3 – uczniowie o niewydłużonym toku kształcenia z wylosowanej próby szkół

4 – uczniowie o niewydłużonym toku kształcenia ze zrealizowanej próby szkół

tabela 13. wyniki trzypoziomowych pustych modeli regresji dla zmiennej zależnej: egzamin gimnazjalny, część humanistyczna – współczynniki korelacji wewnątrzgrupowej (icc) dla pozio-mu szkół oraz oddziałów

grupa poziom szkół poziom oddziałów

icc przedział ufności 95% icc przedział ufności 95%

1 16,43% 15,83% 17,05% 11,09% 10,88% 11,30%

2 9,85% 9,40% 10,33% 11,56% 11,32% 11,80%

3 13,24% 10,52% 16,48% 14,30% 13,18% 15,36%

4 11,26% 8,79% 14,29% 13,73% 12,58% 14,84%

1 – populacja uczniów o niewydłużonym toku kształcenia,

2 – populacja uczniów o niewydłużonym toku kształcenia (z wyłączeniem uczniów z typów szkół wykluczonych z operatu), 3 – uczniowie o niewydłużonym toku kształcenia z wylosowanej próby szkół,

4 – uczniowie o niewydłużonym toku kształcenia ze zrealizowanej próby szkół.

tabela 14. wyniki trzypoziomowych pustych modeli regresji dla zmiennej zależnej: egzamin gimnazjalny, część matematyczno-przyrodnicza – współczynniki korelacji wewnątrzgrupowej (icc) dla poziomu szkół oraz oddziałów

grupa poziom szkół poziom oddziałów

icc przedział ufności 95% icc przedział ufności 95%

1 12,76% 12,25% 13,29% 11,35% 11,13% 11,57%

2 9,88% 9,42% 10,35% 11,61% 11,38% 11,85%

3 12,96% 10,24% 16,24% 14,83% 13,72% 15,87%

4 12,03% 9,44% 15,17% 13,70% 12,59% 14,76%

1 – populacja uczniów o niewydłużonym toku kształcenia,

2 – populacja uczniów o niewydłużonym toku kształcenia (z wyłączeniem uczniów z typów szkół wykluczonych z operatu), 3 – uczniowie o niewydłużonym toku kształcenia z wylosowanej próby szkół,

4 – uczniowie o niewydłużonym toku kształcenia ze zrealizowanej próby szkół.

W tabeli 14 przedstawiono wartości ICC na poziomie szkół oraz oddziałów wewnątrz szkół z modeli, w których zmienną zależną stanowiły wyniki egzaminu gimnazjalnego w części matematyczno-przyrodniczej. Wzorzec uzyskanych wyników okazał się podobny do wzorca uzyskanego dla sprawdzianu i humanistycznej części egzaminu gimnazjalnego. Ponownie w grupie (2) zróżnicowanie międzyszkolne było niższe niż w całej populacji (1) przy zbliżonych wartościach na poziomie oddziałów. W próbie wylosowanej (3) zróżnicowanie międzyszkolne i międzyoddziałowe było nieco większe niż w grupie odniesienia (2). W próbie zrealizowanej (4), w porównaniu do grupy odniesienia (2), wartości korelacji wewnątrzgrupowej na poziomie szkół przyjęły wartości nieco wyższe, lecz jeżeli uwzględnimy błąd popełniany przy szacowa-niu, możemy je uznać za zbliżone. Korelacje na poziomie klas są jednak widocznie wyższe.

Ponadto zróżnicowanie międzyoddziałowe w całej populacji (1) okazało się mniejsze niż w próbie zrealizowanej (4) (odpowiednio: 11,13%; 13,70%), natomiast międzyszkolne – zbliżone (odpowiednio: 12,76% i 12,03%).

Analiza zróżnicowania wyników trzech egzaminów zewnętrznych pokazała zatem, że wy-losowana próba (3) była nieco bardziej zróżnicowana na poziomie szkół i klas niż populacja, z której pochodzi (2). Właściwości zrealizowanej próby (4) są jednak korzystniejsze – odsetek wariancji wyjaśniany przez przynależność do szkoły można uznać za zbliżony do obserwowa-nego w grupie odniesienia (2), choć pozostaje on nieco większy dla oddziałów wewnątrz szkół.

Jednocześnie zróżnicowanie międzyszkolne w zrealizowanej próbie na początku badania było zbliżone do zróżnicowania w całej populacji uczniów (1), natomiast międzyoddziałowe – więk-sze. Na zakończenie gimnazjum zróżnicowanie międzyszkolne było już mniejsze niż w całej populacji (1) przy niezmienionym wzorcu na poziomie oddziałów.

Podsumowując, przeprowadzone analizy miały odpowiedzieć na pytanie o jakość wylo-sowanej i zrealizowanej próby. Analiza rozkładu wyników sprawdzianu oraz egzaminu gimna-zjalnego wykazała, że w obu próbach są one tylko nieznacznie przesunięte w stronę wyników wysokich. Pomyślnie zakończyła się także analiza zróżnicowania międzyszkolnego i międzyod-działowego wyników egzaminów zewnętrznych. W zrealizowanej próbie (4) odsetek wariancji wyników egzaminów wyjaśniany przynależnością do klas jest zbliżony do odsetka w popula-cji, z której próba pochodzi (2), choć na poziomie klas jest wyższy. Pamiętać jednak należy, że podczas analizy reprezentatywności uwzględniono wyniki uczniów ze wszystkich klas w szko-le, natomiast w badaniu uczestniczyli wyłącznie uczniowie nie więcej niż dwóch klas. Mogło to spowodować niedoszacowania wariancji międzyoddziałowej w analizach przedstawionych w dalszych częściach tego raportu. Tym niemniej analizy wskazują, że pobrana próba była wy-sokiej jakości. Świadczy to o tym, że odzwierciedla ona w zadowalającym stopniu populację, z której pochodzi.