Zagrożeniem dla wyników uzyskiwanych w badaniach panelowych jest ich długi czas realizacji. W trakcie trwania badania część osób nim objętych podczas jego rozpoczęcia przestaje brać w nim udział. Proces ten, nazywany czasem „wycieraniem” próby, stanowi zagrożenie dla możliwości uogólniania wniosków z badań na całą populację, z której wylosowano próbę. Dlatego istotne jest sprawdzenie reprezentatywności próby, którą ostatecznie udało się objąć badaniem. Do weryfikacji reprezentatywności zrealizowanej próby szkół wykorzystano wyniki sprawdzianu w klasie szóstej, do którego uczniowie podeszli w roku 2015. Wyniki wyrażono w procentach możliwych do uzyskania punktów.
Ponieważ egzamin ten jest obowiązkowy, analiza jego wyników pozwala określić, czy uczniowie ze szkół biorących udział w badaniu różnili się znacząco od całej populacji swoich rówieśników pod względem osiągnięć szkolnych. Jeżeli podstawowe parametry statystyczne w próbie i populacji nie różnią się, można uznać, że badanie zostało zrealizowane na reprezentatywnej próbie uczniów i szkół. Reprezentatywność próby sprawdzono w dwóch krokach. W kroku pierwszym porównano statystyki opisowe wyników uczniów oraz kształt rozkładów w następujących grupach:
1. cała populacja uczniów,
2. populacja uczniów z wyłączeniem uczniów z typów szkół wykluczonych z operatu, 3. uczniowie z wylosowanej próby szkół,
4. uczniowie ze zrealizowanej próby szkół,
5. uczniowie ze zrealizowanej próby szkół, którzy wzięli udział w badaniu 6. uczniowie ze szkół, które odmówiły udziału w badaniu.
Zrezygnowano z testowania zgodności rozkładów oraz istotności różnic między średnimi ze względu na bardzo duże liczebności prób, przekładające się na zbyt dużą moc stosowa-nych testów statystyczstosowa-nych. W konsekwencji wykazałyby one nawet, że pomijalne różnice jako istotne statystyczne. Drugim powodem był fakt zawierania się porównywanych grup.
13
(Ko)warianty efektywności nauczania. Wyniki badania w klasach IV–VI
Rysunek 1.1. Rozkłady wyniku sprawdzianu w klasie szóstej w 2015 roku.
0
populacja (bez szkół wykluczonych z operatu) w całej populacji uczniów
próba uczniów szkoły, które odmówiły udziału w badaniach zrealizowana próba szkół
wylosowana próba szkół
W drugim kroku porównano zróżnicowanie międzyszkolne wyników sprawdzianu. Po-zwoliło to określić, w jakim stopniu różnice w wynikach sprawdzianu można wytłumaczyć podziałem uczniów na szkoły. Te analizy wykonano jedynie dla grup uczniów od 1 do 4.
Analiza reprezentatywności rozpocznie się od przedstawienia wniosków z analizy rozkładów wyników sprawdzianu. Rysunek 1.1. przedstawia histogramy rozkładów wyników sprawdzianu w klasie szóstej w 2015 roku.
Punktem odniesienia jest drugi wykres, obrazujący wyniki całej populacji uczniów po wyłączeniu szkół nieuwzględnionych w losowaniu (zbiór szkół tożsamy z operatem losowania). Porównanie go z pozostałymi pozawala stwierdzić, jak bardzo próba badawcza jest reprezentatywna w stosunku do całej populacji. Histogramy wyników uczniów w wylosowanej próbie szkół (3), w zrealizowanej próbie szkół (4) oraz wśród uczniów, którzy byli objęci badaniem (5) są bardzo zbliżone do ustalonego wcześniej punktu odniesienia.
Co najważniejsze, zrealizowana próba oraz cała populacja nie różnią się znacząco od siebie.
Do podobnych wniosków prowadzi analiza danych w tabeli 1.3. zawierającej statystyki opisowe. Podstawowe parametry statystyczne są bardzo zbliżone w grupach 2, 4, 5 i 6.
Statystyki opisowe wyników sprawdzianu w szkołach, w których zrealizowano badania są bardzo podobne do statystyk w populacji, z której wylosowano próbę. Co prawda średnie wyniki sprawdzianu w populacji są nieco niższe niż w grupach 4 i 6, jednak te różnice są bardzo niewielkie, a wartości pozostałych parametrów statystycznych są do siebie bardzo zbliżone. Średnie wyniki uczniów, którzy zabrali udział w badaniu (grupa 5) są nieco niższe od grup uczniów z wylosowanych i zrealizowanych szkół. Jednak są one bardzo zbliżone do populacji uczniów, która stanowiła operat badania (grupa 2). Także pozostałe parametry statystyczne w grupie 5 nie odbiegają znacząco od parametrów pozostałych grup.
Przeprowadzone analizy pozwalają także na sprawdzenie, czy uczniowie w szkołach, które odmówiły udziału w badaniu, różnią się systematycznie od uczniów w szkołach, w których badanie zostało zrealizowane. Odmowa udziału w badaniu mogła wiązać się np. z niskimi wynikami w tych szkołach. Okazuje się, że uczniowie w tej grupie
14
1. Organizacja i metodologia badania
Tabela 1.3. Statystyki opisowe wyników sprawdzianu w roku 2015.
Analizowane grupy N M SD Min Max Q1 Me Q3
(1) cała populacja uczniów 336933 66,7 19,1 0 100 53,7 68,3 82,9 (2) populacja uczniów z wyłączeniem
uczniów z typów szkół wykluczonych z ope-ratu
313213 66,5 19,0 2 100 51,2 68,3 82,9
(3) uczniowie z wylosowanej próby szkół 9418 66,7 19,1 7 100 53,7 70,7 82,9 (4) uczniowie ze zrealizowanej próby szkół 9681 67,7 19,0 7 100 53,7 70,7 82,9 (5) uczniowie ze zrealizowanej próby szkół,
którzy wzięli udział w badaniu
6382 66,1 18,9 7 100 53,7 68,3 80,5
(6) uczniowie ze szkół, które odmówiły udziału w badaniu
1407 68,7 19,5 10 100 53,7 70,7 85,4
szkół (6) nie różnią się znacząco pod względem średnich wyników sprawdzianu od uczniów z pozostałych grup szkół.
W następnym kroku porównano zróżnicowanie międzyszkolne wyników sprawdzianu w poszczególnych grupach szkół. W tym celu wyspecyfikowano serię dwupoziomowych pustych modeli regresji (zob. Snijders i Bosker, 2012), w których zmienną zależną były wyniki sprawdzianu w roku 2015 wyrażone w procentach punktów możliwych do uzyskania na egzaminie4. Modele wyspecyfikowano dla uczniów z grup szkół, które opisano powyżej, z wyłączeniem uczniów w szkołach, które odmówiły udziału w badaniu.
Otrzymane rezultaty dotyczące zróżnicowania międzyszkolnego przekształcono do postaci współczynnika korelacji wewnątrzgrupowej (intra-class correlation, ICC). Infor-muje on, jaki procent zróżnicowania wyników sprawdzianu przypisać można podziałowi na szkoły. Wyniki zostały przedstawione w tabeli 1.4. Wskazują one nieco większe zróżnicowanie wyników sprawdzianu między szkołami w całej populacji (1) w porównaniu z populacją, z której losowano próbę (2) – jest ono w tym wypadku w przybliżeniu o 2% wyższe. Natomiast zróżnicowanie w grupie szkół zrealizowanych (4) jest bliższe zróżnicowaniu zarówno w populacji losowania (2), jak i w całej populacji (1) – tutaj różnice wynoszą ok. 1%. Natomiast między szkołami, w których zaplanowano badanie (3) oraz tymi, w których badanie zrealizowano (4) rozbieżność w zróżnicowaniu jest już bardzo niewielka. Można zatem uznać, że rezultaty analizy zróżnicowania wariancji wyników między szkołami także wskazują, że mamy do czynienia z reprezentatywną dla całej populacji próbą badawczą szkół.
Podsumowując, wykonane analizy wskazują, że zarówno wylosowana, jak i zrealizowana próba jest bardzo zbliżona do populacji szkół pod względem wyników sprawdzianu w roku 2015. Rozkłady wyników są bardzo podobne, a między parametrami statystycznymi ujawniły się jedynie minimalne różnice. Analiza zróżnicowania międzyszkolnego prowa-dzi nas do podobnych wniosków. Procent wariancji tłumaczony poprowa-działem na szkoły w porównywanych grupach jest bardzo zbliżony.
4 Wykorzystano oprogramowanie Stata 12, estymacja przeprowadzona została metodą full maximum likelihood.
15
(Ko)warianty efektywności nauczania. Wyniki badania w klasach IV–VI
Tabela 1.4. Współczynniki korelacji wewnątrzgrupowej (ICC) na poziomie szkół:
zmienna zależna – wynik sprawdzianu w roku 2015.
Analizowana grupa Szkoła Przedział ufności 95%
(1) cała populacja uczniów 12,8 12,5 13,2
(2) populacja uczniów z wyłączeniem uczniów z typów szkół wykluczonych z operatu
10,8 10,5 11,1
(3) uczniowie z wylosowanej próby szkół 11,8 9,7 14,3
(4) uczniowie ze zrealizowanej próby szkół 11,4 9,3 13,8
Można zatem stwierdzić, że zrealizowana próba szkół jest reprezentatywna w stosunku do populacji, z której pochodzi. Podobne wnioski można postawić odnośnie do reprezenta-tywności przebadanej grupy uczniów. Rezultaty sprawdzianu tej grupy uczniów nie różnią się w znaczący sposób od wyników populacji, z której wylosowana została próba.