4. Metodologia
4.2. Dobór próby w badaniach zrównujących
4.2.1. Elementy schematu badawczego definiującego dobór
próby
Podstawowym sposobem gromadzenia danych koniecznych do zrównania wyników egzaminacyjnych było przeprowadzenie badań z wykorzystaniem zeszytów testowych. Celowi temu podporządkowane były wszystkie inne czynności badawcze. W ramach zrównywania wyników wykorzystane zostały unikalne zeszyty testowe w dwóch wersjach A i B (wynikających z rotacji kolejności odpowiedzi w zadaniach zamkniętych). Liczba zeszytów zastosowana na każdym etapie studium zrównującego określona została w zależności od liczby sesji egzaminacyjnych objętych zrównywaniem dla danego egzaminu (zgodnie z przyjętymi planami zrównania).
W trakcie badania każdy uczeń rozwiązywał zadania z jednego zeszytu testowego. Taki schemat badania implikował schemat doboru próby. Jako że każdy zeszyt testowy musiał być rozwiązany przez losowo dobranych uczniów, pozwala to myśleć o próbie dla każdego badania, jako o specyficznej liczbie (określonej dla danego egzaminu i etapu badań) oddzielnych losowych „podprób” (jedna „podpróba” to uczniowie rozwiązujący zadania z jednego zeszytu testowego w wersji A i B). Trzeba jednak pamiętać, że w czasie procedury losowania dana liczba „podprób” musiała zostać wylosowana jednocześnie, co wynika z przyjętego złożonego schematu doboru próby i skończonej liczby placówek w populacji szkół. Na przykład w badaniach dla egzaminu gimnazjalnego w 2011 roku zastosowano 11 zeszytów testowych (w wersji A i B). Dla każdej z „podprób" wylosowanych zostało 40 szkół, co łącznie daje 440 szkół. Tabela 4.1 przedstawia liczbę wylosowanych szkół dla każdego z etapów badań.
Tabela 4.1. Liczebność prób w poszczególnych latach badania w podziale na typy szkół oraz egzaminów
Rok Typ szkoły (egzamin)
Liczebność szkół w próbie
Liczba podprób
2011 Gimnazjum (egzamin gimnazjalny) 440 11
2012 Szkoła podstawowa (sprawdzian po VI klasie szkoły podstawowej) 440 11
Gimnazjum (egzamin gimnazjalny) 80 2
2013
Szkoła ponadgimnazjalna (matura z matematyki) 200 7
Szkoła podstawowa (sprawdzian po VI klasie szkoły podstawowej) 80 2
Gimnazjum (egzamin gimnazjalny) 80 2
2014
Szkoła ponadgimnazjalna (matura z języka polskiego) 300 10
Szkoła ponadgimnazjalna (matura z języka angielskiego) 360 12
Szkoła ponadgimnazjalna (matura z matematyki) 120 4
Szkoła podstawowa (sprawdzian po VI klasie szkoły podstawowej) 80 2
Gimnazjum (egzamin gimnazjalny) 80 2
4.2.2. Populacja i operat losowania
We wszystkich etapach studium zrównującego populacja docelowa została określona, jako: uczniowie szkół dla młodzieży, z wyłączeniem szkół specjalnych i przyszpitalnych, piszący egzamin z zastosowaniem arkusza standardowego dla danego egzaminu. W przypadku egzaminu maturalnego dodatkowo ograniczono populację do uczniów liceów ogólnokształcących, liceów profilowanych i techników. Operatami pierwotnymi w kolejnych losowaniach były listy szkół udostępnione przez CKE, sporządzone na podstawie zamówień na arkusze egzaminacyjne.
Aby zapewnić minimalny błąd pomiaru dla narzuconych ograniczeń kosztowych, postanowiono ograniczyć populację docelową do uczniów uczących się w szkołach nie mniejszych niż dziesięcioosobowe (na poziomie klasy przystępującej do egzaminu). Tę populację nazywamy rzeczywistą populacją losowania, której odpowiada dostosowany do niej operat wtórny. Decyzja ta została podjęta między innymi po uwzględnieniu wyników symulacji niezbędnych do oszacowania błędów próbkowania. Przyjęte ograniczenie wyłącza z operatu nie więcej niż 5% uczniów w każdym etapie badań.
4.2.3. Schemat losowania
W każdym z etapów badania wykorzystano taki sam schemat losowania. Miało ono charakter losowania warstwowego, proporcjonalnego do liczebności szkoły na poziomie klas/klasy oraz wielopoziomowego. Każda z prób, definiowana przez jeden zeszyt testowy, została podzielona na cztery warstwy, według kategorii wielkości miejscowości (miasto do 20 tys.; miasto od 20 tys. do 100 tys.; miasto powyżej 100 tys.; wieś) . Dokonano alokacji zbliżonej do procentowego udziału uczniów w danej warstwie. Dodatkowo każda z warstw została podzielona na n/2 warstw drugiego rzędu (gdzie n to liczba wylosowanych szkół w danej warstwie) utworzonych ze względu na wyniki egzaminacyjne szkoły. Z każdej tak powstałej warstwy wylosowane zostały dwie szkoły. Szkoły losowane były proporcjonalnie do liczby uczniów. Użyta została klasyczna metoda kumulatywna. W każdej wylosowanej szkole do udziału w badaniu poproszony został jeden oddział wylosowany w sposób prosty. Jeżeli w danej szkole był tylko jeden oddział ostatniego rocznika, automatycznie wchodził on do badania. Wraz z próbą
główną została wylosowana próba rezerwowa. Każda szkoła miała przypisane, wylosowane dodatkowo szkoły rezerwowe, które w razie odmowy udziału w badaniu zastępowały wylosowaną szkołę. Liczba zeszytów testowych i liczba zadań warunkowała liczebność próby, która różniła się między etapami badania, jak i typami szkół. Główne założenie mówiło o tym, że każde z zadań z zeszytu zrównującego powinno być rozwiązane około 800 razy. Dla przykładu w głównych badaniach zrównujących egzamin gimnazjalny przeprowadzanych w 2011 roku wzięło udział 10398 uczniów z 440 szkół rozwiązując 22 zeszyty testowe (każdy uczeń rozwiązywał zadania z dwóch zeszytów – jeden z części matematyczno-przyrodniczej i jeden z części humanistycznej). Zastosowany plan zrównywania wyników egzaminów włączonych do studium
Teoretyczne omówienie planu zrównania i implementację metody łącznej kalibracji modelu IRT do zrównania egzaminu gimnazjalnego i sprawdzianu przedstawiono w podrozdziale 4.6. W tym podrozdziale przedstawimy na przykładzie badań zrównujących dla sprawdzianu w szóstej klasie szkoły podstawowej, w jaki sposób zostało zaplanowane i zrealizowane zbieranie danych koniecznych do zrównania post factum. Analogiczne plany dla zrównania wszystkich typów egzaminów zawiera Aneks 2. Główne badania zrównujące wyniki sprawdzianu miały miejsce w 2012 roku na próbie losowej 440 szkół. W kolejnych latach – 2013 i 2014 do badań wylosowano po 80 szkół w każdym z tych lat (por. Tabela 4.1).
Rysunek 4.1 przedstawia schematycznie plan badawczy zastosowany do zebrania danych wykorzystanych do zrównywania wyników sprawdzianu na zakończenie szóstej klasy szkoły podstawowej we wszystkich trzech etapach studium zrównującego (II etap 2002-2011, III etap – 2011- 2012 i IV etap 2012-2013). Zrównywanie wyników sprawdzianu przeprowadzone w latach 2012-2014 obejmowało 14 różnych populacji uczniów: 𝒫02, 𝒫03, … , 𝒫14. Każda populacja w sesji egzaminacyjnej rozwiązywała zadania z odpowiedniej edycji sprawdzianu dla których arkusze egzaminacyjne dla poszczególnych lat oznaczono odpowiednio: 𝑇02, 𝑇03, … , 𝑇14.
Wyniki sprawdzianu z poszczególnych lat to niepołączone dane, archiwizowane przez system egzaminacyjny, które zostały udostępnione do badań przez Centralną Komisję Egzaminacyjną. W pierwszym roku zrównywania wyników sprawdzianu (II etap studium) wszyscy uczniowie z populacji piszącej sprawdzian w 2012 roku - 𝒫12 rozwiązywali zadania sprawdzianu T12, ale ponadto, z tej populacji wylosowano 11 losowo równoważnych prób uczniów: S121 , S122, … , S1211, którzy wzięli udział w dodatkowej sesji zrównującej. Podobnie podczas badań zrównujących dla sprawdzianu w 2013 roku wszyscy uczniowie z tego rocznika rozwiązywali sprawdzian T13. Z populacji 𝒫13 zostały wylosowane próby S131 oraz S132 , z których uczniowie rozwiązywali zadania z zeszytów testowych zastosowanych w sesji zrównującej złożonych z wybranych zadań z arkuszy egzaminacyjny T11 i T12 lub T04 i T12 oraz dodatkowych zadań kotwiczących . Podobnie w IV etapie badań w 2014 roku wszyscy uczniowie z populacji z 2014 roku 𝒫14 rozwiązywali zadania sprawdzianu T14 i losowa próba 𝑆14 rozwiązywała zadania z zeszytu testowego zawierającego odpowiednio zadania T12 i T13 oraz dodatkowe zadania kotwiczące. Każda z prób w sesji zrównującej rozwiązywała zadania z zeszytu testowego składającego się z dwóch podzbiorów zadań kotwiczących - wybranych z poprzednich egzaminów (𝑇) oraz podzbioru dodatkowych zadań kotwiczących (do skalowania wertykalnego z egzaminem gimnazjalnym i wynikami sprawdzianu w kolejnych latach).
Przykładowo, próba S125 rozwiązywała zadania z zeszytu testowego z podzbiorami kotwiczących zadań 𝑇06 oraz 𝑇07 (podzbiory zadań z arkuszy egzaminacyjnych z lat 2006 oraz 2007) oraz z podzbiorem dodatkowych zadań kotwiczących C2 i C3.
Źródło Populacja Próba N
Zbiory zadań egzaminacyjnych Zbiory dodatkowych zadań kotwiczących 𝑇02 𝑇03 𝑇04 𝑇05 𝑇06 𝑇07 𝑇08 𝑇09 𝑇10 𝑇11 𝑇12 𝑇13 𝑇14 𝐶1 𝐶2 𝐶3 𝐶4 Dan e egza m in acy jn e 𝒫02 5,4 ∙ 105
∎
𝒫03 5,3 ∙ 105∎
𝒫04 5,2 ∙ 105∎
𝒫05 4,9 ∙ 105∎
𝒫06 4,6 ∙ 105∎
𝒫07 4,4 ∙ 105∎
𝒫08 4,1 ∙ 105∎
𝒫09 4,0 ∙ 105∎
𝒫10 3,8 ∙ 105∎
𝒫11 3,7 ∙ 105∎
𝒫12 3,6 ∙ 105◪ ◪ ◪ ◪ ◪ ◪ ◪ ◪ ◪ ◪ ∎ ∎ ∎ ∎ ∎
𝒫13 3,5 ∙ 105◪ ◪ ∎ ◪ ∎ ◪ ∎
𝒫14 3,4 ∙ 105◪ ∎ ∎ ◪ ◪
Dan e z se sji zró w n u ją cy ch 𝒫12 𝑆121 800◪ ◪ ∎ ∎ ∎
𝒫12 𝑆122 800◪ ◪ ∎ ∎ ∎
𝒫12 𝑆123 800◪ ◪ ∎ ∎ ∎
𝒫12 𝑆124 800◪ ◪ ∎ ∎ ∎
𝒫12 𝑆125 800◪ ◪ ∎ ∎ ∎
𝒫12 𝑆126 800◪ ◪ ∎ ∎ ∎
𝒫12 𝑆127 800◪ ◪ ∎ ∎ ∎
𝒫12 𝑆128 800◪ ◪ ∎ ∎ ∎
𝒫12 𝑆129 800◪ ◪ ∎ ∎ ∎
𝒫12 𝑆1210 800◪ ◪ ∎ ∎ ∎
𝒫12 𝑆1211 800◪ ◪ ∎ ∎ ∎
𝒫13 𝑆131 800◪ ◪ ∎ ◪ ◪ ∎
𝒫13 𝑆132 800◪ ◪ ∎ ◪ ∎ ◪
𝒫14 𝑆14 1600◪ ◪ ∎ ∎ ◪ ◪
Rysunek 4.1. Schemat planu badawczego – sprawdzian w VI klasie szkoły podstawowej
Legenda:
uczniowie nie rozwiązują żadnego zadania
uczniowie rozwiązują wszystkie zadania
∎
uczniowie rozwiązują wszystkie zadania na sesji egzaminacyjnej
∎
część uczniów rozwiązuje wszystkie zadania na sesji badawczej