W kolejnych rundach badania w klasach IV–VI przeprowadzono pomiary osiągnięć szkolnych oraz ich różnorodnych wyznaczników. Zebrane dane umożliwiły opracowanie me-tod oceny efektywności nauczania szkół na II etapie edukacyjnym oraz poznanie korelatów efektywności nauczania. Szczegółowe informacje na temat pomiarów przeprowadzonych w kolejnych rundach badania znajdują się w tabeli 1.5.
Realizacja badania w terenie, ze względu na skalę przedsięwzięcia, powierzona została firmie zewnętrznej. Wykonawców wyłaniano w drodze przetargów publicznych zgodnie z obowiązującymi przepisami prawa.
Kolejne rundy badania odbyły się na początku klasy czwartej, pod koniec klasy piątej oraz szóstej. Szczegółowe informacje o terminach realizacji badania przedstawiono w tabeli 1.6.
Każda runda badania składała się z kilku faz. W fazie pierwszej wykonawca badania kontaktował się ze szkołami, aby wyjaśnić cel i przebieg badania oraz ustalić jego harmonogram. Ponadto weryfikował listy uczniów i nauczycieli objętych badaniem.
Podczas drugiej fazy trwało tzw. badanie w terenie, tj. wykonawca przeprowadzał we wszystkich szkołach badanie ankietowe i/lub testowe zgodnie z ustalonym harmonogramem.
W organizacji badania w szkole pomagał wyznaczony przez dyrektora szkolny koordynator badania. Ponadto w klasie piątej i szóstej realizację całego badania wspierała platforma internetowa, służąca śledzeniu jego postępów oraz zapewniająca spójność danych w różnych elementach dokumentacji badawczej.
Badanie uczniów miało charakter audytoryjny (badano całe oddziały). W czasie badania w klasie przebywali wyłącznie uczniowie nim objęci, ankieter, nauczyciel i (nie-kiedy) przedstawiciel zamawiającego przeprowadzający kontrolę zgodności przebiegu badania z procedurami. Uczniom z oddziałów wylosowanych do badania, których rodzice nie wyrazili zgody na uczestnictwo, zapewniono opiekę na terenie szkoły. Dla uczniów, którzy nie mogli wziąć udziału w badaniu w standardowym terminie, wykonawca
16
1. Organizacja i metodologia badania
Tabela 1.5. Pomiary przeprowadzone w kolejnych rundach badania.
Runda Respondenci Pomiary
Początek klasy czwartej uczniowie osiągnięcia szkolne w zakresie matematyki, czytania i świadomości językowej
Koniec klasy piątej uczniowie integracja szkolna, dodatkowe wsparcie edukacyjne, aspiracje, poczucie samotności, relacje rówieśnicze, poczucie skuteczności
rodzice status społeczny rodziny ucznia, struktura rodziny, kapitał kulturowy i ekonomiczny rodziny, aspiracje edukacyjne względem dziecka, historia edukacyjna dziecka, zaangażowanie rodzica w edukację dziecka nauczyciele obciążenie pracą szkolną, wykształcenie i
uprawnie-nia do nauczauprawnie-nia, poczucie skuteczności w zawodzie nauczyciela
Koniec klasy szóstej uczniowie dodatkowe wsparcie edukacyjne, integracja szkolna, absencja szkolna, inteligencja, osiągnięcia szkolne w za-kresie matematyki, czytania i świadomości językowej, oceny szkolne
rodzice zgoda na wykorzystanie numeru PESEL dziecka do przyłączenia wyników sprawdzianu i egzaminu gimna-zjalnego
nauczyciele wypalenie zawodowe, absencja
organizował sesje uzupełniające. Narzędzia wypełniane przez respondentów zostały oznaczone odpowiednimi numerami identyfikacyjnymi, by umożliwić połączenie danych zebranych w różnych rundach.
Papierowe kwestionariusze dla rodziców/opiekunów uczniów objętych badaniem (rundy w klasie piątej i szóstej) przekazywano za pośrednictwem dzieci lub podczas zebrań w szkole. Do kwestionariusza dołączano list zachęcający do uczestnictwa w badaniu oraz informację o możliwości wypełnienia ankiety internetowo (wraz z instrukcją, jak należy to zrobić). W razie potrzeby różnicowano treść listów (np. ze względu na pozyskiwanie zgód na badanie lub na wykorzystanie numeru PESEL w celu uzyskiwania danych ze sprawdzianu w klasie szóstej). Wszystkie materiały znajdowały się w niezaklejonej kopercie, by rodzic mógł, po wypełnieniu papierowej ankiety, kopertę zakleić i bez obaw zwrócić ją do szkoły za pośrednictwem dziecka.
Tabela 1.6. Terminy realizacji badania.
Klasa Termin Okienko badawcze (faza 2)
Czwarta 08.2012-03.2013 17.09.2012-24.10.2012
Piąta 03.2014-09.2014 05.05.2014-23.05.2014
Szósta 03.2015-07.2015 13.04.2015-08.05.2015
17
(Ko)warianty efektywności nauczania. Wyniki badania w klasach IV–VI
Kwestionariusze papierowe przekazywał nauczycielom ankieter. Do kwestionariusza dołączano list zachęcający do uczestnictwa w badaniu oraz informację o możliwości wypełnienia wersji internetowej ankiety (wraz z instrukcją). Treść listu dla nauczycieli, którzy wcześniej uczestniczyli w badaniu różniła się od treści listu dla nauczycieli objętych nim po raz pierwszy. Materiały przekazywano w niezaklejonej kopercie. Ankieter mógł udostępnić nauczycielowi komputer z dostępem do Internetu w celu wypełnienia kwestionariusza internetowego oraz mógł pomóc mu w zalogowaniu się. Niedopuszczalne było jednak ingerowanie ankietera w proces wypełniania ankiety przez respondenta.
W celu zapewnienia poufności danych ankieter odbierał ankiety papierowe od nauczycieli osobiście. Procedura nie zezwalała na ich odbiór za pośrednictwem osób trzecich (np.
dyrektora, sekretariatu szkoły lub innych pracowników placówki).
Wersje internetowe kwestionariuszy przygotowano z myślą o rodzicach, którzy nie chcieli przekazywać ankiet za pośrednictwem dzieci oraz nauczycielach niechętnych ich przynoszeniu do szkoły.
Kwestionariusze wypełniane przez respondentów zostały oznaczone odpowiednimi numerami identyfikacyjnymi, by umożliwić połączenie danych zebranych w różnych rundach. Całość badania została zrealizowana przez ankieterów posiadających doświad-czenie w realizacji badań z udziałem dzieci; zostali oni przeszkoleni w zakresie procedur badawczych. Od ankieterów przeprowadzających badania testami inteligencji wymagano wykształcenia wyższego psychologicznego.
Realizacja badania w szkołach była kontrolowana w celu weryfikacji przestrzegania przez ankieterów procedur badawczych. Kontrola miała miejsce podczas jednego z dni testowania uczniów. W każdej z rund badania kontrola wykazała pewne nieprawidłowości, m.in. spóźnienia ankieterów na umówione sesje badawcze, jednak w większości przypadków uchybienia nie wpłynęły na jakość zebranych danych. Czasami, w wyniku kontroli, odsuwano pojedynczych ankieterów od badania5, sytuacje te były jednak sporadyczne.
Informacje o pojawiających się uchybieniach były na bieżąco przekazywane zespołowi badawczemu, by mógł uczulić ankieterów na elementy procedury, których dotyczyły.
Dokumentacja ze szkół, w których badania przeprowadzali ankieterzy, co do pracy których kontrola wykazała uchybienia, została szczególnie dokładnie sprawdzona podczas kontroli materiałów badawczych.
W trzeciej fazie każdej rundy badania, która rozpoczynała się jeszcze podczas realizacji badania w szkołach, zespół koderów kodował wyniki badań ankietowych i testowych. W przypadku testów osiągnięć szkolnych koderzy posiadali doświadczenie w zakresie kodowania zdobyte w ogólnokrajowych lub międzynarodowych badaniach osiągnięć szkolnych lub certyfikat egzaminatora wydany przez jedną z Okręgowych Komisji Egzaminacyjnych. Zostali oni przeszkoleni w zakresie zasad kodowania zadań.
Kodowanie przebiegało w dwóch krokach. W pierwszym kroku, tzw. kodowaniu próbnym, kodowano próbkę zadań otwartych, a w jego toku koderzy dokonywali interpretacji klucza kodowego. Kodowanie to weryfikował i zatwierdzał zespół badawczy. Po jego zatwierdzeniu koderzy rozpoczynali kodowanie zasadnicze. Każdy rodzaj zeszytu testowego z każdej badanej klasy był równomiernie rozłożony pomiędzy wszystkich koderów kodujących
5 Z powodu np. skarg placówki na jakość współpracy z ankieterem, niestawienia się na badanie w umówionym ze szkołą terminie itp.
18
1. Organizacja i metodologia badania
zeszyty danego rodzaju testu. Koderzy pracowali niezależnie i nie mogli się ze sobą kontaktować. Następnie wylosowano 20% zeszytów, które zostały zakodowane powtórnie, co umożliwiło kontrolę rzetelności kodowania.
Każda runda badania zakończona była kontrolą dokumentacji badawczej oraz kontrolą poprawności kodowania. Weryfikowano poprawność formalną i treściową dokumentacji badawczej, spójność informacji w różnych jej elementach i zbiorach danych (w tym popraw-ność nadania identyfikatorów respondentom). W zależności od elementu kontroli, objęto nią albo wszystkie placówki uczestniczące w badaniu, albo 20% z nich. Kontrolą poprawności kodowania objęto od 5 do 10% narzędzi badawczych każdego rodzaju. W razie wykrycia uchybień, materiały badawcze były zwracane do wykonawcy do poprawy. Warunkiem przyjęcia badania było przekazanie przez wykonawcę materiałów wolnych od wad.
Szczegółowe informacje na temat przebiegu rund badawczych oraz zakresu kontroli znaj-dują się w raportach technicznych dostępnych na stronie http://ewd.edu.pl/metodologia-i-organizacja-badania6.