Szkoły podstawowe

3.1.1. Rekrutacja szkół

Zgodnie z założeniami projektu rekrutacja szkół była podzielona na trzy etapy:

1) kontakt listowny, 2) kontakt telefoniczny, 3) kontakt osobisty (ankieter).

Wysłanie listów zapraszających do udziału w badaniu nastąpiło w dniach 3-7 października 2011 roku, a więc zgodnie z założonym harmonogramem. Oprócz listów z informacjami o badaniu, kierowanych do dyrektorów, przesyłki zawierały formularz zgody na udział w badaniu. Jednocześnie do szkół, między 5 października a 15 listopada, zostały wysłane emaile zawierające informację o badaniu wraz z elektroniczną wersją pism wysłanych pocztą. Z uwagi na odmowy wzięcia udziału w badaniach, wysyłka listów kontynuowana była do zakończenia rekrutacji.

Na drugim etapie rekrutacji przeprowadzano rozmowy telefoniczne ze szkołami. Ten etap został poprzedzony szkoleniem pracowników odpowiedzialnych za kontakt ze szkołami. Kontakt telefoniczny miał na celu potwierdzenie otrzymania przez szkoły listów z informacjami o badaniu, uzyskanie wstępnej zgody dyrektora na udział w badaniu, zdobycie podstawowych informacji o liczbie klas w szkole, wylosowanie klasy mającej wziąć udział w badaniu, a także ustalenie terminu osobistej wizyty ankietera w szkole.

W dniach od 24 października do 19 listopada 2011 roku ankieterzy odwiedzali dyrektorów, którzy wymagali wizyty osobistej przed udzieleniem zgody na udział w badaniu. W trakcie takich wizyt ankieterzy udzielali szczegółowych informacji o przebiegu badania oraz ustalali termin jego realizacji w szkole.

W trakcie rekrutacji dyrektorzy niektórych szkół odmawiali udziału w badaniu. Najczęstszą przyczyną odmów były:

 brak czasu na przeprowadzenie badania – szkoły często brały udział w innych badaniach lub egzaminach próbnych,

 zbyt późna prośba o udział w badaniu – dyrektorzy wskazywali, że decyzje o organizacji roku szkolnego podejmują na przełomie sierpnia i września,

 objęcie badaniem tylko jednego oddziału klasowego, co wymaga organizacji innego testu próbnego dla pozostałych oddziałów.

Pomimo odmów części szkół, na 440 wszystkich szkół podstawowych biorących udział w badaniu, udało się zrealizować badania w 383 szkołach z próby podstawowej, a zatem w 88%. W 53 przypadkach powodem wykluczenia szkoły z próby podstawowej była odmowa dyrektora na udział w badaniu, a w 4 przypadkach szkoła nie spełniała kryteriów (szkoły integracyjne lub tylko z oddziałami I-III). Spośród szkół rezerwowych 49 pochodziło z pierwszej próby rezerwowej, a 8 z drugiej próby rezerwowej. Powyższe dane przedstawia Rysunek 3.1.

Rysunek 3.1. Rozkład szkół z próby głównej i pochodzenie szkół zastępczych

Jako efekt rekrutacji szkół powstał raport z rekrutacji zawierający listę szkół biorących udział w badaniu wraz w datami badania i oznaczeniem wylosowanych klas. W kilku przypadkach zostały zbadane dodatkowe klasy, od czego dyrektorzy uzależnili zgodę na udział w badaniu.

3.1.2. Badanie pilotażowe

W celu przetestowania procedur badania oraz narzędzi w postaci testów umiejętności szkolnych i kwestionariuszy ankiet w dniach 9-12 stycznia 2012 roku odbyły się badania pilotażowe w 12 szkołach w województwach: kujawsko-pomorskim, pomorskim i małopolskim. W pilotażu nie był wymagany losowy dobór szkół, w związku z czym zastosowano dobór dogodnościowy. Pilotaż nie ujawnił poważnych błędów w procedurach i narzędziach, jedynie w jednym przypadku ankieter nie zastosował się do wymogu naprzemiennego rozdawania uczniom wersji A i B testów, co zaowocowało szczególnym podkreśleniem tego elementu procedury podczas szkolenia przed właściwym etapem badania.

3.1.3. Szkolenie koordynatorów i ankieterów

Przed przystąpieniem do realizacji badania w terenie konieczne było zorganizowanie szkolenia koordynatorów oraz ankieterów. Nad jego kształtem czuwali przedstawiciele PAOU. W celu zachowania spójności przekazywanych informacji i zebrania pytań od wszystkich ankieterów zaangażowanych w badanie zdecydowano się na organizację centralnego szkolenia. Ze względu na dużą liczbę uczestników, około 200 osób, szkolenie przeprowadzono w dwóch równoległych grupach. Szkolenie odbyło się w Warszawie, 18 lutego 2012 roku.

57 a także sposób przekazywania wypełnionych materiałów badawczych. W części drugiej, przedstawiciele PAOU omówili koncepcję badania i szczegółowe procedury dystrybucji narzędzi w szkołach, a także zwrócili uwagę na specyfikę badań edukacyjnych i sposób zachowania się ankieterów w szkołach. Uczestnicy otrzymali komplet materiałów szkoleniowych w postaci procedur realizacji badania oraz próbek narzędzi.

Podczas szkolenia wszelkie niejasności procedur zgłaszane przez ankieterów zostały wyjaśnione na miejscu, a dodatkowo doprecyzowano niektóre sformułowania w dokumentach. Efektem szkolenia było także przystosowanie list uczniów i raportów z realizacji badania w szkołach do potrzeb zgłaszanych przez ankieterów.

3.1.4. Realizacja badań w szkołach i ocenianie

W trakcie rekrutacji szkół do badania dyrektorzy często sygnalizowali zbyt późny termin badania. Według harmonogramu badanie miało nastąpić a dniach 5-15 marca 2012, a przekazanie wyników do szkół w dniach 28 marca-1 kwietnia 2012 roku. Z uwagi na to, iż 3 kwietnia 2012 roku odbywał się sprawdzian szóstoklasisty, zdecydowano się na przesunięcie terminu realizacji badania w szkołach o tydzień wcześniej – na dni 27 lutego-8 marca 2012 roku. Jednocześnie analogicznemu przesunięciu uległa sesja oceniania na weekend 10-11 marca.

W badaniach zebrano zeszyty testowe, jak i kwestionariusze ankiety od 9086 uczniów. Tabela 3.1 zawiera podsumowanie liczby wypełnionych zeszytów testowych w zależności od ich wersji. Oprócz materiałów pochodzących od uczniów, zebrano kwestionariusze ankiety od 1774 nauczycieli.

Tabela 3.1. Podsumowanie wypełnionych zeszytów testowych w zależności od wersji

Wersja A Wersja B

Liczebność Procent całości Liczebność Procent całości

Zeszyt 1 429 5% 415 5% Zeszyt 2 400 4% 384 4% Zeszyt 3 396 4% 373 4% Zeszyt 4 413 5% 396 4% Zeszyt 5 423 5% 398 4% Zeszyt 6 426 5% 403 4% Zeszyt 7 435 5% 418 5% Zeszyt 8 458 5% 441 5% Zeszyt 9 412 5% 402 4% Zeszyt 10 409 5% 388 4%

Zeszyt 11 441 5% 426 5%

Razem 4642 51% 4444 49%

W ocenianiu prac brało udział 157 egzaminatorów podzielonych na pięć zespołów kierowanych przez przewodniczących zespołów egzaminatorów (PZE). Nad całością oceniania czuwało dwóch koordynatorów. Procedury oceniania zostały oparte na procedurach stosowanych w trakcie sesji egzaminacyjnej, a egzaminatorami były osoby posiadające uprawnienia do oceniania prac w sesjach egzaminacyjnych.

W przededniu oceniania odbyło się szkolenie przewodniczących zespołów oceniających (PZE). W szkoleniu uczestniczyli zarówno koordynatorzy oceniania, osoby odpowiedzialne za realizację badania w terenie, jak i przedstawiciele Pracowni Analiz Osiągnięć Uczniów. Pierwszego dnia oceniania przewodniczący zespołów na podstawie wcześniejszego szkolenia przygotowali egzaminatorów do procesu oceniania.

Egzaminatorzy swoje oceny kodowali na kartach oceniania dołączonych do prac uczniów. Po zakończeniu oceniania karty zostały oddzielone od prac i zeskanowane (razem z odpowiedziami na zadania zamknięte zakodowanymi przez uczniów). Po ręcznym uzupełnieniu danych, w przypadku błędów odczytu skanera, wyniki uczniów zostały umieszczone w bazie danych.

Podczas oceniania zastosowano procedurę podwójnego oceniania minimum 10% prac z każdej szkoły. Dzięki takiemu schematowi podwójnie ocenionych zostało łącznie 1106 prac, co stanowi 12% wszystkich prac.

3.1.5. Progi realizacji

Założony próg realizacji badania w szkole wynosił 85% (uczniów niewykluczonych z badania). W przypadku, gdy podczas głównego terminu badania w szkole nie uzyskiwano wymaganego progu, przeprowadzano w szkole badanie uzupełniające. We wszystkich badanych szkołach udało się osiągnąć wymagany próg 85%. W 213 szkołach udało się uzyskać prace od 100% uczniów zakwalifikowanych do badania – stanowi to prawie połowę wszystkich przebadanych szkół. Realizacja badania w szkołach zakończyła się na bardzo wysokim poziomie – średnio w szkołach uzyskano odpowiedzi od 96% uczniów zakwalifikowanych do badania. Badania uzupełniające przeprowadzono w 23 szkołach i uzyskano w nich odpowiedzi od 74 uczniów.

3.1.6. Kontrola badań terenowych

W losowo wybranych szkołach pracownicy terenowi IBE przeprowadzili kontrolę zgodności badań z procedurami opracowanymi przez Pracownię Analiz Osiągnięć Uczniów IBE. W trakcie kontroli nie odnotowano rażącego odstępstwa od przyjętych procedur. Zaobserwowano jedynie niewielkie niedopatrzenia nie mające wpływu na poprawność zebranego materiału badawczego (głównie związane z nieutrzymywaniem dyscypliny wśród uczniów). W niektórych przypadkach uczniowie pisali testy w salach nie odpowiadających wytycznym IBE, lecz było to spowodowane skromnymi warunkami lokalowymi poszczególnych szkół. Warto podkreślić, że w tych szkołach właściwy egzamin odbywa się w takich samych warunkach.

59