Badanie ilościowe

W celu uzyskania odpowiedzi na szczegółowe problemy badawcze koniecznym było dotarcie do kilku grup respondentów. Oprócz opisu zagadnień metodologicznych przedstawiamy poniżej sposób dotarcia do każdej z nich.

Wywiady z beneficjentami projektów realizowanych ze środków unijnych przeprowadzono za pomocą wspomaganego komputerowo wywiadu telefonicznego (CATI - Computer Assisted Telephone Interviewing). Ze względu na dużą próbę (2101 szkół), zastosowanie w tej części badania ilościowego wywiadu telefonicznego zapewniło wysoki poziom udziału w badaniu. Do badania cech projektów wykorzystana została technika samowypełnialnego kwestionariusza internetowego (CAWI).

46

Zaletą techniki CAWI jest możliwość wypełnienia ankiety przez respondenta w wybranym i dogodnym dla siebie momencie. W razie konieczności ankieta mogła zostać przerwana i wypełniona w późniejszym terminie bez utraty udzielonych do tej pory odpowiedzi, co zwiększało odsetek odpowiedzi.

Populacja objęta badaniem

W komponencie ilościowym badaniem zostały objęte szkoły – faktyczni beneficjenci projektów realizowanych ze środków unijnych. Wywiady zostały przeprowadzone z czterema typami respondentów:

Grupa zasadnicza

 dyrektorzy szkół lub osoby przez nich wskazane, które wdrożyły programy rozwojowe,

 psycholodzy lub pedagodzy zatrudnieni w szkole lub w poradni psychologiczno-pedagogicznej współpracującej ze szkołą - realizatorem programu rozwojowego,

 dyrektorzy lub osoby wskazane, które wypełniły metryczkę programu rozwojowego. Grupa kontrolna

 dyrektorzy szkół, które nie wdrażały programów.

Przygotowano zatem cztery warianty kwestionariusza z pytaniami dostosowanymi do poszczególnych respondentów.

Kwestionariusze

Na potrzeby komponentu ilościowego utworzono cztery kwestionariusze:

1. CAWI - Dyrektorzy szkół lub osoby przez nich wyznaczone, które wdrażały programy rozwojowe, wypełniali metryczkę programu rozwojowego, która podstawowe informacje nt. programu w szkole. Składała się z 41 pytań zamkniętych i 2 otwartych.

2. CATI - Ankieta dyrektora dotycząca doświadczeń z zakresu wdrażania programu rozwojowego w szkole - zawierała 27 pytań zamkniętych i 5 otwartych.

3. CATI - Ankieta adresowana do psychologów lub pedagogów, którzy udzielali informacji na temat udzielania wsparcia w zakresie pomocy psychologiczno-pedagogicznej w ramach programu rozwojowego, odpowiadając na 18 pytań zamkniętych.

4. CATI – Dyrektorzy szkół, które nie wdrażały programów rozwojowych, odpowiadali na 36 pytań zamkniętych i 2 otwarte.

Dobór próby

Badanie zostało przeprowadzone w dwóch grupach szkół:

 szkoły z grupy zasadniczej (szkoły, które wdrożyły programy rozwojowe);

47 Moduł I - W ramach badania zasadniczego w szkołach, które wdrożyły działania zgromadzono informacje o celach, założeniach, działaniach programów rozwojowych 2101 metryczek szkół. Moduł II zakładał przeprowadzenie 2101 wywiadów CATI z dyrektorem lub osobą wskazaną, która była odpowiedzialna za przygotowanie, wdrożenie i monitorowanie działań w ramach programu rozwojowego.

Moduł III – zbierał opinie przedstawicieli szkół nt. przygotowania i realizacji programów rozwojowych przeprowadzonych 1061 wywiadów CATI z osobą odpowiadającą za wsparcie psychologiczno– pedagogiczne (pedagog/psycholog) zatrudnioną w szkole lub przedstawicielem poradni psychologiczno-pedagogicznej współpracującej z daną szkołą

Moduł IV - Natomiast w ramach badania dla grupy kontrolnej w szkołach, które nie wdrożyły działań w ramach programu rozwojowego zostało przeprowadzonych 500 wywiadów CATI z dyrektorem szkoły. Pytano m.in. o powody nieuczestniczenia szkół w poddziałaniu 9.1.2 i zebrano dane porównawcze dotyczące charakterystyki szkół. Tabela 4 przedstawia podział próby według województw oraz typu szkoły, w których zostały przeprowadzone wywiady CATI z dyrekcją szkoły lub osobą wskazaną.

Tabela 4 Realizacja badania wg województw

Województwo SP GMN LO Ogółem

zasadnicza kontrolna zasadnicza kontrolna zasadnicza kontrolna zasadnicza kontrolna

Dolnośląskie 108 25 67 17 28 7 204 49 Kujawsko-Pomorskie 211 49 72 18 33 8 316 75 Lubelskie 106 25 66 16 31 8 203 49 Lubuskie 10 2 4 1 0 0 14 3 Łódzkie 35 8 11 3 8 2 54 13 Małopolskie 64 15 69 17 23 5 156 37 Mazowieckie 125 29 132 33 14 3 270 65 Opolskie 35 8 45 8 17 4 97 20 Podkarpackie 52 12 38 9 13 3 102 24 Podlaskie 48 11 13 3 10 2 71 16 Pomorskie 26 6 15 4 8 2 49 12 Śląskie 120 28 80 20 38 9 238 57 Świętokrzyskie 50 12 27 7 18 4 95 23 Warmińsko-mazurskie 10 2 15 4 0 0 25 6 Wielkopolskie 44 11 49 12 2 0 95 23 Zachodniopomorskie 45 11 59 15 7 2 111 28 Ogółem 1089 254 762 187 250 59 2101 500

48

Badaną populację stanowiły szkoły, które zawarły umowy na uzyskanie wsparcia w ramach konkursów organizowanych w ramach Poddziałania 9.1.2 nie później niż do dnia 31.12.2013 r. Dzięki pozyskaniu danych z Urzędów Marszałkowskich udało się zidentyfikować 5 790 takich szkół. Zdawano sobie sprawę z faktu, że nie jest to cała badana populacja, jednak posłużenie się tym zbiorem było jedyną możliwością na realizację badania w sposób pozwalający uniknąć konieczności określania czy szkoła należy do badanej populacji na etapie kontaktu ze szkołami12

.

Oprócz próby głównej wylosowano próbę kontrolną. Dobrana była ona w ten sposób, aby jej rozkład był zbliżony do próby zasadniczej ze względu na województwo oraz typ szkoły, choć jej liczebność wynosiła tylko 500 szkół. Głównym celem zbadania próby kontrolnej było porównanie odpowiedzi dyrektorów szkół realizujących programy rozwojowe z odpowiedziami dyrektorów szkół nierealizujących programów rozwojowych. Dla porównywalności obu prób wskazane jest, aby miały podobną strukturę. Za główny cel badania postawiono analizę przebiegu realizacji programów rozwojowych, z tego względu reprezentatywność próby zasadniczej dla populacji szkół realizujących program rozwojowy była kluczowa. Dlatego uznano, że założony rozkład w próbie zasadniczej będzie utrzymany, a do niego zostanie dostosowany założony rozkład w próbie kontrolnej.

W próbie kontrolnej realizowany był tylko kwestionariusz dyrektora, który przybrał nieco odmienną postać, niż dla próby zasadniczej. Zmiany podyktowane były wyłącznie staraniem, aby wszystkie pytania były adekwatne dla szkół nierealizujących programów rozwojowych.

Warstwowanie

Szkoły losowano w warstwach wyodrębnionych ze względu na zmienne:

 województwo, w którym znajduje się szkoła

 rodzaj gminy, w której znajduje się szkoła (miejska/miejsko-wiejska/wiejska; uporządkowano w drugiej kolejności),

 typ szkoły (ponadgimnazjalna, gimnazjalna, podstawowa).

Zatem warstwowanie zostało przeprowadzone w pierwszej kolejności według województw, w obrębie województw według rodzaju gminy, a w tak wyodrębnionych warstwach, szkoły posortowane zostały według typu szkoły. Dzięki temu w próbie znalazła się liczba szkół odpowiadająca populacji szkół w danym województwie.

Wskaźnik efektywności realizacji badania - Response Rate

Wskaźnik ilości odpowiedzi w badaniu liczony był na poziomie szkół. Poczyniono założenie, aby szkołę uznać za przebadaną, jeśli będą spełnione łącznie następujące warunki:

 szkoła wypełni ankietę – metryczkę programu rozwojowego,

 dyrektor szkoły, realizatora programu rozwojowego udzieli wywiadu,

 minimum 50% psychologów lub pedagogów ze szkół realizujących programy rozwojowe udzieli wywiadu

12 Możliwe byłoby dobranie próby wszystkich prób w Polsce i dopiero na etapie kontaktu z nimi określanie, czy dana szkoła realizowała program rozwojowy, czy też nie. Uznano jednak, że oznaczałoby to znacznie większe koszty realizacji badania.

49

 dyrektor szkoły, która nie wdrożyła programu rozwojowego, udzieli wywiadu. Założone warunki zostały spełnione dla obu objętych badanie prób: zasadniczej i kontrolnej.

Wskaźnik efektywności realizacji badania dla obu grup badanych był liczony jako stosunek liczby szkół ujętych w planie badania do liczby szkół, w których przeprowadzono badanie. Efektywność dla poszczególnych modułów badania przedstawia Tabela 5.

Tabela 5 Wskaźnik efektywności realizacji badania

Moduł Typ respondenta

Populacja w badaniu RR w grupie zasadniczej % RR w grupie kontrolnej %

I Metryczka programu rozwojowego 2101 100% -

II Wywiad z dyrektorem 2101 100% -

III Wywiad z psychologiem/pedagogiem 2101 50,52% -

IV Wywiad z dyrektorem 500 - 100%

Źródło: opracowanie własne IBE

Pilotaż

Praktyka badawcza wymaga - przed przystąpieniem do realizacji badania zasadniczego - przeprowadzenia pilotażu. Jego celem było sprawdzenie poprawności i trafności przygotowanych narzędzi badawczych, jak i procedur badawczych. Badanie pilotażowe zostało przeprowadzone na przełomie czerwca i lipca 2014 roku. W ramach pilotażu w szkołach, które wdrożyły działania w ramach programu rozwojowego, zostało przeprowadzonych 60 wywiadów CATI z dyrektorem lub osobą wskazaną, która była odpowiedzialna za przygotowanie, wdrożenie i monitorowanie działań w ramach programu rozwojowego, 30 wywiadów CATI z osobą odpowiadającą za wsparcie psychologiczno-pedagogiczne (pedagog/psycholog) zatrudnioną w szkole lub przedstawicielem poradni psychologiczno-pedagogicznej współpracującej z daną szkołą. Zgromadzono 52 metryczek szkół (zakładano pozyskanie 60 metryczek).

Harmonogram badania

Zbieranie danych za pomocą kwestionariuszy internetowych w badaniu zasadniczym odbywało się w okresie sierpień-listopad 2014 roku. Równolegle rekrutowano respondentów do wywiadów telefonicznych z obu prób: zasadniczej i kontrolnej.

Napotkane trudności

Głównym problemem w realizacji badania był brak dyspozycyjności respondentów, wymagana liczba kontaktów, aby zrealizować efektywny wywiad, a także niechęć do udziału w badaniu z uwagi na dłuższy czas, jaki upłynął od realizacji projektu w szkole.

Respondenci w badaniu negatywnie podchodzili do wywiadów. Podkreślali, że projekt który był realizowany w latach 2010-2013, obecnie jest dla nich tematem odległym. Ponadto nazwy projektów podane przez instytucje pośredniczące (tj. urzędy marszałkowskie i Wojewódzkie Urzędy Pracy) nie zawsze były poprawne (1386 odmów). Taka sytuacja wymagała kilkukrotnych kontaktów telefonicznych ze szkołą po to, by zweryfikować czy szkoła faktycznie realizowała projekt.

50

Do szkół z listy podstawowej, w których nie udało się przeprowadzić wstępnej rozmowy z dyrektorem przy pierwszym kontakcie, dzwoniono kolejny raz, uznając dopiero po min. czwartym kontakcie, że nie ma szans na realizację badania. Procedura badania przewidywała, że w miejsce szkoły, która nie wyrazi zgody na udział w badaniu, zostanie pobrana szkoła następna.

Ważenie zbiorów

Realizacja badania przebiegła pomyślnie, wykonawcy udało się w obu próbach niemal idealnie zrealizować założone liczebności. Jednak, aby próba zasadnicza pełniej oddawała populację szkół realizujących programy rozwojowe, przeważono ją tak, aby ze względu na 48 wyróżnionych warstw rozkłady były identyczne. Na szczęście, jak wspomniano, realizacja przebiegła zgodnie z planem, dlatego wagi miały za zadanie głównie korygować konieczność zaokrąglania częstości z populacji do liczb całkowitych określających liczbę szkół do zbadania w warstwie. Dlatego wagi nie były znacząco zróżnicowane, wyniosły od 0,70 do 1,32. Sporządzono również podobną wagę, ale przeznaczoną do zestawień według typu placówki. Jest ona przekształceniem wspomnianej wagi w taki sposób, aby suma wag dla placówek określonego typu była równa liczbie zbadanych placówek tego typu.

W analogiczny sposób skonstruowano wagi wyrównujące strukturę szkół zbadanych w próbie kontrolnej ze strukturą populacji zasadniczej. Waga ta pozwala na porównanie wyników w próbie kontrolnej z wynikami w próbie zasadniczej. Minimalna waga wyniosła 0,66, zaś maksymalna 1,4. Odchylenie wag wyniosło zaledwie 0,16. Wagę tę również sporządzono w dwóch wersjach – do porównań łącznych i do porównań według typu szkoły.

Sporządzono również wagę wyrównującą rozkład ze względu na warstwę szkół z próby kontrolnej do populacji szkół kontrolnych. Wagi te osiągały największe zróżnicowanie, gdyż próba kontrolna zaplanowana była tak, aby jej rozkład był zbliżony do populacji zasadniczej, nie zaś do populacji kontrolnej. Wagi osiągnęły średnie zróżnicowanie: maksymalna waga wyniosła 6,36 a najmniejsza 0,11. Odchylenie standardowe tej wagi wyniosło 0,93.

W dokumencie produkty EE (Stron 45-50)