Metoda badania, podstawowe założenia

Badanie przeprowadzone zostało z wykorzystaniem jakościowych metod badawczych w formie 40 studiów przypadków podzielonych na trzy komponenty. Każde studium przypadku odnosiło się do jednej szkoły, a w jego ramach stosowano różnorodne techniki badawcze – począwszy od analizy materiałów i dokumentów szkolnych, poprzez wywiady indywidualne z dyrektorami szkół, wywiady grupowe bądź indywidualne z nauczycielami, wywiady grupowe z rodzicami (w kompo-nencie 1 i 2), a skończywszy na obserwacjach (w kompokompo-nencie 3). Terenowa realizacja badania pro-wadzona na zlecenie IBE przez konsorcjum firm: Millward Brown S.A. i PBS Sp. z o. o. trwała w okresie marzec–czerwiec 2013 r.

Przy opracowaniu koncepcji i metodologii badania, przeanalizowano i wzięto pod uwagę wcze-śniejsze badania dotyczące ewaluacji w nadzorze pedagogicznym. Prowadzone do tej pory anali-zy koncentrowały się przede wsanali-zystkim na pranali-zygotowaniach do procesu (m.in. szkoleniach), pranali-zy- przy-gotowaniu wizytatorów czy przebiegu ewaluacji. Kwestie kluczowe z perspektywy tego badania – użyteczność, efekty ewaluacji na poziomie szkół – pojawiały się w badaniach, ale raczej nie jako ich główny cel i przede wszystkim w odniesieniu do ewaluacji zewnętrznej. Biorąc pod uwagę, że w ramach projektu systemowego wspierającego wdrażania ewaluacji wewnętrznej i zewnętrznej, systematycznie prowadzone są badania kwestionariuszowe wśród szkół, które miały ewaluację zewnętrzną7, realizacja dodatkowych badań ilościowych wśród szkół, nie wydaje się rzeczą najpil-niejszą. Zdecydowanie potrzebne jest natomiast określenie przyczyn pewnych zjawisk i zachowań, motywacji i strategii działań podejmowanych w szkołach, próba uchwycenia występujących zależ-ności. Dodatkowo wydaje się, że największym wyzwaniem, związanym z prowadzeniem badania dotyczącego użyteczności ewaluacji, jest wyjście poza – czasami powierzchowne – deklaracje do-tyczące jej wykorzystania.

Z tych względów zdecydowano o przeprowadzeniu badań z wykorzystaniem metod jakościowych, które umożliwiają zrozumienie pewnych działań i postaw, ich interpretację, zrozumienie mechani-zmów, z którymi mamy do czynienia8. Specyfika badań jakościowych, poza zebraniem informacji na temat sposobu działania szkół w interesującym nas obszarze, pozwala na lepsze zrozumienie postaw i przekonań badanych, poznanie czasami ukrytych motywacji, odtworzenia wzorów myśle-nia i działamyśle-nia. Badamyśle-nia jakościowe dają przede wszystkim odpowiedzi na pytamyśle-nia „jak?” i „dlaczego?”,

7 Zespół ma do dyspozycji m.in. dane z kwestionariuszy wysyłanych automatycznie do szkół, po zakończeniu ewaluacji zewnętrznej. Kwestionariusz (metoda CAWI) odnosi się przede wszystkim do oceny pracy wizytatorów i sposobu realizacji poszczególnych etapów ewaluacji zewnętrznej, ale są w nim zawarte także pytania dotyczące potencjalnego wykorzysta-nia ewaluacji. Jak wynika z analiz wyników ankiet, na poziomie deklaracji użyteczność ewaluacji ocewykorzysta-niawykorzysta-nia jest stosunkowo wysoko. Na przykład zdecydowana większość (ok. 90% n=2150) badanych ocenia raport jako bardzo przydatny, bądź raczej przydatny w pracy szkoły/placówki. Ankietowani wskazywali także obszary, w których raport najbardziej przyczyni się do rozwoju ich szkoły/placówki. Połowę lub więcej wskazań otrzymały trzy obszary – współpraca z rodzicami, relacje nauczycieli z uczniami i proces kształcenia (odpowiednio 57%, 52% i 50%), w przypadku pozostałych zagadnień – współpraca między na-uczycielami, poprawa wyników, współpraca ze środowiskiem, zarządzanie, dominowały wskazania, że raport nie przyczyni się szczególnie do rozwoju tych obszarów. Przytaczane dane to wyniki analiz prowadzonych przez Joannę Kołodziejczyk z wy-korzystaniem ankiet uzyskanych w okresie 1.09.2010–30.06.2011 (2172 badanych – dyrektorów i nauczycieli) (Kołodziejczyk 2011).

8 Warto dodać, że konieczność przeprowadzenia dodatkowych badań tego typu pojawia się w rekomendacjach z dwóch wcześniej prowadzonych w ramach projektu systemowego badań jakościowych – Badaniu pilotażowym – ewaluacja

ex--post procesu ewaluacji zewnętrznej, realizowanym poprzez 10 studiów przypadków przez Zespół projektu systemowego

(Ewaluacja ex-post procesu ewaluacji zewnętrznej, 2012), jak również w badaniu Krzysztofa Bednarka i Danuty Elsner – Dwa lata ewaluacji wewnętrznej w opiniach środowisk edukacyjnych, realizowanym na przełomie 2011 i 2012 r. w województwie śląskim (Bednarek, Elsner 2012). Wyniki obu tych badań zostały uwzględnione na etapie opracowania koncepcji badania. W trakcie przygotowania niniejszego badania uwzględniono, będącą na etapie planowania, ewaluację wewnętrzną projektu Program wzmocnienia efektywności w nadzorze pedagogicznym..., prowadzoną przez Centrum Ewaluacji i Analiz Polityk Publicznych UJ, zgodnie z konsultacjami roboczymi zakres obu badań ma charakter komplementarny.

lepiej pokazują skomplikowaną rzeczywistość. Metody jakościowe są więc szczególnie istotne z per-spektywy kluczowego celu badania, czyli określenia czynników ograniczających i wspierających wykorzystanie ewaluacji przez szkoły. Przeprowadzenie badania w formie studiów przypadku ma dodatkowe korzyści związane z możliwością zestawienia i wykorzystania informacji z różnych źró-deł, wykorzystania różnych technik badawczych (triangulacja) dla uzyskania informacji o jednym „przypadku”. Pozwala to na minimalizowanie ryzyka związanego np. z deklaratywnością wypowiedzi badanych. Warto podkreślić, że opisane w dalszych częściach publikacji wypowiedzi badanych są nieraz niejednoznaczne i niespójne, a czasami wręcz sprzeczne. Jest to charakterystyczne dla wielu badań jakościowych, które w ten sposób pozwalają na odtworzenie skomplikowanej rzeczywistości, w szczególności gdy badane zagadnienie budzi wiele emocji, jest dla badanych ważne, bądź może mieć znaczący wpływ na ich funkcjonowanie.

Mimo wielu korzyści trzeba pamiętać o ograniczeniach związanych z metodami jakościowymi – przede wszystkim o konieczności zachowania ostrożności przy interpretacji i generalizowaniu wniosków powstałych na podstawie badań na populację – w tym przypadku wszystkie szkoły. Wykorzystywana próba nie była reprezentatywna dla szkół w Polsce, dodatkowo udział w badaniu uzależniony był od zgody dyrekcji szkół (w dalszej kolejności też nauczycieli i rodziców). Wyrażenie zgody lub jej brak mogło, chociaż nie musiało, być związane z określonym podejściem do ewaluacji wewnętrznej i zewnętrznej9. Zastosowanie dodatkowych kryteriów doboru szkół (opisane w dalszej części publikacji – m.in. poziomu spełniania wymagań przez szkołę w ewaluacji zewnętrznej, typu miejscowości) miało na celu właśnie m.in. zminimalizowanie problemu samowykluczania się placó-wek charakterystycznych pod jakimiś względami.

Podstawowym przyjętym założeniem metodologicznym był podział badanych jednostek na trzy komponenty, biorąc pod uwagę to czy w danej szkole przeprowadzono ewaluację zewnętrzną (a także jej termin). W rezultacie więc badanie prowadzone było w szkołach:

„ w których przeprowadzona została ewaluacja zewnętrzna całościowa, zakończona10 w drugiej połowie roku szkolnego 2011/2012 (komponent 1)

„ w których nie przeprowadzono jeszcze żadnej ewaluacji zewnętrznej (komponent 2)

„ w których w trakcie realizacji badania trwał końcowy etap ewaluacji zewnętrznej całościowej (komponent 3).

Podział na komponenty 1. i 2. zgodnie z założeniami miał umożliwić uchwycenie złożoności obo-wiązującego systemu ewaluacji i wzajemnych powiązań pomiędzy ewaluacją zewnętrzną i wnętrzną. Wcześniejsze badania koncentrowały się na ewaluacji zewnętrznej bądź ewaluacji we-wnętrznej – podejście przyjęte w tym badaniu jest inne. Ewaluacja wewnętrzna i zewnętrzna traktowane są jako dwie mocno wpływające na siebie części jednego systemu, których wza-jemne powiązania, trudno jest pominąć. Jednym z istotnych celów badania jest również poka-zanie wzajemnego wpływu tych procesów. Zastosowany schemat badania, pozwala więc na po-kazanie podejścia szkoły do ewaluacji wewnętrznej gdy: a) jest ona podstawowym mechanizmem analizy jakości pracy szkoły b) stanowi element systemu, w skład którego wchodzi także ewaluacja zewnętrzna. Ponadto możliwe jest określenie stosunku do ewaluacji zewnętrznych zarówno szkół, które zostały już jej poddane, jak i tych, które przejdą ewaluację w bliżej nieokreślonej przyszłości. Szczególnie interesujące w przypadku tej drugiej grupy są oczekiwania i obawy względem ewalu-acji zewnętrznej.

9 W tym kontekście warto dodać, że w przypadku tego badania rekrutacja była szczególnie trudna, dyrektorzy mieli wiele obaw związanych z jego realizacją, natomiast duża część odmów motywowana była „zmęczeniem” ewaluacją zewnętrzną i innymi badaniami oraz dodatkowymi projektami prowadzonym w szkole.

10 Jako termin zakończenia ewaluacji przyjęto termin publikacji raportu, a więc uzyskania ostatecznych wyników raportu przez szkołę, w większości badanych szkół sama ewaluacja również prowadzona była w drugiej połowie roku szkolnego 2011/2012, chociaż w dwóch placówkach raport opublikowany został w drugiej połowie roku, a sama ewaluacja odbyła się pod koniec wcześniejszego semestru.

Tabela 2.

Schemat badania – podział na komponenty

Komponent 1 Komponent 2 Komponent 3

Ewaluacja zewnętrzna

Została przeprowadzona ewaluacja zewnętrzna całościowa, zakończona (opublikowany raport) w drugiej połowie roku szkolnego 2011/2012

W szkole nie przeprowadzono jeszcze żadnej ewaluacji zewnętrznej

Końcowy etap ewaluacji zewnętrznej (całościowej) prowadzony w trakcie realizacji badania

Ewaluacja wewnętrzna Prowadzona ewaluacja wewnętrzna Prowadzona ewaluacja wewnętrzna Prowadzona ewaluacja wewnętrzna

Wykorzystywane techniki badawcze

Analiza danych zastanych Analiza danych zastanych Analiza danych zastanych

Wywiad pogłębiony (IDI) z dyrektorem szkoły

Wywiad pogłębiony (IDI) z dyrektorem szkoły

Wywiad pogłębiony (IDI) z dyrektorem szkoły – minimum trzy tygodnie po obserwacji spotkania Rady Pedagogicznej

Zogniskowany wywiad grupowy (FGI) z nauczycielami

Cztery indywidualne wywiady pogłębione (IDI) z nauczycielami

Zogniskowany wywiad grupowy (FGI) z nauczycielami

Wywiad grupowy

(minigrupa) z rodzicami uczniów danej szkoły, będącymi członkami Rady Rodziców, w kilku sytuacjach członków Rad Klasy, wskazanych jako zaangażowanych

w życie szkoły

Wywiad grupowy

(minigrupa) z rodzicami uczniów danej szkoły, będącymi członkami Rady Rodziców, w kilku sytuacjach członków Rad Klasy, wskazanych jako zaangażowanych

w życie szkoły

Obserwacje w trakcie spotkania Rady Pedagogicznej poświęconej prezentacji wyników

Zrealizowana liczba studiów

przypadku ^{22 12} 6

Źródło: opracowanie własne.

Podstawę badania w komponencie 1. stanowią szkoły, w których ewaluacje zakończyły się (opubli-kowano raporty) w drugiej połowie roku szkolnego 2011/2012. Wybór ten był związany z faktem, że pierwsze ewaluacje zewnętrzne przeprowadzone zostały dopiero na początku 2010 r., w pierwszych dwóch latach funkcjonowania system podlegał dynamicznemu rozwojowi, a część z ewaluacji miała charakter pilotażowy. Druga połowa roku 2011/2012 to okres, kiedy mamy już do czynienia ze sto-sunkowo ustabilizowanym systemem, a od okresu ewaluacji do terminu realizacji niniejszego bada-nia (marzec–czerwiec 2013 r.) upłynął wystarczający czas, aby można było mówić o działaniach pod-jętych w rezultacie ewaluacji i jej efektach. Nie jest to też okres na tyle długi, aby niemożliwe było odtworzenie zdarzeń, które miały miejsce tuż po ewaluacji. Niemniej jednak przy interpretacji wyni-ków warto pamiętać, że odnoszą się one do określonego okresu funkcjonowania systemu – chociaż na etapie planowania badania, wzięto pod uwagę opisaną nadchodzącą zmianę w Rozporządzeniu w prawie nadzoru i uznano, że charakter tych zmian (przeformułowanie i zmniejszenie liczby wyma-gań, niewielkie modyfikacje procedur) nie wpłynie znacząco na kluczowe kwestie odnoszące się do podejścia szkół do ewaluacji i jej użyteczności, a tym samym nie zmniejszy to użyteczności samego badania IBE.

Komponent 3. ma charakter dodatkowy. W szkołach z tego komponentu badanie realizowane było podczas ostatniego – podsumowującego etapu ewaluacji (obserwacje w trakcie prezentacji raportu radzie pedagogicznej) i bezpośrednio po jej zakończeniu. Jego celem jest pokazanie procesów za-chodzących po ewaluacji „na gorąco” i lepsze uchwycenie działań podejmowanych w szkołach tuż po ewaluacji.

Aby mieć kompleksowe spojrzenie na efekty ewaluacji w szkole w przypadku ewaluacji ze-wnętrznej zdecydowaliśmy się na przeprowadzenie badania w szkołach, które przeszły ewa-luację całościową, zaś w przypadku ewaluacji wewnętrznej na dokładniejsze odtworzenie przedmiotu ewaluacji, sposobu jego wyboru i powiązania z efektami ewaluacji. Wybór do badania szkół, które odbyły ewaluacje całościowe, podyktowany był też wspomnianą zmianą Rozporządzenia.