Stosowane metody badawcze

Analizy wypowiedzi badanych oraz dokumentacji udostępnionej przez szkoły pokazują, że ewa-luacje wewnętrzne w szkołach są prowadzone z zastosowaniem różnorodnych metod i technik badawczych. Poniższe zestawienie przygotowane zostało na podstawie przeprowadzonych ana-liz, ponieważ stosunkowo często badani mieli problemy z odpowiednim zakwalifikowaniem me-tod, technik i narzędzi badawczych. Problemy terminologiczne występowały także w analizowanej dokumentacji.

Przy ewaluacjach wewnętrznych wykorzystywane są jakościowe, jak i ilościowe metody badawcze. Wśród podstawowych technik badawczych można wyróżnić:

„ ankiety – prowadzone z wykorzystaniem kwestionariusza ankiety

„ analizy danych zastanych (dane z wyników egzaminów, dokumenty szkolne)

„ obserwacje – zazwyczaj bez wykorzystania schematu obserwacji, nieusystematyzowane

„ wywiady – indywidualne i grupowe – prowadzone z wykorzystaniem w różnym stopniu ustruk-turyzowanych wytycznych, a bardzo często bez nich.

W bardzo wielu szkołach w ramach ewaluacji wewnętrznej wykorzystywana jest też kompilacja róż-nych metod.

Projekt ewaluacji wewnętrznej w roku szkolnym 2012/2013 lo_miasto_k1 Cel ewaluacji:

Zebranie informacji służących efektywniejszemu wykorzystaniu wyników egzaminów zewnętrznych.

Przedmiot ewaluacji:

Wykorzystywanie wyników egzaminów zewnętrznych, z przedmiotów dodatkowych, do podwyższania jakości pracy szkoły. Obszar – działania nauczyciela

Pytania badawcze – kluczowe Sposoby zbierania danych – metody W jaki sposób analizowane są wyniki egzaminów zewnętrznych z przedmiotów

dodatkowych? ^{„ wywiad z nauczycielami} W jaki sposób formułowane są wnioski w przedmiotowych raportach

maturalnych? ^„ analiza dokumentów (raporty wyników egzaminu maturalnego)

Jakie przyjęto zasady dokumentowania podejmowanych działań? ^„ obserwacja

„ analiza dokumentów (dzienniki zajęć)

Jaki jest sposób i częstotliwość realizacji wniosków? ^„ wywiad grupowy z nauczycielami „ wywiad grupowy z uczniami

Czy efekty podejmowanych działań są sprawdzane i analizowane? ^„ wywiad grupowy z nauczycielami „ wywiad grupowy z uczniami

Raport z ewaluacji wewnętrznej w roku szkolnym 2011/2012 ponadgim_k3

IV Opis zastosowanej metodologii oraz źródła informacji wykorzystywanych w badaniu

Do przeprowadzenia ewaluacji wewnętrznej wykorzystano następujące metody i techniki badawcze: analiza dokumentacji szkolnej, metoda kwestionariuszowa (ankiety wśród nauczycieli, uczniów i rodziców), wywiad grupowy. Narzędziami ewaluacyjnymi były: testy egzaminacyjne, wyniki opracowane przez OKE, wyniki opracowane przez nauczycieli, szkolne raporty maturalne, kwestionariusze ankiet dla uczniów, nauczycieli i rodziców, lista pytań wywiadu grupowego z uczniami.

Ankiety

Badania ankietowe są najpowszechniej stosowaną techniką w badanych szkołach. Kwestionariusz ankiety był regularnie wykorzystywanym narzędziem zbierania danych przy zdecydowanej większo-ści ewaluacji. Często zdarzało się, że w ramach badania jednego obszaru przeprowadzono ankiety wśród różnych respondentów. Ankiety prowadzano zazwyczaj wśród rodziców, uczniów i nauczy-cieli, sporadycznie wśród innych grup osób (np. przedstawicieli instytucji współpracujących ze szko-łą, absolwentów szkoły).

Była ankieta dla nauczycieli i ona została przeprowadzona w pierwszym semestrze, bodajże w listopadzie, natomiast w drugim seme-strze to była ankieta dla uczniów i ona została przeprowadzona w marcu. Ankieta objęła obecne w danym dniu osoby czy to z grona pedagogicznego, czy to właśnie z klas, no i te materiały w formie papierowej są podstawą do analizy.

Nauczyciel_ponadgim_k2

Ten sposób badania ceniony jest przede wszystkim za możliwość stosunkowo szybkiego uzyskania informacji od szerszej grupy osób jednocześnie. Zaufanie do ankiet wynika także z powszechności ich stosowania, np. w publicznych badaniach opinii, czy w trakcie ewaluacji zewnętrznej, przeko-nania, że dane zebrane w ten sposób są wiarygodne, jest to też technika, z którą wielu z badanych, w różnych formach, miało do czynienia wcześniej. Zastosowanie ankiet – zdaniem części respon-dentów – jest stosunkowo proste w zestawieniu z innymi technikami, a także zapewnia anonimo-wość – chociaż w niektórych szkołach w odniesieniu do tej ostatniej kwestii nie było zgody (np. pojawiały się głosy, że w małym środowisku i tak wiadomo, co kto napisał).

Ankiety, bo to jest takie najbardziej miarodajne i mamy tutaj jakby możliwość dotarcia do każdego z rodziców.

Nauczyciel_sp_miasto_k1

Ja myślę, że forma ankiety jest dobrą formą, bo myślę, że takie spotkanie, jak dzisiaj, to byłoby trudne do realizacji, żeby zebrać te osoby, zwłaszcza w przypadku rodziców, bo wiadomo, każdy jest różnie dyspozycyjny, różnie pracuje, więc myślę, że forma ankiety… Na pewno łatwiej rodzice udzielą odpowiedzi.

Nauczyciel_gim_miasto_k1

We wszystkich badanych szkołach do realizacji badania wykorzystywano kwestionariusze ankiet. Zgodnie z deklaracjami narzędzia badawcze najczęściej były opracowywane przez nauczycieli na podstawie wzorów znalezionych w Internecie (na stronach innych szkół, stronach tematycznych dla nauczycieli, stronach dotyczących oświaty, znalezione poprzez wyszukiwarki), uzyskanych od innych zaprzyjaźnionych nauczycieli, znajdujących się w specjalistycznych poradnikach i czasopismach, czy przekazanych przez dyrektora szkoły (też zazwyczaj z czasopism lub innych publikacji oświatowych). Wzory te następnie dopasowywane były do specyfiki szkoły. W części szkół narzędzia tworzone były od podstaw przez nauczycieli, którzy często też podkreślali własny wkład w ich dostosowanie i fakt, że wzory stanowiły jedynie źródło inspiracji bądź wskazówek dotyczących konkretnych roz-wiązań. Czasami wykorzystywano wzory ankiet z ewaluacji zewnętrznej – dostępne na platformie www.npseo.pl. W dużej części szkół ostateczną wersję ankiety akceptował dyrektor.

Przystępujemy do opracowania ankiet, jakie pytania zawrzeć (…). Przede wszystkim pytania, tutaj jest najwięcej pracy, bo wiadomo, dać trochę tych pytań, żeby coś z nich uzyskać, a nie pytania, aby pytania; chcemy coś zobrazować w tej szkole. I później fajnie, bo się posprawdza i coś tam z tego wychodzi.

Nauczyciele_gim_wieś_k1

Metody analizy wyników ankiet są zależne od doświadczenia oraz umiejętności nauczycieli. W przy-padku pytań zamkniętych zdarza się, że odpowiedzi udzielone w ankietach podlegają jedynie zli-czeniu – wyniki mogą być wtedy naniesione na szablon ankiety w postaci procentów lub liczby odpowiedzi, czasami przedstawia się je w formie wykresu, sporadycznie opisuje. W przypadku pytań otwartych najpowszechniej stosuje się wypisanie pojawiających się odpowiedzi.

W części raportów, oprócz przedstawionych wyników ankiet, znajdują się krótkie podsumowania ankiety wraz z wnioskami, czasami wskazaniem mocnych i słabych stron, sporadycznie rekomen-dacjami. Same wnioski są często bezpośrednim przełożeniem wyników ankiet, bez dodatkowej ich interpretacji.

O4: My robiłyśmy w tym roku koncepcję pracy szkoły, czyli najpierw układałyśmy ankiety. O3: Była dla uczniów, dla nauczycieli, dla rodziców.

O4: Dla trzech grup, potem zebrane głosy zliczone, czyli odpowiedzi opracowane, opracowanie ankiet, zapisanie. O3: I wnioski wysunięte na podstawie tych wyników.

O4: Dopisanie jako aneksu właśnie do koncepcji pracy szkoły.

Nauczyciele_gim_miasto_k2

Z wypowiedzi badanych, a także analizy materiału wynika, że w niektórych szkołach wraz z naby-waniem doświadczenia w prowadzeniu ewaluacji zmienia się konstrukcja, a także sposób przygo-towania ankiet. Często rezygnuje się z pytań otwartych na rzecz zamkniętych, zmniejsza się liczbę pytań i je upraszcza – po doświadczeniach związanych z małą liczbą odpowiedzi, nieadekwatnymi odpowiedziami i trudnościach w ich interpretacji. W pojedynczych szkołach natomiast podejmo-wano decyzje o rezygnacji z przeprowadzania ankiet, najczęściej na korzyść metod jakościowych – wywiadów. Wiązano to z reguły z niską rzetelnością i koniecznością poświęcenia dużej ilości czasu na przygotowanie tego narzędzia.

Nie bez znaczenia przy niskiej rzetelności ankiet są ogólnie dosyć duże problemy z narzędziami przygotowywanymi przez szkoły – przegląd udostępnionych narzędzi pokazuje duże trudności me-todologiczne, np. nieodpowiedni sposób formułowania pytań, czy kafeterii odpowiedzi, stosowanie pytań sugerujących i inne.

Przykłady problematycznych pytań z niektórych ankiet Ankieta dla nauczyciela:

– Czy zna Pan/i zapisy zawarte w szkolnym systemie współpracy z rodzicami? Tak/nie Jeżeli nie, to dlaczego

Czy przestrzega Pan/i wszystkich zapisów zawartych szkolnym systemie współpracy z rodzicami? Tak/nie Jeżeli nie, to dlaczego.

Komentarz: można zakładać, że niewielu nauczycieli przyzna się wprost do nieznajomości i nie-stosowania zapisów, o które są pytani.

Ankieta dla ucznia:

– Czy lubisz chodzić do szkoły? …. – Co w szkole podoba ci się najbardziej? … – Dlaczego nie lubisz chodzić do szkoły? … (…)

Komentarz: wyłącznie pytania otwarte, które będą trudne w ramach analiz, pytania sugerujące – np. założenie, że uczniowie nie lubią chodzić do szkoły.

Ankieta dla ucznia:

Czy podejmujesz się i uczestniczysz w organizacji imprez szkolnych, środowiskowych czy akcji charytatywnych?

– tak ponieważ lubię gdy się coś dzieje w szkole – tak ponieważ nauczyciele mi każą

– nie jestem zainteresowany, tylko się uczę – nie angażuję się z innych powodów

Komentarz: pytanie niejednoznaczne, kafeteria niepełna, nie pozwala na diagnozę przyczyn bra-ku zaangażowania uczniów.

Ankieta dla instytucji lokalnych:

Jak oceniają Państwo dostępność do informacji o wymienionych w punkcie 4. Działaniach uczniów – bardzo dobra

– dobra – zła

– nie mam zdania

Komentarz: nieodpowiednio skonstruowana kafeteria odpowiedzi (brak odpowiedzi bardzo zła).

Nie może to dziwić w kontekście powszechnego niewielkiego przygotowania dyrektora i nauczy-cieli w tym obszarze. Z tego też względu dominuje wspominane korzystanie z gotowych wzorów kwestionariuszy. Badani nie znają metod tworzenia narzędzi badawczych i - co warte podkreślenia – czują się niepewnie w tym obszarze, dlatego wolą opierać się na gotowych rozwiązaniach, dosto-sowując je jedynie do własnych potrzeb. Problemem może być jednak to, że wzory te nie zawsze są najlepszej jakości.

Analizy danych zastanych

Analizy danych zastanych są także powszechnie stosowaną techniką w ramach ewaluacji wewnętrz-nej, ogólnie rzadziej jednak niż ankiety. Można podzielić je na dwie podstawowe grupy. Pierwsza to analizy wyników egzaminacyjnych, wyników różnego rodzaju testów diagnostycznych (realizo-wanych przez szkołę lub narzędziami zewnętrznymi jak np. OBUT), egzaminów próbnych, spraw-dzianów, frekwencji lub (rzadziej) wyników w konkursach, czy ocen uzyskiwanych przez uczniów – prowadzone zazwyczaj w kontekście ewaluacji efektów pracy szkoły, wiedzy uczniów i osiąganych przez nich wyników19. Druga grupa to analizy różnego rodzaju dokumentacji zgromadzonej w szko-le – prowadzone jako uzupełnienie innych metod badawczych lub jako oddzielny obszar badania, odnoszące się zazwyczaj do procesów występujących w szkole.

W jednej ze szkół podstawowych analiza wyników nauczania prowadzona jest wieloetapowo – najpierw każdy nauczyciel dokonuje analizy niezależnie, następnie są organizowane spotkania w zespołach, gdzie wyciągane są wnioski, które w dalszej kolejności są przedstawiane na spotkaniu Rady Pedagogicznej. Na tej podstawie Rada tworzy plany naprawcze. W prace zaangażowani są wszyscy nauczyciele, zarówno z klas I–III, jak i IV–VI.

W przypadku pierwszej grupy najczęściej można wskazać na zestawienia danych i zastosowanie podstawowych parametrów statystycznych – przede wszystkim średnich – z uwzględnieniem lat szkolnych, pojawiały się analizy prowadzone w podziale na przedmioty, oddziały, a także typy zadań, bądź umiejętności. Zestawiano także wyniki szkół z innymi z regionu, województwa, bądź z wynika-mi ogólnopolskiwynika-mi. Dosyć często stosowana jest skala staninowa. W niektórych szkołach podkreśla-no fakt uzupełniania danych ilościowych o kontekstowe informacje na temat uczniów. Zazwyczaj – podobnie jak w przypadku analizy ankiet – wyniki prezentowane są w formie tabel, czasami przy-gotowywane są wykresy, tylko w niektórych raportach można znaleźć ich omówienie.

W przypadku drugiej grupy wśród analizowanych dokumentów pojawiały się: dzienniki lekcyjne, plany dydaktyczne i wychowawcze nauczycieli (wszystkie trzy najczęściej w kontekście analizy realizacji podstawy programowej), protokoły/sprawozdania z pracy zespołów przedmiotowych

19 W niektórych przypadkach – testy przygotowywane specjalnie z myślą o ewaluacji, więc w praktyce nie można mówić o danych zastanych.

i zadaniowych, protokoły zebrań Rad Pedagogicznych, protokoły posiedzeń Rad Rodziców, protoko-ły spotkań/wykaz działalności samorządów uczniowskich, kroniki szkolne, zestawienia imprez szkol-nych, dokumenty ogólnoszkolne jak np.: statut szkoły, wewnątrzszkolny system oceniania, program rozwoju szkoły, program wychowawczy, program profilaktyczny, plany naprawcze, plany i wnioski z nadzoru pedagogicznego, zestawienie wydatków rady rodziców, spis wyposażenia placówki, listy obecności na zebraniach rodziców, materiały w prasie i na stronie internetowej, realizacji obowiązku szkolnego i inne.

Zestawienie to pokazuje, że liczba dokumentów, które mogą być poddane analizie, jest bardzo duża – jest to bogaty i zróżnicowany materiał, który może być źródłem bardzo ciekawych analiz. Niemniej jednak na podstawie wypowiedzi badanych oraz dokumentacji udostępnionej przez szkoły, w wielu przypadkach trudno jest określić sposób ich prowadzenia. Dokumenty szkolne czasami pojawiają się jako dowód dla sformułowanych wniosków, chociaż same raporty z ewaluacji wewnętrznych zazwyczaj nie uwzględniają szczegółowych informacji pochodzących z analizy dokumentów szkol-nych. W niektórych szkołach, pomimo uwzględnienia w planie ewaluacji analizy dokumentów, wy-daje się, że nie była ona w praktyce wykorzystywana – opierano się raczej na własnych spostrzeże-niach, bez konfrontacji z danymi zawartymi w dokumentacji.

W części tylko szkół widoczne było usystematyzowane podejście do analizy dokumentów, wykorzy-stanie np. arkuszy do analizy, uwzględniających np. typy analizowanych dokumentów oraz pytania, na jakie należy uzyskać odpowiedzi w toku prowadzonej analizy.

Arkusz analizy dokumentów w jednym z gimnazjów: Jakie inicjatywy podejmują rodzice na rzecz szkoły?

Obszar szczegółowy: Diagnozowanie funkcjonowania szkoły w środowisku lokalnym

Rodzaj dokumentu Pytanie Opis odpowiedzi

Statut szkoły … …

Preliminarz Wydatków z Funduszy Rady Rodziców w roku szkolnym 2010/2011 (zatwierdzony na zebraniu rodziców w dn. 16.09.2010)

… …

Protokoły posiedzeń Rady Rodziców … …

Program Wychowawczy 2010/2011 … …

Obserwacje

Chętnie, ale rzadziej stosowaną przez szkoły techniką badawczą jest obserwacja. Badani dyrektorzy i nauczyciele zazwyczaj uważają, że obserwacje prowadzone w odniesieniu do różnych obszarów pracy szkoły są kluczowe dla oceny pracy placówki i diagnozowania obszarów problemowych, cho-ciaż w praktyce nie zawsze są one włączane do formalnych ewaluacji. Obserwacji poddawane są zarówno lekcje prowadzone przez nauczycieli w ramach różnych przedmiotów (w tym także go-dziny wychowawcze), zajęcia pozalekcyjne, a także ogólnie określane „życie szkoły” (np. obserwacje zachowania uczniów na przerwach, po wyjściu ze szkoły itp.). W jednej ze szkół prowadzono też ewaluację w formie obserwacji organizacji przez nauczycieli ogólnoszkolnej imprezy.

Z wypowiedzi badanych i analizy udostępnionej przez szkoły dokumentacji wynika, że same obserwacje są prowadzone zazwyczaj bez specjalnie stworzonych do tego narzędzi, plan cji zazwyczaj jest listą lekcji prowadzonych przez konkretnych nauczycieli, poddawanych obserwa-cji. Raczej nie stosuje się narzędzi do obserwacji, chociaż w jednostkowych szkołach dyrektor de-klarował, że arkusze wykorzystywane przez wizytatorów wzbudziły jego zainteresowanie i planuje zaaplikowanie takiego schematu do swoich prac. Obserwacje prowadzone są więc z reguły w spo-sób nieformalny, bez określonego schematu, pozwalającego określić, co dokładnie zostało pod-dane badaniu i na jakiej podstawie zostaną sformułowane końcowe wnioski. W samych raportach

z ewaluacji odniesienia do samych obserwacji nie zawsze się pojawiają, choć włączane są wnioski i spostrzeżenia z obserwacji.

Nieformalne obserwacje są szczególnie często wykorzystywane przez dyrektorów szkół do ich wła-snych ewaluacji, np. dotyczących punktualnego rozpoczynania zajęć, czy umiejętności pracy zespo-łowej, pracy nauczycieli na lekcjach. Należy także pamiętać, że obserwacje często prowadzone są w szkołach niezależnie od ewaluacji.

Wywiady

Pomimo deklaracji wielu nauczycieli i dyrektorów, że wywiad jest przydatną techniką badawczą (wskazywano, że wywiady pozwalają na eliminowanie efektu niezrozumienia pytań i nieudzielania odpowiedzi, pozwalają dogłębniej zbadać badany obszar, są prostsze i mniej czasochłonne niż prze-prowadzenie ankiet), to analiza dokumentów szkolnych oraz wypowiedzi respondentów pokazuje, że nie jest ona często wykorzystywana do prowadzenia ewaluacji wewnętrznej w szkole.

(…) myślę, jeszcze powiem, że lepsze chyba są wywiady. Jak Pani na przykład ze mną rozmawia, ja dużo mogę powiedzieć, jak czegoś nie wiem, to powiem, że nie wiem, a rodzic czasami sobie tak po prostu pozaznacza. Chyba że to są w formie wolnych miejsc do uzupełnienia, to wtedy nie wszyscy rodzice się wypowiadają, bo po prostu nie mają informacji na ten temat, nie wchodzą na stronę szkoły, nie uczestniczą (…) najgorzej to jest właśnie z tymi rodzicami, którzy nie wiedzą, a jak ankiety się rozdaje, to na przykład całej klasie. Tak że wtedy przychodzą różne dziwne informacje.

Nauczyciel_sp_miasto_k2

Na podstawie wypowiedzi badanych wiązać to można z czasochłonnością tej metody, a także kwe-stią braku anonimowości i pewną niezręcznością, z jaką podchodzi się do wypowiedzi na temat pra-cy szkoły uwzględniającej pracę koleżanek i kolegów (w przypadku np. wywiadów z nauczycielami). W jednej ze szkół np. wywiady zastępowano pytaniami otwartymi w kwestionariuszach ankiet. Na-tomiast ogólnie rzecz biorąc w części placówek wraz z rosnącym doświadczeniem w prowadzeniu ewaluacji wewnętrznej – wykorzystywanie wywiadów staje się częstsze.

Niemniej jednak wśród badanych szkół były takie, w których prowadzono wywiady – częściej indy-widualne, a rzadziej grupowe. W grupie respondentów znajdowali się dyrektorzy, wicedyrektorzy szkół, nauczyciele, pedagodzy szkolni, rodzice, rzadziej prowadzono wywiady z uczniami (najczę-ściej w gimnazjach i szkołach ponadgimnazjalnych – np. z przedstawicielami samorządu szkolnego), partnerami szkoły i innymi jej pracownikami (np. pielęgniarką, pracownikami świetlicy). W niektó-rych szkołach dobór respondentów był celowy – prowadzono np. wywiady z dobrymi uczniami, gorszymi uczniami, członkami samorządu, wychowawcami określonych klas, przewodniczącymi zespołów przedmiotowych.

Podobnie, jak w przypadku obserwacji, niewiele jest danych na temat metod przeprowadzania wy-wiadów podczas ewaluacji. W części szkół wywiady przeprowadzone były z wykorzystaniem mniej lub bardziej szczegółowych wskazówek. Udostępniona przez szkoły dokumentacja wskazuje, że mają one najczęściej formę listy kilku otwartych pytań. W wielu szkołach wywiady miały jednak po-stać zwykłych rozmów, nieopartych na konkretnym scenariuszu, prowadzonych ad hoc, co może podważać rzetelność oraz trafność zebranych informacji. Nie zidentyfikowano sytuacji, by rozmowy były nagrywane. Analiza oznaczała zazwyczaj spisanie wniosków bezpośrednio po rozmowie lub ich zapamiętywane i spisywane w późniejszym terminie. Analiza tak zebranego materiału polega na zamieszczeniu w raporcie zadanych respondentowi pytań wraz z odpowiedziami, czasem z krótkim podsumowaniem badacza. Pojedynczy respondenci deklarowali wprost, że brakuje im wiedzy na temat jakościowej analizy danych.